WO2019159435A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2019159435A1
WO2019159435A1 PCT/JP2018/039235 JP2018039235W WO2019159435A1 WO 2019159435 A1 WO2019159435 A1 WO 2019159435A1 JP 2018039235 W JP2018039235 W JP 2018039235W WO 2019159435 A1 WO2019159435 A1 WO 2019159435A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation value
pixel
representative
value
image
Prior art date
Application number
PCT/JP2018/039235
Other languages
English (en)
French (fr)
Inventor
貴雄 牧野
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to PCT/JP2019/004147 priority Critical patent/WO2019159770A1/ja
Priority to US16/963,405 priority patent/US11436728B2/en
Priority to JP2020500422A priority patent/JP6907398B2/ja
Publication of WO2019159435A1 publication Critical patent/WO2019159435A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an endoscope system that processes an image of a living tissue in a body cavity.
  • the lesions in living tissue have various levels of severity ranging from inflammation showing a thin red mucosa layer of the living tissue to a rough red color to ulcers partially missing from the mucosal layer and its lower layer.
  • an ulcer site of a lesion of ulcerative colitis (UC) becomes white including white lichen and pus-like mucus and becomes red including edema and easy bleeding at an inflammatory site.
  • UC ulcerative colitis
  • the endoscope system provides an evaluation result obtained by objectively quantifying the extent of the lesion in the lesion.
  • an endoscope system capable of calculating a stable evaluation value by suppressing fluctuations in the evaluation value of the inflammatory site due to the brightness of the image and suppressing the processing load of the evaluation value calculation.
  • a light source device that irradiates illumination light toward a subject
  • an image acquisition unit that captures reflected light from the subject with an imaging device and obtains a color image including at least three or more color components
  • a predetermined reference point set in the color plane and a color image acquired by the image acquisition unit in a color plane defined by at least two color components of at least three or more color components.
  • an evaluation unit that obtains an evaluation result related to the target disease of each pixel based on an angle formed by a line segment connecting the pixel corresponding points in the color plane of each pixel and a reference axis having a correlation with the target disease.
  • the reference axis is set so as to pass through a predetermined reference point.
  • the reference axis is at least one of an axis having a correlation with a target disease having an inflammation level of a predetermined value or less in the color plane and an axis having a correlation with a target disease having an inflammation level of a predetermined value or more. According to such a configuration, it is possible to calculate a stable inflammation evaluation value while suppressing fluctuations in the inflammation evaluation value due to the brightness of the image, and to suppress the processing load for calculating the inflammation evaluation value.
  • lesions that can be evaluated by the above-mentioned endoscope system are inflamed areas that are thin and rough and have a reddish mucosa layer of living tissue, and the degree of inflammation in the inflamed areas is evaluated by color components. In some cases, it does not sufficiently correspond to the subjective evaluation results including inflammation to ulcer caused by histology or the histological evaluation results. That is, the endoscopic system cannot evaluate the severity indicating the degree of lesion in the lesion including the ulcer partially missing to the mucosa layer and the lower layer.
  • an object of the present invention is to provide an endoscope system capable of accurately evaluating the degree of lesion in a lesion part of a living tissue.
  • the endoscope system is An electronic endoscope for imaging living tissue in a body cavity; From the image of the lesion part of the biological tissue obtained by the electronic endoscope, the severity of the lesion in the lesion part is quantified using the information of the color component of the image from the degree of the lesion of the biological tissue.
  • a processor including an image processing unit for determining, And a monitor for displaying the severity information.
  • the image processing unit outputs a first pixel evaluation value and a second pixel evaluation value indicating the degree of each of the first feature and the second feature related to the color component indicated by the lesion, or the color component and the shape of the lesion.
  • a feature amount calculation unit for calculating each pixel from the image The first representative evaluation value of the first feature of the biological tissue imaged by integrating the first pixel evaluation value of each pixel in the image is calculated, and the second pixel evaluation value of each pixel in the image is integrated
  • the degree of the second feature is a degree of a color component included in a portion having a predetermined shape in the image.
  • the degree of the second feature is preferably the degree of the feature of the predetermined shape in a portion having the predetermined shape in the image.
  • the first pixel evaluation value is a value indicating a degree of a feature related to a color component indicating a degree of inflammation of a living tissue
  • the second pixel evaluation value is preferably a value indicating a degree of a color component included in a blood vessel region indicating a blood vessel extending in a streak shape in the image.
  • the color component of the image includes a red component, a green component, and a blue component
  • the feature calculation unit corresponds to a reference point set in the color space and a color component of each pixel of the image in a color space defined by the red component and the blue component or the green component. It is preferable that the first pixel evaluation value is calculated based on a deviation angle in which the direction of the line connecting the pixel corresponding points passes through the reference point and deviates from a predetermined reference axis.
  • the integration unit changes the calculation for calculating the severity depending on whether the first representative evaluation value or the second representative evaluation value exceeds a threshold value or not.
  • the integration unit subtracts the second representative evaluation value from the first representative evaluation value if the second representative evaluation value is greater than or equal to a threshold value, and if the second representative evaluation value is less than the threshold value, the first representative value It is preferable that the severity is calculated by adding the second representative evaluation value to the evaluation value.
  • the feature amount calculation unit calculates, for each pixel, a third pixel evaluation value indicating a degree of a third feature related to a color component indicated by the lesion, which is different from the first feature and the second feature.
  • the representative value calculating unit calculates a third representative evaluation value of the third feature of the living tissue imaged by integrating the third pixel evaluation values of the pixels in the image;
  • the integration unit subtracts the second representative evaluation value from the first representative evaluation value if the second representative evaluation value is greater than or equal to a threshold value, and if the second representative evaluation value is less than the threshold value, the first representative value It is preferable that the severity is calculated by adding the third representative evaluation value to the evaluation value.
  • the third pixel evaluation value is a value indicating the degree of the characteristic regarding the color component indicating the degree of ulcer in the living tissue.
  • FIG. 1 It is a block diagram which shows the structure of the endoscope system of one Embodiment. It is a figure explaining the structure of the image processing unit of one Embodiment which performs the digitization process of the severity of a lesioned part. It is a figure explaining the example of the reference axis in the color space used by one Embodiment. It is a figure explaining the method of calculating the shift
  • (A), (b) is a figure which illustrates typically an example of the image of a biological tissue, and an example of the color map image obtained by the conventional method. It is a figure explaining an example of the method of extracting the blood vessel region in one embodiment.
  • the conventional endoscope system evaluates only the inflamed site and evaluates the degree of inflammation in the inflamed site based on information (for example, red) on the color component of the inflamed site. Such evaluation results may not fully correspond to evaluations including inflammation or ulcer by doctors or histological evaluation results. For this reason, the endoscope system according to an embodiment uses the first pixel evaluation value and the second pixel evaluation value indicating the degree of each of the first feature and the second feature related to the color component or shape indicated by the lesion, Calculate for each pixel from the image.
  • the endoscope system calculates a first representative evaluation value of the first feature of the living tissue imaged by integrating the calculated first pixel evaluation values of each pixel, and further calculates a second pixel evaluation value of each pixel.
  • the second representative evaluation value of the second feature of the living tissue imaged by integrating the values is calculated.
  • the endoscope system calculates the severity of the lesion at the lesion site by integrating the calculated first representative evaluation value and the second representative evaluation value.
  • the lesion severity of the lesion is calculated using at least the first pixel evaluation value of each pixel related to the first feature and the second pixel evaluation value of each pixel related to the second feature. Compared with the case where the evaluation is made using only the red level indicated by the living tissue, the severity of the lesion at the lesion can be evaluated with higher accuracy.
  • the degree of the first feature described above is a degree of a specific color component indicated by the lesion, for example, a degree of red included in the living tissue, and the degree of the first feature is quantified.
  • the first pixel evaluation value for each pixel is, for example, the biological tissue redness obtained by quantifying the degree of red.
  • the second feature is the degree of the color component included in a part having a specific shape in the captured biological tissue, and the second pixel evaluation value for each pixel obtained by quantifying the degree of the second feature is, for example, a lesion
  • the degree of red contained in the blood vessel region extending in a streak shape in the portion and its periphery is quantified and is the blood vessel redness.
  • the representative value (second representative evaluation value) of the vascular redness is subtracted from the representative value (first representative evaluation value) of the biological tissue redness. If the vascular redness is lower than a predetermined threshold, the severity is calculated by adding the representative value of the vascular redness to the representative value of the biological tissue redness. That is, the severity is obtained by integrating the first representative evaluation value and the second representative evaluation value. The severity calculated in this way corresponds well with a subjective evaluation result (for example, MAYO endoscopic subscore) by a doctor or a histological evaluation result.
  • a subjective evaluation result for example, MAYO endoscopic subscore
  • FIG. 1 is a block diagram showing a configuration of an electronic endoscope system 1 according to an embodiment of the present invention.
  • the electronic endoscope system 1 includes an electronic scope 100, an electronic endoscope processor 200, a monitor 300, and a printer 400.
  • the electronic endoscope processor 200 includes a system controller 202 and a timing controller 206.
  • the system controller 202 executes various programs stored in the memory 204 and comprehensively controls the entire electronic endoscope system 1. Further, the system controller 202 changes various settings of the electronic endoscope system 1 in accordance with instructions from the user (surgeon or assistant) input to the operation panel 208.
  • the timing controller 206 outputs a clock pulse for adjusting the operation timing of each unit to each circuit in the electronic endoscope system 1.
  • the electronic endoscope processor 200 includes a light source unit 230 that supplies illumination light to the electronic scope 100.
  • the light source unit 230 includes, for example, a high-intensity lamp that emits white illumination light by receiving driving power from a lamp power source, such as a xenon lamp, a metal halide lamp, a mercury lamp, or a halogen lamp. Illumination light emitted from the high-intensity lamp is collected by a condenser lens (not shown) and then incident on an incident end of an LCB (Light Carrying Bundle) 102 of the electronic scope 100 via a light control device (not shown).
  • the light source unit 230 is configured.
  • the light source unit 230 includes a plurality of light emitting diodes that emit light in a wavelength band of a predetermined color.
  • the light emitted from the light emitting diode is synthesized using an optical element such as a dichroic mirror, and the synthesized light is condensed as illumination light by a condenser lens (not shown), and then the LCB (Light Carrying Bundle) 102 of the electronic scope 100.
  • the light source unit 230 is configured to be incident on the incident end.
  • a laser diode may be used in place of the light emitting diode.
  • the light emitting diode and the laser diode have characteristics such as low power consumption and small amount of heat generation compared to other light sources, there is an advantage that a bright image can be acquired while suppressing power consumption and heat generation amount. By obtaining a bright image, it is possible to improve the accuracy of evaluation values related to inflammation described later.
  • the light source unit 230 is provided in the electronic endoscope processor 200, but the electronic endoscope system 1 is a separate device from the electronic endoscope processor 200. It may be provided. Further, the light source unit 230 may be provided at the distal end portion of the electronic scope 100 described later. In this case, the LCB 102 that guides the illumination light is not necessary.
  • Illumination light that has entered the LCB 102 from the incident end propagates through the LCB 102, is emitted from the exit end of the LCB 102 disposed in the distal end portion of the electronic scope 100, and is irradiated onto the subject via the light distribution lens 104.
  • the reflected light from the subject forms an optical image on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.
  • the solid-state image sensor 108 is, for example, a single-plate color CCD (Charge-Coupled Device) image sensor in which various filters such as an IR (Infra red) cut filter 108a and a Bayer array color filter 108b are arranged on the light receiving surface. R (Red), G (Green), and B (Blue) primary color signals corresponding to the optical image formed in (1) are generated.
  • a single-plate color CCD image sensor a single-plate color CMOS (Complementary) Metal ⁇ ⁇ ⁇ Oxide Semiconductor) image sensor can also be used.
  • CMOS image sensor tends to darken an image as a whole as compared with a CCD image sensor.
  • the electronic scope 100 uses the solid-state imaging device 108 to image the living tissue in the body cavity.
  • a driver signal processing circuit 112 In the connection part of the electronic scope 100, a driver signal processing circuit 112 is provided.
  • the driver signal processing circuit 112 performs predetermined signal processing such as color interpolation and matrix calculation on the primary color signal input from the solid-state imaging device 108 to generate image signals (luminance signal Y, color difference signals Cb, Cr).
  • the generated image signal is output to the image processing unit 220 of the electronic endoscope processor 200.
  • the driver signal processing circuit 112 accesses the memory 114 and reads the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the solid-state imaging device 108, an operable frame rate, a model number, and the like.
  • the driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.
  • the system controller 202 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal.
  • the system controller 202 uses the generated control signal to operate each circuit in the electronic endoscope processor 200 so that processing suitable for the electronic scope 100 connected to the electronic endoscope processor 200 is performed. And control timing.
  • the timing controller 206 supplies clock pulses to the driver signal processing circuit 112, the image processing unit 220, and the light source unit 230 according to the timing control by the system controller 202.
  • the driver signal processing circuit 112 drives and controls the solid-state imaging device 108 at a timing synchronized with the frame rate of the video processed on the electronic endoscope processor 200 side according to the clock pulse supplied from the timing controller 206.
  • the image processing unit 220 generates a video signal for monitor-displaying an endoscopic image or the like based on the image signal input from the driver signal processing circuit 112 under the control of the system controller 202, and outputs the video signal to the monitor 300. Further, the image processing unit 220 calculates the severity of the lesion obtained by quantifying the degree of the lesion in the living tissue from the image of the lesion in the living tissue obtained by the electronic scope 100 using the color component and shape information of the image. Ask. Further, the image processing unit 220 generates a color map image in which the color is replaced based on the biological tissue redness obtained when the numerical processing for obtaining the severity is performed.
  • the image processing unit 220 generates a video signal for displaying the severity information and the color map image on the monitor, and outputs the video signal to the monitor 300. As a result, the surgeon can receive the severity of the lesion of the biological tissue of interest through the image displayed on the display screen of the monitor 300.
  • the image processing unit 220 outputs a color map image and severity information to the printer 400 as necessary.
  • the electronic endoscope processor 200 is connected to the server 600 via a NIC (Network Interface Card) 210 and a network 500.
  • the electronic endoscope processor 200 can download information related to the endoscopy (for example, the patient's electronic medical record information and surgeon information) from the server 600.
  • the downloaded information is displayed on the display screen of the monitor 300 or the operation panel 208, for example.
  • the electronic endoscope processor 200 uploads the endoscopic examination results (endoscopic image data, examination conditions, image analysis results, surgeon findings, etc.) to the server 600 and saves them in the server 600. Can do.
  • FIG. 2 is a diagram for explaining the configuration of an image processing unit 220 that performs a digitization process for digitizing the degree of lesion characteristics in order to calculate the severity of a lesion in a living tissue.
  • the image processing unit 220 is a part for obtaining the severity of a lesion obtained by quantifying the degree of the lesion of the living tissue from the image of the living tissue obtained by the electronic scope 100.
  • the image processing unit 220 includes a preprocessing unit 220a, a feature amount calculation unit 220b, a representative value calculation unit 220c, and an integration unit 220d.
  • the feature amount calculation unit 220b calculates a biological tissue redness value obtained by quantifying the degree of redness of the biological tissue for each pixel as the first pixel evaluation value, and calculates the second pixel evaluation value on the biological tissue.
  • the redness of the blood vessel is calculated by quantifying the red color of the blood vessel region extending in the shape of a line.
  • the pre-processing unit 220a is a part that performs pre-processing on an image for evaluating the degree of red color indicated by the living tissue. As illustrated as an example, the pre-processing unit 220a performs RGB conversion, color space conversion, reference axis setting, and color correction. The preprocessing unit 220a converts the image signal (luminance signal Y, color difference signals Cb, Cr) input from the driver signal processing circuit 112 into image color components (R, G, B) using predetermined matrix coefficients. The preprocessing unit 220a further performs color conversion in which the image data converted into the image color component is orthogonally projected onto the RG plane.
  • the image color component of each pixel in the RGB color space defined by the RGB three primary colors is converted to an RG image color component.
  • the point of the image color component of each pixel in the RGB color space and the point of the image color component plotted in the RG color space are referred to as “pixel corresponding points”.
  • the RGB image color components in the RGB color space are, for example, color components having wavelengths of 620 to 750 nm, wavelengths of 495 to 570 nm, and wavelengths of 450 to 495 nm in order. Note that the color component constitutes a color space (including a color plane). Hue and saturation are excluded from “color components”.
  • the preprocessing unit 220a is set with a reference axis in the RG plane that is necessary for evaluating the redness and vascularity of the biological tissue.
  • the R component of the image color component is dominant over the other components (G component and B component) due to the influence of hemoglobin pigment or the like.
  • the red color (R component) becomes stronger than the other colors (G component and B component) as the inflammation increases.
  • the color of the captured image in the body cavity changes according to the imaging condition that affects the brightness (for example, the degree of illumination light hit).
  • the shaded portion where the illumination light does not reach is black (achromatic color, for example, the values of the image color components of R, G, and B are zero or close to zero), and the illumination light is strongly applied and is positive.
  • the portion to be reflected is white (achromatic color, for example, a value close to 255 or 255 when the values of R, G, and B image color components are 8-bit gradation). That is, even when the same inflammatory site where inflammation is occurring is imaged, the pixel value of the inflammatory site increases as the illumination light hits stronger. Therefore, depending on how the illumination light hits, the value of the color component of the image may take a value that has no correlation with the intensity of inflammation.
  • a healthy site in a body cavity where inflammation has not occurred is covered with sufficient mucosa.
  • the site of inflammation in the body cavity where inflammation is occurring is not covered with sufficient mucosa.
  • blood vessels and blood fluids leak from the blood vessels as the blood vessels dilate, so that the mucous membrane becomes relatively thin and the color of blood is easily visible.
  • the mucous membrane is basically a white tone, but is slightly yellowish in color, and the color (yellow) appearing on the image changes depending on the shading (thickness of the mucous membrane). Therefore, the density of the mucous membrane is considered to be one index for evaluating the degree of inflammation.
  • FIG. 3 is a diagram illustrating an example of a reference axis in a color space used in an embodiment.
  • the plot shown in FIG. 3 is obtained as a result of analyzing a large number of reference images in the body cavity.
  • the reference image used for the analysis is considered to be the most inflammatory image example (the most severe level inflammatory image example) or the lowest inflammatory image example (substantially healthy site) Examples of inflammation images at each stage are included.
  • FIG. 3 only a part of the plot obtained as a result of the analysis is shown for the sake of clarity.
  • the number of plots actually obtained as a result of the analysis is much larger than the number of plots shown in FIG.
  • the boundary line between the region where the plot is distributed and the region where the plot is not distributed which is an axis on the boundary line closer to the R axis than the G axis, in the example shown in FIG. 3, (50, 0) and (255, The axis on the boundary line passing through 76) is set as an axis having a high correlation with a portion having the strongest degree of inflammation, that is, a region with the highest degree of inflammation.
  • This axis is the hemoglobin change axis AX1.
  • the hemoglobin change axis AX1 On the hemoglobin change axis AX1, a plot corresponding to an inflammatory site having the highest degree of inflammation imaged under various imaging conditions, for example, the degree of illumination light hit is superimposed. Therefore, the hemoglobin change axis AX1 is an axis on which the corresponding pixel points plotted converge as the degree of inflammation of the living tissue increases.
  • the G component (or B component) of the color components of the image becomes stronger than the R component as it is closer to the healthy site. Therefore, it is a boundary line between a region where the plot is distributed and a region where the plot is not distributed, and is an axis on the boundary line closer to the G axis than the R axis, in the example shown in FIG. 3, (0, 0) and (255, 192) is set as the axis that is highly correlated with the lowest degree of inflammation, that is, the lowest degree of inflammation, that is considered to be a substantially healthy site.
  • the This axis is the mucosa changing axis AX2.
  • the mucous membrane change axis AX2 On the mucous membrane change axis AX2, plots corresponding to various imaging conditions, for example, a portion with the lowest degree of inflammation imaged under the condition of illumination light, that is, a portion regarded as a substantially normal portion are superimposed. Therefore, the mucous membrane change axis AX2 is an axis at which the plotted pixel corresponding points converge as the degree of inflammation decreases (closer to a healthy site).
  • the highest part of the lesion is accompanied by bleeding.
  • the lowest part of the lesion is a substantially normal healthy site and is therefore covered with sufficient mucosa. Therefore, the plot in the RG color space shown in FIG. 3 can be understood as being distributed in an area sandwiched between an axis having the highest correlation with blood (hemoglobin pigment) and an axis having the highest correlation with mucosal color. .
  • the boundary line closer to the R axis (the R component is strong) is the axis indicating the inflammatory site with the highest degree of inflammation (hemoglobin change axis AX1) ), And the boundary line closer to the G axis (the G component is stronger) corresponds to the axis (mucosal change axis AX2) indicating the inflammatory site having the lowest degree of inflammation.
  • a process of calculating a biological tissue redness indicating the degree of red which will be described later, is performed on the color components of the orthographically projected image. Prior to the process of calculating the biological tissue redness, color correction is performed on the orthogonally projected pixel data.
  • the reference axis shown in FIG. 3 is an example, and the reference axis varies depending on the type of disease.
  • the pre-processing unit 220a performs color correction on the color components of the image represented in the RG color space before calculating the inflammation evaluation value.
  • the memory 222 stores correction matrix coefficients. Pre-processing unit so that the inflammation evaluation value described later does not vary when taking images with different electronic endoscope systems in spite of the same inflammatory site (in other words, to suppress errors between individuals of the electronic scope) 220a corrects pixel data (R, G), which is a pixel corresponding point in the RG color space of each pixel, using a correction matrix coefficient as shown in the following equation.
  • Rnew Pixel data after correction (R component)
  • Gnew Pixel data after correction (G component)
  • M 00 to M 11 Correction matrix coefficient
  • R Pixel data before correction (R component)
  • G Pixel data before correction (G component)
  • the feature amount calculation unit 220b selects one target pixel from the pixels, and for the selected target pixel, a deviation for calculating the degree of inflammation based on the information on the color component of the target pixel for the biological tissue redness Calculate the angle. That is, a digitization process for digitizing the degree of redness of the living tissue based on the information of the color component of the pixel is performed.
  • FIG. 4 is a diagram illustrating a method of calculating a shift angle for calculating the redness of the living tissue used in an embodiment. Specifically, as shown in FIG.
  • the feature amount calculation unit 220b sets the intersection point of the hemoglobin change axis AX1 and the mucosa change axis AX2 as the reference point O ′, and the pixel corresponding point P between the reference point O ′ and the target pixel. Is calculated as a deviation angle ⁇ in which the direction of the line segment L connecting the two is deviated from the reference axis AX1.
  • the reference point O ′ is located at the coordinates ( ⁇ 150, ⁇ 75). Although an example in which the reference point O ′ is set to the coordinates ( ⁇ 150, ⁇ 75) is given, the present invention is not limited to this.
  • the reference point O ′ can be appropriately changed.
  • the reference point O ′ may be an intersection of the R axis and the G axis in the RG color space.
  • the coordinate position suitable as the reference point O ′ is, for example, a position where the error of the evaluation result due to the variation in brightness can be reduced.
  • the reference point O ′ is obtained by obtaining in advance a point that minimizes an error between an evaluation result in a dark part (luminance is less than a predetermined value) and an evaluation result in a non-dark part (luminance is a predetermined value or more). It is preferable to set.
  • the reference point O ′ is set between the coordinates ( ⁇ 10, ⁇ 10) to (10, 10), it is compared with the case where the coordinates ( ⁇ 150, ⁇ 75) etc. are set as the reference point O ′.
  • the amount of change in the angle ⁇ when the pixel corresponding point changes increases, so that the resolution improves. Thereby, a highly accurate evaluation result can be obtained.
  • the reference point O ′ between the coordinates ( ⁇ 50, ⁇ 50) to ( ⁇ 200, ⁇ 200), the evaluation result indicating the degree of inflammation is hardly affected by noise.
  • the color of the image is affected by individual differences, photographing location, inflammation state, etc., but in the RG color space, The inflammatory site having the highest severity changes along the hemoglobin change axis AX1, and the inflammatory site having the lowest degree of inflammation changes along the mucosal change axis AX2.
  • the color of the image of the inflamed site where the degree of inflammation is intermediate changes with the same tendency.
  • the pixel corresponding point corresponding to the inflamed site changes depending on how the illumination light hits, the pixel corresponding point shifts in the azimuth direction starting from the reference point O ′.
  • the shift angle ⁇ is a parameter that is substantially unaffected by changes in image brightness.
  • the feature amount calculating unit 220b is offset angle theta is so becomes a value 255 when it is zero, the deviation angle theta is the value zero when a theta MAX, to normalize the angle theta.
  • ⁇ MAX is equal to the angle formed by the hemoglobin change axis AX1 and the mucosa change axis AX2.
  • the evaluation value calculation unit 220b performs a quantification process for quantifying the degree of red for each pixel of interest based on the color component information of each pixel of interest, so that the biological tissue red that falls within the range of 0 to 255 is obtained. Degree (first pixel evaluation value) is obtained. Note that one pixel of interest is selected for every pixel in the image. In the example illustrated in FIG. 4, the RG color space is used as the color space, but the RB color space can be used instead of the RG color space.
  • the feature amount calculation unit 220b calculates the biological tissue redness as the first pixel evaluation value based on the shift angle ⁇ . However, depending on the case, the feature amount calculation unit 220b may calculate the degree of ulcer feature of the biological tissue, which will be described later. 3 pixel evaluation value) is calculated. For example, the gain adjustment that gives a linear gain (gain) to the pixel value of each color component of each pixel of the image of the biological tissue is performed, and the dynamic range in the vicinity of the color gamut peculiar to the lesion is substantially widened.
  • gain adjustment that gives a linear gain (gain) to the pixel value of each color component of each pixel of the image of the biological tissue is performed, and the dynamic range in the vicinity of the color gamut peculiar to the lesion is substantially widened.
  • ulcerous areas with white lichen and pus-like mucus in ulcerative colitis are white, and inflammation that is red with edema and easy bleeding It can be distinguished from a normal part showing a part or yellow or green and a color component.
  • the biological tissue whiteness is a color having coordinate axes of two color components (two of R component, G component, and B component) or three color components (R component, G component, B component) as shown in FIG. It is possible to calculate using a deviation angle with respect to a reference axis different from the reference axis AX expressed in space.
  • the tone enhancement process is performed by the preprocessing unit 220a.
  • the feature amount calculation unit 220b further creates a color map image obtained by mosaicing the image of the living tissue with a display color that changes according to the redness of the living tissue.
  • a table in which pixel evaluation values are associated with predetermined display colors is stored in a storage area such as the memory 222.
  • different display colors are associated with each value in increments of 5.
  • blue is associated with a pixel evaluation value ranging from 0 to 5, and each time the pixel evaluation value increases by 5, a different display color is associated according to the order of colors arranged in the hue circle. In the range where the pixel evaluation value is 250 to 255, red is associated.
  • the display color is, for example, a color that approaches a warm color from a cold color, such as blue to yellow and further red as the degree of redness of the biological tissue increases.
  • the feature amount calculation unit 220b determines the display color of the selected target pixel on the color map image according to the biological tissue redness of the target pixel based on the above table. Thus, the feature amount calculation unit 220b creates a color map image to which a color is given according to the biological tissue redness.
  • the feature amount calculation unit 220b further determines the likelihood of the blood vessel region of the biological tissue in the image obtained by imaging the biological tissue based on the shape that characterizes the blood vessel, and, according to the obtained probability, if necessary. Extract blood vessel region.
  • the image of the living tissue includes an image of a muscular blood vessel region Y that can be seen through the mucous membrane in the vicinity of the lesion X.
  • the blood vessel region Y may be displayed in the same color as the inflammatory site.
  • 5A and 5B are diagrams schematically illustrating an example of an image of a biological tissue and an example of a color map image obtained by a conventional method.
  • the feature amount calculation unit 220b calculates the probability of the blood vessel region Y, and extracts the blood vessel region Y based on the probability.
  • FIG. 6 is a diagram for explaining an example of a method for extracting the blood vessel region Y in one embodiment.
  • the feature amount calculation unit 220b obtains a degree of matching that represents the degree of correlation between the shape of a part of the examination area AR of the image of the biological tissue and the linear shapes of the plurality of templates TP1 to TP4, and the plurality of templates TP1 to TP4.
  • the highest highest matching degree is defined as the probability of the blood vessel region Y in the examination target area AR.
  • the templates TP1 to TP4 are composed of pixels, and the templates TP1 to TP4 have a plurality of linear shapes in which the extending directions of the straight lines are different from each other.
  • each pixel has a pixel value in accordance with each linear shape.
  • the pixel evaluation value of the image in the inspection target area AR and the correspondence between each of the templates TP1 to TP4 are moved by overlapping the inspection target area AR sequentially along the arrow from the edge of the image. The degree of correlation with the pixel value to be obtained is obtained.
  • the templates TP1 to TP4 are provided with four straight shapes obtained by extending straight lines in four different extending directions as shapes characterizing the blood vessels.
  • the pixel value in the inspection target area AR includes information on a characteristic shape such that the blood vessel extends in a streak shape, and thus the pixel evaluation value set according to the deviation angle ⁇ .
  • the blood vessel region Y can be extracted using an image having a pixel value of.
  • the templates TP1 to TP4 have values for each pixel corresponding to the white area and the black area shown in FIG. Therefore, according to one embodiment, the matching degree is a correlation coefficient between the pixel values of the templates TP1 to TP4 and the corresponding pixel evaluation value of the inspection target area AR.
  • the matching degree is obtained by multiplying each of the filter coefficients by the image evaluation value of the corresponding pixel in the inspection target area AR, using the values for each pixel of the templates TP1 to TP4 as the filter coefficients of the spatial filter.
  • the total value may be used.
  • the highest matching degree having the highest value among the matching degrees calculated for each of the templates TP1 to TP4 is given to the central pixel of the examination target area AR as a value indicating the probability of the blood vessel region.
  • FIG. 7 is a diagram illustrating an example of filter coefficients when the template TP1 is used as a spatial filter.
  • the template TP1 has a shape in which a straight line extends in the vertical direction in the figure.
  • the template TP1 configures a 5 ⁇ 5 pixel spatial filter.
  • 1/5 is given as the filter coefficient to the pixels extending in a straight line
  • -1/20 is given as the filter coefficient to the other pixels.
  • the matching degree is zero.
  • the degree of matching increases. It can be said that as the value of the matching degree is larger, an image that approximates the template TP1 is included. Therefore, the matching degree is calculated for each of the templates TP1 to TP4, and the highest matching degree having the highest value among the calculated matching degrees is given to the central pixel of the examination target area AR as the probability of the blood vessel area Y. That is, the probability value of the blood vessel region Y is given to the central pixel of the examination area AR.
  • Such a matching degree is a result of spatial filtering of the pixel evaluation value that is the redness of the living tissue using each of the templates TP1 to TP4. Therefore, an image in which each pixel has a pixel evaluation value processed by the spatial filtering.
  • the value of each pixel includes information on the degree of matching when matching with any of the templates TP1 to TP4, and the image obtained by the spatial filtering has a pixel value reflecting the blood vessel region Y. .
  • the feature amount calculation unit 220b determines whether or not the blood vessel probability value in each pixel is larger than a predetermined value, and if the blood vessel probability value in the pixel is larger than a predetermined value, By determining that the pixel is in the blood vessel region Y, the blood vessel region Y is extracted. The feature amount calculation unit 220b determines the redness of the biological tissue in the pixel corresponding to the extracted blood vessel region Y as the blood vessel redness. In this case, the blood vessel redness of the region not corresponding to the blood vessel region Y is set to zero.
  • the feature amount calculation unit 220b obtains a value obtained by normalizing the probability of the blood vessel in the range of 0 to 1, and increases the tissue tissue redness so that the higher the value, the higher the value, and the lower the value.
  • the corrected result may be obtained as the blood vessel redness.
  • the blood vessel redness is calculated for all pixels.
  • the blood vessel redness value may be obtained by multiplying the biological tissue redness value by the blood vessel probability value.
  • the feature amount calculation unit 220b calculates the biological tissue redness as the first pixel evaluation value, and calculates the blood vessel redness as the second pixel evaluation value.
  • the representative value calculation unit 220c integrates the biological tissue redness (first pixel evaluation value) of each pixel calculated by the feature amount calculation unit 220b to represent the representative value (first representative) of the biological tissue redness of the biological tissue. Evaluation value), and the blood vessel redness degree (second representative evaluation value) captured by integrating the blood vessel redness degree (second pixel evaluation value) of each pixel calculated by the feature amount calculation unit 220b. Is calculated.
  • the integration process of the biological tissue redness and the vascular redness in each pixel may be an averaging process for calculating an average value of the biological tissue redness and the vascular redness in each pixel, or another known process, For example, a process for obtaining a median value may be used.
  • the averaging process includes a process for obtaining a simple average value and a process for obtaining a weighted average value. Further, as a known process, each of the tissue redness and vascular redness is divided into at least two or more levels having a rank, and the total of values obtained by multiplying the number of pixels belonging to each level by a predetermined weighting coefficient It may be a process of calculating the representative value by substituting the value P into a predetermined formula. In this case, the predetermined formula is, for example, 1 / (1 + e ⁇ P ). In this case, the weighting coefficient is preferably a coefficient obtained by multiple logistic regression analysis so as to have a correlation with the subjective evaluation result by the doctor.
  • the integrating unit 220d calculates the severity of the lesion by integrating the representative value of the biological tissue redness (first representative evaluation value) and the representative value of the blood vessel redness (second representative evaluation value).
  • the integration of the representative value of the biological tissue redness (first representative evaluation value) and the representative value of the vascular redness (second representative evaluation value) is performed by adding and subtracting the representative value of the biological tissue redness and the representative value of the vascular redness. It is performed by the calculation.
  • the severity is obtained by subtracting the representative value of the vascular redness from the representative value of the biological tissue redness, and the representative value of the vascular redness is When lower than the predetermined threshold, the severity is defined as the result of adding the representative value of the redness of the living tissue and the representative value of the blood vessel redness.
  • the integration unit 220d generates a signal for screen display of the calculated severity together with the color map image created by the feature amount calculation unit 220b, and sends the signal to the monitor 300.
  • FIG. 8 is a diagram schematically showing a distribution range of MAYO endoscopic subscore, which is a result of subjective evaluation of doctors on images of lesions of 100 ulcerative colitis.
  • the distribution range of the MAYO endoscopic subscore is shown on the orthogonal coordinate system of the representative value of the biological tissue redness and the representative value of the blood vessel redness.
  • MAYO 0, 1, and 2 in the figure indicate that the MAYO endoscopic subscore is 0, 1, and 2, respectively.
  • the progression from MAYO 0 to 2 means that the severity of the lesion increases.
  • FIG. 8 when proceeding from MAYO0 to MAYO1, roughly, the redness of the biological tissue is increased while the redness of the blood vessel is decreased.
  • the electronic endoscope processor 200 including such an image processing unit 220 calculates the severity of the lesion along the flow shown in FIG. 9 and displays the severity on the monitor 300.
  • FIG. 9 is a diagram illustrating an example of a processing flow for calculating the severity of a lesion by the electronic endoscope processor 200 according to the embodiment.
  • the image processing unit 220 acquires an image of the current frame (step S10).
  • the preprocessing unit 220a performs preprocessing including the above-described RGB conversion, color space conversion, reference axis setting, color correction, and tone enhancement processing as necessary
  • the feature amount calculation unit 220b further includes: A plurality of pixel evaluation values (a first pixel evaluation value, a second pixel evaluation value, a third pixel evaluation value) indicating the degree of each of a plurality of features related to the color component or shape indicated by the lesioned portion of the preprocessed image ), For example, biological tissue redness, blood vessel redness, biological tissue whiteness, etc. are calculated for each pixel (step S12).
  • the feature amount calculation unit 220b determines whether the pixel evaluation value has been calculated for all the pixels of the image of the current frame (step S14). When the calculation of the pixel evaluation value is completed for all the pixels, the representative value calculation unit 220c displays the representative value obtained by integrating the pixel evaluation values (first representative evaluation value, second representative evaluation value, or further third representative evaluation value). Calculate (step S16). The representative value is calculated for each of the plurality of pixel evaluation values. Thereafter, the integration unit 220d calculates one severity by combining a plurality of representative values (step S18).
  • the method of combining the representative values that best correspond to the subjective evaluation result among the plurality of representative values in the image of the biological tissue from which the subjective evaluation result by the doctor is obtained is established in advance by regression analysis or the like.
  • FIG. 10 is a diagram illustrating an example of a flow of combinations of representative values used in one embodiment.
  • the biological tissue redness and the blood vessel redness are used as the first pixel evaluation value and the second pixel evaluation value.
  • the integration unit 220d acquires the representative value of the reddish biological tissue and the representative value of the blood vessel redness calculated by the representative value calculation unit 220c (step S30).
  • the integration unit 220d subtracts the representative value of the blood vessel redness from the representative value of the biological tissue redness, and sets the subtraction result as the severity (step S32).
  • a representative value of vascular redness multiplied by a constant ⁇ may be subtracted from a value obtained by multiplying a representative value of biological tissue redness by a constant ⁇ .
  • Such severity corresponds to the subjective evaluation result by the doctor with high accuracy at the inflamed site (MYYO0 to MAYO1 in FIG. 8).
  • the greater the degree of inflammation at the inflamed site the greater the representative value of the biological tissue redness and the smaller the representative value of the blood vessel redness. Therefore, even if the representative value of the redness of the biological tissue happens to be the same, the severity level can be determined based on the difference in the representative value of the blood vessel redness. Similarly, even if the representative value of the blood vessel redness happens to be the same, the level of severity can be determined based on the difference in the representative value of the biological tissue redness.
  • FIG. 11 is a diagram illustrating an example of a flow of combinations of representative values used in an embodiment different from the flow illustrated in FIG. 10.
  • the first tissue evaluation value and the second pixel evaluation value are the biological tissue redness and the blood vessel redness.
  • the integration unit 220d acquires the representative value of the reddish biological tissue and the representative value of the blood vessel redness calculated by the representative value calculation unit 220c (step S40).
  • the integration unit 220d determines whether or not the representative value of the blood vessel redness is equal to or greater than a predetermined threshold TH1 (step S42).
  • the integration unit 220d subtracts the representative value of the vascular redness from the representative value of the biological tissue redness, and sets the subtraction result as the severity (step) S44).
  • a representative value of vascular redness multiplied by a constant ⁇ may be subtracted from a value obtained by multiplying a representative value of biological tissue redness by a constant ⁇ .
  • the integration unit 220d adds the representative value of the biological tissue redness and the representative value of the vascular redness, and the addition result is determined as the severity.
  • a representative value of biological tissue redness multiplied by a constant ⁇ and a representative value of blood vessel redness multiplied by a constant ⁇ may be added.
  • the calculation of the severity is changed depending on whether the representative value of the vascular redness is greater than or less than the threshold value TH1.
  • the degree increases MAYO0 ⁇ MAYO1
  • the movement moves as indicated by an arrow A shown in FIG. 8
  • the degree of severity increases (MAYO1 ⁇ MAYO2), the arrow B shown in FIG. Because it moves like. For this reason, the calculation of the severity is changed with the threshold TH1 as a boundary.
  • the representative value of the blood vessel redness is compared with the threshold value TH2 (see FIG. 8), and steps S44 and S46 are performed according to the comparison result.
  • the severity calculation may be varied.
  • the integration unit 220 d generates a signal for screen display of the color map image generated from the pixel evaluation value calculated in step S ⁇ b> 12 and the severity calculated in step S ⁇ b> 18, and sends the signal to the monitor 300. Thereby, the monitor 300 displays a color map image and severity information (step S20). In this way, the image processing unit 220 repeats the processing while sequentially receiving the captured images from the electronic scope 100 (step S22).
  • the image processing unit 220 has a pixel evaluation value (first pixel evaluation value, second pixel evaluation value, third pixel evaluation value) indicating the degree of each of the plurality of features in the lesion with respect to the color component indicated by the living tissue. Is calculated for each pixel from the image, and a plurality of pixel evaluation values are integrated to represent representative evaluation values (first representative evaluation value, second representative evaluation value, third representative evaluation) of feature amounts corresponding to the plurality of features. Value) and integrating the plurality of representative evaluation values with each other, the severity of the lesion of the lesion in the living tissue is calculated.
  • the severity of the lesion is calculated using a plurality of pixel evaluation values, the severity of the lesion in the lesion is compared with the case where the evaluation is performed using only the red information of the living tissue as in the past. It can be evaluated with high accuracy.
  • FIG. 12 is a diagram illustrating an example of a flow of an embodiment in which severity is calculated using three pixel evaluation values.
  • biological tissue redness, blood vessel redness, and biological tissue whiteness are used as the three pixel evaluation values.
  • the biological tissue whiteness indicates the degree of ulcer characteristics in the biological tissue.
  • a gain adjustment that gives a non-linear gain (gain) to the pixel value of each color component of each pixel of the image of the biological tissue is performed, and the dynamic range in the vicinity of the color gamut peculiar to the lesion is substantially widened.
  • tone emphasis processing that increases the effective resolution of expression, for example, an ulcer site in ulcerative colitis shows white color because it contains white lichen and pus-like mucus.
  • the inflamed site exhibits a red color including edema and easy bleeding, and the normal site is yellow or green.
  • the biological tissue whiteness is expressed by the coordinate axes of two color components (two of R component, G component, and B component) or three color components (R component, G component, B component) as shown in FIG.
  • the calculation is performed using a deviation angle with respect to a reference axis different from the reference axis AX expressed in the color space.
  • Such biological tissue whiteness is calculated by the feature amount calculation unit 220b together with the biological tissue red portion and the blood vessel red portion, and the representative value of the biological tissue whiteness is calculated by the representative value calculation unit 220c. Calculated with the red part.
  • the integration unit 220d acquires the representative value of the biological tissue red part, the representative value of the blood vessel redness, and the representative value of the biological tissue whiteness calculated by the representative value calculation unit 220c (step S50).
  • the integration unit 220d determines whether or not the representative value of the blood vessel redness is equal to or higher than a predetermined threshold TH1 (step S52). If the representative value of the vascular redness is equal to or greater than the predetermined threshold TH1, the integration unit 220d subtracts the representative value of the vascular redness from the representative value of the biological tissue redness, and sets the subtraction result as the severity (step) S54). As for the subtraction, a representative value of vascular redness multiplied by a constant ⁇ may be subtracted from a value obtained by multiplying a representative value of biological tissue redness by a constant ⁇ .
  • the integration unit 220d adds the representative value of the biological tissue redness and the representative value of the whiteness of the biological tissue, and determines the addition result as the severity. (Step S56).
  • the representative value of whiteness of living tissue shows the same degree of whiteness as the color components of white lichen and pus-like mucus contained in the ulcer site. Therefore, the representative value of whiteness of living tissue increases as the degree of lesion increases. Become.
  • the blood vessel redness threshold TH1 is used as a boundary between the case of only the inflammatory site and the case of including the inflammatory site and the ulcer site. In this way, since the degree of inflammation and the degree of ulcer in the living tissue can be evaluated at the same time, it accurately corresponds to the subjective evaluation result by the doctor.
  • FIG. 13 is a diagram illustrating an example of a combination flow of an embodiment different from the combination of representative values of pixel evaluation values illustrated in FIG.
  • the lesion includes the ulcer site, and the surface of the living tissue has an uneven shape. Therefore, Crohn's disease has different features on the surface of the living tissue. . For this reason, in order to evaluate the degree of lesion in the lesion part of Crohn's disease, a pixel evaluation value indicating the degree of feature related to the shape indicated by the lesion part is calculated.
  • the degree of the feature regarding the shape is, for example, the degree of unevenness on the surface of the biological tissue.
  • the degree of the feature related to the shape is the degree of unevenness on the surface of the living tissue
  • the degree of unevenness can be obtained by using a known edge detection filter on the image of the luminance component (Y signal) of the image. Can be evaluated.
  • the feature amount calculation unit 220b calculates the degree of unevenness of the biological tissue surface for each pixel based on the edge strength obtained using the edge detection filter.
  • the value of the degree of unevenness on the surface of a living tissue increases as the unevenness on the surface of the living tissue becomes more severe.
  • the feature amount calculation unit 220b calculates the biological tissue whiteness indicating the degree of the ulcer feature of the biological tissue.
  • the representative value calculation unit 220c obtains representative values of the whiteness of the biological tissue and the degree of unevenness of the biological tissue surface.
  • the representative value of the degree of unevenness of the biological tissue surface is not particularly limited, and may be an average value or a median value, as with representative values such as redness of the biological tissue and redness of the blood vessel, and is calculated from a known process. It may be a value.
  • the integration unit 220d acquires the representative value of the white portion of the living tissue and the representative value of the surface roughness of the living tissue (Step S60).
  • the integration unit 220d adds the acquired representative value of the white part of the biological tissue and the representative value of the degree of unevenness of the biological tissue surface, and sets the result as the severity (step S62).
  • a value obtained by multiplying the representative value of the biological tissue whiteness by the constant ⁇ and a value obtained by multiplying the representative value of the biological tissue surface unevenness by the constant ⁇ may be added. In this way, the representative value of the white portion of the living tissue and the representative value of the surface roughness of the living tissue are added, and the result of addition is used as the severity.
  • the level of severity can be determined by the difference in the surface unevenness of the biological tissue. Further, even when the degree of surface irregularity happens to be the same, the severity level can be determined by the difference in whiteness of the biological tissue indicating the degree of the color component of the ulcer in the biological tissue.
  • the image processing unit 220 calculates, for each pixel, a pixel evaluation value that indicates the degree of the feature related to the color component indicated by the lesion, or the degree of the feature related to the color component and the shape, for each pixel.
  • a representative evaluation value of a feature amount corresponding to a plurality of features is calculated by integrating each value, and a severity of a lesion is calculated by integrating the plurality of representative evaluation values. For this reason, compared with the case where it evaluates using only red information of living tissue like before, the extent of a lesion in a lesioned part can be evaluated with sufficient accuracy.
  • the degree of one of the color component features (second feature) indicated by the lesion is the degree of the color component contained in a portion having a predetermined shape in the image, for example, a muscular blood vessel portion, for example, red. It is the degree. For this reason, by evaluating the red level of the blood vessel region in addition to the red level of the living tissue, the level of the lesion at the inflammatory site in the inflammatory bowel disease can be evaluated more accurately than in the past.
  • the degree of one of the features indicated by the lesion is a predetermined shape in the image, for example, the degree of surface unevenness of the biological tissue. Therefore, the degree of lesion in Crohn's disease can be accurately evaluated based on the degree of ulcer and the degree of unevenness of the surface of the living tissue.
  • One of the pixel evaluation values is a color component that indicates the degree of inflammation of the living tissue, for example, a value that indicates the degree of characteristics relating to red, for example, the degree of redness of the living tissue, and one of the pixel evaluation values is A color component of a blood vessel region indicating a blood vessel extending in a streak shape, for example, a value indicating the degree of red contained in the blood vessel region, for example, a blood vessel redness. For this reason, it is possible to evaluate the degree of lesion at the inflammatory site in inflammatory bowel disease with higher accuracy than in the past.
  • the color components of the captured image sent from the electronic scope 100 include a red component, a green component, and a blue component, and the feature amount calculation unit 220b is in a color space defined by the red component, the blue component, or the green component. 4, the direction of the line segment L connecting the reference point O ′ set in the color space and the pixel corresponding point P corresponding to the color component of each pixel of the image is relative to the reference axis AX1. Since the pixel evaluation value is calculated based on the shift angle ⁇ , the inflammation can be objectively evaluated in inflammatory bowel disease regardless of the contrast of the image.
  • the representative value of the tissue redness (first representative evaluation value) or the representative value of the blood vessel redness (second representative evaluation value) exceeds or does not exceed the threshold.
  • the degree of lesion in the lesion can be evaluated with higher accuracy than in the past.
  • the feature amount calculation unit 220b is different from the red level (first feature amount) of the biological tissue and the red level of the blood vessel (second feature amount) regarding the color component indicated by the lesion.
  • the biological tissue surface unevenness degree (third pixel evaluation value) indicating the degree of surface unevenness (third feature amount) is calculated for each pixel, and the integration unit 220d determines the representative value (second representative) of the blood vessel redness degree.
  • the representative value of the vascular redness (second representative evaluation value) is subtracted from the representative value of the biological tissue redness (first representative evaluation value) to obtain the representative value of the vascular redness (second).
  • the severity is calculated by adding the representative value of the biological tissue whiteness (third representative evaluation value) to the representative value of the biological tissue redness (first representative evaluation value). . For this reason, the extent of the lesion in Crohn's disease can be accurately evaluated.
  • one of the pixel evaluation values is a value indicating the degree of the characteristic regarding the color component indicating the degree of ulcer of the living tissue, for example, the whiteness of the living tissue.
  • the endoscope system of the present invention has been described in detail above, the endoscope system of the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the gist of the present invention. Of course it is also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システムは、体腔内の生体組織を撮像して得られる前記生体組織の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて数値化した前記病変部の病変の重症度を求める画像処理ユニットを含む。前記画像処理ユニットは、前記病変部が示す色成分、あるいは色成分及び形状に関する第１特徴及び第２特徴それぞれの程度を示す第１画素評価値及び第２画素評価値を、前記画像から画素毎に算出する特徴量算出部と、前記第１画素評価値及び前記第２画素評価値のそれぞれを統合することにより撮像した生体組織の前記第１特徴に対応した第１代表評価値及び前記第２特徴に対応した第２代表評価値を算出する代表値算出部と、前記第１代表評価値及び前記第２代表評価値同士を統合することにより、前記重症度を算出する統合部と、を備える。

Description

内視鏡システム
　本発明は、体腔内の生体組織の画像を画像処理する内視鏡システムに関する。
　生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎（ＵＣ：Ulcerative Colitis）の病変の潰瘍部位では、白苔や膿様粘液を含み白色になり、また、炎症部位では、浮腫や易出血性を含む赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。　
　しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部位と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の程度を客観的に数値化した評価結果を提供することが好ましい。
　これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている（特許文献１）。
国際公開第２０１７／０５７６８０号パンフレット
　上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも３つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも３つ以上の色成分のうちの少なくとも２つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備える。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
　このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
　しかし、上記内視鏡システムが評価できる病変部は、生体組織の粘膜層が薄くなって荒れて赤味を示す炎症部位であり、この炎症部位の炎症の程度を色成分で評価するので、医師による炎症～潰瘍を含んだ主観評価結果あるいは組織学的な評価結果と十分に対応しない場合がある。すなわち、上記内視鏡システムは、粘膜層およびその下層まで部分的に欠落する潰瘍を含めて、病変部における病変の程度を示す重症度を評価することはできない。
　そこで、本発明は、生体組織の病変部における病変の程度を精度よく評価することができる内視鏡システムを提供することを目的とする。
　本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
　体腔内の生体組織を撮像する電子内視鏡と、
　前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて数値化することにより前記病変部における病変の重症度を求める画像処理ユニットを含むプロセッサと、
　前記重症度の情報を表示するモニタと、を備える。
　前記画像処理ユニットは、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状、に関する第１特徴及び第２特徴それぞれの程度を示す第１画素評価値及び第２画素評価値を、前記画像から画素毎に算出する特徴量算出部と、
　前記画像における各画素の前記第１画素評価値を統合することにより撮像した生体組織の前記第１特徴の第１代表評価値を算出し、前記画像における各画素の前記第２画素評価値を統合することにより撮像した生体組織の前記第２特徴の第２代表評価値を算出する代表値算出部と、
　前記第１代表評価値及び前記第２代表評価値同士を統合することにより、前記病変の重症度を算出する統合部と、
　を備える。
　前記第２特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、ことが好ましい。
　前記第２特徴の程度は、前記画像中の所定の形状をなした部分における前記所定の形状の特徴の程度である、ことが好ましい。
　前記第１画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
　前記第２画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値である、ことが好ましい。
　前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
　前記特徴算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第１画素評価値を算出する、ことが好ましい。
　前記統合部は、前記第１代表評価値あるいは前記第２代表評価値が閾値を越える場合と越えない場合との間で、前記重症度を算出する演算を変える、ことが好ましい。
　前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第２代表評価値を加算することにより、前記重症度を算出する、ことが好ましい。
　前記特徴量算出部は、前記第１特徴及び前記第２特徴と異なる、前記病変部が示す色成分に関する第３特徴の程度を示す第３画素評価値を画素毎に算出し、
　前記代表値算出部は、前記画像における各画素の前記第３画素評価値を統合することにより撮像した生体組織の前記第３特徴の第３代表評価値を算出し、
　前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第３代表評価値を加算することにより、前記重症度を算出する、ことが好ましい。
　前記第３画素評価値は、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値である、ことが好ましい。
　上述の内視鏡システムによれば、生体組織の病変部における病変の程度を精度よく評価することができる。
一実施形態の内視鏡システムの構成を示すブロック図である。 病変部の重症度の数値化処理を行う一実施形態の画像処理ユニットの構成を説明する図である。 一実施形態で用いる色空間内における基準軸の例を説明する図である。 一実施形態で用いる炎症の程度を計算するためのずれ角度を計算する方法を説明する図である。 （ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。 一実施形態における血管領域を抽出する方法の一例を説明する図である。 図６に示すテンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。 病変部の画像についての医師の主観評価結果の分布範囲を、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で概略的に示す図である。 一実施形態の電子内視鏡用プロセッサによる病変部の重症度の算出の処理のフローの一例を示す図である。 一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。 図１０に示すフローとは別の一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。 ３つの画素評価値を用いて重症度を計算する、一実施形態のフローの一例を示す図である。 図１２に示す画素評価値の代表値の組み合わせと異なる、一実施形態の組み合わせのフローの一例を示す図である。
　以下、本発明の実施形態の内視鏡システムについて図面を参照しながら説明する前に、まず、内視鏡システムの概念を説明する。
　生体組織における病変部は、炎症部位から潰瘍部位まで、病変部の病変の程度は種々存在する。従来の内視鏡システムは、炎症部位のみを評価対象とし、炎症部位の炎症の程度を、炎症部位の色成分の情報（例えば、赤色）に基づいて評価する。このような評価結果は、医師による炎症～潰瘍を含んだ評価あるいは組織学的な評価結果と十分に対応しない場合があった。このため、一実施形態の内視鏡システムは、病変部が示す色成分あるいは形状に関する第１特徴及び第２特徴それぞれの程度を示す第１画素評価値及び第２画素評価値を、生体組織の画像から画素毎に算出する。さらに、内視鏡システムは、算出した各画素の第１画素評価値を統合することにより撮像した生体組織の第１特徴の第１代表評価値を算出し、さらに、各画素の第２画素評価値を統合することにより撮像した生体組織の第２特徴の第２代表評価値を算出する。さらに、内視鏡システムは、算出した第１代表評価値及び第２代表評価値同士を統合することにより、病変部の病変の重症度を算出する。
　このように、第１特徴に関する各画素の第１画素評価値と第２特徴に関する各画素の第２画素評価値を少なくとも用いて、病変部の病変の重症度を算出するので、従来のように、生体組織が示す赤色の程度のみを用いて評価する場合に比べて病変部の病変の重症度を精度よく評価することができる。
　一実施形態によれば、上述の第１特徴の程度は、病変部が示す特定の色成分の程度であり、例えば、生体組織に含まれる赤色の程度であり、第１特徴の程度を数値化した画素毎の第１画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。第２特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度であり、第２特徴の程度を数値化した画素毎の第２画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。炎症部位において、血管赤色度が所定の閾値以上のとき、生体組織赤色度が高くなる程、血管赤色度が低くなり、血管赤色度が所定の閾値より低いとき、生体組織赤色度が高くなる程、血管赤色度が高くなる傾向がある。一実施形態によれば、血管赤色度が所定の閾値以上のときは、生体組織赤色度の代表値（第１代表評価値）から血管赤色度の代表値（第２代表評価値）を減算して重症度を算出し、血管赤色度が所定の閾値より低いときは、生体組織赤色度の代表値に血管赤色度の代表値を加算して重症度を算出する。すなわち、重症度は、第１代表評価値及び第２代表評価値同士を統合することにより得られる。こうして算出した重症度は、医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果と良好に対応する。
　図１は、本発明の一実施形態の電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。
　電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
　電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
　あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
　なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
　入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
　固体撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子スコープ１００は、固体撮像素子１０８を用いて、体腔内の生体組織を撮像する。
　電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
　システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
　タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
　画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の病変部の画像から、生体組織の病変の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度を求める。また、画像処理ユニット２２０は、重症度を求めるための数値化処理を行う際に得られる生体組織赤色度に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット２２０は、重症度の情報及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度を受けることができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。
　電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、サーバ６００に保存することができる。
　図２は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット２２０の構成を説明する図である。画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の画像から、生体組織の病変の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、特徴量算出部２２０ｂ、代表値算出部２２０ｃ、及び統合部２２０ｄを備える。
　特徴量算出部２２０ｂは、一実施形態として、第１画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、第２画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。
　前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
　前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。
　前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
　前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。
　被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の程度が低く、病変部が炎症部位である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ炎症部位を撮像した場合であっても、照明光が強く当たるほどその炎症部位の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。
　一般に、炎症が起こっていない体腔内の健常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。
　そこで、図３に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図３は、一実施形態で用いる色空間内における基準軸の例を説明する図である。
　図３に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部位であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図３に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図３に示されるプロットの数よりも遥かに多い。
　上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図３に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部位に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。
　一方、健常部位に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図３に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部位であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部位に近いほど）プロットされる画素対応点が収束する軸である。
　補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部位であるから、十分な粘膜で覆われている。そのため、図３に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部位を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部位を示す軸（粘膜変化軸ＡＸ２）に相当する。
　このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
　図３に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
　前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。メモリ２２２には、補正マトリックス係数が保存されている。同一の炎症部位にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子スコープの個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。
Figure JPOXMLDOC01-appb-I000001
Ｒnew　　：補正後の画素データ（Ｒ成分）
Ｇnew　　：補正後の画素データ（Ｇ成分）
Ｍ00～Ｍ11：補正マトリックス係数
Ｒ　　　：補正前の画素データ（Ｒ成分）
Ｇ　　　：補正前の画素データ（Ｇ成分）
　特徴量算出部２２０ｂは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図４は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部２２０ｂは、図４に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、基準軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（－１５０，－７５）に位置する。基準点Ｏ’を座標（－１５０，－７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。
　基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
　また、例えば、基準点Ｏ’を座標（－１０，－１０）から（１０，１０）の間に設定すると、座標（－１５０，－７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
　他方、基準点Ｏ’を座標（－５０，－５０）から（－２００，－２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
　体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、重症度の最も高い炎症部位ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部位では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部位の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸ＡＸ２に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
　ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部２２０ｂは、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、評価値算出部２２０ｂは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、０～２５５の範囲に収まる生体組織赤色度（第１画素評価値）を求める。
　なお、注目画素は、画像の全画素について１つずつ選択される。
　なお、図４に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。
　特徴量算出部２２０ｂは、ずれ角度θに基づいて生体組織赤色度を第１画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度（第３画素評価値）を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部位は白色を示し、浮腫や易出血性を含む赤色を示す炎症部位や黄色あるいは緑色を示す正常部位と色成分によって区別することができる。生体組織白色度は、図４に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、基準軸ＡＸとは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部２２０ａが行う。
　特徴量算出部２２０ｂは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルがメモリ２２２等の記憶領域に記憶されている。本テーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０～５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０～２５５の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部２２０ｂは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルに基づき、注目画素の生体組織赤色度に応じて決定する。
　こうして、特徴量算出部２２０ｂは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
　特徴量算出部２２０ｂは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
　図５（ａ）に示すように、生体組織を撮像した画像には、病変部Ｘの近傍には、粘膜を通して透けて見える筋状の血管領域Ｙの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図５（ｂ）に示すカラーマップ画像においても、血管領域Ｙは炎症部位と同じ色で表示される場合がある。図５（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
　特徴量算出部２２０ｂは、血管領域Ｙの確からしさを求め、確からしさに基づいて血管領域Ｙを抽出する。
　図６は、一実施形態における血管領域Ｙを抽出する方法の一例を説明する図である。
　特徴量算出部２２０ｂは、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１～ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートＴＰ１～ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアＡＲにおける血管領域Ｙの確からしさとする。テンプレートＴＰ１～ＴＰ４は、画素で構成され、テンプレートＴＰ１～ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１～ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図６に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１～ＴＰ４それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートＴＰ１～ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。検査対象エリアＡＲが血管領域を含む場合、検査対象エリアＡＲ内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Ｙを抽出することができる。テンプレートＴＰ１～ＴＰ４は、図６に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１～ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。
　テンプレートＴＰ１～ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。
　図７は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図６に示すように、図中の上下方向に直線が延びる形状を有する。図７では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として－１／２０が与えられている。フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１～ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Ｙの確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域Ｙの確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。
　このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートＴＰ１～ＴＰ４のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートＴＰ１～ＴＰ４のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Ｙを反映した画素値となっている。したがって、特徴量算出部２２０ｂは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Ｙにあると判定することにより、血管領域Ｙを抽出する。
　特徴量算出部２２０ｂは、抽出した血管領域Ｙに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Ｙに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部２２０ｂは、血管の確からしさを０～１の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
　このように、一実施形態の特徴量算出部２２０ｂは、生体組織赤色度を第１画素評価値として算出し、血管赤色度を第２画素評価値として算出する。
　代表値算出部２２０ｃは、特徴量算出部２２０ｂが算出した各画素の生体組織赤色度（第１画素評価値）を統合することにより撮像した生体組織の生体組織赤色度の代表値（第１代表評価値）を算出し、さらに、特徴量算出部２２０ｂが算出した各画素の血管赤色度（第２画素評価値）を統合することにより撮像した血管赤色度の代表値（第２代表評価値）を算出する。
　各画素における生体組織赤色度及び血管赤色度の統合の処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ－Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。
　統合部２２０ｄは、生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）同士を統合することにより、病変の重症度を算出する。生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）の統合は、生体組織赤色度の代表値と血管赤色度の代表値を加算、減算等の演算により行われる。例えば、血管赤色度の代表値が所定の閾値以上のとき、重症度は、生体組織赤色度の代表値から血管赤色度の代表値を減算した結果を重症度とし、血管赤色度の代表値が所定の閾値より低いとき、重症度は、生体組織赤色度の代表値と血管赤色度の代表値を加算した結果を重症度とする。
　統合部２２０ｄは、計算した重症度を、特徴量算出部２２０ｂで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ３００に送る。
　図８は、１００枚の潰瘍性大腸炎の病変部の画像についての医師の主観評価結果であるMAYO endoscopic subscoreの分布範囲を概略的に示す図である。図８では、MAYO endoscopic subscoreの分布範囲が、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で示されている。図中のＭＡＹＯ０，１，２のそれぞれは、MAYO endoscopic subscoreが０，１，２であることを示す。ＭＡＹＯ０から２に進むほど、病変の重症度は高くなることを意味する。
　図８からわかるように、ＭＡＹＯ０からＭＡＹＯ１に進む場合、概略、血管赤色度が低下しつつ生体組織赤色度が上昇することを示している。また、ＭＡＹＯ１からＭＡＹＯ２に進む場合、概略血管赤色度及び生体組織赤色度の双方が上昇することを示している。したがって、この事実より、血管赤色度の代表値が所定の閾値ＴＨ以上か、未満かによって重症度の算出の方法が異ならせることが、MAYO endoscopic subscoreに対応させる点で好ましいことがわかる。
　このような画像処理ユニット２２０を備える電子内視鏡用プロセッサ２００は、図９に示すフローに沿って病変の重症度を計算して重症度をモニタ３００に表示する。図９は、一実施形態の電子内視鏡用プロセッサ２００による病変の重症度の算出の処理のフローの一例を示す図である。
　まず、現フレームの画像を、画像処理ユニット２２０は取得する（ステップＳ１０）。
　次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部２２０ｂは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値（第１画素評価値、第２画素評価値、第３画素評価値）、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に計算する（ステップＳ１２）。
　特徴量算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する（ステップＳ１４）。全画素について画素評価値の計算を完了した場合、代表値算出部２２０ｃは、画素評価値を統合した代表値（第１代表評価値、第２代表評価値、あるいはさらに、第３代表評価値）計算する（ステップＳ１６）。代表値は、複数の画素評価値毎に算出される。
　この後、統合部２２０ｄは、複数の代表値を組み合わせて１つの重症度を計算する（ステップＳ１８）。なお、複数の代表値の組み合わせについては、医師による主観評価結果が得られている生体組織の画像における複数の代表値の中で、主観評価結果に最もよく対応する代表値の組み合わせ方（統合の仕方）を予め回帰分析等により確立しておく。
　図１０は、一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。図１０に示す例では、第１画素評価値及び第２画素評価値として、生体組織赤色度及び血管赤色度を用いる。統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色部の代表値と血管赤色度の代表値を取得する（ステップＳ３０）。統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算して、減算結果を重症度とする（ステップＳ３２）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
　このような重症度は、炎症部位（図８におけるＭＹＹＯ０～ＭＡＹＯ１）において、医師による主観評価結果と精度よく対応する。図８に示すように、炎症部位の炎症の程度が大きいほど、生体組織赤色度の代表値は大きくなり、血管赤色度の代表値は小さくなる分布を示す。したがって、生体組織赤色度の代表値がたまたま同じであっても、血管赤色度の代表値の相違によって、重症度の高低を判定することができる。同様に、血管赤色度の代表値がたまたま同じであっても、生体組織赤色度の代表値の相違によって、重症度の高低を判定することができる。
　図１１は、図１０に示すフローとは別の一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。図１１に示す例では、第１画素評価値及び第２画素評価値として、生体組織赤色度及び血管赤色度としている。統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色部の代表値と血管赤色度の代表値を取得する（ステップＳ４０）。統合部２２０ｄは、血管赤色度の代表値が予め定めた閾値ＴＨ１以上であるか否かを判定する（ステップＳ４２）。血管赤色度の代表値が予め定めた閾値ＴＨ１以上である場合、統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする（ステップＳ４４）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
　一方、血管赤色度の代表値が予め定めた閾値ＴＨ１未満である場合、統合部２２０ｄは、生体組織赤色度の代表値と血管赤色度の代表値とを加算し、この加算結果を重症度とする（ステップＳ４６）。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと血管赤色度の代表値に定数βを乗算したものを加算してもよい。
　このように、血管赤色度の代表値が閾値ＴＨ１以上であるか、未満であるかによって重症度の計算を変えるのは、図８に示すように、血管赤色度の代表値が低い場合、重症度が高くなる（ＭＡＹＯ０→ＭＡＹＯ１）程、図８に示す矢印Ａのように動き、血管赤色度の代表値が高い場合、重症度が高くなる（ＭＡＹＯ１→ＭＡＹＯ２）程、図８に示す矢印Ｂのように動くからである。このため、閾値ＴＨ１を境にして、重症度の演算を変えている。したがって、炎症部位（ＭＡＹＯ０→ＭＡＹＯ１）及び潰瘍部位（ＭＡＹＯ１→ＭＡＹＯ２）を含んだ病変部の病変の重症度の高低を精度よく判定することができる。なお、血管赤色度の代表値を閾値ＴＨ１と比較する代わりに、生体組織赤色度の代表値を閾値ＴＨ２（図８参照）と比較して、その比較結果に応じてステップＳ４４及びステップＳ４６のように、重症度の計算を変えてもよい。
　図９に戻って、統合部２２０ｄは、ステップＳ１２で計算した画素評価値から生成されるカラーマップ画像とステップＳ１８で計算した重症度を画面表示のための信号を生成してモニタ３００に送る。これにより、モニタ３００は、カラーマップ画像と重症度の情報を表示する（ステップＳ２０）。
　こうして画像処理ユニット２２０は、電子スコープ１００から順次撮像画像が送られてくる間、処理を繰り返す（ステップＳ２２）。
　このように、画像処理ユニット２２０は、生体組織が示す色成分に関して、病変における複数の特徴それぞれの程度を示す画素評価値（第１画素評価値、第２画素評価値、第３画素評価値）を、画像から画素毎に算出し、複数の画素評価値それぞれを統合することにより複数の特徴に対応した特徴量の代表評価値（第１代表評価値、第２代表評価値、第３代表評価値）を算出し、この複数の代表評価値同士を統合することにより、生体組織にある病変部の病変の重症度を算出する。このため、複数の画素評価値を用いて、病変の重症度を算出するので、従来のように、生体組織の赤色の情報のみを用いて評価する場合に比べて病変部における病変の重症度を精度よく評価することができる。
　図１０，１１に示す画素評価値の代表値の組み合わせの例は、いずれも、２つの画素評価値として生体組織赤色度と血管赤色度を用いて、重症度を算出するが、３つ以上の画素評価値を用いて重症度を算出することもできる。図１２は、３つの画素評価値を用いて重症度を計算する一実施形態のフローの一例を示す図である。
　図１２に示す例では、３つの画素評価値として、生体組織赤色度と、血管赤色度と、生体組織白色度と、を用いる。生体組織白色度は、生体組織における潰瘍の特徴の程度を示す。例えば、生体組織の画像の各画素の各色成分の画素値に対して、非線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば潰瘍性大腸炎における潰瘍部位は、白苔や膿様粘液を含むため白色を示す。一方、炎症部位は、浮腫や易出血性を含む赤色を呈し、正常部位は、黄色あるいは緑色を示す。したがって、生体組織白色度は、図４に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、基準軸ＡＸとは異なる基準軸に対するずれ角度を用いて計算する。このような生体組織白色度が、特徴量算出部２２０ｂで、生体組織赤色部及び血管赤色部と共に計算され、生体組織白色度の代表値が、代表値算出部２２０ｃで、生体組織赤色部及び血管赤色部と共に計算される。こうして、統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色部の代表値と、血管赤色度の代表値と、生体組織白色度の代表値と、を取得する（ステップＳ５０）。
　統合部２２０ｄは、血管赤色度の代表値が予め定めた閾値ＴＨ１以上であるか否かを判定する（ステップＳ５２）。血管赤色度の代表値が予め定めた閾値ＴＨ１以上である場合、統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする（ステップＳ５４）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
　一方、血管赤色度の代表値が予め定めた閾値ＴＨ１未満である場合、統合部２２０ｄは、生体組織赤色度の代表値と生体組織白色度の代表値とを加算し、この加算結果を重症度とする（ステップＳ５６）。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと生体組織白色度の代表値に定数βを乗算したものを加算してもよい。
　生体組織白色度の代表値は、潰瘍部位が含む白苔や膿様粘液が示す色成分と同じ、白色の程度を示すことから、病変の程度が強くなるほど、生体組織白色度の代表値は大きくなる。また、病変の程度が進むと血管は見え難くなる（血管の赤色は目立たなくなる）ため、病変の程度が強いとき、血管赤色度の代表値は小さい。このため、炎症部位のみの場合と炎症部位と潰瘍部位を含む場合の境として血管赤色度の閾値ＴＨ１を用いる。このように、生体組織における炎症の程度と潰瘍の程度を同時に評価することができるため、医師による主観評価結果と精度よく対応する。
　上述の実施形態では、生体組織赤色度、血管赤色度、及び生体組織白色度のように、病変部が示す色成分に関する特徴の程度を示す画素評価値を計算したが、病変部が示す形状に関する特徴の程度を示す画素評価値を計算してこの画素評価値の代表価を用いて病変の重症度を計算することもできる。図１３は、図１２に示す画素評価値の代表値の組み合わせと異なる、一実施形態の組み合わせのフローの一例を示す図である。
　潰瘍性大腸炎とは異なるクローン病では、病変部は潰瘍部位を含み、かつ生体組織の表面が凹凸形状となる特徴を有するため、クローン病は、潰瘍性大腸炎と生体組織表面の特徴が異なる。このため、クローン病の病変部の病変の程度を評価するために、病変部が示す形状に関する特徴の程度を示す画素評価値を計算する。形状に関する特徴の程度は、例えば、生体組織の表面の凹凸の程度である。
　形状に関する特徴の程度が、生体組織の表面の凹凸の程度である場合、この凹凸の程度は、画像の輝度成分（Ｙ信号）の画像に公知のエッジ検出フィルタを用いて求めることができるエッジ強度により評価することができる。したがって、特徴量算出部２２０ｂは、エッジ検出用フィルタを用いて得られるエッジ強度に基づいて、画素毎に生体組織表面凹凸度を計算する。生体組織表面凹凸度の値は、生体組織の表面の凹凸が激しくなる程、大きくなる。
　上述したように、特徴量算出部２２０ｂは、生体組織の潰瘍の特徴の程度を示す生体組織白色度を計算する。
　代表値算出部２２０ｃは、生体組織白色度及び生体組織表面凹凸度の代表値を求める。生体組織表面凹凸度の代表値は、生体組織赤色度や血管赤色度等の代表値と同様に、特に制限はされず、平均値やメディアン値であってもよく、公知の処理から計算される値であってもよい。
　統合部２２０ｄは、図１２に示すように、生体組織白色部の代表値及び生体組織表面凹凸度の代表値を取得する（ステップＳ６０）。
　統合部２２０ｄは、取得した生体組織白色部の代表値と生体組織表面凹凸度の代表値とを加算し、加算した結果を重症度とする（ステップＳ６２）。加算については、生体組織白色度の代表値に定数βを乗算したものと生体組織表面凹凸度の代表値に定数γを乗算したものを加算してもよい。
　このように、生体組織白色部の代表値と生体組織表面凹凸度の代表値とを加算し、加算した結果を重症度とするので、病変が潰瘍を伴う場合が多いクローン病において、病変のが進行するほど、表面凹凸の大きくなることから、潰瘍の色成分がたまたま同じ場合でも、生体組織表面凹凸度の相違によって、重症度の高低を判定することができる。また、表面凹凸の程度がたまたま同じ場合でも、生体組織の潰瘍の色成分の程度を示す生体組織白色度の相違によって重症度の高低を判定することができる。
　このように、画像処理ユニット２２０は、病変部が示す色成分に関する特徴の程度、あるいは色成分及び形状に関する特徴の程度、を示す画素評価値を、画像から画素毎に算出し、複数の画素評価値それぞれを統合することにより複数の特徴に対応した特徴量の代表評価値を算出し、この複数の代表評価値同士を統合することにより、病変の重症度を算出する。このため、従来のように、生体組織の赤色の情報のみを用いて評価する場合に比べて病変部における病変の程度を精度よく評価することができる。
　なお、病変部が示す色成分の特徴の１つ（第２特徴）の程度は、画像中の所定の形状をなした部分、例えば筋状の血管の部分に含まれる色成分の程度、例えば赤色の程度である。このため、生体組織の赤色の程度の他に、血管領域の赤色の程度を評価することにより、従来に比べて精度よく炎症性腸疾患における炎症部位の病変の程度を評価することができる。
　病変部が示す特徴の１つ（第２特徴）の程度は、画像中の所定の形状、例えば生体組織の表面凹凸の程度である。このため潰瘍の程度と生体組織の表面の凹凸度に基づいて、精度よく、クローン病における病変の程度を評価することができる。
　画素評価値の１つは、生体組織の炎症の程度を示す色成分、例えば赤色に関する特徴の程度を示す値、例えば、生体組織赤色度であり、画素評価値の１つは、画像中の、筋状に延びる血管を示す血管領域の色成分、例えば血管領域に含まれる赤色の程度を示す値、例えば血管赤色度である。このため、炎症性腸疾患における炎症部位の病変の程度を従来に比べて精度よく評価することができる。
　電子スコープ１００から送られる撮像した画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、特徴量算出部２２０ｂは、赤色成分と、青色成分あるいは緑色成分とによって定義される色空間内において、図４に示すように、色空間内に設定される基準点Ｏ’と画像の各画素の色成分に対応する画素対応点Ｐとを結ぶ線分Ｌの向きが、基準軸ＡＸ１に対してずれるずれ角度θに基づいて画素評価値を算出するので、炎症性腸疾患において、画像の明暗によらず、客観的に炎症を評価することができる。
　また、図８に示すように、生体組織赤色度の代表値（第１代表評価値）あるいは血管赤色度の代表値（第２代表評価値）が閾値を越える場合と越えない場合との間で、図１１に示すように、重症度を算出する演算を異ならせることにより、従来に比べてより精度よく病変部における病変の程度を評価することができる。
　特徴量算出部２２０ｂは、一実施形態によれば、病変部が示す色成分に関する生体組織の赤色の程度（第１特徴量）及び血管の赤色の程度（第２特徴量）と異なる、生体組織の表面の凹凸の程度（第３特徴量）の程度を示す生体組織表面凹凸度（第３画素評価値）を画素毎に算出し、統合部２２０ｄは、血管赤色度の代表値（第２代表評価値）が閾値以上の場合、生体組織赤色度の代表値（第１代表評価値）から血管赤色度の代表値（第２代表評価値）を減算し、血管赤色度の代表値（第２代表評価値）が閾値未満の場合、生体組織赤色度の代表値（第１代表評価値）に生体組織白色度の代表値（第３代表評価値）を加算することにより、重症度を算出する。このため、クローン病における病変の程度を精度よく評価することができる。
　画素評価値の１つは、上述したように、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値、例えば生体組織白色度である、ことが好ましい。
　以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１　電子内視鏡システム
１００　電子スコープ
２００　電子内視鏡用プロセッサ
２２０　画像処理ユニット
２２０ａ　前処理部
２２０ｂ　特徴量算出部
２２０ｃ　代表値算出部
２２０ｄ　統合部
２２２　メモリ
２２４　画像メモリ
２３０　光源部
３００　モニタ
４００　プリンタ
６００　サーバ

Claims (9)

  1. 　体腔内の生体組織を撮像する電子内視鏡と、
    　前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて数値化することにより前記病変部における病変の重症度を求める画像処理ユニットを含むプロセッサと、
    　前記重症度の情報を表示するモニタと、を備え、
    　前記画像処理ユニットは、
    　前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状、に関する第１特徴及び第２特徴それぞれの程度を示す第１画素評価値及び第２画素評価値を、前記画像から画素毎に算出する特徴量算出部と、
    　前記画像における各画素の前記第１画素評価値を統合することにより撮像した生体組織の前記第１特徴の第１代表評価値を算出し、前記画像における各画素の前記第２画素評価値を統合することにより撮像した生体組織の前記第２特徴の第２代表評価値を算出する代表値算出部と、
    　前記第１代表評価値及び前記第２代表評価値同士を統合することにより、前記病変の重症度を算出する統合部と、
    　を備えることを特徴とする内視鏡システム。
  2. 　前記第２特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、請求項１に記載の内視鏡システム。
  3. 　前記第２特徴の程度は、前記画像中の所定の形状をなした部分における前記所定の形状の特徴の程度である、請求項１に記載の内視鏡システム。
  4. 　前記第１画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
    　前記第２画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値である、請求項１～３のいずれか１項に記載の内視鏡システム。
  5. 　前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
    　前記特徴算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第１画素評価値を算出する、請求項１～４のいずれか１項に記載の内視鏡システム。
  6. 　前記統合部は、前記第１代表評価値あるいは前記第２代表評価値が閾値を越える場合と越えない場合との間で、前記重症度を算出する演算を変える、請求項１～５のいずれか１項に記載の内視鏡システム。
  7. 　前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第２代表評価値を加算することにより、前記重症度を算出する、請求項１～５のいずれか１項に記載の内視鏡システム。
  8. 　前記特徴量算出部は、前記第１特徴及び前記第２特徴と異なる、前記病変部が示す色成分に関する第３特徴の程度を示す第３画素評価値を画素毎に算出し、
    　前記代表値算出部は、前記画像における各画素の前記第３画素評価値を統合することにより撮像した生体組織の前記第３特徴の第３代表評価値を算出し、
    　前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第３代表評価値を加算することにより、前記重症度を算出する、請求項４または５に記載の内視鏡システム。
  9. 　前記第３画素評価値は、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値である、請求項８に記載の内視鏡システム。
PCT/JP2018/039235 2018-02-13 2018-10-22 内視鏡システム WO2019159435A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/004147 WO2019159770A1 (ja) 2018-02-13 2019-02-06 内視鏡システム
US16/963,405 US11436728B2 (en) 2018-02-13 2019-02-06 Endoscope system
JP2020500422A JP6907398B2 (ja) 2018-02-13 2019-02-06 内視鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018023111 2018-02-13
JP2018-023111 2018-02-13

Publications (1)

Publication Number Publication Date
WO2019159435A1 true WO2019159435A1 (ja) 2019-08-22

Family

ID=67618611

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2018/039235 WO2019159435A1 (ja) 2018-02-13 2018-10-22 内視鏡システム
PCT/JP2019/004147 WO2019159770A1 (ja) 2018-02-13 2019-02-06 内視鏡システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004147 WO2019159770A1 (ja) 2018-02-13 2019-02-06 内視鏡システム

Country Status (3)

Country Link
US (1) US11436728B2 (ja)
JP (1) JP6907398B2 (ja)
WO (2) WO2019159435A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059889A1 (ja) * 2019-09-27 2021-04-01 Hoya株式会社 内視鏡システム
WO2022064987A1 (ja) * 2020-09-25 2022-03-31 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 2020-09-25 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7455717B2 (ja) 2020-09-28 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156022A1 (ja) * 2018-02-07 2019-08-15 Hoya株式会社 内視鏡システム
KR102094780B1 (ko) * 2019-11-22 2020-03-30 주식회사 핏펫 색공간 변환을 이용한 생화학 정보 측정 방법 및 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2009247463A (ja) * 2008-04-02 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
WO2016208748A1 (ja) * 2015-06-25 2016-12-29 Hoya株式会社 内視鏡システム及び評価値計算装置
WO2017026539A1 (ja) * 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
WO2017057680A1 (ja) * 2015-09-30 2017-04-06 Hoya株式会社 内視鏡システム及び評価値計算装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218138A (ja) * 2005-02-14 2006-08-24 Yoshihiro Sasaki ハイビジョンデジタル内視鏡画像のファイリング及びコンピューター支援診断装置
JP6097629B2 (ja) * 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6433634B2 (ja) 2016-08-31 2018-12-05 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2009247463A (ja) * 2008-04-02 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
WO2016208748A1 (ja) * 2015-06-25 2016-12-29 Hoya株式会社 内視鏡システム及び評価値計算装置
WO2017026539A1 (ja) * 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
WO2017057680A1 (ja) * 2015-09-30 2017-04-06 Hoya株式会社 内視鏡システム及び評価値計算装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059889A1 (ja) * 2019-09-27 2021-04-01 Hoya株式会社 内視鏡システム
CN113556968A (zh) * 2019-09-27 2021-10-26 Hoya株式会社 内窥镜系统
JPWO2021059889A1 (ja) * 2019-09-27 2021-12-23 Hoya株式会社 内視鏡システム
JP7200393B2 (ja) 2019-09-27 2023-01-06 Hoya株式会社 内視鏡システム
CN113556968B (zh) * 2019-09-27 2023-12-22 Hoya株式会社 内窥镜系统
WO2022064987A1 (ja) * 2020-09-25 2022-03-31 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 2020-09-25 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7455717B2 (ja) 2020-09-28 2024-03-26 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム

Also Published As

Publication number Publication date
US11436728B2 (en) 2022-09-06
JP6907398B2 (ja) 2021-07-21
US20210133974A1 (en) 2021-05-06
JPWO2019159770A1 (ja) 2020-12-17
WO2019159770A1 (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
WO2019159435A1 (ja) 内視鏡システム
JP7068487B2 (ja) 電子内視鏡システム
JP7041318B2 (ja) 内視鏡システム
CN112351723B (zh) 电子内窥镜系统与数据处理装置
JP7084546B2 (ja) 内視鏡システム
JP6912608B2 (ja) 内視鏡システム
CN112930136B (zh) 电子内窥镜系统与数据处理装置
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP7455717B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JPWO2019142689A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906026

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18906026

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP