WO2018043551A1 - 電子内視鏡用プロセッサ及び電子内視鏡システム - Google Patents

電子内視鏡用プロセッサ及び電子内視鏡システム Download PDF

Info

Publication number
WO2018043551A1
WO2018043551A1 PCT/JP2017/031125 JP2017031125W WO2018043551A1 WO 2018043551 A1 WO2018043551 A1 WO 2018043551A1 JP 2017031125 W JP2017031125 W JP 2017031125W WO 2018043551 A1 WO2018043551 A1 WO 2018043551A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
pixel
value
electronic endoscope
processor
Prior art date
Application number
PCT/JP2017/031125
Other languages
English (en)
French (fr)
Inventor
貴雄 牧野
洋祐 池本
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to US16/308,452 priority Critical patent/US10646102B2/en
Priority to DE112017002933.3T priority patent/DE112017002933B4/de
Priority to CN201780035202.1A priority patent/CN109310299B/zh
Priority to JP2018537337A priority patent/JP6433634B2/ja
Publication of WO2018043551A1 publication Critical patent/WO2018043551A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to an apparatus for evaluating a symptom level of a lesion part of a patient, and more particularly, to an electronic internal that generates evaluation information for evaluating a symptom level of a lesion part based on a color component of a color endoscope image.
  • the present invention relates to an endoscope processor and an electronic endoscope system.
  • Patent Document 1 has a function of performing color conversion processing for emphasizing a color difference with respect to endoscopic image data captured using white light in order to easily identify a lesioned part or the like.
  • Electronic endoscope systems have been proposed.
  • the image generated by the electronic endoscope system described in Patent Document 1 is easier to distinguish between a normal tissue and a lesion compared to a normal endoscope image.
  • the color of the lesion changes depending on the degree of symptoms. Since changes according to the degree of symptoms are subtle, inexperienced surgeons were able to distinguish between normal tissues and lesions using known techniques including the technique described in Patent Document 1. Even so, it is difficult to accurately evaluate the symptom level of the lesion. Furthermore, even for a skilled surgeon, evaluation of the symptom level is left to the reading skill depending on the experience and knowledge of each individual surgeon, so that it is objective and reproducible (independent of the skill of the surgeon) ) could not evaluate.
  • the present invention has been made in view of the above circumstances, and the object of the present invention is to make it possible to perform an objective and reproducible evaluation of the symptom level of a target disease in a lesion area.
  • An endoscope processor and an electronic endoscope system are provided.
  • the electronic endoscope processor has less than n types of pixel data constituting a color image of a biological tissue in a body cavity composed of n (n ⁇ 3) types of color components.
  • a conversion means for converting to pixel data comprising m (m ⁇ 2) types of color components and a reference axis relating to the target disease passing through a predetermined reference point in a color plane defined by the m types of color components
  • the target disease based on an angle formed by a line segment connecting the reference point and a pixel corresponding point corresponding to the converted pixel data and the reference axis
  • Correlation value calculation means for calculating a correlation value with a predetermined standard for each pixel, and the calculated correlation values for each pixel are integrated, and the sum of the correlation values obtained by the integration is used as an evaluation value for the target disease.
  • Evaluation value calculation means Provided.
  • the correlation value is a first value or less and a second value or more, and the angle is in a range of a predetermined angle or less, and the smaller the angle is, the more the correlation value is the first value.
  • the correlation value becomes the second value within a range in which the angle is larger than the predetermined angle.
  • it is preferred that the correlation value is a normalized value, the first value is 1, and the second value is zero.
  • the conversion means may be configured to orthogonally project each pixel data in a color space defined by n types of color components onto a color plane.
  • the reference axis is an axis on which the converted pixel corresponding points converge as the symptom level increases for the target disease. Moreover, according to one embodiment, it is preferable that the reference axis is an axis indicating the inflammation site having the highest symptom level for the target disease.
  • the m color components of the converted pixel data include at least two of an R component, a G component, and a B component.
  • the m kinds of color components of the converted pixel data include the R component and any one of the G component and the B component.
  • the target plane is preferably a plane including an R component axis and a G component axis.
  • the electronic endoscope processor further includes display means for displaying an evaluation value on a predetermined display screen.
  • the processor for electronic endoscope further includes color component replacement means for replacing the color component of each pixel for which the correlation value is calculated with a color component corresponding to the correlation value. It is preferable to provide. In this case, it is preferable that the display unit displays an endoscopic image composed of pixels in which color components are replaced on the display screen.
  • the electronic endoscope processor corrects pixel data composed of m types of color components converted by the conversion unit using a predetermined color component correction coefficient. It is good also as a structure further provided with a correction means.
  • the correlation value calculating means calculates an angle formed by a line segment connecting a pixel corresponding point corresponding to pixel data composed of m types of color components corrected by the color component correction coefficient and the reference point, and the reference axis. Based on this, the correlation value is preferably calculated for each pixel.
  • the processor for electronic endoscope has n as a natural number of 3 or more, m as a natural number of 2 or more, and pixel data of a color image in a body cavity of n kinds of color components.
  • a reference direction related to a target disease viewed from a predetermined reference point is set in a color space defined by m types of color components less than n types, and for each pixel of the color pixel, Correlation value calculating means for calculating a correlation value with a predetermined reference state related to the target disease based on a degree of deviation of the pixel corresponding point corresponding to the pixel data from the reference direction in the direction viewed from the reference point; , An evaluation value calculating means for integrating the calculated correlation values in each pixel and setting the sum of correlation values obtained by the integration as an evaluation value for the target disease; Is provided.
  • the correlation value is preferably a value indicating the degree of inflammation of the mucous membrane of the biological tissue in the body cavity.
  • the color component correction coefficient is preferably a predetermined correction matrix coefficient for correcting pixel data composed of m kinds of color components.
  • the electronic endoscope system includes the electronic endoscope processor described above, an electronic scope that generates color image data and outputs the data to the electronic endoscope processor.
  • a display device configured to display an evaluation value obtained by the processor for electronic endoscope.
  • hue and saturation are removed from the color components.
  • evaluation information suitable for performing an objective and reproducible evaluation of the symptom level of the target disease is obtained. It is done.
  • FIG. 1 It is a block diagram which shows the structure of the electronic endoscope system which concerns on one Embodiment of this invention. It is a figure which shows an example of a structure of the image processing unit shown in FIG. It is a figure which shows the flowchart of the lesion evaluation information generation process performed with the processor for electronic endoscopes provided in the electronic endoscope system which concerns on one Embodiment of this invention. It is a figure which shows the RG plane where a pixel corresponding point is plotted. It is a figure explaining the reference axis set in an RG plane. It is a figure which shows notionally the correlation table which prescribes
  • FIG. 1 is a block diagram showing a configuration of an electronic endoscope system 1 according to an embodiment of the present invention.
  • the electronic endoscope system 1 includes an electronic scope 100, an electronic endoscope processor 200, a monitor 300, and a printer 400.
  • the electronic endoscope processor 200 includes a system controller 202 and a timing controller 206.
  • the system controller 202 executes various programs stored in the memory 204 and comprehensively controls the entire electronic endoscope system 1. Further, the system controller 202 changes various settings of the electronic endoscope system 1 in accordance with instructions from the user (surgeon or assistant) input to the operation panel 208.
  • the timing controller 206 outputs a clock pulse for adjusting the operation timing of each unit to each circuit in the electronic endoscope system 1.
  • the electronic endoscope processor 200 includes a light source device 230 that supplies illumination light to the electronic scope 100.
  • the light source device 230 includes a lamp 232, a lamp power source 234, a condenser lens 236, and a light control device 240.
  • the lamp 232 is a high-intensity lamp that emits white illumination light by receiving driving power from the lamp power supply 234. For example, a xenon lamp, a metal halide lamp, a mercury lamp, or a halogen lamp is applied.
  • the illumination light emitted from the lamp 232 is condensed by the condenser lens 236 and then incident on the incident end of the LCB (Light Carrying Bundle) 102 of the electronic scope 100 via the light control device 240.
  • LCB Light Carrying Bundle
  • the lamp 232 may be replaced with a semiconductor light emitting element such as an LD (Laser Diode) or an LED (Light Emitting Diode). Since the semiconductor light emitting device has features such as low power consumption and small amount of heat generation compared to other light sources, there is an advantage that a bright image can be acquired while suppressing power consumption and heat generation amount. The ability to obtain a bright image leads to an improvement in the accuracy of evaluation values related to inflammation described later.
  • the semiconductor light emitting element is not limited to the processor 200 and may be incorporated in the electronic scope 100. As an example, the semiconductor light emitting element may be provided in the distal end portion of the electronic scope 100.
  • the light control device 240 is a device that adjusts the amount of illumination light incident on the incident end of the LCB 102 based on the control of the system controller 202, and includes a diaphragm 242, a motor 243, and a driver 244.
  • the driver 244 generates a drive current for driving the motor 243 and supplies it to the motor 243.
  • the diaphragm 242 adjusts the amount of illumination light passing through the opening by changing the opening through which the illumination light passes by being driven by the motor 243.
  • Illumination light that has entered the LCB 102 from the incident end propagates through the LCB 102, is emitted from the exit end of the LCB 102 disposed in the distal end portion of the electronic scope 100, and is irradiated onto the subject via the light distribution lens 104.
  • the reflected light from the subject forms an optical image on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.
  • the solid-state image sensor 108 is a single-plate color CCD (Charge-Coupled Device) image sensor in which various filters such as an IR (Infra-Red) cut filter 108a and a Bayer array color filter 108b are arranged on the light-receiving surface. R (Red), G (Green), and B (Blue) primary color signals corresponding to the imaged optical image are generated.
  • CCD Charge-Coupled Device
  • a driver signal processing circuit 112 In the connection part of the electronic scope 100, a driver signal processing circuit 112 is provided.
  • the driver signal processing circuit 112 performs predetermined signal processing such as color interpolation, matrix calculation, and Y / C separation on the primary color signal input from the solid-state image sensor 108 to generate an image signal (luminance signal Y, color difference signal Cb, Cr) is generated, and the generated image signal is output to the image processing unit 220 of the electronic endoscope processor 200.
  • the driver signal processing circuit 112 accesses the memory 114 and reads the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the solid-state imaging device 108, an operable frame rate, a model number, and the like.
  • the driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.
  • the Bayer array color filter 108b used in the solid-state image sensor 108 is preferably a primary color (RGB) filter.
  • the primary color (RGB) filter has better color development than the complementary color filter. For this reason, when an RGB image signal obtained by an image sensor equipped with a primary color filter is used for calculation of an evaluation value related to inflammation described later, the evaluation accuracy can be improved.
  • a primary color filter it is not necessary to perform signal conversion in the evaluation value calculation processing related to inflammation. Therefore, it is possible to suppress the processing load of evaluation calculation.
  • the system controller 202 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal.
  • the system controller 202 uses the generated control signal to operate each circuit in the electronic endoscope processor 200 so that processing suitable for the electronic scope 100 connected to the electronic endoscope processor 200 is performed. And control timing.
  • the timing controller 206 supplies clock pulses to the driver signal processing circuit 112 and the image processing unit 220 according to the timing control by the system controller 202.
  • the driver signal processing circuit 112 drives and controls the solid-state imaging device 108 at a timing synchronized with the frame rate of the video processed on the electronic endoscope processor 200 side according to the clock pulse supplied from the timing controller 206.
  • the image processing unit 220 generates a video signal for monitor-displaying an endoscopic image or the like based on the image signal input from the driver signal processing circuit 112 under the control of the system controller 202, and outputs the video signal to the monitor 300. Furthermore, the image processing unit 220 performs a lesion evaluation information generation process described later, and generates a color map image in which the color of the captured image is replaced based on the result of the lesion evaluation information generation process. The image processing unit 220 generates a video signal for displaying the result of the lesion evaluation information generation process and the color map image on the monitor, and outputs the video signal to the monitor 300. Thereby, the surgeon can perform diagnosis in the digestive tract, for example, through the endoscopic image displayed on the display screen of the monitor 300.
  • the electronic endoscope processor 200 is connected to the server 600 via a NIC (Network Interface Card) 210 and a network 500.
  • the electronic endoscope processor 200 can download information related to the endoscopy (for example, the patient's electronic medical record information and surgeon information) from the server 600.
  • the downloaded information is displayed on the display screen of the monitor 300 or the operation panel 208, for example.
  • the electronic endoscope processor 200 uploads the endoscopic examination results (endoscopic image data, examination conditions, image analysis results, surgeon findings, etc.) to the server 600 and saves them in the server 600. Can do.
  • FIG. 2 is a diagram illustrating an example of the configuration of the image processing unit 220.
  • the image processing unit 220 includes an RGB conversion unit 220a, a color space conversion unit 220b, a color correction unit 220c, a correlation value calculation unit 220d, an evaluation value calculation unit 220e, an evaluation image creation unit 220f, a memory 222, and an image memory 224.
  • the image processing unit 220 may be a software module in which the system controller 202 activates a program to form the function of each part, or a hardware module configured by a dedicated circuit such as an FPGA (Field-Programmable Gate Array). It may be.
  • the RGB conversion unit 220a is configured to perform processing in processing step S11 shown in FIG.
  • the color space conversion unit 220b is configured to perform processing of processing steps S12 and S13 shown in FIG.
  • the color correction unit 220c is configured to perform processing in processing step S14 shown in FIG.
  • the correlation value calculation unit 220d is configured to perform processing of processing steps S15 and S16 shown in FIG.
  • the evaluation value calculation unit 220e is configured to perform the process of process step S17 shown in FIG.
  • the evaluation image creation unit 220f is configured to perform processing of processing steps S18 and S19 shown in FIG.
  • the memory 222 stores information necessary for processing performed by the image processing unit 220.
  • the stored information includes a correction matrix coefficient used when the color correction unit 220c performs color correction, a correlation table used when the evaluation value calculation unit 220e calculates an evaluation value, and an evaluation image creation unit 220f creates a color map image.
  • a display color table and the like used when performing the above are included.
  • the image memory 224 records and holds the image signal sent from the driver signal processing circuit 112 as a captured image, and further records and holds a processed image as a result of processing performed by the image processing unit 220 as necessary. Images recorded and held in the image memory 224 are called up and processed as necessary. The process will be described below.
  • FIG. 3 shows a flowchart of lesion evaluation information generation processing executed by the electronic endoscope processor 200.
  • the lesion evaluation information generation process described below is a target disease of a living tissue imaged by the electronic scope 100 (exemplarily, inflammation (red including edema and easily bleeding) that is a lesion of inflammatory bowel disease (IBD). This is a process for objectively evaluating the symptom level of the variable lesion)).
  • the lesion evaluation information generation processing roughly calculates a correlation value (inflammation intensity) indicating the symptom level of the target disease for each pixel included in the color endoscope image data.
  • an evaluation value for evaluating a symptom level related to inflammation of the target disease of the biological tissue that is the subject is calculated based on the calculated correlation values in all pixels, that is, an inflammation evaluation value.
  • the inflammation evaluation value is numerical data with guaranteed reproducibility calculated by executing a predetermined algorithm (lesion evaluation information generation process shown in FIG. 3). Therefore, the surgeon can objectively evaluate the symptom level of the target disease by grasping the inflammation evaluation value.
  • FIG. 4 shows an RG plane defined by the R axis and the G axis orthogonal to each other.
  • the R axis is the axis of the R component (R pixel value)
  • the G axis is the axis of the G component (G pixel value).
  • pixel data of each pixel in the RGB color space defined by the RGB three primary colors is converted into RG pixel data (two-dimensional made up of two types of color components).
  • the pixel data points of each pixel in the RGB color space and the pixel data points plotted in the RG plane are referred to as “pixel corresponding points”.
  • the RGB color components of the RGB color space are, for example, color components having wavelengths of 620 to 750 nm, wavelengths of 495 to 570 nm, and wavelengths of 450 to 495 nm in order.
  • the color component constitutes a color space (including a color plane). Also, hue and saturation are excluded from the “color component”.
  • each pixel data (three-dimensional data) in the RGB color space is orthogonally projected onto the RG plane, and a perpendicular drawn from the point in the RGB color space corresponding to each pixel data to the RG plane. Is a pixel corresponding point (two-dimensional data).
  • movement which converts the pixel data of each pixel of RGB color space into the pixel data of RG plane (orthographic projection) performed by this process step S12 is performed by the conversion means.
  • FIG. 5 is a diagram for assisting the explanation of the reference axis.
  • the R component is dominant over other components (G component and B component) due to the influence of a hemoglobin pigment or the like. (R component) is stronger than other colors (G component and B component).
  • the color of the captured image in the body cavity changes depending on the imaging condition that affects the brightness (for example, the degree of illumination light hit).
  • the shaded portion where the illumination light does not reach is black (achromatic color, for example, R, G, B is zero or a value close to zero), and the portion where the illumination light strikes strongly and specularly reflects is white ( Achromatic color, for example, R, G, B is 255 or a value close to 255). That is, even when the same abnormal part where inflammation has occurred is imaged, the pixel value of the abnormal part image increases as the illumination light hits stronger. Therefore, the pixel value may take a value that has no correlation with the intensity of inflammation depending on how the illumination light hits.
  • a normal site in a body cavity where inflammation has not occurred is covered with sufficient mucosa.
  • an abnormal site in a body cavity where inflammation occurs is not covered with sufficient mucosa.
  • blood vessels and blood fluids leak from the blood vessels as the blood vessels dilate, so that the mucous membrane becomes relatively thin and the color of blood is easily visible.
  • the mucous membrane is basically a white tone, but has a slightly yellowish color, and the color (yellow color) reflected on the image changes depending on the shade (thickness of the mucous membrane). Therefore, the density of the mucous membrane is considered to be one index for evaluating the intensity of inflammation.
  • a straight line passing through (50, 0) and (255, 76) is set as one of the reference axes, and (0, 0) and (255, 192) are set as one of the reference axes.
  • the former reference axis is referred to as “hemoglobin change axis AX1”, and the latter reference axis is referred to as “mucosal change axis AX2”.
  • the plot shown in FIG. 5 is obtained as a result of analysis of a large number of sample images in the body cavity by the inventor.
  • Sample images used for analysis include an example of inflammation image with the highest symptom level (example of inflammation image with the most severe level) and an example of inflammation image with the lowest symptom level (image example that is considered to be a substantially normal site) ) And the like are included.
  • FIG. 5 only a part of the plot obtained as a result of the analysis is shown for the sake of clarity.
  • the number of plots actually obtained as a result of the analysis is much larger than the number of plots shown in FIG.
  • the R component becomes stronger with respect to other components (G component and B component) as the abnormal site is more intensely inflamed. Therefore, it is a boundary line between a region where the plot is distributed and a region where the plot is not distributed, and is an axis on the boundary line closer to the R axis than the G axis, in the example of FIG. 5, (50, 0) and (255, 76). ) Is set as an axis having a high correlation with the lesion having the highest symptom level (the inflammation (abnormal) site having the highest symptom level). This axis is the hemoglobin change axis AX1.
  • the hemoglobin change axis AX1 On the hemoglobin change axis AX1, a plot corresponding to the inflammatory site having the highest symptom level imaged under various imaging conditions (for example, the degree of illumination light hit) is superimposed. Therefore, the hemoglobin change axis AX1 is an axis on which the pixel corresponding points plotted as the symptom level increases for the target disease converge.
  • the mucous membrane change axis AX2 On the mucous membrane change axis AX2, a plot corresponding to the inflammatory site having the lowest symptom level (substantially regarded as a normal site) imaged under various imaging conditions (for example, the degree of illumination light hit) is superimposed. Therefore, the mucous membrane change axis AX2 is an axis on which the pixel corresponding points to be plotted converge as the symptom level of the target disease decreases (closer to a healthy site).
  • the site of inflammation with the highest symptom level for the target disease is accompanied by bleeding.
  • the inflammatory site having the lowest symptom level is a substantially normal site or a healthy site, it is covered with sufficient mucosa. Therefore, the plot in the RG plane shown in FIG. 5 can be understood as being distributed in the region sandwiched between the axis most correlated with blood (hemoglobin pigment) and the axis most correlated with mucosal color. . Therefore, of the boundary lines between the region where the plot is distributed and the region where the plot is not distributed, the boundary line closer to the R axis (the R component is strong) indicates the inflammatory site with the highest symptom level (hemoglobin change axis AX1).
  • the boundary line closer to the G axis corresponds to the axis indicating the inflammatory site with the lowest symptom level (mucosal change axis AX2).
  • processing of processing step S15 described later is performed on the pixel data orthographically projected in S12.
  • color correction is performed on the pixel data orthographically projected in processing step S14.
  • the memory 222 stores correction matrix coefficients.
  • pixel data that is a pixel corresponding point of each pixel is used to suppress variation in score values (in other words, individual differences of electronic scopes) when the same lesion is imaged by different electronic endoscope systems. (R, G) is corrected using the correction matrix coefficients.
  • the operation of performing color correction on the pixel corresponding points of each pixel using the correction matrix coefficient, which is executed in this processing step S14, is performed by the color component correction means.
  • the color correction unit 220c shown in FIG. 2 preferably functions as a color component correction unit.
  • an angle for calculating the inflammation intensity is calculated for the pixel data (R new , G new ) of each pixel corrected in the processing step S14 (color correction of pixel data).
  • the angle ⁇ (see FIG. 4) formed by the hemoglobin change axis AX1 is calculated.
  • the reference point O ′ is located at the coordinates ( ⁇ 150, ⁇ 75).
  • the color tone of the captured image is affected by individual differences, imaging location, inflammation state, etc., but generally the symptom level in the RG plane Changes along the hemoglobin change axis AX1, and changes along the mucosal change axis AX2 in the inflammatory site having the lowest symptom level, in other words, the healthy part.
  • the color of the captured image of the inflammatory site having an intermediate symptom level also changes with the same tendency. In other words, when the pixel corresponding point corresponding to the inflamed site changes depending on how the illumination light hits, the pixel corresponding point shifts in the azimuth direction starting from the reference point O ′.
  • the angle ⁇ is a parameter that is substantially unaffected by changes in the brightness of the captured image.
  • the correlation value CV is calculated based on the angle ⁇ calculated in the processing step S15 (calculation of the angle). Based on the fact that the part reflected in the pixel with a smaller angle ⁇ has a higher correlation with the inflammatory part having the highest symptom level, in other words, the inflammatory part having a color component on the hemoglobin change axis AX1, which is one of the reference axes, A correlation value CV (inflammation intensity) is calculated for each pixel.
  • FIG. 6 conceptually shows a correlation table that defines the relationship between the angle ⁇ and the correlation value CV.
  • the correlation value of the correlation table is not more than the first value and not less than the second value.
  • the correlation table is such that the correlation value approaches the first value as the angle ⁇ is smaller than the predetermined angle and the angle ⁇ is smaller, and the correlation value becomes the second value when the angle ⁇ is larger than the predetermined angle. It is configured. In the range where the angle ⁇ is equal to or smaller than the predetermined angle, in the correlation table, the correlation value may change linearly as the angle ⁇ changes, or may change nonlinearly.
  • the correlation table is stored in the memory 222.
  • Pixels that fall within a range where the angle ⁇ is equal to or less than the predetermined threshold T are blood (hemoglobin dye) or It has color information close to this.
  • first range R 1 the smaller the angle ⁇ , the higher the correlation with the hemoglobin pigment and the higher the symptom level related to the target disease, and thus the correlation value CV is higher as shown in FIG.
  • a range other than the first range R 1 (a range where the angle ⁇ is larger than the predetermined threshold T and is equal to or less than the angle ⁇ MAX formed by the hemoglobin change axis AX1 and the mucosa change axis AX2). 2 ”is not a color close to blood (hemoglobin dye). Therefore, as shown in FIG. 6, the second range R 2, the correlation value CV is zero uniformly.
  • FIG. 7 is a diagram showing a subroutine of this processing step S16.
  • step S16a whether or angle calculated by the processing for one target pixel selected in a predetermined order step S15 (angle calculation) theta falls in the first range R 1 is determined.
  • This processing step S16b the angle of the target pixel in the processing step S16a theta if it is determined that fits to the first range R 1: is executed (S16a YES).
  • This processing step S16c the angle of the target pixel in the processing step S16a theta does not fit in the first range R 1, in other words, when the angle of the target pixel theta is determined to fit in the second range R 2 (S16a: NO).
  • step S16d it is determined whether or not the process step S16a has been executed for all the pixels. If there remains a pixel for which the processing step S16a has not been executed (S16d: NO), the processing returns to the processing step S16a, and the processing after the processing step S16a is executed for the next pixel of interest. When the processing step S16a is executed for all the pixels (S16d: YES), the process proceeds to the processing step S17 (accumulation of the correlation value CV).
  • a highly accurate evaluation result reflecting the symptom level of the inflamed part is obtained for each pixel.
  • movement which calculates correlation value CV about each pixel performed by this process step S16 is performed by the correlation value calculation means.
  • the correlation value calculation unit 220d shown in FIG. 2 preferably serves as a correlation value calculation unit.
  • movement which calculates the inflammation evaluation value performed by this process step S17 is performed by the evaluation value calculation means.
  • the evaluation value calculation unit 220e shown in FIG. 2 functions as a correlation value calculation unit.
  • Fig. 8 shows a conceptual diagram of the display color table.
  • the color of each pixel is replaced with the color of the display color associated with the correlation value CV according to the display color table.
  • the display color of the color map image is determined based on the display color table. The For example, each pixel is replaced with a cold color as the correlation value CV is close to 0, and is replaced with a warm color as the correlation value CV is close to 1.
  • FIG. 9 illustrates an evaluation image.
  • the evaluation image includes a color map image in which the color of each pixel is replaced in processing step S ⁇ b> 18 (determining the display color on the color map image).
  • the color map image is a gradation image in which each pixel is divided into 11 stages of colors according to the symptom level of the target disease. Therefore, the surgeon can easily visually recognize at what position within the imaging field angle how much symptom inflammation has occurred.
  • an inflammation evaluation value that is the sum of the correlation values CV of each pixel is displayed on the monitor 300.
  • “score: 1917” is displayed.
  • the symptoms of the target disease are displayed as numerical values that are objective and reproducible. Therefore, the surgeon can objectively grasp the symptoms of the target disease.
  • movement which displays the evaluation image containing a color map image and an inflammation evaluation value performed by this process step S19 is performed by a display means.
  • inflammation symptoms of inflammatory bowel disease have been classified into four stages according to the evaluation of findings such as MAYO score.
  • the symptom of the inflamed part is displayed as a fine numerical value, the surgeon can finely evaluate the symptom of the inflamed part. That is, in the embodiment, symptoms can be finely evaluated for light cases equivalent to MAYO0 or MAYO1, which is beneficial for the treatment of inflammatory bowel disease.
  • the image processing unit 220 includes a reference axis related to a target disease that passes a predetermined reference point, for example, the reference point O ′, in a color plane defined by m kinds of color components, for example, two types of color components.
  • a hemoglobin change axis AX1 is set, and for each pixel of the color image, based on an angle ⁇ formed by a line segment connecting the reference point and the pixel corresponding point and the reference axis, Are calculated for each pixel.
  • the image processing unit 220 determines a reference direction related to a target disease viewed from a predetermined reference point in a color space defined by m types of color components smaller than the color components of pixel data of a color image in a body cavity. For each pixel of the color pixel, a correlation value with a predetermined reference state related to the target disease is calculated based on the degree of deviation from the reference direction in the direction viewed from the reference point of the pixel corresponding point in the color space. calculate. For this reason, it is possible to obtain evaluation information suitable for performing an objective and reproducible evaluation for the symptom level of the target disease.
  • the correlation value is not less than the first value and not less than the second value, and the angle ⁇ is within a predetermined angle or less (for example, the first range R 1 shown in FIG. 6).
  • the correlation value approaches the first value, and the correlation value becomes the second value in a range where the angle ⁇ is larger than the predetermined angle (for example, the second range R 2 shown in FIG. 6).
  • the predetermined angle can be an angle formed between the hemoglobin axis AX1 and the mucosa changing axis AX2. There is almost no pixel corresponding point in the region where the G component increases with the mucous membrane change axis AX2 shown in FIG. 4 as the boundary. is there.
  • a nonlinear evaluation value depending on the magnitude of the angle ⁇ from the viewpoint of giving a correlation value corresponding to the actual inflammation level to each pixel corresponding point.
  • the correlation value of the pixel corresponding points in the range where the angle ⁇ is larger than the predetermined angle is obtained by integrating the correlation values. Since the inflammation evaluation value is not affected, the symptom level of the target disease can be objectively evaluated according to the magnitude of the inflammation evaluation value.
  • a reference axis for calculating the angle ⁇ like the hemoglobin axis AX1 is used.
  • the reference axis is an axis on which the pixel corresponding points converge as the symptom level increases for the target disease. For this reason, it can be said that the symptom level increases as the angle ⁇ approaches.
  • the correlation value can be calculated with high accuracy.
  • the color component of the biological tissue in the body cavity to be imaged by the electronic endoscope system 1 has many R components due to the pigment of hemoglobin and the like.
  • the G component and the B component are relatively large due to the mucous membrane and other tissues.
  • the color component constituting the pixel corresponding point includes at least two of the R component, the G component, and the B component. , R component, and any one color component of G component and B component. There is a yellow to green mucous membrane on the surface of the body tissue of the body cavity.
  • the color plane used for calculating the angle ⁇ is a plane including the R component axis and the G component axis. It is preferable that Therefore, the correlation value is preferably a value indicating the degree of inflammation of the mucous membrane of the living tissue in the body cavity.
  • the electronic endoscope processor 200 uses a display color table to replace the color of each pixel of the color image with a color corresponding to the correlation value of each pixel, and the color obtained by the color replacement.
  • the electronic endoscope system according to the embodiment brings about the following effects and solutions in the technical field.
  • the electronic endoscope system is a diagnostic aid for early detection of inflammatory diseases.
  • the surgeon degree (evaluation image or the like) is displayed on the screen or the image of the region where the inflammation is generated is emphasized so that the surgeon can find mild inflammation that is difficult to visually recognize. can do.
  • mild inflammation is difficult to distinguish from a normal part, the effects brought about by the configuration of the embodiment with respect to the evaluation of mild inflammation become significant.
  • an objective evaluation value can be provided to the surgeon as an evaluation of the degree of inflammation, so that a difference in diagnosis between the surgeons can be reduced.
  • the merit of providing an objective evaluation value according to the configuration of the present embodiment to an inexperienced surgeon is great.
  • the configuration of the present embodiment it is possible to display the inflamed part as an image in real time by reducing the load of image processing. Therefore, diagnostic accuracy can be improved.
  • the observation target part in the embodiment is, for example, a respiratory organ, a digestive organ, or the like.
  • the respiratory organ or the like is, for example, the lung or the ENT.
  • Examples of digestive organs include the large intestine, the small intestine, the stomach, the duodenum, and the uterus.
  • the electronic endoscope system according to the present embodiment is considered to be more effective when the observation target is the large intestine. Specifically, this is due to the following reasons.
  • the inflammation evaluation value exemplified in the embodiment is effective as an index of inflammatory bowel disease (IBD) represented by ulcerative colitis. Since a treatment method for ulcerative colitis has not been established, the use of the electronic endoscope system having the configuration of the embodiment has an extremely large effect of being detected early and suppressing progression.
  • IBD inflammatory bowel disease
  • the large intestine is a long and slender organ compared to the stomach and the like, and the obtained image has a depth and becomes darker at the back. According to the configuration of the embodiment, it is possible to suppress the fluctuation of the evaluation value due to the change in brightness in the image. Therefore, when the electronic endoscope system according to the embodiment is applied to observation of the large intestine, the effect of the embodiment becomes remarkable. That is, the electronic endoscope system according to the embodiment is preferably an electronic endoscope system for respiratory organs or an electronic endoscope system for digestive organs, and more preferably an electronic endoscope system for large intestine.
  • mild inflammation is generally difficult to diagnose
  • the configuration of the embodiment for example, by displaying the result of evaluating the degree of inflammation on the screen, it is possible to prevent the operator from overlooking the mild inflammation.
  • the judgment criteria are not clear, and this is a factor that increases individual differences among surgeons.
  • an objective evaluation value can be provided to the surgeon, so that variations in diagnosis due to individual differences can be reduced.
  • the above-described configuration of the embodiment can be applied not only to the degree of inflammation but also to the evaluation value of various lesions accompanied by cancer, polyps, and other color changes. In these cases, the same advantages as described above can be applied. Can have an effect. That is, the evaluation value of the present embodiment is preferably an evaluation value of a lesion with a color change, and includes at least one of an inflammation level, a cancer, and a polyp.
  • the embodiment of the present application also includes an embodiment that is exemplarily specified in the specification or a combination of obvious embodiments and the like as appropriate.
  • the correlation value CV may be calculated not for all pixels but only for some pixels that satisfy a predetermined condition (for example, pixels whose luminance values fall within an appropriate range).
  • pixel data in the RGB color space is converted into pixel data on the RG plane, and the inflammation evaluation value is calculated using the R component and G component included in each converted pixel data.
  • pixel data is converted to a lower-order color space (m (n> m ⁇ 2)
  • the target disease gastric atrophy or large intestine
  • Tumors etc. can also be evaluated.
  • the light source used for the electronic endoscope system various types of light sources can be used.
  • the type of the light source is limited (for example, a laser is excluded as the light source type).
  • the optimum value of the correction matrix coefficient varies depending on the spectral characteristics of the light source used. Therefore, for example, when the processor 200 includes a plurality of types of light sources (or when a plurality of types of external light sources are switched and used), correction matrix coefficients for each type of light source may be stored in the memory 222. Thereby, the dispersion
  • the angle ⁇ formed by the line segment L connecting the reference point O ′ and the pixel corresponding point and the hemoglobin change axis AX1 is calculated, and the target disease is evaluated based on the calculated angle ⁇ .
  • the present invention is not limited to this.
  • an angle formed by the line segment L and the mucous membrane change axis AX2 may be calculated, and the target disease may be evaluated based on the calculated angle.
  • the smaller the calculated angle the stronger the G component with respect to the R component, indicating that the severity of the inflammatory site is lower, and the larger the calculated angle, the stronger the R component with respect to the G component. Indicates a high degree.
  • the intersection of the hemoglobin change axis AX1 and the mucosa change axis AX2 is set as the reference point O ′.
  • the invention is not limited to this.
  • the origin (0, 0) of the RG plane located on the mucous membrane change axis AX2 may be set as the reference point O ′.
  • the minimum necessary reference axis is sufficient as one axis (mucosal change axis AX2), the processing load is reduced and the processing speed is improved.
  • the light source device 230 is provided integrally with the electronic endoscope processor 200, but the light source device 230 is provided as a separate device from the electronic endoscope processor 200. May be.
  • CMOS Complementary Metal Oxide Semiconductor
  • solid-state image sensor 108 may be used as the solid-state image sensor 108 instead of the CCD image sensor.
  • CMOS image sensor tends to darken an image as a whole as compared with a CCD image sensor. Therefore, the advantageous effect that the fluctuation of the evaluation value due to the brightness of the image by the configuration of the above-described embodiment can be suppressed becomes more prominent in a situation where a CMOS image sensor is used as the solid-state imaging device.
  • the resolution of the image is preferably 1 million pixels or more, more preferably 2 million pixels, and 8 million pixels or more. More preferably.
  • the processing load for performing the above-described evaluation value calculation for all pixels increases.
  • the processing load of evaluation value calculation can be suppressed. Therefore, the advantageous effect of the configuration of the present embodiment is remarkably exhibited in a situation where a high-definition image is processed.
  • the solid-state imaging device 108 having the R, G, B Bayer array color filter 108b is used, but complementary colors Cy (cyan), Mg (magenta), Ye (yellow), G A solid-state imaging device having a (green) filter may be used.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

電子内視鏡用プロセッサは、n(n≧3)種類の色成分よりなる体腔内のカラー画像を構成する各画素データをn種類よりも少ないm(m≧2)種類の色成分よりなる画素データに変換する変換手段と、m種類の色成分より定義される色平面内において、所定の基準点を通る、対象疾患に関する基準軸を設定しており、前記カラー画像の各画素について、該基準点と該画素データに対応する画素対応点とを結ぶ線分と、該基準軸と、がなす角度に基づいて、該対象疾患に関する所定の基準との相関値を画素毎に算出する相関値算出手段と、算出された各画素における相関値を積算し、積算することによって得た相関値の総和を対象疾患に関する評価値とする評価値算出手段とを備える構成とする。

Description

電子内視鏡用プロセッサ及び電子内視鏡システム
 本発明は、患者の病変部の症状レベルを評価するための装置に関連し、詳しくは、カラー内視鏡画像の色成分に基づいて病変部の症状レベルを評価する評価情報を生成する電子内視鏡用プロセッサ及び電子内視鏡システムに関する。
 病変部は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織に対して僅かに色の異なる病変部の識別も可能になってきている。しかし、術者が内視鏡画像内に含まれる僅かな色の相違によって正常組織と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。そこで、例えば特許文献1に、病変部等の識別を容易にするため、白色光を使用して撮像した内視鏡画像データに対して色の違いを強調する色変換処理を行う機能を備えた電子内視鏡システムが提案されている。
特開2009-106424号公報
 特許文献1に記載の電子内視鏡システムによって生成される画像は、通常の内視鏡画像に比べれば正常組織と病変部とを識別し易いものといえる。しかし、病変部の色は症状の程度に応じて変化する。症状の程度に応じた変化は微妙であるため、経験の浅い術者では、特許文献1に記載の技術をはじめとする公知の技術を用いて正常組織と病変部とを識別することができたとしても、病変部の症状レベルを正確に評価することは難しい。更には、熟練した術者であっても、症状レベルの評価が術者個々人の経験や知識に依存する読像技能に委ねられるため、客観的かつ再現性のある(術者のスキルに依存しない)評価を行うことができなかった。
 本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、病変部の対象疾患の症状レベルについて客観性かつ再現性が担保された評価を行うことを可能とする電子内視鏡用プロセッサ及び電子内視鏡システムを提供することである。
 本発明の一実施形態によれば、電子内視鏡用プロセッサは、n(n≧3)種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm(m≧2)種類の色成分よりなる画素データに変換する変換手段と、前記m種類の色成分より定義される色平面内において、所定の基準点を通る、対象疾患に関する基準軸を設定しており、前記カラー画像の各画素について、前記基準点と変換された前記画素データに対応する画素対応点とを結ぶ線分と、前記基準軸と、がなす角度に基づいて、該対象疾患に関する所定の基準との相関値を画素毎に算出する相関値算出手段と、算出された各画素における相関値を積算し、積算することによって得た相関値の総和を対象疾患に関する評価値とする評価値算出手段とを備える。
 本発明の一実施形態によれば、前記相関値は、第1の値以下第2の値以上であり、前記角度が所定角度以下の範囲で、前記角度が小さいほど前記相関値は前記第1の値に近づき、前記角度が前記所定角度よりも大きい範囲で、前記相関値は前記第2の値となる、ことが好ましい。
 特に、一実施形態によれば、前記相関値は、正規化された値であり、前記第1の値は1であり、前記第2の値はゼロである、ことが好ましい。
 また、一実施形態によれば、変換手段は、n種類の色成分より定義される色空間における各画素データを色平面に正射影する構成としてもよい。
 また、一実施形態によれば、前記基準軸は、前記対象疾患について症状レベルが高くなるほど変換された前記画素対応点が収束する軸である、ことが好ましい。
 また、一実施形態によれば、基準軸は、対象疾患について症状レベルの最も高い炎症部位を示す軸であることが好ましい。
 また、一実施形態によれば、変換された前記画素データのm種類の色成分は、R成分、G成分、及びB成分の少なくとも2つを含む、ことが好ましい。この場合、変換された前記画素データのm種類の色成分は、前記R成分と、前記G成分及び前記B成分のいずれか1つの色成分と、を含む、ことが好ましい。
 また、本発明の一実施形態によれば、対象平面は、R成分の軸とG成分の軸を含む平面であることが好ましい。
 また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、評価値を所定の表示画面に表示させる表示手段を更に備えることが好ましい。
 また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、相関値が算出された各画素の色成分を該相関値に応じた色成分に置換する色成分置換手段を更に備えることが好ましい。この場合、表示手段は、色成分が置換された画素により構成される内視鏡画像を表示画面に表示させることが好ましい。
 また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、変換手段によって変換されたm種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段を更に備える構成としてもよい。この場合、相関値算出手段は、色成分補正係数によって補正されたm種類の色成分よりなる画素データに対応する画素対応点と基準点とを結ぶ線分と、基準軸と、がなす角度に基づいて、相関値を画素毎に算出することが好ましい。
 本発明の一実施形態によれば、電子内視鏡用プロセッサは、nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分の体腔内のカラー画像の画素データのうちのn種類より少ないm種類の色成分より定義される色空間内において、所定の基準点から見た対象疾患に関する基準方向を設定しており、前記カラー画素の各画素について、前記色空間における前記画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する所定の基準状態との相関値を算出する相関値算出手段と、
 各画素における算出された前記相関値を積算し、積算することによって得た相関値の総和を前記対象疾患に関する評価値とする評価値算出手段と、
を備える。
 一実施形態によれば、前記相関値は、体腔内の生体組織の粘膜の炎症の強さの程度を示す値である、ことが好ましい。
 また、本発明の一実施形態によれば、色成分補正係数は、m種類の色成分よりなる画素データを補正する所定の補正マトリックス係数であることが好ましい。
 また、本発明の一実施形態によれば、前記電子内視鏡システムは、上記の電子内視鏡用プロセッサと、カラー画像のデータを生成して電子内視鏡用プロセッサに出力する電子スコープと、電子内視鏡用プロセッサにより求められた評価値を表示するように構成された表示装置とを備える。
 また、本発明の一実施形態によれば、色相及び彩度は、色成分から除かれる。
 本発明の一実施形態に係る電子内視鏡用プロセッサ及び電子内視鏡システムによれば、対象疾患の症状レベルについて客観性かつ再現性が担保された評価を行うのに好適な評価情報が得られる。
本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 図1に示す画像処理ユニットの構成の一例を示す図である。 本発明の一実施形態に係る電子内視鏡システムに備えられる電子内視鏡用プロセッサにて実行される病変評価情報生成処理のフローチャートを示す図である。 画素対応点がプロットされるRG平面を示す図である。 RG平面内に設定される基準軸について説明する図である。 角度θと相関値CVとの関係を規定する相関テーブルを概念的に示す図である。 図3の処理ステップS16(相関値CVの算出)のサブルーチンを示す図である。 表示色テーブルを概念的に示す図である。 モニタの表示画面に表示される評価画像例である。
 以下、本発明の実施形態について図面を参照しながら説明する。以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
 図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
 電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
 電子内視鏡用プロセッサ200は、電子スコープ100に照明光を供給する光源装置230を備えている。光源装置230は、ランプ232、ランプ電源234、集光レンズ236及び調光装置240を備えている。ランプ232は、ランプ電源234から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプであり、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプが適用される。ランプ232より放射された照明光は、集光レンズ236により集光された後、調光装置240を介して電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射される。
 なお、ランプ232は、LD(Laser Diode)やLED(Light Emitting Diode)等の半導体発光素子に置き換えてもよい。半導体発光素子に関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する炎症に関する評価値の精度を向上させることにつながる。半導体発光素子は、プロセッサ200に限らず、電子スコープ100に内蔵されてもよい。一例として、半導体発光素子は、電子スコープ100の先端部内に備えられてもよい。
 調光装置240は、システムコントローラ202の制御に基づいてLCB102の入射端に入射される照明光の光量を調整する装置であり、絞り242、モータ243及びドライバ244を備えている。ドライバ244は、モータ243を駆動するための駆動電流を生成してモータ243に供給する。絞り242は、モータ243による駆動によって照明光が通過する開口を変化させることにより、開口を通過する照明光の光量を調整する。
 入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子スコープ100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
 固体撮像素子108は、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red)、G(Green)、B(Blue)の各原色信号を生成する。
 電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、固体撮像素子108より入力される原色信号に対して色補間、マトリックス演算、Y/C分離等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb、Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
 なお、固体撮像素子108に用いるベイヤ配列カラーフィルタ108bは、原色系(RGB)フィルタが好適に用いられる。原色系(RGB)フィルタは、補色系フィルタと比較して発色性が良い。そのため、原色系フィルタを搭載した撮像素子によるRGB形式の画像信号を後述の炎症に関する評価値の計算に使用すると、その評価精度を向上させることができる。また、原色系フィルタを使用することにより、炎症に関する評価値の計算処理において信号の変換を行う必要がない。そのため、評価計算の処理負荷を抑えることが可能となる。
 システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子スコープ100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
 タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112及び画像処理ユニット220にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、固体撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
 画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、後述する病変評価情報生成処理を行い、病変評価情報生成処理結果に基づいて撮像画像の色を置換したカラーマップ画像を生成する。画像処理ユニット220は、病変評価情報生成処理の結果及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された内視鏡画像を通じて例えば消化管内の診断等を行うことができる。
 電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、サーバ600に保存することができる。
 図2は、画像処理ユニット220の構成の一例を示す図である。
 画像処理ユニット220は、RGB変換部220a、色空間変換部220b、色補正部220c、相関値算出部220d、評価値算出部220e、評価画像作成部220f、メモリ222、及び画像メモリ224を備える。画像処理ユニット220は、システムコントローラ202がプログラムを起動して各部分の機能を形成するソフトウェアモジュールであってもよいし、FPGA(Field-Programmable Gate Array)等の専用回路で構成されたハードウェアモジュールであってもよい。
 RGB変換部220aは、後述する図3に示す処理ステップS11の処理を行うように構成されている。
 色空間変換部220bは、後述する図3に示す処理ステップS12、13の処理を行うように構成されている。
 色補正部220cは、後述する図3に示す処理ステップS14の処理を行うように構成されている。
 相関値算出部220dは、後述する図3に示す処理ステップS15,16の処理を行うように構成されている。
 評価値算出部220eは、後述する図3に示す処理ステップS17の処理を行うように構成されている。
 評価画像作成部220fは、後述する図3に示す処理ステップS18,19の処理を行うように構成されている。
 メモリ222は、画像処理ユニット220が実施する処理に必要な情報を格納している。格納する情報には、色補正部220cが色補正をする際に用いる補正マトリックス係数、評価値算出部220eが評価値を算出する際に用いる相関テーブル、評価画像作成部220fがカラーマップ画像を作成する際に用いる表示色テーブル等が含まれる。
 画像メモリ224は、ドライバ信号処理回路112から送られる画像信号を撮像画像として記録保持し、さらに、画像処理ユニット220が実施する処理の結果である処理画像を必要に応じて記録保持する。画像メモリ224に記録保持された画像は、必要に応じて呼び出され処理される。処理については、以下説明する。
[病変評価情報生成処理]
 図3は、電子内視鏡用プロセッサ200にて実行される病変評価情報生成処理のフローチャートを示す。以下に説明する病変評価情報生成処理は、電子スコープ100により撮像された生体組織の対象疾患(例示的には、炎症性腸疾患(IBD)の病変である炎症(浮腫や易出血性を含む赤変病変))の症状レベルを客観的に評価するための処理である。病変評価情報生成処理は、概略的には、カラー内視鏡画像データに含まれる各画素について、対象疾患の症状レベルを示す相関値(炎症強度)を算出する。次いで、算出された全ての画素における相関値に基づいて被写体である生体組織の対象疾患の炎症に関する症状レベルを評価するための評価値、すなわち炎症評価値が算出される。
 炎症評価値は、所定のアルゴリズム(図3に示される病変評価情報生成処理)の実行により算出される再現性が担保された数値データである。そのため、術者は炎症評価値を把握することにより、対象疾患の症状レベルを客観的に評価することができる。
[図3のS11(RGB変換)]
 本処理ステップS11では、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb、Cr)が所定のマトリックス係数を用いて原色信号(R、G、B)に変換される。
[図3のS12(RG平面への正射影)]
 次に、原色信号に変換された画像データはRG平面に正射影される。
 図4に、互いに直交するR軸とG軸とによって定義されるRG平面を示す。なお、R軸は、R成分(Rの画素値)の軸であり、G軸は、G成分(Gの画素値)の軸である。
 本処理ステップS12では、RGB3原色で定義されるRGB色空間の各画素の画素データ(3種類の色成分よりなる三次元の画素データ)がRGの画素データ(2種類の色成分よりなる二次元の画素データ)に変換される。概念的には、図4に示されるように、RGB色空間の各画素の画素データが、R、Gの画素値に応じてRG平面内(より詳細には、R=0~255、G=0~255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画素データの点及びRG平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図4においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。RGB色空間のRGBそれぞれの色成分は、順番に、例えば、波長620~750nm、波長495~570nm、及び波長450~495nmの色成分である。
 なお、本発明において、色成分は、色空間(色平面も含む。)を構成するものである。また、色相及び彩度は、「色成分」から除かれる。
 このように、本処理ステップS12では、RGB色空間の各画素データ(三次元データ)がRG平面に正射影され、各画素データに対応するRGB色空間内の点からRG平面に下された垂線の足が各画素対応点(二次元データ)となる。
 なお、本処理ステップS12にて実行される、RGB色空間の各画素の画素データをRG平面の画素データに変換(正射影)する動作は、変換手段により行われる。一実施形態によれば、図2に示す色変換部220aが変換手段の機能を担うことが好ましい。
[図3のS13(基準軸の設定)]
 本処理ステップS13では、対象疾患に関する客観的な数値データである炎症強度を計算するために必要なRG平面内の基準軸が設定される。図5に、基準軸の説明を補助する図を示す。
 被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響によりR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤味(R成分)が他の色味(G成分及びB成分)に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色味が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R、G、Bがゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R、G、Bが255又は255に近い値)となる。すなわち、炎症が起こっている同じ異常部位を撮像した場合であっても、照明光が強く当たるほどその異常部位画像の画素値が大きくなる。そのため、照明光の当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。
 一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
 そこで、本処理ステップS13では、図5に示されるように、RG平面内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。
 図5に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、症状レベルの最も高い炎症画像例(最も重症なレベルの炎症画像例)や、症状レベルの最も低い炎症画像例(実質的に正常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図5の例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図5に示されるプロットの数よりも遥かに多い。
 上述したように、炎症が強い異常部位ほどR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図5の例では、(50,0)及び(255,76)を通る境界線上の軸が、症状レベルの最も高い病変部(症状レベルの最も高い炎症(異常)部位)と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件(例えば照明光の当たり具合)で撮像された症状レベルの最も高い炎症部位に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、対象疾患について症状レベルが高くなるほどプロットされる画素対応点が収束する軸である。
 一方、正常部位に近いほどG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図5の例では、(0,0)及び(255,192)を通る境界線上の軸が、症状レベルの最も低い病変部(症状レベルの最も低い炎症(異常)部位であって、実質的に正常(健常)部位であるとみなされるもの)と相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件(例えば照明光の当たり具合)で撮像された症状レベルの最も低い炎症部位(実質的に正常部位とみなされるもの)に対応するプロットが重畳される。したがって、粘膜変化軸AX2は、対象疾患について症状レベルが低くなるほど(健常部位に近いほど)プロットされる画素対応点が収束する軸である。
 補足すると、対象疾患について症状レベルの最も高い炎症部位は、出血を伴う。一方、症状レベルの最も低い炎症部位は、実質正常部位あるいは健常部位であるから、十分な粘膜で覆われている。そのため、図5に示されるRG平面内のプロットは、血液(ヘモグロビン色素)と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、症状レベルの最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、症状レベルの最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。
 このような基準軸の設定を行った後、S12で正射影された画素データに対して後述する処理ステップS15の処理が行われる。処理ステップS15の前に、処理ステップS14において正射影された画素データに対して色補正が行われる。
[図3のS14(画素データの補正)]
 メモリ222には、補正マトリックス係数が保存されている。本処理ステップS14では、同一の病変部を異なる電子内視鏡システムで撮像したときのスコア値のばらつき(言い換えると、電子スコープの個体差)を抑えるため、各画素の画素対応点である画素データ(R,G)が補正マトリックス係数を用いて補正される。
・補正マトリックス例
new  :補正後の画素データ(R成分)
new  :補正後の画素データ(G成分)
00~M11:補正マトリックス係数
R   :補正前の画素データ(R成分)
G   :補正前の画素データ(G成分)
 なお、本処理ステップS14にて実行される、各画素の画素対応点を、補正マトリックス係数を用いて色補正する動作は、色成分補正手段により行われる。一実施形態によれば、図2に示す色補正部220cが、色成分補正手段の機能を担うことが好ましい。
[図3のS15(角度の算出)]
 本処理ステップS15では、処理ステップS14(画素データの色補正)にて補正された、各画素の画素データ(Rnew,Gnew)について、炎症強度を計算するための角度が算出される。具体的には、本処理ステップS15では、各画素について、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点(基準点)O’と画素対応点(Rnew,Gnew)とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θ(図4参照)が算出される。なお、基準点O’は、座標(-150,-75)に位置する。
 体腔内の撮像画像の明るさが照明光の当たり具合によって変化すると、撮像画像の色味は、個人差、撮像箇所、炎症の状態等の影響があるものの、RG平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、症状レベルの最も低い炎症部位、言い換えると健常部位では、粘膜変化軸AX2上に沿って変化する。また、中間の症状レベルの炎症部位の撮像画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、角度θが一定のまま移動して基準点O’との距離が変わる。これは、角度θが撮像画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
 角度θが小さいほどR成分がG成分に対して強くなり、炎症部位の症状レベルが高いことを示す。また、角度θが大きいほどG成分がR成分に対して強くなり、炎症部位の症状レベルが低いことを示す。
[図3のS16(相関値CVの算出)]
 図3の処理ステップS16では、処理ステップS15(角度の算出)にて算出された角度θに基づいて相関値CVが算出される。角度θが小さい画素に写る部位ほど、症状レベルの最も高い炎症部位、言い換えると、基準軸の1つであるヘモグロビン変化軸AX1上の色成分を持つ炎症部位との相関が高いことに基づいて、相関値CV(炎症強度)を画素毎に算出する。
 図6は、角度θと相関値CVとの関係を規定する相関テーブルを概念的に示す。相関テーブルの相関値は、第1の値以下第2の値以上である。角度θが所定角度以下の範囲で、角度θが小さいほど相関値は第1の値に近づき、角度θが所定角度よりも大きい範囲で、相関値は第2の値となるように相関テーブルは構成されている。角度θが所定角度以下の範囲では、相関テーブルにおいて、相関値は角度θの変化に伴って線形的に変化してもよいし、非線形に変化してもよい。相関値CVは、例えば正規化された値(=0.0~1.0)である。相関テーブルは、メモリ222に格納されている。
 角度θが所定閾値T以下の範囲(角度θがゼロ以上かつ所定閾値T以下の範囲であり、説明の便宜上「第一範囲R」と記す。)に収まる画素は、血液(ヘモグロビン色素)又はこれに近い色の情報を持つ。第一範囲Rでは、角度θが小さいほどヘモグロビン色素との相関が高く、対象疾患に関する症状レベルが高いため、図6に示されるように、相関値CVが高い。
 一方、第一範囲R以外の範囲(角度θが所定閾値Tよりも大きくかつヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度θMAX以下の範囲であり、説明の便宜上「第二範囲R」と記す。)に収まる画素は、血液(ヘモグロビン色素)に近い色ですらない。そのため、図6に示されるように、第二範囲Rでは、相関値CVが一律にゼロである。
 図7は、本処理ステップS16のサブルーチンを示す図である。
・図7のS16a
 本処理ステップS16aでは、所定の順序で選択された1つの注目画素について処理ステップS15(角度の算出)にて算出された角度θが第一範囲Rに収まるか否かが判定される。
・図7のS16b
 本処理ステップS16bは、処理ステップS16aにて注目画素の角度θが第一範囲Rに収まると判定された場合(S16a:YES)に実行される。本処理ステップS16bでは、相関テーブルに従い、角度θに応じた相関値CV(=0.0~1.0)が注目画素に対して与えられる。
・図7のS16c
 本処理ステップS16cは、処理ステップS16aにて注目画素の角度θが第一範囲Rに収まらない、言い換えると、注目画素の角度θが第二範囲Rに収まると判定された場合(S16a:NO)に実行される。本処理ステップS16cでは、相関テーブルに従い、相関値CV=0が注目画素に対して与えられる。
・図7のS16d
 本処理ステップS16dでは、全ての画素について処理ステップS16aが実行されたか否かが判定される。処理ステップS16aが実行されていない画素が残っている場合(S16d:NO)、処理ステップS16aに戻り、次の注目画素について処理ステップS16a以降の処理が実行される。全ての画素について処理ステップS16aが実行された場合(S16d:YES)、処理ステップS17(相関値CVの積算)に進む。
 本処理ステップS16の実行により、各画素とヘモグロビン色素との相関値CV(=0.0~1.0)が得られる。RとGの2次元情報によって各画素とヘモグロビン色素との相関値CVが算出されることにより、各画素について、炎症部の症状レベルを反映した精度の高い評価結果が得られる。
 なお、本処理ステップS16にて実行される、各画素について相関値CVを算出する動作は、相関値算出手段により行われる。一実施形態によれば、図2に示す相関値算出部220dが相関値算出手段の機能を担うことが好ましい。
[図3のS17(炎症評価値の算出)]
 本処理ステップS17では、処理ステップS16(相関値CVの算出)にて算出された全ての画素の相関値CVが積算され、積算することによって得られた総和が、対象疾患の症状レベルを評価するための評価値であって、内視鏡画像内に写る病変部の症状レベルを数値化した客観的かつ再現性のある(術者のスキルに依存しない)炎症評価値として算出される。
 なお、本処理ステップS17にて実行される、炎症評価値を算出する動作は、評価値算出手段により行われる。一実施形態によれば、図2に示す評価値算出部220eが相関値算出手段の機能を担うことが好ましい。
[図3のS18(カラーマップ画像上での表示色の決定)]
 本実施形態では、相関値CV(炎症強度)に応じた表示色で撮像画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、相関値CVと所定の表示色とを関連付けた表示色テーブルがメモリ222の記憶媒体に格納されている。
 図8に、表示色テーブルの概念図を示す。図8に示されるように、表示色テーブルは、相関値CV(=0.0~1.0)を11段階に分けており、各段階に対して所定の表示色を関連付けている。本処理ステップS18では、表示色テーブルに従い、各画素の色が相関値CVと関連付けられた表示色の色に置換される、言い換えると、表示色テーブルに基づいてカラーマップ画像の表示色が決定される。各画素は、例えば、相関値CVが0に近いほど寒色系の色に置換され、相関値CVが1に近いほど暖色系の色に置換される。
 なお、本処理ステップS18にて実行される、各画素の色を相関値CVと関連付けられた表示色の色に置換する動作は、色置換手段により行われる。一実施形態によれば、図2に示す評価画像作成部220fが色置換出段の機能を担うことが好ましい。
[図3のS19(評価画像の表示)]
 本処理ステップS19では、所定の評価画像がモニタ300の表示画面に表示される。図9に、評価画像を例示する。図9に例示されるように、評価画像には、処理ステップS18(カラーマップ画像上での表示色の決定)にて各画素の色が置換されたカラーマップ画像が含まれる。図9に示されるように、カラーマップ画像は、各画素が対象疾患の症状レベルに応じた11の段階の色で区分された階調画像となっている。そのため、術者は、撮像画角内のどの位置にどの程度の症状の炎症が発生しているかを容易に視認することができる。
 また、評価画像には、各画素の相関値CVの総和である炎症評価値がモニタ300に表示される。図9の例では、「スコア:1917」が表示される。このように、本実施形態では、対象疾患の症状が客観性かつ再現性が担保された数値として表示される。そのため、術者は、対象疾患の症状を客観的に把握することができる。
 なお、本処理ステップS19にて実行される、カラーマップ画像及び炎症評価値を含む評価画像を表示する動作は、表示手段により行われる。一実施形態によれば、図2に示す評価画像作成部220fが表示手段の機能を担うことが好ましい。
 従来、炎症性腸疾患の炎症の症状は、MAYOスコア等の所見評価により4段階に区分されていた。一方、近年、粘膜治癒の達成と寛解維持期間との間に相関が見られることが判ってきた。そのため、MAYO0相当やMAYO1相当の軽症例に対して症状を細かく評価することが炎症性腸疾患の治療に有効であると考えられる。本実施形態では、炎症部の症状が細かい数値として表示されるため、術者は、炎症部の症状を細かく評価することができる。すなわち、実施形態では、MAYO0相当やMAYO1相当の軽症例に対して症状を細かく評価することができるため、炎症性腸疾患の治療に有益である。
 このように、画像処理ユニット220は、m種類の色成分、例えば2種類の色成分より定義される色平面内において、所定の基準点、例えば基準点O’を通る、対象疾患に関する基準軸、例えばヘモグロビン変化軸AX1を設定しており、カラー画像の各画素について、基準点と画素対応点とを結ぶ線分と、基準軸と、がなす角度θに基づいて、対象疾患に関する所定の基準との相関値を画素毎に算出する。さらにいうと、画像処理ユニット220は、体腔内のカラー画像の画素データの色成分より少ないm種類の色成分より定義される色空間内において、所定の基準点から見た対象疾患に関する基準方向を設定しており、カラー画素の各画素について、色空間における画素対応点の基準点から見た方向の、基準方向からのずれの程度に基づいて、対象疾患に関する所定の基準状態との相関値を算出する。このため、対象疾患の症状レベルについて客観性かつ再現性が担保された評価を行うのに好適な評価情報を得ることができる。
 上記実施形態では、相関値は、第1の値以下第2の値以上であり、角度θが所定角度以下の範囲(例えば、図6に示す第1範囲R)で、角度θが小さいほど相関値は第1の値に近づき、角度θが所定角度よりも大きい範囲(例えば、図6に示す第2範囲R)で、相関値は第2の値となる。所定角度は、図4に示す例では、ヘモグロビン軸AX1と粘膜変化軸AX2の間のなす角度とすることができる。図4に示す粘膜変化軸AX2を境にしてG成分が大きくなる領域に、画素対応点が存在することはほとんどありえず、あったとしても、ノイズの混入等により信頼性の低い画素対応点である。このように、角度θの大きさによって非線形の評価値を与えることは、画素対応点のそれぞれに実際の炎症レベルに即した相関値を与える点から好ましい。特に、相関値を0~1の間で正規化し、第2の値を0とすることにより、角度θが所定角度より大きい範囲の画素対応点の相関値は、相関値を積算して得られる炎症評価値に影響を与えないので、炎症評価値の大きさによって、対象疾患の症状レベルを客観的に評価することができる。
 上記実施形態では、ヘモグロビン軸AX1のような角度θを算出するための基準軸を用いる。この基準軸は、対象疾患について症状レベルが高くなるほど画素対応点が収束する軸である。このため、角度θに近づくにつれて、症状レベルは高くなるといえる。このことを利用して、相関値を精度よく算出することができる。
 電子内視鏡システム1が撮像の対象とする体腔内の生体組織の色成分については、ヘモグロビンの色素等に由来してR成分が多い。また、粘膜や他の組織に由来して、G成分やB成分も比較的多い。このため、正常部位と病変部位との間で、症状レベルを精度高く評価する点から、画素対応点を構成する色成分は、R成分、G成分、及びB成分の少なくとも2つを含み、特に、R成分と、G成分及びB成分のいずれか1つの色成分と、を含むことが好ましい。体腔体の生体組織の表面には黄色~緑色の粘膜が存在する。粘膜の炎症の程度によって黄色~緑色の色成分が変化し、それとともに赤色の色成分が変化することから、角度θの算出に用いる色平面は、R成分の軸とG成分の軸を含む平面であることが好ましい。したがって、相関値は、体腔内の生体組織の粘膜の炎症の強さの程度を示す値であることが好ましい。
 電子内視鏡用プロセッサ200は、表示色テーブルを用いて、カラー画像の各画素の色を、各画素の相関値に応じた色に置換する色置換手段と、色の置換により得られたカラーマップ画像をモニタ300の表示画面に表示させる表示制御手段と、を備え、モニタ300は、図9に示すように、炎症評価値とカラーマップ画像を同時に表示するように構成されている。このため、術者は、表示画面を見ながら、病変部の症状レベルについて客観性かつ再現性が担保された評価を行うことができる。
 実施形態に係る電子内視鏡システムは、当技術分野における次のような効果及び課題の解決をもたらすものである。
 第1に、本実施形態に係る電子内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。
 第2に、実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度(評価画像等)を画面表示する、又は、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいため、軽度炎症の評価に関して実施形態の構成によりもたらされる効果が顕著となる。
 第3に、実施形態の構成によれば、炎症度の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して本実施形態の構成による客観的な評価値を提供できるメリットは大きい。
 第4に、本実施形態の構成によれば、画像処理の負荷が軽減されることにより、炎症部を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。
 実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。本実施形態に係る電子内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。
 大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患(IBD)の指標として、実施形態に例示される炎症評価値は有効である。潰瘍性大腸炎は治療法が確立されていないため、実施形態の構成の電子内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。
 大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、実施形態に係る電子内視鏡システムを大腸の観察に適用すると、実施形態による効果が顕著となる。すなわち、実施形態に係る電子内視鏡システムは、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。
 また、軽度の炎症は一般に診断が難しいが、実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。この点に関しても、実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。
 なお、実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含む。
 以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。例えば、相関値CVは、全ての画素に対してではなく、所定の条件を満たす一部の画素(例えば輝度値が適正な範囲に収まる画素など)に対してだけ算出されてもよい。
 上記の実施形態では、RGB色空間の画素データがRG平面の画素データに変換され、変換された各画素データに含まれるR成分とG成分を用いて炎症評価値が計算されているが、別の実施形態では、RGB色空間に代えて、CIE 1976 L*a*b*色空間、CIE LCh色空間、CIE 1976 L*u*v*色空間、HSB色空間、sRGB色空間、CMK色空間、CMYK色空間、CMYG色空間等の他の色空間(n(n≧3)種類の色成分より定義される色空間)の画素データをこれよりも低次の色空間(m(n>m≧2)種類の色成分より定義される色空間)の画素データに変換したものを用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患(胃の委縮や大腸腫瘍等)に関する評価を行うこともできる。
 電子内視鏡システム1に使用される光源としては、様々なタイプの光源を用いることができる。他方、電子内視鏡システム1の観察目的等に依存して、光源のタイプを限定的なものとする形態もあり得る(例えば、光源のタイプとしてレーザを除く等)。ここで、補正マトリックス係数は、使用光源の分光特性によって最適値が変わる。従って、例えば、プロセッサ200が複数種類の光源を備える場合(又は複数種類の外部光源を切り替えて使用する場合)には、光源の種類毎の補正マトリックス係数がメモリ222に保存されていてもよい。これにより、使用光源の分光特性による評価結果のばらつきが抑えられる。
 また、上記の実施形態では、基準点O’と画素対応点とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θを算出し、算出された角度θに基づいて対象疾患についての評価が行われているが、本発明はこれに限らない。例えば、線分Lと粘膜変化軸AX2とがなす角度を算出し、算出された角度に基づいて対象疾患についての評価が行われてもよい。この場合、算出角度が小さいほどG成分がR成分に対して強くなり、炎症部位の重症度が低いことを示し、算出角度が大きいほどR成分がG成分に対して強くなり、炎症部位の重症度が高いことを示す。
 また、上記の実施形態では、撮像画像の明るさによる炎症評価値への影響を極力抑えるため、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点が基準点O’として設定されているが、本発明はこれに限らない。例えば、粘膜変化軸AX2上に位置するRG平面の原点(0,0)が基準点O’として設定されてもよい。この場合、最低限必要な基準軸が一軸(粘膜変化軸AX2)で足りるため、処理負荷が軽くなり、処理速度が向上する。
 また、上記の実施形態では、光源装置230が、電子内視鏡用プロセッサ200と一体に設けられているが、光源装置230は電子内視鏡用プロセッサ200とは別体の装置として設けられていてもよい。
 また、固体撮像素子108としてCCDイメージセンサに代え、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられてもよい。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、上記の実施形態の構成による、画像の明るさによる評価値の変動を抑えることができるという有利な効果は、固体撮像素子としてCMOSイメージセンサが用いられ状況においてより顕著に表れる。
 診断を精度よく行うためには高精細な画像を得ることが好ましい。従って、電子内視鏡システム1による診断の精度をより向上させる観点では、画像の解像度は、100万画素以上であることが好ましく、200万画素であることがより好ましく、800万画素以上であることが更に好ましい。画像の解像度が高くなるほど全画素について上述の評価値計算を行うための処理負荷が重くなる。しかし、上記の実施形態の構成によれば、評価値計算の処理負荷を抑えることができるため、高精細な画像を処理する状況において本実施形態の構成による有利な効果が顕著に表れる。
 また、本実施形態では、R、G、Bのベイヤ配列カラーフィルタ108bを有する固体撮像素子108が用いられているが、補色系のCy(シアン)、Mg(マゼンタ)、Ye(イエロー)、G(グリーン)のフィルタを有する固体撮像素子が用いられてもよい。
1 電子内視鏡システム
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a RGB変換部
220b 色空間変換部
220c 色補正部
220d 相関値算出部
220e 評価値算出部
220f 評価画像作成部
222 メモリ
224 画像メモリ
300 モニタ
400 プリンタ
600 サーバ

Claims (11)

  1.  nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内のの生体組織のカラー画像を構成する各画素データをn種類よりも少ないm種類の色成分よりなる画素データに変換する変換手段と、
     前記m種類の色成分より定義される色平面内において、所定の基準点を通る、対象疾患に関する基準軸を設定しており、前記カラー画像の各画素について、前記基準点と変換された前記画素データに対応する画素対応点とを結ぶ線分と、前記基準軸と、がなす角度に基づいて、該対象疾患に関する所定の基準との相関値を画素毎に算出する相関値算出手段と、
     各画素における算出された前記相関値を積算し、積算することによって得た相関値の総和を前記対象疾患に関する評価値とする評価値算出手段と、
    を備える、電子内視鏡用プロセッサ。
  2.  前記相関値は、第1の値以下第2の値以上であり、
     前記角度が所定角度以下の範囲で、前記角度が小さいほど前記相関値は前記第1の値に近づき、
     前記角度が前記所定角度よりも大きい範囲で、前記相関値は前記第2の値となる、請求項1に記載の電子内視鏡プロセッサ。
  3.  前記相関値は、正規化された値であり、
     前記第1の値は1であり、前記第2の値はゼロである、
    請求項2に記載の電子内視鏡用プロセッサ。
  4.  前記基準軸は、
     前記対象疾患について症状レベルが高くなるほど変換された前記画素対応点が収束する軸である、
    請求項1から請求項3の何れか一項に記載の電子内視鏡用プロセッサ。
  5.  変換された前記画素データのm種類の色成分は、R成分、G成分、及びB成分の少なくとも2つを含む、請求項1から請求項4の何れか一項に記載の電子内視鏡用プロセッサ。
  6.  変換された前記画素データのm種類の色成分は、前記R成分と、前記G成分及び前記B成分のいずれか1つの色成分と、を含む、請求項1から請求項5の何れか一項に記載の電子内視鏡用プロセッサ。
  7.  前記色平面は、
     R成分の軸とG成分の軸を含む平面である、
    請求項1から請求項6の何れか一項に記載の電子内視鏡用プロセッサ。
  8.  nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分の体腔内の生体組織のカラー画像の画素データのうちのn種類より少ないm種類の色成分より定義される色空間内において、所定の基準点から見た対象疾患に関する基準方向を設定しており、前記カラー画素の各画素について、前記色空間における前記画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する所定の基準状態との相関値を算出する相関値算出手段と、
     各画素における算出された前記相関値を積算し、積算することによって得た相関値の総和を前記対象疾患に関する評価値とする評価値算出手段と、
    を備える、電子内視鏡用プロセッサ。
  9.  前記相関値は、体腔内の生体組織の粘膜の炎症の強さの程度を示す値である、請求項1から請求項8の何れか一項に記載の電子内視鏡プロセッサ。
  10.  請求項1から請求項9の何れか一項に記載の電子内視鏡用プロセッサと、
     前記カラー画像のデータを生成して前記電子内視鏡用プロセッサに出力する電子スコープと、
     前記電子内視鏡用プロセッサにより求められた前記評価値を表示するように構成された表示装置と、
    を備える、電子内視鏡システム。
  11.  前記電子内視鏡用プロセッサは、前記カラー画像の各画素の色を、各画素の前記相関値に応じた色に置換する色置換手段と、
     色を置換した各画素により構成されるカラーマップ画像を前記表示装置の表示画面に表示させる表示制御手段と、を備え、
     前記表示装置は、前記評価値と前記カラーマップ画像を同時に表示するように構成されている、請求項10に記載の電子内視鏡システム。
PCT/JP2017/031125 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム WO2018043551A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/308,452 US10646102B2 (en) 2016-08-31 2017-08-30 Processor for electronic endoscope, and electronic endoscope system
DE112017002933.3T DE112017002933B4 (de) 2016-08-31 2017-08-30 Elektronische Endoskopverarbeitungseinrichtung und elektronisches Endoskopsystem
CN201780035202.1A CN109310299B (zh) 2016-08-31 2017-08-30 电子内窥镜用处理器以及电子内窥镜系统
JP2018537337A JP6433634B2 (ja) 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-169232 2016-08-31
JP2016169232 2016-08-31

Publications (1)

Publication Number Publication Date
WO2018043551A1 true WO2018043551A1 (ja) 2018-03-08

Family

ID=61309408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031125 WO2018043551A1 (ja) 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム

Country Status (5)

Country Link
US (1) US10646102B2 (ja)
JP (1) JP6433634B2 (ja)
CN (1) CN109310299B (ja)
DE (1) DE112017002933B4 (ja)
WO (1) WO2018043551A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111387910A (zh) * 2018-12-13 2020-07-10 杭州海康慧影科技有限公司 一种用于内窥镜辅助检查的方法和装置
US11436728B2 (en) 2018-02-13 2022-09-06 Hoya Corporation Endoscope system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012152284A (ja) * 2011-01-24 2012-08-16 Hoya Corp 画像処理装置、電子内視鏡用プロセッサ装置、画像処理方法
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534340B2 (ja) * 2000-10-31 2010-09-01 ソニー株式会社 色再現補正装置
US7319781B2 (en) * 2003-10-06 2008-01-15 Carestream Health, Inc. Method and system for multiple passes diagnostic alignment for in vivo images
JP4241643B2 (ja) * 2005-02-28 2009-03-18 村田機械株式会社 色判定装置及び色判定方法
JP5006759B2 (ja) 2007-10-29 2012-08-22 Hoya株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP5380973B2 (ja) * 2008-09-25 2014-01-08 株式会社ニコン 画像処理装置及び画像処理プログラム
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012152284A (ja) * 2011-01-24 2012-08-16 Hoya Corp 画像処理装置、電子内視鏡用プロセッサ装置、画像処理方法
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436728B2 (en) 2018-02-13 2022-09-06 Hoya Corporation Endoscope system
CN111387910A (zh) * 2018-12-13 2020-07-10 杭州海康慧影科技有限公司 一种用于内窥镜辅助检查的方法和装置

Also Published As

Publication number Publication date
DE112017002933T8 (de) 2019-03-21
JPWO2018043551A1 (ja) 2019-01-10
CN109310299A (zh) 2019-02-05
JP6433634B2 (ja) 2018-12-05
CN109310299B (zh) 2019-11-01
US10646102B2 (en) 2020-05-12
DE112017002933B4 (de) 2020-09-17
DE112017002933T5 (de) 2019-03-14
US20190343369A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
JP6125740B1 (ja) 内視鏡システム及び評価値計算装置
JP6097629B2 (ja) 病変評価情報生成装置
US11571108B2 (en) Evaluation value calculation device and electronic endoscope system
US10512433B2 (en) Correction data generation method and correction data generation apparatus
US20230113382A1 (en) Evaluation value calculation device and electronic endoscope system
JP6433634B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6591688B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6420358B2 (ja) 内視鏡システム及び評価値計算装置
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2018023497A (ja) 色補正用治具及び電子内視鏡システム
JP2018011797A (ja) 補正効果確認方法及び指標

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018537337

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846555

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17846555

Country of ref document: EP

Kind code of ref document: A1