WO2019172231A1 - 医療画像処理システム及び内視鏡システム - Google Patents

医療画像処理システム及び内視鏡システム Download PDF

Info

Publication number
WO2019172231A1
WO2019172231A1 PCT/JP2019/008567 JP2019008567W WO2019172231A1 WO 2019172231 A1 WO2019172231 A1 WO 2019172231A1 JP 2019008567 W JP2019008567 W JP 2019008567W WO 2019172231 A1 WO2019172231 A1 WO 2019172231A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference value
unit
value
biological information
region
Prior art date
Application number
PCT/JP2019/008567
Other languages
English (en)
French (fr)
Inventor
典雅 繁田
孝明 齋藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020505039A priority Critical patent/JP6866531B2/ja
Publication of WO2019172231A1 publication Critical patent/WO2019172231A1/ja
Priority to US17/010,015 priority patent/US11386558B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Definitions

  • the present invention relates to a medical image processing system and an endoscope system for obtaining biological information such as oxygen saturation of blood hemoglobin.
  • diagnosis is generally performed using an endoscope system including a light source device, an endoscope, and a processor device.
  • diagnosis of a lesion using the oxygen saturation of blood hemoglobin is being performed among biological information (Patent Documents 1, 2, and 3).
  • Patent Document 3 a reference value for oxygen saturation, which is one of biological information, is set, and the reference value, the oxygen saturation at each position, and the difference value are displayed in a pseudo color.
  • Patent Document 3 by setting the reference value to the normal part, the difference in oxygen saturation between the normal part and the abnormal part can be grasped from the pseudo color image of the difference value.
  • the reliability of the calculated biological information is low in a region where halation or the like occurs in the observation target.
  • the reliability of the difference value from the reference value is also low.
  • the present invention provides a medical image processing system and an endoscope system that can appropriately set a reference value as a reference for a measurement value of biological information even when a region with low reliability related to biological information exists.
  • the purpose is to provide.
  • the medical image processing system of the present invention includes an image acquisition unit, a biological information calculation unit, a reliability calculation unit, a reference value processing unit, and a difference image generation unit.
  • the image acquisition unit acquires an observation image obtained by imaging the observation target.
  • the biological information calculation unit calculates biological information included in the observation target based on the observation image.
  • the reliability calculation unit calculates the reliability related to the biological information based on the observation image.
  • the reference value processing unit sets a reference value serving as a reference for the biological information using the reliability with respect to the measurement value indicating the biological information of the measurement target among the observation targets.
  • the difference image generation unit calculates a difference value between the measurement value and the reference value, and generates a difference image based on the difference value.
  • the present invention preferably includes a biological information image generation unit and a reference value calculation region setting unit.
  • the biological information image generation unit generates a biological information image obtained by imaging the biological information based on the biological information.
  • the reference value calculation area setting unit sets a reference value calculation area as a reference value calculation target in the observation image or the biological information image. It is preferable that the reference value processing unit includes a first reference value calculation unit that calculates a reference value based on biological information included in the reference value calculation region.
  • the reference value calculation area setting unit preferably automatically sets the reference value calculation area based on the reliability.
  • the present invention preferably includes a region appropriateness determination unit and an error generation unit.
  • the area appropriateness determination unit determines that the reference value can be appropriately set in the reference value calculation area when the reliability representative value included in the reference value calculation area is equal to or greater than the area determination threshold, and represents the reliability representative When the value falls below the area determination threshold, it is determined that the reference value cannot be properly set in the reference value calculation area.
  • the error generation unit issues an error notifying that the reference value cannot be calculated accurately.
  • the reference value processing unit performs region setting prohibition control for prohibiting setting of the reference value calculation region for a low reliability region whose reliability is lower than the first reliability threshold value in the observation image or the biological information image. It is preferable to include a prohibition control unit. It is preferable to include a display control unit that displays the low reliability region on the display unit.
  • the reference value is preferably a representative value of biological information included in the reference value calculation area.
  • the first reference value calculation unit calculates the reference value by multiplying the biological information included in the reference value calculation area by a weighting coefficient based on the reliability and adding.
  • the reference value processing unit includes a second reference value calculation unit that calculates a reference value by multiplying the biological information by a weighting coefficient based on the reliability.
  • the reference value processing unit has a plurality of second reliability threshold values that are different from each other in advance, and a high reliability region setting unit that sets a plurality of high reliability regions whose reliability is equal to or higher than each second reliability threshold value; It is preferable to include a first reference candidate value calculation unit that calculates a reference candidate value that is a reference value candidate from the biological information included in each high reliability region.
  • a display control unit that displays a high reliability region and a reference candidate value corresponding to the high reliability region on the display unit, and a first reference value selection unit that selects a reference value from the reference candidate values displayed on the display unit It is preferable to comprise.
  • the medical image processing system of the present invention includes an image acquisition unit, a biological information calculation unit, a reference value processing unit, a difference image generation unit, and a biological information frequency distribution calculation unit.
  • the image acquisition unit acquires an observation image obtained by imaging the observation target.
  • the biological information calculation unit calculates biological information included in the observation target based on the observation image.
  • the reference value processing unit sets a reference value serving as a reference for the biological information with respect to the measurement value indicating the biological information of the measurement target among the observation targets.
  • the difference image generation unit calculates a difference value between the measurement value and the reference value, and generates a difference image based on the difference value.
  • the biological information frequency distribution calculation unit calculates the frequency distribution of the biological information.
  • the reference value processing unit includes a third reference value calculation unit that calculates a reference value based on a first region exclusion distribution excluding a first distribution region in which the reliability of biological information is low in the biological information frequency distribution. .
  • the reference value processing unit is set with a plurality of first distribution regions having low reliability of biological information in the frequency distribution of biological information, and the first region excluded distribution excluding each first distribution region in the frequency distribution of biological information. It is preferable to include a first region exclusion distribution setting unit that sets a plurality of values and a second reference candidate value calculation unit that calculates a reference candidate value that is a candidate for a reference value based on each first region exclusion distribution.
  • a display control unit that displays a first region exclusion distribution and a reference candidate value corresponding to the first region exclusion distribution on a display unit, and a second reference value that selects a reference value from among the reference candidate values displayed on the display unit It is preferable to include a selection unit.
  • the medical image processing system of the present invention includes an image acquisition unit, a biological information calculation unit, a reference value processing unit, a difference image generation unit, and a calculation value frequency distribution calculation unit.
  • the image acquisition unit acquires a plurality of observation images obtained by imaging the observation target with different frames.
  • the biological information calculation unit calculates a calculated value by a calculation process based on observation images of a plurality of frames, and calculates biological information included in the observation target from the calculated calculated value.
  • the reference value processing unit sets a reference value serving as a reference for the biological information using the reliability of the biological information with respect to the measurement value indicating the biological information of the measurement target among the observation targets.
  • the difference image generation unit calculates a difference value between the measurement value and the reference value, and generates a difference image based on the difference value.
  • the calculated value frequency distribution calculation unit calculates a calculated value frequency distribution.
  • the reference value processing unit calculates the reference value based on the second area exclusion distribution excluding the second distribution area having the specific calculation value from the calculation value frequency distribution using the calculation value as the reliability. A reference value calculation unit.
  • a plurality of second distribution areas having specific calculation values are set in the frequency distribution of calculation values, and a plurality of second area exclusion distributions excluding each second distribution area in the frequency distribution of biological information are set. It is preferable to include a second region exclusion distribution setting unit to be set and a third reference candidate value calculation unit that calculates a reference candidate value that is a candidate for a reference value based on each second region exclusion distribution.
  • a display control unit that displays a second region exclusion distribution and a reference candidate value corresponding to the second region exclusion distribution on the display unit, and a third reference value that selects a reference value from the reference candidate values displayed on the display unit It is preferable to include a selection unit.
  • the reference value processing unit includes a user setting unit for setting a reference value through a user interface, and the reference value set by the user setting unit is adjusted according to the reliability.
  • a biological information image generation unit that generates a biological information image obtained by imaging biological information based on the biological information; a measurement region setting unit that sets a measurement target region as a measurement target region in an observation image or a biological information image; It is preferable to include a measurement value calculation unit that calculates a measurement value based on biological information included in the measurement target region.
  • the endoscope system of the present invention includes an endoscope, an image acquisition unit, a biological information calculation unit, a reliability calculation unit, a reference value processing unit, and a difference image generation unit.
  • the endoscope captures an observation object and obtains an observation image.
  • the image acquisition unit acquires an observation image obtained by imaging the observation target.
  • the biological information calculation unit calculates biological information included in the observation target based on the observation image.
  • the reliability calculation unit calculates the reliability related to the biological information based on the observation image.
  • the reference value processing unit sets a reference value serving as a reference for the biological information using the reliability with respect to the measurement value indicating the biological information of the measurement target among the observation targets.
  • the difference image generation unit calculates a difference value between the measurement value and the reference value, and generates a difference image based on the difference value.
  • the present invention it is possible to appropriately set a reference value serving as a reference for a measurement value of biological information even when there is a region with low reliability related to biological information.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a user interface 20.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 21 to be inserted into a subject, an operation portion 22 provided at a proximal end portion of the insertion portion 21, a bending portion 23 and a distal end portion provided at the distal end side of the insertion portion 21. 24.
  • the angle knob 22a of the operation unit 22 By operating the angle knob 22a of the operation unit 22, the bending unit 23 performs a bending operation. With this bending operation, the distal end portion 24 is directed in a desired direction.
  • the operation unit 22 includes a mode switch SW (mode switch) 22b, a zoom operation unit 22c, and a freeze button (not shown) for storing a still image.
  • the mode switching SW 22b is used for a switching operation between two types of modes, a normal observation mode and a biological information measurement mode.
  • the normal observation mode is a mode in which a normal light image in which an observation target in the subject is converted into a full color image is displayed on the monitor 18.
  • the biological information measurement mode is a mode in which an oxygen saturation image obtained by imaging oxygen saturation of blood hemoglobin, which is one of biological information included in the observation target, is displayed on the monitor 18.
  • the zoom operation unit 22c is used for a zoom operation for driving the zoom lens 47 (see FIG. 2) in the endoscope 12 to enlarge the observation target.
  • oxygen saturation is calculated, but biological information other than oxygen saturation may be calculated.
  • biological information other than oxygen saturation may be calculated.
  • This blood vessel density is a kind of biological information and is effective for diagnosis of an observation target.
  • a blood vessel density image biological information image formed into a pseudo color image according to the size of the blood vessel density may be displayed on the monitor 18.
  • the processor device 16 is electrically connected to the monitor 18 and the user interface 20.
  • the monitor 18 displays images such as normal light images and oxygen saturation images, and information related to these images (hereinafter referred to as image information and the like).
  • the user interface 20 has a function of accepting an input operation such as function setting, and specifically includes a keyboard and a mouse. Note that a recording unit (not shown) for recording image information or the like may be connected to the processor device 16.
  • the light source device 14 includes a first blue laser light source (473LD (laser diode)) 34 that emits a first blue laser beam having a center wavelength of 473 nm and a second blue laser beam that emits a second blue laser beam having a center wavelength of 445 nm.
  • Two blue laser light sources (445LD) 36 are provided as light emission sources. Light emission of each of the light sources 34 and 36 made of these semiconductor light emitting elements is individually controlled by the light source control unit 40. For this reason, the light quantity ratio between the emitted light from the first blue laser light source 34 and the emitted light from the second blue laser light source 36 is freely changeable.
  • the light source control unit 40 turns on the second blue laser light source 36 in the normal observation mode.
  • the first blue laser light source 34 and the second blue laser light source 36 are alternately turned on at intervals of one frame.
  • the half width of the first and second blue laser beams is preferably about ⁇ 10 nm.
  • the first blue laser light source 34 and the second blue laser light source 36 can use broad area type InGaN laser diodes, and can also use InGaNAs laser diodes or GaNAs laser diodes.
  • the light source may be configured to use a light emitter such as a light emitting diode.
  • the first and second blue laser beams emitted from the light sources 34 and 36 are transmitted to a light guide (LG) 41 via optical members (all not shown) such as a condenser lens, an optical fiber, and a multiplexer.
  • the light guide 41 is built in the endoscope 12 and the universal cord 17 (see FIG. 1) that connects the light source device 14 and the endoscope 12.
  • the light guide 41 propagates the first and second blue laser beams from the light sources 34 and 36 to the distal end portion 24 of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer shell can be used.
  • the distal end portion 24 of the endoscope 12 has an illumination optical system 24a and an imaging optical system 24b.
  • the illumination optical system 24a is provided with a phosphor 44 and an illumination lens 45.
  • the first and second blue laser beams are incident on the phosphor 44 from the light guide 41.
  • the phosphor 44 emits fluorescence when irradiated with the first or second blue laser light. Further, a part of the first or second blue laser light passes through the phosphor 44 as it is. The light emitted from the phosphor 44 is irradiated to the observation target through the illumination lens 45.
  • normal light having the spectrum shown in FIG.
  • This normal light is composed of second blue laser light and green to red second fluorescence excited and emitted from the phosphor 44 by the second blue laser light. Therefore, the normal light has a wavelength range covering the entire visible light range.
  • the first blue laser light and the second blue laser light are alternately incident on the phosphor 44, whereby the measurement light having the spectrum shown in FIG. Is done.
  • the measurement light is used to measure oxygen saturation, and is composed of a first blue laser light and green to red first fluorescence that is excited and emitted from the phosphor 44 by the first blue laser light. Therefore, the wavelength range of the measurement light extends over the entire visible light range.
  • the normal light is the same as the normal light irradiated in the normal observation mode.
  • the first fluorescence and the second fluorescence have substantially the same waveform (spectrum shape), and the ratio of the intensity of the first fluorescence (I1 ( ⁇ )) to the intensity of the second fluorescence (I2 ( ⁇ )) (hereinafter referred to as a frame).
  • the intensity ratio) is the same at any wavelength ⁇ .
  • I2 ( ⁇ 1) / I1 ( ⁇ 1) I2 ( ⁇ 2) / I1 ( ⁇ 2). Since the inter-frame intensity ratio I2 ( ⁇ ) / I1 ( ⁇ ) affects the calculation accuracy of the oxygen saturation, the light source control unit 40 maintains a preset reference inter-frame intensity ratio. It is controlled with high accuracy.
  • the phosphor 44 absorbs a part of the first and second blue laser beams and excites and emits green to red light (for example, YAG phosphor or BAM (BaMgAl 10 O 17 )). It is preferable to use a material comprising a phosphor such as.
  • a material comprising a phosphor such as
  • high intensity measurement light and normal light can be obtained with high luminous efficiency.
  • the intensity of each white light can be easily adjusted, and changes in color temperature and chromaticity can be kept small.
  • the imaging optical system 24b of the endoscope 12 includes an imaging lens 46, a zoom lens 47, and a sensor 48 (see FIG. 2). Reflected light from the observation object enters the sensor 48 via the imaging lens 46 and the zoom lens 47. As a result, a reflected image of the observation object is formed on the sensor 48.
  • the zoom lens 47 moves between the tele end and the wide end by operating the zoom operation unit 22c. As the zoom lens 47 moves between the tele end and the wide end, the reflected image to be observed is enlarged or reduced.
  • the sensor 48 is a color image sensor, picks up a reflected image of the observation object, and outputs an image signal.
  • the sensor 48 is, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • the sensor 48 has RGB pixels provided with RGB color filters on the imaging surface, and outputs image signals of three colors of R, G, and B by performing photoelectric conversion with pixels of each color of RGB. .
  • the B color filter has a spectral transmittance of 380 to 560 nm
  • the G color filter has a spectral transmittance of 450 to 630 nm
  • the emission intensity of the second blue laser light is much higher than that of the second fluorescence, most of the B image signal output from the B pixel is occupied by the reflected light component of the second blue laser light.
  • the first blue laser light and a part of the green component of the first fluorescence are incident on the B pixel, and the first fluorescence is input to the G pixel. Part of the green component of the first light enters, and the red component of the first fluorescence enters the R pixel.
  • the emission intensity of the first blue laser light is much higher than that of the first fluorescence, most of the B image signal is occupied by the reflected light component of the first blue laser light.
  • the light incident component in each RGB pixel when normal light is irradiated to the observation target in the biological information measurement mode is the same as in the normal observation mode.
  • the sensor 48 may be a so-called complementary color image sensor having C (cyan), M (magenta), Y (yellow), and G (green) complementary color filters on the imaging surface.
  • the color conversion unit that performs color conversion from the CMYG four-color image signal to the RGB three-color image signal is either the endoscope 12, the light source device 14, or the processor device 16. It should be provided in. In this way, even when a complementary color image sensor is used, it is possible to obtain RGB three-color image signals by color conversion from the four-color CMYG image signals.
  • the imaging control unit 49 performs imaging control of the sensor 48. As shown in FIG. 6, in the normal observation mode, the observation object illuminated with the normal light is imaged by the sensor 48 for each frame period. Thereby, RGB image signals are output from the sensor 48 for each frame.
  • the imaging control unit 49 controls the imaging of the sensor 48 in the biological information measurement mode in the same manner as in the normal observation mode.
  • the measurement light and the normal light are alternately irradiated on the observation target in synchronization with the imaging frame of the sensor 48, so that the sensor 48 measures the first frame as shown in FIG.
  • the observation object is imaged with light, and the observation object is imaged with normal light in the next second frame.
  • the sensor 48 outputs image signals of each color of RGB in both the first frame and the second frame.
  • an image is taken with the measurement light in the first frame.
  • the obtained RGB color image signals are called R1 image signal, G1 image signal, and B1 image signal, respectively.
  • the RGB color image signals obtained by imaging with normal light in the second frame are R2 image signal, G2 image signal, and B2. This is called an image signal.
  • the image signals of the respective colors output from the sensor 48 are transmitted to a CDS (correlated double sampling) / AGC (automatic gain control) circuit 50 (see FIG. 2).
  • the CDS / AGC circuit 50 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal output from the sensor 48.
  • CDS correlated double sampling
  • AGC automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 50 is converted into a digital image signal by the A / D converter 52.
  • the digitized image signal is input to the processor device 16.
  • the processor device 16 includes an image acquisition unit 54, an image processing switching unit 60, a normal mode processing unit 62, a biological information measurement mode processing unit 64, and a display control unit 66.
  • the image acquisition unit 54 acquires an image signal input from the endoscope 12 as an image to be observed.
  • a DSP (Digital Signal Processor) 56 and a noise removing unit 58 are provided.
  • the DSP 56 performs digital signal processing such as color correction processing on the received image signal.
  • the noise removal unit 58 performs noise removal processing by, for example, a moving average method or a median filter method on the image signal that has been subjected to color correction processing or the like by the DSP 56.
  • the image signal from which the noise has been removed is input to the image processing switching unit 60.
  • the image processing switching unit 60 inputs an image signal to the normal mode processing unit 62 when the mode switching SW 22b is set to the normal observation mode. On the other hand, when the mode switching SW 22 b is set to the biological information measurement mode, the image processing switching unit 60 inputs an image signal to the biological information measurement mode processing unit 64.
  • the normal mode processing unit 62 performs normal mode image processing such as color conversion processing, color enhancement processing, and structure enhancement processing on the input image signal.
  • the image signal subjected to the image processing for the normal mode is input to the display control unit 66 as a normal observation image.
  • the biological information measurement mode processing unit 64 calculates an oxygen saturation based on the input image signal, generates an oxygen saturation image in which the calculated oxygen saturation is imaged,
  • a reference value that serves as a reference for oxygen saturation is set for the measurement value indicating the oxygen saturation of the measurement target among the observation targets.
  • a reference value processing unit 72 Details of the oxygen saturation processing unit 70 and the reference value processing unit 72 will be described later. Note that two-way communication is possible between the oxygen saturation processing unit 70 and the reference value processing unit 72 so that various types of information can be exchanged.
  • the display control unit 66 performs control for displaying on the monitor 18 image signals and various information input from the normal mode processing unit 62 or the biological information measurement mode processing unit. Under the control of the display control unit 66, various images such as a normal light image and an oxygen saturation image are displayed on the monitor 18, and various information is superimposed on the various images.
  • the oxygen saturation processing unit 70 includes an alignment processing unit 74, a light amount ratio correction unit 76, a signal ratio calculation unit 78, a correlation storage unit 80, and an oxygen saturation calculation unit 82 ( A biological information calculation unit), an oxygen saturation image generation unit 83 (biological information image generation unit), a measurement region setting unit 84, and a measurement value calculation unit 85.
  • the alignment processing unit 74 performs alignment processing of the B1 image signal, the G2 image signal, and the R2 image signal used for calculating the oxygen saturation among the image signals for two frames input to the oxygen saturation processing unit 70. .
  • the reason why the alignment process is performed in this way is that a positional shift may occur between frames due to the movement of the observation target or the endoscope 12.
  • the B1 image signal of the first frame is aligned with the G2 image signal and R2 image signal of the second frame.
  • the amount of movement of the observation target is calculated by comparing the B1 image signal of the first frame and the B2 image signal of the second frame.
  • the observation target included in the B1 image signal is moved based on the calculated movement amount of the observation target.
  • the movement amount is calculated from the B1 image signal of the first frame and the B2 image signal of the second frame because the wavelength components included in the B1 image signal and the B2 image signal are the same, This is because the amount of movement can be calculated accurately because it is reflected.
  • the light quantity ratio correction unit 76 performs a light quantity ratio correction process on the B1 image signal, the G2 image signal, and the R2 image signal in accordance with the fluctuation of the light quantity ratio between frames.
  • the image signals reflecting the fluctuation of the light quantity ratio between frames are the R1 image signal and the R2 image signal. Therefore, the light quantity ratio correction coefficient Ck (R2 image) is calculated from these R1 image signal and R2 image signal. (Average value of signal / average value of R1 image signal) is calculated.
  • the G2 image signal and the R2 image signal that have been subjected to the light amount ratio correction process are obtained by performing the light amount ratio correction process of the G2 image signal and the R2 image signal according to the following formula.
  • the coefficient k represents the average value of the R2 image signal / the average value of the R1 image signal obtained when the light amount control by the light source control unit 40 is operating ideally.
  • G2 image signal after the light amount ratio correction processing G2 image signal / Ck ⁇ k
  • R2 image signal that has been subjected to the light amount ratio correction processing R2 image signal / Ck ⁇ k
  • the B1 image signal, the G2 image signal, and the R2 image signal among the image signals for two frames that have undergone the alignment process and the light amount ratio correction process are input to the signal ratio calculation unit 78.
  • the signal ratio calculation unit 78 calculates a signal ratio B1 / G2 between the B1 image signal and the G2 image signal and a signal ratio R2 / G2 between the G2 image signal and the R2 image signal for each pixel.
  • the correlation storage unit 80 stores the correlation between the signal ratio B1 / G2 and the signal ratio R2 / G2 and the oxygen saturation.
  • This correlation is stored in a two-dimensional table in which isolines of oxygen saturation are defined on the two-dimensional space shown in FIG.
  • the positions and shapes of the isolines for the signal ratio B1 / G2 and the signal ratio R2 / G2 are obtained in advance by physical simulation of light scattering, and the interval between the isolines is the blood volume (signal ratio R2 / G2). It changes according to.
  • the correlation between the signal ratio B1 / G2 and the signal ratio R2 / G2 and the oxygen saturation is stored on a log scale.
  • the above correlation is closely related to the light absorption characteristics and light scattering characteristics of oxyhemoglobin (graph 86) and reduced hemoglobin (graph 87).
  • information on oxygen saturation is easy to handle at a wavelength where the difference in absorption coefficient between oxygenated hemoglobin and reduced hemoglobin is large, such as the center wavelength of 473 nm of the first blue laser beam.
  • the B1 image signal including a signal corresponding to 473 nm light is highly dependent not only on the oxygen saturation but also on the blood volume.
  • a signal ratio B1 / G2 obtained from an R2 image signal corresponding to light that changes mainly depending on blood volume, and a G2 image signal serving as a reference signal for the B1 image signal and the R2 image signal, and By using R2 / G2, the oxygen saturation can be accurately determined without depending on the blood volume.
  • the oxygen saturation calculation unit 82 refers to the correlation stored in the correlation storage unit 80, and calculates the oxygen saturation corresponding to the signal ratio B1 / G2 and the signal ratio R2 / G2 calculated by the signal ratio calculation unit 78. Calculate for each pixel. For example, when the signal ratio B1 / G2 and the signal ratio R2 / G2 at a specific pixel are B1 * / G2 * and R2 * / G2 * , respectively, referring to the correlation as shown in FIG. 11, the signal ratio B1 * The oxygen saturation corresponding to / G2 * and the signal ratio R2 * / G2 * is “60%”. Therefore, the oxygen saturation calculation unit 82 calculates the oxygen saturation of this pixel as “60%”.
  • the signal ratio B1 / G2 and the signal ratio R2 / G2 are hardly increased or extremely decreased.
  • the values of the signal ratio B1 / G2 and the signal ratio R2 / G2 hardly exceed the lower limit line 88 with an oxygen saturation of 0%, and conversely fall below the upper limit line 89 with an oxygen saturation of 100%.
  • the oxygen saturation calculation unit 82 sets the oxygen saturation to 0%.
  • the oxygen saturation becomes 100%. %.
  • the oxygen saturation image generation unit 83 uses the oxygen saturation data calculated by the oxygen saturation calculation unit 82 and the B2 image signal, the G2 image signal, and the R2 image signal to calculate the oxygen saturation as a biological information image.
  • An imaged oxygen saturation image is generated.
  • the generated oxygen saturation image is transmitted to the display control unit 66, and when there is a capture instruction, the oxygen saturation image is stored in the image storage unit 73 (see FIG. 2).
  • the oxygen saturation image is stored in the image storage unit 73, it is preferable to store the oxygen saturation numerical data together. In this case, if the entire numerical value data of oxygen saturation is stored, the amount of data becomes enormous. Therefore, it is preferable to store representative values (for example, average value, maximum value, minimum value, median value) of oxygen saturation. Further, not only the oxygen saturation image but also the normal light image is preferably stored in the image storage unit 73 in accordance with the capture instruction.
  • the oxygen saturation image generation unit 83 is provided with three types of image generation modes: a pseudo color image generation mode, a composite image generation mode, and a difference image generation mode.
  • a pseudo color image generation mode a pseudo color image obtained by imaging oxygen saturation with a pseudo color corresponding to the oxygen saturation data is generated.
  • the composite image generation mode a composite image in which the oxygen saturation is imaged with a pseudo color corresponding to the oxygen saturation is generated in a low oxygen region where the oxygen saturation is a predetermined value or less in the normal light image.
  • the differential image generation mode oxygen saturation is imaged with a pseudo color corresponding to the difference between the measured value indicating the oxygen saturation of the measurement target and the reference value of the oxygen saturation that is the reference for this measured value.
  • a difference image is generated.
  • the three types of image generation modes can be switched as appropriate by the user interface 20. Further, the oxygen saturation image generation unit in the case where the difference image generation mode is set corresponds to the “difference image generation unit” of the present invention.
  • a pseudo color image having a luminance signal Y and color difference signals Cr and Cb is generated.
  • the luminance signal Y of the pseudo color image is assigned a G2 image signal in which the visibility of the structure to be observed such as a blood vessel is high.
  • a pseudo color image color table (not shown) storing the correspondence with the oxygen saturation is used. Therefore, referring to the color table for pseudo color images, signal values corresponding to the oxygen saturation are respectively assigned to the color difference signals Cr and Cb. For example, in the color table for pseudo color images, when the oxygen saturation is high, the signal value of Cr is set higher than Cb so that redness is enhanced. On the other hand, when the oxygen saturation is low, the signal value of Cb is set higher than that of Cr so that the bluish color becomes stronger.
  • a gain corresponding to the oxygen saturation is applied to the B2 image signal, the G2 image signal, and the R2 image signal for each pixel, and the gained B2 image signal, G2 image signal, and R2 image signal are used.
  • Generate a composite image For example, in a pixel in a high oxygen region where the oxygen saturation is 60% or more, the same gain “1” is multiplied to any of the B2 image signal, the G2 image signal, and the R2 image signal.
  • the B2 image signal is multiplied by a gain less than “1”, and the G2 image signal and R2 image signal are “1” or more. Multiply the gain.
  • a composite image expressed in the same color as that of the normal light image in the high oxygen region and a pseudo color corresponding to the oxygen saturation is obtained in the low oxygen region.
  • the oxygen saturation calculated by the oxygen saturation calculation unit 82 is used as a measurement value, and a difference image is generated from the difference value between the measurement value and the reference value set by the reference value processing unit 72.
  • a difference image you may make it display the representative value (for example, average value, maximum value, minimum value) of the difference value of the measured value and reference value in each pixel as a numerical value.
  • the difference image may be a pseudo color difference image displayed in a pseudo color corresponding to the difference value between the measured value of the oxygen saturation in each pixel and the reference value. Further, as shown in FIG.
  • the difference image may be a contour difference image displayed with contour lines corresponding to a difference value between a measured value of oxygen saturation in each pixel and a reference value.
  • the contour line difference image the contour line X1 has a difference value of “ ⁇ 20%” from the reference value
  • the contour line X2 has a difference value of “ ⁇ 40%” from the reference value
  • the contour line X3 has a difference value of “ ⁇ 40%”.
  • the difference value from the reference value is “ ⁇ 50%”.
  • the difference value is preferably measured value ⁇ reference value. For example, when the measured value is “60%” and the reference value is “80%”, the difference value is “ ⁇ 20%”.
  • a measurement target region is set as a measurement target region RM in a region different from a reference value calculation region RS described later, and in the measurement value calculation unit 85, A difference value between a reference value and a representative value (for example, average value, maximum value, minimum value, etc.) of oxygen saturation included in the measurement target region is calculated. Then, an image in which the calculated difference value is displayed as a numerical value or the like may be used as the difference image of the measurement target region.
  • the difference image of the measurement target area indicates that the difference value of the measurement target area RM is “ ⁇ 30%”.
  • the measurement target region RM may be set in the same image as the image in which the reference value calculation region RS is set, or set in an image obtained at a different timing from the image in which the reference value calculation region RS is set. Also good. In addition, for the reference value calculation region RS or the measurement target region RM, it is preferable to follow the position of the region in an image obtained at a timing different from the image in which the region is set.
  • the measurement target region RM can be set by the user interface 20. Further, a plurality of measurement target areas RM can be set, and when the measurement target area RM is increased, as shown in FIG. 15, when the “+” button 90 on the right side of the screen is clicked with the pointer Pt, the measurement target areas RM are displayed on the screen. Region RM is added. The measurement target region RM is set by moving the added measurement target region RM to the measurement target. On the other hand, when the measurement target region RM is reduced, the measurement target region RM is deleted from the screen by clicking the “ ⁇ ” button 91 on the right side of the screen with the pointer Pt.
  • the reference value processing unit 72 includes a reference value calculation region setting unit 92, a reliability calculation unit 94, a region appropriateness determination unit 95, a first reference value calculation unit 96, and an error generation unit 97. And an area setting prohibition control unit 98.
  • a reference value for setting a reference value calculation region RS that is a reference value calculation target.
  • the calculation area setting image is displayed on the monitor 18 and the reference value calculation area setting unit 92 is activated to urge the user to set the reference value calculation area RS.
  • a reference value calculation candidate region CRS that is a candidate for the reference value calculation region RS is displayed.
  • the user moves the reference value calculation candidate area CRS to the area to be set as the reference object among the observation objects by using the user interface 20.
  • the user interface 20 performs region determination processing. Thereby, the setting of the reference value calculation area RS is completed.
  • the reference value calculation region setting image may be a normal color image that is one of observation images, a pseudo color image that is a biological information image, or a composite image. Further, when two or more of the normal light image, the pseudo color image, and the composite image are displayed in parallel as the reference value calculation region setting image, the reference value calculation region RS is set in any one of the images. In this case, the reference value calculation area RS may be displayed in conjunction with other images. Further, the shape of the reference value calculation region RS may be a circle, an ellipse, or the like based on a freehand by the user interface 20 in addition to a rectangle. In addition, the size of the reference value calculation area RS is preferably such that, for example, the area can be enlarged or reduced by long-pressing the mouse in the user interface 20.
  • the reference value calculation area setting unit 92 may automatically set the reference value calculation area RS without using a user by using the reliability described later.
  • the reference value calculation area RS is automatically set by the reference value calculation area setting unit 92 for the area having the reliability “1”.
  • the reference value calculation region RS Even if the reference value calculation region RS is set in an image obtained at a specific timing, the reference value calculation region RS may be set even for an image obtained at a timing different from the specific timing. Good. In this case, the latest reference ground calculation area RS in terms of time is adopted.
  • thumbnails are displayed at specific positions on the monitor 18 for the images of the set reference value calculation area RS. Also good.
  • a reference value calculation area RS having the highest reliability described later is used among the plurality of reference value calculation areas RS. It is preferable to do.
  • the reference value calculation region RS is set for an image obtained during insertion of the endoscope 12 into the body cavity.
  • the reference value calculation area RS is set to a normal part of the observation target (preferably a default area).
  • a normal part setting area is provided in the center of the screen, and the endoscope 12 is operated so that the normal part enters the normal part setting area.
  • the user interface 20 is operated to determine the area including the normal part as the reference value calculation area RS.
  • the reference value is calculated for the reference land calculation region RS by the same procedure as described later.
  • the oxygen saturation may be calculated based on the reliability of normality
  • the reference value may be set based on the calculated oxygen saturation.
  • the reliability calculation unit 94 calculates the reliability related to oxygen saturation.
  • the reliability is represented by a numerical value between “0” and “1”, for example, and it is preferable that the higher the numerical value, the higher the reliability.
  • the reliability for example, when all of the B1 image signal, the G2 image signal, and the R2 image signal used for calculating the oxygen saturation are within the range of the appropriate pixel value, the reliability is “1”. It is preferable to do.
  • the pixel value of any one of the B1 image signal, the G2 image signal, and the R2 image signal falls outside the range of the appropriate pixel value (when it falls below the lower limit value or above the upper limit value) )
  • the reliability is preferably set to “0”.
  • the reliability is gradually increased according to the size of the pixel value. It is preferable to approach “0”.
  • the calculated value in the biological information measurement mode obtained based on any of the image signals obtained in the biological information measurement mode indicates that there is a residue or residual liquid such as a yellow pigment, the area It is preferable to reduce the reliability (for example, the reliability is lower than “1”, and the higher the amount of residue and residual liquid is, the lower the reliability is).
  • the calculated value in the biological information measurement mode indicates the presence of a deep blood vessel, it is preferable to change the reliability. Also,
  • the region appropriateness determination unit 95 sets the reference value calculation region RS based on the reliability included in the reference value calculation region RS. It is determined whether or not the reference value can be properly set in step. Specifically, when the representative value (for example, average value, maximum value, minimum value) of the reliability included in the reference value calculation region RS is equal to or greater than the region determination threshold, the reference value calculation region RS It is determined that the setting can be performed properly. In this case, the first reference value calculation unit 96 calculates the reference value from the oxygen saturation included in the reference value calculation region RS.
  • the first reference value calculation unit 96 calculates a representative value (for example, average value, maximum value, minimum value) of oxygen saturation included in the reference value calculation region RS as a reference value. Is preferred. Further, the first reference value calculation unit 96 may calculate the reference value by multiplying and adding the weighting coefficient based on the reliability to the oxygen saturation included in the reference value calculation region RS. Good. For example, as shown in FIG. 18, in the reference value calculation area RS, the weighting coefficient based on the reliability is set to “1” for the inner area RSI, and the weighting coefficient based on the reliability is set to “0” for the outer area RSO. ", The value obtained by multiplying the oxygen saturation contained in the inner region RSI by" 1 "and the value obtained by multiplying the oxygen saturation contained in the outer region RSO by" 0 ". The sum of the values is the reference value.
  • a representative value for example, average value, maximum value, minimum value
  • the reference value is set appropriately in the reference value calculation region RS. It is determined that it cannot be done.
  • the error generation unit 97 transmits error information for notifying that the reference value cannot be properly set in the reference value calculation region RS to the display control unit 66.
  • the display control unit 66 performs control for displaying the error information on the monitor 18 together with the reference value calculation area RS, as shown in FIG. 19, according to the error information. Accordingly, the user resets the reference value calculation area RS through the user interface 20.
  • the region setting prohibition control unit 98 sets a low reliability region in which the reliability is lower than the first reliability threshold, and the low reliability For the degree region, control for prohibiting the setting of the reference value calculation region RS may be performed.
  • the user tries to set the reference value calculation area RS in the low reliability area, it is preferable to perform an alert indicating that the setting is prohibited. As shown in FIG. By superimposing and displaying the low reliability region in the reference value calculation region setting image, the user can set the reference value calculation region RS while avoiding the low reliability region.
  • the reference value calculation region RS is set, and the reference value is calculated based on the oxygen saturation included in the set reference value calculation region RS.
  • the reference value is calculated by multiplying and adding the weighting coefficient based on the reliability to the oxygen saturation of each pixel calculated by the oxygen saturation calculator 82.
  • a reference value processing unit 110 is used instead of the reference value processing unit 72 of the first embodiment. Other than that, it is almost the same as the first embodiment.
  • the reference value processing unit 110 includes a reliability calculation unit 111, a second reference value calculation unit 112, a high reliability region setting unit 114, a first reference candidate value calculation unit 116, 1 reference value selection unit 118.
  • the reliability calculation unit 111 is the same as the reliability calculation unit 94 of the first embodiment.
  • the second reference value calculation unit 112 sets a weighting coefficient based on the reliability based on the reliability calculated by the reliability calculation unit 111.
  • the reliability and the weighting coefficient may be the same (that is, when the reliability is “1”, the weighting coefficient is “1”, and when the reliability is “0”, the weighting coefficient is “0”).
  • a second reliability threshold value is determined in advance as a threshold value for the reliability, and when the reliability is equal to or higher than the second reliability threshold, the weighting coefficient is “1” and the reliability is the second reliability threshold.
  • the weighting coefficient may be set to “0” when the value is less than.
  • the second reference value calculation unit 112 multiplies the oxygen saturation of each pixel calculated by the oxygen saturation calculation unit 82 by multiplying by a weighting coefficient based on the reliability.
  • the reference value is calculated.
  • the high reliability region setting unit 114 sets a plurality of high reliability regions whose reliability is equal to or higher than each second reliability threshold value.
  • the first reference candidate value calculation unit 116 calculates the reference candidate value corresponding to each high reliability region from the oxygen saturation included in each high reliability region.
  • Each of these high reliability regions and reference candidate values is sent to the display control unit 66.
  • the display control unit 66 performs control to display each high reliability region and the reference candidate value on the monitor 18.
  • the reference value selection image preferably the same as the reference value calculation region setting image
  • three high reliability regions are displayed, and the reference candidate values corresponding to the high reliability regions are displayed. Are displayed as “80%”, “90%”, and “85%”.
  • the user selects a reference candidate value considered appropriate from the reference candidate values in each high reliability area displayed on the monitor 18. Selection of the reference candidate value is performed by the user interface 20. As illustrated in FIG. 24, when the user operates the pointer Pt with the user interface 20 and selects, for example, the reference candidate value “80%”, the first reference value selection unit 118 includes three reference candidate values. The reference candidate value “80%” is selected as the reference value.
  • the reference value calculation region RS is set, and the reference value is calculated based on the oxygen saturation included in the set reference value calculation region RS.
  • the frequency distribution of oxygen saturation is calculated from the oxygen saturation of each pixel calculated by the oxygen saturation calculating unit 82, and the reference value is calculated from the frequency distribution of oxygen saturation. .
  • a reference value processing unit 130 is used instead of the reference value processing unit 72 of the first embodiment. Other than that, it is almost the same as the first embodiment.
  • the reference value processing unit 130 includes a biological information frequency distribution calculating unit 132, a third reference value calculating unit 134, a first region exclusion distribution setting unit 136, and a second reference candidate value calculating unit 138. And a second reference value selection unit 140.
  • the biological information frequency distribution calculation unit 132 calculates a frequency distribution of oxygen saturation from the oxygen saturation of each pixel calculated by the oxygen saturation calculation unit 82, as shown in FIG.
  • This frequency distribution of oxygen saturation has a constant frequency in the distribution region Rlow (first distribution region) where the oxygen saturation is extremely low. This does not indicate the actual oxygen saturation level of the observation target, but is based on the fact that the pixel value of the image signal used to calculate the oxygen saturation level shows an abnormal value due to the influence of the observation conditions. It is thought that. Therefore, it is considered that the oxygen saturation included in the distribution region Rlow has a low calculation accuracy and is not an appropriate value.
  • the first region exclusion distribution setting unit 136 calculates the oxygen saturation in order to calculate an appropriate reference value.
  • the first region exclusion distribution is obtained.
  • the third reference value calculation unit 134 calculates the reference value by obtaining a representative value (for example, average value, maximum value, minimum value, etc.) of the oxygen saturation included in the first region exclusion distribution.
  • the region excluded from the frequency distribution of the oxygen saturation may be a distribution region Rhigh (first distribution region) having a very high oxygen saturation in addition to the distribution region Rlow.
  • the first area exclusion distribution setting unit 136 sets a plurality of first area exclusion distributions excluding each distribution area.
  • oxygen saturation A first region exclusion distribution 146 is set by excluding the distribution region Rlow and the distribution region Rhigh from the frequency distribution of degrees.
  • the second reference candidate value calculation unit 138 calculates reference candidate values from the oxygen saturation levels included in the first region exclusion distributions 142, 144, and 146, respectively.
  • the calculated plurality of reference candidate values are sent to the display control unit 66.
  • the display control unit 66 displays a plurality of reference candidate values on the monitor 18 in the reference value selection image. Here, “80%”, “90%”, and “85%” are displayed as reference candidate values.
  • the user selects a reference candidate value considered appropriate from the reference candidate values displayed on the monitor 18. Selection of the reference candidate value is performed by the user interface 20. As shown in FIG. 28, when the user operates the pointer Pt with the user interface 20 and selects, for example, the reference candidate value “80%”, the second reference value selection unit 140 has three reference candidate values. The reference candidate value “80%” is selected as the reference value.
  • the reference value calculation region RS is set, and the reference value is calculated based on the oxygen saturation included in the set reference value calculation region RS.
  • the frequency distribution of the oxygen saturation is calculated from the signal ratio (calculated value) used for calculating the oxygen saturation, and the reference value is calculated from the frequency distribution of the oxygen saturation.
  • the signal ratio is obtained by a calculation process between different image signals (for example, a B1 image signal and a G2 image signal, or a G2 image signal and an R2 image signal), and thus corresponds to a calculation value.
  • a reference value processing unit 150 is used instead of the reference value processing unit 72 of the first embodiment. Other than that, it is almost the same as the first embodiment. As shown in FIG. 29, the reference value processing unit 150 includes a calculated value frequency distribution calculating unit 152, a fourth reference value calculating unit 154, a second region exclusion distribution setting unit 156, and a third reference candidate value calculating unit 158. And a third reference value selection unit 160.
  • the calculation value frequency distribution calculation unit 152 calculates the frequency distribution of the signal ratio B1 / G2 from the signal ratio obtained by the signal ratio calculation unit 78, for example, B1 / G2, as shown in FIG.
  • the frequency distribution of the signal ratio B1 / G2 has a constant frequency in the distribution region Rlow where the signal value B1 / G2 is extremely low. This is considered to be based on the fact that the pixel value of the image signal used for calculation of the oxygen saturation shows an abnormal value under the influence of the observation condition. Therefore, it is considered that the signal ratio B1 / G2 included in the distribution region Rlow has a low oxygen saturation calculation accuracy and is not an appropriate value.
  • the calculated value frequency distribution calculation unit 152 may calculate the frequency distribution of the signal ratio R2 / G2 instead of or in addition to the signal ratio B1 / G2.
  • the signal ratio B1 / G2 can be used as an index for improving the reliability of oxygen saturation. Therefore, when the signal ratio B1 / G2 is the specific signal ratio (specific calculation value) used for calculation of the low-reliable oxygen saturation, the second region exclusion distribution setting unit 156 sets the signal ratio B1 / G2 The second region exclusion distribution is obtained by excluding the distribution region Rlow, which is one of the second distribution regions having the specific signal ratio, from the frequency distribution. Then, the fourth reference value calculation unit 154 obtains a representative value (for example, an average value, a maximum value, a minimum value, etc.) of the signal ratio B1 / G2 included in the second region exclusion distribution.
  • a representative value for example, an average value, a maximum value, a minimum value, etc.
  • the oxygen saturation calculation unit 82 calculates the oxygen saturation.
  • the calculated oxygen saturation is calculated as a reference value.
  • the second distribution region may be a distribution region Rhigh having an extremely high signal ratio B1 / G2 in addition to the distribution region Rlow.
  • a second area exclusion distribution setting unit 156 sets a plurality of second area exclusion distributions excluding each distribution area.
  • a second region exclusion distribution 162 that excludes only the distribution region Rlow from the frequency distribution of the signal ratio B1 / G2
  • a second region exclusion distribution 164 that excludes only the distribution region Rhigh from the frequency distribution of the signal ratio B1 / G2.
  • the second region exclusion distribution 166 is set by excluding the distribution region Rlow and the distribution region Rhigh from the frequency distribution of the signal ratio B1 / G2.
  • the 3rd standard candidate value calculation part 158 calculates oxygen saturation from the representative value of signal ratio B1 / G2 included in each 2nd field exclusion distribution 162,164,166, respectively.
  • the oxygen saturation corresponding to these second region exclusion distributions 162, 164, 166 is calculated as a reference candidate value.
  • the calculated plurality of reference candidate values are sent to the display control unit 66.
  • the display control unit 66 displays a plurality of reference candidate values on the monitor 18 in the reference value selection image. Here, “80%”, “90%”, and “85%” are displayed as reference candidate values.
  • the user selects a reference candidate value considered appropriate from the reference candidate values displayed on the monitor 18. Selection of the reference candidate value is performed by the user interface 20.
  • the third reference value selection unit 160 selects the reference candidate value from the three reference candidate values. “80%” is selected as a reference value (see FIG. 28).
  • the frequency distribution of the signal ratio B1 / G2 is calculated as the frequency distribution of the signal ratio, but the signal ratio B1 / (a ⁇ B2 + b ⁇ G2) in which the wavelength components are aligned in the denominator numerator.
  • the frequency distribution may be calculated. Since the signal component B1 / G2 has different wavelength components between the denominator and the numerator, the oxygen saturation may not be calculated appropriately. Therefore, in the signal ratio B1 / (a ⁇ B2 + b ⁇ G2) (where a and b are denominator weighting coefficients), the numerator is the B1 image signal as it is, and the denominator is weighted with the “B2 image signal” having the short wave component. Then, by adding the signal to the G2 image signal, the wavelength components can be aligned with the denominator and the numerator. As a result, the oxygen saturation can be calculated appropriately.
  • the reference value calculation region RS is set, and the reference value is calculated based on the oxygen saturation included in the set reference value calculation region RS.
  • the reference value can be appropriately set by the user.
  • a reference value processing unit 180 is used instead of the reference value processing unit 72 of the first embodiment.
  • the reference value processing unit 180 is provided with a user setting unit 182 as shown in FIG.
  • the display control unit 66 controls the monitor 18 to display a reference value input screen 184 for inputting the reference value, as shown in FIG. I do.
  • the user inputs a numerical value (for example, “80% of oxygen saturation”) on the input screen through the user interface 20.
  • the user setting unit 182 sets the input numerical value as a reference value.
  • the set reference value is appropriately adjusted according to the reliability calculated in the reliability calculation unit 183 described later. When the reliability is normal, the set reference value is used as it is, and when the reliability is abnormal, the set reference value is adjusted according to the reliability.
  • the reliability calculation unit 183 calculates the average pixel value of the B1 image signal, the G2 image signal, and the R2 image signal used for calculating the oxygen saturation, and calculates the reliability according to the average pixel value.
  • the reliability is normal.
  • the reliability is determined to be abnormal.
  • the reference value is adjusted by multiplying a correction coefficient for making the reliability normal by the set reference value.
  • a reference value input screen 186 for increasing or decreasing the numerical value stepwise may be used instead of the reference value input screen 184 for inputting the numerical value itself, as shown in FIG. 34.
  • the reference value input screen 186 is provided with a “+” button 187 for increasing the numerical value in specific numerical value increments and a “ ⁇ ” button 188 for decreasing the numerical value in specific numerical value increments.
  • the user sets a specific value by operating the “+” button 187 and the “ ⁇ ” button 188 with the pointer Pt movable by the user interface 20. After the specific value is set and the specific time has elapsed, the user setting unit 182 determines the set specific value as a reference value.
  • a slide bar 190 to which numerical values are assigned in the range of “0%” to “100%” is shown.
  • a reference value input screen 194 provided with a slider 192 movable on the slide bar may be used. The user moves the slider 192 to the portion of the slide bar 190 to which the numerical value to be set is assigned by the pointer Pt that can be moved by the user interface 20.
  • the user setting unit 182 determines the numerical value of the portion of the slide bar 190 where the slider 192 is located as a reference value.
  • a reference value setting button (not shown) is provided on the operation unit of the endoscope, and the reference value is set each time the reference position setting button is pressed.
  • the reference value may be continuously increased or decreased by long pressing the reference value setting button.
  • a light source device different from the light source device 14 may be used.
  • the light source device 14 of the endoscope system 300 instead of the first and second blue laser light sources 34 and 36 and the light source control unit 40, as shown in FIG. 36, an LED (Light) Emitting Diode) light source unit 301, An LED light source control unit 304 is provided.
  • the phosphor 44 is not provided in the illumination optical system 24 a of the endoscope system 300. Other than that, it is the same as the endoscope system 10 of the first embodiment.
  • the LED light source unit 301 includes an R-LED 301a, a G-LED 301b, and a B-LED 301c as light sources that emit light limited to a specific wavelength band.
  • the R-LED 301a has a red band light in the red region of 600 to 720 nm (hereinafter simply referred to as red light)
  • the G-LED 301b has a green band light in the green region of 480 to 620 nm (hereinafter referred to as “red light”). Simply emits green light).
  • the B-LED 301c emits blue band light in the blue region of 400 to 500 nm (hereinafter simply referred to as blue light).
  • the LED light source unit 301 has a high-pass filter (HPF) 302 that is inserted into and extracted from the optical path of blue light emitted from the B-LED 301c.
  • the high pass filter 302 cuts blue light having a wavelength band of 450 nm or less and transmits light having a wavelength band longer than 450 nm.
  • the cut-off wavelength (450 nm) of the high-pass filter 302 is a wavelength in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin are substantially equal (see FIG. 10), and the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin are reversed at this wavelength.
  • the correlation stored in the correlation storage unit 80 is a case where the extinction coefficient of oxyhemoglobin is larger than the extinction coefficient of reduced hemoglobin, so a signal based on a wavelength band equal to or less than the cutoff wavelength is The signal ratio B1 / G2 is lower than the original value measured at 473 nm, causing inaccurate oxygen saturation to be calculated. For this reason, the high-pass filter 302 prevents the observation target from being irradiated with light in the wavelength band equal to or less than the cutoff wavelength when acquiring the B1 image signal for calculating the oxygen saturation.
  • the high-pass filter 302 is inserted in front of the B-LED 301c in the biological information measurement mode, and is retracted to the retracted position in the normal observation mode.
  • the high-pass filter 302 is inserted / removed by the HPF insertion / removal unit 303 under the control of the LED light source control unit 304.
  • the LED light source control unit 304 controls turning on / off of each LED 301 a to 301 c of the LED light source unit 301 and insertion / extraction of the high-pass filter 302. Specifically, as shown in FIG. 38, in the normal observation mode, the LED light source control unit 304 lights all the LEDs 301a to 301c, and the high-pass filter 302 retracts from the optical path of the B-LED 301c.
  • the LED light source control unit 304 inserts the high-pass filter 302 on the optical path of the B-LED 301c.
  • the B-LED 301c is turned on and the R-LED 301a and the G-LED 301b are turned off, so that the observation target is irradiated with blue light with a wavelength band of 450 nm or less cut.
  • the R-LED 301a, the G-LED 301b, and the B-LED 301c are all turned on, and the blue light from which the wavelength band of 450 nm or less is cut out of the blue light emitted from the B-LED 301c and the R-LED 301a emits.
  • the observation object is irradiated with white light composed of red light and green light emitted from the G-LED 301b. Accordingly, the sensor 48 outputs a B1 image signal in the first frame, and outputs an R2 image signal, a G2 image signal, and a B2 image signal in the second frame, respectively. Therefore, the subsequent processing can be performed in the same manner as the endoscope system 10 of the first embodiment.
  • the observation target is imaged with the high-pass filter 402 inserted in both the first frame and the second frame in the biological information measurement mode, but the high-pass filter 402 is inserted only in the first frame.
  • the high pass filter 402 may be retracted at the frame. Further, in the first frame in the biological information measurement mode, only the B-LED 301c is lit and only the blue light is irradiated to the observation object, but the R-LED 301a and the G-LED 301b are also lit in the first frame.
  • the image signal and the G1 image signal may be output to the sensor 48.
  • the light source device 14 of the endoscope system 400 includes a broadband light source 401, a rotary filter 402, and a rotation instead of the first and second blue laser light sources 34 and 36 and the light source control unit 40.
  • a filter control unit 403 is provided.
  • the sensor 405 of the endoscope system 400 is a monochrome image sensor that is not provided with a color filter. About other than that, it is the same as the endoscope system 10 of 1st Embodiment.
  • the broadband light source 401 includes, for example, a xenon lamp, a white LED, and the like, and emits white light whose wavelength band ranges from blue to red.
  • the rotary filter 402 includes a normal observation mode filter 410 and a biological information measurement mode filter 411 (see FIG. 41), and the white light emitted from the broadband light source 401 is incident on the light guide 41 on the optical path. It is movable in a radial direction between a first position for normal observation mode where the normal observation mode filter 410 is disposed and a second position for biological information measurement mode where the biological information measurement mode filter 411 is disposed.
  • the mutual movement of the rotary filter 402 to the first position and the second position is controlled by the rotary filter control unit 403 according to the selected observation mode.
  • the rotation filter 402 rotates according to the imaging frame of the sensor 405 while being arranged at the first position or the second position.
  • the rotation speed of the rotation filter 402 is controlled by the rotation filter control unit 403 according to the selected observation
  • the normal observation mode filter 410 is provided on the inner periphery of the rotary filter 402.
  • the normal observation mode filter 410 includes an R filter 410a that transmits red light, a G filter 410b that transmits green light, and a B filter 410c that transmits blue light. Therefore, when the rotary filter 402 is arranged at the first position for the normal light observation mode, white light from the broadband light source 401 is selected from the R filter 410a, the G filter 410b, and the B filter 410c according to the rotation of the rotary filter 402. Is incident on.
  • the observation object is sequentially irradiated with red light, green light, and blue light according to the transmitted filter, and the sensor 405 captures the observation object with these reflected lights, thereby obtaining an R image signal, A G image signal and a B image signal are sequentially output.
  • the biological information measurement mode filter 411 is provided on the outer peripheral portion of the rotary filter 402.
  • the biological information measurement mode filter 411 includes an R filter 411a that transmits red light, a G filter 411b that transmits green light, a B filter 411c that transmits blue light, and a narrow band light that transmits 473 ⁇ 10 nm narrow band light.
  • a band filter 411d Therefore, when the rotary filter 402 is arranged at the second position for the normal light observation mode, white light from the broadband light source 401 is changed into an R filter 411a, a G filter 411b, a B filter 411c, and a narrow band according to the rotation of the rotary filter 402. The light enters one of the filters 411d.
  • the observation target is sequentially irradiated with red light, green light, blue light, and narrowband light (473 nm) according to the transmitted filter, and the sensor 405 images each of the observation targets with these reflected lights.
  • an R image signal, a G image signal, a B image signal, and a narrowband image signal are sequentially output.
  • the R image signal and the G image signal obtained in the biological information measurement mode correspond to the R1 (or R2) image signal and the G1 (or G2) image signal of the first embodiment.
  • the B image signal obtained in the biological information measurement mode corresponds to the B2 image signal of the first embodiment, and the narrowband image signal corresponds to the B1 image signal. Therefore, the subsequent processing can be performed in the same manner as the endoscope system 10 of the first embodiment.
  • the present invention is applied to an endoscope system that processes an endoscopic image that is one of medical images.
  • a medical image other than an endoscopic image is processed.
  • the present invention can also be applied to a medical image processing system.
  • the present invention can also be applied to a diagnosis support apparatus for providing diagnosis support to a user using a medical image.
  • the present invention can be applied to a medical work support apparatus for supporting medical work such as a diagnosis report using medical images.
  • the hardware structure of a processing unit (processing unit) that executes various types of processing is the following various types of processors.
  • the circuit configuration is changed after the manufacture of CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that function as various processing units by executing software (programs).
  • a programmable logic device Programmable Logic Device: PLD
  • PLD programmable Logic Device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)

Abstract

生体情報に関する信頼度が低い領域が存在する場合であっても、生体情報の測定値に対する基準となる基準値を適切に設定することができる医療画像処理システム及び内視鏡システムを提供する。 酸素飽和度算出部は、観察画像に基づいて、生体情報の一つである酸素飽和度を算出する。信頼度算出部(94)は、観察画像に基づいて、生体情報に関する信頼度を算出する。基準値処理部(72)は、観察対象のうち測定対象の生体情報を示す測定値に対して、信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。

Description

医療画像処理システム及び内視鏡システム
 本発明は、血中ヘモグロビンの酸素飽和度などの生体情報を求める医療画像処理システム及び内視鏡システムに関する。
 医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。また、近年においては、生体情報の中でも血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある(特許文献1、2、3)。
特開2012-213550号公報 特開2012-125402号公報 特開2011-194028号公報
 観察対象においては正常部と異常部(ガンなどの病変部)とで生体情報(例えば、酸素飽和度)に違いがあることが知られている。ユーザーは、正常部と異常部との酸素飽和度による違いを把握することにより、異常部の発見を容易に行うことができる。これに関して、特許文献3では、生体情報の一つである酸素飽和度の基準値を設定し、基準値と各位置における酸素飽和度と差分値を疑似カラーで表示している。この特許文献3において、基準値を正常部に設定することで、差分値の疑似カラー画像から、正常部と異常部の酸素飽和度の違いを把握することができるようになる。
 しかしながら、観察対象においてハレーションなどが生じている領域においては、算出される生体情報の信頼度が低くなっている。このような生体情報の信頼度が低い領域に対して、基準値を設定した場合には、基準値との差分値の信頼度も低くなる。
 本発明は、生体情報に関する信頼度が低い領域が存在する場合であっても、生体情報の測定値に対する基準となる基準値を適切に設定することができる医療画像処理システム及び内視鏡システムを提供することを目的とする。
 本発明の医療画像処理システムは、画像取得部と、生体情報算出部と、信頼度算出部と、基準値処理部と、差分画像生成部とを備える。画像取得部は、観察対象を撮像して得られる観察画像を取得する。生体情報算出部は、観察画像に基づいて、観察対象に含まれる生体情報を算出する。信頼度算出部は、観察画像に基づいて、生体情報に関する信頼度を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。
 本発明は、生体情報画像生成部と、基準値算出領域設定部とを含むことが好ましい。生体情報画像生成部は、生体情報に基づいて、生体情報を画像化した生体情報画像を生成する。基準値算出領域設定部は、観察画像又は生体情報画像において、基準値の算出対象となる基準値算出領域を設定する。基準値処理部は、基準値算出領域に含まれる生体情報に基づいて、基準値を算出する第1基準値算出部を含むことが好ましい。基準値算出領域設定部は、信頼度に基づいて、基準値算出領域を自動的に設定することが好ましい。
 本発明は、領域適正判定部と、エラー発生部とを備えることが好ましい。領域適正判定部は、基準値算出領域に含まれる信頼度の代表値が領域判定用閾値以上の場合には、基準値算出領域において基準値の設定を適正に行えると判定し、信頼度の代表値が領域判定用閾値を下回る場合には、基準値算出領域において基準値の設定を適正に行えないと判定する。エラー発生部は、基準値算出領域において基準値の設定が正確に行えないと判定された場合に、基準値の算出を正確に算出できないことを報知するエラーを発する。
 基準値処理部は、観察画像又は生体情報画像のうち、信頼度が第1信頼度用閾値を下回る低信頼度領域については、基準値算出領域の設定を禁止する領域設定禁止制御を行う領域設定禁止制御部を含むことが好ましい。低信頼度領域を表示部に表示する表示制御部を備えることが好ましい。基準値は、基準値算出領域に含まれる生体情報の代表値であることが好ましい。
 第1基準値算出部は、基準値算出領域に含まれる生体情報に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値を算出することが好ましい。基準値処理部は、生体情報に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値を算出する第2基準値算出部を含むことが好ましい。
 基準値処理部は、互いに異なる複数の第2信頼度用閾値が予め設定されており、信頼度が各第2信頼度用閾値以上の高信頼度領域を複数設定する高信頼度領域設定部と、各高信頼度領域に含まれる生体情報から、基準値の候補となる基準候補値を算出する第1基準候補値算出部とを備えることが好ましい。
 高信頼度領域と高信頼度領域に対応する基準候補値とを表示部に表示する表示制御部と、表示部に表示された基準候補値の中から基準値を選択する第1基準値選択部とを備えることが好ましい。
 本発明の医療画像処理システムは、画像取得部と、生体情報算出部と、基準値処理部と、差分画像生成部と、生体情報頻度分布算出部とを備える。画像取得部は、観察対象を撮像して得られる観察画像を取得する。生体情報算出部は、観察画像に基づいて、観察対象に含まれる生体情報を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。生体情報頻度分布算出部は、生体情報の頻度分布を算出する。基準値処理部は、生体情報の頻度分布のうち生体情報の信頼度が低い第1分布領域を除いた第1領域除外分布に基づいて、基準値を算出する第3基準値算出部とを備える。
 基準値処理部は、生体情報の頻度分布において生体情報の信頼度が低い第1分布領域が複数設定されており、生体情報の頻度分布のうち各第1分布領域を除いた第1領域除外分布を複数設定する第1領域除外分布設定部と、各第1領域除外分布に基づいて、基準値の候補となる基準候補値を算出する第2基準候補値算出部とを備えることが好ましい。
 第1領域除外分布と第1領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、表示部に表示された基準候補値の中から基準値を選択する第2基準値選択部とを備えることが好ましい。
 本発明の医療画像処理システムは、画像取得部と、生体情報算出部と、基準値処理部と、差分画像生成部と、演算値頻度分布算出部とを備える。画像取得部は、観察対象を異なるフレームにて撮像して得られる複数フレームの観察画像を取得する。生体情報算出部は、複数フレームの観察画像に基づく演算処理によって演算値を算出し、算出した演算値から、観察対象に含まれる生体情報を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、生体情報の信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。演算値頻度分布算出部は、演算値の頻度分布を算出する。基準値処理部は、演算値を信頼度として利用し、演算値の頻度分布のうち特定演算値を有する第2分布領域を除いた第2領域除外分布に基づいて、基準値を算出する第4基準値算出部とを備える。
 基準値処理部は、演算値の頻度分布において特定演算値を有する第2分布領域が複数設定されており、生体情報の頻度分布のうち各第2分布領域を除いた第2領域除外分布を複数設定する第2領域除外分布設定部と、各第2領域除外分布に基づいて、基準値の候補となる基準候補値を算出する第3基準候補値算出部とを備えることが好ましい。
 第2領域除外分布と第2領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、表示部に表示された基準候補値の中から基準値を選択する第3基準値選択部とを備えることが好ましい。
 基準値処理部は、ユーザーインターフェースによって、基準値を設定するユーザー設定部を含み、ユーザー設定部によって設定された基準値は、信頼度によって調整される。
 生体情報に基づいて、生体情報を画像化した生体情報画像を生成する生体情報画像生成部と、観察画像又は生体情報画像において、測定対象の領域を測定対象領域として設定する測定領域設定部と、測定対象領域に含まれる生体情報に基づいて、測定値を算出する測定値算出部とを備えることが好ましい。
 本発明の内視鏡システムは、内視鏡と、画像取得部と、生体情報算出部と、信頼度算出部と、基準値処理部と、差分画像生成部とを備える。内視鏡は、観察対象を撮像して観察画像を得る。画像取得部は、観察対象を撮像して得られる観察画像を取得する。生体情報算出部は、観察画像に基づいて、観察対象に含まれる生体情報を算出する。信頼度算出部は、観察画像に基づいて、生体情報に関する信頼度を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。
 本発明によれば、生体情報に関する信頼度が低い領域が存在する場合であっても、生体情報の測定値に対する基準となる基準値を適切に設定することができる。
内視鏡システムの外観図である。 レーザ光源を有する光源装置を備える内視鏡システムのブロック図である。 通常観察モード時に発光する光のスペクトルを示すグラフである。 生体情報測定モード時に発光する光のスペクトルを示すグラフである。 RGBカラーフィルタの分光透過率を示すグラフである。 レーザ光源を有する光源装置を使用する場合における通常観察モード時の撮像制御を示す説明図である。 レーザ光源を有する光源装置を使用する場合における生体情報測定モード時の撮像制御を示す説明図である。 酸素飽和度処理部のブロック図である。 信号比B1/G2,R2/G2と酸素飽和度の相関関係を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度を算出する方法を示す説明図である。 差分値に応じた疑似カラー画像を示す画像図である。 等高線の差分画像を示す画像図である。 基準値算出領域RSと測定対象領域RMを示す画像図である。 基準値算出領域RSと複数の測定対象領域RMを示す画像図である。 第1実施形態の基準値処理部の機能を示すブロック図である。 基準値算出領域RSと基準値算出候補領域CRSを示す画像図である。 正常部設定用領域を示す画像図である。 基準値算出領域RSに含まれる酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算して得られる基準値の算出方法を示す説明図である。 エラー情報を示す画像図である。 低信頼度領域を示す画像図である。 第2実施形態の基準値処理部の機能を示すブロック図である。 酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算して得られる基準値の算出方法を示す説明図である。 高信頼度領域とこの高信頼度領域に対応する基準候補値を示す画像図である。 第2実施形態における基準値の選択方法を示す説明図である。 第3実施形態の基準値処理部の機能を示すブロック図である。 酸素飽和度の頻度分布に基づく基準値の算出方法を示す説明図である。 複数の第1領域除外分布に基づく基準値の算出方法を示す説明図である。 第3実施形態における基準値の選択方法を示す説明図である。 第4実施形態の基準値処理部の機能を示すブロック図である。 信号比B1/G2の頻度分布に基づく基準値の算出方法を示す説明図である。 複数の第2領域除外分布に基づく基準値の算出方法を示す説明図である。 第5実施形態の基準値処理部の機能を示すブロック図である。 基準値を設定するための数値を直接入力する基準値入力画面を示す画像図である。 基準値を設定するための数値を段階的に増減させる基準値入力画面を示す画像図である。 スライドバーとスライダを用いて、基準値を設定するための数値を段階的に増減させる基準値入力画面を示す画像図である。 複数のLEDを有する光源装置を備える内視鏡システムのブロック図である。 LEDの発光帯域とHPFの特性を示すグラフである。 複数のLEDを有する光源装置を使用する場合における通常観察モード時の撮像制御を示す説明図である。 複数のLEDを有する光源装置を使用する場合における生体情報測定モード時の撮像制御を示す説明図である。 回転フィルタを有する光源装置を備える内視鏡システムのブロック図である。 回転フィルタの平面図である。
 [第1実施形態]
 図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16、モニタ18(表示部)と、ユーザーインターフェース20とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部21と、挿入部21の基端部分に設けられた操作部22と、挿入部21の先端側に設けられた湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作にともなって、先端部24が所望の方向に向けられる。
 また、操作部22には、アングルノブ22aの他、モード切替SW(モード切替スイッチ)22bと、ズーム操作部22cと、静止画像を保存するためのフリーズボタン(図示しない)と、が設けられている。モード切替SW22bは、通常観察モードと、生体情報測定モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、被検体内の観察対象をフルカラー画像化した通常光画像をモニタ18に表示するモードである。生体情報測定モードは、観察対象に含まれる生体情報の一つである血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズームレンズ47(図2参照)を駆動させて、観察対象を拡大させるズーム操作に用いられる。
 なお、生体情報測定モードでは、酸素飽和度を算出するが、酸素飽和度以外の生体情報を算出するようにしてもよい。例えば、生体情報測定モード時に得られる観察画像から特定深さの血管を抽出し、特定の関心領域内における特定深さの血管が占める割合を血管密度として算出することが考えられる。この血管密度は生体情報の一種であり、観察対象の診断に有効である。血管密度は数値としてモニタ18に表示する他に、血管密度の大きさに合わせて疑似カラー画像化した血管密度画像(生体情報画像)をモニタ18に表示するようにしてもよい。
 プロセッサ装置16は、モニタ18及びユーザーインターフェース20と電気的に接続される。モニタ18は、通常光画像や酸素飽和度画像等の画像、及びこれらの画像に関する情報(以下、画像情報等という)を表示する。ユーザーインターフェース20は、機能設定等の入力操作を受け付ける機能を有し、具体的には、キーボードやマウスなどから構成される。なお、プロセッサ装置16には、画像情報等を記録する記録部(図示省略)を接続しても良い。
 図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD(レーザダイオード))34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)36とを発光源として備えている。これらの半導体発光素子からなる各光源34,36の発光は、光源制御部40により個別に制御される。このため、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。
 光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を点灯させる。これに対して、生体情報測定モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。なお、第1,第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源34と第2青色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としても良い。
 各光源34,36から出射される第1,第2青色レーザ光は、集光レンズ、光ファイバ、合波器等の光学部材(いずれも図示せず)を介してライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード17(図1参照)と、内視鏡12に内蔵されている。ライトガイド41は、各光源34,36からの第1,第2青色レーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
 内視鏡12の先端部24は、照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41から第1,第2青色レーザ光が入射する。蛍光体44は、第1または第2青色レーザ光が照射されることで蛍光を発する。また、一部の第1または第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して観察対象に照射される。
 通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すスペクトルの通常光が観察対象に照射される。この通常光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色~赤色の第2蛍光とから構成される。したがって、通常光は、波長範囲が可視光全域に及んでいる。
 一方、生体情報測定モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44に交互に入射することにより、図4に示すスペクトルの測定光と通常光が交互に観察対象に照射される。測定光は、酸素飽和度を測定するために用いられ、第1青色レーザ光と、この第1青色レーザ光により蛍光体44から励起発光する緑色~赤色の第1蛍光とから構成される。したがって、測定光は、波長範囲が可視光全域に及んでいる。通常光は、通常観察モード時に照射される通常光と同様である。
 第1蛍光と第2蛍光は、波形(スペクトルの形状)がほぼ同じであり、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比(以下、フレーム間強度比という)は、何れの波長λにおいても同じである。例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2)である。このフレーム間強度比I2(λ)/I1(λ)は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。
 なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色~赤色に励起発光する複数種類の蛍光体(例えばYAG系蛍光体、あるいはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。また、本実施形態のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の測定光及び通常光が得られる。また、各白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
 図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズームレンズ47、センサ48を有している(図2参照)。観察対象からの反射光は、撮像レンズ46及びズームレンズ47を介してセンサ48に入射する。これにより、センサ48に観察対象の反射像が結像される。ズームレンズ47は、ズーム操作部22cを操作することでテレ端とワイド端との間を移動する。ズームレンズ47がテレ端とワイド端との間で移動することにより、観察対象の反射像が拡大又は縮小する。
 センサ48は、カラーの撮像素子であり、観察対象の反射像を撮像して画像信号を出力する。センサ48は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサである。また、センサ48は、撮像面にRGBカラーフィルタが設けられたRGB画素を有しており、RGBの各色の画素で光電変換をすることによってR,G,Bの三色の画像信号を出力する。
 図5に示すように、Bカラーフィルタは380~560nmの分光透過率を有しており、Gカラーフィルタは450~630nmの分光透過率を有しており、Rカラーフィルタ580~760nmの分光透過率を有している。したがって、通常観察モード時に通常光が観察対象に照射された場合には、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。但し、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいのでB画素から出力するB画像信号の大部分は第2青色レーザ光の反射光成分で占められている。
 一方、生体情報測定モード時に測定光が観察対象に照射された場合には、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部が入射し、R画素には第1蛍光の赤色成分が入射する。但し、第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画像信号の大部分は第1青色レーザ光の反射光成分で占められている。なお、生体情報測定モード時に通常光が観察対象に照射されたときのRGB各画素での光入射成分は、通常観察モードの場合と同様である。
 なお、センサ48としては、撮像面にC(シアン),M(マゼンタ),Y(イエロー)及びG(グリーン)の補色フィルタを備えた、いわゆる補色イメージセンサを用いても良い。センサ48として補色イメージセンサを用いる場合は、CMYGの四色の画像信号からRGBの三色の画像信号に色変換する色変換部を、内視鏡12、光源装置14またはプロセッサ装置16のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、CMYGの4色の画像信号から色変換によってRGB3色の画像信号を得ることができる。
 撮像制御部49はセンサ48の撮像制御を行う。図6に示すように、通常観察モード時には、1フレームの期間毎に、通常光で照明された観察対象をセンサ48で撮像する。これにより、1フレーム毎にセンサ48からRGBの各画像信号が出力される。
 撮像制御部49は、生体情報測定モード時も、通常観察モード時と同様にしてセンサ48の撮像制御を行う。但し、生体情報測定モード下ではセンサ48の撮像のフレームに同期して測定光と通常光が交互に観察対象に照射されるので、図7に示すように、センサ48は、1フレーム目に測定光で観察対象を撮像し、次の2フレーム目では通常光で観察対象を撮像する。センサ48は、1フレーム目,2フレーム目ともRGBの各色の画像信号を出力するが、依拠する白色光のスペクトルが異なるので、以下では区別のために、1フレーム目に測定光で撮像して得られるRGB各色の画像信号をそれぞれR1画像信号,G1画像信号,B1画像信号といい、2フレーム目に通常光で撮像して得られるRGB各色の画像信号をR2画像信号,G2画像信号,B2画像信号という。
 センサ48から出力される各色の画像信号は、CDS(correlated double sampling)/AGC(automatic gain control)回路50送信される(図2参照)。CDS/AGC回路50は、センサ48から出力されるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路50を経た画像信号は、A/D変換器52によってデジタル画像信号に変換される。こうしてデジタル化された画像信号はプロセッサ装置16に入力される。
 プロセッサ装置16は、画像取得部54と、画像処理切替部60と、通常モード処理部62と、生体情報測定モード処理部64と、表示制御部66とを備えている。画像取得部54は、内視鏡12から入力される画像信号を観察対象の画像として取得する。DSP(Digital Signal Processor)56とノイズ除去部58を備えており、DSP56は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ除去部58は、DSP56で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。ノイズが除去された画像信号は、画像処理切替部60に入力される。
 画像処理切替部60は、モード切替SW22bが通常観察モードにセットされている場合には、画像信号を通常モード処理部62に入力する。一方、モード切替SW22bが生体情報測定モードに設定されている場合、画像処理切替部60は、画像信号を生体情報測定モード処理部64に入力する。
 通常モード処理部62は、入力した画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常モード用の画像処理を施す。この通常モード用の画像処理が施された画像信号は、通常観察画像として表示制御部66に入力される。
 生体情報測定モード処理部64は、入力された画像信号に基づいて、酸素飽和度を算出し、算出した酸素飽和度を画像化した酸素飽和度画像を生成する酸素飽和度処理部70と、生体情報測定モードにおいて画像生成モードが差分画像生成モードに設定されている場合には、観察対象のうち測定対象の酸素飽和度を示す測定値に対して、酸素飽和度の基準となる基準値を設定するための基準値処理部72とを備えている。酸素飽和度処理部70と基準値処理部72の詳細については後述する。なお、酸素飽和度処理部70と基準値処理部72との間は、各種情報を交換できるようにするために、双方向の通信が可能となっている。
 表示制御部66は、通常モード処理部62または生体情報測定モード処理部から入力される画像信号や各種情報などをモニタ18に表示するための制御を行う。この表示制御部66の制御に従って、モニタ18には、通常光画像や酸素飽和度画像の各種画像が表示される他、各種画像に各種情報が重畳されて表示される
 図8に示すように、酸素飽和度処理部70は、位置合わせ処理部74と、光量比補正部76と、信号比算出部78と、相関関係記憶部80と、酸素飽和度算出部82(生体情報算出部)と、酸素飽和度画像生成部83(生体情報画像生成部)と、測定領域設定部84と、測定値算出部85とを備えている。
 位置合わせ処理部74は、酸素飽和度処理部70に入力される2フレーム分の画像信号のうち、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号の位置合わせ処理を行う。このように位置合わせ処理を行うのは、観察対象や内視鏡12に動きが生ずることで、フレーム間で位置ズレが発生することがあるためである。具体的には、1フレーム目のB1画像信号を2フレーム目のG2画像信号、R2画像信号に位置合わせする。位置合わせ処理は、1フレーム目のB1画像信号と2フレーム目のB2画像信号とを比較して、観察対象の移動量を算出する。算出した観察対象の移動量に基づいて、B1画像信号に含まれる観察対象を移動させる。これにより、位置合わせ処理が完了する。なお、1フレーム目のB1画像信号と2フレーム目のB2画像信号から移動量を算出するのは、それらB1画像信号とB2画像信号に含まれる波長成分が同じであり、同じような観察対象が写り込んでいるため、移動量の算出を正確に行えるためである。
 光量比補正部76は、フレーム間での光量比の変動に合わせて、B1画像信号、G2画像信号、R2画像信号に対して、光量比補正処理を行う。光量比補正処理では、フレーム間の光量比の変動を反映している画像信号は、R1画像信号とR2画像信号であるため、これらR1画像信号とR2画像信号から光量比補正係数Ck(R2画像信号の平均値/R1画像信号の平均値)を算出する。そして、下記式により、G2画像信号、R2画像信号の光量比補正処理を行うことにより、光量比補正処理済みのG2画像信号とR2画像信号を得る。なお、係数kは、光源制御部40による光量制御が理想的に動作している場合に得られるR2画像信号の平均値/R1画像信号の平均値を表している。
式)光量比補正処理済みのG2画像信号=G2画像信号/Ck×k
  光量比補正処理済みのR2画像信号=R2画像信号/Ck×k
 信号比算出部78には、位置合わせ処理及び光量比補正処理済みの2フレーム分の画像信号のうち、B1画像信号、G2画像信号、R2画像信号が入力される。信号比算出部78は、B1画像信号とG2画像信号の信号比B1/G2と、G2画像信号とR2画像信号の信号比R2/G2とを、画素毎に算出する。
 相関関係記憶部80は、信号比B1/G2及び信号比R2/G2と、酸素飽和度の相関関係を記憶している。この相関関係は、図9に示す二次元空間上に酸素飽和度の等値線を定義した2次元テーブルで記憶されている。信号比B1/G2及び信号比R2/G2に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られ、各等値線の間隔は、血液量(信号比R2/G2)に応じて変化する。なお、信号比B1/G2及び信号比R2/G2と、酸素飽和度との相関関係はlogスケールで記憶されている。
 なお、上記相関関係は、図10に示すように、酸化ヘモグロビン(グラフ86)や還元ヘモグロビン(グラフ87)の吸光特性や光散乱特性と密接に関連し合っている。例えば、第1青色レーザ光の中心波長473nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長では、酸素飽和度の情報を取り扱いやすい。しかしながら、473nmの光に対応する信号を含むB1画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、B1画像信号に加え、主として血液量に依存して変化する光に対応するR2画像信号と、B1画像信号とR2画像信号のリファレンス信号となるG2画像信号から得られる信号比B1/G2及びR2/G2を用いることで血液量に依存することなく、酸素飽和度を正確に求めることができる。
 酸素飽和度算出部82は、相関関係記憶部80に記憶された相関関係を参照し、信号比算出部78で算出された信号比B1/G2及び信号比R2/G2に対応する酸素飽和度を画素毎に算出する。例えば、特定画素における信号比B1/G2及び信号比R2/G2がそれぞれB1*/G2*及びR2*/G2*である場合、図11に示すように、相関関係を参照すると、信号比B1*/G2*及び信号比R2*/G2*に対応する酸素飽和度は「60%」である。したがって、酸素飽和度算出部82は、この画素の酸素飽和度を「60%」と算出する。
 なお、信号比B1/G2及び信号比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B1/G2や信号比R2/G2の値が、酸素飽和度0%の下限ライン88を上回ったり、反対に酸素飽和度100%の上限ライン89を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限ライン88を下回ってしまった場合には酸素飽和度算出部82は酸素飽和度を0%とし、上限ライン89を上回ってしまった場合には酸素飽和度を100%とする。また、信号比B1/G2及び信号比R2/G2に対応する点が下限ライン88と上限ライン89の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしても良い。
 酸素飽和度画像生成部83は、酸素飽和度算出部82で算出された酸素飽和度のデータと、B2画像信号、G2画像信号、R2画像信号を用いて、生体情報画像として、酸素飽和度を画像化した酸素飽和度画像を生成する。生成した酸素飽和度画像は表示制御部66に送信され、また、キャプチャー指示があった場合には、酸素飽和度画像が画像保存部73(図2参照)に保存される。なお、酸素飽和度画像を画像保存部73に保存する場合には、酸素飽和度の数値データも合わせて保存することが好ましい。この場合、酸素飽和度の数値データ全体を保存すると膨大なデータ量になるため、酸素飽和度の代表値(例えば、平均値、最大値、最小値、中央値)などを保存することが好ましい。また、酸素飽和度画像だけでなく、通常光画像についても、キャプチャー指示に従って、画像保存部73に保存することが好ましい。
 酸素飽和度画像生成部83には、疑似カラー画像生成モード、合成画像生成モード、差分画像生成モードの3種類の画像生成モードが設けられている。疑似カラー画像生成モードでは、酸素飽和度のデータに対応する疑似カラーで酸素飽和度を画像化した疑似カラー画像を生成する。合成画像生成モードでは、通常光画像において酸素飽和度が一定値以下の低酸素領域において、酸素飽和度に対応する疑似カラーで酸素飽和度を画像化した合成画像を生成する。差分画像生成モードでは、測定対象の酸素飽和度を示す測定値と、この測定値に対して基準となる酸素飽和度の基準値との差分値に対応する疑似カラーによって、酸素飽和度を画像化した差分画像を生成する。なお、上記3種類の画像生成モードは、ユーザーインターフェース20によって、適宜、切り替えることが可能である。また、差分画像生成モードに設定されている場合の酸素飽和度画像生成部が、本発明の「差分画像生成部」に対応する。
 疑似カラー画像生成モードでは、輝度信号Yと色差信号Cr、Cbを有する疑似カラー画像を生成する。疑似カラー画像の輝度信号Yには、血管など観察対象の構造の視認性が高くなっているG2画像信号を割り当てる。一方、色差信号Cr、Cbについては、酸素飽和度との対応関係を記憶した疑似カラー画像用カラーテーブル(図示しない)が用いられる。したがって、疑似カラー画像用カラーテーブルを参照して、色差信号Cr、Cbには、酸素飽和度に対応する信号値がそれぞれ割り当てられる。例えば、疑似カラー画像用カラーテーブルにおいて、酸素飽和度が高い場合にはCrの信号値をCbよりも高くすることで、赤みが強くなるようにする。一方、酸素飽和度が低い場合にはCbの信号値をCrよりも高くすることで、青みが強くなるようにする。
 合成画像生成モードでは、B2画像信号,G2画像信号,R2画像信号に対して、酸素飽和度に応じたゲインを画素毎に施し、ゲインを施したB2画像信号,G2画像信号,R2画像信号によって、合成画像を生成する。例えば、酸素飽和度が60%以上の高酸素領域の画素ではB2画像信号,G2画像信号,R2画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の低酸素領域の画素では、B2画像信号に対して「1」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「1」以上のゲインを乗じる。これにより、高酸素領域では通常光画像と同様の色で表される一方、低酸素領域では酸素飽和度に応じた疑似カラーで表される合成画像が得られる。
 差分画像生成モードでは、酸素飽和度算出部82において算出された酸素飽和度を測定値とし、その測定値と基準値処理部72で設定された基準値との差分値から、差分画像を生成する。差分画像については、各画素における測定値と基準値との差分値の代表値(例えば、平均値、最大値、最小値)を数値として表示するようにしてもよい。また、差分画像については、例えば、図12に示すように、各画素における酸素飽和度の測定値と基準値との差分値に応じた疑似カラーで表示する疑似カラーの差分画像としてもよい。また、差分画像については、図13に示すように、各画素における酸素飽和度の測定値と基準値との差分値に対応する等高線で表示する等高線の差分画像としてもよい。この等高線の差分画像では、等高線X1は基準値との差分値が「-20%」であることを、等高線X2は基準値との差分値が「-40%」であることを、等高線X3は基準値との差分値が「-50%」であることを示している。なお、差分値は、測定値-基準値とすることが好ましい。例えば、測定値が「60%」で、基準値が「80%」の場合には、差分値は「-20%」となる。
 また、図14に示すように、測定領域設定部84において、後述する基準値算出領域RSとは別の領域に、測定対象の領域を測定対象領域RMとして設定し、測定値算出部85において、測定対象領域に含まれる酸素飽和度の代表値(例えば、平均値、最大値、最小値等)と基準値との差分値を算出する。そして、算出した差分値を数値等で表示した画像を、測定対象領域の差分画像としてもよい。測定対象領域の差分画像では、測定対象領域RMの差分値は「-30%」であることを示している。なお、測定対象領域RMは、基準値算出領域RSを設定した画像と同じ画像内で設定してもよく、基準値算出領域RSを設定した画像と異なるタイミングで得られた画像内で設定してもよい。また、基準値算出領域RS又は測定対象領域RMについては、それら領域を設定した画像と異なるタイミングで得られた画像において、領域の位置を追従するようにすることが好ましい。
 測定対象領域の差分画像では、ユーザーインターフェース20によって、測定対象領域RMの設定が可能である。また、測定対象領域RMは複数設定可能であり、測定対象領域RMを増やす場合には、図15に示すように、画面右側の「+」ボタン90をポインタPtでクリックすると、画面内に測定対象領域RMが追加される。この追加された測定対象領域RMを測定対象にまで動かすことで、測定対象領域RMが設定される。一方、測定対象領域RMを減らす場合には、画面右側の「-」ボタン91をポインタPtでクリックすると、画面内から測定対象領域RMが削除される。
 図16に示すように、基準値処理部72は、基準値算出領域設定部92と、信頼度算出部94と、領域適正判定部95と、第1基準値算出部96と、エラー発生部97と、領域設定禁止制御部98とを備えている。生体情報測定モードでは、画像生成モードとして、差分画像生成モードに設定されている場合には、図17Aに示すように、基準値の算出対象となる基準値算出領域RSを設定するための基準値算出領域設定用画像をモニタ18に表示するとともに、基準値算出領域設定部92を起動し、ユーザーに対して基準値算出領域RSを設定するように促す。基準値算出領域設定用画像では、基準値算出領域RSの候補となる基準値算出候補領域CRSが表示される。ユーザーは、ユーザーインターフェース20によって、観察対象のうち基準対象としたい領域にまで、基準値算出候補領域CRSを動かす。基準値算出候補領域CRSが基準対象に到達したら、ユーザーインターフェース20によって、領域確定処理を行う。これにより、基準値算出領域RSの設定が完了する。
 なお、基準値算出領域設定用画像は、観察画像の一つである通常光画像の他、生体情報画像である疑似カラー画像や合成画像でもよい。また、基準値算出領域設定用画像として、それら通常光画像、疑似カラー画像、及び合成画像のうち2以上を並列して表示した場合には、いずれかの画像で基準値算出領域RSを設定した場合には、その他の画像にも連動して基準値算出領域RSを表示するようにしてもよい。また、基準値算出領域RSの形状は、矩形の他、円、楕円等、又は、ユーザーインターフェース20によるフリーハンドに基づく形状であってもよい。また、基準値算出領域RSの大きさは、例えば、ユーザーインターフェース20のうちマウスを長押しすることによって、領域を拡大又は縮小できるようにすることが好ましい。
 また、基準値算出領域設定部92は、後述する信頼度を用いて、ユーザーを介することなく、自動的に基準値算出領域RSを設定するようにしてもよい。例えば、信頼度が「1」の領域については、基準値算出領域設定部92によって、基準値算出領域RSを自動的に設定するようにする。
 また、特定タイミングで得られた画像において、基準値算出領域RSを設定した場合であっても、その特定タイミングと異なるタイミングで得られた画像に対しても基準値算出領域RSを設定してもよい。この場合には、時間的に最新の基準地算出領域RSが採用される。また、異なるタイミングで得られる複数の画像において基準値算出領域RSを設定する場合には、設定した基準値算出領域RSの画像については、モニタ18上の特定位置に、サムネイルを表示するようにしてもよい。また、1フレームの基準値算出領域設定用画像において、基準値算出領域RSを複数設定した場合には、複数の基準値算出領域RSのうち後述する信頼度が最も高い基準値算出領域RSを採用することが好ましい。
 また、基準値算出領域RSの設定は、内視鏡12の体腔内への挿入中に得られる画像に対して行うことが好ましい。この場合には、基準値算出領域RSは、観察対象のうち正常部に設定する(デフォルトの領域とすることが好ましい)。正常部を設定する方法としては、図17Bに示すように、画面中央に正常部設定用領域を設け、正常部が正常部設定用領域に入るように、内視鏡12を操作する。正常部が正常部設定用領域に入ったら、ユーザーインターフェース20を操作することにより、その正常部を含む領域を基準値算出領域RSとして確定する。この基準地算出領域RSについても、後述と同様の手順によって、基準値が算出される。なお、後述の信頼度算出部94において、正常部らしさの信頼度を算出することが好ましい。この場合、正常部らしさの信頼度に基づいて酸素飽和度を算出し、算出した酸素飽和度に基づいて基準値を設定するようにしてもよい。
 信頼度算出部94は、酸素飽和度に関する信頼度を算出する。信頼度は、例えば、「0」~「1」の間の数値で表し、数値が大きいほど、信頼度が高いとすることが好ましい。信頼度としては、例えば、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号のいずれもが適正画素値の範囲内に入っている場合には、信頼度を「1」とすることが好ましい。これに対して、B1画像信号、G2画像信号、R2画像信号のうちのいずれかの画素値が適正画素値の範囲外となる場合(下限値を下回るような場合や上限値を上回るような場合)には、信頼度を「0」とすることが好ましい。また、B1画像信号、G2画像信号、R2画像信号のうちのいずれかの画素値が適正画素値の範囲外となった場合には、画素値の大きさに合わせて、信頼度を徐々に「0」に近づけていくことが好ましい。また、生体情報測定モード時に得られる画像信号のいずれかに基づいて得られる生体情報測定モード時の演算値が、黄色色素など残渣や残液が存在することを示している場合には、その領域の信頼度を低くすること(例えば、信頼度を「1」よりも小さくし、残渣、残液の量が大きくなる程、信頼度を低くする)が好ましい。また、生体情報測定モード時の演算値が深層血管の存在を示している場合には、信頼度を変化させることが好ましい。また、
 領域適正判定部95は、基準値算出領域設定部92において基準値算出領域RSの設定が行われた場合、基準値算出領域RSに含まれる信頼度に基づいて、設定された基準値算出領域RSにおいて基準値の設定を適正に行えるか否かの判定を行う。具体的には、基準値算出領域RSに含まれる信頼度の代表値(例えば、平均値、最大値、最小値)が領域判定用閾値以上の場合には、基準値算出領域RSにおいて基準値の設定を適正に行えると判定する。この場合には、第1基準値算出部96において、基準値算出領域RSに含まれる酸素飽和度から、基準値の算出を行う。
 第1基準値算出部96は、基準値の算出方法としては、基準値算出領域RSに含まれる酸素飽和度の代表値(例えば、平均値、最大値、最小値)を基準値として算出することが好ましい。また、第1基準値算出部96では、基準値算出領域RSに含まれる酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算することによって、基準値を算出するようにしてもよい。例えば、図18に示すように、基準値算出領域RSのうち、内側の領域RSIについては信頼度に基づく重み付け係数を「1」とし、外側の領域RSOについては信頼度に基づく重み付け係数を「0」とした場合には、内側の領域RSIに含まれる酸素飽和度に対して「1」を掛け合わせた値と、外側の領域RSOに含まれる酸素飽和度に対して「0」を掛け合わせた値を加算したものが基準値となる。
 一方、基準値算出領域RSに含まれる信頼度の代表値(例えば、平均値、最大値、最小値)が領域判定用閾値を下回る場合には、基準値算出領域RSにおいて基準値の設定が適正に行えないと判定する。この場合には、エラー発生部97が、基準値算出領域RSにおいて基準値の設定を適正に行えないことを報知するためのエラー情報を表示制御部66に送信する。表示制御部66は、エラー情報に従って、図19に示すように、基準値算出領域RSとともに、エラー情報をモニタ18に表示する制御を行う。これに従って、ユーザーは、ユーザーインターフェース20によって、基準値算出領域RSを再設定する。
 なお、基準値算出領域RSを設定する前に信頼度を算出した場合には、領域設定禁止制御部98によって、信頼度が第1信頼度用閾値を下回る低信頼度領域を設定し、低信頼度領域については基準値算出領域RSの設定を禁止する制御を行うようにしてもよい。ユーザーが、低信頼度領域において基準値算出領域RSの設定を行おうとした場合には、設定禁止である旨のアラートを行うようにすることが好ましい。なお、図20に示すように、
基準値算出領域設定用画像において低信頼度領域を重畳表示することで、ユーザーは、低信頼度領域を避けて、基準値算出領域RSを設定することができるようになる。
 [第2実施形態]
 第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第2実施形態では、酸素飽和度算出部82で算出された各画素の酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値を算出する。
 第2実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部110が用いられる。それ以外については、第1実施形態とほぼ同様である。基準値処理部110は、図21に示すように、信頼度算出部111と、第2基準値算出部112と、高信頼度領域設定部114と、第1基準候補値算出部116と、第1基準値選択部118とを備えている。信頼度算出部111は、第1実施形態の信頼度算出部94と同様である。
 第2基準値算出部112は、信頼度算出部111で算出した信頼度に基づいて、信頼度に基づく重み付け係数の設定を行う。例えば、信頼度と重み付け係数とは同じでも良い(即ち、信頼度が「1」の場合は重み付け係数を「1」とし、信頼度が「0」の場合は重み付け係数を「0」とする)。また、信頼度に対する閾値として第2信頼度用閾値を予め定めておき、信頼度が第2信頼度用閾値以上の場合に、重み付け係数を「1」とし、信頼度が第2信頼度用閾値を下回る場合に、重み付け係数を「0」としてもよい。そして、第2基準値算出部112は、図22に示すように、酸素飽和度算出部82で算出された各画素の酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値が算出される。
 なお、互いに異なる第2信頼度用閾値を複数設定する場合には、高信頼度領域設定部114において、信頼度が各第2信頼度用閾値以上となる高信頼度領域を複数設定する。高信頼度領域を設定した場合には、第1基準候補値算出部116において、各高信頼度領域に含まれる酸素飽和度から、各高信頼度領域に対応する基準候補値を算出する。これら高信頼度領域と基準候補値はそれぞれ、表示制御部66に送られる。表示制御部66は、図23に示すように、各高信頼度領域と基準候補値をモニタ18に表示する制御を行う。図23では、基準値選択用画像(基準値算出領域設定用画像と同じであることが好ましい)において、3つの高信頼度領域が表示され、且つ、各高信頼度領域に対応する基準候補値が「80%」、「90%」、「85%」と表示されている。
 ユーザーは、モニタ18に表示されている各高信頼度領域内の基準候補値の中から、適正と考える基準候補値を選択する。基準候補値の選択は、ユーザーインターフェース20により行われる。図24に示すように、ユーザーが、ユーザーインターフェース20によってポインタPt操作して、例えば、基準候補値「80%」を選択した場合には、第1基準値選択部118は、3つの基準候補値の中から、基準候補値「80%」を基準値として選択する。
 [第3実施形態]
 第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第3実施形態では、酸素飽和度算出部82で算出された各画素の酸素飽和度から酸素飽和度の頻度分布を算出し、酸素飽和度の頻度分布から基準値を算出するようにする。
 第3実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部130が用いられる。それ以外については、第1実施形態とほぼ同様である。基準値処理部130は、図25に示すように、生体情報頻度分布算出部132と、第3基準値算出部134と、第1領域除外分布設定部136と、第2基準候補値算出部138と、第2基準値選択部140とを備えている。
 生体情報頻度分布算出部132は、図26に示すように、酸素飽和度算出部82で算出された各画素の酸素飽和度から、酸素飽和度の頻度分布を算出する。この酸素飽和度の頻度分布では、酸素飽和度が極めて低い分布領域Rlow(第1分布領域)において一定の頻度を有している。これは、観察対象の実際の酸素飽和度を示しているものではなく、観察条件の影響を受けて、酸素飽和度の算出に用いる画像信号の画素値が異常値を示していることに基づくものであると考えられる。そのため、分布領域Rlowに含まれる酸素飽和度は、算出精度が低く、適正値でないと考えられる。即ち、酸素飽和度については、それ自体が酸素飽和度の信頼度を図る指標として用いることができることから、適正な基準値を算出するためには、第1領域除外分布設定部136は、酸素飽和度の頻度分布から、領域Rlowの分布を除外することによって、第1領域除外分布を得る。そして、第3基準値算出部134は、第1領域除外分布に含まれる酸素飽和度の代表値(例えば、平均値、最大値、最小値など)を求めることによって、基準値を算出する。なお、酸素飽和度の頻度分布から除外する領域としては、分布領域Rlowの他、酸素飽和度が極めて高い分布領域Rhigh(第1分布領域)としてもよい。
 なお、複数の分布領域を除外する場合には、図27に示すように、第1領域除外分布設定部136において、各分布領域を除外した第1領域除外分布を複数設定する。図27では、酸素飽和度の頻度分布から分布領域Rlowのみを除外した第1領域除外分布142と、酸素飽和度の頻度分布から分布領域Rhighのみを除外した第1領域除外分布144と、酸素飽和度の頻度分布から分布領域Rlow及び分布領域Rhighを除外した第1領域除外分布146が設定されている。そして、第2基準候補値算出部138は、各第1領域除外分布142,144,146に含まれる酸素飽和度から、それぞれ基準候補値を算出する。算出された複数の基準候補値は、表示制御部66に送られる。表示制御部66は、基準値選択用画像において、複数の基準候補値をモニタ18に表示する。ここでは、基準候補値として、「80%」、「90%」、「85%」が表示される。
 ユーザーは、モニタ18に表示されている基準候補値の中から、適正と考える基準候補値を選択する。基準候補値の選択は、ユーザーインターフェース20により行われる。図28に示すように、ユーザーが、ユーザーインターフェース20によってポインタPt操作して、例えば、基準候補値「80%」を選択した場合には、第2基準値選択部140は、3つの基準候補値の中から、基準候補値「80%」を基準値として選択する。
 [第4実施形態]
 第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第4実施形態では、酸素飽和度の算出に用いる信号比(演算値)から酸素飽和度の頻度分布を算出し、酸素飽和度の頻度分布から基準値を算出するようにする。なお、信号比は、異なる画像信号間(例えば、B1画像信号とG2画像信号、又はG2画像信号とR2画像信号)の演算処理によって得られることから、演算値に相当する。
 第4実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部150が用いられる。それ以外については、第1実施形態とほぼ同様である。基準値処理部150は、図29に示すように、演算値頻度分布算出部152と、第4基準値算出部154と、第2領域除外分布設定部156と、第3基準候補値算出部158と、第3基準値選択部160とを備えている。
 演算値頻度分布算出部152は、図30に示すように、信号比算出部78で得られた信号比、例えばB1/G2から、信号比B1/G2の頻度分布を算出する。この信号比B1/G2の頻度分布では、信号値B1/G2が極めて低い分布領域Rlowにおいて一定の頻度を有している。これは、観察条件の影響を受けて、酸素飽和度の算出に用いる画像信号の画素値が異常値を示していることに基づくものであると考えられる。そのため、分布領域Rlowに含まれる信号比B1/G2は、酸素飽和度の算出精度が低く、適正値でないと考えられる。なお、演算値頻度分布算出部152では、信号比B1/G2に代えて又は加えて、信号比R2/G2の頻度分布を算出するようにしてもよい。
 したがって、信号比B1/G2については、酸素飽和度の信頼度を図る指標として用いることができる。そこで、信号比B1/G2が、低信頼度の酸素飽和度の算出に用いた特定信号比(特定演算値)である場合には、第2領域除外分布設定部156は、信号比B1/G2の頻度分布から、特定信号比を有する第2分布領域の一つである分布領域Rlowの分布を除外することによって、第2領域除外分布を得る。そして、第4基準値算出部154は、第2領域除外分布に含まれる信号比B1/G2の代表値(例えば、平均値、最大値、最小値など)を求める。この信号比B1/G2の代表値と信号比R2/G2に基づいて、酸素飽和度算出部82により酸素飽和度を算出する。この算出した酸素飽和度を基準値として算出する。なお、第2分布領域については、分布領域Rlowの他、信号比B1/G2が極めて高い分布領域Rhighとしてもよい。
 なお、複数の分布領域を除外する場合には、図31に示すように、第2領域除外分布設定部156において、各分布領域を除外した第2領域除外分布を複数設定する。図31では、信号比B1/G2の頻度分布から分布領域Rlowのみを除外した第2領域除外分布162と、信号比B1/G2の頻度分布から分布領域Rhighのみを除外した第2領域除外分布164と、信号比B1/G2の頻度分布から分布領域Rlow及び分布領域Rhighを除外した第2領域除外分布166が設定されている。そして、第3基準候補値算出部158は、各第2領域除外分布162,164,166に含まれる信号比B1/G2の代表値から、それぞれ酸素飽和度を算出する。これら第2領域除外分布162,164,166に対応する酸素飽和度を基準候補値として算出する。算出された複数の基準候補値は、表示制御部66に送られる。表示制御部66は、基準値選択用画像において、複数の基準候補値をモニタ18に表示する。ここでは、基準候補値として、「80%」、「90%」、「85%」が表示される。
 ユーザーは、モニタ18に表示されている基準候補値の中から、適正と考える基準候補値を選択する。基準候補値の選択は、ユーザーインターフェース20により行われる。ユーザーが、ユーザーインターフェース20によってポインタPt操作して、例えば、基準候補値「80%」を選択した場合には、第3基準値選択部160は、3つの基準候補値の中から、基準候補値「80%」を基準値として選択する(図28参照)。
 なお、第4実施形態では、信号比の頻度分布として、信号比B1/G2の頻度分布を算出しているが、分母分子で波長成分を揃えた信号比B1/(a×B2+b×G2)の頻度分布を算出するようにしてもよい。信号比B1/G2は、分母と分子で波長成分が異なっているため、適切に酸素飽和度を算出することができない場合がある。そこで、信号比B1/(a×B2+b×G2)(a、bは分母用の重み付け係数)においては、分子はB1画像信号そのままで、分母を、短波の成分を有する「B2画像信号」を重み付けして、G2画像信号に加算したものとすることで、分母と分子で波長成分を揃えることができる。これにより、適切に酸素飽和度を算出することができるようになる。
 [第5実施形態]
 第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第5実施形態では、ユーザーによって、適宜、基準値を設定できるようにする。
 第5実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部180が用いられる。基準値処理部180には、図32に示すように、ユーザー設定部182が設けられている。ユーザーインターフェース20によって、基準値ユーザー設定モードにセットされた場合には、表示制御部66は、図33に示すように、基準値を入力するための基準値入力画面184をモニタ18に表示する制御を行う。ユーザーは、ユーザーインターフェース20によって、入力画面に数値(例えば、酸素飽和度の「80%」)を入力する。数値を入力して特定時間経過したら、ユーザー設定部182は、入力された数値を基準値として設定する。設定された基準値は、後述の信頼度算出部183において算出される信頼度によって、適宜調整される。信頼度が正常の場合には、設定された基準値をそのまま用い、信頼度が異常の場合には、信頼度に応じて、設定された基準値を調整する。
 信頼度算出部183は、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号の平均画素値を算出し、平均画素値に応じて、信頼度を算出する。B1画像信号、G2画像信号、R2画像信号のいずれもが適正画素値の範囲内に入っている場合には、信頼度を正常とすることが好ましい。また、B1画像信号、G2画像信号、R2画像信号のいずれかが適正画素値の範囲から外れている場合には、信頼度を異常とする。信頼度が異常である場合には、信頼度を正常にするための補正係数を、設定された基準値に掛け合わせることによって、基準値の調整を行う。
 なお、数値そのものを入力する基準値入力画面184に代えて、図34に示すように、数値を段階的に増減させる基準値入力画面186を用いてもよい。この基準値入力画面186には、特定数値刻みで数値を増加させる「+」ボタン187と、特定数値刻みで数値を減少させる「-」ボタン188が設けられている。ユーザーは、ユーザーインターフェース20によって移動可能なポインタPtによって、「+」ボタン187と「-」ボタン188を操作することにより、特定値にセットする。特定値にセットして特定時間経過したら、ユーザー設定部182は、セットされた特定値を基準値として確定する。
 また、数値を段階的に増減させる方法としては、基準値入力画面186を用いる他に、図35に示すように、「0%」~「100%」の範囲で数値が割り当てられたスライドバー190と、このスライドバー上で移動可能なスライダ192が設けられた基準値入力画面194を用いるようにしてもよい。ユーザーは、ユーザーインターフェース20によって移動可能なポインタPtによって、スライドバー190のうちセットしたい数値が割り当てられた部分に、スライダ192を移動させる。スライダ192がセットしたい数値の部分にセットされて特定時間経過したら、ユーザー設定部182は、スライドバー190のうちスライダ192が位置する部分の数値を基準値として確定する。
 なお、ユーザーによる基準値の設定方法としては、内視鏡の操作部に、基準値設定用のボタン(図示しない)を設け、この基準地設定用のボタンを押圧操作する毎に、基準値を特定値だけ増加又は減少させる方法がある。この場合には、基準値設定用のボタンを長押しすることで、基準値を連続的に増加又は減少させるようにしてもよい。
 なお、上記実施形態において、光源装置14と異なる光源装置を用いるようにしてもよい。内視鏡システム300の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、図36に示すように、LED(Light Emitting Diode)光源ユニット301と、LED光源制御部304が設けられている。また、内視鏡システム300の照明光学系24aには蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
 LED光源ユニット301は、特定の波長帯域に制限された光を発光する光源として、R-LED301a,G-LED301b,B-LED301cを有する。図37に示すように、R-LED301aは、600~720nmの赤色領域の赤色帯域光(以下、単に赤色光という)し、G-LED301bは、480~620nmの緑色領域の緑色帯域光(以下、単に緑色光)を発光する。また、B-LED301cは、400~500nmの青色領域の青色帯域光(以下、単に青色光という)を発光する。
 また、LED光源ユニット301は、B-LED301cが発する青色光の光路上に挿抜されるハイパスフィルタ(HPF)302を有する。ハイパスフィルタ302は、450nm以下の波長帯域の青色光をカットし、450nmより長波長帯域の光を透過する。
 ハイパスフィルタ302のカットオフ波長(450nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい波長であり(図10参照)、この波長を境に酸化ヘモグロビンと還元ヘモグロビンの吸光係数が逆転する。本実施形態の場合、相関関係記憶部80に記憶された相関関係は、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数よりも大きい場合のものなので、カットオフ波長以下の波長帯域に基づくシグナルは、信号比B1/G2が473nmで測定する本来の値よりも低下し、不正確な酸素飽和度が算出される原因になる。このため、ハイパスフィルタ302は、酸素飽和度を算出するためのB1画像信号を取得する時に、カットオフ波長以下の波長帯域の光が観察対象に照射されないようにする。
 したがって、ハイパスフィルタ302は、生体情報測定モード時にB-LED301cの前に挿入され、通常観察モード時には退避位置に退避される。ハイパスフィルタ302の挿抜は、LED光源制御部304の制御の下、HPF挿抜部303によって行われる。
 LED光源制御部304は、LED光源ユニット301の各LED301a~301cの点灯/消灯、及びハイパスフィルタ302の挿抜を制御する。具体的には、図38に示すように、通常観察モードの場合、LED光源制御部304は、各LED301a~301cを全て点灯させ、ハイパスフィルタ302はB-LED301cの光路上から退避させる。
 一方、図39に示すように、生体情報測定モードの場合、LED光源制御部304は、ハイパスフィルタ302をB-LED301cの光路上に挿入する。そして、1フレーム目は、B-LED301cを点灯させ、R-LED301a及びG-LED301bを消灯させることにより、450nm以下の波長帯域がカットされた青色光を観察対象に照射させる。そして、2フレーム目は、R-LED301a、G-LED301b、B-LED301cを全て点灯させ、B-LED301cが発する青色光のうち450nm以下の波長帯域がカットされた青色光と、R-LED301aが発する赤色光と、G-LED301bが発する緑色光からなる白色光を観察対象に照射させる。これにより、センサ48は、1フレーム目には、B1画像信号を出力し、2フレーム目にはR2画像信号,G2画像信号,B2画像信号をそれぞれ出力する。したがって、その後の処理は第1実施形態の内視鏡システム10と同様に行うことができる。
 なお、第7実施形態では、生体情報測定モード時の1フレーム目、2フレーム目ともハイパスフィルタ402を挿入したまま観察対象を撮像しているが、1フレーム目だけハイパスフィルタ402を挿入し、2フレーム目にはハイパスフィルタ402を退避させても良い。また、生体情報測定モード時の1フレーム目では、B-LED301cだけを点灯させ、青色光だけを観察対象に照射しているが、1フレーム目でもR-LED301a及びG-LED301bを点灯させ、R1画像信号及びG1画像信号をセンサ48に出力させても良い。
 図40に示すように、内視鏡システム400の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、広帯域光源401と、回転フィルタ402と、回転フィルタ制御部403が設けられている。また、内視鏡システム400のセンサ405は、カラーフィルタが設けられていないモノクロの撮像素子である。それ以外については、第1実施形態の内視鏡システム10と同じである。
 広帯域光源401は、例えばキセノンランプ、白色LED等からなり、波長帯域が青色から赤色に及ぶ白色光を発する。回転フィルタ402は、通常観察モード用フィルタ410と生体情報測定モード用フィルタ411とを備えており(図41参照)、広帯域光源401から発せられる白色光がライトガイド41に入射される光路上に、通常観察モード用フィルタ410を配置する通常観察モード用の第1位置と、生体情報測定モード用フィルタ411を配置する生体情報測定モード用の第2位置との間で径方向に移動可能である。この第1位置と第2位置への回転フィルタ402の相互移動は、選択された観察モードに応じて回転フィルタ制御部403によって制御される。また、回転フィルタ402は、第1位置または第2位置に配置された状態で、センサ405の撮像フレームに応じて回転する。回転フィルタ402の回転速度は、選択された観察モードに応じて回転フィルタ制御部403によって制御される。
 図41に示すように、通常観察モード用フィルタ410は、回転フィルタ402の内周部に設けられている。通常観察モード用フィルタ410は、赤色光を透過するRフィルタ410aと、緑色光を透過するGフィルタ410bと、青色光を透過するBフィルタ410cと有する。したがって、回転フィルタ402を通常光観察モード用の第1位置に配置すると、広帯域光源401からの白色光は、回転フィルタ402の回転に応じてRフィルタ410a、Gフィルタ410b、Bフィルタ410cのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光が順次照射され、センサ405は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号を順次出力する。
 また、生体情報測定モード用フィルタ411は、回転フィルタ402の外周部に設けられている。生体情報測定モード用フィルタ411は、赤色光を透過するRフィルタ411aと、緑色光を透過するGフィルタ411bと、青色光を透過するBフィルタ411cと、473±10nmの狭帯域光を透過する狭帯域フィルタ411dとを有する。したがって、回転フィルタ402を通常光観察モード用の第2位置に配置すると、広帯域光源401からの白色光は、回転フィルタ402の回転に応じてRフィルタ411a、Gフィルタ411b、Bフィルタ411c、狭帯域フィルタ411dのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光,狭帯域光(473nm)が順次照射され、センサ405は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号、及び狭帯域画像信号を順次出力する。
 生体情報測定モードで得られるR画像信号とG画像信号は、第1実施形態のR1(またはR2)画像信号とG1(またはG2)画像信号に対応する。また、生体情報測定モードで得られるB画像信号は、第1実施形態のB2画像信号に対応し、狭帯域画像信号はB1画像信号に対応する。したがって、その後の処理は第1実施形態の内視鏡システム10と同様に行うことができる。
 なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
 上記実施形態において、通常モード処理部62、生体情報測定モード処理部64、酸素飽和度処理部70、基準値処理部72、基準値処理部130、基準値処理部150、基準値処理部180といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
14 光源装置
16 プロセッサ装置
17 ユニバーサルコード
18 モニタ
20 ユーザーインターフェース
21 挿入部
22 操作部
22a アングルノブ
22b モード切替SW
22c ズーム操作部
23 湾曲部
24 先端部
24a 照明光学系
24b 撮像光学系
34 第1青色レーザ光源
36 第2青色レーザ光源
40 光源制御部
41 ライトガイド
44 蛍光体
45 照明レンズ
46 撮像レンズ
47 ズームレンズ
48 センサ
49 撮像制御部
50 CDS/AGC回路
52 A/D変換器
54 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 画像処理切替部
62 通常モード処理部
64 生体情報測定モード処理部
66 表示制御部
70 酸素飽和度処理部
72 基準値処理部
73 画像保存部
74 処理部
76 光量比補正部
78 信号比算出部
80 相関関係記憶部
82 酸素飽和度算出部
84 酸素飽和度画像生成部
86 グラフ
87 グラフ
88 下限ライン
89 上限ライン
90 「+」ボタン
91 「-」ボタン
92 基準値算出領域設定部
94 信頼度算出部
95 領域適正判定部
96 第1基準値算出部
97 エラー発生部
98 領域設定禁止制御部
110 基準値処理部
111 信頼度算出部
112 第2基準値算出部
114 高信頼度領域設定部
116 第1基準候補値算出部
118 第1基準値選択部
130 基準値処理部
132 生体情報頻度分布算出部
134 第3基準値算出部
136 第1領域除外分布設定部
138 第2基準候補値算出部
140 第2基準値選択部
142,144,146 第1領域除外分布
146 第1領域除外分布
150 基準値処理部
152 演算値頻度分布算出部
154 第4基準値算出部
156 第2領域除外分布設定部
158 第3基準候補値算出部
160 第3基準値選択部
162,164,166 第2領域除外分布
166 第2領域除外分布
180 基準値処理部
182 ユーザー設定部
184 基準値入力画面
186 基準値入力画面
187 「+」ボタン
188 「-」ボタン
190 スライドバー
192 スライダ
194 基準値入力画面
300 内視鏡システム
301 LED(Light Emitting Diode)光源ユニット
302 ハイパスフィルタ(HPF)
303 挿抜部
304 光源制御部
400 内視鏡システム
401 広帯域光源
402 ハイパスフィルタ
402 回転フィルタ
403 回転フィルタ制御部
405 センサ
410 通常観察モード用フィルタ
410a Rフィルタ
410b Gフィルタ
410c Bフィルタ
411 生体情報測定モード用フィルタ
411a Rフィルタ
411b Gフィルタ
411c Bフィルタ
411d 狭帯域フィルタ

Claims (20)

  1.  観察対象を撮像して得られる観察画像を取得する画像取得部と、
     前記観察画像に基づいて、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
     前記観察画像に基づいて、前記生体情報に関する信頼度を算出する信頼度算出部と、
     前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記信頼度を用いて前記生体情報の基準となる基準値を設定する基準値処理部と、
     前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部とを備える医療画像処理システム。
  2.  前記生体情報に基づいて、前記生体情報を画像化した生体情報画像を生成する生体情報画像生成部と、
     前記観察画像又は前記生体情報画像において、前記基準値の算出対象となる基準値算出領域を設定する基準値算出領域設定部とを備え、
     前記基準値処理部は、前記基準値算出領域に含まれる生体情報に基づいて、前記基準値を算出する第1基準値算出部を含む請求項1記載の医療画像処理システム。
  3.  前記基準値算出領域設定部は、前記信頼度に基づいて、前記基準値算出領域を自動的に設定する請求項2記載の医療画像処理システム。
  4.  前記基準値算出領域に含まれる信頼度の代表値が領域判定用閾値以上の場合には、前記基準値算出領域において基準値の設定を適正に行えると判定し、前記信頼度の代表値が前記領域判定用閾値を下回る場合には、前記基準値算出領域において基準値の設定を適正に行えないと判定する領域適正判定部と、
     前記基準値算出領域において基準値の設定が正確に行えないと判定された場合に、前記基準値の算出を正確に算出できないことを報知するエラーを発するエラー発生部とを備える請求項2記載の医療画像処理システム。
  5.  前記基準値処理部は、
     前記観察画像又は前記生体情報画像のうち、前記信頼度が第1信頼度用閾値を下回る低信頼度領域については、前記基準値算出領域の設定を禁止する領域設定禁止制御を行う領域設定禁止制御部を含む請求項2記載の医療画像処理システム。
  6.  前記低信頼度領域を表示部に表示する表示制御部を備える請求項5記載の医療画像処理システム。
  7.  前記基準値は、前記基準値算出領域に含まれる生体情報の代表値である請求項2ないし6いずれか1項記載の医療画像処理システム。
  8.  前記第1基準値算出部は、前記基準値算出領域に含まれる生体情報に対して、前記信頼度に基づく重み付け係数を掛け合わせて加算することにより、前記基準値を算出する請求項2ないし6いずれか1項記載の医療画像処理システム。
  9.  前記基準値処理部は、
     前記生体情報に対して、前記信頼度に基づく重み付け係数を掛け合わせて加算することにより、前記基準値を算出する第2基準値算出部を含む請求項1記載の医療画像処理システム。
  10.  前記基準値処理部は、
     互いに異なる複数の第2信頼度用閾値が予め設定されており、前記信頼度が各第2信頼度用閾値以上の高信頼度領域を複数設定する高信頼度領域設定部と、
     各高信頼度領域に含まれる生体情報から、前記基準値の候補となる基準候補値を算出する第1基準候補値算出部とを備える請求項1記載の医療画像処理システム。
  11.  前記高信頼度領域と前記高信頼度領域に対応する基準候補値とを表示部に表示する表示制御部と、
     前記表示部に表示された前記基準候補値の中から前記基準値を選択する第1基準値選択部とを備える請求項10記載の医療画像処理システム。
  12.  観察対象を撮像して得られる観察画像を取得する画像取得部と、
     前記観察画像に基づいて、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
     前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記生体情報の基準となる基準値を設定する基準値処理部と、
     前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部と、
     前記生体情報の頻度分布を算出する生体情報頻度分布算出部とを備え、
     前記基準値処理部は、
     前記生体情報の頻度分布のうち前記生体情報の信頼度が低い第1分布領域を除いた第1領域除外分布に基づいて、前記基準値を算出する第3基準値算出部とを備える医療画像処理システム。
  13.  前記基準値処理部は、
     前記生体情報の頻度分布において前記生体情報の信頼度が低い第1分布領域が複数設定されており、前記生体情報の頻度分布のうち各第1分布領域を除いた第1領域除外分布を複数設定する第1領域除外分布設定部と、
     各第1領域除外分布に基づいて、前記基準値の候補となる基準候補値を算出する第2基準候補値算出部とを備える請求項12記載の医療画像処理システム。
  14.  前記第1領域除外分布と前記第1領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、
     前記表示部に表示された前記基準候補値の中から前記基準値を選択する第2基準値選択部とを備える請求項13記載の医療画像処理システム。
  15.  観察対象を異なるフレームにて撮像して得られる複数フレームの観察画像を取得する画像取得部と、
     前記複数フレームの観察画像に基づく演算処理によって演算値を算出し、算出した演算値から、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
     前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記生体情報の信頼度を用いて前記生体情報の基準となる基準値を設定する基準値処理部と、
     前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部と、
     前記演算値の頻度分布を算出する演算値頻度分布算出部とを備え、
     前記基準値処理部は、
     前記演算値を前記信頼度として利用し、
     前記演算値の頻度分布のうち特定演算値を有する第2分布領域を除いた第2領域除外分布に基づいて、前記基準値を算出する第4基準値算出部とを備える医療画像処理システム。
  16.  前記基準値処理部は、
     前記演算値の頻度分布において前記特定演算値を有する第2分布領域が複数設定されており、前記生体情報の頻度分布のうち各第2分布領域を除いた第2領域除外分布を複数設定する第2領域除外分布設定部と、
     各第2領域除外分布に基づいて、前記基準値の候補となる基準候補値を算出する第3基準候補値算出部とを備える請求項15記載の医療画像処理システム。
  17.  前記第2領域除外分布と前記第2領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、
     前記表示部に表示された前記基準候補値の中から前記基準値を選択する第3基準値選択部とを備える請求項16記載の医療画像処理システム。
  18.  前記基準値処理部は、
     ユーザーインターフェースによって、前記基準値を設定するユーザー設定部を含み、
     前記ユーザー設定部によって設定された基準値は、前記信頼度によって調整される請求項1記載の医療画像処理システム。
  19.  前記生体情報に基づいて、前記生体情報を画像化した生体情報画像を生成する生体情報画像生成部と、
     前記観察画像又は前記生体情報画像において、前記測定対象の領域を測定対象領域として設定する測定領域設定部と、
     前記測定対象領域に含まれる生体情報に基づいて、前記測定値を算出する測定値算出部とを備える請求項1、12、15、18のうちいずれか1項記載の医療画像処理システム。
  20.  観察対象を撮像して観察画像を得る内視鏡と、
     観察対象を撮像して得られる観察画像を取得する画像取得部と、
     前記観察画像に基づいて、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
     前記観察画像に基づいて、前記生体情報に関する信頼度を算出する信頼度算出部と、
     前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記信頼度を用いて前記生体情報の基準となる基準値を設定する基準値処理部と、
     前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部とを備える内視鏡システム。
PCT/JP2019/008567 2018-03-06 2019-03-05 医療画像処理システム及び内視鏡システム WO2019172231A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020505039A JP6866531B2 (ja) 2018-03-06 2019-03-05 医療画像処理システム及び内視鏡システム
US17/010,015 US11386558B2 (en) 2018-03-06 2020-09-02 Medical image processing system and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018040248 2018-03-06
JP2018-040248 2018-03-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/010,015 Continuation US11386558B2 (en) 2018-03-06 2020-09-02 Medical image processing system and endoscope system

Publications (1)

Publication Number Publication Date
WO2019172231A1 true WO2019172231A1 (ja) 2019-09-12

Family

ID=67845556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008567 WO2019172231A1 (ja) 2018-03-06 2019-03-05 医療画像処理システム及び内視鏡システム

Country Status (3)

Country Link
US (1) US11386558B2 (ja)
JP (1) JP6866531B2 (ja)
WO (1) WO2019172231A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021049270A (ja) * 2019-09-26 2021-04-01 株式会社コンピュータマインド 情報処理装置、情報処理方法及びプログラム
WO2021210331A1 (ja) 2020-04-17 2021-10-21 富士フイルム株式会社 画像処理装置及びその作動方法
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023132138A1 (ja) * 2022-01-07 2023-07-13 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
WO2024034253A1 (ja) * 2022-08-12 2024-02-15 富士フイルム株式会社 内視鏡システム及びその作動方法
US11998165B2 (en) 2020-04-17 2024-06-04 Fujifilm Corporation Image processing device and method of operating same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6866531B2 (ja) * 2018-03-06 2021-04-28 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
CA3218508A1 (en) * 2021-05-25 2022-12-01 C.R. Bard, Inc. Endoscope imaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130238A1 (en) * 2010-11-22 2012-05-24 Konica Minolta Medical & Graphic, Inc. Dynamic diagnosis support information generation system
US20140354794A1 (en) * 2012-02-20 2014-12-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4563130B2 (ja) * 2004-10-04 2010-10-13 株式会社トプコン 光画像計測装置
JP5452300B2 (ja) * 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5616304B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5558331B2 (ja) 2010-12-15 2014-07-23 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5351924B2 (ja) 2011-04-01 2013-11-27 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP6030035B2 (ja) * 2013-09-27 2016-11-24 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6336949B2 (ja) * 2015-01-29 2018-06-06 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2016158276A1 (ja) * 2015-04-02 2016-10-06 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム及びその作動方法
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
US20190208985A1 (en) * 2016-09-02 2019-07-11 Hoya Corporation Electronic endoscope system
WO2018159082A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3593703A4 (en) * 2017-03-06 2020-03-11 Fujifilm Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
JP6866531B2 (ja) * 2018-03-06 2021-04-28 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP7229676B2 (ja) * 2018-05-21 2023-02-28 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP7301595B2 (ja) * 2019-05-09 2023-07-03 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
EP3884840A1 (de) * 2020-03-27 2021-09-29 Diaspective Vision GmbH Medizinische bildgebungsvorrichtung zur ortsaufgelösten aufnahme multispektraler videodaten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130238A1 (en) * 2010-11-22 2012-05-24 Konica Minolta Medical & Graphic, Inc. Dynamic diagnosis support information generation system
US20140354794A1 (en) * 2012-02-20 2014-12-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021049270A (ja) * 2019-09-26 2021-04-01 株式会社コンピュータマインド 情報処理装置、情報処理方法及びプログラム
WO2021210331A1 (ja) 2020-04-17 2021-10-21 富士フイルム株式会社 画像処理装置及びその作動方法
JP7397176B2 (ja) 2020-04-17 2023-12-12 富士フイルム株式会社 画像処理装置及びその作動方法
US11998165B2 (en) 2020-04-17 2024-06-04 Fujifilm Corporation Image processing device and method of operating same
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023132138A1 (ja) * 2022-01-07 2023-07-13 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
WO2024034253A1 (ja) * 2022-08-12 2024-02-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
JP6866531B2 (ja) 2021-04-28
US20200402235A1 (en) 2020-12-24
JPWO2019172231A1 (ja) 2021-02-12
US11386558B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2019172231A1 (ja) 医療画像処理システム及び内視鏡システム
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
EP2904956B1 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP6039639B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
US10201300B2 (en) Processor device, endoscope system, operation method for endoscope system
JP6109695B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP6917518B2 (ja) 内視鏡システム
US10986980B2 (en) Image processing device, method for operating same, endoscope processor device, and method for operating same
WO2019065111A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP7080195B2 (ja) 内視鏡システム
JP6129686B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法
JP6389299B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764039

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505039

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764039

Country of ref document: EP

Kind code of ref document: A1