WO2006120798A1 - 生体観測装置 - Google Patents

生体観測装置 Download PDF

Info

Publication number
WO2006120798A1
WO2006120798A1 PCT/JP2006/305023 JP2006305023W WO2006120798A1 WO 2006120798 A1 WO2006120798 A1 WO 2006120798A1 JP 2006305023 W JP2006305023 W JP 2006305023W WO 2006120798 A1 WO2006120798 A1 WO 2006120798A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
unit
spectral
signal
Prior art date
Application number
PCT/JP2006/305023
Other languages
English (en)
French (fr)
Inventor
Kazuhiro Gono
Shoichi Amano
Tomoya Takahashi
Mutsumi Ohshima
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005140379A external-priority patent/JP2006314557A/ja
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to CA2607623A priority Critical patent/CA2607623C/en
Priority to BRPI0609099-0A priority patent/BRPI0609099A2/pt
Priority to US11/914,171 priority patent/US8301229B2/en
Priority to AU2006245251A priority patent/AU2006245251B2/en
Priority to EP06729057.7A priority patent/EP1880657B1/en
Publication of WO2006120798A1 publication Critical patent/WO2006120798A1/ja

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32Investigating bands of a spectrum in sequence by a single detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • G01J2003/1221Mounting; Adjustment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501Colorimeters using spectrally-selective light sources, e.g. LEDs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention generates a spectral image signal corresponding to a pseudo narrowband filter by signal processing using a color image signal obtained by imaging a living body, and displays the spectral image signal on a monitor as a spectral image.
  • the present invention relates to a biological observation apparatus.
  • endoscope apparatuses that irradiate illumination light and obtain an endoscopic image in a body cavity have been widely used.
  • an electronic endoscope having an imaging unit that guides illumination light from a light source device into a body cavity using a light guide or the like and images a subject using the returned light is used by a video processor.
  • a video processor By processing the image signal from the image pickup means, an endoscopic image is displayed on the observation monitor, and an observation site such as an affected part is observed.
  • one method is to emit white light in the visible light region with a light source device, for example, through a rotary filter such as RGB, and so on.
  • a color image is obtained by irradiating the subject with light and synchronizing the image with the return light from the frame sequential light using a video processor.
  • another method is to place a color chip in front of the imaging surface of the imaging means of the endoscope and use the light source device to emit white light in the visible light region.
  • the color light is obtained by separating the return light of the white light for each color component with a color chip and processing the image with a video processor.
  • a living tissue has different light absorption characteristics and scattering characteristics depending on the wavelength of the irradiated light.
  • Japanese Patent Application Laid-Open No. 2002-95635 discloses illumination light in a visible light region having discrete spectral characteristics.
  • a narrow-band optical endoscope apparatus that irradiates a living tissue with narrow-band RGB surface sequential light and obtains tissue information of a desired deep part of the living tissue has been proposed.
  • color image signals (or biological signals) captured in a wide wavelength band without using an optically narrow bandpass filter. (Also known as)) (corresponding to a pseudo-narrow band-pass filter) Performs processing to generate a spectral image signal that can be obtained when using a narrow-band band-pass filter by means of electrical calculation processing by matrix calculation .
  • the esophageal mucosa and the mucosa of the stomach or large intestine differ in the type of mucosal tissue (for example, the esophageal mucosa is the stratified squamous epithelium and the stomach is the single-layer cylindrical epithelium).
  • the esophageal mucosa is the stratified squamous epithelium and the stomach is the single-layer cylindrical epithelium.
  • the apparatus described in Japanese Patent Laid-Open No. 2003-93336 has a drawback that the color tone when the spectral image signal is displayed on the display means or the display output apparatus cannot be changed.
  • the device described in Japanese Patent Laid-Open No. 2003-93336 has the advantage of electrically generating a color image signal force spectral image signal, but further converts the spectral image signal into a color tone desired by the user or an appropriate color tone. It is desirable to be equipped with interface means that can improve operability, such as displaying or switching between color image signals (normal image signals) and spectral image signals.
  • the apparatus described in Japanese Patent Application Laid-Open No. 2003-93336 simply outputs the obtained spectral image to a monitor. For this reason, in the apparatus described in Japanese Patent Application Laid-Open No. 2003-93336, if there is a possibility that the image displayed on the monitor may not be a color image suitable for observing tissue information in a desired deep part of the living tissue. It is difficult to grasp the relationship with biological function information of living organisms such as hemoglobin concentration in blood.
  • the present invention has been made in view of the above-described points, and has a function of electrically generating a spectral image signal from a color image signal, and further appropriately copes with different living tissue or the like.
  • An object of the present invention is to provide a living body observation apparatus that can generate a spectroscopic image signal that can be generated and that can improve operability related to observation of a spectroscopic image.
  • the present invention provides a living body observation apparatus capable of calculating biological function information related to blood of a living body based on a spectral image signal obtained by signal processing and contributing to improvement of diagnostic ability. It is an object.
  • the living body observation apparatus images a subject illuminated with white illumination light by a first imaging apparatus including a plurality of broadband color filters with wavelength transmission characteristics.
  • the first imaging signal or the second imaging signal obtained by imaging the subject illuminated by the field sequential illumination light in a plurality of different wavelength bands covering the visible region with the second imaging device
  • a color image signal generator for generating a color image signal to be displayed as a color image on the display device
  • the color signal used for generating the color image signal or signal processing on the color image signal is illuminated with illumination light in a narrow band wavelength region.
  • a spectral image signal generation unit that generates a spectral image signal corresponding to an image signal in a narrow band obtained when the subject is imaged, and a display device for displaying the spectral image signal as a spectral image
  • a display color converter for converting the display color
  • Information including a characteristic setting unit for changing and setting a generation characteristic of the spectral image signal in the spectral image signal generation unit, a display color change setting unit for changing and setting a display color of the color conversion unit, and an image displayed on the display device And at least one of the characteristic setting unit, the display color change setting unit, and the interface unit in an interface unit for performing switching and / or confirmation instruction operations,
  • the living body observation apparatus images a subject illuminated with white illumination light with a first imaging apparatus including a plurality of broadband color filters with wavelength transmission characteristics.
  • the first imaging signal or the second imaging signal obtained by imaging the subject illuminated by the field sequential illumination light in a plurality of different wavelength bands covering the visible region with the second imaging device
  • a normal image signal generation unit that performs signal processing on the display and generates a normal image signal for display as a color normal image on a display device;
  • the color signal used for generating the color image signal or signal processing on the color image signal is illuminated with illumination light in a narrow band wavelength region.
  • a spectral image signal generation unit that generates a spectral image signal corresponding to an image signal in a narrow band obtained when the subject is imaged, and blood of the living body when the subject is a living body based on the spectral image signal
  • a biological function information calculation unit that calculates biological function information related to
  • the power S for calculating biological function information related to the blood of the living body is obtained together with the spectral image signal.
  • FIG. 1 is a conceptual diagram showing a signal flow when creating a spectral image signal from a color image signal according to Embodiment 1 of the present invention.
  • FIG. 2 is a conceptual diagram showing an integral operation of a spectral image signal according to Embodiment 1 of the present invention.
  • FIG. 3 is an external view showing the external appearance of the electronic endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a block diagram showing a configuration of the electronic endoscope apparatus of FIG.
  • FIG. 5 is an external view showing the external appearance of the chopper of FIG.
  • FIG. 6 is a diagram showing an arrangement of color filters arranged on the imaging surface of the CCD in FIG.
  • FIG. 7 is a graph showing spectral sensitivity characteristics of the color filter of FIG.
  • FIG. 8 is a block diagram showing the configuration of the matrix calculation unit of FIG.
  • FIG. 9 is a spectrum diagram showing the spectrum of the light source according to Example 1 of the present invention.
  • FIG. 10 is a spectrum diagram showing a reflection spectrum of a living body according to Example 1 of the present invention.
  • FIG. 11 is a diagram showing a layered structure of a biological tissue observed by the electronic endoscope apparatus of FIG.
  • FIG. 12 is a diagram for explaining a state in which the illuminating light from the electronic endoscope apparatus of FIG.
  • FIG. 13 shows the spectral characteristics of each band of white light.
  • FIG. 14 is a first diagram showing each band image of white light in FIG.
  • FIG. 15 is a second diagram showing each band image of white light in FIG.
  • FIG. 16 is a third diagram showing each band image of white light in FIG.
  • Fig. 17 is a diagram showing the spectral characteristics of the spectral image generated by the matrix calculator in Fig. 8.
  • FIG. 18 is a first diagram showing the spectral images of FIG.
  • FIG. 19 is a second diagram showing the spectral images of FIG.
  • FIG. 20 is a third diagram showing the spectral images in FIG.
  • FIG. 21 is a block diagram showing the configuration of the color adjustment unit shown in FIG. 21 in FIG.
  • FIG. 22 is a diagram for explaining the operation of the color adjustment unit in FIG. 21.
  • FIG. 22 is a diagram for explaining the operation of the color adjustment unit in FIG. 21.
  • FIG. 23 is a block diagram showing a configuration of a modification of the color adjustment unit in FIG.
  • FIG. 24 is a view showing a spectral characteristic of a first modified example of the spectral image of FIG.
  • FIG. 25 is a diagram showing the spectral characteristics of the second modification of the spectral image of FIG.
  • FIG. 26 is a diagram showing the spectral characteristics of the third modification of the spectral image of FIG.
  • FIG. 27 is a flowchart showing an operation of manually switching coefficients when switching to the spectral image observation mode.
  • Fig. 28 is a block diagram showing a configuration of a modified electronic endoscope apparatus in which coefficient switching can be performed by a centralized controller or voice input.
  • FIG. 29 is a block diagram showing a configuration of an electronic endoscope apparatus when an ID memory is provided in an endoscope or the like.
  • FIG. 30 is a flowchart of an operation for switching coefficients by a combination on the apparatus side in the case of the configuration of FIG. 29.
  • FIG. 31 shows the observation mode in addition to the operation in FIG.
  • the flowchart which shows a part of operation
  • Fig. 32 is a diagram showing an example in which the observation mode is explicitly displayed when the normal image and the spectral image are displayed.
  • Fig. 33 is a flowchart of the operation for changing and setting the parameters in conjunction with the switching of the observation mode in the case of the configuration of Fig. 29.
  • FIG. 34 is a flowchart of a part of the operation of the modification of FIG. 33.
  • FIG. 35 is a block diagram showing the configuration of the color adjustment unit peripheral portion in the electronic endoscope apparatus according to Embodiment 2 of the present invention.
  • FIG. 36 is a block diagram showing the configuration of the periphery of the color adjustment unit in the modification of the second embodiment.
  • FIG. 37 shows the configuration of an electronic endoscope apparatus according to Embodiment 3 of the present invention.
  • FIG. 38 is a block diagram showing a configuration of a matrix calculation unit.
  • FIG. 39 is a flowchart for explaining operations in the third embodiment.
  • FIG. 40 is a flowchart showing a part of the operation in a modified example of the third embodiment.
  • FIG. 41 is a block diagram showing a configuration of an electronic endoscope apparatus according to Embodiment 4 of the present invention.
  • FIG. 42 is a block diagram illustrating a configuration example of a color tone determination unit in FIG. 41.
  • FIG. 43 is a flowchart showing a part of the operation in the modification of the fourth embodiment.
  • FIG. 44 is an explanatory view showing the charge accumulation time by the electronic shutter of the CCD.
  • FIG. 45 is a diagram showing the charge accumulation time by the electronic shutter of the CCD more specifically.
  • FIG. 46 is a block diagram showing a configuration of an electronic endoscope apparatus according to Embodiment 5 of the present invention.
  • FIG. 47 is a diagram showing a display example of a normal image and a spectral image on the display monitor in the fifth embodiment.
  • Fig. 48 is a diagram showing a display example of a normal image and a spectral image on the display monitor in the modification.
  • FIG. 49 is a diagram showing an arrangement of color filters according to Embodiment 6 of the present invention.
  • FIG. 50 is a diagram showing the spectral sensitivity characteristics of the color filter of FIG. 49.
  • FIG. 51 shows the configuration of an electronic endoscope apparatus according to Example 7 of the present invention.
  • FIG. 52 is a block diagram showing the configuration of the matrix calculation unit of FIG. 51.
  • FIG. 53 is a block diagram showing a configuration of a color adjustment unit in FIG. 51.
  • FIG. 54 is a block diagram showing a configuration of a modification of the color adjustment unit in FIG. 51.
  • FIG. 55 is a block diagram showing a configuration of a biological function calculation unit in FIG. 51.
  • FIG. 56 is a diagram showing a display example on a monitor.
  • FIG. 57 is a block diagram showing a configuration of a matrix computing section according to Embodiment 8 of the present invention.
  • FIG. 58 is a block diagram showing a configuration of an electronic endoscope apparatus according to Embodiment 9 of the present invention.
  • FIG. 59 is a diagram showing the charge accumulation time of the CCD in FIG. 58.
  • FIG. 60 is a view showing the charge accumulation time of the CCD according to Example 10 of the present invention.
  • FIG. 61 is a diagram showing an arrangement of color filters according to Embodiment 11 of the present invention.
  • FIG. 62 is a diagram showing the spectral sensitivity characteristics of the color filter of FIG. 61.
  • FIG. 62 is a diagram showing the spectral sensitivity characteristics of the color filter of FIG. 61.
  • FIG. 63 is a flowchart at the time of matrix calculation in a modification according to the present invention.
  • the illumination light source power irradiates the living body as the subject, and the living body force is reflected based on the irradiated light.
  • Light is received by a solid-state image sensor, which is an imaging unit, and an imaging signal force obtained by photoelectric conversion is generated.
  • a wide-band color image signal is generated, and a spectral signal corresponding to the image signal whose optical wavelength is a narrow band is generated.
  • An image signal is generated by signal processing.
  • the matrix is a predetermined coefficient used when generating a spectral image signal from a color image signal acquired for generating a color image (hereinafter referred to as a normal image).
  • FIG. 1 shows a color image signal (in this case, R'G'B for simplicity of explanation, but in a complementary color solid-state imaging device as in the examples described later, G 'Cy'Mg
  • FIG. 4 is a conceptual diagram showing a signal flow when generating a spectral image signal corresponding to an optical wavelength narrow band image from a combination of “Ye”.
  • the electronic endoscope apparatus converts each color sensitivity characteristic of R'G'B into numerical data.
  • the color sensitivity characteristic of R′G′B is an output characteristic with respect to a wavelength obtained when a white light source is used and a white subject is imaged.
  • the color sensitivity characteristics of R'G'B are shown on the right of each image data as a simplified graph. At this time, the color sensitivity characteristics of R'G 'B are n-dimensional column vectors “R”, “G” and “B”, respectively.
  • the electronic endoscope apparatus is a narrow-band panda-pass filter for spectral images to be extracted Fl 'F 2' F3
  • the electronic endoscope apparatus is a special feature of a filter that can efficiently extract a structure as foresight information.
  • the characteristics of this filter are those whose wavelength bands are passbands of approximately 590 nm to approximately 610 nm, approximately 530 ⁇ m to approximately 550 nm, and approximately 400 m to approximately 430 nm.) Turn into.
  • substantially is a concept including about ⁇ 10 nm in wavelength.
  • the filter characteristics at this time are the n-dimensional column vectors “F”, “F”, and “F”, respectively.
  • the obtained numerical data are the n-dimensional column vectors “F”, “F”, and “F”, respectively.
  • R'G 'B color “C” is the matrix that represents the sensitivity characteristics
  • F is the matrix that represents the spectral characteristics of the narrow-band Pand-pass filter that you want to extract
  • the coefficient matrix that you want to perform is to perform principal component analysis or orthogonal expansion (or orthogonal transformation).
  • equation (1) is equivalent to finding a coefficient matrix “A” that satisfies the following relationship.
  • Equation (3) is given as a solution of the linear least square method, which is not a one-dimensional simultaneous equation. In other words, the equation (3) force pseudo inverse matrix should be solved. If the transposed matrix of matrix “C” is C, then equation (3) is
  • the electronic endoscope device performs the conversion of the left side of Eq. (3) to obtain the characteristics of the narrow-band Pand-pass filter F1 'F2' F3 to be extracted. Can be approximated.
  • the above is the description of the matrix calculation method that is the basis of the present invention. is there.
  • a matrix calculation unit 436 described later uses the matrix calculated in this way to generate a spectral image signal from the power error image signal.
  • the signal corresponding to the narrowband bandpass filter F1'F2'F3 calculated (from the RGB wideband bandpass filter) by the signal processing by the matrix calculation unit 436 or the like as described above becomes the spectral image signal. Therefore, in the embodiment described later, F1 is used as the spectral image signal.
  • F1 'F2' F3 as the spectral image signal corresponds to a narrowband bandpass filter generated by electrical signal processing, and thus the characteristics of the spectral characteristics are clarified.
  • a pseudo narrow band band pal filter may be used.
  • the illumination light beam (light beam from the light source) is not completely white light, and the reflection spectrum of the living body is not uniform. Dena (The color is not the same, so the RGB values are not the same.)
  • the color sensitivity characteristics are R ( ⁇ ), G ( ⁇ ), and ⁇ ( ⁇ ), respectively.
  • An example of the spectral characteristic of illumination light is S ( ⁇ )
  • an example of the reflection characteristic of the living body is ⁇ ( ⁇ ). It should be noted that the spectral characteristics of the illumination light and the reflection characteristics of the living body are not necessarily the characteristics of the inspection apparatus and the subject, but may be general characteristics acquired in advance.
  • the coefficient matrix “A” is corrected as follows by adding the correction of equation (7) to equation (5).
  • This S / N improvement method solves the following problems by adding to the processing method described above.
  • This SZN improvement method is, as shown in Fig. 2, illuminating light irradiation several times (for example, n times, n times) in one field (one frame) of a normal image (general color image). Is an integer greater than or equal to 2
  • the electronic endoscope apparatus can reduce the intensity of one irradiation, and can suppress the saturation of all of the RGB signals.
  • image signals that have been divided into several times are added n times later.
  • the electronic endoscope apparatus can improve the SZN by increasing the signal component.
  • It functions as an image quality adjustment unit that improves S / N.
  • the above is a matrix calculation method that is the basis of the present invention, a correction method for obtaining an accurate spectral image signal that can be carried out together with this, and a generated spectral image signal.
  • the color image signal is R, G, B, and the spectral image signal to be estimated is Fl, F2, F3.
  • the color image signals R, G, B, etc. are also functions of the positions X, y on the image, so for example, R should be written as R (x, y), but it is omitted here. To do.
  • the goal is to estimate the 3 x 3 row lj "A" for calculating the R, G, B forces Fl, F2, F3.
  • is the wavelength
  • t is the transpose in the matrix operation.
  • Image signals R, G, B and spectral signals Fl, F2, F3 are expressed in matrix as follows: c
  • Image signal “P” is calculated by the following formula c
  • ⁇ — indicates an inverse matrix of the matrix“ ⁇ ”.
  • ⁇ , ⁇ — is a 3 X 3 matrix, and the target matrix“ ⁇ ”.
  • the electronic endoscope apparatus 100 includes an electronic endoscope (abbreviated as an endoscope) 101, an endoscope apparatus body 105, and a display monitor 106 as a display apparatus.
  • the endoscope 101 is provided with an insertion portion 102 to be inserted into the body of a subject, a distal end portion 103 provided at the distal end of the insertion portion 102, and a side opposite to the distal end side of the insertion portion 102. It is mainly composed of an angle operation unit 104 for operating or instructing a curve operation or the like on the tip 103 side.
  • the image inside the subject acquired by the endoscope 101 is subjected to predetermined signal processing in the endoscope apparatus main body 105, and the processed image is displayed on the display monitor 106.
  • FIG. 4 is a block diagram of the electronic endoscope apparatus 100.
  • the endoscope apparatus main body 105 includes a light source section 41 as an illuminating section that mainly generates illumination light, a control section 42 that controls the light source section 41 and the main body processing apparatus 43 described below.
  • the main body processing device 43 performs signal processing for generating a normal image and signal processing for generating a spectral image.
  • the control unit 42 and the main body processing device 43 constitute a signal processing control unit that controls the operation of the CDD 21 as the light source unit 41 and / or the imaging unit and outputs an imaging signal to the display monitor 106 that is a display device. .
  • the endoscope apparatus main body 105 which is a single unit, is described as having the light source unit 41 and the main body processing apparatus 43 that performs image processing, etc., but these are different units. As such, it may be configured to be connectable and detachable.
  • the living body observation device can be configured by the endoscope 101, the light source unit 41, and the main body processing device 43.
  • the biological observation apparatus can be configured by the light source unit 41 and the main body processing apparatus 43, or can be configured by only the main body processing apparatus 43.
  • the light source unit 41 is connected to the control unit 42 and the endoscope 101. Based on the signal from the control unit 42, the light source unit 41 irradiates white light (including a case where it is not perfect white light) with a predetermined light amount.
  • the light source unit 41 includes a lamp 15 as a white light source, a chopper 16 for adjusting the light amount, and a chopper driving unit 17 for driving the chopper 16.
  • the chopper 16 has a configuration in which a notch having a predetermined length in the circumferential direction is provided in a disk-shaped structure having a predetermined radius r and having a center at a point 17a. Is provided.
  • the center point 17a is connected to a rotating shaft provided in the chopper driving unit 17. In other words, the chopper 16 performs a rotational motion around the center point 17a.
  • the length and width of the notch in the chopper 16 are examples, and are not limited to the present embodiment.
  • the chopper 16 has a protrusion 160a extending in the radial direction substantially at the center of the notch.
  • the control unit 42 switches the frame when the light is blocked by the projection 160a, thereby minimizing the interval between the light emitted one frame before and after the frame, and the movement due to the movement of the subject. Is to minimize.
  • the chopper driving unit 17 is configured to be movable in the direction with respect to the lamp 15, as indicated by an arrow in FIG.
  • the control unit 42 can change the distance R between the rotation center 17a of the chopper 16 shown in FIG. 5 and the luminous flux from the lamp (shown by a dotted circle). For example, in the state shown in FIG. 5, the distance R is quite small, so the amount of illumination light is small. Large distance R Since the notch part through which the light beam can pass becomes longer by making it clogged (the chopper driving part 17 is moved away from the lamp 15), the irradiation time becomes longer, and the control part 42 can increase the amount of illumination light.
  • a newly generated spectral image may not be sufficient as an S / N, and the RGB signal required for generating a spectral image may be shifted or shifted. If the signal is saturated, the correct calculation is not performed, so the illumination light quantity must be controlled.
  • the chopper 16 and the chopper driving unit 17 are responsible for this light amount adjustment.
  • the endoscope 101 detachably connected to the light source unit 41 via the connector 11 is disposed at the objective lens 19 that connects the optical image to the distal end portion 103 and its imaging position, and is a CCD that performs photoelectric conversion. And the like (hereinafter simply referred to as CCD).
  • the CCD in this embodiment is a single plate type (CCD used for a simultaneous electronic endoscope) and has a primary color transmission filter (abbreviated as color filter).
  • FIG. 6 shows the arrangement of color filters arranged on the CDD imaging surface.
  • Fig. 7 shows the spectral sensitivity characteristics of RGB in the color filter of Fig. 6.
  • the RGB color filter has spectral characteristics of transmitting in the R, G, and B wavelength regions in the visible region in a wide band.
  • the insertion unit 102 includes a light guide 14 that guides the light emitted from the light source unit 41 to the distal end portion 103, and an image of the subject obtained by the CCD.
  • a forceps port 29 for inserting forceps into the forceps channel 28 is provided in the vicinity of the operation unit 104.
  • the main body processing device 43 is connected to the endoscope 101 via the connector 11 in the same manner as the light source unit 41.
  • the main body processing device 43 includes a CCD drive circuit 431 for driving the CCD 21.
  • the main body processing device 43 includes a luminance signal processing system that generates a luminance signal and a color signal processing system that generates a broadband color signal as a signal circuit system for obtaining a normal image.
  • the luminance signal processing system is connected to the CCD 21 to perform contour correction, a contour correction unit 432, contour correction.
  • a luminance signal processing unit 434 that generates a luminance signal from the data corrected by the normal unit 432.
  • the color signal processing system is connected to the CCD 21, performs sampling of the signal obtained by the CCD 21, and generates a RGB signal as a wide-band color signal (or color image signal).
  • Circuits (SZH circuits) 433a to 433c and a color signal processing unit 435 that is connected to output terminals of the SZH circuits 433a to 433c and performs processing on color signals.
  • the main body processing device 43 is provided with a normal image generation unit 437 that generates one color normal image as a color image captured in the visible region from the outputs of the luminance signal processing system and the color signal processing system. It has been. Then, a Y signal, an R—Y signal, and a B—Y signal are sent to the display monitor 106 from the normal image generation unit 437 via the switching unit 439 as color normal image signals.
  • a matrix calculation unit 436 generates spectral image signals Fl, F2, and F3 from output signals of the S / H circuits 433a to 433c that generate the RGB signals.
  • the matrix operation unit 436 performs a predetermined matrix operation on the RGB signal.
  • Matrix calculation is performed by performing addition processing on color image signals using calculation coefficients corresponding to a coefficient matrix, and multiplying the matrix obtained by the above-described matrix calculation method (or a modification thereof). Refers to processing.
  • the matrix calculation unit 436 generates narrowband spectral image signals Fl, F2, and F3 from the R, G, and B color image signals.
  • a force S for explaining a method using electronic circuit processing (processing by hardware using an electronic circuit), a numerical value as in the embodiments described later, is used.
  • a method using data processing (processing by software using a program) may be used.
  • FIG. 8 shows a circuit diagram of the matrix calculation unit 436.
  • RGB signals are the resistance groups 31-la, 31-2a, 31-3a thru 31-lc, 31-2c, 31-3c and manoleplexers 33-la, 33-2a, 33-3a thru 33-lc, 33-
  • the signals are input to the amplifiers 32a to 32c through 2c and 33-3c.
  • the resistance groups 31-la, 31-2a, ⁇ , 31-3c are composed of resistors rl, r2, •••, rn having different resistance values, respectively (in FIG. 8, only part of the symbol rl , R2, ..., rn). Then, one resistor is selected by each of the multiplexers 33-la, 33-2a, ..., 33-3c.
  • These multiplexers 33-la, 33_2a,..., 33_3c are switched by the user on the operation panel 441 (see FIG. 4) constituting the coefficient setting switching means provided on the front panel, for example.
  • the resistance selected in the resistance group 31_la, 31-2a,..., 31_3c is determined through the coefficient control unit 442 by the operation or the selection operation.
  • the operation panel 441 operated by the user also has a function of interface means for the user to switch (select) the observation mode and confirm the state of the observation mode in the main body processing device 43 that performs signal processing.
  • observation image mode is performed by the function of selecting an image displayed on the display monitor 106, and at least a video signal (image signal) corresponding to the image is generated by signal processing.
  • the signal processing system function in the main body processing device 43 is included.
  • the switching unit 439 is switched so that the normal image is displayed on the display monitor 106.
  • the normal image processing system is activated so that a normal image signal corresponding to the normal image is generated.
  • the normal image processing system in this case corresponds to the contour correction unit 432, the luminance signal processing unit 434, the color signal processing unit 435, and the normal image generation unit 437 in FIG.
  • the switching unit 439 is switched so that the spectral image is displayed on the display monitor 106, and the spectral image is supported.
  • the spectral image processing system is activated so that the spectral image signal to be generated is generated.
  • the spectral image processing system in this case corresponds to the coefficient control unit 442, the LUT 443, the matrix calculation unit 436, the integration units 438a to 438c, and the color adjustment unit 440 in FIG.
  • the CCD drive circuit 431 and the S / H circuits 433a to 433c maintain the operation state in common in both observation modes.
  • the control unit 42 performs control so that the signal processing system corresponding to the selected observation mode is in an operating state. Also good. Alternatively, both signal processing systems may always be maintained in the operating state.
  • the operation for selecting the observation mode has the same result as the selection of the image (observation image) displayed on the display monitor 106.
  • the user can also perform a selection operation using the endoscope switch 141 provided in the operation unit of the endoscope 101.
  • This endoscope switch 141 also forms a coefficient setting switching means for switching coefficients, and interface means for the user to switch (select) the observation mode.
  • the operation panel 441 is provided with a plurality of selection switches (or switching buttons) 441a corresponding to the type of the subject to be observed, the observation site, the tissue type of the living tissue (morphological type of tissue), and the like. It is. Then, when the user operates the selection switch 441a, the selection switch 44la outputs an instruction signal corresponding to the type of the subject, the observation site, the tissue type of the living tissue, and the like to the coefficient control unit 442.
  • the coefficient control unit 442 includes an LUT 443 as a calculation coefficient storage means that stores calculation coefficients (simply abbreviated as coefficients) for determining matrix calculation characteristics or matrix calculation results of the matrix calculation unit 436. It is connected. Then, the coefficient control unit 442 reads a coefficient corresponding to the type of the subject from the LUT 443 according to the instruction signal from the selection switch 44 la or the like of the operation panel 441 and sends the coefficient to the matrix calculation unit 436.
  • the LUT 443 has a plurality of coefficients 443a corresponding to the type of spectral characteristics (spectral reflectance characteristics) of the subject, more specifically, the type of spectral reflectance characteristics of the mucosal tissue of the living body as the subject. Is stored. That is, the coefficient 443a is a biometric coefficient corresponding to the type of mucosal tissue of the living body.
  • the matrix calculation unit 436 performs matrix calculation with the coefficient 443a read from the LUT 443 and sent.
  • the matrix calculation unit 436 performs matrix calculation with the coefficient 443a read from the LUT 443 and sent.
  • the matrix calculation unit 436 performs matrix calculation with the coefficient 443a read from the LUT 443 and sent.
  • the matrix calculation unit 436 is connected to the LUT 443 storing a plurality of coefficients 443a via the coefficient control unit 442. Then, by operating the operation panel 441 or the like, the user can change and set (switch) the coefficients actually used for the matrix calculation of the matrix calculation unit 436 via the coefficient control unit 442.
  • the characteristics of the spectral image signals Fl, F2, F3 can be changed and set. That is, the coefficient control unit 442 and the LUT 443 have a function of a characteristic change setting unit that changes and sets the characteristic of the spectral image signal generated by the spectral image signal generation unit.
  • the outputs of the matrix operation unit 436 are input to the integration units 438a to 438c, respectively, and integration operations are performed by the integration units 438a to 438c, respectively, to generate spectral image signals ⁇ F1 to ⁇ F3 force.
  • the spectral image signals ⁇ F1 to ⁇ F3 are input to the color adjustment unit 440, and the color adjustment unit 440 performs calculation of color adjustment with a configuration described later.
  • the color adjustment unit 440 generates spectral channel image signals Rnbi, Gnbi, and Bnbi as spectral image signals that have been subjected to color adjustment from the spectral image signals ⁇ F1 to ⁇ F3.
  • the color image signal (also referred to as a biological signal) from the normal image generation unit 437 or the spectral channel image signals Rnbi, Gnbi, and Bnbi from the color adjustment unit 440 are displayed via the switching unit 439. It is output to the R channel, G channel, and B channel of 106 (sometimes abbreviated as Rch, Gch, and Bch), and displayed on the display monitor 106 in R, G, and B display colors. Therefore, the color adjustment unit 440 has a function of display color conversion means for converting display colors when the spectral image signals ⁇ F1 to ⁇ F3 are displayed in pseudo color on the display monitor 106. Then, the display color adjustment function for adjusting the display color or the function of the color adjustment means is performed by performing a change setting such as switching a coefficient used for display color conversion in the display color conversion means.
  • a supplementary explanation of the color adjustment unit 440 is as follows.
  • the spectral image signals ⁇ F1 to ⁇ F3 are subjected to (display) color adjustment processing including display color conversion by the color adjustment unit 440 to become spectral channel image signals Rnbi, Gnbi, and Bnbi. Output to R channel, G channel, and B channel of display monitor 106, respectively. Spectral image signals ⁇ F1 to ⁇ F3 are displayed on the display monitor without any color conversion. When output to each of the Yannel, G channel, and B channel (display color is assigned), the color tone is fixed and the user cannot select or change the color tone.
  • pseudo color display can be performed with a color tone desired by the user. Further, by performing color conversion or color adjustment, pseudo color display can be performed in a more easily viewable state.
  • the spectral channel image signals Rnbi, Gnbi, and Bnbi are used to clearly indicate that they are output to the R channel, G channel, and B channel of the display monitor 106, respectively. For this reason, these signals are collectively referred to as spectral image signals.
  • the separation channel image signals Rnbi, Gnbi, and Bnbi are color channel image signals.
  • the configuration of the color adjustment unit 440 will be described later.
  • the color adjustment unit 440 is connected to an operation panel 441 having a function as display color change setting means or interface means, an endoscope switch 141, and the like.
  • the operation panel 441, the endoscope switch 141, and the like allow a user or the like to perform a display color change setting operation (more specifically, a coefficient switching setting operation) for color adjustment.
  • a display color change setting operation more specifically, a coefficient switching setting operation
  • the coefficients of the 3 X 3 matrix circuit 61 that performs display color conversion are switched by a signal from the operation panel 441 or the like via the coefficient changing circuit 64 (see FIG. 21) constituting the color adjusting unit 440. be able to.
  • the switching unit 439 switches between a normal image and a spectral image, and can also switch between spectral images.
  • a user such as a user selects and operates the signal to be output from the normal image signal and the spectral channel image signal Rnbi, Gnbi, and Bnbi to the display monitor 106, so that the switching unit 439 selects the selected signal ( Output) to display monitor 106.
  • the switching unit 439 is connected to the operation panel 441 and the endoscope switch 141, and the user can easily switch or select between the normal image and the spectral image by operating these. Therefore, according to the present embodiment, operability can be improved.
  • the keyboard 451 is input to the control unit 42.
  • the control unit 42 switches the switching unit 439 in response to the switching instruction. Control and so on.
  • it may be configured so that two or more images can be displayed on the display monitor 106 at the same time.
  • the configuration related to this will be described later with reference to FIG.
  • normal images and spectral channel images also called spectral images
  • spectral images can be displayed at the same time
  • the characteristics of normal images are easy to observe because the color tone is close to that of normal visual observation, and the characteristics of spectroscopic images are capable of observing predetermined blood vessels that cannot be observed with normal images. It can be observed and is very useful in diagnosis.
  • the chopper driving unit 17 is set to a predetermined position and rotates the chopper 16.
  • the light flux from the lamp 15 passes through the notch of the chopper 16, and is collected by a condenser lens into a light fiber bundle that is an optical fiber bundle provided in the connector 11 at the connection between the endoscope 101 and the light source 41.
  • the light is condensed at the entrance end of id 14.
  • the condensed light flux passes through the light guide 14 and is irradiated into the body of the subject, an illumination optical system force (not shown) provided at the distal end portion 103.
  • the irradiated light beam is reflected in the subject, and signals are collected for each color filter shown in FIG. 6 in the CCD 21 provided with the color filter via the object lens 19.
  • Signals (imaging signals) collected by the CCD 21 for each color filter are input in parallel to the luminance signal processing system and the color signal processing system.
  • signals collected by the CCD 21 for each color filter are input to the SZ H circuits 433a to 433c for each filter, and R'G'B signals are generated as a plurality of broadband color signals, respectively. . Further, the R'G'B signal is transmitted to the color signal by the color signal processing unit 435. After the signal processing is performed, in the normal image generation unit 437, the Y signal, the R—Y signal, and the B—Y signal as the luminance signal, the color signal, and the color image signal are generated. The normal image of the subject is displayed in color on the display monitor 106.
  • the output terminal of the switching unit 439 is shared by the R channel of the display monitor 106 for the output signal from the normal image generation unit 437 and the output signal from the color adjustment unit 440.
  • G channel, B channel can be configured to input.
  • the Y, R—Y, and B—Y signals that are output signals from the normal image generating unit 437 are converted into R, G, and B signals in the switching unit 439.
  • the conversion circuit 439a (see Fig. 4) to be used should be built in.
  • the output signal from the normal image generation unit 437 is displayed at the YZ color difference signal input terminal of the display monitor 106, and the output signal from the color adjustment unit 440 is displayed.
  • the monitor 106 may be configured to input to the R channel, G channel, and B channel, respectively.
  • the display monitor 106 passes through the common R channel, G channel, and B channel. It will be described in the case of being input to. Next, the operation when observing a spectral image will be described. Note that those that perform the same operation as the normal image observation are omitted here.
  • the operator gives an instruction to observe the spectral image from the normal image by operating the endoscope switch 141, the keyboard 451, and the like connected to the endoscope apparatus main body 105.
  • the control unit 42 changes the control state of the light source unit 41 and the main body processing device 43.
  • control unit 42 changes the amount of light emitted from the light source unit 41 as necessary. As described above, since it is not desirable that the output signal from the CCD 21 is saturated, the amount of illumination light is made smaller than that during normal image observation. Further, the control unit 42 can control the amount of light so that the output signal from the CCD 21 does not saturate, and can change the amount of illumination light within a range where it is not saturated.
  • the signal output from the switching unit 439 is changed from the output of the normal image generation unit 437 to the output of the color adjustment unit 440, that is, the spectral channel image signal.
  • the outputs of the S / H circuits 433a to 433c are input to the matrix calculation unit 436, and the matrix calculation unit 436 performs amplification / addition processing to thereby perform narrow-band spectral image signals Fl, F2 , F3 is generated.
  • These spectral image signals Fl, F2, and F3 are output to accumulating units 438a to 438c in accordance with the respective bands.
  • the signal intensity can be increased as shown in FIG. 2 by storing and integrating in the integrating units 438a to 438c.
  • the integration units 438a to 438c can obtain the integrated spectral image signals ⁇ F1, ⁇ F2, and ⁇ F3 with improved S / N from the spectral image signals Fl, F2, and F3, respectively.
  • the ideal narrowband bandpass filters F1 to F3 shown in the figure (in this case, the respective transmission wavelength regions). 1: 590 11 to 620 11, F2: 520 nm to 560 nm, F3: 400 nrr! To 440 ⁇ m)), when trying to create a bandpass filter (hereinafter referred to as a pseudo bandpass filter) ) To (5), the following matrix is optimal.
  • the matrix processing described above creates a spectral image signal by using a pseudo bandpass filter (that is, a matrix) generated in advance as described above for a color image signal.
  • a pseudo bandpass filter that is, a matrix
  • the body cavity tissue 51 often has a distribution structure of absorbers such as blood vessels that differ in the depth direction.
  • absorbers such as blood vessels that differ in the depth direction.
  • capillaries 52 In the vicinity of the surface of the mucosa, there are mainly many capillaries 52, and in the middle layer deeper than this layer, in addition to capillaries, blood vessels 53 that are thicker than capillaries are distributed, and in the deep layers, even thicker vessels 54 are distributed. Will come to do.
  • the depth of light in the depth direction with respect to the body cavity tissue 51 depends on the wavelength of the light.
  • the illumination light including the visible region is light only up to the vicinity of the surface layer due to the absorption and scattering characteristics in the living tissue when the wavelength is short such as blue (B). Without reaching the depth, light is absorbed and scattered in the depth range up to that point, and light emitted from the surface is observed.
  • G color light which has a longer wavelength than blue (B) color light, it reaches deeper than the range in which blue (B) color light deepens, and is absorbed and scattered in that range. Light emitted from is observed. Furthermore, the wavelength is longer than green (G) color light, and the red (R) color light is deeper. The light reaches.
  • the image signal picked up by the CCD 21 with the B-band light is picked up with a band image having shallow and middle layer tissue information including a lot of tissue information in the shallow layer as shown in FIG.
  • the image signal picked up by the CCD 21 with G-band light is picked up with band images having shallow layer and middle layer tissue information as shown in FIG.
  • the image signal picked up by the CCD 21 with the R-band light is picked up with a band image having middle layer and deep layer tissue information including a lot of deep layer tissue information as shown in FIG.
  • the matrix processing in the matrix calculation unit 436 described above creates a spectral image signal using a matrix of pseudo bandpass filter characteristics generated in advance as described above for the color image signal.
  • the user operates the operation panel 441 or the like to read out the coefficient 443a stored and stored in the LUT 443 through the coefficient control unit 442, and change and set the matrix calculation characteristic with the matrix calculation unit 436.
  • the pseudo bandpass filter characteristic can be changed.
  • the pseudo-bandpass filter characteristic generated by the matrix operation unit 436 is accurately generated on the shallow layer side, and other pseudo-bandpass filter characteristics are not generated. It can also be set.
  • the band wavelength (center) value of the pseudo bandpass filter characteristic generated by the coefficient 443a can be set according to the feature amount.
  • the coefficient 443a has a function of a coefficient for biological feature quantity that generates a spectral image signal that emphasizes the feature quantity of a blood vessel structure or the like distributed in the depth from the surface of the biological tissue.
  • the spectral image signal generation means and its characteristic change setting unit in the present embodiment mainly have two major advantages as follows.
  • the user can select an appropriate coefficient (as a biometric coefficient) 443a according to the spectral reflection characteristics of the living body.
  • an appropriate coefficient as a biometric coefficient 443a according to the spectral reflection characteristics of the living body.
  • spectral image signals F1 to F3 are obtained by using pseudo bandpass filters F1 to F3 having discrete and narrow-band spectral characteristics capable of extracting desired deep tissue information as shown in FIG. .
  • the pseudo bandpass filters F1 to F3 have overlapping wavelength ranges.
  • the spectral image signal F3 from the pseudo bandpass filter F3 is captured with a band image having tissue information in the shallow layer as shown in FIG.
  • a band image having tissue information in the middle layer as shown in FIG. 19 is captured in the spectral image signal F2 by the pseudo bandpass filter F2, and further,
  • a band image having tissue information in the deep layer as shown in FIG. 20 is captured in the spectral image signal F1 by the pseudo bandpass filter F1.
  • the color adjusting unit 440 converts the spectral image signal F1 into the spectral channel image signal Rnbi.
  • the spectral image signal F2 is assigned to the spectral channel image signal Gnbi
  • the spectral image signal F3 is assigned to the spectral channel image signal Bnbi.
  • the spectral channel image signals Rnbi, Gnbi, and Bnbi are output to the R, G, and B channels Rch, Gch, and Bch of the display monitor 106 via the switching unit 439, respectively.
  • the color adjustment unit 440 includes a 3 X 3 matrix circuit 61 as a display color conversion means and three sets of LUTs 62a provided before and after the 3 X 3 matrix circuit 61: 62b, 62c, 63a, 63b, 63c and LUT62a, 62b, 62c, 63a, 63b, 63c tape change data and coefficient change as display color change setting means to change matrix coefficient of 3 X 3 matrix circuit 61 And a color conversion processing circuit 440a including a circuit 64.
  • the spectral image signals Fl to F3 input to the color conversion processing circuit 440a are subjected to inverse ⁇ correction, nonlinear contrast conversion, and the like by the LUTs 62a, 62b, and 62c for each band data.
  • the tape data of these LUTs 62a, 62b, 62c, 63a, 63b, and 63c and the matrix coefficient of the 3 ⁇ 3 matrix circuit 61 can be changed by a coefficient changing circuit 64 that changes coefficients.
  • a coefficient changing circuit 64 a plurality of types of matrix coefficients 64a used when performing matrix calculation by the 3 ⁇ 3 matrix circuit 61 are stored as color conversion (color adjustment) coefficients.
  • the 3 X 3 matrix circuit 61 performs a matrix operation using the matrix coefficient 64a selected via the coefficient changing circuit 64, thereby performing color conversion corresponding to the used matrix coefficient 64a. I do.
  • the matrix coefficient change by the coefficient change circuit 64 is performed by the coefficient setting switch (or the color tone change setting) in the operation switch 441 or the endoscope switch 141 provided in the operation unit of the endoscope 101, for example. Switch) Based on the control signal or switching signal from 141b (see Fig. 4).
  • the matrix coefficient 64a in the coefficient changing circuit 64 is, for example, a blood vessel matrix coefficient that makes it possible to display, for example, a blood vessel structure in a color tone that is easy to identify, as described below. Includes 64b. The user can select the blood vessel matrix coefficient 64b from the coefficient changing circuit 64 by operating the coefficient setting switch 141b.
  • the coefficient changing circuit 64 Upon receiving the control signal, the coefficient changing circuit 64 calls appropriate data from a plurality of types of matrix coefficients 64a and the like stored in advance in the color adjustment unit 440, and the data Now rewrite the current circuit coefficients.
  • Equation (22) shows an example of a color conversion equation
  • the processing according to this equation (22) is performed by applying spectral signal signals F1 to F3 with short wavelengths to spectral channel image signals Rnbi, Gnbi, and Bnbi (shown on display monitor al06, R channel, G channel, and B channel). Color conversion is assigned in order.
  • spectral channel image signals Rnbi, Gnbi, and Bnbi When observed as a color image by these spectral channel image signals Rnbi, Gnbi, and Bnbi, for example, an image as shown in FIG. 22 is obtained.
  • the thick blood vessel is in a deep position, the spectral image signal F3 is reflected, and the display color is shown as a blue pattern. Since the spectral image signal F2 is strongly reflected in the vascular network near the middle layer, the display color is displayed in a red pattern.
  • this pattern change near the mucosal surface is important for early differential detection and diagnosis of lesions.
  • yellow patterns tend to have low visibility due to weak contrast with the background mucosa.
  • the processing according to equation (23) is performed by dividing the spectral image signal F1 at a certain ratio into the spectral image signal F2
  • This is a conversion example in which the generated data is newly converted into a spectral G channel image signal Gnbi. If this conversion is adopted, it becomes possible to clarify that the absorption scatterers such as the vascular network are different in the depth position. Therefore, by adjusting the matrix coefficient 64a through the coefficient changing circuit 64, the user can adjust the display color so that a desired display effect can be obtained.
  • Endoscope switch provided on operation panel 441 and operation part of endoscope 101 by user
  • the matrix coefficient 64a is set to the default value from the through operation.
  • the less than one operation means that the 33 matrix circuit 61 has a unit row 1 ”, and the 11th orders 62 &, 62b, 62c, 63a, 63b, 63c are mounted with non-converting tables.
  • a reverse ⁇ correction table and a ⁇ correction table are applied to the LUTs 62a, 62b, 62c, 63a, 63b, and 63c as necessary.
  • the color conversion processing circuit 440a in the present embodiment is shown as an example in which color conversion is performed by a matrix computing unit including the 3 X 3 matrix circuit 61, but is not limited thereto, and is not limited to this. You can configure the color conversion processing means with a CPU) or LUT.
  • the power of the color conversion processing circuit 440a with the configuration centered on the 3 ⁇ 3 matrix circuit 61 is shown in FIG. 23.
  • the color conversion processing circuit 440a is replaced with a three-dimensional LUT 71 corresponding to each band. Even if it is replaced, the same effect can be obtained.
  • the coefficient changing circuit 64 is based on the control signal from the coefficient setting switch 141b provided in the operation panel 441 or the endoscope switch 141 of the operation unit of the endoscope 101. Performs an operation to change the contents of the table data 71a stored in the UT71. (In Fig. 23, the table data 71a is stored in the other LUT71 in the same way. Have been). Then, the color conversion processing circuit 440a in FIG. 23 performs color conversion processing corresponding to the changed table data 71a.
  • table data 71a for example, blood vessel data and biological mucosa data for displaying the blood vessel structure and the biological mucous membrane structure as the characteristic amount of the biological body in a color tone that is easy to visually recognize are stored.
  • the filter characteristics of the pseudo bandpass filters F1 to F3 are not limited to the visible light range, and as a first modification of the pseudo bandpass filters F1 to F3, the filter characteristics are discrete, for example, as shown in FIG. It may be a narrow spectral band with excellent spectral characteristics.
  • the user can operate the selection switch 441a provided on the operation panel 441 or the like and change the calculation coefficient in the matrix calculation unit 436.
  • the filter characteristic of this first modification is that F3 is set in the near-ultraviolet region and F1 is set in the near-infrared region in order to observe the irregularities on the surface of the living body and the absorber near the extreme deep layer. It is suitable for obtaining image information that cannot be obtained by normal observation.
  • image information on the deep side of the living body can be obtained by F1 in the near infrared region
  • image information on the concavo-convex structure on the living body surface can be obtained by F3 in the near ultraviolet region. Can do.
  • pseudo bandpass filters F1 to F3 two pseudo bandpass filters whose filter characteristics are close to each other in the short wavelength region are used instead of the pseudo bandpass filter F2 as shown in FIG. Also good as filter F3a, F3b. This is suitable for visualizing subtle differences in the scattering characteristics rather than the absorption characteristics by taking advantage of the fact that the wavelength band in this vicinity reaches only near the extreme surface layer of the living body. Medically, it is expected to be used for the identification diagnosis of diseases involving disturbance of cell arrangement near the mucosal surface layer such as early cancer.
  • pseudo bandpass filters F1 to F3 as shown in FIG. 26, a two-band narrowband filter having discrete spectral characteristics capable of extracting desired layer structure information.
  • Two pseudo bandpass filters F2 and F3 having characteristics may be generated by the matrix calculation unit 436.
  • the color adjustment unit 440 reduces the spectral channel image signal Rnbi—spectral image to colorize the image during narrowband spectral image observation.
  • Signal F2, spectral channel image signal Gnbi—spectral image signal F3, spectral channel image signal Bnbi—spectral image signal F3 are color-converted and output to RGB3 channels Rch, Gch, Bch of display monitor 106.
  • the color adjustment unit 440 outputs to the RGB three channels of the display monitor 106 according to the following equation (24) and displays the color in RGB on the display monitor 106.
  • Generated spectral image signals (Rnbi, Gnbi, Bnbi).
  • hl l l
  • Fig. 27 shows the flowchart of the operation when manual observation and observation are performed.
  • control unit 42 and the like are in an operating state, and each unit is controlled to be in the normal observation mode operating state as shown in step 31 as an initial setting.
  • step S2 the state of waiting for an observation mode switching instruction is entered.
  • the control unit 42 performs control to switch to the operation state of the spectral image observation mode as shown in step S3.
  • step S4 As shown in FIG. 4, the control unit 42 controls the display monitor 106 to display information on the coefficient set as the spectral image observation mode at the time of switching, for example. As the contents of the coefficient information display at the time of switching in step S4, for example, the coefficient information set by the matrix calculation unit 436 in the spectral image observation mode set at the time of switching is displayed. Thereafter, in the next step S5, the control unit 42 confirms whether or not to perform coefficient switching (selection) for the user.
  • the user determines whether or not to perform switching according to the characteristics and types of the subject actually observed, more specifically, the characteristics and types of the biological mucous membrane.
  • the user determines whether or not to perform switching according to the characteristics and types of the subject actually observed, more specifically, the characteristics and types of the biological mucous membrane.
  • the biological mucosa actually observed in this way may be switched depending on the type of the site to be observed, such as the esophageal mucosa, stomach mucosa, large intestine mucosa, etc. It may be switched according to the characteristics, type, etc. of the spectral reflectance of the portion to be observed, such as the name and type of the epithelium constituting the living mucous membrane.
  • the esophageal mucosa has a stratified squamous epithelium, and the stomach and large intestine mucosa are covered with a single-layered columnar epithelium. Therefore, the collective power of the spectral reflectance data of the esophageal mucosa.
  • the matrix for spectral image estimation calculated using the estimated basic spectral characteristics is used in colon examination, it is difficult to obtain the desired result. In order to obtain an image, it is necessary to perform this matrix calculation using basic spectral characteristics according to the type and tissue type of the biological mucous membrane, and it is desirable to use an appropriate matrix calculation for actual observation.
  • a coefficient setting switching means constituting the interface means for example, a selection switch 441b that performs coefficient switching or coefficient selection of a matrix calculation unit 436 provided on the operation panel 441 or the like (see FIG. 4) ) The surgeon operates.
  • the coefficient 443a corresponding to the spectral characteristic to be observed is read from the LUT 443, and switching is performed so that an appropriate matrix operation is performed with the coefficient 443a.
  • the control unit 42 waits for an observation mode switching instruction. When the surgeon performs a switching instruction operation, the control unit 42 returns to step S1 and switches to the normal image observation mode. Then, the above-described processing is repeated.
  • step S5 when switching coefficients, items such as switching (selection) items according to the type of subject and switching (selection) according to biometric features are displayed. Furthermore, it may be easy to perform switching setting of coefficients corresponding to spectral characteristics that facilitate easy observation of the type of biological mucosa and blood vessels.
  • a pseudo narrow band filter is generated by electrical signal processing using a color image signal of a normal electronic endoscope image (normal image).
  • a spectral image having tissue information of a desired deep part such as a blood vessel running pattern is set as a coefficient by a coefficient setting switching unit without using an optical narrowband bandpass filter for the spectral image.
  • the color conversion coefficient of the color adjustment unit 440 can be appropriately set according to the spectral image.
  • the present embodiment makes it possible to realize an expression method that makes use of the feature of depth-of-depth information when observing a narrow-band spectroscopic image, and the tissue information of a desired deep part near the surface of the living tissue. More specifically, the blood vessel running pattern and the like can be effectively separated and visually recognized.
  • a three-band spectral image in the color adjustment unit 440 for example, an image corresponding to 415 nm is displayed on the color channel Bch of the display monitor 106, for example, an image corresponding to 445 nm is displayed on the color channel Gch, and 500 nm, for example.
  • the corresponding images are assigned to the color channel channels Rch, according to this embodiment, the following image effects can be obtained.
  • FIG. 28 shows an electronic endoscope apparatus 100 according to a first modification of the present embodiment.
  • the coefficient switching setting by the matrix calculation unit 436 can be operated from the operation panel 441 or the like, but in this modification, as an interface unit connected to the control unit 42 It can be operated from the centralized controller 461.
  • a microphone 462 that accepts an instruction to switch a coefficient by a user's voice as an electric signal is connected to the main body 105, and a voice recognition circuit 463 is provided in the main body 105. Then, voice recognition from the user input from the microphone 462 is performed by the voice recognition circuit 463, and the voice recognition result is input to the control unit 42.
  • the control unit 42 appropriately performs matrix calculation by the matrix calculation unit 436 according to the coefficient 443a stored in the LUT 443 in response to an instruction signal such as coefficient switching by voice from the centralized controller 461 and microphone 462 by the user.
  • an instruction signal such as coefficient switching by voice from the centralized controller 461 and microphone 462 by the user.
  • the control unit 42 is shown in a configuration that also functions as the coefficient control unit 442 in FIG.
  • the coefficient may be switched from the control unit 42 via the coefficient control unit 442.
  • the centralized controller 461 or the like may be used for an interface for performing an observation mode switching operation, an observation mode selection operation to be started up when the power is turned on, or the like.
  • an interface such as a foot switch (not shown) may be provided.
  • the electronic endoscope apparatus 100 as a specific example of the biological observation apparatus may have a configuration as in the second modification example shown in FIG.
  • an ID memory 161 is provided in, for example, the connector 11 in the endoscope 101, and an ID memory 162 is provided in the light source unit 41 in the main body 105, for example. Yes.
  • the information 3 stored in the ID memory 161 and the ID memory 162 is input to the control unit 42 when the power is turned on, for example.
  • the control unit 42 sets the coefficient switching setting by the matrix calculation unit 436 according to the constituent elements such as the endoscope 101 in the electronic endoscope apparatus 100 that is actually combined. Depending on the condition, it is automatically controlled so as to have an appropriate setting.
  • the operation in this case is as shown in the flowchart of FIG.
  • the operation shown in FIG. 30 is basically the same as the operation shown in FIG. 27 except that the process shown in step S8 is performed between steps S3 and S4.
  • step S3 the control unit 42 reads information in the ID memory 161 of the endoscope 101 and the ID memory 162 of the light source unit 41 in the next step S8 after switching to the spectral image observation mode. Then, the control unit 42 determines the matrix image characteristics corresponding to the power characteristics of the CCD 21 employed in the endoscope 101, the type of the lamp 15 of the light source unit 41, the emission wavelength characteristics (spectral characteristics), etc. Reads out the appropriate coefficient from the LUT443 for the calculation in the calculation unit 436. Then, the control unit 42 sends the coefficient to the matrix calculation unit 436 and performs automatic coefficient switching setting.
  • the LUT443 shown in Fig. 29 includes (in addition to the coefficient 443a shown in Fig. 4) the CCD 21 color imaging characteristics, the type of the lamp 15 of the light source 41, the emission wavelength characteristics (spectral characteristics), etc.
  • a plurality of coefficients 443b corresponding to are stored.
  • step S4 corresponding to the next step S4 in FIG.
  • the control unit 42 performs control so as to display information on the coefficient set in accordance with the observation object that is set at the time of switching (default or previous selection).
  • the processing after step S is the same as in FIG.
  • the spectral characteristic power of the color filter of the CCD 21 mounted on the endoscope 101 that is actually connected and used varies depending on the type of the endoscope 101 and the individual differences. Even if the spectral characteristics differ depending on the type of lamp 15 as the light source in the light source section 41 (for example, types of halogen lamps and xenon lamps having different spectral characteristics of light emission) and individual differences, the effect of these differences And more reliable spectral images can be obtained.
  • the ID memory 161 or the like may be manually switched to an appropriate coefficient.
  • a mode in which the coefficient switching setting is automatically performed and a mode in which the coefficient is manually set may be prepared so that the user can select the mode regardless of the presence of the ID memory 161 or the like.
  • the mode for automatically performing the coefficient when performing the matrix calculation by the matrix calculating unit 436 has been described, but the coefficient when performing the color adjustment or color conversion in the color adjusting unit 440 is similarly applied. It can also be set automatically. In this way, the electronic endoscope When the combination of the endoscope 101 and the like constituting the apparatus 100 is the same, the same color state can be automatically set.
  • the matrix calculation unit 436 and the color adjustment unit 440 may automatically set each coefficient based on the third information of the ID memories 161 and 162.
  • the control unit 42 may automatically set the coefficient only with the HD information on the endoscope 101 side. Les.
  • the matrix calculation unit 436 performs the matrix calculation in consideration of the spectral characteristics of the lamp 15 in the light source unit 41. Automatic setting may be performed.
  • observation mode when the observation mode is set or switched as shown in Fig. 31, the observation mode may be explicitly displayed. .
  • control unit 42 sets the normal image observation mode as in step SI. Further, the control unit 42 performs control to explicitly display the observation mode.
  • control unit 42 is in the normal image observation mode or the normal image is displayed, for example, below the display area of the normal image displayed on the display monitor 106.
  • the control unit 42 may perform control so that Normal Imaging, a normal image, and the like are displayed instead of displaying character information by NI.
  • step S3 ′ corresponding to step S3 when switching to the spectral image observation mode is similarly performed, the control unit 42 explicitly displays the observation mode. For example, as shown in FIG. 32 (B), the control unit 42 performs control so that an NBI that explicitly indicates the spectral image is displayed, for example, below the spectral image display area.
  • the control unit 42 may control to display Narrow Band Imaging, spectral images, etc. instead of displaying NBI.
  • NI and other displays are not displayed.
  • control may be performed so that NBI is displayed only in the case of a spectral image.
  • the observation mode is explicitly shown on the display monitor 5.
  • An illustrative force operation panel 441 may explicitly display the observation mode, thereby forming an interface means that allows the user to check the state of the observation mode.
  • the operation panel 441 is provided with an LED 91 for explicitly displaying the observation mode (here, the spectral image observation mode).
  • the control unit 42 performs control so that the LED 91 is turned off in the normal image observation mode and turned on in the spectral image observation mode.
  • the operation panel 441 is provided with an LED 92 that turns on the NBI characters themselves or lights up the surroundings other than the characters. Then, the control unit 92 may perform control such that the LED 92 is turned off in the normal image observation mode and turned on in the spectral image observation mode, for example, as described above.
  • the LED 93 is provided on the operation panel 441 so that the NBI characters themselves are lit or the surroundings other than the characters are lit. Then, the control unit 42 lights (displays) the LEDs according to the observation mode, for example, lights in green so that the LED 93 is turned off in the normal image observation mode, for example, lights in green, and turns on white in the spectral image observation mode.
  • observation mode information or observation image information is displayed on the operation panel 441 as an interface means has been described, but information such as an observation mode may be displayed on a keyboard or other interface means. good.
  • the control unit 42 When the power is turned on, the control unit 42 reads information in the ID memory 161 of the endoscope 101 and the ID memory 162 of the light source unit 41 in the first step S11. In the next step S12, the control unit 42 determines whether or not the observation mode is set when the power is turned on. Information on the setting of the observation mode is stored, for example, in a nonvolatile memory (not shown) in the control unit 42. When the user sets the observation mode to be started up when the power is turned on from the keyboard 451, the control unit 42 stores the setting information in the nonvolatile memory.
  • control unit 42 reads the setting information and starts up in a preset observation mode. If it is not set, for example, it is started in the normal image observation mode.
  • the control unit 42 determines in step S12 that the observation mode at power-on is set, the observation mode set in next step S13 is the normal image observation. Judge whether the mode.
  • step S14a When the normal image observation mode is set and when the observation mode at power-on is not set in step S12, the process proceeds to step S14a, and the control unit 42 The endoscope apparatus 100 is set to the normal image observation mode and started up.
  • the control unit 42 sets parameters (coefficients) corresponding to the observation mode. That is, as shown in step S15a, the setting is performed in conjunction with the parameter corresponding to this observation mode.
  • control unit 42 controls the light amount of the light source unit 41 in accordance with the observation mode.
  • the target value (reference value) for which the light amount control is to be performed is suitable for the observation mode.
  • the parameter for variably setting the target value is changed.
  • the control unit 42 stores various parameters such as a type of contour emphasis, a type of gradation conversion, a type of color painting, etc. Information such as setting values is individually stored, and the control unit 42 automatically switches other parameter setting conditions other than those necessary for the observation mode when the mode is switched.
  • the control unit 42 performs such control, so that the appropriate brightness, color tone suitable for diagnosis, A normal image can be displayed in a positive outline state.
  • step S16a the control unit 42 waits for an observation mode switching instruction.
  • the process proceeds to step S14b.
  • step S13 If the observation mode setting at power-on is not the normal image observation mode in step S13, the process proceeds to step S14b, and the control unit 42 sets the spectral image observation mode. Further, as shown in the next step S15b, the control unit 42 performs setting in conjunction with parameters corresponding to this observation mode.
  • control unit 42 controls the light amount control so that the target value is suitable for the spectral image observation mode, and the matrix calculation coefficient by the matrix calculation unit 436 as shown in step S8 of Fig. 30. Change the setting according to the spectral characteristics of the color filter of the CCD21.
  • the target value in the spectral image observation mode is set to a value lower than the target value in the normal image observation mode.
  • control unit 42 performs light amount control using parameters such as the target value so that R, G, B signals that are not saturated are input to the matrix calculation unit 436 so that the spectral image signal can be appropriately calculated.
  • the matrix calculation unit 436 performs coefficient switching so that the spectral image signal can be calculated appropriately. That is, the control unit 42 can perform appropriate signal processing.
  • the control unit 42 may set other parameters such as the above-described edge enhancement to values suitable for spectral image observation.
  • step S16b the control unit 42 waits for an observation mode switching instruction.
  • the process proceeds to step S14a.
  • the observation mode that starts up when the power is turned on can be started up in the observation mode according to the user's settings.
  • various parameters can be set smoothly so that image display and signal processing are performed in a state suitable for the switched observation mode, with minimal setting work by the user. Therefore, according to this modification, operability is improved.
  • the information set by the user before power-on is used.
  • the observation mode that is started up when the power is turned on is set by inputting a specific key when the power is turned on. You may make it do.
  • step S18 the control unit 42 determines whether or not there is a predetermined key input operation set in advance so as to select an observation mode to be started up when the power is turned on.
  • the user selects an observation mode to be started up when the power is turned on.
  • the user operates a predetermined key on the keyboard 451 or the like to input a key. If it is determined that a predetermined key input has been made, as shown in step S19, the control unit 42 performs control to display a selection screen for selecting an observation mode to be started up when the power is turned on. .
  • control unit 42 displays a screen for selecting whether to start in the normal image observation mode or the spectral image mode, and asks the user to make a selection.
  • Step S13 in FIG. 33 the control unit 42 determines whether or not the selected observation mode is the normal image mode. On the other hand, if it is determined in step S18 that the predetermined key operation has not been performed, the process proceeds to step S14a in FIG. The subsequent processing is the same as in Fig. 33.
  • the user can select and set the observation mode at startup.
  • the observation mode can be selected by operating the key.
  • the observation mode to be started up when the power is turned on may be determined by a previously operated key.
  • the configuration in which the matrix calculation in the matrix calculation unit 436 for spectral image estimation is appropriately switched has been described.
  • the calculation coefficient of the color adjustment unit is changed as in the second embodiment below. You may make it switch appropriately.
  • FIG. 35 shows the configuration of the periphery of the color adjustment unit in the electronic endoscope apparatus of the second embodiment.
  • This embodiment is the same as that shown in FIG.
  • a spectral channel image signal to be displayed in color on the display monitor 5 is generated from the two spectral image signals 2, F2, ⁇ F3 without providing the integrating unit 438a in FIG.
  • spectral image signals ⁇ F2 and ⁇ F3 output from the calculation units 438b and 438c are used, and a spectral image is obtained as follows. Appropriate color display.
  • a spectral image is displayed on the display monitor 5 as a pseudo color image using a spectral image (spectral channel image) having a center wavelength of about 415 nm and about 540 nm as a subject with the digestive tract mucosa as a subject.
  • a spectral image spectral channel image
  • the 540nm spectral channel images are displayed on the R channel of the display monitor 106, and the G and B channels. It is considered preferable to display the 415 nm spectral channel image after adjusting its output.
  • the output of the R channel (signal gain) is fixed, and the output of the G and B channels (signal gain) is adjusted so that the biological mucosa of the subject with different spectral reflectance characteristics such as esophageal mucosa and large intestine mucosa It is possible to adjust the color of the spectral color image according to the type of epithelial tissue.
  • the configuration of the color adjustment unit 440 in this case is shown in FIG. 35 as an example employing three gain variable amplifiers Ar, Ag, Ab.
  • gain control data corresponding to a coefficient that defines the gain of the variable gain amplifiers Ar, Ag, Ab is stored in the LUT 191 in advance according to the type of biological mucosa to be observed.
  • the gain control data output from this LUT 191 By being applied to the control end, the gains of the variable gain amplifiers Ar, Ag, Ab to which the gain control data is applied are controlled.
  • colon gain control data 191a and esophageal gain control data 191b are stored in the LUT 191.
  • the user operates the selection switch 44 la on the operation panel 441 and the like.
  • a selection signal (control signal) for selecting the gain control data 191a or the esophageal gain control data 191b can be applied to the LUT 191.
  • the LUT 191 can apply the corresponding gain control data to the variable gain amplifiers Ar, Ag, Ab by the selection signal.
  • the esophageal gain control data 191b is selected so that the stratified squamous epithelium is reproduced in white and the capillaries in the epithelium are visible. good.
  • the user can select the colonic gain control data 191a to display the polyp and the fine pattern on the mucous membrane surface with good visibility. Therefore, according to the present embodiment, it is possible to display a biological feature such as a fine structure on the surface of the mucous membrane to be observed with good visibility.
  • FIG. 36 shows a configuration in which the g spectral image is further input to the gain variable amplifier Ag via the multiplier 192 in the configuration of FIG.
  • the multiplier 192 receives a multiplication coefficient from the LUT 191.
  • this multiplication coefficient is 0 (in this case, the same action as in FIG. 35), and the blood vessel on the deeper side Gain control data for large intestine to reproduce a higher contrast (abbreviated as large intestine (2) in the figure)
  • this multiplication factor is set to m (0 ⁇ m ⁇ 1), for example Is set to
  • the user selects the large intestine gain control data 191a via the selection signal, it is easy to see the capillaries and fine patterns of the large intestine, that is, in the fine pattern emphasis mode.
  • the large intestine gain control data 191a ′ is selected, it is possible to observe the blood vessel on the deep mucosa deep side with a high contrast, that is, in the deep blood vessel enhancement mode.
  • the color adjustment of the color adjustment unit 440 is appropriately performed using the two spectral image signals ⁇ F2 and ⁇ F3 has been described.
  • the three spectral image signals ⁇ F1, ⁇ F2, and ⁇ ⁇ ⁇ ⁇ F3 can be used to adjust the color of color adjustment unit 440.
  • Embodiment 3 of the present invention will be described with reference to FIGS.
  • control for forcibly switching to the normal image observation mode is performed. More specifically, when the brightness of the spectroscopic image reaches a threshold value set in advance to determine a dark image, the control unit 42 switches the switching unit 439 to enter the normal image observation mode. Perform switching control.
  • the electronic endoscope apparatus 100 of Example 3 shown in FIG. 37 is different from the endoscope apparatus 100 of FIG. 4 in that, for example, the spectral image signals Fl, F2, and F3 output from the matrix calculation unit 436 are brightness determination units.
  • a signal of a comparison result (determination result) that is input to 171 and compared with a preset brightness level threshold Vth is output to the control unit 42.
  • the brightness determination unit 171 determines whether or not, for example, the sum of the absolute values of three spectral image signals for one frame is equal to or lower than a threshold value Vth set for determining a dark image state. Perform the condition judgment (comparison judgment). Then, the brightness determination unit 171 outputs a signal of the comparison result to the control unit 42. When this condition is met, the control unit 42 controls switching of the switching unit 439 to control to forcibly switch the observation mode to the normal image observation mode.
  • the matrix calculation unit 436 has the force S configured by hardware using the resistance group 31-la as shown in FIG. 8, and in this embodiment, for example, as shown in FIG. Matrix operation Numerical data processing (processing by software using a program)
  • a matrix calculation unit 436 shown in FIG. 38 has an image memory 50 for storing RGB color image signals.
  • the coefficient register 151 stores each value of the matrix “A ′” shown in the equation (21) as numerical data.
  • the coefficient register 151 and the image memory 50 are connected to the multipliers 53a to 53i, and the multipliers 53a, 53d, and 53g are connected to the multiplier 54a, and the output power of the multiplier 54a is input to the multiplication unit 438a in FIG. Is done.
  • the multipliers 53b, 53e, and 53h are connected to the multiplier 54b, and the output thereof is input to the integrating unit 438b.
  • the multipliers 53c, 53f, and 53i are connected to the multiplier 54c, and the output thereof is input to the accumulating unit 438c.
  • the input RGB image data is once stored in the image memory 50.
  • each coefficient of the matrix “ ⁇ ′” is stored in the image memory 50 from the coefficient register 151, and the multiplier Multiplied by
  • FIG. 38 shows an example in which the R signal and each matrix coefficient are multiplied by multipliers 53a to 53c. Further, as shown in the figure, the G signal and each matrix coefficient are multiplied by multipliers 53d to 53f, and the B signal and each matrix coefficient are multiplied by multipliers 53g to 53i.
  • the data respectively multiplied by the matrix coefficient is the output of the multiplier 53a, 53d, 53g, the multiplier 54a, the output of the multiplier 53b, 53e, 53h is the multiplier 54b, and the multiplier 53
  • the outputs of c, 53f, and 53i are multiplied by a multiplier 54c.
  • the output of multiplier 54a is sent to integrating section 438a.
  • the outputs of the multiplier 54b and the multiplier 54c are sent to the integrating units 438b and 438c, respectively.
  • the coefficient register 151 is connected to the coefficient control unit 442 in Fig. 4, and when the observation region is selected, the matrix coefficient force SLUT443 force corresponding to the observation region is read from the coefficient control unit 442. And stored in the coefficient register 151. Then, using the matrix coefficient, the coefficient register 151 performs matrix calculation processing suitable for the observation site, and generates the separated image signals Fl, F2, and F3. Also in the case of the matrix calculation unit 436, a spectral image capable of clearly displaying a blood vessel pattern can be obtained as in the first embodiment.
  • each matrix coefficient is changed without requiring hardware change. Can do.
  • control unit 42 and the like are in an operating state, and as an initial setting, control is performed so as to enter the normal image observation mode as shown in step S21.
  • step S22 a state of waiting for an observation mode switching instruction is entered.
  • the control unit 42 performs control to switch to the operation state of the spectral image observation mode as shown in step S23.
  • the spectral image signals Fl 1, F 2, F 3 subjected to matrix calculation by the matrix calculation unit 436 are generated.
  • These spectral image signals Fl, F2, and F3 are integrated by the integrating units 438a to 438c, and are converted into spectral channel image signals Rnbi, Gnbi, and Bnbi that have been adjusted in color through the color adjusting unit 440, and are displayed through the switching unit 439. It is applied to the R channel, G channel, and B channel of 106, and the spectral image is displayed in color on the display surface of the display monitor 106.
  • the output signal of the matrix calculation unit 436 is input to the brightness determination unit 171 that determines the brightness, and the brightness determination unit 171 sets the spectral image as shown in step S24.
  • the operation to determine the force that is below the threshold Vth is performed.
  • step S25 the control unit 42 determines whether there is an instruction to switch the observation mode. If there is no instruction to switch the observation mode, the process returns to step S24, and brightness determination processing is performed. On the other hand, when there is an instruction to switch the observation mode in step S25, as shown in step S6, the control unit 42 performs control to switch to the operation state of the normal observation mode. In the present embodiment, when it is determined in the determination process in step S24 that the brightness detected by the brightness determination unit 171 has reached the threshold value Vth or less, the process proceeds to step S26. In step S26, the control unit 42 performs control to switch to the operation state of the normal observation mode even when the observation mode switching instruction is not performed.
  • the spectral image observation mode when the brightness of one frame of each image is equal to or lower than the threshold value Vth, it is difficult to identify the blood vessel structure or the like from the spectral image.
  • Vth the threshold value
  • the operability is improved.
  • the screen (scene) when the brightness of the brightness determination unit 171 is larger than the threshold value Vth and is not so dark as to switch to the normal image observation mode, the screen (scene) in that case
  • a coefficient setting switching unit that switches the color tone coefficient of the color adjustment unit 440 according to the brightness may be formed.
  • Vth2 be the threshold that separates the two brightness levels.
  • step S24 of FIG. 39 when the brightness is equal to or higher than the threshold value Vth, as shown in step S27, the brightness determination unit 171 further determines whether the brightness is equal to or lower than the second threshold value Vth2. I do.
  • step S25 If the threshold value is larger than the threshold value Vth2, the process proceeds to step S25 as in the case of FIG. 39 (here, for the sake of simplicity, it is assumed that the color tone suitable for the threshold value Vth2 is set). ).
  • step S28 the control unit 42 displays whether or not to perform coefficient switching suitable for the brightness as shown in step S28, and switches to the user. Wait for the decision whether to do it. If switching is selected, as shown in step S29, the control unit 42 switches the coefficient to a color coefficient suitable for the brightness, and then proceeds to step S25. Also, when the switch is not selected, the process proceeds to step S25. Other processing is the same as in FIG.
  • the coefficient when it becomes darker, the coefficient is switched so as to increase the saturation, for example, than in the case of a lighter tone. In this way, even when the brightness is lowered, it is possible to maintain the function of making it easy to visually recognize the feature amount of the living body from the color tone in the bright case.
  • the color tone mode for switching the color tone coefficient according to the scene brightness value is selected in advance, and when this color tone mode is selected by the user, the scene brightness value is automatically selected. It is also possible to adopt a configuration in which the coefficient of the color tone can be switched according to the display.
  • the force that is configured to determine the brightness from the spectral image is estimated from the brightness of the normal image, and normal observation is performed when the brightness falls below a certain threshold. You can also switch to mode.
  • the force used to switch to the normal observation mode may be used as in the fourth embodiment below. good.
  • FIG. 41 shows the configuration of an electronic endoscope apparatus 100 according to Embodiment 4 of the present invention.
  • the electronic endoscope apparatus 100 according to the present embodiment includes a color tone determination unit 172 that determines a color tone instead of the brightness determination unit 171 in the configuration of FIG.
  • a frame sequential light source section 41B connected by the simultaneous light source section 41 used in the first embodiment or the like is provided.
  • a diaphragm 25 is provided in front of the lamp 15, and an RGB filter 23 is provided in front of the diaphragm 25.
  • the diaphragm 25 is connected to the diaphragm control unit 24. Then, the light source unit 41B is supplied from the lamp 15 according to the control signal from the aperture control unit 24. Of the irradiated light beam, the transmitted light beam is limited by the aperture 25, and the amount of light is changed.
  • the RGB rotation filter 23 is connected to the RGB rotation filter control unit 26 and rotated at a predetermined rotation speed.
  • the operation of the light source unit 41B in the present embodiment is as follows.
  • the luminous flux output from the lamp 15 is limited to a predetermined amount of light by the diaphragm 25, and the luminous flux that has passed through the diaphragm 25 passes through the RGB filter.
  • R′G′B is emitted from the light source unit 41B as R′G′B illumination light, that is, R′G′B surface sequential illumination light.
  • R′G ′ B plane-sequential illumination light is irradiated into the subject through the light guide 14, and the reflected light is received by the CCD 21.
  • the CCD 21 in this case is a monochrome CCD 21 without a color filter, and a signal (imaging signal) obtained by the CCD 21 is provided in the endoscope apparatus body 105 according to the irradiation time. And are input to the S / H circuits 433a to 433c, respectively.
  • the signal obtained by the CCD 21 is input to the S / H circuit 433a. If a CCD 21 with a color filter is used, it is possible to use a simultaneous light source 41 as shown in FIG.
  • the hue determination unit 172 sets a (first) hue / saturation setting unit 173 for setting a hue range corresponding to the hue to be detected as shown in FIG. 42, and this hue / saturation setting unit 17 A hue / saturation determination unit 174 that determines whether or not the condition of the hue range set in 3 is satisfied.
  • the hue range by the hue / saturation setting unit 173 is input from the keyboard 451 or the like via the control unit 42, and can be set by the user or the like.
  • the hue / saturation determination unit 174 receives spectral image signals Fl, F2, and F3 from the matrix calculation unit 436. Then, the hue / saturation determination unit 174 determines whether or not these signals are included in the hue range set by the hue Z saturation setting unit 173, and the determination result is sent to the control unit 42. Output.
  • the control unit 42 performs control such as switching of the switching unit 439 according to the determination result.
  • the color tone of the current spectral image signal input to the color tone judgment unit 172 is the color tone judgment.
  • the hue / saturation determination unit 174 falls within this hue range.
  • a determination signal indicating that the error has occurred is output to the control unit 42.
  • control unit 42 forcibly switches to the normal image observation mode and switches the switching unit 439 so that a color image signal corresponding to the normal image is output to the display monitor 5.
  • the hue determination unit 172 is provided with a second hue / saturation setting unit 175.
  • a color tone to be detected from the keyboard 451 or the like via the control unit 42 is registered.
  • the image data is sent to the second hue / saturation setting unit 175 via the control unit 42 in response to a capture instruction from the keyboard 451 or the like.
  • the data can be processed to set a color tone range for detecting a color tone close thereto.
  • the user can make the hue determination in the hue range to be prioritized in the (first) hue / saturation setting unit 173 or the second hue / saturation setting unit 175.
  • the color tone detected by the color tone determination unit 172 is within a predetermined color tone range. It is determined whether or not a certain area has been detected in one screen.
  • control unit 42 When it is detected that a predetermined color tone range has been reached for a certain value or more, the control unit 42 performs control to forcibly switch from the spectral image observation mode to the normal observation mode.
  • the other operations are the same as those described with reference to FIG.
  • the normal image observation mode is more desirable than the spectral image observation mode, and when the predetermined color tone is obtained, the normal image observation mode is forcibly set.
  • the above-described color tone detection means more specifically, for example, a means for detecting hue and saturation are provided in the signal processing control means.
  • control is performed to return (or switch) the observation mode switching means to the normal observation mode.
  • a plurality of hues or ones to be detected are set in the second hue / saturation setting unit 175, and one of them is set in the spectral image observation mode. If detected, the control unit 42 may perform control to return to the normal observation mode.
  • the control unit 42 may perform control to return to the normal observation mode.
  • there is a large amount of bile and the mucous membrane of living tissues cannot be properly observed as a spectroscopic image, or when the color tone of the pigment has a large effect on the spectroscopic image due to color difference dispersion. If it is not suitable for the spectral image observation mode, it is desirable to forcibly return to the normal image observation mode.
  • FIG. 43 Part of the operation in this case is shown in FIG. FIG. 43 is a process in which the determination processing part of step S24 in FIG. 39 is changed.
  • the user operates the second hue / saturation setting unit 175 to specify the color tone to be detected, for example, residue, bile, Color tone data of colored pigments by simple pigment dispersion is registered.
  • the user is assumed to have selected a setting mode for returning to the normal observation mode when, for example, any one of these residues, bile, and color tone is detected in a predetermined amount or more.
  • the color tone determination unit 172 enters a state of monitoring whether a predetermined color tone is achieved. That is, as shown in step S24a, it is determined whether or not the color tone of the current spectral image is the color tone of the residue, and if it is determined that the color tone of the residue exceeds a certain area, the control unit 4 as shown in step S26. 2 forcibly switches to the normal image observation mode.
  • step S24b it is determined whether the color tone of the bile is a bile color tone. As shown, the control unit 42 forcibly switches to the normal image observation mode.
  • step S24c determines whether the color tone is colored with a pigment, and the color tone colored with the pigment exceeds a certain area. If it is determined that the camera is connected, the controller 42 forcibly switches to the normal image observation mode as shown in step S26.
  • step S25 If the color of the current spectral image is not a color tinted with a pigment, the process proceeds to step S25, and the control unit 42 waits for an observation mode switching instruction.
  • the illumination light quantity (light quantity from the light source unit) is controlled and adjusted in order to avoid saturation of the RGB color signal.
  • a CCD charges proportional to the intensity of light incident within a certain period of time are accumulated, and the amount of charges is used as a signal. What corresponds to the charge accumulation time for accumulating this charge is called an electronic shutter.
  • the charge accumulation amount that is, the signal amount can be adjusted. That is, as shown in FIG. 44, by obtaining an RGB color image with the charge accumulation time sequentially changed, a spectral image similar to that in the case of controlling the amount of illumination light can be obtained.
  • FIG. 44 shows the case of frame sequential illumination.
  • the upper side shows the illumination states of R, G, and B
  • the lower stage shows the charge accumulation time by the electronic shutter.
  • the control of the amount of illumination light is used to obtain a normal image, and when obtaining a spectral image, it is possible to avoid saturation of the RGB color signal by changing the charge accumulation time by the electronic shutter. .
  • this modified example uses the frame sequential method and takes advantage of this advantage.
  • Spectral image data generation can be simplified by adding weight to the charge accumulation time by electronic shutter control. That is, in this modification, the CCD drive circuit 431 that can change the charge storage time of the CCD 21 is provided.
  • tdr, tdg, tdb are the charge accumulation times of the CCD21 when the illumination light is R'G'B (in this figure, the color image signal of B has a different accumulation time. tdb is omitted).
  • the F3 pseudo filter image in the case of performing the matrix processing expressed by the equation (21) is obtained from an RGB image normally obtained by an endoscope.
  • the B component is added to the signal obtained by simply inverting only the R and G components. Thereby, a spectral image similar to that in Example 3 can be obtained.
  • the matrix calculation unit 436 can simplify the process by simply performing addition and difference processing.
  • FIG. 46 shows an electronic endoscope apparatus 100 according to the fifth embodiment of the present invention.
  • the configuration of the main body processing device 43 is partially changed, and for example, a normal observation image and a spectral image are displayed on the display monitor 106. Can be displayed at the same time.
  • display state control means or display control means for displaying both images by changing the size, for example, is provided as well as switching and displaying one image.
  • the color signals G ′ and ⁇ ′ output from the color signal processing unit 435 are input to the superimposing unit 181, and the color signals G ′ and ⁇ ′ are input to the integrating unit 438 a by the superimposing unit 181. It is superimposed on the output signals ⁇ F1 to ⁇ F3 of ⁇ 438c.
  • the superimposed signals are indicated by R ⁇ , G ⁇ , ".
  • the signals R" G “, B” are input to the white balance circuit 182 and the white balance adjusted signal Rwb from the white balance circuit 182. , Gwb, Bwb.
  • the solid lines indicate the output signals ⁇ F1 to ⁇ F3 of the integrating units 438a to 438c that are input to the superimposing unit 181.
  • the color adjusting unit 440 passes. Then, after the color-adjusted signal is obtained, the signal may be input to the superimposing unit 181.
  • the luminance signal ⁇ becomes a luminance signal Yeh whose contour is enhanced by the enhancement circuit 185, and is input to the second color conversion circuit 186 together with the color difference signals R_Y and B—Y.
  • the second color conversion circuit 186 thus, color conversion is performed and color signals R, G, and B are generated.
  • the color signals R, G, and B are input to the R, G, and B channels of the display monitor 106, and the display monitor 106 displays a corresponding image.
  • the superimposing unit 181 displays the color signals G 'and ⁇ ' output from the color signal processing unit 435 or the output signals ⁇ F1 to ⁇ F3 of the integrating units 438a to 438c. Make adjustments to enlarge / reduce the image size, and superimpose and output both images.
  • display state control means or display control means for controlling the image displayed on the display monitor 106 is formed.
  • the color signals output from the color signal processing unit 435, the normal images from the G ′ and ⁇ ′ sides are the same size, and the integration units 438a to 438c
  • An example is shown in which the spectral images from the output signals ⁇ F1 to ⁇ F3 are adjusted to a small size and both images are displayed simultaneously.
  • observation mode display means for displaying the observation mode or image type is provided near the image corresponding to the observation mode.
  • MX calculation unit in FIG. 46
  • the matrix calculation unit 436 ′ in this embodiment incorporates the functions of the coefficient control unit 442 and LUT 443 in FIG.
  • FIG. 32 the case where one observation mode is selected alternatively by switching the observation mode has been described.
  • two observation modes are selected simultaneously, and images obtained by the two observation modes are obtained. It is also possible to display simultaneously.
  • FIG. 47 shows an image display example displayed on the display monitor 106 by the user's observation mode or display method selection control.
  • FIGS. 47A and 47B show a case where only the normal image or only the spectral image is displayed on the display monitor 106, respectively.
  • Fig. 32 (A) and Fig. 32 (B) A similar display form is adopted.
  • Fig. 47 (C) shows a case where a normal image is displayed in a large size, a spectral image is displayed in a small size, and both images are superimposed and displayed.
  • a normal image is displayed on the main screen and a spectral image is displayed on the child screen.
  • FIG. 47 (D) shows the case where the normal image and the spectral image in FIG. 47 (C) are switched in size.
  • the options for the user are further expanded and the operability is improved.
  • the display monitor 106 can be enlarged according to the resolution of the display monitor 106, etc., so that the resolution of the display surface of the display monitor 106 is displayed. It is possible to display in an appropriate size even when the etc. are different.
  • the observation mode or image type of the image is displayed so that the user can easily confirm it.
  • NI the case of a normal image
  • NBI the case of a spectral image
  • the force described in the case of the normal display monitor 106 may be displayed on a display monitor having a horizontally long display surface.
  • FIG. 48A shows a state in which a normal image and a spectral image are simultaneously displayed on a display monitor 106 having a horizontally long display surface.
  • a display monitor 106 having a horizontally long display surface.
  • two display monitors 106A and 106B may be prepared, and a normal image and a spectral image may be displayed on each of them. You can also change the display.
  • the spectral image to be displayed may be selected and displayed with only one wavelength, or may be pseudo color display using two or three spectral images as in the second embodiment.
  • the observation mode in the present embodiment an example has been described in which an image in two observation modes is displayed for easy confirmation even when both images are displayed. However, only one of the observation mode images is displayed. In the case of display, it may be as shown in FIGS. 32 (D) to 32 (F).
  • the configuration for displaying a normal image and a spectral image at the same time is as shown in FIG.
  • the superimposing unit 181 of FIG. 46 that selects one image and combines (superimposes) both images is used instead of the switching unit 439 that selects one image.
  • FIG. 49 and FIG. 50 relate to Embodiment 6 of the present invention
  • FIG. 49 is a diagram showing an arrangement of color filters
  • FIG. 50 is a diagram showing spectral sensitivity characteristics of the color filters of FIG.
  • the color filters provided in the CCD 21 are different from those in the first embodiment.
  • an RGB primary color filter is used as shown in FIG. 6, whereas in this embodiment, a complementary color filter is used.
  • This complementary color filter array is composed of G, Mg, Ye, and Cy elements as shown in FIG.
  • Fig. 50 shows the spectral sensitivity characteristics when the complementary color filter is used, the target bandpass filter, and the characteristics of the pseudo bandpass filter obtained from the above equations (27) to (33). Show.
  • the present embodiment as in the first embodiment, it is possible to obtain a spectral image in which a blood vessel pattern is clearly displayed. Further, in this embodiment, it is possible to enjoy the advantages of using the complementary color filter.
  • a new pseudo bandpass filter can be created by the operator himself / herself at other timings in the clinic and applied to the clinic.
  • a design unit (not shown) that can calculate and calculate matrix coefficients may be provided in the control unit 42 in FIG.
  • a new pseudo bandpass filter suitable for obtaining the spectral image that the operator wants to know can be designed by inputting conditions via the keyboard 451 provided on the endoscope main unit 105 shown in FIG. You may make it do.
  • the calculated matrix coefficients (corresponding to the elements of the matrix “A” in the equations (19) and (31)) are added to the correction coefficients (the equations (20) and (3) in the matrix “K”).
  • the final matrix coefficient (corresponding to each element of the matrix “ ⁇ '” in Eqs. (21) and (33)) in the matrix calculation unit 436 in FIG. Can be applied.
  • the color image signal generated from the image pickup signal picked up by the CCD 21 is mainly an RGB signal also called a color signal.
  • a spectral image signal may be generated from a color image signal composed of a luminance signal and a color difference signal.
  • the illumination light from the light source unit 31 is guided by the light guide 14 of the endoscope 101, and for example, a living tissue as a subject from the distal end surface of the light guide 14
  • the subject is illuminated by irradiating illumination light (guided) or the like.
  • a light emitting diode (abbreviated as LED) is arranged at the distal end portion 103 of the endoscope 101, and the subject is illuminated with illumination light emitted from the LED. You can do it. That is, in this case, the light source unit or the illumination unit is provided in the endoscope 101.
  • Example 7 of the present invention is described with reference to FIGS. 1 to 3, 51, 5 to 7, 52, 9 to 20, FIG. 53, FIG. 22, FIG. 54, FIG. 55, and FIG.
  • the description will be given with reference.
  • 51 is a block diagram showing the configuration of the electronic endoscope device of FIG. 3
  • FIG. 52 is a block diagram showing the configuration of the matrix calculation unit of FIG. 51
  • FIG. 55 is a block diagram showing a configuration of the biological function calculation unit
  • FIG. 56 is a diagram showing a display example on the monitor.
  • This embodiment displays biological function information related to tissue information of a desired deep part of biological tissue based on a spectral image obtained by signal processing, and can contribute to improvement of diagnostic ability.
  • the object is to provide a device.
  • the electronic endoscope apparatus 100 includes an endoscope 101, an endoscope apparatus body 105, and a display monitor 106.
  • the endoscope 101 is inserted into the body of the subject 102, the distal end portion 103 provided at the distal end of the insertion portion 102, and the distal end side of the insertion portion 102. It is mainly composed of an angle operation unit 104 for instructing a bending operation or the like of the unit 103.
  • the image of the subject acquired by the endoscope 101 is subjected to predetermined signal processing in the endoscope apparatus main body 105, and the processed image is displayed on the display monitor 106.
  • FIG. 51 is a block diagram of the simultaneous electronic endoscope apparatus 100.
  • the endoscope apparatus main body 105 mainly includes a light source section 41 as a lighting section, a control section 42, and a main body processing apparatus 43.
  • the control unit 42 and the main body processing device 43 constitute a signal processing control unit that controls the operation of the light source unit 41 and / or the CCD 21 as the imaging unit and outputs a video signal to the display monitor 106 that is a display device. Yes.
  • the operation panel 441, the coefficient control unit 442, the LUT 443, and the keyboard 451 are not provided in the embodiment 1 shown in FIG.
  • the biological function calculation unit 450 receives the output signals from the integrating units 438a, 438b, and 438c, generates index information representing the biological function, and outputs the information to the switching unit 439.
  • the configuration of the endoscope apparatus body 105 will be described in more detail.
  • the endoscope apparatus main body 105 which is a single unit, is described as having a light source section 41 and a main body processing apparatus 43 that performs image processing or the like.
  • 41 1 and the main unit processing unit 43 are configured as detachable units as separate units from the endoscope unit main unit 105.
  • the light source unit 41 is connected to the control unit 42 and the endoscope 101, and receives signals from the control unit 42. Irradiate white light (including the case that is not perfect white light) with a predetermined amount of light based on
  • the light source unit 41 includes a lamp 15 as a white light source, a chopper 16 for adjusting the amount of light, and a chopper driving unit 17 for driving the chopper 16.
  • the chopper 16 has a configuration as shown in FIG. 5, and since the configuration and operation thereof have been described in the first embodiment, the description thereof is omitted.
  • the light source unit 41 may adjust the light amount by controlling the current of the lamp 15 instead of controlling the light amount by the chopper.
  • a current control device for controlling the current of the lamp 15 is provided, and based on a command from the control unit 42, the current control device controls the current flowing through the lamp 15 so that none of the RGB power color image signals are saturated. Take control. Thereby, since the current used for light emission of the lamp 15 is controlled, the amount of light changes in accordance with the magnitude of the current.
  • the endoscope 101 connected to the light source unit 41 via the connector 11 includes an object lens 19 and a solid-state imaging device 21 such as a CCD (hereinafter simply referred to as a CCD) at the distal end portion 103.
  • a CCD solid-state imaging device 21
  • the CCD in this embodiment is a single plate type (CCD used for a simultaneous electronic endoscope) and is a primary color type.
  • Fig. 6 shows the arrangement of the color filters arranged on the CCD imaging surface.
  • Fig. 7 shows the spectral sensitivity characteristics of RGB in the color filter of Fig. 6.
  • the insertion unit 102 includes a light guide 14 that guides the light emitted from the light source unit 41 to the distal end portion 103, and an image of the subject obtained by the CCD. 43 is provided with a signal line for transmission to 43 and a forceps channel 28 for performing treatment. A forceps port 29 for inserting a forceps into the forceps channel 28 is provided in the vicinity of the operation unit 104.
  • the main body processing device 43 is connected to the endoscope 101 via the connector 11, similarly to the light source unit 41.
  • the main unit processing unit 43 includes a CCD drive circuit 431 for driving the CCD 21. Is provided.
  • the main body processing device 43 has a luminance signal processing system and a color signal processing system as signal circuit systems for obtaining a normal image.
  • the luminance signal processing system includes a contour correction unit 432 that is connected to the CCD 21 and performs contour correction, and a luminance signal processing unit 434 that generates a luminance signal from the data corrected by the contour correction unit 432.
  • the color signal processing system is connected to the CCD 21, performs sampling of the signal obtained by the CCD 21, and generates a RGB signal.
  • a color signal processing unit 435 for generating a color signal.
  • a normal image generation unit 437 that generates one normal image from the output of the luminance signal processing system and the output of the color signal processing system is provided, and the display is performed from the normal image generation unit 437 via the switching unit 439.
  • the Y signal, R_Y signal, and B_Y signal are sent to the monitor 106.
  • a matrix calculation unit 436 that receives the output signals (RGB signals) of the SZH circuits 433a to 433c and performs a predetermined matrix operation on the RGB signals is provided. Is provided. Matrix calculation refers to a process of performing addition processing on color image signals and multiplying the matrix obtained by the above-described matrix calculation method (or a modification thereof).
  • FIG. 52 shows a circuit diagram of the matrix calculation unit 436.
  • the RGB signals are input to the amplifiers 32a to 32c through the resistor groups 31a to 31c, respectively.
  • Each resistor group has a plurality of resistors to which RGB signals are respectively connected, and the resistance value of each resistor is a value corresponding to the matrix coefficient. In other words, the gain of the RGB signal is changed by each resistor and added (may be subtracted) by the amplifier.
  • the outputs of the amplifiers 32a to 32c are the outputs of the matrix operation unit 436.
  • the matrix calculation unit 436 performs so-called weighted addition processing. Note that the resistance value of each resistor used here may be variable.
  • the outputs of the matrix calculation unit 436 are input to the integration units 438a to 438c, respectively, and after integration is performed, the respective spectral image signals ⁇ F1 to ⁇ F3 are converted into the color adjustment unit 440 and the biological function calculation. Sent to part 450.
  • the color adjustment unit 440 performs color adjustment calculation described later on the spectral image signals ⁇ F1 to ⁇ F3, and outputs spectral channel image signals Rnbi, Gnbi, and Beh as spectral image signals subjected to color tone calculation. Each is generated and sent to the switching unit 439.
  • the R, G, and B channels of the display monitor 106 are not clearly shown in FIG. 51, but the spectral channel image signals Rnb i, Gnbi, and Bch are the R, G of the display monitor 106, respectively. , Output to B channel.
  • the spectral channel image signals Rnbi, Gnbi, and Bch are output to the R, G, and B channels of the display monitor 106 as an expression that focuses on the display color on the display monitor 106. You can also.
  • the biological function calculation unit 450 in the present embodiment is based on the spectral image signals ⁇ F1 to ⁇ F3, and is an index representing biological function, more specifically, hemoglobin having an oxygen metabolism function in blood in the living body.
  • a value (hemoglobin index; IHb) that correlates with the concentration of is calculated as biological function information by calculation.
  • the biological function calculation unit 450 generates a biological function image (included in the biological function information) such as the calculated IHb value force pseudo image (pseudo color image or gray scale image) and sends the generated biological function image to the switching unit 439.
  • a biological function image included in the biological function information
  • the calculated IHb value force pseudo image pseudo color image or gray scale image
  • the switching unit 439 switches the display of the normal image, the spectral image, and the biological function image (biological function information) on the display monitor 106, and can also switch and display the spectral images. That is, the operator can select and display a normal image, spectral channel image signals Rnbi, Gnbi, and Bnbi spectral channel images and biological function images. Further, a configuration may be adopted in which more than one image can be simultaneously displayed on the display monitor 106 by the switching unit 439.
  • the user can generally perform the normal image being observed.
  • the spectral channel image and the biological function image can be easily compared.
  • the user can easily observe the characteristics of the normal image and the spectral channel image (the characteristics of the normal image are easy to observe because the chromaticity is close to that of the normal naked eye. Can observe blood vessels, etc. Can be observed after adding Therefore, this example is very useful for diagnosis.
  • the chopper driving unit 17 is set to a predetermined position and rotates the chopper 16.
  • the luminous flux of the lamp 15 passes through the notch of the chopper 16 and is light guide 14 which is an optical fiber bundle provided in the connector 11 at the connection between the endoscope 101 and the light source 41 by the condenser lens. Condensed at the incident end of.
  • the condensed light flux passes through the light guide 14 and is irradiated into the body of the subject from the illumination optical system provided at the distal end portion 103.
  • the irradiated light beam is reflected in the subject, and signals are collected by the color filters shown in FIG. 6 in the CCD 21 via the objective lens 19.
  • the collected signals are input in parallel to the luminance signal processing system and the color signal processing system.
  • Signals collected for each color filter are added to the luminance signal system contour correction unit 432 for each pixel, and are input to the luminance signal processing unit 434 after contour correction.
  • the luminance signal processing unit 434 a luminance signal is generated, and the generated luminance signal is input to the normal image generation unit 437.
  • signals collected by the CCD 21 are input to the S / H circuits 433a to 433c for each filter, and R'G 'B signals are respectively generated. Further, the R′G ′ B signal is subjected to color signal processing by the color signal processing unit 435, and then, in the normal image generation unit 437, the Y signal, R ⁇ Y signal, B— A Y signal is generated. The Y signal, the RY signal, and the BY signal are output to the display monitor 106 via the switching unit 439, and the normal image of the subject is displayed on the display monitor 106. Next, an operation when observing a spectral image will be described. Note that those that perform the same operation as normal image observation are omitted here.
  • the operator operates the keyboard provided on the main body 105 or the operation unit 10 of the endoscope 101.
  • control unit 42 changes the control state of the light source unit 41 and the main body processing device 43.
  • control unit 42 changes the amount of light emitted from the light source unit 41 as necessary. As described above, since it is not desirable that the output from the CCD 21 is saturated, the control unit 42 reduces the amount of illumination light when observing the spectral image as compared with when observing the normal image. In addition, the control unit 42 can control the output signal from the CCD not to be saturated, and can change the amount of illumination light within a range where the signal is not saturated.
  • the signal output from the switching unit 439 is switched from the output of the normal image generation unit 437 to the output of the color adjustment unit 440.
  • the outputs of the S / H circuits 433a to 433c are amplified and added by the matrix calculation unit 436, and output to the integration units 438a to 438c according to the respective bands. Output to adjustment unit 440. Even when the amount of illumination light is reduced by the chopper 16, the signal intensity can be increased and the S / N can be improved as shown in Fig. 2 by storing and integrating in the integrating units 438a to 438c. A spectral image can be obtained.
  • the spectrum S (; i) of the light source shown in equation (6) is as shown in FIG. 9, and the reflection spectrum ⁇ ( ⁇ ) of the target organism shown in equation (7) is as shown in FIG. This foresight information is used.
  • the processing performed by the matrix calculation unit 436 is mathematically equivalent to the following matrix calculation.
  • the pseudo filter characteristics (shown as the characteristics of filter pseudo F1 to F3 in Fig. 7) can be obtained.
  • the matrix processing described above creates a spectral image signal by using a pseudo bandpass filter (matrix) generated in advance as described above for a color image signal.
  • the body cavity tissue 51 is composed of, for example, an absorber such as a blood vessel that differs in the depth direction. Often has a distribution structure. A large number of capillaries 52 are mainly distributed near the surface of the mucosa, and blood vessels 53 that are thicker than capillaries are distributed in the middle layer deeper than this layer in addition to capillaries. Will be distributed.
  • the depth of light in the depth direction of the body cavity tissue 51 depends on the wavelength of the light, and the illumination light including the visible range is blue (B In the case of light with a short wavelength such as color, the light can only reach the surface layer due to the absorption and scattering characteristics of living tissue, and it can be absorbed and scattered within the depth range up to that point and exit from the surface. Light is observed. In the case of green (G) color light, which has a longer wavelength than blue (B) color light, it reaches deeper than the range where blue (B) color light deepens, undergoes absorption and scattering within that range, and exits from the surface. Light is observed. Furthermore, red (R) color light having a wavelength longer than that of green (G) color light reaches a deeper range.
  • the image signal picked up by the CCD 21 with the B-band light is picked up with a band image having shallow and middle layer tissue information including a lot of tissue information in the shallow layer as shown in FIG.
  • the image signal picked up by the CCD 21 with G-band light is picked up with band images having shallow layer and middle layer tissue information as shown in FIG.
  • the image signal picked up by the CCD 21 with the R-band light is picked up with a band image having middle layer and deep layer tissue information including a lot of deep layer tissue information as shown in FIG.
  • the endoscope apparatus main body 105 performs signal processing on these RGB imaging signals, whereby an endoscopic image having a desired or natural color reproduction can be obtained as an endoscopic image.
  • the matrix processing in the matrix calculation unit 436 described above creates a spectral image signal using the pseudo bandpass filter (matrix) generated in advance as described above for the color image signal.
  • spectral image signals F1 to F3 are obtained by using pseudo bandpass filters F1 to F3 having discrete and narrow-band spectral characteristics that can extract desired deep tissue information as shown in FIG. As shown in FIG. 17, the pseudo bandpass filters F1 to F3 have overlapping wavelength ranges. (4) The spectral image signal F3 from the pseudo bandpass filter F3 is captured with a band image having tissue information in the shallow layer as shown in FIG.
  • a band image having tissue information in the middle layer as shown in FIG. 19 is captured in the spectral image signal F2 by the pseudo bandpass filter F2, and further,
  • a band image having tissue information in the deep layer as shown in FIG. 20 is captured in the spectral image signal F1 by the pseudo bandpass filter F1.
  • the color adjustment unit 440 uses the spectral image signal F1 (to the R channel of the display monitor 106) as an example of the simplest color conversion.
  • Spectral channel image signal Gnbi and spectral image signal F3 output to display monitor 106 B channel
  • the color adjustment rod 440 includes a 3 X 3 matrix circuit 61 and a 3 thread LUT 62a, 62b, 62c, 63a
  • the color conversion processing circuit 440a comprises 63b, 63c, and a tape change data LUT6 2a, 62b, 62c, 63a, 63b, 63c and a coefficient changing circuit 64 for changing the coefficient of the 3 X 3 matrix circuit 61. ing.
  • the spectral image signals F1 to F3 input to the color conversion processing circuit 440a are subjected to inverse ⁇ correction, nonlinear contrast conversion, and the like by the LUTs 62a, 62b, and 62c for each band data.
  • the tape change data of these LUTs 62a, 62b, 62c, 63a, 63b, 63c and the coefficients of the 3 ⁇ 3 matrix circuit 61 can be changed by the coefficient changing circuit 64.
  • the change by the coefficient changing circuit 64 is performed based on a control signal from a processing conversion switch (not shown) provided in the operation unit or the like of the endoscope 101.
  • Equation (22) shows an example of a color conversion equation
  • the processing according to this equation (22) is performed by using spectral image signals Fl to F3 with short wavelengths as spectral channel image signals Rnbi, Gnbi, and Bnbi that are output to the R, G, and B color channels of the display monitor 106, respectively. Color conversion is assigned in order.
  • the color conversion processing circuit 440a performs color conversion using a matrix computing unit composed of 3 X 3 matrix circuit 61, but this is not restrictive, and color conversion processing means can be used with a numerical processor (CPU) or LUT. You can configure it.
  • the color conversion processing circuit 440a is configured with the 3 X 3 matrix circuit 61 as the center, and as shown in Fig. 54, the color conversion processing circuit 440a corresponds to each band 3
  • the coefficient changing circuit 64 performs an operation of changing the contents of the table based on a control signal from a processing conversion switch (not shown) provided in the operation unit or the like of the endoscope 101.
  • the operator operates the biological function by operating the keyboard provided in the main body 105 or the switch provided in the operation unit 104 of the endoscope 101.
  • an IHb value is calculated by an IHb value calculation circuit 450a shown in FIG. 55 using two pieces of band image information among the spectral image signals F1 to F3.
  • equation (34) is used, and this equation utilizes the fact that the G-band image strongly reflects blood information.
  • the images of B and G differ in the depth at which blood exists, and B reflects information on the surface layer and G in a deeper layer position.
  • the biological function calculation unit 450 treats the spectral image signal F1 corresponding to the R band as the R signal, the spectral image signal F2 corresponding to the G band as the G signal, and the spectral image signal F3 corresponding to the B band as the B signal. Then, by switching the operation of the selector 451 provided in the IHb calculation circuit 450a according to an instruction from an operation switch or the like, the biological function calculation unit 450 allows the IHb value of the mucosal middle layer based on the G information according to Equation (34), Switch between the IHb value of the mucosal surface layer based on the B information in Eq. (35).
  • the user can separately confirm the tissue information of a desired deep portion near the tissue surface of the living tissue.
  • the IHb calculation circuit 450a includes a selector 451, a divider 452, a logarithmic converter 453, and a multiplier 454, as shown in FIG.
  • the spectral image signal F1 as the R signal and the spectral image signal F2 as the G signal selected by the selector 451 or the spectral image signal F3 as the B signal are input to the divider 452, and R / G Or R / B is calculated.
  • the output of the divider 452 is input to the Log conversion unit 453, and the Log conversion unit 453 performs logarithmic conversion using a conversion table on the ROM or the like.
  • the logarithmically converted signal is multiplied by a predetermined coefficient in a multiplier 454, and an IHb value for each pixel is calculated.
  • a pseudo color image or the like is generated based on the calculated IHb value for each pixel, and the pseudo color image or the like is output to the display monitor 106 via the switching unit 439.
  • the display monitor 106 displays a normal color image 106A on the left side of the screen.
  • the observation image 106C based on the spectral channel image is displayed on the right side, and the biological function image 106C based on the IHb value is displayed below the observation image 106B.
  • the display monitor 106 includes a normal image, an observation image color-converted into a color tone suitable for observation of tissue information at a desired depth, and a living body based on the IHb value of the tissue corresponding to the observation image. Function information is displayed at the same time. According to the present embodiment, the diagnostic ability by the operator can be improved.
  • the spectral image signal F2 is assigned to the spectral channel image signal Gnbi (G channel of the display monitor 106) by color conversion processing according to equation (22), and the vascular network near the middle layer is observed in the red pattern observation image.
  • it calculates the IHb value of the mucosal middle layer based on the G information from the spectral image signals F1 and F2, and displays the biological function image. This display makes it possible for the surgeon to easily grasp changes in hemodynamics due to hemoglobin distribution.
  • the vascular network existing in the vicinity of the mucosal surface is expressed as a yellow pattern in the observation image.
  • the yellow pattern tends to have low contrast and low visibility with the background mucosa. There is. Changes in the pattern near the mucosal surface are particularly important for early differential diagnosis.
  • the processing according to this equation (23) is a conversion example in which the spectral image signal F1 is mixed with the spectral image signal F2 at a certain ratio and the generated data is newly converted into the spectral channel image signal Gnbi. It becomes possible to clarify more that the absorbing scatterer is different in the depth position.
  • the user can adjust the display effect.
  • the operation it is provided in the operation part of the endoscope 101.
  • the matrix coefficient is set to a default value from the through operation in the image processing means in conjunction with the mode switching switch (not shown).
  • the through operation here means a state in which the 3 ⁇ 3 matrix circuit 61 has unit rows U, and LUTs 62a, 62b, 62c, 63a, 63b, 63c are mounted with non-converting tables.
  • the biological function calculation unit 450 is provided with a calculation unit that calculates feature values such as the average value of IHb, the standard deviation of IHb, and the kurtosis of IHb in the entire image. These numerical values may be displayed on the screen of the display monitor 106 together with the biological function image based on the IHb value.
  • a pseudo narrowband filter is generated by using a color image signal for generating a normal electronic endoscopic image (normal image).
  • a spectral image having tissue information of a desired deep portion such as a blood vessel pattern can be obtained without using an optical wavelength narrow bandpass filter for images.
  • the parameter of the color conversion processing circuit 440a of the color adjustment unit 440 is set according to the spectroscopic image, so that the depth information at the time of narrow-band spectral image observation is characterized. This makes it possible to realize an expression method that takes advantage of the above, and can effectively separate and visually recognize desired deep tissue information near the tissue surface of a living tissue.
  • an observation image having a color tone suitable for observation and biological function information such as a pseudo image based on the IHb value are displayed.
  • a pseudo image based on the IHb value By displaying at the same time, it is possible to easily grasp, for example, the state of depression. Therefore, as in the prior art, it is not necessary to frequently switch various images, and the images can be easily compared and contrasted, which has the effect of improving the diagnostic ability.
  • FIG. 57 is a block diagram showing the configuration of the matrix computing section according to Embodiment 8 of the present invention. Since the eighth embodiment is almost the same as the seventh embodiment, only differences from the seventh embodiment will be described, the same reference numerals are given to the same components, and the description thereof will be omitted.
  • This embodiment is mainly different from the seventh embodiment in the matrix calculation unit 436.
  • the matrix operation is performed by so-called hardware processing by an electronic circuit.
  • this matrix operation is performed by numerical data processing (processing by software using a program).
  • FIG. 57 shows a specific configuration of the matrix calculation unit 436 in the present embodiment.
  • the matrix calculation unit 436 has an image memory 50 for storing RGB color image signals.
  • the coefficient register 151 stores each value of the matrix “A ′” shown in the equation (21) as numerical data.
  • the coefficient register 151 and the image memory 50 are connected to the multipliers 53a to 53i, and further the multipliers
  • the multipliers 53a, 53d, and 53g are connected to the multiplier 54a, and the output power of the multiplier 54a is connected to the multiplication unit 438a in FIG.
  • the multipliers 53b, 53e, and 53h are connected to the multiplier 54b, and the output thereof is connected to the integrating unit 438b.
  • the multipliers 53c, 53f, and 53i are connected to the multiplier 54c, and the output thereof is connected to the integrating unit 438c.
  • input RGB image data is once stored in the image memory 50.
  • each coefficient of the matrix “ ⁇ ′” is stored in the image memory 50 from the coefficient register 151, and the multiplier Multiplied by
  • FIG. 57 shows an example in which the R signal and each matrix coefficient are multiplied by multipliers 53a to 53c. Also, as shown in the figure, the G signal and each matrix coefficient are multiplied by multipliers 53d to 53f, and the B signal and each matrix coefficient are multiplied by multipliers 53g to 53i.
  • the data multiplied by the Matritus coefficient is the output of the multiplier 53a, 53d, 53g is the multiplier 54a, the output power S of the multiplier 53b, 53e, 53h, the multiplier 54b, and the multiplier 53c, The outputs of 53f and 53i are multiplied by a multiplier 54c.
  • the output of the multiplier 54a is sent to the accumulator 438a.
  • the outputs of the multiplier 54b and the multiplier 54c are sent to the integrating units 438b and 438c, respectively.
  • the spectral pattern in which the blood vessel pattern is clearly displayed is displayed.
  • An observation image can be obtained, and biological function information related to the spectroscopic observation image can be displayed.
  • FIG. 58 and 59 relate to the ninth embodiment of the present invention
  • FIG. 58 is a block diagram showing the configuration of the electronic endoscope apparatus
  • FIG. 59 is a diagram showing the charge accumulation time of the CCD of FIG.
  • the ninth embodiment has almost the same configuration as that of the seventh embodiment, only differences from the seventh embodiment will be described, and the same components will be denoted by the same reference numerals and the description thereof will be omitted.
  • the present embodiment is different from the seventh embodiment in the light source unit 41 and the CCD 21.
  • the CCD 21 is provided with the color filter shown in FIG. 6 and is a so-called simultaneous type in which a color imaging signal is generated by this color filter.
  • a so-called frame-sequential CCD21 is used that illuminates light in the order of R GB and generates color image signals.
  • a diaphragm 25 is provided in front of the lamp 15, and an RGB filter 23 is provided in front of the diaphragm 25.
  • the diaphragm 25 is connected to the diaphragm control unit 24, and in accordance with a control signal from the diaphragm control unit 24, the transmitted light is limited among the light beams irradiated with the lamp 15 force, and the light quantity is changed.
  • the RGB rotation filter 23 is connected to the RGB rotation filter control unit 26 and rotates at a predetermined rotation speed.
  • the operation of the light source unit 41 in this embodiment includes the luminous flux output from the lamp 15
  • the luminous flux that has been limited to a predetermined light quantity by 25 and has passed through the aperture 25 passes through the RGB filter 23.
  • R′G′B illumination light is output from the light source unit 41 every predetermined time.
  • Each illumination light is reflected in the subject and received by the CCD 21.
  • Signals obtained by the CCD 21 are distributed by a switching unit (not shown) provided in the endoscope apparatus main body 105 according to the irradiation time, and input to the S / H circuits 433a to 433c, respectively.
  • the signal obtained in 1 is input to the SZH circuit 433a. Since other operations are the same as those in the seventh embodiment, they are omitted here.
  • the present embodiment has the ability to enjoy the benefits of the so-called frame sequential method.
  • this merit can be mentioned, for example, as in Example 10 described later.
  • the illumination light quantity (light quantity from the light source unit) is controlled and adjusted in order to avoid saturation of the RGB color signal.
  • charge proportional to the intensity of light incident within a certain time is accumulated, and the amount of charge is used as a signal. What corresponds to the charge accumulation time for accumulating this charge is what is called an electronic shutter.
  • control of the amount of illumination light is used to obtain a normal image, and when obtaining a spectral image, the saturation of RGB color signals is avoided by changing the electronic shutter. Is possible.
  • FIG. 60 shows the charge accumulation time of the CCD according to Example 10 of the present invention.
  • the tenth embodiment has almost the same configuration as the ninth embodiment, only differences from the ninth embodiment will be described, and the same components will be denoted by the same reference numerals and description thereof will be omitted.
  • the CCD drive circuit 431 that can change the charge accumulation time of the CCD 21 is provided.
  • Other configurations are the same as those in the ninth embodiment, and are omitted here.
  • the operation of the present embodiment is as follows.
  • the CCD drive circuit 431 is operated by the electronic shutter in the CCD 21. Change the charge accumulation time.
  • td r, tdg, tdb are the charge accumulation times of the CCD 21 when the illumination light is R'G'B (in this figure, the B color image signal has no accumulation time) tdb is omitted).
  • the F 3 pseudo filter image in the case of performing the matrix processing expressed by the equation (21) is obtained from an RGB image normally obtained by an endoscope,
  • the B component is added to the signal obtained by simply inverting only the R and G components. As a result, it is possible to obtain the same spectral image as in the seventh to ninth embodiments.
  • the matrix calculation unit 436 can simply perform addition and difference processing. It is possible to simplify the process.
  • FIG. 61 and 62 relate to Embodiment 11 of the present invention
  • FIG. 61 is a diagram showing an arrangement of color filters
  • FIG. 62 is a diagram showing spectral sensitivity characteristics of the color filters of FIG.
  • Example 11 is almost the same as Example 7, only differences from Example 7 will be described, and the same components will be assigned the same reference numerals and descriptions thereof will be omitted.
  • the present embodiment is mainly different from the seventh embodiment in the color filters provided in the CCD 21.
  • an RGB primary color filter is used as shown in FIG. 6, whereas in this embodiment, a complementary color filter is used.
  • this complementary color filter array is composed of G, Mg, Ye, and Cy elements.
  • the endoscope apparatus body 105 reads all the pixels of the CCD 21 and performs signal processing or image processing on the image from each color filter. Also, if the equations (1) to (8) and (19) to (21) for the primary color filter are modified in the case of the complementary color filter, the following equation (27) ). However, the target narrowband bandpass filter has the same characteristics.
  • Fig. 62 shows the spectral sensitivity characteristics when the complementary color filter is used, the target bandpass filter, and the characteristics of the pseudo bandpass filter obtained by the above equations (27) to (33). Show.
  • a new pseudo bandpass filter can be created by the operator himself / herself at other timings in the clinic and applied to the clinic. That is, As shown in Example 7, the control unit 42 in FIG. 51 is provided with a design unit (not shown) that can calculate and calculate matrix coefficients.
  • FIG. 63 shows a flow until clinical application. This flow will be described in detail.
  • the operator inputs information on a target bandpass filter (for example, a wavelength band) via a keyboard or the like.
  • a target bandpass filter for example, a wavelength band
  • the matrix “A” is calculated along with the light source already stored in a predetermined storage device, the characteristics of the CCD color filter, etc., and as shown in FIG. Along with the above characteristics, the calculation result (pseudo bandpass filter) force spectrum of the matrix “A '” is displayed on the monitor.
  • the operator After the operator confirms the calculation result, if the newly created matrix " ⁇ '" is to be used, the operator performs the setting and uses this matrix " ⁇ '" A mirror image is generated.
  • the newly created matrix “ ⁇ ′” is stored in a predetermined storage device and can be used again according to a predetermined operation by the operator.
  • the operator can generate a new bandpass filter based on his / her own experience, etc., without being constrained by the existing matrix “ ⁇ '”, which is particularly effective when used for research purposes. It is expensive.
  • a spectral image signal is generated from a color image signal (biological signal) by electrical signal processing, and further provided with color tone adjustment means and coefficient switching means. High reliability can be secured even in different cases, and operability is good The image can be displayed in the state.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 生体観測装置は、白色光の照明光により照明された被検体を、複数の広帯域の波長透過特性の色フィルタを用いた第1の撮像信号、若しくは可視領域をカバーする面順次照明光の照明下で撮像された第2の撮像信号に対する信号処理を行い、カラー画像信号を生成するカラー画像信号生成部を有する。この生体観測装置は、第1若しくは第2の撮像信号に基づき、カラー画像信号に対する信号処理により、狭帯域の画像信号に対応する分光画像信号を生成する分光画像信号生成部を有する。この生体観測装置は、分光画像信号を表示させる際の表示色の変換を行う表示色変換部等における特性変更設定部、表示される画像を含む情報の切替及び/又は確認の指示操作を行うためのインターフェース部等の1つを具備する。

Description

明 細 書
生体観測装置
技術分野
[0001] 本発明は、生体を撮像して得られるカラー画像信号を利用して、信号処理により擬 似的な狭帯域フィルタに対応する分光画像信号を生成し、分光画像としてモニタ上 に表示する生体観測装置に関する。
背景技術
[0002] 従来より、生体観測装置として、照明光を照射し体腔内の内視鏡画像を得る内視 鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を 体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を 有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段からの撮像信号を 信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察 するようになつている。
[0003] 内視鏡装置において通常の生体組織観察を行う場合は、 1つの方式としては、光 源装置で可視光領域の白色光を発光し、例えば RGB等の回転フィルタを介すること で面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同 時化し画像処理することでカラー画像を得ている。また、内視鏡装置において通常の 生体組織観察を行う場合は、別の方式としては、内視鏡の撮像手段の撮像面の前面 にカラーチップを配し、光源装置で可視光領域の白色光を発光し、該白色光による 戻り光をカラーチップにて各色成分毎に分離することで撮像し、ビデオプロセッサで 画像処理することによってカラー画像を得ている。
[0004] 生体組織は、照射される光の波長により光の吸収特性及び散乱特性が異なるため 、例えば日本国特開 2002— 95635号公報において、可視光領域の照明光を離散 的な分光特性の狭帯域な RGB面順次光を生体組織に照射し、生体組織の所望の 深部の組織情報を得る狭帯域光内視鏡装置が提案されている。
[0005] また、 日本国特開 2003— 93336号公報において、可視光領域の照明光による画 像信号を信号処理し離散的な分光画像を生成し、生体組織の所望の深部の組織情 報を得る狭帯域光内視鏡装置が提案されている。
[0006] 上記日本国特開 2003— 93336号公報に記載の装置では、光学的に狭帯域バン ドパスフィルタを用いることなく、広帯域の波長帯域で撮像されたカラー画像信号 (或 いは生体信号ともいう)から (擬似的狭帯域バンドパスフィルタに相当する)マトリックス 演算による電気的な演算処理により、狭帯域バンドパスフィルタを用いた場合に得ら れるような分光画像信号を生成する処理を行う。
[0007] し力 ながら、この日本国特開 2003— 93336号公報に記載の装置では、観察しよ うとする生体組織が異なると、その分光反射特性が異なり、生成される分光画像信号 が変動してしまう等、生成される分光画像信号の精度が低下する等の欠点がある。 例えば食道粘膜の場合とか胃或いは大腸の粘膜を観察対象とする場合とでは、両 者の粘膜組織の種類が異なる (例えば食道粘膜は重層扁平上皮、胃は単層円柱上 皮)ため、分光反射特性が異なり、生成される分光画像信号が変動する等の欠点が ある。
[0008] また、上記日本国特開 2003— 93336号公報に記載の装置では、分光画像信号 を表示手段又は表示出力装置に表示出力する際の色調を変更できない欠点がある このように、 日本国特開 2003— 93336号公報に記載の装置は、カラー画像信号 力 分光画像信号を電気的に生成する利点を有するが、さらに分光画像信号をユー ザが望む色調や、適切な色調に変換して表示したり、カラー画像信号 (通常画像信 号)と分光画像信号とを切替えて表示する等、より操作性を向上できるインターフエ一 ス手段等が装備されることが望まれる。
[0009] また、 日本国特開 2003— 93336号公報に記載の装置は、得られた分光画像を 単にモニタに出力している。このため、 日本国特開 2003— 93336号公報に記載の 装置ではモニタに表示される画像が生体組織の所望の深部の組織情報の観察に適 した色調の画像とならない虞があるば力、りでなぐ血液中のヘモグロビン濃度等の生 体が有する生体機能情報との関連を把握することが困難となる。
[0010] 本発明は上述した点に鑑みてなされたもので、カラー画像信号から分光画像信号 を電気的に生成する機能を備え、さらに生体の組織等が異なる場合にも適切に対応 できる分光画像信号を生成できるようにしたり、分光画像の観察等に関する操作性を 向上できる生体観測装置を提供することを目的とする。
[0011] また、本発明は、信号処理により得られる分光画像信号に基づき、生体の血液に 関連する生体機能情報を算出でき、診断能の向上に寄与することのできる生体観測 装置を提供することを目的としている。
発明の開示
課題を解決するための手段
[0012] 本発明の第 1の形態に係る生体観測装置は、白色光の照明光により照明された被 検体を、複数の広帯域の波長透過特性の色フィルタを備えた第 1の撮像装置により 撮像した第 1の撮像信号、若しくは可視領域をカバーする互いに異なる複数の広帯 域の波長領域の面順次照明光により照明された被検体を、第 2の撮像装置により撮 像した第 2の撮像信号に対する信号処理を行い、表示装置にカラー画像として表示 するためのカラー画像信号を生成するカラー画像信号生成部と、
前記第 1の撮像信号若しくは前記第 2の撮像信号に基づき、前記カラー画像信号 の生成に用レ、られる色信号若しくは前記カラー画像信号に対する信号処理により、 狭帯域の波長領域の照明光により照明された被検体を撮像した場合に得られる狭帯 域の画像信号に対応する分光画像信号を生成する分光画像信号生成部と、 前記分光画像信号に対して、表示装置に分光画像として表示させる際の表示色の 変換を行う表示色変換部と、
前記分光画像信号生成部における前記分光画像信号の生成特性の変更設定を する特性設定部、前記色変換部の表示色を変更設定する表示色変更設定部、表示 装置に表示される画像を含む情報の切替及び/又は確認の指示操作を行うための インターフェース部とにおける前記特性設定部、前記表示色変更設定部、及び前記 インターフェース部との少なくとも一つと、
を具備することを特徴とする。
[0013] 上記構成により、カラー画像信号から分光画像信号を電気的に生成する機能を備 え、さらに、分光画像の表示色を変更したり、生成される分光画像信号の特性を生体 組織等に応じた変更で対応したり、表示装置に表示される画像の確認等を行えるよう にして操作性を向上できるようにしている。
[0014] 本発明の第 2の形態に係る生体観測装置は、白色光の照明光により照明された被 検体を、複数の広帯域の波長透過特性の色フィルタを備えた第 1の撮像装置により 撮像した第 1の撮像信号、若しくは可視領域をカバーする互いに異なる複数の広帯 域の波長領域の面順次照明光により照明された被検体を、第 2の撮像装置により撮 像した第 2の撮像信号に対する信号処理を行い、表示装置にカラーの通常画像とし て表示するための通常画像信号を生成する通常画像信号生成部と、
前記第 1の撮像信号若しくは前記第 2の撮像信号に基づき、前記カラー画像信号 の生成に用レ、られる色信号若しくは前記カラー画像信号に対する信号処理により、 狭帯域の波長領域の照明光により照明された被検体を撮像した場合に得られる狭帯 域の画像信号に対応する分光画像信号を生成する分光画像信号生成部と、 前記分光画像信号に基づき前記被検体を生体とした場合における生体の血液に 関連する生体機能情報を算出する生体機能情報算出部と、
を有することを特徴とする。
[0015] 上記構成により、分光画像信号と共に、生体の血液に関連する生体機能情報を算 出すること力 Sできるようにしてレ、る。
図面の簡単な説明
[0016] [図 1]図 1は、本発明の実施例 1に係るカラー画像信号から分光画像信号を作成する 際の信号の流れを示した概念図。
[図 2]図 2は、本発明の実施例 1に係る分光画像信号の積分演算を示す概念図。
[図 3]図 3は、本発明の実施例 1に係る電子内視鏡装置の外観を示す外観図。
[図 4]図 4は、図 3の電子内視鏡装置の構成を示すブロック図。
[図 5]図 5は、図 4のチョッパーの外観を示す外観図。
[図 6]図 6は、図 4の CCDの撮像面に配置される色フィルタの配列を示す図。
[図 7]図 7は、図 6の色フィルタの分光感度特性を示す図。
[図 8]図 8は、図 4のマトリックス演算部の構成を示す構成図。
[図 9]図 9は、本発明の実施例 1に係る光源のスペクトルを示すスペクトル図。
[図 10]図 10は、本発明の実施例 1に係る生体の反射スペクトルを示すスペクトル図。 [図 11]図 11は、図 4の電子内視鏡装置により観察する生体組織の層方向構造を示 す図。
園 12]図 12は、図 4の電子内視鏡装置からの照明光の生体組織の層方向への到達 状態を説明する図。
園 13]図 13は、白色光の各バンドの分光特性を示す図。
[図 14]図 14は、図 13の白色光による各バンド画像を示す第 1の図。
園 15]図 15は、図 13の白色光による各バンド画像を示す第 2の図。
[図 16]図 16は、図 13の白色光による各バンド画像を示す第 3の図。
園 17]図 17は、図 8のマトリックス演算部で生成された分光画像の分光特性を示す図
[図 18]図 18は、図 17の各分光画像を示す第 1の図。
[図 19]図 19は、図 17の各分光画像を示す第 2の図。
[図 20]図 20は、図 17の各分光画像を示す第 3の図。
[図 21]図 21は、図 21は図 4の色調整部の構成を示すブロック図。
[図 22]図 22は、図 21の色調整部の作用を説明する図。
[図 23]図 23は、図 4の色調整部の変形例の構成を示すブロック図。
[図 24]図 24は、図 17の分光画像の第 1の変形例の分光特性を示す図。
園 25]図 25は、図 17の分光画像の第 2の変形例の分光特性を示す図。
園 26]図 26は、図 17の分光画像の第 3の変形例の分光特性を示す図。
園 27]図 27は、分光画像観察モードに切り替えた場合、手動で係数切替を行う動作 を示すフローチャート。
園 28]図 28は、係数切替を集中コントローラや音声入力で行えるようにした変形例の 電子内視鏡装置の構成を示すブロック図。
園 29]図 29は、内視鏡等に IDメモリを設けた場合の電子内視鏡装置の構成を示す ブロック図。
[図 30]図 30は、図 29の構成の場合における装置側の組み合わせにより係数切替を 行う動作のフローチャート。
[図 31]図 31は、図 30における動作において、さらに観察モードの表示を行うようにし た場合の動作の一部を示すフローチャート。
園 32]図 32は、通常画像と分光画像を表示した場合観察モードも明示的に表示した 例を示す図。
園 33]図 33は、図 29の構成の場合に観察モードの切替に連動してパラメータも変更 設定する動作のフローチャート。
[図 34]図 34は、図 33の変形例の一部の動作のフローチャート。
園 35]図 35は、本発明の実施例 2に係る電子内視鏡装置における色調整部周辺部 の構成を示すブロック図。
園 36]図 36は、実施例 2の変形例における色調整部周辺部の構成を示すブロック図
[図 37]図 37は、本発明の実施例 3に係る電子内視鏡装置の構成
[図 38]図 38は、マトリックス演算部の構成を示すブロック図。
[図 39]図 39は、実施例 3における動作説明用のフローチャート。
[図 40]図 40は、実施例 3の変形例における動作の一部を示すフローチャート。
[図 41]図 41は、本発明の実施例 4に係る電子内視鏡装置の構成を示すブロック図。
[図 42]図 42は、図 41における色調判定部の構成例を示すブロック図。
[図 43]図 43は、実施例 4の変形例における動作の一部を示すフローチャート。
[図 44]図 44は、 CCDの電子シャッターによる電荷蓄積時間を示す説明図。
[図 45]図 45は、 CCDの電子シャッターによる電荷蓄積時間をより具体的に示す説明
[図 46]図 46は、本発明の実施例 5に係る電子内視鏡装置の構成を示すブロック図。
[図 47]図 47は、実施例 5における表示モニタでの通常画像や分光画像の表示例を 示す図。
園 48]図 48は、変形例における表示モニタでの通常画像や分光画像の表示例を示 す図。
[図 49]図 49は、本発明の実施例 6に係る色フィルタの配列を示す図
[図 50]図 50は、図 49の色フィルタの分光感度特性を示す図。
[図 51]図 51は、本発明の実施例 7に係る電子内視鏡装置の構成 [図 52]図 52は、図 51のマトリックス演算部の構成を示す構成図。
[図 53]図 53は、図 51の色調整部の構成を示すブロック図。
[図 54]図 54は、図 51の色調整部の変形例の構成を示すブロック図。
[図 55]図 55は、図 51の生体機能演算部の構成を示すブロック図。
[図 56]図 56は、モニタへの表示例を示す図。
[図 57]図 57は、本発明の実施例 8に係るマトリックス演算部の構成を示すブロック図。
[図 58]図 58は、本発明の実施例 9に係る電子内視鏡装置の構成を示すブロック図。
[図 59]図 59は、図 58の CCDの電荷蓄積時間を示す図。
[図 60]図 60は、本発明の実施例 10に係る CCDの電荷蓄積時間を示す図。
[図 61]図 61は、本発明の実施例 11に係る色フィルタの配列を示す図。
[図 62]図 62は、図 61の色フィルタの分光感度特性を示す図。
[図 63]図 63は、本発明に係る変形例におけるマトリックス演算の際のフローチャート。 発明を実施するための最良の形態
[0017] 以下、図面を参照して本発明の実施例を説明する。
(実施例 1)
図 1から図 34を参照して本発明の実施例 1を説明する。
[0018] 本発明の実施例 1における生体観測装置としての電子内視鏡装置では、照明用光 源力 被検体である生体に照明光を照射し、その照射光に基づいて生体力 反射さ れる光を撮像部である固体撮像素子にて受光して光電変換された撮像信号力 広 帯域のカラー画像信号を生成すると共に、このカラー画像信号力 光学的波長が狭 帯域の画像信号に対応する分光画像信号を信号処理によって生成する。
[0019] 以下、本発明に係る実施例 1について説明する前に、本発明の基礎となるマトリック ス算出方法について説明する。ここで、マトリックスとは、カラー画像(以下通常画像と 呼ぶ)を生成するために取得されるカラー画像信号から、分光画像信号を生成する 際に用いられる所定の係数である。
[0020] また、このマトリックスの説明に続き、より正確な分光画像信号を求めるための補正 方法、生成された分光画像信号の S/Nを向上させる S/Nの改善方法にっレ、て説 明する。なお、この補正方法、 S/Nの改善方法に関しては、必要に応じて使用すれ ば良い。また、以下、ベクトル及び行列(マトリックス)は太文字あるいは「」(例えば、 行列 Aを" Aの太文字"あるいは"「A」 "と表記)で、それ以外は文字修飾なしで表記 する。
[0021] (マトリックス算出方法)
図 1は、カラー画像信号 (ここでは、説明を簡単にするために、 R'G'Bとするが、後 述する実施例のように、補色型固体撮像素子においては、 G' Cy'Mg 'Yeの組合せ でも良い)から、光学的波長狭帯域の画像に対応する分光画像信号を生成する際の 信号の流れを示した概念図である。
[0022] まず、電子内視鏡装置は、 R'G'Bのそれぞれのカラー感度特性を数値データ化 する。ここで、 R'G'Bのカラー感度特性とは、白色光の光源を用い、白色の被写体を 撮像する時にそれぞれ得られる波長に対する出力の特性である。
[0023] なお、 R'G'Bのそれぞれのカラー感度特性は、簡略化したグラフとして各画像デ ータの右に示されている。また、この時の、 R'G' Bのカラー感度特性をそれぞれ n次 元の列ベクトル「R」 ·「G」 ·「B」とする。
[0024] 次に、電子内視鏡装置は、抽出したい分光画像用狭帯域パンドパスフィルタ Fl 'F 2 'F3 (電子内視鏡装置は、先見情報として、構造を効率よく抽出できるフィルタの特 性を知っている。このフィルタの特性とは、波長帯域が略 590nm〜略 610nm、略 530η m〜略 550nm、略 400m〜略 430nmをそれぞれ通過帯域とするものである。)の特性を 数値データ化する。
[0025] なお、ここで"略"とは、波長においては ± 10nm程度を含む概念である。この時のフ ィルタの特性をそれぞれ n次元の列ベクトル「F」 ·「F」 ·「F」とする。得られた数値デ
1 2 3
ータを基に、以下の関係を近似する最適な係数セットを求める。即ち、
ほ女 1]
Figure imgf000010_0001
となるマトリックスの要素を求めればょレ、。
上の最適化の命題の解は数学的には、以下のように与えられる。 R'G' Bのカラー 感度特性を表すマトリックスを「c」、抽出したい狭帯域パンドパスフィルタの分光特性 を表すマトリックスを「F」、主成分分析或いは直交展開(或いは直交変換)を実行す るところの、求める係数マトリックスを「A」とすると、
¾2] a, a-, a-ヽ
C = fR G B)
Figure imgf000011_0001
bl b2 b3 F = (Ft F2 F3
c, cつ c- となる。従って、(1)式に示した命題は、以下の関係を満足する係数マトリックス「A」 を求めるに等しい。
ほ女 3]
Figure imgf000011_0002
ここで、分光特性を表すスぺクトノレデータとしての点列数 nとしては、 n > 3であるので 、(3)式は 1次元連立方程式ではなぐ線形最小二乗法の解として与えられる。即ち 、(3)式力 擬似逆行列を解けばよい。マトリックス「C」の転置行列を C」とすれば、 (3)式は
]
Figure imgf000011_0003
となる。 「 CC」は η Χ ηの正方行列であるので、(4)式は係数マ W 二つレ、て の連立方程式と見ることができ、その解は、
ほ女 5]
Figure imgf000011_0004
で与えられる。
(5)式にて求められた係数マトリックス「A」について、電子内視鏡装置は、(3)式の 左辺の変換を行うことで、抽出したい狭帯域パンドパスフィルタ F1 'F2 'F3の特性を 近似させることができる。以上が、本発明の基礎となるマトリックス算出方法の説明で ある。
[0029] このようにして算出されたマトリックスを用いて、後述するマトリックス演算部 436が力 ラー画像信号から分光画像信号を生成する。
[0030] 上記のようにしてマトリックス演算部 436等による信号処理により、(RGBの広帯域 バンドパスフィルタから)算出される狭帯域バンドパスフィルタ F1 'F2 'F3に該当する ものが分光画像信号となるため、後述する実施例においては分光画像信号として F1
•F2-F3を用いる。
[0031] また、分光画像信号としての F1 'F2 'F3は、電気的な信号処理により生成される狭 帯域バンドパスフィルタに相当するものであるため、その分光特性的な特徴を明示す るために、擬似狭帯域バンドパルフィルタが用いられる場合もある。
[0032] (補正方法)
次に、より正確な分光画像信号を求めるための補正方法について説明する。
[0033] 上述のマトリックス算出方法の説明においては、 CCD等の固体撮像素子が受光す る光束が、完全な白色光(可視域において、全ての波長強度が同じ)である場合に正 確に適用されるものである。即ち、 RGBの出力がいずれも同じである場合に、最適な 近似となる。
[0034] しかし、実際の内視鏡観察下では、照明する光束 (光源の光束)は完全な白色光で はなぐ生体の反射スペクトルも一律ではないので、固体撮像素子が受光する光束も 白色光でなレヽ(色が着レヽてレ、るので、 RGBの値は同じではなレ、)。
[0035] 従って、実際の処理において、(3)式に示した命題をより正確に解くためには、 RG Bのカラー感度特性に加え、照明光の分光特性、生体の反射特性を考慮することが 望ましい。
[0036] ここで、カラー感度特性をそれぞれ R ( λ )、 G ( λ )、 Β ( λ )とし、照明光の分光特性 の一例を S ( λ )、生体の反射特性の一例を Η ( λ )とする。なお、この照明光の分光 特性および生体の反射特性は、必ずしも検查を行う装置、被検体の特性でなくてもよ ぐ例えば予め取得しておいた一般的な特性としても良い。
[0037] これらの係数を用いると、補正係数 k -k -kは、
R G B
ほ女 6] k
k
(
k X (6)
で与えられる。感度補正マトリックスを「K」とすると、以下のように与えられる。
ほ女 7]
Figure imgf000013_0001
従って、係数マトリックス「A」については、(5)式に(7)式の補正を加えて、以下のよう になる。
[0039] ほ女 8]
Figure imgf000013_0002
また、実際に最適化を行う場合、 目標とするフィルタの分光感度特性(図 1中の F1 ' F2 'F3)が負のときは画像表示上では 0となる(つまりフィルタの分光感度特性のうち 正の感度を有する部分のみ使用される)ことを利用し、最適化された感度分布の一部 力 S負になることも許容されること力 S付加される。電子内視鏡装置は、ブロードな分光感 度特性から狭帯域な分光感度特性を生成するためには、図 1に示すように目標とす る F1 'F2 'F3の特性に、負の感度特性を付加することで、感度を有する帯域を近似し た成分を生成することができる。
[0040] (SZNの改善方法)
次に、生成された分光画像信号の SZN及び精度を向上させる方法について説明 する。この S/Nの改善方法は、前述した処理方法に付加することにより、さらに以下 の課題を解決するものである。
[0041] (i)前述のマトリックス算出方法における原信号 (R · G · B)のレ、ずれかが仮に飽和状 態となると、処理方法におけるフィルタ F1乃至 F3の特性が、観察対象とする部分の 構造を効率よく抽出できるフィルタの特性 (理想とする特性)と大きく異なってしまう可 能性がある(R'G'Bの中、 2つの信号だけでフィルタ F1乃至 F3が生成される場合は 、その 2つの原信号がいずれも飽和していないことが必要である)。
[0042] (ii)カラー画像信号力 分光画像信号への変換の際に、広帯域のフィルタから狭帯 域フィルタを生成するため、感度の劣化が発生し、生成された分光画像信号の成分 も小さくなり、 S/Nが良くない。
[0043] この SZN改善の方法とは、図 2に示されるように、照明光の照射を通常画像(一般 的なカラー画像)の 1フィールド(1フレーム)中に数回(例えば n回、 nは 2以上の整数
)に分けて照射する(照射強度をそれぞれの回で変化させても良い。図 2においては
、 10乃至 Inで示されている。なお、これは照明光の制御のみで実現可能である。)。
[0044] これにより、電子内視鏡装置は、 1回の照射強度を小さくすることができ、 RGB信号 のいずれもがそれぞれ飽和状態となるのを抑えることができる。また、数回に分割さ れた画像信号は、後段で n枚分の加算を行う。これにより、電子内視鏡装置は、信号 成分を大きくして SZNを向上させることができる。図 2で、積算部 438a乃至 438cは
S/Nを改善する画質調整部として機能する。
[0045] 以上が、本発明の基礎となるマトリックス演算方法、またこれと共に実施することが 可能な正確な分光画像信号を求めるための補正方法、生成された分光画像信号の
S/Nを向上させる方法の説明である。
[0046] ここで、上述のマトリックス算出方法の変形例について説明する。
[0047] (マトリックス算出方法の変形例)
カラー画像信号を R, G, B、推定する分光画像信号を Fl, F2, F3とする。なお、厳 密には、カラー画像信号 R, G, B等は、画像上の位置 X, yの関数でもあるので、例え ば Rを R (x, y)と表記すべきだが、ここでは省略する。
[0048] R, G, B力 Fl, F2, F3を計算する 3 X 3の行歹 lj「A」を推定することが目標となる。
「A」が推定されれば、 R, G, B力、ら Fl, F2, F3 (マトリックス表記では F, F , F )の
1 2 3 計算は、以下の(9)式で可能となる。
ほ女 9コ
Figure imgf000014_0001
ここで、以下のデータの表記を定義する。
[0050] 被検体の分光特性: H (え)、「Η」 = (Η(λ1),Η(λ2),···,Η(λη)
λは波長であり、 tは行列演算における転置を表す。同様に、
照明光の分光特性: S (え)、 rSj = (S(^l)!S(^2),---,S( n))t
CCDの分光感度特性: J (え)、 rjj =
Figure imgf000015_0001
色分解を行うフィルタの分光特性:原色の場合
R (え)、 rRj = (R(H),R(^2),---,R( n))t
G (え)、 「0」=(0(ぇ1) (;12) -,0(;111)
Β(λ)、「Β」 = (Β(λ1),Β(λ2),···,Β(λη)^
「R」、「G」、「B」は(10)式に示すように、行列「 C」で 1つにまとめられる。
ほ女 10]
Figure imgf000015_0002
画像信号 R, G, B、分光信号 Fl, F2, F3を行列で以下のように表記する c
[0052] 女 11]
Figure imgf000015_0003
画像信号「P」は次式で計算される c
[0053] 女 12]
P = CSJH ■(12) いま、「Q」を得るための色分解フィルタを「F」とすると、(12)式同様
女 13]
Q = FSJH (13) 二で、重要な第 1の仮定として、いま、被検体の分光反射率が基本的な 3つの分 光特性の線形和で表現できると仮定すると、(12)式、(13)式中の「H」は以下のよう に表記できる。
[0054] [数 14]
H « DW 〜(14) ここで、「D」は 3つの基本スペクトル Dl (え)、 D2 (え)、 D3 ( λ )を列ベクトルに持つ 行列で、「W」は「H」に対する Dl (え)、 D2 (え)、 D3 (え)の寄与をあらわす重み係数 である。被検体の色調がそれほど大きく変動しない場合には、この近似が成立するこ とが知られている。
[0055] (14)式を(12)式に代入すると、次式を得る。
[0056] [数 15]
P = CSJH = CSJDW = MW (15) ここで、 3 X
Figure imgf000016_0001
「M」tt、行列「CSJD」の計算結果を 1つにまとめた行列を示す
[0057] 同様に、(14)式を(13)式に代入して、次式を得る。
[0058] [数 16]
Q = FSJH = FSJDW = M W (16) 同じぐ「M'」は、行列「FSJD」の計算結果を 1つにまとめた行列を示す。
[0059] 結局、(15)式と(16)式から「W」を消去して、以下の式を得る。
[0060] [数 17]
Q = M M P '· ·(17)
「Μ— は行列「Μ」の逆行列を示す。結局、「Μ,Μ— は 3 X 3の行列となり、推定目 標の行列「Α」となる。
[0061] ここで、重要な第 2の仮定として、色分解をバンドパスフィルタで行う場合、そのバン ド内における被検体の分光特性を 1つの数値で近似できると仮定する。すなわち、 女 18] H = (h^h2,h3Y · ' · (18)
色分解用のバンドパスが完全なバンドパスでなぐ他の帯域にも感度を持つ場合も 考慮して、この仮定が成立する場合、(15)式、(16)式における「W」を上記「Η」と考 えれば、結局(17)式と同様な行列が推定できる。
[0062] 次に、本発明の生体観測装置に係る実施例 1の電子内視鏡装置の具体的な構成 について、図 3を参照して説明する。なお、後述する他の実施例でも同様の構成にし ても良い。
[0063] 図 3に示すように、電子内視鏡装置 100は、電子内視鏡(内視鏡と略記) 101、内 視鏡装置本体 105、表示装置としての表示モニタ 106を有している。また、内視鏡 10 1は、被検体の体内に挿入される挿入部 102、この挿入部 102の先端に設けられた 先端部 103と、この挿入部 102の先端側とは反対側に設けられ、先端部 103側の湾 曲動作等の操作又は指示するためのアングル操作部 104から主として構成されてい る。
内視鏡 101で取得された被検体内部等の画像は、内視鏡装置本体 105にて所定 の信号処理がなされ、処理された画像が表示モニタ 106において、表示される。
[0064] 次に、図 4を参照して、内視鏡装置本体 105について詳しく説明する。なお、図 4は 、電子内視鏡装置 100のブロック図である。
図 4に示すように、内視鏡装置本体 105は、主に照明光を発生する照明部としての 光源部 41、この光源部 41及び以下の本体処理装置 43の制御を行う制御部 42、通 常画像を生成する信号処理及び分光画像を生成する信号処理を行う本体処理装置 43から構成されている。制御部 42及び本体処理装置 43は、前記光源部 41及び/ または撮像部としての CDD21の動作を制御し、表示装置である表示モニタ 106へ 撮像信号を出力する信号処理制御部を構成している。
なお、本実施例では、 1つのユニットである内視鏡装置本体 105内に光源部 41と画 像処理等を行う本体処理装置 43を有するものとして説明を行うが、これらは、別のュ ニットとして、接続及び取り外し可能なように構成されていても良い。また、生体観測 装置は、内視鏡 101、光源部 41及び本体処理装置 43により構成することができるが 、これに限定されるものでない。例えば、生体観測装置は、光源部 41と本体処理装 置 43により構成することができるし、或いは本体処理装置 43のみで構成することもで きる。
光源部 41は、制御部 42および内視鏡 101に接続される。この光源部 41は、制御 部 42からの信号に基づいて、所定の光量で白色光(完全な白色光でない場合も含 む)の照射を行う。また、光源部 41は、白色光源としてのランプ 15と、光量を調整す るためのチョッパー 16及びチョッパー 16を駆動するためのチョッパー駆動部 17とを 有している。
[0065] チョッパー 16は、図 5に示すように、点 17aを中心とし、所定の半径 rの円盤状の構 造体に円周方向に所定の長さを有する切り欠き部が設けられた構成を備える。この 中心点 17aは、チョッパー駆動部 17に設けられた回転軸と接続されている。つまり、 チョッパー 16は、中心点 17aを中心に回転運動を行う。また、この切り欠き部は、所 定の半径毎に複数設けられている。同図においては、この切り欠き部は、半径 r0から 半径 raの間では、最大の長さ = 2 7i r X Θ 0度/ 360度、幅 =rO—raである。また、同 様に、半径 raから半径 rbの間では、最大の長さ = 2 Ti ra X 2 θ 1度/ 360度、幅 =ra rb、半径1¾から半径1:(の間では、最大の長さ= 2 71 1:13 2 6 2度/360度、幅 =rb —rcという構成である(それぞれの半径は、 rO >ra>rb >rcとする)。
[0066] なお、チョッパー 16における切り欠き部の長さ、幅は一例であり、本実施例に限定 されるわけではない。
[0067] また、チョッパー 16は、この切り欠き部の略中央に半径方向に延伸する突起部 160 aを有する。なお、制御部 42は、この突起部 160aにより光が遮断された時にフレーム を切換えることにより、 1フレーム前と 1フレーム後に照射される光の間隔を最小限に し、被検体の動き等によるブレを最小限にするものである。
[0068] また、チョッパー駆動部 17は図 4における矢印で示されるように、ランプ 15に対する 方向に移動が可能な構成となっている。
[0069] つまり、制御部 42は、図 5に示されたチョッパー 16の回転中心 17aとランプからの 光束(点線円で示されている)との距離 Rを変えることができる。例えば、図 5に示され た状態では、距離 Rがかなり小さいので、照明光量は小さい状態にある。距離 Rを大 きくする(チョッパー駆動部 17をランプ 15から遠ざける)ことで、光束が通過できる切り 欠き部が長くなるため、照射時間が長くなり、制御部 42は、照明光量を大きくすること ができる。
[0070] 上述のように、電子内視鏡装置では、新しく生成した分光画像が S/Nとしては不 十分である可能性があることと、分光画像の生成に必要な RGB信号のレ、ずれかの信 号が飽和している場合には正しい演算が行われたことにはならないので、照明光量 を制御する必要がある。この光量調節をチョッパー 16およびチョッパー駆動部 17が 担うことになる。
[0071] また、光源部 41にコネクタ 11を介して着脱自在に接続された内視鏡 101は、先端 部 103に光学像を結ぶ対物レンズ 19及びその結像位置に配置され、光電変換する CCD等の固体撮像素子 21 (以下、単に CCDと記載する)を備えている。本実施例 における CCDは単板式(同時式電子内視鏡用に用いられる CCD)であり、原色型の 色透過フィルタ(色フィルタと略記)を有する。なお、図 6は CDDの撮像面に配置され る色フィルタの配列を示している。また、図 7は図 6の色フィルタにおける RGBそれぞ れの分光感度特性を示してレ、る。
[0072] 図 7に示すように RGBの色フィルタは、可視領域における R、 G、 Bの波長領域をそ れぞれ広帯域で透過する分光特性を有する。
[0073] また、図 4に示すように、挿入部 102は、光源部 41から照射された光を先端部 103 に導くライトガイド 14と、 CCDで得られた被検体の画像を本体処理装置 43に伝送す るための信号線と、処置を行うための鉗子チャネル 28等を備えている。なお、鉗子チ ャネル 28に鉗子を挿入するための鉗子口 29は、操作部 104近傍に設けられている
[0074] また、本体処理装置 43は、光源部 41と同様、コネクタ 11を介して内視鏡 101に 接続される。本体処理装置 43は、 CCD21を駆動するための CCDドライブ回路 431 を備えている。
[0075] また、本体処理装置 43は、通常画像を得るための信号回路系として輝度信号を生 成する輝度信号処理系と、広帯域の色信号を生成する色信号処理系を有する。 輝度信号処理系は、 CCD21に接続され輪郭補正を行う輪郭補正部 432、輪郭補 正部 432で補正されたデータから輝度信号を生成する輝度信号処理部 434を有す る。
[0076] また、色信号処理系は、 CCD21に接続され、 CCD21で得られた信号のサンプリ ング等を行レ、、広帯域の色信号 (或いはカラー画像信号)としての RGB信号を生成 するサンプルホールド回路(SZH回路) 433a乃至 433cと、 SZH回路 433a乃至 4 33cの出力端に接続され、色信号に対する処理を行う色信号処理部 435を有する。
[0077] また、本体処理装置 43には、輝度信号処理系と色信号処理系の出力から可視領 域で撮像されたカラー画像として、 1つのカラー通常画像を生成する通常画像生成 部 437が設けられている。そして、通常画像生成部 437から切換部 439を介して、表 示モニタ 106にはカラー通常画像信号として Y信号、 R—Y信号、 B— Y信号が送ら れる。
一方、分光画像を得る分光画像生成手段としての信号回路系として、上記 RGB信 号を生成する S/H回路 433a乃至 433cの出力信号から分光画像信号 Fl, F2, F3 を生成するマトリックス演算部 436を有する。このマトリックス演算部 436は、 RGB信 号に対して所定のマトリックス演算を行う。
[0078] マトリックス演算とは、カラー画像信号同士を係数マトリックスに相当する演算係数を 用いて加算処理等を行い、また、上述のマトリックス算出方法 (あるいはその変形例) により求められたマトリックスを乗算する処理をいう。このマトリックス演算部 436は、 R 、 G、 Bのカラー画像信号から狭帯域の分光画像信号 Fl, F2, F3を生成する。
[0079] なお、本実施例では、このマトリックス演算の方法として、電子回路処理 (電子回路 を用いたハードウェアによる処理)を用いた方法について説明する力 S、後述の実施例 のように、数値データ処理(プログラムを用いたソフトウェアによる処理)を用いた方法 であっても良い。また、実施するにあたっては、これらの組み合わせとすることも可能 である。
図 8は、マトリックス演算部 436の回路図を示す。 RGB信号は、それぞれ抵抗群 31 - la, 31— 2a、 31— 3a乃至 31— lc、 31— 2c、 31— 3c及びマノレチプレクサ 33— la、 33 - 2a, 33— 3a乃至 33— lc、 33— 2c, 33— 3cを介して、増幅器 32a乃至 3 2cに入力される。 [0080] 抵抗群 31— la、 31— 2a、 · · ·、 31— 3cは、それぞれ抵抗値の異なる抵抗 rl、 r2、 •••、rnから構成(図 8では、一部にのみ符号 rl、r2、 · · ·、 rnを示している)される。そし て、マルチプレクサ 33— la、 33— 2a、 · · ·、 33— 3cによりそれぞれ 1つの抵抗が選択 される。
[0081] これらマルチプレクサ 33— la、 33 _ 2a、 ·■·、 33 _ 3cは、例えばフロントパネル等 に設けられた係数設定切替手段を構成する操作パネル 441 (図 4参照)等における ユーザによる切替操作或いは選択操作により、係数制御部 442を介して抵抗群 31 _ la、 31— 2a、 ·■·、 31 _ 3cにおける選択される抵抗が決定される。ユーザにより操 作される操作パネル 441は、信号処理を行う本体処理装置 43における観察モードの 切替 (選択)、観察モードの状態確認等をユーザが行うインターフェース手段の機能 も持つ。
[0082] なお観察モード (観察画像モード)の選択は、表示モニタ 106に表示される画像の 選択の機能と、少なくともその画像に対応する映像信号 (画像信号)が信号処理によ り生成されるように本体処理装置 43における信号処理系の機能を含む。
[0083] つまり、観察モードとして、カラー通常画像(単に通常画像ともいう)観察モードが選 択された場合には、表示モニタ 106には通常画像が表示されるように切換部 439の 切替が行われると共に、その通常画像に対応する通常画像信号が生成されるように 通常画像処理系が動作状態となる。この場合の通常画像処理系は、図 4における輪 郭補正部 432、輝度信号処理部 434、色信号処理部 435、通常画像生成部 437が 該当する。
[0084] また、観察モードとして、分光画像観察モードが選択された場合には、表示モニタ 1 06には分光画像が表示されるように切換部 439の切替が行われると共に、その分光 画像に対応する分光画像信号が生成されるように分光画像処理系が動作状態となる 。この場合の分光画像処理系は、図 4における係数制御部 442、 LUT443、マトリツ タス演算部 436、積算部 438a〜438c、色調整部 440が該当する。
[0085] なお、 CCDドライブ回路 431、 S/H回路 433a〜433cは両観察モードにおいて 共通に動作状態が維持される。上記観察モードの選択に応じて、選択された観察モ ードに対応する信号処理系が動作状態となるように制御部 42が制御を行うようにして も良い。或いは、常時、両信号処理系とも動作状態に維持しても良い。
[0086] この場合には観察モードの選択の動作は、表示モニタ 106に表示される画像 (観察 画像)の選択と同じ結果となる。但し、後述するように照明光量を目標値に光量制御 を行う際のパラメータの値(或いは目標値)は、観察モードの選択 (切替)に連動して 変更する方が良い場合がある。
[0087] また、ユーザは、内視鏡 101の操作部に設けられた内視鏡スィッチ 141により、選 択操作することもできる。この内視鏡スィッチ 141も係数切替を行う係数設定切替手 段や、観察モードの切替 (選択)などをユーザが行うインターフェース手段を形成して いる。
操作パネル 441等には、例えば観察しょうとする被検体の種類、観察部位、生体組 織の組織型 (組織の形態的な種類)等に対応した複数の選択スィッチ(或いは切替 ボタン) 441aが設けてある。そしてユーザが、選択スィッチ 441aを操作することにより 選択スィッチ 44 laは、被検体の種類、観察部位、生体組織の組織型等に対応した 指示信号を係数制御部 442に出力する。
図 4に示すようにこの係数制御部 442には、マトリックス演算部 436のマトリックス演 算特性若しくはマトリックス演算結果を決定する演算係数 (単に係数と略記)を格納し た演算係数格納手段としての LUT443が接続されている。そして、係数制御部 442 は、操作パネル 441の選択スィッチ 44 la等による指示信号に応じて、被検体の種類 等に対応した係数を LUT443から読み出し、マトリックス演算部 436に送る。
[0088] つまり、 LUT443には、被検体の分光特性 (分光反射率特性)の種類、より具体的 には被検体として生体の粘膜組織の分光反射率特性の種類に対応して複数の係数 443aが格納されている。つまり、この係数 443aは、生体の粘膜組織の種類等に対 応した生体用係数である。
[0089] そしてマトリックス演算部 436は、 LUT443から読み出されて、送られた係数 443a でマトリックス演算を行う。このようにして、被検体の種類、生体組織の組織型等が異 なる場合においても、実際に光学的狭帯域バンドパスフイタを用いて撮像 (取得)され る光学的狭帯域の画像信号若しくは分光画像信号の場合に比較して、精度の低下 を抑制して、 (信号処理による擬似光学的な)分光画像信号を生成する演算を可能と する。
上述したように本実施例においては、マトリックス演算部 436は、係数制御部 442を 介して複数の係数 443aを格納した LUT443と接続されている。そして、ユーザは、 操作パネル 441等の操作により、係数制御部 442を介してマトリックス演算部 436の マトリックス演算に実際に使用される係数を変更設定 (切替設定)することができ、生 成される分光画像信号 Fl, F2, F3の特性を変更設定することができるようにしている 。つまり、係数制御部 442と LUT443は、分光画像信号生成手段により生成される 分光画像信号の特性を変更設定する特性変更設定手段の機能を持つ。
[0090] マトリックス演算部 436の出力は、それぞれ積算部 438a乃至 438cに入力され、積 算部 438a乃至 438cによりそれぞれ積分演算が行われて、分光画像信号∑F1乃至 ∑F3力生成される。分光画像信号∑F1乃至∑F3は、色調整部 440に入力され、色 調整部 440は後述する構成で色調整の演算を行う。この色調整部 440は、分光画像 信号∑ F1乃至∑ F3から色調調整された分光画像信号としての分光チャンネル画像 信号 Rnbi、 Gnbi、 Bnbiをそれぞれ生成する。
[0091] そして、通常画像生成部 437からのカラー画像信号 (生体信号ともいう)、或いは色 調整部 440によりからの分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiが、切換部 439 を介して、表示モニタ 106の Rチャンネル、 Gチャンネル、 Bチャンネル(Rch、 Gch、 Bchと略記する場合もある)にそれぞれ出力され、表示モニタ 106には R, G, Bの表 示色で表示される。このため、色調整部 440は、分光画像信号∑F1乃至∑F3を表 示モニタ 106で擬似カラー表示する際の表示色を変換する表示色変換手段の機能 を有する。そして、この表示色変換手段における表示色変換する際に使用される係 数を切り替える等の変更設定を行うことにより、表示色を調整する表示色調整若しく は色調整手段の機能を持つ。色調整部 440に関してさらに補足説明すると以下のよ うになる。
[0092] 上記のように分光画像信号∑F1乃至∑F3は、色調整部 440により表示色変換を 含む(表示)色調整の処理が行われて分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiと なり、表示モニタ 106の Rチャンネル、 Gチャンネル、 Bチャンネルにそれぞれ出力さ れる。分光画像信号∑ F1乃至∑ F3を (表示)色変換を行うことなく表示モニタの Rチ ヤンネル、 Gチャンネル、 Bチャンネルにそれぞれ出力する(表示色を割り付けする)と 、固定された色調となり、ユーザが色調を選択或いは変更することができない。
[0093] 本実施例では、上記のように色変換を含む色調整手段を設けることにより、ユーザ が望むような色調で擬似カラー表示することができるようにしている。また、色変換若 しくは色調整することにより、より視認し易い状態で擬似カラー表示することもできる。 なお、上記の説明から分かるように分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiは、表 示モニタ 106の Rチャンネル、 Gチャンネル、 Bチャンネルにそれぞれ出力されること を明示するために用いられている。このため、これらの信号を分光画像信号と総称す る。なお、後述する実施例 7のようにモニタ側での擬似カラー表示に主眼を置くと、分 光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiをカラーチャンネル画像信号と言うこともで きる。なお、色調整部 440の構成については、後述する。
この色調整部 440は、表示色変更設定手段或いはインタフェース手段としての機 能を有する操作パネル 441、内視鏡スィッチ 141等と接続されている。そして、操作 パネル 441、内視鏡スィッチ 141等により、ユーザ等が色調整のための表示色変更 設定の操作(より具体的には係数の切替設定操作)を行えるようにしている。後述す るように操作パネル 441等からの信号により、色調整部 440を構成する係数変更回 路 64 (図 21参照)を介して表示色変換を行う 3 X 3マトリックス回路 61の係数を切り替 えることができる。
なお、切換部 439は、通常画像と分光画像の切替を行うものであり、また分光画像 同士の切替表示も可能である。つまりきテ者などのユーザは、通常画像信号、分光チ ヤンネル画像信号 Rnbi、 Gnbi, Bnbiから表示モニタ 106に出力させる信号を選択操 作するにより、切換部 439は選択操作された信号を選択 (切替)して表示モニタ 106 に出力する。
[0094] この切換部 439は、操作パネル 441、内視鏡スィッチ 141と接続され、ユーザはこ れらを操作して通常画像と分光画像の切り替え若しくは選択を簡単に行うことができ る。従って本実施例によれば操作性を向上できる。なお、図 4に示すように、キーボー ド 451の指示入力は制御部 42に入力される構成にしている。そして、制御部 42は、 その指示入力が切換指示の場合には、その切換指示に対応して切換部 439の切換 制御等を行う。
また、いずれ力 2つ以上の画像を同時に表示モニタ 106に表示可能な構成としても 良い。これに関連する構成に関しては、図 46等にて後述する。
特に、通常画像と分光チャンネル画像 (分光画像ともいう)を同時に表示可能とした 場合には、一般的に観察を行っている通常画像と分光画像を簡単に対比することが でき、それぞれの特徴 (通常画像の特徴は、その色調が通常の肉眼の観察に近く観 察しやすい。分光画像の特徴は、通常画像では観察できない所定の血管等を観察 すること力 Sできる。)を加味した上で、観察することができ、診断上非常に有用である。
[0095] 次に、本実施例に係る電子内視鏡装置 100の動作について図 4を参照して詳しく 説明する。
なお、以下においては、まず通常画像を観察する際の動作について説明し、後に 分光画像を観察する際の動作について説明する。
まず、光源部 41の動作を説明する。制御部 42からの制御信号に基づいて、チヨッ パー駆動部 17は、所定の位置に設定され、チョッパー 16を回転させる。ランプ 15か らの光束は、チョッパー 16の切り欠き部を通過し、集光レンズにより、内視鏡 101と光 源部 41の接続部にあるコネクタ 11内に設けられた光ファイババンドルであるライトガ イド 14の入射端に、集光される。
[0096] 集光された光束は、ライトガイド 14を通り、先端部 103に設けられた図示しない照明 光学系力 被検体の体内に照射される。照射された光束は、被検体内で反射し、対 物レンズ 19を介して、色フィルタを備えた CCD21において図 6で示した色フィルタ別 に信号が収集される。 CCD21により色フィルタ別に収集された信号 (撮像信号)は、 上記の輝度信号処理系と色信号処理系に並列に入力される。
[0097] 輝度信号系の輪郭補正部 432には、色フィルタ別に収集された信号が画素ごとに 加算され入力され、輪郭補正後、輝度信号処理部 434に入力される。輝度信号処理 部 434では、輝度信号が生成され、通常画像生成部 437に入力される。
[0098] また一方で、 CCD21により色フィルタ別に収集された信号は、各フィルタ毎に SZ H回路 433a乃至 433cに入力され、広帯域の複数の色信号としてそれぞれ R'G'B 信号が生成される。さらに R'G'B信号は、色信号処理部 435にて色信号に対する信 号処理が行われた後、通常画像生成部 437において、前記輝度信号および色信号 力 カラー画像信号としての Y信号、 R—Y信号、 B— Y信号が生成され、切換部 43 9を介して、表示モニタ 106に被検体の通常画像がカラー表示される。
なお、図 4に示すように、通常画像生成部 437からの出力信号と、色調整部 440か らの出力信号に対して、切換部 439の出力端を共通化して表示モニタ 106の Rチヤ ンネル、 Gチャンネル、 Bチャンネルに入力する構成にしても良レ、。前記出力端を共 通化する構成の場合には、切換部 439内に通常画像生成部 437からの出力信号と なる Y信号、 R— Y信号、 B— Y信号を R、 G、 B信号に変換する変換回路 439a (図 4 参照)を内蔵すれば良い。
[0099] この変換回路 439aを内蔵しないで、通常画像生成部 437からの出力信号に対し ては表示モニタ 106の YZ色差信号入力端に、色調整部 440からの出力信号に対し ては、表示モニタ 106の Rチャンネル、 Gチャンネル、 Bチャンネルにそれぞれ入力す る構成にしても良い。 以下の説明では、簡単化のため、通常画像生成部 437から の出力信号の場合にも、切換部 439から出力される場合には、共通の Rチャンネル、 Gチャンネル、 Bチャンネルを経て表示モニタ 106に入力される場合で説明する。 次に、分光画像を観察する際の動作について説明する。なお、通常画像の観察と 同様の動作を行うものに関しては、ここでは省略する。
操作者は、内視鏡装置本体 105に接続されている内視鏡スィッチ 141、キーボード 451等を操作することにより、通常画像から分光画像を観察する指示をおこなう。この 時、制御部 42は、光源部 41および本体処理装置 43の制御状態を変更する。
[0100] 具体的には、必要に応じて、制御部 42は光源部 41から照射される光量を変更する 。上述のように、 CCD21からの出力信号が飽和することは望ましくないため、通常画 像の観察時に比して照明光量を小さくする。また、制御部 42は、 CCD21からの出力 信号が飽和しないように光量を制御するとともに、飽和しない範囲にて照明光量を変 ィ匕させることもできる。
また、制御部 42による本体処理装置 43への制御内容を変更する例として、切換部 439から出力される信号を通常画像生成部 437の出力から色調整部 440の出力、つ まり分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiに切換える。 [0101] また、 S/H回路 433a乃至 433cの出力は、マトリックス演算部 436に入力され、マ トリックス演算部 436において増幅 ·加算処理が行われることにより、狭帯域の分光画 像信号 Fl, F2, F3が生成される。これら分光画像信号 Fl, F2, F3はそれぞれの帯 域に応じて積算部 438a乃至 438cに出力される。
[0102] チョッパー 16で、照明光量を小さくした場合でも、積算部 438a乃至 438cにて、保 存 '積算することで、図 2に示したように、信号強度を上げることができる。また、積算 部 438a乃至 438cによりそれぞれ分光画像信号 Fl, F2, F3から S/Nが向上した、 積算された分光画像信号∑F1, ∑F2, ∑F3を得ること力 Sできる。
以下、本実施例における具体的なマトリックス演算部 436のマトリックス処理につい て記載する。本実施例では、図 7に実線で示された RGB色フィルタの分光感度特性 から、同図中に示された理想的な狭帯域バンドパスフィルタ F1乃至 F3 (ここではそれ ぞれの透過波長領域を 1 : 590 11〜620 11、 F2: 520nm〜560nm、 F3 : 400nrr!〜 440η mとした)に近いバンドパスフィルタ(以下擬似バンドパスフィルタと呼ぶ)を作成しょう とした場合、前述の(1)式から(5)式に示した内容により、以下のマトリックスが最適と なる。
[0103] 女 19]
(19)
Figure imgf000027_0001
更に、(6)式及び(7)式に示した内容により補正を行うと、以下の補正係数を得る
Figure imgf000027_0002
なお、(6)式に示す光源のスぺクトノレ S (え)は図 9に示すものであり、 (7)式に示す 注目する生体の反射スペクトル Η ( λ )は図 10に示すものである、という先見情報を 使用している。
[0104] >従って、マトリックス演算部 436にて行われる処理は、数学的には以下のマトリックス 演算と II同値となる。
>
II
0 V 0.625 -3.907 -0.05、
0 1.007 0 -3.097 0.631 -1 .661
、0 0 1.57八 0.036 -5.146 0.528 I
Figure imgf000028_0001
このマ卜リックス 、演算を行う
の特性として示されている)が得られる。即ち、上述のマトリックス処理は、カラー画像 信号に、上述のようにして予め生成された擬似バンドパスフィルタ(即ちマトリックス) を用いて、分光画像信号を作成するものである。
この擬似フィルタ特性を用いて生成された内視鏡画像の模式的な例を以下に説明 する。
[0105] 図 11に示すように、体腔内組織 51は、例えば深さ方向に異なった血管等の吸収体 の分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管 52が多く分布し、 またこの層より深い中層には毛細血管の他に毛細血管より太い血管 53が分布し、さ らに深層にはさらに太い血管 54が分布するようになる。
一方、体腔内組織 51に対する光の深さ方向の深達度は、光の波長に依存する。そ して、可視域を含む照明光は、図 12に示すように、青(B)色のような波長が短い光の 場合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せず 、そこまでの深さの範囲で吸収、散乱を受け、表面から出た光が観測される。
[0106] また、青 (B)色光より波長が長い、緑 (G)色光の場合、青 (B)色光が深達する範囲 よりさらに深い所まで深達し、その範囲で吸収、散乱を受け、表面から出た光が観測 される。さらにまた、緑 (G)色光より波長が長レ、、赤 (R)色光は、さらに深い範囲まで 光が到達する。
[0107] 体腔内組織 51の通常観察時における RGB光は、図 13に示すように、各波長域が 広帯域でオーバーラップしているために、
(1) B帯域光により CCD21で撮像される撮像信号には図 14に示すような浅層での 組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(2)また、 G帯域光により CCD21で撮像される撮像信号には図 15に示すような中層 での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(3)さらに R帯域光により CCD21で撮像される撮像信号には図 16に示すような深層 での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像される。
[0108] そして内視鏡装置本体 105により、これら RGBの撮像信号を信号処理することで、 内視鏡画像としては所望あるいは自然な色再現の内視鏡画像を得ることが可能とな る。
上述のマトリックス演算部 436におけるマトリックス処理は、カラー画像信号に、上述 のようにして予め生成された擬似バンドパスフィルタ特性のマトリックスを用いて、分光 画像信号を作成するものである。
[0109] また、ユーザは操作パネル 441等を操作して、 LUT443に格納されてレヽる係数 44 3aを係数制御部 442を介して読み出し、マトリックス演算部 436でマトリックス演算の 特性を変更設定することにより、上記擬似バンドパスフィルタ特性を変更できる。
[0110] 例えば、係数 443aの変更設定により、マトリックス演算部 436により生成される擬似 バンドパスフィルタ特性として浅層側のものを精度良く生成し、他の擬似バンドパスフ ィルタ特性を生成しないような特性に設定することもできる。つまり、係数 443aにより 生成される擬似バンドパスフィルタ特性のバンド波長(の中央)値を特徴量に対応し て設定することができる。
[0111] 従って、係数 443aは生体組織の表面からの深さに分布する血管構造等の特徴量 を強調する如くの分光画像信号を生成する生体特徴量用係数の機能を持つ。
[0112] つまり、本実施例における分光画像信号生成手段及びその特性変更設定部は、以 下のように主に 2つの大きな利点を持つ。
[0113] ユーザは、生体の分光反射特性に応じて適切な(生体用係数としての)係数 443a を使用するように (切替を含む)変更設定することにより、異なる分光反射特性の生体 組織に対して、精度の良い分光画像信号を得ることができる。
[0114] また、特定の狭帯域波長 (N)により有効に観察 (観測)され易い生体部分を観察す ることを望む場合には、ユーザはその狭帯域波長 (N)に対応した分光画像信号を強 調して (或いは他の狭帯域波長の分光画像信号を抑制して)生成するような係数 44 3aを使用するように変更設定することにより、その生体部分を S/Nが良い状態で観 察できる。
[0115] 一方、図 17に示すような所望の深層組織情報が抽出可能な離散的で狭帯域な分 光特性の擬似バンドパスフィルタ F1乃至 F3を用いて、分光画像信号 F1乃至 F3が得 られる。擬似バンドパスフィルタ F1乃至 F3は、図 17に示すように、各波長域がオーバ 一ラップしてレ、なレ、ために、
(4)擬似バンドパスフィルタ F3による分光画像信号 F3には図 18に示すような浅層で の組織情報を有するバンド画像が撮像され、また、
(5)擬似バンドパスフィルタ F2による分光画像信号 F2には図 19に示すような中層で の組織情報を有するバンド画像が撮像され、さらに
(6)擬似バンドパスフィルタ F1による分光画像信号 F1には図 20に示すような深層で の組織情報を有するバンド画像が撮像される。
[0116] つぎに、このようにして得られた分光画像信号 F1乃至 F3を積算した分光画像信号 ∑F1乃至∑F3に対して色調整部 440は、分光画像信号 F1を分光チャンネル画像 信号 Rnbiに、分光画像信号 F2を分光チャンネル画像信号 Gnbiに、分光画像信号 F 3を分光チャンネル画像信号 Bnbiに、それぞれ割り付ける。そして、分光チャンネル 画像信号 Rnbi、 Gnbi, Bnbiが切換部 439を介して、表示モニタ 106の R, G, Bチャン ネル Rch、 Gch、 Bchにそれぞれ出力される。
[0117] 色調整部 440は、図 21に示すように、表示色変換手段としての 3 X 3のマトリックス 回路 61と、 3 X 3のマトリックス回路 61の前後に設けられた 3組の: LUT62a, 62b, 62 c, 63a, 63b, 63cと、 LUT62a, 62b, 62c, 63a, 63b, 63cのテープノレデータや 3 X 3マトリックス回路 61のマトリックス係数を変更する表示色変更設定手段としての係 数変更回路 64と、を備えた色変換処理回路 440aで構成されている。 色変換処理回路 440aに入力される分光画像信号 Fl乃至 F3は、各バンドデータ毎 に LUT62a, 62b, 62cにより、逆 γ補正や、非線形なコントラスト変換等が行われる
[0118] 次に、 3 X 3マトリックス回路 61にて、色変換が行われた後、後段の LUT63a, 63b , 63cにて γ補正や、適当な階調変換処理が行われる。
これら LUT62a, 62b, 62c, 63a, 63b, 63cのテープノレデータや 3 X 3マトリックス 回路 61のマトリックス係数は、係数などを変更する係数変更回路 64により変更するこ とができる。係数変更回路 64内には、 3 X 3マトリックス回路 61によるマトリックス演算 を行う際に使用する複数種類のマトリックス係数 64aが色変換 (色調整)用係数として 格納されている。
[0119] そして、 3 X 3マトリックス回路 61は、係数変更回路 64を介して選択されたマトリック ス係数 64aを使用してマトリックス演算を行うことにより、使用されたマトリックス係数 64 aに対応した色変換を行う。
[0120] そして、係数変更回路 64によるマトリックス係数変更は、操作パネル 441や、例え ば内視鏡 101の操作部等に設けられた内視鏡スィッチ 141中の係数設定用スィッチ (若しくは色調変更設定用スィッチ) 141b (図 4参照)からの制御信号或いは切替信 号に基づく。
[0121] また、係数変更回路 64内のマトリックス係数 64aには、以下に説明するように生体 が持つ特徴量として、例えば血管構造を識別し易い色調で表示させることを可能と する血管用マトリクッス係数 64bを含む。そして、ユーザは、係数設定用スィッチ 141 bの操作により、その血管用マトリクッス係数 64bを係数変更回路 64から選択すること ができる。
[0122] なお、ユーザは、係数設定用スィッチ 141bの操作により、係数変更回路 64に対し て、 3 X 3マトリックス回路 61で使用されるマトリックス係数 64aの変更を行う他に、 LU T62a, 62b, 62c, 63a, 63b, 63cのテープノレデータの変更を行う制卸信号を出力 すること力 Sできる。
[0123] 制御信号を受けた係数変更回路 64は、予め色調整部 440内に格納されている複 数種類のマトリックス係数 64a等のデータから適切なデータを呼び出し、そのデータ で、現在の回路係数を書き換える。
[0124] 次に具体的な色変換処理内容について述べる。式(22)は色変換式の一例を示す
[0125] ほ女 22]
Figure imgf000032_0001
この式(22)による処理は、分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbi (表示モニタ al06での表示で示すと、 Rチャンネル、 Gチャンネル、 Bチャンネル)に分光画像信 号 F1乃至 F3を波長の短い順に割り当てる色変換である。
これら分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiによるカラー画像で観察した場合 、例えば図 22に示すような画像となる。太い血管が深い位置にあり、分光画像信号 F 3が反映され、表示色としては青色系のパターンとして示される。中層付近にある血 管網は分光画像信号 F2が強く反映されるので、表示色が赤色系のパターンで表示 される。
[0126] また、血管網の内、粘膜表面付近に存在するものは表示色が黄色系のパターンとし て表現される。
とくに、この粘膜表面付近のパターンの変化は、早期病変の発見鑑別診断にとって 重要である。しかし、黄色系のパターンは、背景粘膜とのコントラストが弱ぐ視認性が 低いという傾向がある。
そこで、この粘膜表面付近のパターンをより明瞭な視認性で再現するために、式(2 3)に示す変換が有効となる。
[0127] 女 23]
Figure imgf000032_0002
二の式(23)による処理は、分光画像信号 F1をある一定の比率で分光画像信号 F2 に混合し、生成されたデータを新たに分光 Gチャンネル画像信号 Gnbiとする変換例 である。この変換を採用すると、血管網などの吸収散乱体が深さ位置で異なることを より明確化することが可能となる。 したがって、ユーザは、係数変更回路 64を介して マトリックス係数 64aを調整することで、ユーザは好みの表示効果が得られるように表 示色を調整することが可能となる。
[0128] そのような動作は以下のようなる。
[0129] ユーザによる操作パネル 441や内視鏡 101の操作部に設けられた内視鏡スィッチ
141中のモード切替スィッチ 141c (図 4参照)に連動して、色調整部 440 (色変換処 理回路 440a)内では、スルー動作から、マトリックス係数 64aがデフォルト値に設定さ れる。
ここでレヽぅスノレ一動作とは、 3 3マトリックス回路61には単位行歹1』、し11丁62&, 62b , 62c, 63a, 63b, 63cは非変換テープルを搭載した状態をいう。デフォルト値には 、マトリックスィ系数 64aとして、 ί列えば ω = 0. 2
G 、 ω = 0. 8という設定値を与えるとレヽ
Β
うことである。
そして、ユーザは、操作パネル 441や、例えば内視鏡 101の操作部に設けられ内 視鏡スィッチ 141に設けられた係数設定用スィッチ 141bを操作し、係数変更回路 64 から血管用マトリクス係数 64bを選択する。そして、 3 X 3マトリックス回路 61のマトリツ タス係数として上記設定値 ω = 0. 2 = 0. 8から ω = 0. 4
G 、 ω
B G 、 ω = 0. 6などとい
Β
うように変更設定されるようにする。 LUT62a, 62b, 62c, 63a, 63b, 63cには、必 要に応じて逆 γ補正テーブル、 γ補正テーブルが適用される。
[0130] なお、本実施例における色変換処理回路 440aは、 3 X 3マトリックス回路 61からな るマトリックス演算器により色変換する例で示してあるが、これに限らず、数値演算プ 口セッサ(CPU)や LUTで色変換処理手段を構成してもよレ、。
例えば、上記実施例では、 3 X 3マトリックス回路 61を中心とした構成により色変換 処理回路 440aを示した力 図 23に示すように、色変換処理回路 440aを各バンドに 対応した 3次元 LUT71で置き換えても同様の作用効果を得ることができる。
[0131] この場合、係数変更回路 64は、操作パネル 441や内視鏡 101の操作部の内視鏡 スィッチ 141等に設けられた係数設定用スィッチ 141bからの制御信号に基づいて L UT71内に格納されているテーブルデータ 71aの内容を変更する動作を行なう(図 2 3においては、 1つの LUT71内でテーブルデータ 71aが示してある力 他の LUT71 にも同様にテーブルデータ 71aが格納されている)。そして、図 23の色変換処理回 路 440aは、変更設定されたテーブルデータ 71aに対応した色変換処理を行う。
[0132] テーブルデータ 71a内には、例えば生体の特徴量としての血管構造及び生体粘膜 構造等を視認し易い色調で表示させる血管用及び生体粘膜用データが格納されて いる。
なお、擬似バンドパスフィルタ F1乃至 F3のフィルタ特性は、可視光域に限定されず 、擬似バンドパスフィルタ F1乃至 F3の第 1の変形例として、フィルタ特性を例えば図 2 4に示すような離散的な分光特性でかつ狭帯域なものとしても良い。このようなフィノレ タ特性に変更するにはユーザは、操作パネル 441等に設けられた選択スィッチ 441a 等を操作して、マトリックス演算部 436での演算係数を変更すれば良レ、。
[0133] なお、図 24 (以下の図 25、図 26でも同様)ではマトリックス演算部 436により生成さ れる分光画像信号 F1乃至 F3として、図 7で示した擬似バンドパスフィルタのように分 光特性で示している。
[0134] この第 1の変形例のフィルタ特性は、生体表面の凹凸と極深層付近の吸収体を観 察するために、 F3を近紫外域に設定し、 F1を近赤外域に設定することで、通常観察 では得られない画像情報を得るのに好適である。つまり、図 24に示すように、近赤外 域の F1により生体の深層側の光学的画像情報を得ることができ、かつ近紫外域の F 3により生体表面の凹凸構造の画像情報を得ることができる。
[0135] また、擬似バンドパスフィルタ F1乃至 F3の第 2の変形例として、図 25に示すように 擬似バンドパスフィルタ F2の代わりに、フィルタ特性が短波長域で近接する 2つの擬 似バンドパスフィルタ F3a、 F3bとしても良レ、。これは、この付近の波長帯域が生体の 極表層付近までしか深達しないことを利用して、吸収特性より散乱特性の微妙な差を 映像化するのに好適である。医学上は、早期ガンなど粘膜表層付近の細胞配列の 乱れを伴う疾患の識別診断に利用することが想定される。
さらに、擬似バンドパスフィルタ F1乃至 F3の第 3の変形例として、図 26に示すように 所望の層組織情報が抽出可能な離散的な分光特性の 2バンドの狭帯域のフィルタ 特性の 2つの擬似バンドパスフィルタ F2、 F3をマトリックス演算部 436で生成するよう にしてもよい。
[0136] 図 26の擬似バンドパスフィルタ F2、 F3の場合、色調整部 440は、狭帯域の分光画 像観察時での画像のカラー化にぉレ、て、分光チャンネル画像信号 Rnbi—分光画像 信号 F2、分光チャンネル画像信号 Gnbi—分光画像信号 F3、分光チャンネル画像信 号 Bnbi—分光画像信号 F3と色変換して、表示モニタ 106の RGB3チャンネル Rch, Gch, Bchへ出力する。
すなわち、分光画像信号 F2及び分光画像信号 F3に対して、色調整部 440は、以 下の式(24)により表示モニタ 106の RGBの 3チャンネルへ出力され、表示モニタ 10 6において RGBでカラー表示される分光画像信号 (Rnbi、 Gnbi、 Bnbi)を生成する。
Figure imgf000035_0001
例えば、 hl l = l、 hl2 = 0、 h21 = 0、 h22 = l . 2、 h31 = 0、 h32 = 0. 8とする。
[0137] この場合における色調整部 440における係数切替の動作等の説明は、実施例 2で 後述する。
[0138] 上述したように本実施例における生体表面を、観察する生体の種類、特徴等に応 じて分光画像信号を生成するマトリックス演算部 436の係数設定 (係数切替)を術者 等のユーザが手動で行レ、、観察する場合の動作のフローチャートは図 27のようにな る。
電源が投入されると、制御部 42等は動作状態になり、初期設定としてステップ 31に 示すように通常観察モードの動作状態となるように各部を制御する。
そして、ステップ S2に示すように観察モードの切換指示待ちの状態になる。術者に より、操作パネル 441等から観察モードの切替指示を行うと、制御部 42はステップ S3 に示すように分光画像観察モードの動作状態に切り替える制御を行う。
[0139] また、分光画像観察モードの動作状態に切り替える制御を行った際に、ステップ S4 に示すように制御部 42は、例えば表示モニタ 106に切替時の分光画像観察モードと して設定されている係数の情報を表示するように制御する。このステップ S4における 切替時の係数の情報表示の内容としては、例えば切替時に設定されている分光画 像観察モード時のマトリックス演算部 436で設定されている係数の情報を表示する。 その後、次のステップ S5において制御部 42は、ユーザに対して係数切替 (選択)を 行うか否かの確認を行う。
そして、ユーザ (術者)は、実際に観察する被検体の特徴、種類、より具体的には生 体粘膜の特徴、種類等に応じて切替を行うか否かの判断を行う。切替を行う場合に はステップ S6に示すように被検体の種類、より具体的には生体粘膜の組織型等に応 じて手動で係数を切り替える操作を行った後、切り替えを行わない場合と共に、ステ ップ S 7に進む。
[0140] このように実際に観察する生体粘膜が、食道粘膜、胃粘膜、大腸粘膜等の観察す る部位の名称等、種類により切り替えるようにしても良いし、それらの組織型(つまり、 観察する生体粘膜を構成する上皮の名称、種類)など観察対象とする部分の分光反 射率の特性、種類等に応じて切り替えるようにしても良い。
例えば、食道粘膜はその上皮組織が重層扁平上皮であり、胃や大腸粘膜は単層 円柱上皮で覆われており、従って、それらでは基本分光特性が異なる。このため、食 道粘膜の分光反射率データの集合力 推定された基本分光特性を用いて計算した 分光画像推定用のマトリックスを大腸検査で使用すると、所望の結果を得がたくなる 精度の良い分光画像を得るためには、生体粘膜の種類や組織型に応じた基本分 光特性を使ってこのマトリックス演算を行う必要があり、実際の観察でも適切なマトリツ タス演算を使用することが望ましい。
[0141] そこで、本実施例では、インターフェース手段を構成する係数設定切替手段として の、例えば操作パネル 441等に設けたマトリックス演算部 436の係数切替若しくは係 数選択を行う選択スィッチ 441b (図 4参照)を術者は操作する。
[0142] その操作により、観察対象の分光特性に対応した係数 443aが LUT443から読み 出され、その係数 443aで適切なマトリックス演算が行われるように切り替えられる。 [0143] このステップ S7において制御部 42は、観察モードの切替指示待ちの状態になる。 そして、術者が切替指示の操作を行うと、制御部 42はステップ S1に戻り、通常画像 観察モードに切り替える。そして、上述した処理を繰り返す。なお、上記ステップ S5に おいて、係数を切り替える場合に、被検体の種類に応じた切替 (選択)項目、生体特 徴に応じた切替 (選択)等の項目を表示し、ユーザがその項目からさらに生体粘膜の 種類や血管等をより適切に観察し易い分光特性に対応する係数の切替設定を行い 易いようにしても良い。
このように本実施例によれば、通常の電子内視鏡画像(通常画像)のカラー画像信 号を利用して、擬似的な狭帯域フィルタを電気的な信号処理で生成する。これにより 本実施例は、分光画像用の光学的狭帯域バンドパスフィルタを用いずに、血管走行 パターン等の所望の深部の組織情報を有する分光画像を、係数設定切替手段によ る係数設定、係数切替等により適切に得ることができると共に、色調整部 440の色変 換の係数を分光画像に応じて適切に設定することができる。
[0144] また、本実施例は、狭帯域の分光画像観察時の深達度情報という特徴を生かした 表現方法を実現することが可能となり、生体組織の表面近くで所望の深部の組織情 報、より具体的には血管走行パターン等を効果的に分離して視認することできる。 また、特に、色調整部 440において、 3バンドの分光画像の場合、例えば 415nmに 相当する画像を表示モニタ 106のカラーチャンネル Bchに、例えば 445nmに相当す る画像をカラーチャンネル Gchに、例えば 500nmに相当する画像をカラーチャンネ ノレ Rchに、それぞれ割り付けた場合、本実施例によれば次の画像上の効果が得られ る。
[0145] (a)生体組織の最表層の上皮、あるいは粘膜が低彩度の色で再現され、最表層の 毛細血管が低輝度、つまり暗線として再現されることで、最表層の毛細血管の高い視 認性が得られる。
(b)同時に、毛細血管より深い位置の血管が色相方向で青方向へ回転して再現され るため、最表層の毛細血管との識別がより容易になる。
なお、前記チャンネルの割り当て方法によれば、大腸内視鏡検查において通常観察 下では黄色調で観測される残渣及び胆汁が赤色調で再現される。 なお、後述する実施例 2における色調整部 440において、 2バンドの分光画像の場 合にもほぼ同様の効果が得られることになる。
[0146] 本実施例の第 1変形例の電子内視鏡装置 100を図 28に示す。
実施例 1の電子内視鏡装置 100においては、マトリックス演算部 436による係数の 切換設定を操作パネル 441等から操作できるようにしていたが、本変形例では制御 部 42に接続されたインターフェース手段としての集中コントローラ 461から操作できる ようにしている。
また、本変形例では、本体 105に、ユーザの音声による係数の切替指示を電気信 号として受け付けるマイク 462を接続すると共に、本体 105内に音声認識回路 463を 設けている。そして、マイク 462から入力されたユーザからの音声信号を音声認識回 路 463により音声認識を行レ、、この音声認識結果を制御部 42に入力する。
そして制御部 42は、ユーザによる集中コントローラ 461、マイク 462による音声によ る係数切替等の指示信号に応じて、 LUT443に格納された係数 443aに応じてマトリ ックス演算部 436によるマトリックス演算を適切に行う。なお、本変形例(及び次の変 形例)では、制御部 42は、図 4の係数制御部 442の機能を兼ねる構成で示してレ、る 。勿論、制御部 42から係数制御部 442を介して係数切替を行うようにしても良い。
[0147] また、集中コントローラ 461等を観察モードの切替操作や、電源投入時に立ち上げ る観察モードの選択操作などを行うインターフェースに用いるようにしても良い。この 他、図示しないフットスィッチなどのインターフェースを設けるようにしても良い。
また、生体観測装置の具体例としての電子内視鏡装置 100は、図 29に示す第 2変 形例のような構成でも良い。図 29に示す第 2変形例の電子内視鏡装置 100では、内 視鏡 101内の例えばコネクタ 11内に IDメモリ 161と、本体 105における例えば光源 部 41内に IDメモリ 162とが設けられている。
[0148] そして、 IDメモリ 161及び IDメモリ 162にそれぞれ格納された Π3情報は、例えば電 源投入時に制御部 42に入力される。制御部 42は、実際に組み合わせて構成される 電子内視鏡装置 100における内視鏡 101等の構成要素に応じてマトリックス演算部 436による係数の切替設定を電子内視鏡装置 100側の構成要素に応じて自動的に 適切な設定となるように制御する。 [0149] この場合の動作は図 30のフローチャートのようになる。図 30に示す動作は、基本的 には、図 27に示した動作において、ステップ S3と S4との間にステップ S8に示す処理 を行うようにしたものである。
ステップ S3において、分光画像観察モードに切り替えた後の次のステップ S8にお いて制御部 42は、内視鏡 101の IDメモリ 161、光源部 41の IDメモリ 162の情報を読 み取る。そして制御部 42は、各情報から内視鏡 101に採用されている CCD21の力 ラー撮像特性や、光源部 41のランプ 15の種類、発光波長特性 (分光特性)等に対 応して、マトリックス演算部 436での演算に適正となる係数を LUT443から読み出す 。そして、制御部 42は、その係数をマトリックス演算部 436に送り、係数の自動切替 設定を行う。
[0150] なお、図 29に示す LUT443には、(図 4で示した係数 443aの他に) CCD21のカラ 一撮像特性や、光源部 41のランプ 15の種類、発光波長特性 (分光特性)等に対応 した複数の係数 443bが格納されてレ、る。
その後、図 27の次のステップ S4に相当するステップ S4 の処理に進む。このステ ップ においては、制御部 42は切替時に(デフォルト或いは以前の選択で)設定 されている観察対象物に応じて設定されている係数の情報表示を行うように制御する 。このステップ S 以降の処理は図 27の場合と同様である。
[0151] 本変形例によれば、実際に接続して使用される内視鏡 101に搭載されている CCD 21の色フィルタの分光特性力 内視鏡 101の種類や固体差で異なるような場合や、 光源部 41内の光源としてのランプ 15の種類(例えば、発光の分光特性が異なるハロ ゲンランプやキセノンランプ等の種類)、個体差により分光特性が異なる場合におい ても、それらの差異の影響を軽減してより信頼性の高い分光画像が得られる。
[0152] なお、 IDメモリ 161等を有しないような場合には、手動で適切な係数に切替設定し ても良い。また、係数の切替設定を自動で行うモードと手動で行うモードを用意し、 I Dメモリ 161等の有無に関わらずにユーザが選択して行えるようにしても良い。
[0153] また、本変形例では、マトリックス演算部 436によるマトリックス演算を行う際の係数 を自動で行うモードを説明したが、色調整部 440における色調整若しくは色変換を 行う際の係数を同様に自動で設定することもできる。このようにすると、電子内視鏡装 置 100を構成する内視鏡 101等の組み合わせが同じの場合には、同じ色調状態に 自動設定することができる。また、マトリックス演算部 436及び色調整部 440において 、 IDメモリ 161、 162の Π3情報等により、各係数を自動で設定するようにしても良い。
[0154] なお、内視鏡装置本体 105が光源部 41を内蔵している場合には、制御部 42は、 内視鏡 101側の HD情報のみで係数の自動設定を行うようにしても良レ、。勿論、内視 鏡装置本体 105が光源部 41を内蔵している場合においても、光源部 41内のランプ 1 5の分光特性も考慮してマトリックス演算部 436におけるマトリックス演算を行う際の係 数の自動設定を行うようにしても良い。
[0155] なお、図 27或いは図 30の処理において、図 31に示すように観察モードが設定或 いは切替設定された場合、さらにその観察モードを明示的に表示するようにしても良 レ、。
[0156] 図 31の例では、最初のステップ において制御部 42は、ステップ SIのように通 常画像観察モードの設定をする。さらに制御部 42は、その観察モードを明示的に表 示する制御を行う。
[0157] 例えば制御部 42は、図 32 (A)に示すように表示モニタ 106に表示される通常画像 の表示エリアの例えば下に、通常画像観察モードであること或いは通常画像が表示 されていることを明示的に示す NIが表示されるように制御する。制御部 42は、 NIによ る文字情報での表示を行わせる代わりに Normal Imagingや通常画像等を表示さ せるように制御しても良い。
また、ステップ S3に相当するステップ S3' においても同様に分光画像観察モード に切替を行った場合には、制御部 42はさらにその観察モードを明示的に表示する。 例えば制御部 42は、図 32 (B)に示すように分光画像の表示エリアの例えば下に、 分光画像を明示的に示す NBIが表示されるように制御する。制御部 42は NBIの表 示を行わせる代わりに Narrow Band Imagingや分光画像等と表示させるように制 御しても良い。
[0158] このようにすることにより、ユーザは、実際に設定されている観察モードを、より確実 に確認することができる。
また、図 32 (C)に示すように通常画像の場合には、 NI等の表示が行われないよう にし、分光画像の場合のみ NBIが表示されるような制御が行われるようにしても良い また、図 32 (A)〜図 32 (C)では、表示モニタ 5に観察モードを明示的に示した例を 示している力 操作パネル 441に観察モードを明示的に表示し、これによりユーザが 観察モードの状態を確認できるようにするインターフェース手段を形成しても良い。 例えば図 32 (D)に示すように操作パネル 441に観察モード(ここでは分光画像観 察モード)を明示的に表示するための LED91が設けられている。制御部 42は、この LED91を通常画像観察モード時には消灯、分光画像観察モード時には点灯させる ように制御する。
[0159] なお、 LED91の付近に、この LED91の点灯の有無が分光画像観察モードである か否かを示すための NBIの文字等を表示するとより良レ、。
[0160] また、図 32 (E)に示す例では操作パネル 441に、 NBIの文字自体が点灯、或いは 文字以外の周囲が点灯するような LED92が設けられる。そして、制御部 92により、 L ED92を、例えば上記のように通常画像観察モード時には消灯、分光画像観察モー ド時には点灯させる制御を行うようにしても良い。
さらに図 32 (F)に示す例では操作パネル 441に NBIの文字自体が点灯、或いは 文字以外の周囲が点灯するように LED93が設けられている。そして、制御部 42は L ED93を、例えば通常画像観察モード時には消灯状態を示すように例えば緑色で点 灯させ、分光画像観察モード時には白色点灯させる等、観察モードに応じて色分け 点灯 (表示)させるように制御しても良い。なお、ここではインタフェース手段としての 操作パネル 441上に観察モードの情報或いは観察画像の情報を表示する例で説明 したが、キーボードその他のインターフェース手段に観察モードなどの情報を表示す るようにしても良い。
[0161] 図 29のような構成にした場合、図 33に示すように内視鏡 101の IDメモリ 161等に 書き込まれた情報を利用して、各観察モードに適した係数設定を、観察モードの切 替に連動して行うようにしても良レ、。
[0162] 電源が投入されると、制御部 42は最初のステップ S11において、内視鏡 101の ID メモリ 161、光源部 41の IDメモリ 162の情報を読み取る。 また、次のステップ S12において制御部 42は、電源投入時における観察モードの 設定が行われているか否かの判定を行う。この観察モードの設定の情報は、例えば 制御部 42内の図示しない不揮発性メモリに格納される。なお、ユーザは、キーボード 451から、電源投入時に立ち上げる観察モードの設定を行うと、制御部 42は、その 設定情報を不揮発性メモリに格納する。
そして、制御部 42は、その設定情報を読み取り、予め設定されている観察モードで 立ち上げる。また、設定がされていない場合には、例えば通常画像観察モードで立 ち上げる。
[0163] このため、ステップ S12において制御部 42は、電源投入時の観察モードが設定さ れていると判定した場合には、次のステップ S 13において設定されている観察モード が、通常画像観察モードか否かの判定を行う。
[0164] そして、通常画像観察モードに設定されている場合及びステップ S12において電 源投入時の観察モードの設定が行われていない場合には、ステップ S 14aに進み、 制御部 42は、電子内視鏡装置 100を通常画像観察モードに設定して立ち上げる。 また、通常画像観察モードに設定した場合、制御部 42は、この観察モードに対応し たパラメータ(係数)の設定を行う。つまり、ステップ S15aに示すように、この観察モー ドに対応したパラメータに連動して設定を行う。
例えば制御部 42は、観察モードに応じて光源部 41の光量制御を行うが、その場合 、光量制御しょうとするその目標値 (基準値)が、観察モードに適したものとなるように 目標値或いは目標値を可変設定するパラメータを変更する。
[0165] なお、光量制御を行う場合、明るさの平均値或いはピーク値のいずれでも光量制御 ができるような場合、ユーザが光量制御を行う種類を選択できるようにしても良レ、。ま た、制御部 42は、その内部の不揮発性メモリ等に通常画像観察と分光画像観察とで 、例えば、輪郭強調の種類、階調変換の種類、色ペインティングの種類など、各種パ ラメータの設定値などの情報を個別に記憶しており、制御部 42はモード切替時に観 察モードに必要なパラメータ以外の他のパラメータの設定の条件も自動的に切り替え る。
[0166] 制御部 42がこのような制御をすることにより、適切な明るさ、診断に適した色調、適 正な輪郭状態等で通常画像を表示できる。
このパラメータの設定の後、ステップ S16aにおいて制御部 42は、観察モードの切 替指示待ちの状態になる。そして、観察モードの切替指示が行われると、ステップ S1 4bに移る。
また、ステップ S 13において、電源投入時の観察モードの設定が通常画像観察モ ードでない場合にはステップ S14bに移り、制御部 42は分光画像観察モードに設定 する。さらに次のステップ S15bに示すように制御部 42は、この観察モードに対応した パラメータに連動して設定をする。
[0167] この場合には、制御部 42は光量制御を分光画像観察モードに適した目標値となる ように制御すると共に、図 30のステップ S8のようにマトリックス演算部 436によるマトリ ックス演算の係数を CCD21の色フィルタ等の分光特性に応じて切替設定を行う。
[0168] この場合、分光画像観察モードでの目標値は、通常画像観察モードの場合におけ る目標値より低い値に設定されている。
そして、制御部 42は、分光画像信号を適切に算出できるように飽和しない R, G, B 信号をマトリックス演算部 436に入力されるように上記目標値などのパラメータを用い て光量制御を行うと共に、色フィルタ等の分光特性に対応して、マトリックス演算部 43 6が適切に分光画像信号を算出できるように係数切替を行う。つまり、制御部 42は適 切な信号処理が行えるようにする。また、制御部 42は上記輪郭強調等の他のパラメ ータも分光画像観察に適した値に設定するようにしても良レ、。
このパラメータの設定の後、ステップ S16bにおいて制御部 42は、観察モードの切 替指示待ちの状態になる。そして、観察モードの切替指示が行われると、ステップ S1 4aに移る。
[0169] 本変形例によれば、電源投入時に立ち上がる観察モードをユーザの設定に応じた 観察モードで立ち上げることができる。また、観察モードの切替に連動して、切り替え られた観察モードに適した状態で画像表示や信号処理を行うように各種パラメータの 設定がユーザによる設定作業を極力必要としないで円滑にできる。従って、本変形 例によれば、操作性が向上する。
なお、図 33の動作説明においては、ユーザが電源投入前に設定した情報を利用 して、電源投入時に立ち上げる観察モードの設定を行う例で説明したが、以下に説 明するように例えば電源投入時に、特定のキー入力を行うことにより、電源投入時に 立ち上げる観察モードを設定するようにしても良い。
この場合の動作の一部を図 34のフローチャートにより示す。例えば、電源を投入し た場合には、制御部 42は図 33のステップ S11と同様の処理を行う。その後、ステップ S18に示すように制御部 42は、電源投入時に立ち上げる観察モードを選択するよう に予め設定されている所定のキー入力の操作があるか否かの判定を所定時間行う。
[0170] そして、ユーザは、電源投入時に立ち上げる観察モードを選択したレ、場合には、キ 一ボード 451等における、予め設定されている所定のキーを操作し、キー入力する。 そして、所定のキー入力がされたと判定した場合には、ステップ S19に示すように制 御部 42は、電源投入時に立ち上げる観察モードを選択する選択用画面の表示を行 うように制御をする。
制御部 42は例えば、通常画像観察モード或いは分光画像モードのいずれで立ち 上げるかの選択用画面を表示させ、ユーザにその選択を求める。
その後、図 33のステップ S13とほぼ同様に、制御部 42は、選択された観察モード が通常画像モードか否かの判定を行う。一方、ステップ S 18の判定処理で、所定のキ 一操作が行われていないと判定した場合には図 33のステップ S14aに移る。その後 の処理は、図 33と同じとなる。
[0171] 本変形例によれば、立ち上げ時に、ユーザは観察モードの選択設定を行うことがで きる。上記キー操作することにより、観察モードを選択できる状態にしているが、その 変形例として、予め操作するキーにより、電源投入時に立ち上げる観察モードを決定 できるようにしても良い。
上述した(変形例を含む)実施例 1では、分光画像推定用のマトリックス演算部 436 におけるマトリックス演算を適切に切り替える構成を説明したが、以下の実施例 2のよ うに色調整手段の演算係数を適切に切り替えるようにしても良い。
[0172] (実施例 2)
次に図 35を参照して本発明の実施例 2を説明する。図 35は、実施例 2の電子内視 鏡装置における色調整部の周辺部の構成を示す。本実施例は、実施例 1の図 4の構 成において、例えば 2つの分光画像信号∑F2, ∑F3を用いて、色調整部 440の色 調整を適切に行う具体例である。このため、本実施例では、図 4における積算部 438 aが設けてないで、 2つの分光画像信号∑F2, ∑F3から、表示モニタ 5でカラー表示 する分光チャンネル画像信号を生成する。
本実施例では色調整手段の演算係数を適切に切り替える方法の具体例として、積 算部 438b、 438cから出力される 2つの分光画像信号∑F2, ∑F3を用いて、以下の ように分光画像のカラー表示を適切に行う。
[0173] 例えば、中心波長がおよそ 415nmとおよそ 540nmの分光画像(分光チャンネル画 像)を使って消化管粘膜を被検体として表示モニタ 5に分光画像を擬似のカラー画 像として表示する。
分光画像の(表示モニタ 106の)カラーチャンネルへの割付方法としては、表示モ ユタ 5上の視認性を考えて、表示モニタ 106の Rチャンネルに 540nmの分光チャン ネル画像を、 Gと Bチャンネルには 415nmの分光チャンネル画像をその出力調整を 行った後、表示することが好ましい例と考えられる。
この場合、 Rチャンネルの出力(信号ゲイン)を固定して、 Gと Bチャンネルの出力( 信号ゲイン)を調整することで、食道粘膜や大腸粘膜といった分光反射率特性が異 なる被検体の生体粘膜の上皮組織等の種類に応じて分光カラー画像の色を調整す ること力 Sできる。この場合の色調整部 440の構成を図 35において、 3つのゲイン可変 アンプ Ar, Ag, Abを採用した例で示している。
[0174] 例えば、表示モニタ 5の R、 G、 Bチャンネルへの出力信号を R, G, B、 415nm分光 画像を b、 540nm分光画像を gとすると、
R=kl*g、 G = k2*b、 B = k3*bとなるように設定する。ここで、 kl, k2, k3は重みィ系 数である。
例えば、大腸粘膜を観察する場合、 kl >k2 >k3と設定し、食道粘膜を観察する場 合、 kl >k2' >k3 '、力、つ k2 >k2 'となるように設定する。
図 35の例では、観察しょうとする生体粘膜の種類に応じて、予めゲイン可変アンプ Ar, Ag, Abのゲインを規定する係数に相当するゲイン制御データが LUT191内に 格納されている。そして、この LUT191から出力されるゲイン制御データがゲイン制 御端に印加されることにより、そのゲイン制御データが印加されたゲイン可変アンプ A r, Ag, Abのゲインが制 ί卸される。
[0175] この図 35では LUT191内に例えば大腸用ゲイン制御データ 191 aや食道用ゲイン 制御データ 191b等が格納されており、ユーザは、操作パネル 441の選択スィッチ 44 laなどの操作により、大腸用ゲイン制御データ 191aや食道用ゲイン制御データ 191 bを選択する選択信号 (制御信号)を LUT191に印加することができる。そして、その 選択信号により、 LUT191は対応するゲイン制御データをゲイン可変アンプ Ar, Ag , Abに印加することができるようになつている。
このような構成の本実施例によれば、食道粘膜を観察したい場合には食道用ゲイ ン制御データ 191bを選択することにより、重層扁平上皮が白く再現され、上皮内の 毛細血管の視認性が良い。
また、大腸粘膜を観察したい場合には、ユーザは大腸用ゲイン制御データ 191aを 選択することにより、ポリープや粘膜表面の微細模様の視認性が良い状態で表示す ること力 Sできる。従って本実施例によれば、観察対象とする粘膜表面に微細構造など の生体の特徴量を視認性が良い状態で表示することができる。
[0176] 一方、粘膜深部の血管をさらに高いコントラストで再現したい場合、その血管を反映 する g分光画像を b分光画像に一定比率等で加えて、 Gチャンネルにて再現するなど のバリエーションも可能である。この場合の構成例の一部を図 36に示す。
図 36は、図 35の構成において、 g分光画像は、さらに乗算器 192を介してゲイン可 変アンプ Agにも入力される構成にしてある。また、この乗算器 192には LUT191から 乗算係数が入力される。
この場合、例えば LUT191内に上述した大腸用ゲイン制御データ 191 aの場合に は、この乗算係数は 0 (この場合には図 35の場合と同じ作用となる)であり、さらに深 部側の血管をさらに高いコントラストで再現するための大腸用ゲイン制御データ(図 中では大腸(2)と略記) 191a'を選択した場合には、この乗算係数が例えば m (0く m< 1)となるように設定されている。
[0177] そして、ユーザが選択信号を介して大腸用ゲイン制御データ 191aを選択した場合に は大腸の毛細血管や微細模様を視認し易い状態、つまり微細模様強調モードで観 察でき、大腸用ゲイン制御データ 191a'を選択した場合には、粘膜深部側の血管を 高いコントラストで視認し易い状態、つまり深層血管強調モードとして観察することが できる。
このように、色調整の切替を行う色調整手段のモードを複数用意して、所定のユー ザインターフェースで切り替えて使うことで、分光画像を視認し易い状態で、 (つまり 適切な擬似)カラー表示が可能となる。
なお、本実施例では、 2つの分光画像信号∑F2, ∑F3を用いて、色調整部 440の 色調整を適切に行う具体例を説明したが、 3つの分光画像信号∑F1, ∑F2, ∑F3 を用いて、色調整部 440の色調整を行うようにしても良レ、。
[0178] (実施例 3)
次に図 37から図 40を参照して本発明の実施例 3を説明する。
本実施例は、分光画像を観察する分光画像観察モードにおいて、予め設定された 条件になった場合には、強制的に通常画像観察モードに切り替える制御を行うように するものである。より具体的には、分光画像の明るさが、予め暗い画像を判別するた めに設定された閾値以下に達した場合には、制御部 42は切換部 439を切り替えて、 通常画像観察モードに切り換える制御を行う。
図 37に示す実施例 3の電子内視鏡装置 100は、図 4の内視鏡装置 100において、 例えばマトリックス演算部 436から出力される分光画像信号 Fl、 F2, F3は、明るさ判 定部 171に入力され、予め設定された明るさレベルの閾値 Vthと比較した比較結果( 判定結果)の信号が制御部 42に出力される構成にしている。
[0179] 例えば、明るさ判定部 171は、例えば 1フレーム分の 3つの分光画像信号の絶対値 の総和の信号が、暗い画像状態を判定するために設定された閾値 Vth以下になつ たか否かの条件判定 (比較判定)を行う。そして、明るさ判定部 171は、その比較結 果の信号を制御部 42に出力する。この条件に該当する場合には、制御部 42は切換 部 439の切換を制御し、観察モードを強制的に通常画像観察モードに切り替える制 御を行う。
また、実施例 1では、マトリックス演算部 436は、図 8のように抵抗群 31— la等を用 いてハードウェアで構成されていた力 S、本実施例では例えば図 38に示すようにこの マトリックス演算数値データ処理(プログラムを用いたソフトウェアによる処理)により行
5。
図 38に示すマトリックス演算部 436は、 RGBそれぞれのカラー画像信号を記憶し ておく画像メモリ 50を有する。また、式(21)に示されたマトリックス「A'」のそれぞれ の値が数値データとして記憶されている係数レジスタ 151を有する。
係数レジスタ 151と画像メモリ 50は、乗算器 53a乃至 53iに接続され、さらに乗算器 53a、 53d, 53gは、乗算器 54aに接続され、乗算器 54aの出力力 図 4における積 算部 438aに入力される。
[0180] また、乗算器 53b、 53e、 53hは、乗算器 54bに接続され、その出力は積算部 438b に入力される。また、乗算器 53c、 53f、 53iは、乗算器 54cに接続され、その出力が 積算部 438cに入力される。
本実施例の動作としては、入力された RGB画像データは、一度画像メモリ 50に記 憶される。次に、所定の記憶装置(図示しない)に保存されている演算プログラムによ り、係数レジスタ 151からマトリックス「Α'」の各係数が画像メモリ 50に記憶された RG Β画像データと、乗算器で乗算される。
なお、図 38には、 R信号と各マトリックス係数が乗算器 53a乃至 53cで乗算される例 が示されている。また、同図のように、 G信号と各マトリックス係数が乗算器 53d乃至 5 3fで乗算され、 B信号と各マトリックス係数が乗算器 53g乃至 53iで乗算される。
[0181] マトリックス係数とそれぞれ乗算されたデータは、乗算器 53a、 53d, 53gの出力が 、乗算器 54aで、乗算器 53b、 53e、 53hの出力が、乗算器 54bで、また、乗算器 53 c、 53f、 53iの出力は、乗算器 54cでそれぞれ乗算される。
[0182] 乗算器 54aの出力は、積算部 438aに送られる。また、乗算器 54b、乗算器 54cの 出力は、それぞれ積算部 438b、 438cに送られる。
[0183] また、係数レジスタ 151は、図 4の係数制御部 442と接続され、観察部位の選択が 行われると、係数制御部 442からその観察部位に対応したマトリクス係数力 SLUT443 力、ら読み出され、係数レジスタ 151内に格納される。そして、そのマトリックス係数を用 いて、係数レジスタ 151により、観察部位に適したマトリックス演算処理が行われ、分 光画像信号 Fl, F2, F3が生成される。 このマトリックス演算部 436の場合においても、実施例 1と同様、血管パターンが鮮 明に表示できる分光画像を得ることができる。
また、本実施例では、実施例 1のようにハードウェアによってマトリックス処理を行う のではなぐソフトウェアを用いて行うため、例えば、各マトリックス係数の変更などを ハードウェアの変更を必要としないで行うことができる。
[0184] また、マトリックス係数を結果の値のみ、即ち、マトリックス「A'」としてではなぐ S ( )、H ( )、R ( ;i )、 G ( ;i )、 B ( ;i
Figure imgf000049_0001
に記憶しておき、必要に応じて演算することによ りマトリックス「A'」を求めて使用するとした場合には、この中の 1つの要素のみを変更 することができ、利便性が向上する。例えば、照明光の分光特性 s ( ;i )のみの変更 等が可能である。その他の構成は実施例 1或いはその変形例と同様の構成である。
[0185] 次に本実施例による明るさ判定部 171による判定結果により、観察モードを切り替 える動作を図 39を参照して説明する。
電源が投入されると、制御部 42等は動作状態になり、初期設定としてステップ S21 に示すように通常画像観察モードの動作状態となるように制御する。
そして、ステップ S22に示すように観察モードの切換指示待ちの状態になる。術者 等のユーザは、操作パネル 441等から観察モードの切替指示を行うと、制御部 42は ステップ S23に示すように分光画像観察モードの動作状態に切り替える制御を行う。
[0186] すると、マトリックス演算部 436によりマトリックス演算された分光画像信号 Fl , F2、 F3が生成される。これらの分光画像信号 Fl , F2、 F3は積算部 438a〜438cにより 積算され、色調整部 440を経て色調が調整された分光チャンネル画像信号 Rnbi、 G nbi、 Bnbiとなり、切換部 439を通り表示モニタ 106の Rチャンネル、 Gチャンネル、 B チャンネルに印加され、表示モニタ 106の表示面に分光画像がカラー表示される。 この分光画像観察モードになると、マトリックス演算部 436の出力信号は、明るさを 判定する明るさ判定部 171に入力され、ステップ S24に示すように明るさ判定部 171 は、この分光画像が設定された閾値 Vth以下になった力、を判定する動作を行う。
[0187] そして、この条件を満たさない場合には、次のステップ S25において制御部 42は、 観察モードの切換指示ありかの判定を行う。そして、この観察モードの切換指示が無 い場合には、ステップ S24に戻り、明るさの判定処理が行われる。 一方、ステップ S25において、観察モードの切換指示があった場合には、ステップ S6に示すように制御部 42は、通常観察モードの動作状態に切り換える制御を行う。 また、本実施例において、ステップ S24の判定処理において、明るさ判定部 171に より検出された明るさが閾値 Vth以下に達したと判定した場合には、ステップ S26に 進む。そしてこのステップ S26において制御部 42は、観察モードの切換指示が行わ れていない場合でも、通常観察モードの動作状態に切り換える制御を行う。
[0188] この通常観察モードに切り換える制御を行った後、ステップ S22の処理に戻り、上 述した処理を続行する。
上記のように分光画像観察モードにおいて、各画像の 1フレーム分の明るさが閾値 Vth以下になった場合には、分光画像により血管構造等を識別することが困難にな るため、装置側で強制的に通常観察画像に切り替えることによって、観察し易い画像 にすることができ、術者が切り替える操作を不要にできる。従って本実施例によれば、 操作性が向上する。
[0189] なお、本実施例の変形例として、明るさ判定部 171の明るさが閾値 Vthよりは大きく 、通常画像観察モードに切り替える程には暗くない場合において、その場合の画面( シーン)の明るさに応じて例えば色調整部 440の色調の係数を切り替えるようにした 係数設定切替手段を形成しても良い。
この場合の動作の一部を図 40に示す。ここでは、簡単な例として、閾値 Vth以上の 2つの明るさレベルの場合で説明する力 3つ以上の明るさレベルの場合にも同様に 適用すること力 Sできる。 2つの明るさを分ける閾値を Vth2とする。
図 39のステップ S24において、明るさが閾値 Vth以上である場合には、ステップ S2 7に示すように明るさ判定部 171はさらにその明るさが第 2の閾値 Vth2以下であるか 否かの判定を行う。
[0190] そして、この閾値 Vth2より大きい場合には図 39の場合と同様にステップ S25に進 む(ここでは、簡単化のため、閾値 Vth2より大きい場合に適した色調に設定されてい るとする)。
一方、現在の明るさが閾値 Vth2より小さい場合には、制御部 42は、ステップ S28 に示すように明るさに適した係数切替を行うか否かの表示を行レ、、ユーザに切替を 行うか否かの判定を待つ。そして、切替が選択された場合には、ステップ S29に示す ように制御部 42は、その明るさに適した色調の係数にする係数切替を行った後、ス テツプ S25に進む。また、切替が選択されない場合にもステップ S25に進む。その他 の処理は図 39の場合と同様である。
[0191] 本変形例によれば、シーンの明るさに応じて適切な色調で表示することができる。
例えば暗くなつた場合には明るい場合の色調の場合よりも、例えば彩度を挙げるよう に係数切替を行う。このようにすることにより、明るさが低下した場合でも、明るい場合 における色調から生体の特徴量を視認し易くする機能を維持することができる。 なお、予めシーンの明るさの値に応じてその色調の係数を切り替えて表示する色調 モードの選択を行い、この色調モードがユーザにより選択された場合には、自動的に シーンの明るさの値に応じてその色調の係数を切り替えて表示できるような構成にし ても良い。
[0192] なお、本実施例においては分光画像からその明るさを判定する構成にしていた力 通常画像の明るさから分光画像の明るさを推定し、ある閾値以下となった場合に通 常観察モードに切り替えるようにすることもできる。
[0193] 本実施例においては、分光画像の明るさが暗い画像状態に対応する所定値以下 になった場合には通常観察モードに切り替えるようにしていた力 以下の実施例 4の ようにしても良い。
[0194] (実施例 4)
次に図 41から図 43を参照して本発明の実施例 4を説明する。図 41は、本発明の 実施例 4に係る電子内視鏡装置 100の構成を示す。本実施例の電子内視鏡装置 10 0は、図 37の構成において、明るさ判定部 171の代わりに色調を判定する色調判定 部 172を備えている。
また、本実施例では、実施例 1等に用いている同時式の光源部 41でなぐ面順次 方式の光源部 41Bを備えている。
この光源部 41Bは、ランプ 15の前面に絞り 25が設けられ、絞り 25のさらに前面に は、 RGBフィルタ 23が設けられている。また、絞り 25は、絞り制御部 24に接続されて いる。そして、光源部 41Bは、絞り制御部 24からの制御信号に応じて、ランプ 15から 照射された光束のうち透過させる光束を絞り 25により制限し、光量を変化させる。ま た、 RGB回転フィルタ 23は、 RGB回転フィルタ制御部 26に接続され、所定の回転 速度で回転される。
[0195] 本実施例における光源部 41Bの動作としては、ランプ 15から出力された光束が、 絞り 25で所定の光量に制限され、絞り 25を透過した光束は、 RGBフィルタを介する ことによって、所定の時間毎に R'G'Bそれぞれの照明光、つまり R'G' Bの面順次照 明光として、光源部 41Bから出射される。また、 R'G' Bの面順次の照明光は、ライト ガイド 14を経て被検体内に照射され、その反射光が、 CCD21で受光される。
この場合の CCD21は、カラーフィルタが設けられていないモノクロの CCD21であり 、この CCD21で得られた信号 (撮像信号)は、照射される時間に応じて、内視鏡装 置本体 105に設けられた切換部(図示しなレ、)で振り分けられ、 S/H回路 433a乃至 433cにそれぞれ入力される。
[0196] つまり、光源部 41から Rのフィルタを介した R照明光が照射された場合には、 CCD 21で得られた信号は、 S/H回路 433aに入力されることになる。なお、カラーフィル タを設けた CCD21を採用した場合には、図 37のように同時式の光源部 41を採用す ること力 Sできる。
また、上記色調判定部 172は、図 42に示すように検出しょうとする色調に対応した 色調範囲を設定する(第 1の)色相/彩度設定部 173と、この色相/彩度設定部 17 3により設定された色調範囲の条件に該当するか否かの判定を行う色相/彩度判定 部 174とを有する。
この場合、色相/彩度設定部 173による色調範囲は、キーボード 451その他から 制御部 42を介して入力され、ユーザ等が設定することができる。また、色相/彩度判 定部 174には、マトリックス演算部 436からの分光画像信号 Fl、 F2、 F3が入力され る。そして、色相/彩度判定部 174は、これらの信号が色相 Z彩度設定部 173により 設定された色調範囲内に含まれるか否かの判定を行レ、、その判定結果を制御部 42 に出力する。
[0197] 制御部 42は、判定結果に応じて切換部 439の切換などの制御を行う。
[0198] 例えば、色調判定部 172に入力される現在の分光画像信号の色調が、この色調判 定部 172内の色相/彩度判定部 174により判定された色調範囲内になることが 1フ レーム分で所定面積以上検出されると、色相/彩度判定部 174は、この色調範囲内 になったとの判定信号を制御部 42に出力する。
すると、制御部 42は、通常画像観察モードに強制的に切り替え、かつ切換部 439 を切り換えて、通常画像に相当するカラー画像信号が表示モニタ 5に出力されるよう に制御する。
また、本実施例においては、この色調判定部 172に、第 2の色相/彩度設定部 17 5が設けてある。この第 2の色相 Z彩度設定部 175は、キーボード 451等から制御部 42を介して検出しょうとする色調が登録されている。
[0199] また、実際に取り込んだ分光画像信号データから検出しょうとする色調に対応した 色調範囲を登録設定することもできるようにしている。
つまり、検出しょうとする典型的な分光画像信号データが存在する場合には、キー ボード 451等の取り込み指示により、制御部 42を介してその画像データを第 2の色 相/彩度設定部 175に取り込む。この場合、必要に応じてそのデータを加工してそ れに近い色調を検出するための色調範囲の設定を行うこともできる。そして、ユーザ は、(第 1の)色相/彩度設定部 173或いは第 2の色相/彩度設定部 175における 優先したい色調範囲で色調判定を行わせることができる。
このようにして第 2の色相/彩度設定部 175には、種々の色調を登録することがで きるようにしている。
[0200] 本変形例の場合における動作を次に説明する。本変形例では、図 39におけるステ ップ S24における検出された明るさが閾値 Vth以下になったか否かの判定を行う代 わりに色調判定部 172により検出される色調が所定の色調範囲になったことが 1画面 中で一定面積以上検出されたか否かの判定を行う。
そして、所定の色調範囲になったことが一定値以上検出された場合には、制御部 4 2は、分光画像観察モードから強制的に通常観察モードに切り替える制御を行う。そ の他は、図 39で説明した場合と同様の動作である。
本実施例によれば、分光画像観察モードよりも通常画像観察モードの方が望まし レ、ような所定の色調になった場合には、強制的に通常画像観察モードに設定するこ とができる。 例えば分光信号カラー画像は、大腸内視鏡検査の場合、食べかすや 大便など、所謂残渣が残っていると、この残渣が出血色のように赤く表示される。これ は、残渣が青い光を強く吸収し、緑の光を強く反射することに起因する。通常、大腸 内視鏡検査の前に、前処置として大便などは洗浄される。
[0201] しかし、大腸の状態によっては完全に洗浄されなレ、、あるいはかなりの量の残渣が 残ってレ、ることも有る。
このような場合、分光カラー画像のままであると、検査に適した状態の視野の確保 が困難となる場合があり、そのような場合には強制的に見慣れている通常画像が表 示される通常画像観察モードに戻すことが望ましレ、。
本実施例では、そのような場合、信号処理制御手段内に上記のような色調検出手 段、より具体的には、例えば色相と彩度を検出する手段とが設けてある。そして、残 渣が画面上の一定以上の面積を占めると判断した場合には、観察モード切替手段を 通常観察モードへ復帰させる(或いは切り替える)制御を行う。
[0202] なお、本実施例の変形例として、上記第 2の色相/彩度設定部 175に複数の色調 、或いは検出したいものを設定し、分光画像観察モード中において、それらの内の 1 つが検出された場合には、制御部 42は通常観察モードへ復帰させる制御を行うよう にしても良い。 上記のような残渣の他に、胆汁が多量あり、生体組織の粘膜を分光 画像として適切に観察できないような場合とか、色差散布により、その色素の色調が 分光画像に大きな影響を及ぼす場合のように分光画像観察モードに適さないような 場合には通常画像観察モードに強制的に復帰させることが望ましい。
この場合の動作の一部を図 43に示す。図 43は、図 39のステップ S24の判定処理 部分を変更した処理となっている。
[0203] なお、この動作を開始させる前に、ユーザは、キーボード 451等からの指示操作に より、第 2の色相/彩度設定部 175に、検出したい色調として、例えば残渣、胆汁、 典型例な色素散布による着色された色素の色調データを登録しておく。
そして、ユーザは、例えばこれら残渣、胆汁、色素による色調のいずれかを所定量 以上、検出した場合には、通常観察モードへ復帰させる設定モードを選択しているも のとする。 図 39のステップ S23と同様に分光画像観察モードに切り替えられた 後、色調判定部 172は、所定の色調になつたかを監視する状態になる。つまり、ステ ップ S24aに示すように現在の分光画像の色調が残渣の色調か否かを判定し、残渣 の色調に一定面積以上なつていると判定すると、ステップ S26に示すように制御部 4 2は通常画像観察モードに強制的に切り替える。
また、現在の分光画像の色調が残渣の色調でない場合には、ステップ S24bに進 み、胆汁の色調か否かを判定し、胆汁の色調に一定面積以上なつていると判定する と、ステップ S26に示すように制御部 42は通常画像観察モードに強制的に切り替え る。
[0204] また、現在の分光画像の色調が胆汁の色調でない場合には、ステップ S24cに進 み、色素で着色された色調か否かを判定し、色素で着色された色調に一定面積以 上なつていると判定すると、ステップ S26に示すように制御部 42は通常画像観察モ ードに強制的に切り替える。
[0205] また、現在の分光画像の色調が色素で着色された色調でなレ、場合には、ステップ S 25に進み、制御部 42は観察モードの切替指示を待つ状態となる。
本変形例によれば、分光画像観察モードのままで観察を行うのに適しない色調に なった場合に強制的に通常画像観察モードに切り替えることができ、ユーザが切り替 える手間を省くことができる。従って、本変形例によれば操作性が向上する。
また、上述した実施例では、 RGBカラー信号の飽和を避けるために、照明光量 (光 源部からの光量)を制御.調節していた。これに対し、 CCDの電子シャッターを調整( 利用)する方法もある。
[0206] CCDでは、一定時間内に入射した光強度に比例した電荷が蓄積し、その電荷量を 信号としている。この電荷を蓄積する電荷蓄積時間に相当するのが、電子シャッター と呼ばれるものである。この電子シャッターによる電荷蓄積時間を調節することで、電 荷の蓄積量、即ち信号量を調整することができる。つまり、図 44に示すように、電荷 蓄積時間を順次変化させた状態での RGBカラー画像を得ることで、照明光量の制御 の場合と同様の分光画像を得ることができる。
[0207] なお、図 44においては、面順次照明の場合で示している。この場合、上側が R, G , Bの照明状態を示し、下段が電子シャッターによる電荷蓄積時間を示す。 即ち、照明光量の制御は通常画像を得るために用レ、、分光画像を得る際には、電 子シャッターによる電荷蓄積時間を変化させることにより、 RGBカラー信号の飽和を 避けることが可能である。
[0208] なお、電子シャッターは同時式の場合に適用することもできる。
[0209] また、本変形例の変形例として以下のようにしても良い。
この変形例は、実施例 4と同様、面順次方式を利用したものであり、また、この利点 を生かしたものである。電子シャッター制御による電荷蓄積時間に重み付けを加える ことで、分光画像データの生成を簡素化することができるものである。すなわち、本変 形例では、 CCD21の電荷蓄積時間を変化させることができる CCDドライブ回路 431 を有していることになる。
本変形例の動作としては、図 45に示すように、 RGB回転フィルタ 23を介してそれ ぞれの照明光が照射された場合に、 CCD21における電子シャッターによる電荷蓄 積時間を変化させる。ここで、照明光が R'G'Bのそれぞれの場合における CCD21 の電荷蓄積時間を tdr、 tdg、 tdb (なお、同図では Bのカラー画像信号は蓄積時間を 設けてレ、なレ、ため tdbは省略されてレ、る)とする。
[0210] 例えば、(21)式にて示されたマトリックス処理を行う場合の F3擬似フィルタ画像は、 通常内視鏡にて得られる RGB画像から、
(数 25)
F3 = -0. 050R- 1. 777G + 0. 829B …(25)
の演算を行うので、図 43での RGB別の電子シャッター制御による電荷蓄積時間を (数 26)
tdr: tdg: tdb = 0. 050 : 1. 777 : 0. 829 …(26)
となるように設定すれば良い。また、マトリックス部では、単に Rと G成分のみ反転させ た信号と B成分を加算する。これにより、実施例 3と同様の分光画像を得ることができ る。
[0211] 本変形例によると、実施例 4と同様、血管パターンが鮮明に表示される分光画像を 得ること力 Sできる。また、本実施例では、実施例 4と同様、カラー画像信号の作成に面 順次方式を利用しており、さらに電子シャッターを用いてカラー画像信号毎に電荷蓄 積時間を異ならせることができるため、これにより、マトリックス演算部 436においては 、単に加算、差分処理を行うだけでよぐ処理を簡略化することが可能である。
[0212] (実施例 5)
次に図 46から図 48を参照して本発明の実施例 5を説明する。図 46は本発明の実 施例 5の電子内視鏡装置 100を示す。本実施例の電子内視鏡装置 100は、例えば 図 4の電子内視鏡装置 100において、本体処理装置 43の構成を一部変更して、例 えば表示モニタ 106に通常観察画像と分光画像とを同時に表示することもできる構 成にしている。以下に説明するように切り替えて一方の画像を表示することは勿論、 両方を例えばサイズを変更して表示する表示状態制御手段若しくは表示制御手段を 設けている。
図 46に示すように例えば色信号処理部 435から出力される色信号 、 G' 、 Β' は重畳部 181に入力され、色信号 、 G' 、 Β' は、重畳部 181により積算部 438 a〜438cの出力信号∑F1〜∑F3と重畳される。重畳された信号は R〃 、 G〃 , " で示されている。信号 R" G" 、 B" は、ホワイトバランス回路 182に入力され、ホヮ イトバランス回路 182からホワイトバランス調整された信号 Rwb, Gwb, Bwbとして出 力される。
[0213] なお、図 46において、実線では積算部 438a〜438cの出力信号∑F1〜∑F3が 重畳部 181に入力されるようにしている力 2点鎖線で示すように色調整部 440を通 して色調整した信号にした後、重畳部 181に入力するようにしても良い。
これらの信号 Rwb, Gwb, Bwbは、 γ補正回路 183に入力され、 γ補正された信 号 R y , G y , Β γとなり、第 1色変換回路 184に入力され、輝度信号 Υと色差信号 R
_Υ, Β _Υに変換される。
[0214] そして、輝度信号 Υは、強調回路 185により輪郭強調された輝度信号 Yehとなり、 色差信号 R_Y、 B— Yと共に、第 2色変換回路 186に入力され、この第 2色変換回 路 186により、色変換されて、色信号 R, G, Bが生成される。
[0215] そして、色信号 R, G, Bは、表示モニタ 106の R, G, Bの各チャンネルに入力され、 表示モニタ 106には、対応する画像が表示される。
[0216] 本実施例におけるたとえば重畳部 181には、一方の信号のみを選択して出力する 選択回路と、拡大/縮小を行う拡大/縮小回路 181aが内蔵されている。そして、制 御部 42は、ユーザによるキーボード 451その他からの表示制御信号に応じて一方の 信号のみを重畳部 181から出力させる。そして、表示モニタ 106には、選択された一 方の画像が表示される。
[0217] また、この表示制御信号に応じて重畳部 181は、色信号処理部 435から出力され る色信号 、G' 、Β' 或いは積算部 438a〜438cの出力信号∑F1〜∑F3の画 像サイズを拡大/縮小する調整を行い、両画像を重畳して出力する。このように本実 施例においては表示モニタ 106に表示される画像等を制御する表示状態制御手段 若しくは表示制御手段が形成されてレ、る。
例えば図 46の表示モニタ 106においては、色信号処理部 435から出力される色信 号 、G' 、Β' 側からの通常画像はそのままのサイズで、これに対して積算部 43 8a〜438cの出力信号∑F1〜∑F3側からの分光画像は小さいサイズに調整された 状態で、両画像が同時に表示される例が示されている。
[0218] また、本実施例では、図 47、図 48で示すように表示モニタ 106に実際に表示され ている画像が通常画像であるか分光画像であるかを確認できるよう、画像の付近に 確認用の情報を明示的に表示するようにしている。つまり、各観察モードに対応した 画像を表示する場合、その観察モードに対応した画像付近にその観察モード或いは 画像の種類を表示する観察モードの表示手段を設けている。なお、本実施例におけ るマトリックス演算部(図 46においては MX演算部と略記) 436' は、図 4における係 数制御部 442及び LUT443の機能を内蔵している。
その他の構成は、例えば図 4と同様の構成である。図 32では、観察モードの切替に より 1つの観察モードが択一的に選択された場合で説明したが、本実施例では 2つの 観察モードを同時に選択して、 2つの観察モードにより得られる画像を同時に表示す る場合にも対応している。
図 47は、ユーザによる観察モード或いは表示方法の選択制御により、表示モニタ 1 06に表示される画像表示例を示す。
[0219] 図 47 (A)及び図 47 (B)は、表示モニタ 106に通常画像のみ、或いは分光画像の みをそれぞれ表示させた場合を示す。この場合は、例えば図 32 (A)及び図 32 (B)と 同じような表示形態を採用している。
また、図 47 (C)は、通常画像を大きなサイズで表示し、分光画像を小さなサイズに して両画像を重畳して表示した場合を示す。つまり、通常画像を親画面で、分光画 像を子画面で表示したピクチャインピクチヤで表示した例を示す。
図 47 (D)は、図 47 (C)における通常画像と分光画像のサイズを入れ替えて表示し た場合を示す。
このように本実施例によれば、通常画像と分光画像とを同時に表示することもできる ようにしているので、よりユーザによる選択肢が広がり、操作性が向上する。
[0220] また、本実施例では一方の画像のみを表示する場合にも表示モニタ 106の解像度 等に応じて拡大等して表示できるようにしているので、表示モニタ 106の表示面の解 像度等が異なるような場合にも適切な大きさで表示させることができる。また、各画像 の例えば下には、その画像の観察モード或いは画像の種類を表示して、ユーザが容 易に確認できるようにしている。ここでは、通常画像の場合を NI、分光画像の場合を NBIで明示的に示している。
なお、図 47では、通常の表示モニタ 106の場合で説明した力 例えば横長の表示 面を有する表示モニタに表示するようにしても良い。
図 48 (A)は横長の表示面を有する表示モニタ 106にて、通常画像と分光画像とを 同時に表示した様子を示す。この場合にも、表示サイズを調整することにより、図 48 ( A)に示すように比較的大きなサイズで表示することが可能となる。
[0221] また、図 48 (B)に示すように 2つの表示モニタ 106A、 106Bを用意して、それぞれ に通常画像と分光画像を表示してもよい。また、その表示を入れ替えるようにしても良 レ、。
また、表示する分光画像は一つの波長のみのものを選択して表示してもよいし、実 施例 2等のように、 2、ないし 3つの分光画像を使っての擬似カラー表示でも良い。 また、本実施例における観察モードの表示例としては 2つの観察モードの画像を両 方表示した場合にも確認し易いように表示する例を説明したが、一方のみの観察モ ードの画像を表示する場合には、図 32 (D)〜図 32 (F)のようにしても良い。
なお、通常画像と分光画像とを同時に表示する場合の構成としては、図 46のもの に限定されるものでなぐ例えば図 4の構成において、一方の画像の選択を行う切換 部 439の代わりに一方の画像の選択と両画像の合成(重畳)を行う図 46の重畳部 18 1を採用することにより、ほぼ同様の作用効果を得ることができる。
[0222] (実施例 6)
図 49及び図 50は本発明の実施例 6に係り、図 49は色フィルタの配列を示す図、図 50は図 49の色フィルタの分光感度特性を示す図である。
実施例 6は、実施例 1とほとんど同じであるので、異なる点のみ説明し、同一の構成 には同じ符号をつけ説明は省略する。
本実施例は、主として実施例 1と CCD21に設けられた色フィルタが異なるものであ る。実施例 1では、図 6で示したように RGBの原色型色フィルタが用いられたのに対し 、本実施例では、補色型の色フィルタを用いる。
この補色型色フィルタの配列は図 49に示されているように、 G、 Mg、 Ye、 Cyの各 要素から構成される。なお、原色型色フィルタの各要素と補色型色フィルタの各要素 の関係は、 Mg = R + B、 Cy=G + B、 Ye = R + Gとなる。
[0223] この場合、 CCD21の全画素読み出しを行レ、、各色フィルタからの画像を信号処理 又は画像処理することになる。また、原色型色フィルタについての(1)式〜(8)式及 び(19)式〜(21)式について、補色型色フィルタの場合に変形すると、以下の(27) 式より(33)式のようになる。但し、 目標とする狭帯域のバンドパスフィルタの特性は同 じとする。
[0224] [数 27]
"2 3
わ, b2 3
G Mg Cy Ye = (F, Fつ F, .(27) も C (F F2 F3 •(28)
Figure imgf000061_0001
ほ女 29]
k =(ί S(^)XH(1)X
k XMg
Figure imgf000061_0002
k = XYe (29)
Ye
女 30]
0 0
0 0 0
K (30)
0 0 ん 0
、c 0 0 女 31]
Z-0.413 -0.678 4.385、
-0.040 -3.590 2.085
A (31)
-0.011 -2.504 -1.802
、0.332 3.233 -3.310ノ
[数 32]
1 0 0 0
0 0.814 0 0
K .(32)
0 0 0.730 0
0 0 0 0.598 女 33] 1 0 0 0 V-0.413 -0.678 4.385 \
0 0.814 0 0 -0.040 -3.590 2.085
Α' = KA =
0 0 0.730 0 -0.011 -2.504 -1.802
0 0 0.598八 0.332 3.233 -3.310; し 0.413 -0.678 4.385
-0.033 -2.922 1.697
-0.008 -1.828
、 0.109 1.933
ー(33) また、図 50は、補色型色フィルタを用いた場合の分光感度特性、 目標とするバンド パスフィルタ及び上記(27)式乃至(33)式により求められ擬似バンドパスフィルタの 特性を示す。
[0225] なお、補色型色フィルタを用いる場合には、図 4で示される S/H回路は、それぞれ R'G' Bではなぐ G'Mg' Cy Yeについて行われることは言うまでもない。
また、補色型色フィルタを使った場合でも式(9)〜(18)で示したマトリックス推定方 法が適用できる。この場合、補色型色フィルタの数力 ¾つである場合には、式(14)で 仮定した生体分光反射率が 3つの基本的な分光特性で近似できる、という部分が 4 つ、ないしは 4つ以下となる。従って、これに合わせて、推定マトリックスを演算するた めの次元は 3から 4に変更される。
本実施例によると、実施例 1と同様、血管パターンが鮮明に表示される分光画像を 得ること力 Sできる。また、本実施例では、補色型色フィルタを用いた場合のメリットを享 受すること力 Sできる。
[0226] なお、本発明は、上述した実施例を種々組みあせて用いても良ぐまたその趣旨を 逸脱脱しない範囲での変形も可能である。
例えば、既に述べた全ての実施例に対して、臨床中その他のタイミングにて操作者 自ら新規の擬似バンドパスフィルタを作成し、臨床に適用することもできる。即ち、実 施例 1で示すと図 4中の制御部 42に、マトリックス係数を演算 ·算出することのできる 設計部(図示しなレ、)を設けるようにしても良レ、。 これにより、図 4に示す内視鏡装置本体 105に設けられたキーボード 451を介して 条件を入力することで、操作者が知りたい分光画像を得るのに適した擬似バンドパス フィルタを新規に設計するようにしても良い。この場合、算出されたマトリックス係数(( 19)式及び(31)式のマトリックス「A」の各要素に相当)に補正係数((20)式及び(3 2)式のマトリックス「K」の各要素に相当)を施した最終マトリックス係数((21)式及び( 33)式のマトリックス「Α'」の各要素に相当)を図 4中のマトリックス演算部 436に設定 することで、即時臨床に適用することができる。
[0227] なお、上述の各実施例等においては、分光画像信号を生成する場合、 CCD21に より撮像された撮像信号から生成されるカラー画像信号として、色信号とも呼ばれる R GB信号の場合で主に説明したが、輝度信号と色差信号とからなるカラー画像信号 から分光画像信号を生成するようにしても良レ、。
[0228] なお、上述した各実施例等においては、光源部 31からの照明光を内視鏡 101のラ イトガイド 14により導光し、ライトガイド 14の先端面から被検体としての例えば生体組 織等に (導光した)照明光を照射することにより、被検体を照明する例で説明した。
[0229] 本発明はこれに限定されるものでなぐ例えば内視鏡 101の先端部 103に発光ダイ オード (LEDと略記)を配置し、この LEDから照射した照明光で被検体を照明するよ うにしても良い。つまり、この場合には、光源部或いは照明部が内視鏡 101に設けら れた例となる。
(実施例 7)
次に本発明の実施例 7を、図 1〜図 3、図 51、図 5〜図 7、図 52、図 9〜図 20、図 5 3、図 22、図 54、図 55、図 56を参照して説明する。図 51は図 3の電子内視鏡装置 の構成を示すブロック図、図 52は図 51のマトリックス演算部の構成を示す構成図、 図 53は図 51の色調整部の構成を示すブロック図、図 54は図 51の色調整部の変形 例の構成を示すブロック図、図 55は生体機能演算部の構成を示すブロック図、図 56 はモニタへの表示例を示す図である。
[0230] 本実施例は、信号処理により得られた分光画像に基づく生体組織の所望の深部の 組織情報に関連して生体機能情報を表示し、診断能の向上に寄与することのできる 生体観測装置を提供することを目的としている。 [0231] 本実施例 7に係る図 1及び図 2、マトリックス算出方法、補正方法、 S/Nの改善方 法、マトリックス算出方法の変形例は、実施例 1における導入部において説明したの で、その説明を省略する。
[0232] 次に、本発明の実施例 7に係る電子内視鏡装置の外観上の構成は、例えば図 3と 同じである。
[0233] 図 3に示すように、電子内視鏡装置 100は、内視鏡 101、内視鏡装置本体 105、表 示モニタ 106を有している。また、内視鏡 101は、被検体の体内に揷入される揷入部 102、揷入部 102の先端に設けられた先端部 103および、揷入部 102の先端側とは 反対側に設けられ、先端部 103の湾曲動作等を指示するためのアングル操作部 10 4から主として構成されてレ、る。
[0234] 内視鏡 101で取得された被検体の画像は、内視鏡装置本体 105にて所定の信号 処理がなされ、表示モニタ 106において、処理された画像が表示される。
[0235] 次に、図 51を参照して、内視鏡装置本体 105について詳しく説明する。なお、図 5 1は同時式の電子内視鏡装置 100のブロック図である。
[0236] 図 51に示すように、内視鏡装置本体 105は、主に照明部としての光源部 41と、制 御部 42と、本体処理装置 43から構成されている。制御部 42及び本体処装置 43は、 前記光源部 41及び/又は撮像部としての CCD21の動作を制御し、表示装置であ る表示モニタ 106へ映像信号を出力する信号処理制御部を構成している。
[0237] 本実施例は、図 4に示す実施例 1において、操作パネル 441、係数制御部 442、 L UT443、キーボード 451を設けないで、生体機能演算部 450を設けた構成となって いる。この生体機能演算部 450は、積算部 438a、 438b, 438cからの出力信号が入 力され、生体機能を表す指標の情報を生成して、切換部 439に出力する。以下、内 視鏡装置本体 105の構成をより詳細に説明する。
[0238] 尚、本実施例では、 1つのユニットである内視鏡装置本体 105内に光源部 41と画 像処理等を行う本体処理装置 43を有するものとして説明を行うが、これらの光源部 4 1と本体処理装置 43は、内視鏡装置本体 105と別のユニットとして、取り外し可能な ように構成されてレ、ても良レ、。
[0239] 光源部 41は、制御部 42および内視鏡 101に接続されており、制御部 42からの信 号に基づいて所定の光量で白色光(完全な白色光でない場合も含む)の照射を行う
。また、光源部 41は、白色光源としてのランプ 15と、光量を調整するためのチヨッパ 一 16と、チョッパー 16を駆動するためのチョッパー駆動部 17とを有している。
[0240] チョッパー 16は、図 5に示すような構成であり、実施例 1においてその構成及び動 作は説明済みであるのでその説明を省略する。
[0241] 尚、光源部 41は、チョッパーによる光量制御ではなぐランプ 15の電流制御によつ て光量を調整するようにしても良レ、。すなわち、ランプ 15の電流制御を行う電流制御 装置を設け、制御部 42からの指令に基づいて、電流制御装置は RGBのいずれの力 ラー画像信号も飽和状態とならないようにランプ 15に流れる電流の制御を行う。これ により、ランプ 15は発光のために使用される電流が制御されるため、その光量は、そ の電流の大きさに応じて変化する。
[0242] このようにランプ 15の電流制御を採用した場合の電子内視鏡装置においても、血 管パターン等が鮮明に表示される分光画像を得ることができる。ランプ 15の電流制 御による光量制御方法は、チョッパーを用いた光量制御方法に比較し、制御方法が 簡単であるという利点がある。
[0243] また、光源部 41にコネクタ 11を介して接続される内視鏡 101は、先端部 103に対 物レンズ 19及び CCD等の固体撮像素子 21 (以下、単に CCDと記載する)を備えて いる。本実施例における CCDは単板式(同時式電子内視鏡用に用いられる CCD) であり、原色型である。尚、図 6は CCDの撮像面に配置された色フィルタの配列を示 している。また、図 7は図 6の色フィルタにおける RGBのそれぞれの分光感度特性を 示している。
[0244] また、図 51に示すように、揷入部 102は、光源部 41から照射された光を先端部 10 3に導くライトガイド 14と、 CCDで得られた被検体の画像を本体処理装置 43に伝送 するための信号線と、また、処置を行うための鉗子チャネル 28等を備えている。尚、 鉗子チャネル 28に鉗子を揷入するための鉗子口 29は、操作部 104近傍に設けられ ている。
[0245] また、本体処理装置 43は、光源部 41と同様、コネクタ 11を介して内視鏡 101に接 続される。本体処理装置 43には、 CCD21を駆動するための CCDドライブ回路 431 が設けられている。また、本体処理装置 43は、通常画像を得るための信号回路系と して輝度信号処理系と色信号処理系を有する。
[0246] 輝度信号処理系は、 CCD21に接続され輪郭補正を行う輪郭補正部 432と、輪郭 補正部 432で補正されたデータから輝度信号を生成する輝度信号処理部 434を有 する。また、色信号処理系は、 CCD21に接続され、 CCD21で得られた信号のサン プリング等を行レ、RGB信号を生成するサンプルホールド回路(SZH回路) 433a乃 至 433cと、 SZH回路 433a乃至 433cの出力に接続され、色信号の生成を行う色信 号処理部 435を有する。
[0247] そして、輝度信号処理系の出力と前記色信号処理系の出力から 1つの通常画像を 生成する通常画像生成部 437が設けられ、通常画像生成部 437から切換部 439を 介して、表示モニタ 106に Y信号、 R_Y信号、 B_Y信号が送られる。
[0248] 一方、分光画像を得るための信号回路系として、 SZH回路 433a乃至 433cの出 力信号 (RGB信号)が入力され、 RGB信号に対して所定のマトリックス演算を行うマト リックス演算部 436が設けられている。マトリックス演算とは、カラー画像信号同士に 加算処理等を行い、また、上述のマトリックス算出方法(あるいはその変形例)により 求められたマトリックスを乗算する処理をいう。
[0249] 尚、本実施例では、このマトリックス演算の方法として、電子回路処理 (電子回路を 用いたハードウェアによる処理)を用いた方法について説明する力 後述の実施例の ように、数値データ処理(プログラムを用いたソフトウェアによる処理)を用いた方法で あっても良い。また、実施するにあたっては、これらの方法の組み合わせとすることも 可能である。
[0250] 図 52は、マトリックス演算部 436の回路図を示している。 RGB信号はそれぞれ抵抗 群 31a乃至 31cを介して、増幅器 32a乃至 32cに入力される。
[0251] それぞれの抵抗群は、 RGB信号がそれぞれ接続される複数の抵抗を有しており、 それぞれの抵抗の抵抗値はマトリクス係数に応じた値となっている。即ち、それぞれ の抵抗により RGB信号の増幅率を変化させ、増幅器で加算 (減算でも良い)する構 成となっている。
[0252] それぞれの増幅器 32a乃至 32cの出力は、マトリックス演算部 436の出力となる。つ まり、このマトリックス演算部 436は、いわゆる重み付け加算処理を行っている。尚、こ こで用いられるそれぞれの抵抗における抵抗値を可変としても良い。
[0253] マトリックス演算部 436の出力は、それぞれ積算部 438a乃至 438cに入力され、積 分演算が行われた後、それぞれの分光画像信号∑F1乃至∑F3が色調整部 440及 び生体機能演算部 450に送られる。
[0254] 色調整部 440は、分光画像信号∑F1乃至∑F3に対して後述する色調整演算を行 レ、、色調演算された分光画像信号としての分光チャンネル画像信号 Rnbi、 Gnbi、 Be hをそれぞれ生成して切換部 439に送る。なお、本実施例においては図 51で表示モ ユタ 106の R、 G、 Bのチャンネルを明示していなレ、が、分光チャンネル画像信号 Rnb i、 Gnbi、 Bchはそれぞれ表示モニタ 106の R、 G、 Bのチャンネルに出力される。この ため、表示モニタ 106での表示色に主眼をおいた表現として、分光チャンネル画像 信号 Rnbi、 Gnbi、 Bchを表示モニタ 106の R、 G、 Bのチャンネルに出力するカラーチ ヤンネル画像信号とレ、うこともできる。
[0255] また、本実施例における生体機能演算部 450は、分光画像信号∑F1乃至∑F3に 基づいて、生体機能を表す指標、より具体的には生体における血液中の酸素代謝 機能を持つヘモグロビンの濃度に相関のある値(ヘモグロビンインデックス; IHb)を 生体機能情報として演算等により算出する。また、生体機能演算部 450は算出され た IHb値力 擬似画像 (擬似カラー画像或いはグレースケール画像)等の生体機能 画像(生体機能情報に含まれる)を生成して切換部 439に送る。尚、色調整部 440及 び生体機能演算部 450の構成については、後述する。
[0256] 尚、切換部 439は、表示モニタ 106に通常画像、分光画像、生体機能画像(生体 機能情報)の表示切換えを行うものであり、また分光画像同士の切換表示も可能であ る。つまり操作者は、通常画像、分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiの分光チ ヤンネル画像、生体機能画像から選択して表示させることができる。また、切換部 43 9によりいずれ力 つ以上の画像を同時に表示モニタ 106に表示可能な構成としても 良い。
[0257] 特に、表示モニタ 106に通常画像、分光チャンネル画像、生体機能画像を同時に 表示可能とした場合には、ユーザは、一般的に観察を行っている通常画像に対して 分光チャンネル画像及び生体機能画像を簡単に対比することができる。そしてユー ザは、通常画像と分光チャンネル画像とのそれぞれの特徴(通常画像の特徴は色度 合いが通常の肉眼の観察に近く観察しやすい。分光チャンネル画像の特徴は通常 画像では観察できない所定の血管等を観察することができる。 )を加味した上で観察 することができる。従って本実施例は、診断上非常に有用である。
[0258] 次に、本実施の形態における電子内視鏡装置 100の動作について図 51を参照し て詳しく説明する。
[0259] 尚、以下においては、まず通常画像を観察する際の動作について説明し、後に分 光画像を観察する際の動作について説明する。
[0260] まず、光源部 41の動作を説明すると、制御部 42からの制御信号に基づいて、チヨ ッパー駆動部 17は、所定の位置に設定され、チョッパー 16を回転させる。ランプ 15 力 の光束は、チョッパー 16の切り欠き部を通過し、集光レンズにより、内視鏡 101と 光源部 41の接続部にあるコネクタ 11内に設けられた光ファイババンドルであるライト ガイド 14の入射端に、集光される。
[0261] 集光された光束は、ライトガイド 14を通り、先端部 103に設けられた照明光学系か ら被検体の体内に照射される。照射された光束は、被検体内で反射し、対物レンズ 1 9を介して、 CCD21において図 6で示した色フィルタ別に信号が収集される。
[0262] 収集された信号は、上記の輝度信号処理系と色信号処理系に並列に入力される。
輝度信号系の輪郭補正部 432には、色フィルタ別に収集された信号が画素ごとに加 算されて入力され、輪郭補正後、輝度信号処理部 434に入力される。輝度信号処理 部 434では、輝度信号が生成され、生成された輝度信号は、通常画像生成部 437に 入力される。
[0263] また一方で、 CCD21で収集された信号は、各フィルタ毎に S/H回路 433a乃至 4 33cに入力され、それぞれ R'G' B信号が生成される。さらに R'G' B信号は、色信号 処理部 435にて色信号処理が施された後、通常画像生成部 437において、前記輝 度信号および色信号から Y信号、 R— Y信号、 B— Y信号が生成される。 Y信号、 R- Y信号、 B—Y信号は、切換部 439を介して、表示モニタ 106に出力され、表示モニ タ 106に被検体の通常画像が表示される。 [0264] 次に、分光画像を観察する際の動作について説明する。尚、通常画像の観察と同 様の動作を行うものに関しては、ここでは省略する。
[0265] 操作者は、本体 105に設けられているキーボードあるいは内視鏡 101の操作部 10
4に設けられているスィッチ等を操作することにより、通常画像から分光画像を観察す る指示をおこなう。この時、制御部 42は、光源部 41および本体処理装置 43の制御 状態を変更する。
[0266] 具体的には、必要に応じて制御部 42は、光源部 41から照射される光量を変更する 。上述のように、 CCD21からの出力が飽和することは望ましくないため、制御部 42は 、分光画像観察時は通常画像の観察時に比して照明光量を小さくする。また制御部 42は、 CCDからの出力信号が飽和しないように制御するとともに、飽和しない範囲に て照明光量を変化させることもできる。
[0267] また、制御部 42による本体処理装置 43への制御変更としては、切換部 439から出 力される信号を通常画像生成部 437の出力から色調整部 440の出力に切換える。
[0268] また、 S/H回路 433a乃至 433cの出力は、マトリックス演算部 436で増幅.加算処 理が行われ、それぞれの帯域に応じて積算部 438a乃至 438cに出力され、積算処 理後に色調整部 440に出力される。チョッパー 16で、照明光量を小さくした場合でも 、積算部 438a乃至 438cにて、保存.積算することによって、図 2に示したように、信 号強度を上げることができ、 S/Nが向上した分光画像を得ることができる。
[0269] 以下、本実施例における具体的なマトリックス演算部 436のマトリックス処理につい て記載する。本実施例では、図 7に実線で示された RGB色フィルタの分光感度特性 から、同図中に示された理想的な狭帯域バンドパスフィルタ F1乃至 F3 (ここではそれ ぞれの透過波長領域を 1 : 590 11〜620 11、 F2: 520nm〜560nm、 F3 : 400nrr!〜 440η mとした)に近いバンドパスフィルタ(以下擬似バンドパスフィルタと呼ぶ)を作成しょう とした場合、前述の(1)式から(5)式に示した内容により、以下のマトリックスが最適と なる。
[0270] ほ女 19]
Figure imgf000070_0001
更に、(6)式及び(7)式に示した内容により補正を行うと、以下の補正係数を得る。
[0271] 女 20]
Figure imgf000070_0002
尚、(6)式に示す光源のスペクトル S ( ;i )は図 9に示すものとなり、 (7)式に示す注 目する生体の反射スペクトル Η ( λ )は図 10に示すものである、という先見情報を使 用している。
従って、マトリックス演算部 436にて行われる処理は、数学的には以下のマトリックス 演算と同値となる。
[0273] ほ女 21]
1 0 0 V 0.625 -3.907 -0.05
Α = ΚΑ = 0 1.07 0 -3.097 0.631 -1.661
0 0 1.57八 0.036 -5.146 0.528 ,
( 0.625 -3.907 -0.050、
-3.314 0.675 -1.777 •(21) 0.057 -8.079 0.829 7 このマトリックス演算を行うことにより擬似フィルタ特性(図 7にはフィルタ擬似 F1乃至 F3の特性として示されている)が得られる。即ち、上述のマトリックス処理は、カラー画 像信号に、上述のようにして予め生成された擬似バンドパスフィルタ(マトリックス)を 用いて、分光画像信号を作成するものである。
[0274] この擬似フィルタ特性を用いて生成された内視鏡画像の一例を以下に説明する。
[0275] 図 11に示すように、体腔内組織 51は、例えば深さ方向に異なった血管等の吸収体 分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管 52が多く分布し、ま たこの層より深い中層には毛細血管の他に毛細血管より太い血管 53が分布し、さら に深層にはさらに太レ、血管 54が分布するようになる。
[0276] 一方、光は体腔内組織 51に対する光の深さ方向の深達度は、光の波長に依存し ており、可視域を含む照明光は、図 12に示すように、青(B)色のような波長が短い光 の場合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せ ず、そこまでの深さの範囲で吸収、散乱を受け、表面から出た光が観測される。また、 青 (B)色光より波長が長い、緑 (G)色光の場合、青 (B)色光が深達する範囲よりさら に深い所まで深達し、その範囲で吸収、散乱を受け、表面から出た光が観測される。 さらにまた、緑 (G)色光より波長が長い、赤 (R)色光は、さらに深い範囲まで光が到 達する。
[0277] 体腔内組織 51の通常観察時における RGB光は、図 13に示すように、各波長域が オーバーラップしているために、
(1) B帯域光により CCD21で撮像される撮像信号には図 14に示すような浅層での 組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(2)また、 G帯域光により CCD21で撮像される撮像信号には図 15に示すような中層 での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(3)さらに R帯域光により CCD21で撮像される撮像信号には図 16に示すような深層 での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像される。
[0278] そして内視鏡装置本体 105により、これら RGB撮像信号を信号処理することで、内 視鏡画像としては所望あるいは自然な色再現の内視鏡画像を得ることが可能となる。
[0279] 上述のマトリックス演算部 436におけるマトリックス処理は、カラー画像信号に、上述 のようにして予め生成された擬似バンドパスフィルタ(マトリックス)を用いて、分光画 像信号を作成するものである。
[0280] 例えば図 17に示すような所望の深層組織情報が抽出可能な離散的で狭帯域な分 光特性の擬似バンドパスフィルタ F1乃至 F3を用いて、分光画像信号 F1乃至 F3が得 られる。擬似バンドパスフィルタ F1乃至 F3は、図 17に示すように、各波長域がオーバ 一ラップしてレ、なレ、ために、 (4)擬似バンドパスフィルタ F3による分光画像信号 F3には図 18に示すような浅層で の組織情報を有するバンド画像が撮像され、また、
(5)擬似バンドパスフィルタ F2による分光画像信号 F2には図 19に示すような中層で の組織情報を有するバンド画像が撮像され、さらに
(6)擬似バンドパスフィルタ F1による分光画像信号 F1には図 20に示すような深層で の組織情報を有するバンド画像が撮像される。
[0281] つぎに、このようにして得られた分光画像信号 F1乃至 F3に対して色調整部 440は 、最も単純な色変換の例として、分光画像信号 F1を(表示モニタ 106の Rチャンネル に出力される)分光チャンネル画像信号 Rnbiに、分光画像信号 F2を (表示モニタ 10 6の Gチャンネルに出力される)分光チャンネル画像信号 Gnbiに、分光画像信号 F3 を(表示モニタ 106の Bチャンネルに出力される)分光チャンネル画像信号 Bnbiに、 それぞれ割り付け、切換部 439を介して、表示モニタ 106に出力する。
[0282] 色調整咅 440は、図 53に示すように、 3 X 3のマトリックス回路 61と、 3 X 3のマトリツ タス回路 61の前後に設けた 3糸且の LUT62a, 62b, 62c, 63a, 63b, 63cと、 LUT6 2a, 62b, 62c, 63a, 63b, 63cのテープノレデータや 3 X 3マトリックス回路 61の係数 を変更する係数変更回路 64と、を備えた色変換処理回路 440aで構成されている。
[0283] 色変換処理回路 440aに入力される分光画像信号 F1乃至 F3は、各バンドデータ毎 に LUT62a, 62b, 62cにより、逆 γ補正や、非線形なコントラスト変換等が行われる
[0284] 次に、 3 X 3マトリックス回路 61にて、色変換が行われた後、後段の LUT63a, 63b
, 63cにて γ補正や、適当な階調変換処理が行われる。
[0285] これら LUT62a, 62b, 62c, 63a, 63b, 63cのテープノレデータや 3 X 3マトリックス 回路 61の係数を、係数変更回路 64で変更することができる。
[0286] 係数変更回路 64による変更は、内視鏡 101の操作部等に設けられた処理変換ス イッチ(図示せず)からの制御信号に基づレ、て行われる。
[0287] これら制御信号を受けた係数変更回路 63は、予め色調整部 440内に格納されて いる係数データから適切なデータを呼び出し、このデータで、現在の回路係数を書き る。 [0288] 次に具体的な色変換処理内容について述べる。式(22)は色変換式の一例を示す
[0289] [数 22]
Figure imgf000073_0001
この式(22)による処理は、表示モニタ 106の R、 G、 Bの各カラーチャンネルにそれ ぞれ出力される分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiとして、分光画像信号 Fl 乃至 F3を波長の短い順に割り当てる色変換である。
[0290] このようにして分光チャンネル画像信号 Rnbi、 Gnbi、 Bnbiに対応する分光チャンネ ル画像をカラー画像で観察した場合、例えば図 22に示すような画像となる。太い血 管が深い位置にあり、分光画像信号 F3が反映され、表示色としては青色系のパター ンとして示される。中層付近にある血管網は分光画像信号 F2が強く反映されるので、 表示色(カラー画像)としては赤色系のパターンとして示される。血管網の内、粘膜表 面付近に存在するものは黄色系のパターンとして表現される。
[0291] 尚、色変換処理回路 440aは 3 X 3マトリックス回路 61からなるマトリックス演算器に より色変換するとしたが、これに限らず、数値演算プロセッサ(CPU)や LUTで色変 換処理手段を構成してもよレヽ。
[0292] 例えば、上記実施例では、 3 X 3マトリックス回路 61を中心とした構成により色変換 処理回路 440aを示した力 図 54に示すように、色変換処理回路 440aを各バンドに 対応した 3次元 LUT71で置き換えても同様の効果を得ることができる。この場合、係 数変更回路 64は、内視鏡 101の操作部等に設けられた処理変換スィッチ(図示せ ず)からの制御信号に基づいてテーブルの内容を変更する動作を行なう。
[0293] 一方、分光チャンネル画像の観察画像に対し、操作者は、本体 105に設けられて いるキーボードあるいは内視鏡 101の操作部 104に設けられているスィッチ等を操作 することにより、生体機能演算部 450への演算指示を行うと、分光画像信号 F1乃至 F 3のうちの 2つのバンド画像情報を用いて、図 55に示す IHb値算出回路 450aにて IH b値が演算される。 [0294] 従来の IHb値演算では、式(34)が使われているが、この式は Gバンド画像が血液 情報を強く反映することを利用している。
[0295] 一方、フィルタを狭帯域化すると、 B画像には表面上の毛細血管が強く反映される
。従って、 Bと Gの画像は、血液が存在する深さが異なり、 Bが表層、 Gがそれより深い 層位置の情報を反映することになる。
[0296] ほ女 34]
IHb = 32 X Log (R/G) …(34)
よって、生体機能演算部 450では、 R帯域に相当する分光画像信号 F1を R信号、 G帯域に相当する分光画像信号 F2を G信号、 B帯域に相当する分光画像信号 F3を B信号として扱う。そして、 IHb算出回路 450aに設けたセレクタ 451の動作を操作ス イッチ等からの指示によって切替えることで、生体機能演算部 450は、式(34)による G情報に基づいた粘膜中層の IHb値と、式 (35)による B情報に基づいた粘膜表層の IHb値とを切替えて演算する。
[0297] これにより、ユーザは、生体組織の組織表面近くの所望の深部の組織情報を分離 して確認することができる。
[0298] [数 35]
IHb = 32 X Log (R/B) …(35)
具体的には、 IHb算出回路 450aは、図 55に示すように、セレクタ 451、除算器 452、 対数変換部 453、乗算器 454にて構成されている。 R信号としての分光画像信号 F1 と、セレクタ 451で選択された G信号としての分光画像信号 F2、或いは B信号として の分光画像信号 F3とが除算器 452に入力され、除算器 452により R/G或いは R/ Bが算出される。
[0299] 除算器 452の出力は、 Log変換部 453に入力され、 Log変換部 453により ROM上 の変換テーブル等を用いて対数変換が行われる。対数変換された信号は、乗算器 4 54にて所定の係数との乗算が行われ、画素毎の IHb値が算出されることになる。
[0300] そして、演算された画素毎の IHb値に基づいて疑似カラー画像等が生成され、疑 似カラー画像等が切換部 439を介して表示モニタ 106に出力される。例えば、図 55 に示すように、表示モニタ 106には、画面左側に通常のカラー画像 106Aが表示され 、その右側に分光チャンネル画像による観察画像 106Cが表示され、観察画像 106 Bの下部に IHb値に基づく生体機能画像 106Cが表示される。
[0301] このように表示モニタ 106には、通常の画像と、所望の深部の組織情報の観察に適 した色調に色変換された観察画像と、この観察画像に対応した組織の IHb値による 生体機能情報とが同時に表示される。そして本実施例によれば、術者による診断能 を向上させることができる。
[0302] 例えば、式(22)による色変換処理により、分光画像信号 F2を分光チャンネル画像 信号 Gnbi (表示モニタ 106の Gチャンネル)に割り付け、赤色系パターンの観察画像 で中層付近にある血管網を表示し、同時に、分光画像信号 F1,F2による G情報に基 づいた粘膜中層の IHb値を算出して生体機能画像を表示する。この表示により術者 は、ヘモグロビン分布による血行動態の変化を容易に把握することが可能となる。
[0303] このとき、粘膜表面付近に存在する血管網は、観察画像では黄色系のパターンとし て表現される力 黄色系のパターンは、背景粘膜とのコントラストが弱ぐ視認性が低 いという傾向がある。粘膜表面付近のパターンの変化は、特に、早期病変の発見鑑 別診断にとって重要である。
[0304] そこで、観察画像での粘膜表面付近のパターンをより明瞭に再現するために、以下 の式(23)に示す変換を行う一方、分光画像信号 F1,F3による B情報に基づいた粘 膜表層の IHb値を算出し、生体機能画像を表示することが有効となる。
[0305] [数 23]
Rnbi、
Figure imgf000075_0001
この式(23)による処理は、分光画像信号 F1をある一定の比率で分光画像信号 F2 に混合し生成されたデータを新たに分光チャンネル画像信号 Gnbiとする変換例であ り、血管網などの吸収散乱体が深さ位置で異なることをより明確化することが可能とな る。
したがって、係数変更回路 64を通じてマトリックス係数を調整することで、ユーザは 表示効果を調整することが可能となる。動作としては、内視鏡 101の操作部に設けら れたモード切替スィッチ(図示せず)に連動して画像処理手段内では、スルー動作か ら、マトリックス係数がデフォルト値に設定される。
[0307] ここでいうスルー動作とは、 3 X 3マトリックス回路 61には単位行歹 U、 LUT62a, 62b , 62c, 63a, 63b, 63cは非変換テープルを搭載した状態をいう。デフォルト値には 、マトリックス係数に、例えば ω =0. 2、 ω =0. 8という設定値を与えるということで
G Β
ある。
[0308] そして、ユーザは内視鏡 101の操作部等を操作して、この係数を ω =0. 4、 ω =
G B
0. 6などとレヽうように調整を行なう。 LUT62a, 62b, 62c, 63a, 63b, 63cには、必 要に応じて逆 Ί補正テーブル、 Ύ補正テーブルが適用される。
[0309] 尚、生体機能演算部 450には、 IHb算出回路 450aに加え、画像全体における IHb の平均値, IHbの標準偏差, IHbの尖度等の特徴量を演算する演算部を設け、これ らの数値を IHb値に基づく生体機能画像と共に表示モニタ 106の画面に表示するよ うにしても良い。
[0310] このように本実施例によれば、通常の電子内視鏡画像(通常画像)を生成するため のカラー画像信号を利用して、擬似的な狭帯域フィルタを生成することにより、分光 画像用の光学的波長狭帯域バンドパスフィルタを用いずに、血管パターン等の所望 の深部の組織情報を有する分光画像を得ることができる。
[0311] また、本実施例によれば、色調整部 440の色変換処理回路 440aのパラメータを分 光画像に応じて設定することで、狭帯域の分光画像観察時の深達度情報という特徴 を生かした表現方法を実現することが可能となり、生体組織の組織表面近くの所望の 深部の組織情報を効果的に分離して視認することできる。
[0312] しかも、本実施例によれば、同一の表示モニタ上に、通常のカラー画像に加えて、 観察に適した色調の観察画像と、 IHb値に基づく疑似画像等の生体機能情報とを同 時に表示することにより、例えばうつ血状態等を容易に把握することが可能となる。従 つて、従来のように、頻繁に各種の画像を切換える必要がなぐ本実施例では容易に 各画像を比較対照することができ、診断能の向上という効果がある。
[0313] (実施例 8)
図 57は本発明の実施例 8に係るマトリックス演算部の構成を示すブロック図である。 実施例 8は、実施例 7とほとんど同じであるので、実施例 7と異なる点のみ説明し、 同一の構成には同じ符号をつけ、その説明は省略する。
[0314] 本実施例は、主として実施例 7とマトリックス演算部 436が異なるものである。実施例
7では、マトリックス演算を電子回路による、いわゆるハードウェア処理により行うことと したが、本実施例では、このマトリックス演算を数値データ処理(プログラムを用いたソ フトウェアによる処理)により行う。
[0315] 本実施例におけるマトリックス演算部 436の具体的な構成を図 57に示す。本マトリ ックス演算部 436は、 RGBそれぞれのカラー画像信号を記憶しておく画像メモリ 50 を有する。また、式(21)に示されたマトリックス「A'」のそれぞれの値が数値データと して記憶されている係数レジスタ 151を有する。
[0316] 係数レジスタ 151と画像メモリ 50は、乗算器 53a乃至 53iに接続され、さらに乗算器
53a、 53d, 53gは、乗算器 54aに接続され、乗算器 54aの出力力 図 51における積 算部 438aと接続される。また、乗算器 53b、 53e、 53hは、乗算器 54bに接続され、 その出力は積算部 438bと接続される。また、乗算器 53c、 53f、 53iは、乗算器 54c に接続され、その出力が積算部 438cと接続される。
[0317] 本実施例の動作としては、入力された RGB画像データは、一度画像メモリ 50に記 憶される。次に、所定の記憶装置(図示しない)に保存されている演算プログラムによ り、係数レジスタ 151からマトリックス「Α'」の各係数が画像メモリ 50に記憶された RG Β画像データと、乗算器で乗算される。
[0318] 尚、図 57には、 R信号と各マトリックス係数が乗算器 53a乃至 53cで乗算される例が 示されている。また、同図のように、 G信号と各マトリックス係数が乗算器 53d乃至 53f で乗算され、 B信号と各マトリックス係数が乗算器 53g乃至 53iで乗算される。マトリツ タス係数とそれぞれ乗算されたデータは、乗算器 53a、 53d, 53gの出力が、乗算器 54aで、乗算器 53b、 53e、 53hの出力力 S、乗算器 54bで、また、乗算器 53c、 53f、 5 3iの出力は、乗算器 54cでそれぞれ乗算される。
[0319] 乗算器 54aの出力は、積算部 438aに送られる。また、乗算器 54b、乗算器 54cの 出力は、それぞれ積算部 438b、 438cに送られる。
[0320] 本実施例によると、実施例 7の場合と同様、血管パターンが鮮明に表示される分光 観察画像を得ることができると共に、この分光観察画像に関連した生体機能情報を 表示することができる。
[0321] また、本実施例では、実施例 7のようにハードウェアによってマトリックス処理を行う のではなぐソフトウェアを用いて行うため、例えば、各マトリックス係数の変更などに 迅速に対応することができる。
[0322] また、マトリックス係数を結果の値のみ、即ち、マトリックスお'」としてではなぐ S ( λ )、H ( )、R ( ;i )、G ( ;i )、B ( ;i
Figure imgf000078_0001
に記憶しておき、必要に応じて演算することによ りマトリックス「A'」を求めて使用するとした場合には、この中の 1つの要素のみを変更 することができ、利便性が向上する。例えば、照明光の分光特性 s ( ;i )のみの変更 等が可能である。
[0323] (実施例 9)
図 58及び図 59は本発明の実施例 9に係り、図 58は電子内視鏡装置の構成を示す ブロック図、図 59は図 58の CCDの電荷蓄積時間を示す図である。
実施例 9は、実施例 7とほとんど同じ構成であるので、実施例 7と異なる点のみ説明 し、同一の構成要素には同じ符号をつけてその説明は省略する。
本実施例は、実施例 7とは光源部 41および CCD21が異なる。実施例 7では、 CC D21は図 6で示した色フィルタが設けられたものであり、この色フィルタによってカラ 一撮像信号を生成するいわゆる同時式であったのに対し、本実施例は、照明光を R GBの順に照明してカラー撮像信号を生成するいわゆる面順次式の CCD21を用い る。
[0324] 図 58に示すように、本実施例における光源部 41は、ランプ 15の前面に絞り 25が設 けられ、絞り 25のさらに前面に、 RGBフィルタ 23が設けられている。また、絞り 25は、 絞り制御部 24に接続されており、絞り制御部 24からの制御信号に応じて、ランプ 15 力 照射された光束のうち透過させる光束を制限し、光量を変化させる。また、 RGB 回転フイノレタ 23は、 RGB回転フィルタ制御部 26に接続され、所定の回転速度で回 転する。
[0325] 本実施例における光源部 41の動作としては、ランプ 15から出力された光束力 絞り
25で所定の光量に制限され、絞り 25を透過した光束は、 RGBフィルタ 23を介するこ とによって、所定の時間毎に R'G' Bそれぞれの照明光となって、光源部 41から出力 される。
[0326] また、それぞれの照明光は、被検体内で反射し、 CCD21で受光される。 CCD21 で得られた信号は、照射される時間に応じて、内視鏡装置本体 105に設けられた切 換部(図示しない)で振り分けられ、 S/H回路 433a乃至 433cにそれぞれ入力され る。
[0327] つまり、光源部 41から Rのフィルタを介した照明光が照射された場合には、 CCD2
1で得られた信号は、 SZH回路 433aに入力されることになる。尚、その他の動作に ついては実施例 7と同様であるため、ここでは省略する。
[0328] 本実施例によると、実施例 7の場合と同様、血管パターンが鮮明に表示される分光 観察画像を得ることができると共に、この分光観察画像に関連した生体機能情報を 表示することができる。
[0329] また、本実施例では、実施例 7と異なり、いわゆる面順次方式によるメリットを享受す ること力 Sできる。尚、このメリットとは、例えば後述するする実施例 10のようなものが挙 げられる。
[0330] また、上述の実施例では、 RGBカラー信号の飽和を避けるために、照明光量 (光源 部からの光量)を制御.調節していた。これに対し、 CCDの電子シャッターを調整す る方法もある。 CCDでは、一定時間内に入射した光強度に比例した電荷が蓄積され 、その電荷量を信号としている。この電荷を蓄積する電荷蓄積時間に相当するのが、 電子シャッターと呼ばれるものである。
[0331] この電子シャッターを調節することで、電荷の蓄積量即ち信号量を調整することが できる。このため、図 59に示すように、電荷蓄積時間を順次変化させた状態で RGB のカラー画像を得ることで、照明光量を制御した場合と同様の分光画像を得ることが できる。
[0332] 即ち、上述のそれぞれの実施例において、照明光量の制御は通常画像を得るため に用い、分光画像を得る際には、電子シャッターを変化させることにより、 RGBカラー 信号の飽和を避けることが可能である。
[0333] (実施例 10) 図 60は本発明の実施例 10に係る CCDの電荷蓄積時間を示す図である。
実施例 10は、実施例 9とほとんど同じ構成であるので、実施例 9と異なる点のみ説 明し、同一の構成要素には同じ符号をつけその説明は省略する。
[0334] 本実施例は、主として実施例 9と同様、面順次方式を利用したものであり、また、こ の利点を生力、したものである。実施例 9での電子シャッター制御による電荷蓄積時間 に重み付けを加えることで、分光画像データの生成を簡素化することができるもので ある。
[0335] すなわち、本実施例では、 CCD21の電荷蓄積時間を変化させることができる CCD ドライブ回路 431を有している。尚、その他の構成は、実施例 9と同様であるため、こ こでは省略する。
[0336] 本実施例の動作としては、図 60に示すように、 RGB回転フィルタ 23を介してそれ ぞれの照明光が照射された場合に、 CCDドライブ回路 431は、 CCD21における電 子シャッターによる電荷蓄積時間を変化させる。
[0337] ここで、照明光が R'G'Bのそれぞれの場合における CCD21の電荷蓄積時間を td r、 tdg、 tdb (尚、同図では Bのカラー画像信号は蓄積時間を設けていないため tdbは 省略されている)とする。例えば、(21)式にて示されたマトリックス処理を行う場合の F 3擬似フィルタ画像は、通常内視鏡にて得られる RGB画像から、
女 25]
F3 = -0. 050R- 1. 777G + 0. 829B …(25)
の演算を行うので、図 60での RGB別の電子シャッター制御による電荷蓄積時間を 女 26]
tdr: tdg: tdb = 0. 050 : 1. 777 : 0. 829 …(26)
となるように設定すれば良い。また、マトリックス部では、単に Rと G成分のみ反転させ た信号と B成分を加算する。これにより、実施例 7乃至実施例 9と同様の分光画像を 得ること力 Sできる。
[0338] 本実施例によると、実施例 9と同様、血管パターンが鮮明に表示される分光観察画 像を得ることができると共に、この分光観察画像に関連した生体機能情報を表示する こと力 Sできる。また、本実施例では、実施例 9と同様、カラー撮像信号の作成に面順 次方式を利用しており、またさらに電子シャッターを用いてカラー撮像信号毎に電荷 蓄積時間を異ならせることができるため、これにより、マトリックス演算部 436において は、単に加算、差分処理を行うだけでよぐ処理を簡略化することが可能である。
[0339] (実施例 11)
図 61及び図 62は本発明の実施例 11に係り、図 61は色フィルタの配列を示す図、 図 62は図 61の色フィルタの分光感度特性を示す図である。
[0340] 実施例 11は、実施例 7とほとんど同じであるので、実施例 7と異なる点のみ説明し、 同一の構成要素には同じ符号をつけその説明は省略する。
[0341] 本実施例は、主として実施例 7と CCD21に設けられた色フィルタが異なるものであ る。実施例 7では、図 6で示したように RGB原色型色フィルタが用いられるのに対し、 本実施例では、補色型の色フィルタを用いる。
[0342] この補色型の色フィルタの配列は図 61に示されているように、 G、 Mg、 Ye、 Cyの 各要素から構成される。尚、原色型色フィルタの各要素と補色型色フィルタの各要素 の関係は、 Mg = R + B、 Cy=G + B、 Ye = R + Gとなる。
[0343] この場合、内視鏡装置本体 105は、 CCD21の全画素読み出しを行レ、、各色フィル タからの画像を信号処理又は画像処理することになる。また、原色型色フィルタにつ いての(1)式〜(8)式及び(19)式〜(21)式について、補色型色フィルタの場合に 変形すると、以下の(27)式より(33)式のようになる。但し、 目標とする狭帯域のバン ドパスフィルタの特性は同じとする。
[0344] [数 27]
"2 3
わ, b2 3
G Mg Cy Ye = (F, Fつ F, .(27) も C (F F2 F3 •(28)
Figure imgf000082_0001
ほ女 29]
k =(ί S(^)XH(1)X
k XMg
Figure imgf000082_0002
k = XYe (29)
Ye
女 30]
0 0
0 0 0
K (30)
0 0 ん 0
、c 0 0 女 31]
Z-0.413 -0.678 4.385、
-0.040 -3.590 2.085
A (31)
-0.011 -2.504 -1.802
、0.332 3.233 -3.310ノ
[数 32]
1 0 0 0
0 0.814 0 0
K .(32)
0 0 0.730 0
0 0 0 0.598 女 33] 1 0 0 0 V-0.413 -0.678 4.385 \
0 0.814 0 0 -0.040 -3.590 2.085
Α' = KA =
0 0 0.730 0 -0.011 -2.504 -1.802
0 0 0.598八 0.332 3.233 -3.310; し 0.413 -0.678 4.385
-0.033 -2.922 1.697
-0.008 -1.828
、 0.109 1.933
ー(33) また、図 62は、補色型色フィルタを用いた場合の分光感度特性、 目標とするバンド パスフィルタ及び上記(27)式乃至(33)式により求められ擬似バンドパスフィルタの 特性を示す。
[0345] 尚、補色型色フィルタを用いる場合には、図 51で示される S/H回路は、それぞれ R'G' Bではなぐ G'Mg' Cy Yeについて行われることは言うまでもない。
[0346] また、補色型色フィルタを使った場合でも式(9)〜(18)で示したマトリックス推定方 法が適用できる。この場合、補色色フィルタの数力 ¾つである場合には、式(14)で仮 定した生体分光反射率が 3つの基本的な分光特性で近似できる、とレ、う部分が 4つ、 ないしは 4つ以下となる。従って、これに合わせて、推定マトリックスを演算するための 次元は 3から 4に変更される。
[0347] 本実施例によると、実施例 7の場合と同様、血管パターンが鮮明に表示される分光 観察画像を得ることができると共に、この分光観察画像に関連した生体機能情報を 表示することができる。また、本実施例では、補色型色フィルタを用いた場合のメリット を享受すること力 Sできる。
[0348] 以上、本発明における各実施例について説明を行ったが、本発明は、上記実施例 を種々組みあせて用いても良ぐまた趣旨を逸脱しない範囲内での変形も考えられる 例えば、既に述べた全ての実施例に対して、臨床中その他のタイミングにて操作者 自ら新規の擬似バンドパスフィルタを作成し、臨床に適用することもできる。即ち、実 施例 7で示すと図 51中の制御部 42に、マトリックス係数を演算 ·算出することのできる 設計部(図示しない)を設ける。
[0350] これにより、図 3に示す内視鏡装置本体 105に設けられたキーボードを介して条件 を入力することで、操作者が知りたい分光画像を得るのに適した擬似バンドパスフィ ルタを新規に設計するようにしても良い。そして、算出されたマトリックス係数((19)式 及び(31)式のマトリックス「A」の各要素に相当)に補正係数((20)式及び(32)式の マトリックス「K」の各要素に相当)を施した最終マトリックス係数((21)式及び(33)式 のマトリックス「Α'」の各要素に相当)を図 51中のマトリックス演算部 436に設定するこ とで、即時臨床に適用することができる。
[0351] 図 63は、臨床に適用するまでの流れを示す。この流れについて詳しく説明すると、 まず、操作者は、 目標となるバンドパスフィルタの情報 (例えば波長帯域等)をキーボ 一ド等を介して入力する。これにより、すでに所定の記憶装置等に記憶されている光 源、 ' CCDの色フィルタの特性等と共に、マトリックス「A'」が算出され、図 61に示さ れるように、 目標とするバンドパスフィルタの特性と共に、そのマトリックス「A'」による 演算結果 (擬似バンドパスフィルタ)力 スペクトル図としてモニタ上に表示される。
[0352] 操作者はこの演算結果を確認した後、新たに作成されたマトリックス「Α'」を使用す る場合には、その設定を行い、このマトリックス「Α'」を用いて実際の内視鏡画像が生 成される。また、これと共に新たに作成されたマトリックス「Α'」は、所定の記憶装置に 記憶され、操作者の所定の操作に応じて、再度使用することができる。
[0353] これにより、操作者は既存のマトリックス「Α'」にとらわれず、自らの経験等により新 たなバンドパスフィルタを生成することができ、特に研究用として使用される場合に、 効果が高いものである。
[0354] 本発明は、上述した実施例に限定されるものではなぐ本発明の要旨を変えない範 囲において、種々の変更、改変等が可能である。
産業上の利用可能性
[0355] カラー画像信号 (生体信号)から電気的な信号処理により分光画像信号 (分光信号 )を生成し、さらに色調の調整手段や係数切替手段を設けているので、観察しようと する生体組織が異なるような場合にも信頼性が高い状態を確保でき、操作性が良い 状態での画像表示ができる。
本出願は、 2005年 5月 12日に日本国に出願された特願 2005— 140379号、 200 5年 5月 12日に日本国に出願された特願 2005— 140383号を優先権主張の基礎と して出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引 用されたものとする。

Claims

請求の範囲
[1] 白色光の照明光により照明された被検体を、複数の広帯域の波長透過特性の色フ ィルタを備えた第 1の撮像装置により撮像した第 1の撮像信号、若しくは可視領域を カバーする互いに異なる複数の広帯域の波長領域の面順次照明光により照明され た被検体を、第 2の撮像装置により撮像した第 2の撮像信号に対する信号処理を行 レ、、表示装置にカラー画像として表示するためのカラー画像信号を生成するカラー 画像信号生成部と、
前記第 1の撮像信号若しくは前記第 2の撮像信号に基づき、前記カラー画像信号 の生成に用いられる色信号若しくは前記カラー画像信号に対する信号処理により、 狭帯域の波長領域の照明光により照明された被検体を撮像した場合に得られる狭帯 域の画像信号に対応する分光画像信号を生成する分光画像信号生成部と、 前記分光画像信号に対して、表示装置に分光画像として表示させる際の表示色変 換を行う表示色変換部と、
前記分光画像信号生成部における前記分光画像信号の生成特性の変更設定を する特性変更設定部、前記表示色変換の変更設定する表示色変更設定部、表示装 置に表示される画像を含む情報の切替及び/又は確認の指示操作を行うためのィ ンターフェース部とにおける前記特性変更設定部、前記表示色変更設定部、及び前 記インターフェース部との少なくとも一つと、
を具備することを特徴とする生体観測装置。
[2] 前記表示色変更設定部は、前記表示色変換の特性を変更するための複数の変換 用係数を格納した係数格納部と、前記表示色変換部で表示色変換に使用される変 換用係数の変換に用いられる変換用係数を切替設定する係数切替設定部とを有す ることを特徴とする請求項 1に記載の生体観測装置。
[3] 前記第 1の撮像装置、若しくは前記第 2の撮像装置で撮像するために用いられる前 記照明光を発生する光源部を有することを特徴とする請求項 1に記載の生体観測装 置。
[4] 前記第 1の撮像装置、若しくは前記第 2の撮像装置は内視鏡に設けられ、前記内 視鏡が着脱自在に接続される接続部を有することを特徴とする請求項 1に記載の生 体観測装置。
[5] 前記特性変更設定部は、前記第 1の撮像装置若しくは前記第 2の撮像装置と、前 記第 1の撮像装置若しくは前記第 2の撮像装置による撮像に用いられる前記照明光 を発生する光源部との少なくとも一方に対応する情報に基づき、前記特性変更設定 部による前記生成特性の変更設定を自動若しくは手動で行うことを特徴とする請求 項 1記載の生体観測装置。
[6] 前記分光画像信号生成部は、前記分光画像信号の生成特性を変更する複数の係 数を格納する係数格納部を有し、前記特性変更設定部は、前記係数格納部に対し て前記生成特性の変更設定に用いられる係数を切替設定する係数切替設定部であ ることを特徴とする請求項 1記載の生体観測装置。
[7] 前記係数格納部に格納される前記複数の係数は、前記被検体としての生体の分 光反射特性に対応した種類、又は生体における観察対象部位の名称、又は生体の 粘膜組織の種類に対応した複数の生体用係数を含むことを特徴とする請求項 6記載 の生体観測装置。
[8] 前記係数格納部に格納される前記複数の係数は、前記被検体としての生体におけ る複数の異なる特徴量に対応して前記分光画像信号の生成特性を変更する複数の 特徴量用係数を含むことを特徴とする請求項 6記載の生体観測装置。
[9] 前記係数格納部に格納される前記複数の変換用係数は、前記被検体としての生 体における分光反射特性が異なる複数の特徴量に対応した特徴量用係数を含むこ とを特徴とする請求項 2記載の生体観測装置。
[10] 前記特徴量用係数は、前記生体の表面から深さ方向に分布する血管構造を観測 するための前記分光画像信号を生成する血管用係数に設定されることを特徴とする 請求項 8記載の生体観測装置。
[11] 前記特徴量用係数は、前記生体の表面からの深さ方向に分布する血管構造を観 測するための前記分光画像信号の表示色を設定するための血管用係数に設定され ることを特徴とする請求項 9記載の生体観測装置。
[12] さらに、前記分光画像信号における明るさが基準値以下か否力 ^判定する明るさ 判定部を有し、前記明るさ判定部による判定結果に応じて、前記分光画像信号の生 成特性を切り替えることを特徴とする請求項 1記載の生体観測装置。
[13] さらに、前記分光画像信号における明るさが基準値以下の場合に判定信号を出力 する明るさ判定部を有し、前記判定信号により前記表示装置に表示される画像を強 制的に前記分光画像から前記カラー画像に切り替えることを特徴とする請求項 1記 載の生体観測装置。
[14] さらに、前記分光画像信号が所定の色調値に該当するか否かを判定する色調判 定部を有し、前記色調判定部による判定結果に応じて、前記分光画像信号の生成 特性を切り替えることを特徴とする請求項 1記載の生体観測装置。
[15] さらに、前記分光画像信号の色調値が、前記被検体に、染色用の色素、残渣、及 び胆汁の少なくとも 1つが存在している場合の特定色調値を検出する特定色調値検 出部を有し、前記特定色調値検出部により検出される特定色調値が所定量以上の 場合に、表示装置に表示される前記分光画像を前記カラー画像に強制的に切り替 えることを特徴とする請求項 1記載の生体観測装置。
[16] 前記特性変更設定部は、前記照明光を発生する光源部に搭載されている光源の 種類及び分光特性の違いの少なくとも一方を検出する光源種類/分光特性検出部 を有し、前記光源種類/分光特性検出部による検出結果に応じて前記分光画像信 号の生成特性を変更することを特徴とする請求項 1記載の生体観測装置。
[17] 前記インターフェース部は、前記表示装置に表示される前記カラー画像及び前記 分光画像の少なくとも一方の表示状態を制御する表示状態制御部を有することを特 徴とする請求項 1記載の生体観測装置。
[18] 前記表示状態制御部は、前記表示装置に表示される前記カラー画像及びと前記 分光画像との両画像を同時表示及び一方の画像のみの表示の少なくとも一方の表 示の選択を行う表示選択部を有することを特徴とする請求項 17記載の生体観測装 置。
[19] 前記表示状態制御部は、前記カラー画像信号及び/又は分光画像信号に対して 表示装置上に表示される際の画像サイズを変更する画像サイズ変更部を有し、前記 画像サイズ変更部で変更された画像サイズのカラー画像信号及び/又は分光画像 信号を表示装置に出力可能にしたことを特徴とする請求項 17記載の生体観測装置
[20] 前記カラー画像及び前記分光画像の一方の画像が前記表示装置に、ユーザによ り観察される観察画像として表示されるように、前記一方の画像を前記表示装置で表 示させる選択を行う観察画像選択部と、前記観察画像選択部により選択された一方 の画像が少なくとも生成されるように前記カラー画像信号生成部若しくは前記分光画 像信号生成部を動作状態となるように制御する制御部とを備えた観察画像モード設 定部を有することを特徴とする請求項 1記載の生体観測装置。
[21] 前記観察画像モード設定部は、前記生体観測装置の電源投入時に、前記観察画 像選択部からの選択操作に応じて、前記表示装置に表示される観察画像を、前記力 ラー画像若しくは前記分光画像に設定することを特徴とする請求項 19記載の生体観 測装置。
[22] 前記観察画像モード設定部は、前記カラー画像若しくは前記分光画像の選択に連 動して、前記カラー画像若しくは前記分光画像を前記表示装置に出力するのに使用 される前記カラー画像信号生成部及び分光画像信号生成部を含む信号処理部と、 前記照明光を発生する光源部との少なくとも一方におけるパラメータを切り替えること を特徴とする請求項 19記載の生体観測装置。
[23] 前記観察画像モード設定部は、前記表示装置に表示される観察画像に関連する 情報を表示する観察画像情報表示部を有することを特徴とする請求項 1記載の生体 観測装置。
[24] 前記観察画像情報表示部は、前記表示装置に表示された観察画像が前記カラー 画像若しくは分光画像のいずれであるかを前記表示装置上に明示的に表示すること を特徴とする請求項 23記載の生体観測装置。
[25] 前記観察画像情報表示部は、生体観測装置に設けられたユーザが指示操作を行 うための前記インターフェース部上に前記表示装置に表示された観察画像が前記力 ラー画像若しくは分光画像のいずれであるかを明示的に表示することを特徴とする 請求項 23記載の生体観測装置。
[26] 白色光の照明光により照明された被検体を、複数の広帯域の波長透過特性の色フ ィルタを備えた第 1の撮像装置により撮像した第 1の撮像信号、若しくは可視領域を カバーする互いに異なる複数の広帯域の波長領域の面順次照明光により照明され た被検体を、第 2の撮像装置により撮像した第 2の撮像信号に対する信号処理を行 レ、、表示装置にカラーの通常画像として表示するための通常画像信号を生成する通 常画像信号生成部と、
前記第 1の撮像信号若しくは前記第 2の撮像信号に基づき、前記カラー画像信号 の生成に用レ、られる色信号若しくは前記カラー画像信号に対する信号処理により、 狭帯域の波長領域の照明光により照明された被検体を撮像した場合に得られる狭帯 域の画像信号に対応する分光画像信号を生成する分光画像信号生成部と、 前記分光画像信号に基づき被検体を生体とした場合における生体の血液に関連 する生体機能情報を算出する生体機能情報算出部と、
を有することを特徴とする生体観測装置。
[27] 前記生体機能情報算出部は、算出した前記生体機能情報を表示装置に出力する ことを特徴とする請求項 26に記載の生体観測装置。
[28] 前記分光画像信号に対して、前記表示装置に分光画像として表示させる際の表示 色の調整を行う色調整部を更に含むことを特徴とする請求項 26に記載の生体観測 装置。
[29] 前記第 1の撮像装置、若しくは前記第 2の撮像装置で撮像するために用いられる前 記照明光を発生する光源部を有することを特徴とする請求項 26に記載の生体観測 装置。
[30] 前記第 1の撮像装置、若しくは前記第 2の撮像装置は内視鏡に設けられ、前記内 視鏡が着脱自在に接続される接続部を有することを特徴とする請求項 26に記載の 生体観測装置。
[31] 前記生体機能情報は、血液中に含まれるヘモグロビン濃度を表す指標としてのへ モグロビンインデックスであることを特徴とする請求項 26に記載の生体観測装置。
[32] 前記生体機能情報は、血液中に含まれるヘモグロビン濃度を表す指標としてのへ モグロビンインデックスであることを特徴とする請求項 28に記載の生体観測装置。
[33] 前記ヘモグロビンインデックスは、赤の波長帯域の分光画像信号と緑の波長帯域 の分光画像信号との比の対数力 算出されることを特徴とする請求項 31に記載の生 体観測装置。
[34] 前記ヘモグロビンインデックスは、赤帯域の分光信号と青帯域の分光信号との比の 対数力 算出されることを特徴とする請求項 31に記載の生体観測装置。
[35] 前記生体機能情報算出部は、前記分光画像信号から前記ヘモグロビンインデッ タスの画像情報を生成し、生成された前記画像情報を、表示装置に出力することを 特徴とする請求項 31に記載の生体観測装置。
PCT/JP2006/305023 2005-05-12 2006-03-14 生体観測装置 WO2006120798A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CA2607623A CA2607623C (en) 2005-05-12 2006-03-14 Biological observation apparatus
BRPI0609099-0A BRPI0609099A2 (pt) 2005-05-12 2006-03-14 aparelho de observação biológica
US11/914,171 US8301229B2 (en) 2005-05-12 2006-03-14 Biological observation display apparatus for presenting color or spectral images
AU2006245251A AU2006245251B2 (en) 2005-05-12 2006-03-14 Biometric instrument
EP06729057.7A EP1880657B1 (en) 2005-05-12 2006-03-14 Biological observation apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-140379 2005-05-12
JP2005140383 2005-05-12
JP2005140379A JP2006314557A (ja) 2005-05-12 2005-05-12 生体観測装置
JP2005-140383 2005-05-12

Publications (1)

Publication Number Publication Date
WO2006120798A1 true WO2006120798A1 (ja) 2006-11-16

Family

ID=37396318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305023 WO2006120798A1 (ja) 2005-05-12 2006-03-14 生体観測装置

Country Status (8)

Country Link
US (1) US8301229B2 (ja)
EP (1) EP1880657B1 (ja)
KR (1) KR100953788B1 (ja)
AU (1) AU2006245251B2 (ja)
BR (1) BRPI0609099A2 (ja)
CA (1) CA2607623C (ja)
RU (1) RU2381737C2 (ja)
WO (1) WO2006120798A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1905347A3 (en) * 2006-09-29 2008-07-02 Fujinon Corporation Electronic endoscope apparatus
JP2008212021A (ja) * 2007-03-01 2008-09-18 Olympus Corp 生体組織の分解状況判定方法および生体組織分解装置
JP2009225831A (ja) * 2008-03-19 2009-10-08 Fujifilm Corp 電子内視鏡装置
JP2010022595A (ja) * 2008-07-18 2010-02-04 Olympus Corp 信号処理システム及び信号処理プログラム
EP2165642A1 (en) * 2007-06-08 2010-03-24 Olympus Corporation Image processing device, scope, and endoscope having them
US20110069868A1 (en) * 2008-05-28 2011-03-24 Olympus Corporation Signal processing system and signal processing program
JP2014521979A (ja) * 2011-08-17 2014-08-28 ゼネラル・エレクトリック・カンパニイ 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JPWO2019093356A1 (ja) * 2017-11-13 2020-11-19 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2021090782A (ja) * 2021-02-04 2021-06-17 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050874B1 (ko) * 2006-04-12 2011-07-20 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 장치
JP5393446B2 (ja) 2007-02-26 2014-01-22 オリンパスメディカルシステムズ株式会社 画像取得装置
US8323182B2 (en) 2007-12-18 2012-12-04 Manohara Harish M Endoscope and system and method of operation thereof
US8144958B2 (en) 2008-09-11 2012-03-27 Carl Zeiss Meditec Ag Medical systems and methods
EP2345359A4 (en) 2008-10-17 2012-04-04 Olympus Corp Image generation device, endoscope system and image generation method
US9476839B2 (en) * 2009-03-31 2016-10-25 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Device and method for detection of counterfeit pharmaceuticals and/or drug packaging
JP2010279526A (ja) * 2009-06-04 2010-12-16 Fujifilm Corp 内視鏡画像処理装置および方法ならびにプログラム
EP2386239A4 (en) * 2009-05-12 2012-08-15 Olympus Medical Systems Corp IN VIVO IMAGING SYSTEM OF THE SUBJECT AND IN VIVO INTRODUCTION DEVICE IN THE FIELD
JP5224390B2 (ja) * 2009-06-04 2013-07-03 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
US8668636B2 (en) * 2009-09-30 2014-03-11 Fujifilm Corporation Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
WO2011060296A2 (en) 2009-11-13 2011-05-19 California Institute Of Technology Stereo imaging miniature endoscope with single imaging chip and conjugated multi-bandpass filters
RU2515963C1 (ru) * 2010-03-10 2014-05-20 Элк Менеджмент Ллк Система для анализа при лечении кожи с использованием данных спектральных изображений для генерации трехмерной модели rgb
US9654745B2 (en) 2010-03-17 2017-05-16 Haishan Zeng Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5457247B2 (ja) 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
KR101064613B1 (ko) * 2010-04-22 2011-09-15 주식회사 인트로메딕 소화 기관의 촬영 영상의 프로세싱 방법
JP5634755B2 (ja) * 2010-06-08 2014-12-03 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
WO2011162111A1 (ja) 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5247785B2 (ja) * 2010-10-12 2013-07-24 富士フイルム株式会社 内視鏡装置
JP5133386B2 (ja) * 2010-10-12 2013-01-30 富士フイルム株式会社 内視鏡装置
US8497924B2 (en) * 2011-04-27 2013-07-30 Eastman Kodak Company Apparatus for eliminating background noise
US8493479B2 (en) * 2011-04-27 2013-07-23 Eastman Kodak Company Method of eliminating background noise
RU2465649C1 (ru) * 2011-05-20 2012-10-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" (ГОУ ВПО ТГТУ) Способ обнаружения появления объектов на изображениях
JP5697546B2 (ja) * 2011-05-31 2015-04-08 Hoya株式会社 電子内視鏡システム
JP5809850B2 (ja) * 2011-06-01 2015-11-11 オリンパス株式会社 画像処理装置
US8896679B2 (en) 2011-09-16 2014-11-25 The Invention Science Fund I, Llc Registering a region of interest of a body part to a landmark subsurface feature of the body part
CN103533878B (zh) * 2011-09-22 2016-01-20 奥林巴斯株式会社 医疗设备
US9456735B2 (en) 2012-09-27 2016-10-04 Shahinian Karnig Hrayr Multi-angle rear-viewing endoscope and method of operation thereof
US9295375B2 (en) 2012-09-27 2016-03-29 Hrayr Karnig Shahinian Programmable spectral source and design tool for 3D imaging using complementary bandpass filters
US9668643B2 (en) 2011-12-29 2017-06-06 Cook Medical Technologies Llc Space-optimized visualization catheter with oblong shape
WO2013101901A1 (en) 2011-12-29 2013-07-04 Cook Medical Technologies Llc Space-optimized visualization catheter having a camera train holder in a catheter with off-centered lumens
EP2797491B1 (en) 2011-12-29 2018-05-30 Cook Medical Technologies LLC Space-optimized visualization catheter with camera train holder
JP5860952B2 (ja) * 2012-03-28 2016-02-16 富士フイルム株式会社 撮像装置、及びこれを備える内視鏡装置
CN103717118B (zh) * 2012-03-30 2017-03-29 奥林巴斯株式会社 内窥镜装置
CN104736059A (zh) * 2012-10-09 2015-06-24 皇家飞利浦有限公司 定量谱成像
EP2929318B1 (en) 2012-12-07 2019-03-20 The U.S.A. as represented by the Secretary, Department of Health and Human Services Device and method for detection of counterfeit pharmaceuticals and/or drug packaging
WO2015039003A1 (en) * 2013-09-13 2015-03-19 Georgia State University Research Foundation, Inc. Modulating drug effects against metabotropic glutamate receptor with extracellular calcium
JP5931031B2 (ja) * 2013-09-23 2016-06-08 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2015139012A1 (en) 2014-03-14 2015-09-17 Hrayr Karnig Shahinian Endoscope system and method of operation thereof
CN106132276B (zh) * 2014-04-08 2018-08-07 奥林巴斯株式会社 荧光观察内窥镜系统
JP6561571B2 (ja) * 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
US10397489B2 (en) * 2015-05-15 2019-08-27 Sony Corporation Light source control device, method of controlling light source, and image capture system
CN106257915B (zh) * 2015-06-17 2021-02-26 松下知识产权经营株式会社 摄像装置
WO2017056784A1 (ja) 2015-09-30 2017-04-06 オリンパス株式会社 撮像装置、内視鏡および内視鏡システム
WO2017061003A1 (ja) * 2015-10-08 2017-04-13 オリンパス株式会社 内視鏡装置
WO2017068908A1 (ja) * 2015-10-22 2017-04-27 オリンパス株式会社 内視鏡システム
WO2017139946A1 (zh) * 2016-02-18 2017-08-24 深圳迈瑞生物医疗电子股份有限公司 一种生理参数信号融合处理方法、装置及系统
US10051166B2 (en) * 2016-04-27 2018-08-14 Karl Storz Imaging, Inc. Light device and system for providing light to optical scopes
JP6834184B2 (ja) * 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
CN108209867B (zh) * 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
DE102016125524A1 (de) * 2016-12-22 2018-06-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop
JP6919890B2 (ja) * 2017-07-21 2021-08-18 株式会社日立ハイテクサイエンス 光分析装置用の表示装置
JP6977483B2 (ja) * 2017-10-31 2021-12-08 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
WO2019171703A1 (ja) * 2018-03-05 2019-09-12 オリンパス株式会社 内視鏡システム
CN112292065A (zh) 2019-03-22 2021-01-29 斯佩克里普斯公司 使用激光诱导击穿光谱法的诊断方法及执行该方法的诊断装置
WO2021041980A1 (en) * 2019-08-28 2021-03-04 Trustees Of Tufts College Systems and methods for high-throughput screening and analysis of drug delivery systems in vitro
CN111683234B (zh) * 2020-06-04 2022-05-31 深圳开立生物医疗科技股份有限公司 一种内窥镜成像方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148987A (ja) 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像処理装置
JP2002034893A (ja) * 2000-07-27 2002-02-05 Olympus Optical Co Ltd 内視鏡装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796005B2 (ja) * 1987-10-27 1995-10-18 オリンパス光学工業株式会社 内視鏡装置
US5078150A (en) * 1988-05-02 1992-01-07 Olympus Optical Co., Ltd. Spectral diagnosing apparatus with endoscope
US5032913A (en) * 1989-02-28 1991-07-16 Olympus Optical Co., Ltd. Electronic endoscope system equipped with color smear reducing means
US5408263A (en) * 1992-06-16 1995-04-18 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JPH08313823A (ja) * 1995-05-15 1996-11-29 Olympus Optical Co Ltd 内視鏡画像処理装置
RU2119660C1 (ru) 1997-04-08 1998-09-27 Закрытое акционерное общество "Кванта Инвест" Устройство для определения состава и структуры неоднородного объекта (варианты)
RU2137114C1 (ru) 1997-05-06 1999-09-10 ЗАО "Кванта Инвест" Способ малоугловой интроскопии и устройства для его осуществления (варианты)
JP4223596B2 (ja) * 1998-09-16 2009-02-12 Hoya株式会社 電子内視鏡システム
JP2000221417A (ja) * 1999-02-04 2000-08-11 Olympus Optical Co Ltd 内視鏡撮像装置
JP3607857B2 (ja) * 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
JP3583731B2 (ja) 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
US7892169B2 (en) * 2000-07-21 2011-02-22 Olympus Corporation Endoscope apparatus
JP4429495B2 (ja) 2000-07-28 2010-03-10 オリンパス株式会社 内視鏡
WO2004103151A2 (en) * 2003-05-16 2004-12-02 Marc Shapiro Data entry system for an endoscopic examination
JP4388318B2 (ja) 2003-06-27 2009-12-24 オリンパス株式会社 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148987A (ja) 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像処理装置
JP2002034893A (ja) * 2000-07-27 2002-02-05 Olympus Optical Co Ltd 内視鏡装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1880657A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1905347A3 (en) * 2006-09-29 2008-07-02 Fujinon Corporation Electronic endoscope apparatus
US8125514B2 (en) 2006-09-29 2012-02-28 Fujinon Corporation Electronic endoscope apparatus
JP2008212021A (ja) * 2007-03-01 2008-09-18 Olympus Corp 生体組織の分解状況判定方法および生体組織分解装置
EP2165642A1 (en) * 2007-06-08 2010-03-24 Olympus Corporation Image processing device, scope, and endoscope having them
EP2165642A4 (en) * 2007-06-08 2014-12-31 Olympus Corp IMAGE PROCESSING DEVICE, OSCILLOSCOPE AND ENDOSCOPE THEREOF
JP2009225831A (ja) * 2008-03-19 2009-10-08 Fujifilm Corp 電子内視鏡装置
US8805061B2 (en) * 2008-05-28 2014-08-12 Olympus Corporation Signal processing system and signal processing program
US20110069868A1 (en) * 2008-05-28 2011-03-24 Olympus Corporation Signal processing system and signal processing program
JP2010022595A (ja) * 2008-07-18 2010-02-04 Olympus Corp 信号処理システム及び信号処理プログラム
US8532376B2 (en) 2008-07-18 2013-09-10 Olympus Corporation Signal processing system and computer readable medium for recording signal processing program
JP2014521979A (ja) * 2011-08-17 2014-08-28 ゼネラル・エレクトリック・カンパニイ 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JPWO2019093356A1 (ja) * 2017-11-13 2020-11-19 富士フイルム株式会社 内視鏡システム及びその作動方法
US11089943B2 (en) 2017-11-13 2021-08-17 Fujifilm Corporation Endoscope system and method of operating the same
JP2021090782A (ja) * 2021-02-04 2021-06-17 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
JP7147890B2 (ja) 2021-02-04 2022-10-05 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
BRPI0609099A2 (pt) 2010-02-17
US20090023991A1 (en) 2009-01-22
KR20080002948A (ko) 2008-01-04
US8301229B2 (en) 2012-10-30
EP1880657A1 (en) 2008-01-23
RU2381737C2 (ru) 2010-02-20
KR100953788B1 (ko) 2010-04-21
CA2607623A1 (en) 2006-11-16
EP1880657B1 (en) 2017-01-18
RU2007146171A (ru) 2009-06-20
CA2607623C (en) 2012-02-21
AU2006245251A1 (en) 2006-11-16
EP1880657A4 (en) 2009-10-21
AU2006245251B2 (en) 2009-10-08

Similar Documents

Publication Publication Date Title
WO2006120798A1 (ja) 生体観測装置
JP4409523B2 (ja) 生体観測装置
KR100953773B1 (ko) 생체 관측 장치용 신호 처리 장치
JP4504324B2 (ja) 生体観測装置
JP4500207B2 (ja) 生体観測装置
KR100972248B1 (ko) 내시경 및 내시경 장치
KR100988113B1 (ko) 생체 관측 장치
JP4773217B2 (ja) 電子内視鏡装置
JP4579721B2 (ja) 内視鏡装置
JP2006314557A (ja) 生体観測装置
WO2007108270A1 (ja) 生体観測装置
JP5039621B2 (ja) 電子内視鏡装置
JP2006341075A (ja) 生体観測装置用信号処理装置
RU2378976C2 (ru) Устройство обработки сигналов для устройства, предназначенного для биологических наблюдений
JP5068205B2 (ja) 電子内視鏡装置
JP2006325974A (ja) 生体観測装置
JP2006341076A (ja) 生体観測装置用信号処理装置
JP2009225830A (ja) 電子内視鏡装置
JP2010051602A (ja) 電子内視鏡装置および方法並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680016225.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006245251

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2607623

Country of ref document: CA

REEP Request for entry into the european phase

Ref document number: 2006729057

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006729057

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 5086/CHENP/2007

Country of ref document: IN

Ref document number: 1020077026233

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2006245251

Country of ref document: AU

Date of ref document: 20060314

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2006245251

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2007146171

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 11914171

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2006729057

Country of ref document: EP

ENP Entry into the national phase

Ref document number: PI0609099

Country of ref document: BR

Kind code of ref document: A2