WO2006120795A1 - 生体観測装置 - Google Patents

生体観測装置 Download PDF

Info

Publication number
WO2006120795A1
WO2006120795A1 PCT/JP2006/304388 JP2006304388W WO2006120795A1 WO 2006120795 A1 WO2006120795 A1 WO 2006120795A1 JP 2006304388 W JP2006304388 W JP 2006304388W WO 2006120795 A1 WO2006120795 A1 WO 2006120795A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
light
image
spectral
Prior art date
Application number
PCT/JP2006/304388
Other languages
English (en)
French (fr)
Inventor
Kazuhiro Gono
Shoichi Amano
Tomoya Takahashi
Mutsumi Ohshima
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005141534A external-priority patent/JP4500207B2/ja
Priority claimed from JP2005154372A external-priority patent/JP2006325974A/ja
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to CN2006800162245A priority Critical patent/CN101175435B/zh
Priority to AU2006245248A priority patent/AU2006245248B2/en
Priority to US11/914,347 priority patent/US20090091614A1/en
Priority to EP06715358A priority patent/EP1880659A4/en
Priority to BRPI0610260-3A priority patent/BRPI0610260A2/pt
Priority to CA002606895A priority patent/CA2606895A1/en
Publication of WO2006120795A1 publication Critical patent/WO2006120795A1/ja

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32Investigating bands of a spectrum in sequence by a single detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501Colorimeters using spectrally-selective light sources, e.g. LEDs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2446Optical details of the image relay
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • G01J2003/1221Mounting; Adjustment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/08Optical fibres; light guides
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/08Optical fibres; light guides
    • G01N2201/0846Fibre interface with sample, e.g. for spatial resolution
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to a living body observation apparatus that uses a color image signal obtained by imaging a living body to generate a pseudo narrowband filter by signal processing and displays it as a spectral image on a monitor.
  • endoscope apparatuses that irradiate illumination light and obtain an endoscopic image in a body cavity have been widely used.
  • an electronic endoscope having an imaging unit that guides illumination light from a light source device into a body cavity using a light guide or the like and images a subject using the returned light is used by a video processor.
  • a video processor By processing the imaging signal of the imaging means force, an endoscopic image is displayed on the observation monitor and an observation site such as an affected part is observed.
  • one method is to emit white light in the visible light region with a light source device, for example, through a rotary filter such as RGB, and so on.
  • a color image is obtained by irradiating the subject with light and simultaneously processing the return light from the surface sequential light with a video processor.
  • another method is to place a color chip in front of the imaging surface of the imaging means of the endoscope and use the light source device to emit white light in the visible light region. The color light is obtained by separating the return light of the white light for each color component with a color chip and processing the image with a video processor.
  • a living tissue has different light absorption characteristics and scattering characteristics depending on the wavelength of the irradiated light.
  • Japanese Patent Application Laid-Open No. 2002-95635 discloses illumination light in a visible light region having discrete spectral characteristics.
  • a narrow-band optical endoscope apparatus that irradiates a living tissue with narrow-band RGB surface sequential light and obtains tissue information of a desired deep part of the living tissue has been proposed.
  • the apparatus described in Japanese Patent Laid-Open No. 2003-93336 does not require a filter for generating narrowband RGB light by obtaining a spectral image by signal processing.
  • the obtained spectral image is simply output to the monitor. Therefore, the image displayed on the motor may not be an image having a color tone suitable for observing tissue information of a desired deep part of the living tissue, and there is a possibility that the visibility is not good.
  • an object of the present invention is to provide a living body observation apparatus that can improve the image quality of a signal that is displayed and output to improve visibility.
  • the present invention is capable of adjusting tissue information of a desired deep part of a living tissue based on a spectral image obtained by signal processing into image information having a color tone suitable for observation, and suppressing white scale while reducing a circuit scale.
  • An object of the present invention is to provide a living body observation apparatus that can share a circuit for performing necessary signal processing such as balance and ⁇ adjustment.
  • a biological observation apparatus includes:
  • An illumination unit that irradiates light to a living body as a subject
  • An imaging unit that photoelectrically converts light reflected from the living body based on the irradiated light and generates an imaging signal
  • a signal processing control unit that controls the operation of the illumination unit and the wing or the imaging unit and outputs the imaging signal to a display device;
  • a spectral signal corresponding to an optical wavelength narrow band image from the imaging signal is obtained by signal processing.
  • a color adjusting unit that assigns a different color tone to each of a plurality of bands forming the spectral signal when the spectral signal is output to the display device;
  • An image quality adjustment unit for adjusting the image quality of a signal output to the display device
  • An illumination unit that irradiates light to a living body as a subject
  • An imaging unit that photoelectrically converts light reflected from the living body based on the irradiated light and generates an imaging signal
  • a signal processing control unit that controls operations of the illumination unit and Z or the imaging unit and outputs the imaging signal to a display device
  • a spectral signal generation unit that generates a spectral signal corresponding to an optical wavelength narrow band image from the imaging signal by signal processing
  • a color adjusting unit that assigns a different color tone for each of a plurality of bands forming the spectral signal when the spectral signal is output to the display device;
  • Signal processing units excluding at least the spectral signal generation unit and the color adjustment unit. Power is shared in each signal processing of the imaging signal and the spectral signal.
  • FIG. 1 is a conceptual diagram showing a signal flow when creating a spectral image signal from a color image signal according to Embodiment 1 of the present invention.
  • FIG. 2 is a conceptual diagram showing integration calculation of spectral image signals according to Embodiment 1 of the present invention.
  • FIG. 3 is an external view showing the external appearance of the biological observation apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is an external view showing the external appearance of the chopper of FIG.
  • FIG. 6 is a diagram showing the arrangement of color filters arranged on the image pickup surface of the CCD in FIG.
  • FIG. 7 is a graph showing spectral sensitivity characteristics of the color filter of FIG. [8] Configuration diagram showing the configuration of the matrix calculation unit of FIG.
  • FIG. 9 is a spectrum diagram showing a spectrum of a light source according to Example 1 of the present invention.
  • FIG. 10 is a spectrum diagram showing a reflection spectrum of a living body according to Example 1 of the present invention.
  • FIG. 11 is a view showing a layered structure of a biological tissue observed by the biological observation apparatus of FIG.
  • FIG. 12 is a diagram for explaining the state in which the illumination light of the living body observation apparatus of FIG.
  • FIG. 13 is a diagram showing the spectral characteristics of each band of white light.
  • FIG. 14 is a first diagram showing each band image of white light in FIG.
  • FIG. 15 is a second diagram showing each band image by the white light of FIG.
  • FIG. 16 is a third diagram showing each band image of white light in FIG.
  • FIG. 17 is a view showing the spectral characteristics of the spectral image generated by the matrix calculation unit in FIG.
  • FIG. 18 is a first diagram showing each spectral image of FIG.
  • FIG. 19 is a second diagram showing the spectral images in FIG.
  • FIG. 20 is a third diagram showing the spectral images in FIG.
  • FIG. 21 is a block diagram showing the configuration of the color adjustment unit in FIG.
  • ⁇ 22 A diagram illustrating the operation of the color adjustment unit in FIG.
  • FIG. 23 is a block diagram showing a modification of the color adjustment unit in FIG.
  • FIG. 18 is a diagram showing the spectral characteristics of the first modification of the spectral image of FIG.
  • FIG. 25 A graph showing the spectral characteristics of the second modification of the spectral image of FIG.
  • FIG. 18 is a view showing the spectral characteristics of the third modification of the spectral image of FIG.
  • FIG. 27 is a block diagram showing another configuration example of the matrix calculation section according to Embodiment 1 of the present invention.
  • FIG. 28] A block diagram showing the configuration of the biological observation apparatus according to Embodiment 2 of the present invention.
  • ⁇ 29 Diagram showing an example of the light amount control unit in the biological observation apparatus according to Example 4 of the present invention.
  • FIG. 30 is a diagram showing another example of the light amount control unit.
  • FIG. 31 is a diagram showing another example of the light quantity control unit.
  • ⁇ 32 A block diagram showing the configuration of the biological observation apparatus according to Embodiment 4 of the present invention.
  • FIG. 33 is a diagram showing the charge accumulation time of the CCD in FIG. 32.
  • FIG. 34 is a modification of FIG. 32, and shows the charge accumulation time of the CCD.
  • FIG. 35 is a diagram showing an example of image quality improvement in the biological observation apparatus according to Example 8 of the present invention.
  • FIG. 36 is a diagram showing an example of image quality improvement in the biological observation apparatus according to Example 9 of the present invention.
  • FIG. 37 is a view showing another example of image quality improvement in the biological observation apparatus according to Example 9 of the present invention.
  • FIG. 38 is a diagram showing an example of image quality improvement in the biological observation apparatus according to Example 10 of the present invention.
  • FIG. 39 is a diagram showing an example of image quality improvement in the biological observation apparatus according to Example 12 of the present invention.
  • FIG. 40 is a view showing another example of image quality improvement in the biological observation apparatus according to Embodiment 12 of the present invention.
  • FIG. 41 is a diagram showing another example of image quality improvement in the biological observation apparatus according to Embodiment 12 of the present invention.
  • FIG. 42 is a block diagram showing a configuration of a biological observation apparatus according to Embodiment 13 of the present invention.
  • FIG. 43 is a block diagram showing a configuration of a biological observation apparatus according to Embodiment 14 of the present invention.
  • FIG. 44 is a block diagram showing a configuration of a biological observation apparatus according to Embodiment 15 of the present invention.
  • FIG. 45 is a diagram showing the arrangement of color filters in the biological observation apparatus according to Example 16 of the present invention.
  • FIG. 46 is a graph showing spectral sensitivity characteristics of the color filter of FIG. 45.
  • FIG. 47 is a flowchart for matrix calculation in the biological observation apparatus according to the present invention.
  • FIGS. 1 to 26 relate to the first embodiment of the present invention
  • FIG. 1 is a conceptual diagram showing a signal flow when creating a spectral image signal from a color image signal
  • FIG. 2 is a conceptual diagram showing an integration operation of the spectral image signal
  • 3 is an external view showing the external appearance of the electronic endoscope apparatus
  • FIG. 4 is a block diagram showing the configuration of the electronic endoscope apparatus of FIG. 3
  • FIG. 5 is an external view showing the external appearance of the chopper of FIG. 6 is a diagram showing the arrangement of the color filters arranged on the imaging surface of the CCD in FIG. 3
  • FIG. 7 is a diagram showing the spectral sensitivity characteristics of the color filter in FIG. 6
  • FIG. 8 is the configuration of the matrix calculation unit in FIG.
  • Fig. 9 is a spectrum diagram showing the spectrum of the light source
  • Fig. 10 is a spectrum diagram showing the reflection spectrum of the living body. It is a vector diagram.
  • FIG. 11 is a diagram showing a layer direction structure of the biological tissue observed by the electronic endoscope apparatus of FIG. 4, and FIG. 12 is a diagram showing the illumination light of the electronic endoscope apparatus of FIG.
  • FIG. 13 is a diagram illustrating the spectral characteristics of each band of white light
  • FIG. 14 is a first diagram showing each band image by white light in FIG. 13, and FIG. 15 is by white light in FIG.
  • FIG. 16 is a second diagram showing each band image
  • FIG. 16 is a third diagram showing each band image by white light in FIG. 13
  • FIG. 17 is a diagram showing the spectral characteristics of the spectral image generated by the matrix calculation unit in FIG. 18 is a first diagram showing each spectral image of FIG. 17,
  • FIG. 19 is a second diagram showing each spectral image of FIG. 17, and
  • FIG. 20 is a third diagram showing each spectral image of FIG. .
  • FIG. 21 is a block diagram showing the configuration of the color adjustment unit in FIG. 4,
  • FIG. 22 is a diagram for explaining the operation of the color adjustment unit in FIG. 21, and
  • FIG. 23 shows a modification of the color adjustment unit in FIG.
  • FIG. 24 is a diagram showing the spectral characteristics of the first modified example of the spectral image of FIG. 17,
  • FIG. 25 is a diagram showing the spectral characteristics of the second modified example of the spectral image of FIG. 17, and
  • FIG. 18 is a diagram showing a spectral characteristic of a third modification of the spectral image of FIG.
  • an electronic endoscope apparatus as a living body observing apparatus according to an embodiment of the present invention
  • light is applied to a living body that is a light source for illumination, and light reflected from the living body based on the irradiated light.
  • a solid-state imaging device that is an imaging unit receives light and performs photoelectric conversion to generate an imaging signal that is a color image signal, and a spectral image that is a spectral signal corresponding to an optical wavelength narrowband image from the imaging signal.
  • the signal is generated by signal processing.
  • the matrix is a predetermined coefficient used when generating a spectral image signal from a color image signal acquired to generate a color image (hereinafter referred to as a normal image).
  • FIG. 1 shows a color image signal (in this case, R'G'B for simplicity of explanation, but in a complementary color solid-state imaging device, as shown in the examples described later, G'Cy'Mg
  • FIG. 5 is a conceptual diagram showing a signal flow when generating a spectral image signal corresponding to an image in a narrower optical wavelength band from a combination of “Ye”.
  • the electronic endoscope apparatus performs numerical data on each color sensitivity characteristic of R′G′B.
  • the color sensitivity characteristic of R′G′B is an output characteristic with respect to a wavelength obtained when a white light source is used and a white subject is imaged.
  • the color sensitivity characteristics of R'G'B are shown on the right of each image data as a simplified graph. At this time, the color sensitivity characteristics of R'G'B are the n-dimensional column vectors “R”, “G”, and “B”, respectively.
  • the electronic endoscope apparatus is a spectral band narrow-band pan-pass filter Fl 'F 2' F3 to be extracted.
  • the electronic endoscope apparatus is a special feature of a filter that can efficiently extract a structure as foresight information.
  • the characteristics of this filter are those whose wavelength bands are about 590 nm to about 610 nm, about 530 ⁇ m to about 550 nm, and about 400 m to about 430 nm, respectively.
  • the matrix elements to be obtained may be obtained.
  • equation (3) is given as a solution of the linear least square method that is not a one-dimensional simultaneous equation. In other words, the equation (3) force pseudo inverse matrix should be solved. Assuming that the transpose of matrix “C” is the same, equation (3) becomes
  • ⁇ CCJ is a square matrix of n X n, so equation (4) can be viewed as a simultaneous equation for the matrix “A”! /, And its solution is
  • the electronic endoscope apparatus performs the conversion of the left side of the equation (3) to extract the narrow-band Pandpass filter F1 'F2' F3 Can be approximated.
  • the above is the description of the matrix calculation method that is the basis of the present invention.
  • a matrix calculation unit 436 which will be described later, normally generates a spectral image signal from the color image signal.
  • the light beam received by a solid-state imaging device such as a CCD is exactly white light (all wavelength intensities are the same in the visible range). It is. In other words, it is an optimal approximation when the RGB outputs are the same.
  • the illumination light beam (light source light beam) is not completely white light, and the reflection spectrum of the living body is not uniform. Therefore, the light beam received by the solid-state imaging device is also white light. Dean! ⁇ (The color has arrived! The RGB values are not the same! /).
  • the color sensitivity characteristics are R (e), G (e), and) ( ⁇ ), respectively.
  • An example of the spectral characteristic of the illumination light is S (e), and an example of the reflection characteristic of the living body is ⁇ ( ⁇ ).
  • the spectral characteristics of the illumination light and the reflection characteristics of the living body do not necessarily have to be the characteristics of the apparatus or subject to be inspected. For example, they may be acquired in advance and may be general characteristics.
  • the electronic endoscope device When the optimization is actually performed, when the spectral sensitivity characteristic of the target filter (F1'F2-F3 in Fig. 1) is negative, it becomes 0 on the image display (that is, the spectral sensitivity of the filter). It is added that it is allowed to use a partial force S of the optimized sensitivity distribution using only the part having the positive sensitivity).
  • the electronic endoscope device In order to generate a narrow spectral sensitivity characteristic, the electronic endoscope device has a negative sensitivity characteristic in addition to the target F1 'F2' F3 characteristic as shown in Fig. 1. By adding, it is possible to generate a component approximating a sensitive band.
  • This method for improving the SZN ratio solves the following problems by adding to the processing method described above.
  • the characteristics of the filters F1 to F3 in the processing method are those of a filter that can extract the structure efficiently. There is a possibility that the characteristics (ideal characteristics) may be greatly different (R ⁇ G ⁇ B, if only two signals are generated, the two original signals may not be saturated. is necessary).
  • this method of improving the SZN ratio involves illumination light irradiation several times (for example, n times) in one field (one frame) of a normal image (a general color image).
  • N is an integer of 2 or more) (irradiation intensity may be changed each time.
  • it is indicated as 10 to In. This is the control of illumination light.
  • O This makes it possible for the electronic endoscope apparatus to reduce the intensity of one irradiation, and to suppress the saturation of any of the RGB signals.
  • image signals that have been divided into several times are added n times later.
  • the electronic endoscope apparatus The component can be increased to improve the SZN ratio.
  • integration units 438a to 438c function as image quality adjustment units that improve the SZN ratio.
  • the above is a matrix calculation method that is the basis of the present invention, a correction method for obtaining an accurate spectral image signal that can be carried out together with this, and a generated spectral image signal.
  • the color image signal is R, G, B, and the spectral image signal to be estimated is Fl, F2, F3. Strictly speaking, the color image signals R, G, B are also functions of the positions X, y on the image.
  • the goal is to estimate the 3X3 matrix "A" that calculates Fl, F2, and F3 for R, G, and B forces.
  • is the wavelength
  • t is the transpose in the matrix operation.
  • the image signals R, G, B and the spectral signals Fl, F2, F3 are expressed as a matrix as follows.
  • the image signal “P” is calculated by the following equation.
  • D is a matrix with three fundamental spectra Dl (D), D2 (D), D3 ( ⁇ ) in the column vector, and “W” is Dl (D), D2 for “H” (E), a weighting coefficient that represents the contribution of D3 ( ⁇ ). It is known that this approximation holds when the color of the subject does not vary so much.
  • the 3 x 3 matrix "M” indicates a matrix in which the calculation results of the matrix "CSJD" are combined into one.
  • “0050 — 1 ” represents an inverse matrix of the matrix “ ⁇ ”.
  • “ ⁇ , ⁇ _1 ” is a 3 X 3 matrix, and the target matrix “ ⁇ ”.
  • the electronic endoscope apparatus 100 includes an endoscope 101, an endoscope apparatus body 105, and a display monitor 106 as a display apparatus.
  • the endoscope 101 is provided on the side opposite to the distal end side of the insertion portion 102, the insertion portion 102 inserted into the body of the subject, the distal end portion 103 provided at the distal end of the insertion portion 102, and the distal end.
  • An angle operation unit 104 for instructing a bending operation or the like of the unit 103 is mainly configured.
  • the image of the subject acquired by the endoscope 101 is sent to a predetermined signal by the endoscope apparatus body 105. Processing is performed, and the processed image is displayed on the display monitor 106.
  • FIG. 4 is a block diagram of the simultaneous electronic endoscope apparatus 100.
  • the endoscope apparatus main body 105 mainly includes a light source section 41 as a lighting section, a control section 42, and a main body processing apparatus 43.
  • the control unit 42 and the main body processing device 43 constitute a signal processing control unit that controls the operation of the light source unit 41 and Z or the CDD 21 as the imaging unit and outputs an imaging signal to the display monitor 106 that is a display device. .
  • the endoscope apparatus main body 105 which is a single unit, is described as having the light source section 41 and the main body processing apparatus 43 that performs image processing or the like.
  • these light source sections 41 and The main body processing device 43 may be configured to be removable as a unit different from the endoscope main body 105.
  • the light source unit 41 is connected to the control unit 42 and the endoscope 101. Based on the signal from the control unit 42, white light is emitted with a predetermined amount of light (not complete white light! Irradiation).
  • the light source unit 41 includes a lamp 15 as a white light source, a chopper 16 as a light amount control unit for adjusting the light amount, and a chopper driving unit 17 for driving the chopper 16.
  • the chopper 16 has a configuration in which a notch portion having a predetermined length in the circumferential direction is provided in a disk-shaped structure having a predetermined radius r and having a center at a point 17a. Is provided.
  • the center point 17a is connected to a rotating shaft provided in the chopper driving unit 17.
  • the chopper 16 performs a rotational motion around the center point 17a.
  • a plurality of notches are provided for each predetermined radius.
  • the length and width of the notch in the chopper 16 are merely examples, and are not limited to the present embodiment.
  • the chopper 16 has a protrusion 160 extending radially in the approximate center of the notch. has a.
  • the control unit 42 switches the frame when the light is blocked by the projection 160a, thereby minimizing the interval between the light emitted one frame before and after the frame, and the movement due to the movement of the subject. Is to minimize.
  • the chopper driving unit 17 is configured to be movable in the direction with respect to the lamp 15 as indicated by an arrow in FIG.
  • the control unit 42 can change the distance R between the rotation center 17a of the chopper 16 shown in FIG. 5 and the luminous flux from the lamp (shown by a dotted circle). For example, in the state shown in FIG. 5, since the distance R is small, the amount of illumination light is small. Increasing the distance R (the chopper drive unit 17 away from the lamp 15) increases the length of the notch through which the light beam can pass, so that the irradiation time increases, and the control unit 42 can increase the amount of illumination light. it can.
  • the electronic endoscope apparatus there is a possibility that the newly generated spectral image may be insufficient as the SZN ratio, and whether the RGB signal necessary for generating the spectral image is shifted. If the signal is saturated, the correct calculation is not performed, so the amount of illumination light must be controlled.
  • the chopper 16 and the chopper driving unit 17 are responsible for this light quantity adjustment.
  • the endoscope 101 connected to the light source unit 41 via the connector 11 includes an object lens 19 and a solid-state imaging device 21 such as a CCD (hereinafter simply referred to as a CCD) at the distal end portion 103.
  • the CCD 21 constitutes an imaging unit that photoelectrically converts light reflected from a living body, which is a subject, based on irradiation light from a light source unit 41 that constitutes an illumination unit, and generates an imaging signal.
  • the CCD in this embodiment is a single-plate type (CCD used for a simultaneous electronic endoscope) and is a primary color type.
  • Fig. 6 shows the arrangement of color filters arranged on the CDD imaging surface.
  • Fig. 7 shows the spectral sensitivity characteristics of RGB in the color filter of Fig. 6.
  • the insertion unit 102 includes a light guide 14 that guides the light emitted from the light source unit 41 to the distal end portion 103, and an image of the subject obtained by the CCD.
  • a forceps port 29 for inserting forceps into the forceps channel 28 is provided in the vicinity of the operation unit 104.
  • the main body processing device 43 is connected to the endoscope 101 via the connector 11, similarly to the light source unit 41.
  • the main body processing device 43 includes a CCD drive circuit 431 for driving the CCD 21.
  • the main body processing device 43 has a luminance signal processing system and a color signal processing system as signal circuit systems for obtaining a normal image.
  • the luminance signal processing system includes a contour correction unit 432 that is connected to the CCD 21 and performs contour correction, and a luminance signal processing unit 434 that generates a luminance signal from the data corrected by the contour correction unit 432.
  • the color signal processing system is connected to the CCD 21, performs sampling of the signal obtained by the CCD 21, etc., and generates RGB signals.
  • a color signal processing unit 435 is connected to the output and generates a color signal.
  • a normal image generation unit 437 that generates one normal image from the output of the luminance signal processing system and the output of the color signal processing system is provided, and the normal image generation unit 437 to the switching unit 43 are provided.
  • the Y signal, R—Y signal, and B—Y signal are sent to the display monitor 106.
  • a matrix calculation unit 436 which receives the outputs (RGB signals) of the SZH circuits 433a to 433c and performs a predetermined matrix calculation on the RGB signals.
  • Matrix calculation is the process of performing addition processing on color image signals and multiplying the matrix obtained by the matrix calculation method (or a modification thereof) described above.
  • a force S for describing a method using electronic circuit processing (processing by a nodeware using an electronic circuit), a numerical value as in the embodiments described later,
  • a method using data processing (processing by software using a program) may be used.
  • FIG. 8 shows a circuit diagram of the matrix calculation unit 436.
  • the RGB signals are input to the amplifiers 32a to 32c through the resistor groups 31a to 31c, respectively.
  • Each resistor group has a plurality of resistors to which RGB signals are respectively connected, and the resistance value of each resistor is a value corresponding to the matrix coefficient. That is, the RGB signal by each resistor The gain is changed and added by an amplifier (subtraction may be used).
  • the outputs of the amplifiers 32a to 32c are the outputs of the matrix calculation unit 436. That is, the matrix calculation unit 436 performs so-called weighted addition processing.
  • the resistance value of each resistor used here may be variable.
  • the outputs of the matrix operation unit 436 are connected to the integration units 438a to 438c, respectively, and after integration is performed, the color adjustment unit 440 applies the respective spectral image signals ⁇ F1 to ⁇ F3. Color adjustment calculation described later is performed, and color channels Rch, Gch, and Bch are generated from the spectral image signals ⁇ F1 to ⁇ F3. The generated color channels Rch, Gch, and Bch are sent to the display monitor 106 via the switching unit 439. The configuration of the color adjustment unit 440 will be described later.
  • the switching unit 439 switches between the normal image and the spectral image, and can also switch and display the spectral images. That is, the operator can selectively display on the display monitor 106 a normal image, a spectral channel image by Rch, a spectral channel image by Gch, and a spectral channel image force by Bch. Alternatively, any two or more images may be displayed on the display monitor 106 at the same time.
  • the normal image and the spectral channel image can be displayed simultaneously, the normal image generally observed and the spectral channel image can be easily compared, and the respective characteristics (normal image The feature is easy to observe because the color degree is close to that of the normal naked eye.
  • the feature of the spectral channel image is that it can observe the predetermined blood vessels that cannot be observed in the normal image.) It can be observed and is very useful for diagnosis.
  • the chopper driving unit 17 is set to a predetermined position and rotates the chopper 16.
  • the light flux from the lamp 15 passes through the notch of the chopper 16, and is collected by a condenser lens into a light fiber bundle that is an optical fiber bundle provided in the connector 11 at the connection between the endoscope 101 and the light source 41.
  • the light is condensed at the entrance end of id 14.
  • the condensed light flux passes through the light guide 14 and is irradiated into the body of the subject from the illumination optical system provided at the distal end portion 103.
  • the irradiated light beam is reflected in the subject, and signals are collected by the color filters shown in FIG. 6 in the CCD 21 via the objective lens 19.
  • the collected signals are input in parallel to the luminance signal processing system and the color signal processing system.
  • the signal collected for each color filter is calculated for each pixel and input to the contour correction unit 432 of the luminance signal system, and is supplied to the luminance signal processing unit 434 after contour correction.
  • a luminance signal is generated and input to the normal image generation unit 437.
  • the signals collected by the CCD 21 are input to the SZH circuits 433a to 433c for each color filter, and R′G′B signals are respectively generated. Further, the color signal processing unit 435 generates a color signal for the R′G′B signal, and the normal image generation unit 437 generates a Y signal, an R ⁇ Y signal, and a B ⁇ Y signal from the luminance signal and the color signal. Then, the normal image of the subject is displayed on the display monitor 106 via the switching unit 439.
  • the operator operates the keyboard provided in the endoscope apparatus main body 105 or the switch provided in the operation unit 104 of the endoscope 101 to give an instruction to observe the spectral image from the normal image cover. Do.
  • the control unit 42 changes the control state of the light source unit 41 and the main body processing device 43.
  • the amount of light emitted from the light source unit 41 is changed as necessary. As described above, since it is not desirable that the output from the CCD 21 is saturated, the amount of illumination light is made smaller when observing a spectral image than when observing a normal image.
  • the control unit 42 controls the amount of light so that the output signal from the CCD does not saturate, and also changes the amount of illumination light within the range where it does not saturate.
  • the signal output from the switching unit 439 is switched from the output of the normal image generation unit 437 to the output of the color adjustment unit 440.
  • the outputs of the SZH circuits 433a to 433c are amplified and added by the matrix calculation unit 436, and output to the integration units 438a to 438c according to the respective bands. It is output to the color adjustment unit 440 later. Even when the amount of illumination light is reduced by the chopper 16, the signal intensity can be increased and the SZN ratio can be improved as shown in FIG. 2 by storing and integrating by the integrating units 438a to 438c. A spectral image can be obtained.
  • the ideal narrowband bandpass filters F1 to F3 (in this case, ⁇ tK ⁇ Fl: 590nm ⁇ 620nm, F2: 520nm ⁇ 560nm, F3: 400nm ⁇ 440nm), when trying to create a bandpass filter (hereinafter referred to as pseudo bandpass filter),
  • pseudo bandpass filter when trying to create a bandpass filter
  • the following matrix is optimal depending on the contents shown in the formula.
  • the processing performed by the matrix calculation unit 436 is mathematically equivalent to the following matrix calculation.
  • pseudo filter characteristics shown as characteristics of filter pseudo Fl to F3 in FIG. 7 are obtained. That is, the matrix processing described above creates a spectral image signal by using a pseudo bandpass filter (that is, a matrix) generated in advance as described above for a color image signal.
  • a pseudo bandpass filter that is, a matrix
  • the body cavity tissue 45 often has an absorber distribution structure such as blood vessels that differ in the depth direction.
  • a large number of capillaries 46 are mainly distributed near the surface of the mucosa, deeper than this layer, and in the middle layer, in addition to capillaries, thicker than capillaries and blood vessels 47 are distributed. 48 will be distributed.
  • the depth of light in the depth direction with respect to the tissue 45 in the body cavity depends on the wavelength of the light, and the illumination light including the visible range is blue (B) as shown in FIG.
  • the illumination light including the visible range is blue (B) as shown in FIG.
  • B blue
  • green (G) light which has a longer wavelength than blue (B) light, it reaches deeper than the range where blue (B) color light deepens, and is absorbed and scattered within that range. Light is observed.
  • red (R) light which has a longer wavelength than green (G) light, reaches a deeper range.
  • the image signal picked up by the CCD 21 with B-band light is picked up with a band image having shallow layer and middle layer tissue information including a lot of tissue information in the shallow layer as shown in FIG. (2)
  • the image signal picked up by the CCD 21 with G-band light is picked up with band images having shallow layer and middle layer tissue information as shown in FIG.
  • the image signal picked up by the CCD 21 with the R-band light is picked up with band images having middle layer and deep layer tissue information including a lot of deep layer tissue information as shown in FIG.
  • the endoscope apparatus main body 105 performs signal processing on these RGB imaging signals, so that it is possible to obtain an endoscopic image having a natural color reproduction that is desired as an endoscopic image.
  • spectral image signals F1 to F3 are obtained by using pseudo bandpass filters F1 to F3 having discrete and narrow band spectral characteristics from which desired deep layer tissue information can be extracted as shown in FIG. As shown in FIG. 17, the pseudo bandpass filters F1 to F3 overlap each other in wavelength range.
  • a band image having tissue information in the shallow layer as shown in FIG. 18 is captured in the spectral image signal F3 by the pseudo bandpass filter F3.
  • a band image having tissue information in the middle layer as shown in FIG. 19 is captured in the spectral image signal F2 by the pseudo bandpass filter F2, and further,
  • a band image having tissue information in the deep layer as shown in FIG. 20 is captured in the spectral image signal F1 by the pseudo bandpass filter F1.
  • the color adjustment unit 440 uses the spectral image signal F1 as the color channel Rch as a simplest color conversion example.
  • the signal F2 is assigned to the color channel Gch and the spectral image signal F3 is assigned to the color channel Bch, and output to the display monitor 106 via the switching unit 439.
  • the color adjustment unit 440 includes a 3 X 3 matrix circuit 61, three LUTs 62a, 62b, 62c, 63a, 63b, 63c provided before and after the 3 X 3 matrix circuit 61, and an LUT 62a. , 62b, 62c, 63a, 63b, 63c and a coefficient changing circuit 64 for changing the coefficient of the 3 ⁇ 3 matrix circuit 61, and a color conversion processing circuit 440a.
  • the spectral image signals F1 to F3 input to the color conversion processing circuit 440a are for each band data.
  • the LUTs 62a, 62b, and 62c perform inverse ⁇ correction and nonlinear contrast conversion processing.
  • the change by the coefficient changing circuit 64 is performed based on a control signal from a processing conversion switch (not shown) provided in the operation unit of the endoscope 101 or the like.
  • the coefficient changing circuit 64 Upon receiving these control signals, the coefficient changing circuit 64 calls appropriate data for the coefficient data stored in advance in the color adjusting unit 440, and rewrites the current circuit coefficient with this data.
  • the processing according to the equation (22) is color conversion in which the spectral image signals Fl to F3 are assigned to the spectral channel images Rch, Gch, and Bch in order of decreasing wavelength.
  • the processing according to Equation (23) is a conversion example in which the spectral image signal F1 is mixed with the spectral image signal F2 at a certain ratio and the generated data is newly used as the spectral G channel image Gch. It becomes possible to clarify more clearly that scatterers are different in depth position.
  • the matrix coefficient is set to the default value from the first operation in the color conversion processing circuit 440a in conjunction with a mode switching switch (not shown) provided in the operation unit of the endoscope 101. .
  • the through operation here means a state in which the 3 ⁇ 3 matrix circuit 61 is mounted with a unit matrix, and the LUTs 62a, 62b, 62c, 63a, 63b, and 63c are mounted with non-conversion tables.
  • a reverse ⁇ correction table and a y correction table are applied to the LUTs 62a, 62b, 62c, 63a, 63b, and 63c as necessary.
  • the color conversion processing circuit 440a is a force that performs color conversion by a matrix computing unit including the 3 ⁇ 3 matrix circuit 61.
  • the color conversion processing means is not limited to this, and the color conversion processing means may be configured by a numerical operation processor (CPU) or LUT.
  • the color conversion processing circuit 440a is shown with a configuration centered on the 3 ⁇ 3 matrix circuit 61.
  • the color conversion processing circuit 440a corresponds to each band.
  • the coefficient changing circuit 64 is a processing conversion switch (not shown) provided in the operation unit or the like of the endoscope 101. To change the contents of the table based on the control signal.
  • the filter characteristics of the pseudo bandpass filters F1 to F3 are not limited to the visible light range, and as a first modification of the pseudo bandpass filters F1 to F3, the filter characteristics are discrete, for example, as shown in FIG. A narrow band of typical spectral characteristics may be used.
  • the filter characteristic of this first modification is that normal observation is possible by setting F3 in the near-ultraviolet region and F1 in the near-infrared region in order to observe the irregularities on the surface of the living body and the absorber near the deep layer. It is suitable for obtaining image information that cannot be obtained by.
  • pseudo bandpass filters F1 to F3 As shown in FIG. 26, the two-band narrowband filter characteristics of discrete spectral characteristics that can extract desired layer texture information are shown. Two pseudo bandpass filters F2 and F3 may be generated by the matrix calculation unit 436.
  • the color adjustment unit 440 uses the spectral channel image Rch spectral image signal F2, the colorization of the image during narrowband spectral image observation.
  • Spectral channel image Gch Spectral image signal F3
  • Spectral channel image Bch Spectral image signal F3, RGB3 channel color image is generated.
  • the color adjustment unit 440 generates an RGB3 channel color image (Rch Gch Bch) by the following equation (24).
  • the spectroscopic image F3 is an image whose central wavelength mainly corresponds to 415 nm
  • the spectroscopic image F2 is an image whose central wavelength mainly corresponds to 540 nm.
  • the spectral image F3 is an image whose center wavelength is mainly equivalent to 415 nm
  • the spectral image F2 is an image whose center wavelength is mainly equivalent to 540 nm
  • the spectral image F1 is a center wavelength mainly corresponding to 600 nm.
  • Rch hllXFl + hl2XF2 + hl3XF3
  • the coefficients of hll, hl3, h21, h22, h31, and h32 are set to 0, and other coefficients may be set to predetermined numerical values.
  • a pseudo narrowband filter is generated by using a color image signal for generating a normal electronic endoscopic image (normal image).
  • a spectral image having tissue information of a desired deep part such as a blood vessel pattern can be obtained without using an optical wavelength narrowband bandpass filter for images, and parameters of the color conversion processing circuit 440a of the color adjustment unit 440 can be obtained.
  • an image corresponding to 415 nm is assigned to the color channels Gch and Bch, for example, an image corresponding to 540 nm is assigned to the color channel Rch, or
  • FIG. 27 is a block diagram showing another configuration example of the matrix calculation unit.
  • the configuration other than the matrix calculation unit 436 is the same as that shown in FIG.
  • the configuration capability of the matrix calculation unit 436 shown in FIG. 27 is different from the configuration of the matrix calculation unit 436 shown in FIG. Only different points will be described, and the same components will be denoted by the same reference numerals and description thereof will be omitted.
  • the matrix operation is performed by so-called hardware processing by an electronic circuit.
  • this matrix operation is performed by numerical data processing (processing by software using a program).
  • a matrix operation unit 436 shown in FIG. 27 has an image memory 50 for storing RGB color image signals.
  • the coefficient register 51 stores each value of the matrix “A ′” shown in the equation (21) as numerical data.
  • the coefficient register 51 and the image memory 50 are connected to the multipliers 53a to 53i, and the multiplier 5
  • 3a, 53d, and 53g are connected to the multiplier 54a, and the output of the multiplier 54a is connected to the integrating unit 438a in FIG.
  • the multipliers 53b, 53e, and 53h are connected to the multiplier 54b, and the output thereof is connected to the accumulating unit 438b.
  • the multipliers 53c, 53f, and 53i are connected to the multiplier 54c, and the output thereof is connected to the integrating unit 438c.
  • the input RGB image data is once stored in the image memory 50.
  • each coefficient of the matrix “A,” is stored in the image memory 50 from the coefficient register 51 and the multiplier. Is multiplied.
  • FIG. 27 shows an example in which the R signal and each matrix coefficient are multiplied by multipliers 53a to 53c.
  • the G signal and each matrix coefficient are multiplied by multipliers 53d to 5d.
  • the signal is multiplied by 3f
  • the B signal and each matrix coefficient are multiplied by multipliers 53g to 53i.
  • the data multiplied by the matrix coefficient is the output of the multiplier 53a, 53d, 53g is the multiplier 54a
  • the output of the multiplier 53b, 53e, 53h is the multiplier 54b
  • the multiplier 53c, 53f 53i are respectively multiplied by a multiplier 54c.
  • the output of the multiplier 54a is sent to the accumulating unit 438a.
  • the outputs of the multiplier 54b and the multiplier 54c are sent to the integrating units 438b and 438c, respectively.
  • the matrix coefficient is not only the result value, ie, the matrix “A,” S ( ⁇
  • FIG. 28 is a block diagram showing a configuration of an electronic endoscope apparatus according to Embodiment 2 of the present invention. Since the second embodiment is almost the same as the first embodiment, only differences from the first embodiment will be described, and the same components will be denoted by the same reference numerals and description thereof will be omitted.
  • This embodiment is different from the first embodiment in the light source unit 41 that controls the amount of illumination light.
  • the lamp 15 shown in FIG. 28 is provided with a current control unit 18 as a light amount control unit.
  • control unit 42 controls the current flowing through the lamp 15 so that none of the RGB color image signals are saturated.
  • the current used for light emission in the lamp 15 is controlled, so that the amount of light changes according to the magnitude of the current.
  • Other operations are the same as those in the first embodiment, and are omitted here.
  • a spectral image in which a blood vessel pattern is clearly displayed can be obtained as in the first embodiment. Further, this embodiment has an advantage that the control method is simpler than the light amount control method using the chopper as in the first embodiment.
  • the light quantity is controlled by using the chopper 16 of FIG. 5 that blocks light at a predetermined time interval and controls the light quantity. In other words, the amount of light from the light source is reduced so that all color separation signals of R, G, and B are captured with an appropriate dynamic range.
  • a movable light shielding member such as a diaphragm panel and a shutter
  • a light shielding filter such as a mesh turret and an ND filter
  • FIG. 29 shows an example of the diaphragm panel 66.
  • the diaphragm panel 66 is rotated by a central axis 67, and a front end portion includes a blocking portion 69 for blocking a light beam 68 condensed to a certain size, and a diaphragm blade portion 71 having a notch 70 for controlling the amount of emitted light.
  • the light is controlled by blocking the light at predetermined time intervals.
  • the diaphragm panel 66 may be used as a dimming diaphragm panel that controls the amount of light emitted from the light source unit 41, or may be provided as a separate blocking mechanism.
  • FIG. 30 shows an example of the shutter 66A.
  • the shutter 66A has the same shape as the example of the aperture panel 66, but has a structure in which the notch 70 of the aperture panel 66 is not provided in the blocking portion 69.
  • the operation of the shutter 66A controls the light quantity by blocking light at a predetermined time interval by controlling two operation states of full open and full close.
  • FIG. 31 shows an example of the mesh turret 73. Large holes with mesh spacing, mesh 75 or smaller mesh spacing, mesh 76 is attached by welding etc. to the holes in rotating plate 74
  • FIG. 32 and 33 relate to the fourth embodiment of the present invention, and FIG. 32 shows the configuration of the electronic endoscope apparatus.
  • FIG. 33 is a diagram showing the charge accumulation time of the CCD shown in FIG.
  • the present embodiment is mainly different from the first embodiment in the light source unit 41 and the CCD 21.
  • the color filter shown in FIG. 6 is provided in the CCD 21 and a color signal is generated by this color filter.
  • the illumination light is transmitted for a period of one frame.
  • a so-called frame sequential method is used in which color signals are generated by illuminating in the order of RGB.
  • the light source unit 41 in the present embodiment is provided with a diaphragm 25 for dimming on the front surface of the lamp 15, and further on the front surface of the diaphragm 25 in the order of R, G, and B.
  • an RGB rotation filter 23 that rotates, for example, once in one frame is provided.
  • the aperture 25 is connected to an aperture control unit 24 as a light amount control unit, and restricts the luminous flux to be transmitted among the luminous flux emitted from the lamp 15 in accordance with a control signal from the aperture control unit 24. Dimming is possible by changing the amount of light.
  • the RGB rotation filter 23 is connected to the RGB rotation filter control unit 26 and rotates at a predetermined rotation speed.
  • the operation of the light source unit in the present embodiment is as follows.
  • the luminous flux output from the lamp 15 is limited to a predetermined amount of light by the aperture 25, and the luminous flux transmitted through the aperture 25 passes through the RGB rotation filter 23 to be predetermined.
  • Each illumination light is reflected within the subject and received by the CCD 21.
  • Signals obtained by the CCD 21 are distributed by a switching unit (not shown) provided in the endoscope apparatus main body 105 according to the irradiation time, and input to the SZH circuits 433a to 433c, respectively.
  • the illumination light is irradiated from the light source unit 41 through the R filter, the signal obtained by the CCD 21 is input to the SZH circuit 433a. Since other operations are the same as those in the first embodiment, they are omitted here.
  • the fourth embodiment as in the first embodiment, a spectral image in which the blood vessel pattern is clearly displayed can be obtained. Also, in the fourth embodiment, unlike the first embodiment, it is possible to enjoy the merits of the so-called frame sequential method. This merit is, for example, a modification of FIG. 34 described later.
  • the illumination light quantity (light quantity from the light source unit) is controlled and adjusted in order to avoid saturation of the RGB color signal.
  • a method of adjusting the electronic shutter of the CCD 21 is adopted. In the CCD 21, charges that are proportional to the intensity of light incident within a certain period of time are accumulated, and the amount of charges is used as a signal.
  • an electronic shutter Corresponding to this accumulation time is what is called an electronic shutter.
  • the electronic shutter By adjusting the electronic shutter with the CCD drive circuit 431, the amount of accumulated charge, that is, the signal amount can be adjusted.
  • a similar spectral image can be obtained by obtaining an RGB power error image with the charge accumulation time sequentially changed for each frame. That is, in each of the above-described embodiments, the illumination light amount control by the diaphragm 25 is used for obtaining a normal image, and when obtaining a spectral image, the electronic shutter is changed to change the R, G, B color signals. It is possible to avoid saturation of.
  • FIG. 34 is a diagram showing the charge accumulation time of a CCD which is another example of Embodiment 4 of the present invention.
  • this example uses the frame sequential method and makes use of the advantages of this frame sequential method. That is, by adding weights for each of R, G, and B during the charge accumulation time by the electronic shutter control in the example of FIG. 33, it is possible to simplify the generation of spectral image data S.
  • the CCD drive circuit 431 is provided that can change the charge storage time of the CCD 21 for each of R, G, and B within one frame period. Others are the same as the example of FIG.
  • tdr, tdg, tdb is the charge accumulation time of CCD21 when the illumination light is R, G, B (in this figure, tdb is omitted because the B color image signal has no accumulation time) ).
  • the F 3 pseudo filter image in the case of performing the matrix processing expressed by the equation (21) is obtained from an RGB image normally obtained by an endoscope,
  • the matrix calculation unit simply adds the B component and the inverted signal of the R and G components. As a result, a spectral image similar to that of the first to third embodiments can be obtained.
  • Example 4 in Figs. 33 and 34 a spectral image in which a blood vessel pattern is clearly displayed can be obtained.
  • the frame sequential method is used to create the color signal, and the charge accumulation time can be varied for each color signal using an electronic shutter. It is possible to simplify processing by simply performing addition and difference processing. That is, the electronic shutter control can perform an operation equivalent to a matrix calculation, and the processing can be simplified.
  • the light quantity control of the first to third embodiments and the electronic shirt (charge storage time) control of the fourth embodiment can be performed simultaneously.
  • the normal observation image may be controlled by controlling the amount of illumination light by a chopper or the like, and of course, when obtaining the spectroscopic observation image, control by an electronic shutter may be performed.
  • Example 5 to Example 7 a signal amplifying unit that amplifies the signal level of the imaging signal of the normal image and the spectral signal of Z or the spectral image and its amplification control will be described.
  • FIG. 4, FIG. 28 or FIG. 32 is applied to the configuration of the living body observation apparatus according to the fifth embodiment of the present invention.
  • the AGC (auto gain control) in these configurations is performed by the signal amplification unit in each of the luminance signal processing unit 434 and the color signal processing unit 435 in FIG. 4, FIG. 28 or FIG. 32 during normal image observation. This is done by an AGC circuit (not shown).
  • AGC at the time of spectral image observation is performed by an AGC circuit (for example, amplifiers 32a to 32c in FIG. 8 are variable amplifiers) which is a signal amplifying unit in the matrix calculation unit 436 in FIG. 4, FIG. 28 or FIG. It is.
  • AGC control refers to the amplification level of the amplification function and the operation speed of the amplification function ( follow-up speed), or amplification function operation Z non-operation (may be referred to as ON Z OFF).
  • Amplification function operation Z non-operation (on Z off) often does not operate the AGC during normal image observation. This is because the amount of light is sufficient for observation with normal light.
  • the AGC is activated because the light quantity is insufficient.
  • the operation speed (follow-up speed) of the amplification function for example, as the camera and the subject scene move away, the light intensity gradually decreases and the image becomes darker.
  • the dimming function works at first and tries to increase the amount of light when it is dark, but the dimming operation cannot follow.
  • AGC operates when it can no longer follow.
  • the speed of the AGC operation is important. If the follow-up speed is too fast, noise will appear when it gets dark. An appropriate speed that is neither too fast nor too slow is important.
  • the AGC operation may be quite slow, but during spectroscopic image observation it becomes dark immediately, so the AGC operation needs to follow the fast eye. As a result, the image quality of the signal that is displayed and output can be improved.
  • FIG. 4, FIG. 28 or FIG. 32 is applied to the configuration of the living body observation apparatus according to the sixth embodiment of the present invention.
  • the AGC (auto gain control) in these configurations is performed by the signal amplification unit in each of the luminance signal processing unit 434 and the color signal processing unit 435 in FIG. 4, FIG. 28 or FIG. 32 during normal image observation. This is done by an AGC circuit (not shown).
  • AGC at the time of spectral image observation is performed by an AGC circuit (for example, amplifiers 32a to 32c in FIG. 8 are variable amplifiers) which is a signal amplifying unit in the matrix calculation unit 436 in FIG. 4, FIG. 28 or FIG. It is.
  • the AGC circuit as the signal amplification unit is controlled to operate in conjunction with the light amount control unit such as the chopper 16, the lamp current control unit 18, or the aperture control unit 24.
  • the interlock operation is controlled so that, for example, the AGC circuit as the signal amplifying unit functions only after the light output control unit reaches the maximum output light amount.
  • the light quantity control unit is set to control the maximum light quantity (for example, the dimming blades are fully opened), and even when the light quantity reaches the maximum, the AGC is controlled to function only when the screen is dark. Thereby, the range of light quantity control can be widened.
  • the AGC auto gain control
  • the AGC in these configurations is performed by the signal amplification unit in each of the luminance signal processing unit 434 and the color signal processing unit 435 in FIG. 4, FIG. 28 or FIG. 32 during normal image observation. This is done by an AGC circuit (not shown).
  • AGC at the time of spectral image observation is performed by an AGC circuit (for example, amplifiers 32a to 32c in FIG. 8 are variable amplifiers) which is a signal amplifying unit in the matrix calculation unit 436 in FIG. 4, FIG. 28 or FIG. It is.
  • a normal image and a spectral image are displayed simultaneously (spectral images are estimated from RGB and can be displayed simultaneously), the amount of light may have been reduced in consideration of CCD saturation. For example, a normal image may have reduced light intensity to reduce CCD saturation. In this case, the normal image is naturally dark.
  • spectral images are adjusted within an appropriate dynamic range so that details can be observed. Therefore, when displaying the normal image and the spectral image at the same time, the normal image remains dark if it is left as it is. Therefore, the brightness of the normal image is adjusted for simultaneous display and output. Amplification of image output is performed by electrically increasing the gain with an AGC circuit that is a signal amplifier. Thereby, the image quality at the time of simultaneous display can be improved.
  • FIG. 35 is applied to the configuration of the living body observation apparatus according to the eighth embodiment of the present invention.
  • the broadband luminance signal is weighted and added to the luminance component of the spectral image to improve the brightness and the SZN ratio.
  • an electronic endoscope apparatus 100 includes an endoscope 101, an endoscope apparatus body 105, and a display monitor 106.
  • the endoscope apparatus main body 105 mainly includes a light source section 41, a control section 42, and a main body processing apparatus 43.
  • the main body processing device 43 is provided with a CCD drive circuit 431 for driving the CCD 21, and has a signal circuit system for obtaining a normal image and a signal circuit system for obtaining a spectral image.
  • the signal circuit system for obtaining a normal image is used to sample the signal obtained by the CCD 21. And SZH circuits 433a to 433c that generate RGB signals, and a color signal processing unit 435 that is connected to the outputs of the SZH circuits 433a to 433c and generates color signals.
  • a matrix calculation unit 436 is provided at the output of the SZH circuits 433a to 433c, and a predetermined matrix calculation is performed on the RGB signals.
  • the output of the color signal processing unit 435 and the output of the matrix calculation unit 436 are connected via a switching unit 450 to a white balance processing (hereinafter referred to as WB) circuit 451, a gamma correction circuit 452, and a color conversion circuit (1) 4 53 ⁇ signal, R— ⁇ signal, ⁇ — ⁇ signal are generated, and further emphasized luminance signals YEH, R— ⁇ signal, ⁇ — ⁇ signal described later are generated, and the color conversion circuit (2 ) 455 and sent to the display monitor 106 as R, G, ⁇ output.
  • WB white balance processing
  • a broadband luminance signal generator 444 is provided, and C When the output signal power SZN ratio of the CD deteriorates, a broadband luminance signal (YH) is generated, and weighted addition with the luminance component Y of the spectral image is performed.
  • YH broadband luminance signal
  • the weighting circuit (445, 446 ) Weighting is performed by the adding unit 447, and the enhancement circuit 454 corrects the outline of the luminance signal after the addition. That is, the broadband luminance signal generation unit 444, the weighting circuits 445 and 446, and the addition unit 447 constitute an image quality adjustment unit.
  • the contour-corrected luminance signal YEH is supplied to the color conversion unit (2) 455, and is then converted again to RGB by the color conversion unit (2) 455 and output to the display monitor 106.
  • the weighting coefficients in the above weighting circuits (445, 446) can be switched according to the observation mode and the number of connected CCD pixels, and can be set arbitrarily within the range where there is no problem with contrast degradation of the spectral image. For example, if the weighting coefficient of the weighting circuit 445 is ⁇ and the weighting coefficient of the weighting circuit 446 is
  • the effects of the configuration of the eighth embodiment can improve the brightness and SZN ratio without acquiring multiple images, and the weighting coefficient can be optimized depending on the type of connected CCD. Therefore, depending on the number of pixels and spectral characteristics of each CCD, there is no influence of contrast deterioration, and optimization is possible within a range.
  • FIG. 36 or FIG. 37 is applied to the configuration of the living body observation apparatus according to the ninth embodiment of the present invention.
  • the ninth embodiment is intended to improve the SZN ratio.
  • this method of improving the SZN ratio ratio involves illumination light irradiation several times (for example, n times, where n is 2) in one field (one frame) of a normal image (general color image).
  • Ignition intensity may be changed at each time. It is indicated by 10 to In in Fig. 2. This can be realized only by controlling the illumination light.
  • This will reduce the intensity of each irradiation, and each of the RGB signals will be Saturation can be suppressed.
  • the image signal divided several times is added n times later. This can increase the signal component and improve the SZN ratio.
  • connection cable to the CCD is connected with a circuit with high drive capability. It is necessary to drive, and technical difficulty is high.
  • the CCD drive circuit 431 is moved from the main body processing unit (processor) 43 to the endoscope 101 side, and the CCD drive circuit 4
  • connection cable between 31 and CCD 21 is designed to be as short as possible.
  • the CCD drive circuit 431 is on the endoscope 101 side, the drive capability required for the drive circuit can be set low. In other words, even if drive capacity is low, it is advantageous in terms of cost.
  • the CCD drive circuit 431 has a built-in force in the main body processing device (processor) 43 as compared with the configuration of FIG. Waveform shaping circuit provided near the CCD at the tip of the endoscope 101
  • the waveform is shaped at 450 and the CCD 21 is driven.
  • the CCD drive pulse from the main body processing device 43 can be output with a waveform close to a sine wave, so the EMC characteristics are good. That is, an unnecessary radiated electromagnetic field can be suppressed.
  • the noise suppression circuit is provided in the matrix calculation unit 436 or an input unit in front of the matrix calculation unit 436 necessary for spectral image observation.
  • the wavelength band is limited, so the amount of illumination light may be smaller than during normal image observation.
  • the brightness deficiency due to the small amount of illumination can be corrected electrically by amplifying the captured image, but simply increasing the amplification factor by the AGC circuit will cause noise in dark image parts. It will be a noticeable image. Therefore, by passing through a noise suppression circuit, noise in the dark area is suppressed, and a decrease in contrast in the bright area is reduced.
  • the noise suppression circuit is described in FIG. 5 of Japanese Patent Application No. 2005-82544.
  • the noise suppression circuit 36 shown in FIG. 38 is a circuit applied to a biological observation apparatus as shown in FIG. 32 that handles frame-sequential R, G, and B image data. Frame sequential R, G, B image data is input.
  • the noise suppression circuit 36 includes a filter processing unit 81 that performs filter processing using a plurality of spatial filters on image data captured by a CCD that is an imaging unit, and brightness in a local region of the image data.
  • the average pixel value calculation unit 82 as the brightness calculation means to be calculated, and the output of the filter processing unit 81 is weighted according to the output of the filter processing unit 81 and Z or the output of the average pixel value calculation unit 82
  • the p filter coefficients in the filter processing unit 81 are switched for each of R, G, and B input image data, and are read from the filter coefficient storage unit 84 and set in the filters Al to Ap. .
  • the average pixel value calculation unit 82 calculates the average value Pav for the pixel values of the small region (local region) of n X n pixels of the same input image data used in the spatial filter processing by the filter processing unit 81. According to the average value Pav and the value of the filter processing result in the filter processing unit 81 Then, the weighting coefficient W is read from the lookup table (LUT) 86 and set in the weighting circuits Wl, W2,.
  • LUT lookup table
  • noise is suppressed while avoiding a decrease in the contrast of the image data by changing the weighting of the noise suppression processing by the spatial filter according to the brightness of the local region of the image data.
  • FIG. 4, FIG. 28 or FIG. 32 is applied to the living body observation apparatus of Example 11 of the present invention.
  • a spatial frequency filter (LPF) (not shown) is provided in the matrix calculation unit 436, but this spatial frequency characteristic is controlled to be slightly changed when displaying a spectral image. For example, control is performed to widen the band.
  • the control unit 42 changes the setting of the spatial frequency filter characteristics (LPF characteristics) provided in the matrix calculation unit 436 in the main body processing device (processor) 43. Specifically, the control unit 42 Performs control to change the band characteristics of the LPF to wide band during image observation. Such control operation is described in Fig. 4 of Japanese Patent Application No. 2004-250978.
  • the operator can perform endoscopy by inserting the insertion portion 102 of the endoscope 101 into the body cavity of the patient.
  • the surgeon operates the V and mode switching switches (not shown) when he wants to observe in more detail the condition of blood vessels running on the surface of the tissue to be examined such as the affected area in the body cavity.
  • control unit 42 changes the operation mode of the light source unit 41 and the main body processing device 43 to the setting state of the spectral image observation mode.
  • control unit 42 controls the light amount so as to increase the light amount for the light source unit 41, and the spatial frequency L PF in the matrix calculation unit 436 for the main body processing device 43.
  • the bandwidth characteristics of the image are changed so as to be wideband, and the switching unit 439 is controlled to switch to the spectral image processing system including the matrix calculation unit 436.
  • the conventional simultaneous color imaging function is maintained in the normal image observation mode, and the coefficients of each part in the main body processing device 43 are also in the spectral image observation mode.
  • the processing characteristics such as changing the settings such as, the observation function in the spectral image observation mode can be sufficiently ensured.
  • NBI characters are displayed during spectral image observation.
  • a mark such as ⁇ may be displayed at one of the four corners of the monitor instead of the character display.
  • An LED is simply provided on the operation panel, and it is turned off during normal image observation and turned on during spectral image observation.
  • an LED lighting unit 91 is provided in the vicinity of the NBI character, and is turned off during normal image observation and turned on during spectral image observation.
  • an LED is provided so that the NBI character itself 92 is lit, or the character peripheral portion 93 other than the NBI character is lit, and is turned off during normal image observation and lit during spectral image observation. To do.
  • an LED is provided so that the NBI character itself 94 is lit, or the character peripheral part 95 other than the NBI character is lit, green is turned off during normal image observation, white light is emitted during spectral image observation, etc. Lights with different colors.
  • a biological observation device is assembled by a system with multiple devices and is displayed on the controller screen for centralized control.
  • the spectral image observation mode switching switch ie, the NBI switch
  • the NBI switch itself is displayed in black characters during normal image observation and in reverse characters during spectral image observation.
  • FIG. 42 is a block diagram showing a configuration of the biological observation apparatus according to Example 13 of the present invention.
  • FIG. 42 is a block diagram of the simultaneous electronic endoscope apparatus 100. As shown in FIG.
  • the endoscope apparatus main body 105 mainly includes a light source section 41, a control section 42, and a main body processing apparatus 43. Descriptions of the same parts as in FIG. 4 of the first embodiment will be omitted, and different parts from FIG. 4 will be mainly described.
  • the main body processing device 43 is connected to the endoscope 101 via the connector 11, similarly to the light source unit 41.
  • the main body processing device 43 is provided with a CCD drive circuit 431 for driving the CCD 21. It also has a color signal processing system as a signal circuit system for obtaining normal images.
  • the color signal processing system is connected to the CCD 21, performs sampling of the signal obtained by the CCD 21, and generates RGB signals.
  • Color signals R ′, G ′, and B are sent from the color signal processing unit 435 to the common circuit unit (451 to 455) through the switching unit 450.
  • the signal processing of these circuits 451 to 455 is signal processing for displaying on the display monitor 106 an imaging signal that is a color image signal and a spectral signal generated from the imaging signal. Is a process that can be shared by both signal processing and spectral signal processing.
  • a common circuit unit (451 to 455) that shares a circuit for performing processing will be described.
  • the common circuit section (451 to 455) is configured so that WB processing, ⁇ processing, and enhancement processing can be shared by the normal observation image and the spectral observation image.
  • the following circuits a) to c) are used in common when generating the normal observation image and the spectral observation image.
  • a) WB circuit 451, b) gamma correction circuit 452, c) enhancement circuit 454 are shared.
  • the output of the color adjustment unit 440 and the output of the matrix calculation unit 436 are supplied to the WB circuit 451, the ⁇ correction circuit 452, and the color conversion circuit (1) 453 via the switching unit 450, and the ⁇ signal, R- ⁇ Signal, ⁇ — ⁇ signal is generated, and further emphasized luminance signals YEH, R— ⁇ signal, ⁇ — ⁇ signal, which will be described later, are generated and supplied to the color conversion circuit (2) 455, and R, G, ⁇ Display as output Sent to monitor 106.
  • the spectral images (Fl, F2, F3) from the matrix calculation unit 436 are generated by the following procedure.
  • the images obtained by integrating and color-adjusting the spectral images (F1 to F3) and the normal observation images (R ′, G ′,) ′) are shown on the front panel and keyboard at the switching unit 450. Selected with no mode switch.
  • the output from the switching unit 450 is processed by the WB circuit 451 and the ⁇ correction circuit 452, and then the luminance signal ( ⁇ ) and the color difference signal (R— ⁇ — Is converted to ⁇ ).
  • the enhancement circuit 454 performs contour correction on the converted luminance signal ⁇ .
  • the color conversion unit (2) 455 converts the image data into RGB again and outputs it to the display monitor 106.
  • ⁇ ⁇ enhancement processing can be used in common, and the spectral image (Fl, F2, F3) from the matrix calculation unit 436 is output as G—B—B, so the color conversion unit (1) Since the luminance signal of the spectral image converted at 453 contains a lot of ⁇ components, It is possible to emphasize the surface blood vessel image obtained from the image with emphasis.
  • Example 13 in Fig. 42 shows a configuration in which WB, y correction, and enhancement processing are shared mainly between the normal observation image system and the spectroscopic observation image system. Without being limited thereto, it may be a configuration in which at least one of WB, gradation conversion, and spatial frequency enhancement processing is shared.
  • FIG. 43 is a block diagram showing the configuration of the biological observation apparatus according to Embodiment 14 of the present invention. Since Example 14 is almost the same as Example 13, only differences from Example 13 will be described, and the same components will be assigned the same reference numerals and description thereof will be omitted.
  • This embodiment is mainly different from the thirteenth embodiment in the light source unit 41 that controls the amount of illumination light.
  • the amount of light emitted from the light source unit 41 is controlled not by the chopper but by the current control of the lamp 15.
  • the lamp 15 shown in FIG. 43 is provided with a current control unit 18 as a light amount control unit.
  • control unit 42 controls the current flowing through the lamp 15 so that none of the RGB color image signals are saturated.
  • the current used for light emission in the lamp 15 is controlled, so that the amount of light changes according to the magnitude of the current.
  • the present embodiment as in the thirteenth embodiment, it is possible to obtain a spectral image in which the blood vessel pattern is clearly displayed. Further, the present embodiment has an advantage that the control method is simpler than the light amount control method using the chopper as in the thirteenth embodiment.
  • FIG. 44 is a block diagram showing the configuration of the biological observation apparatus according to Embodiment 15 of the present invention.
  • the diagram showing the charge storage time of the CCD in the embodiment of FIG. 44 is the same as FIG. Since the fifteenth embodiment is almost the same as the thirteenth embodiment, only differences from the thirteenth embodiment will be described.
  • This embodiment is mainly different from the thirteenth embodiment in the light source unit 41 and the CCD 21.
  • the CCD 21 is provided with the color filter shown in FIG. 6 and a color signal is generated by this color filter!
  • the illumination light is 1
  • the so-called frame-sequential method is used in which color signals are generated by illuminating in the order of RGB during the frame period.
  • the light source unit 41 in the present embodiment is provided with a diaphragm 25 that performs dimming on the front surface of the lamp 15, and on the further front surface of the diaphragm 25, R, G, and B are sequentially arranged.
  • an RGB rotation filter 23 that rotates, for example, once in one frame is provided.
  • the aperture 25 is connected to an aperture control unit 24 as a light amount control unit, and restricts the luminous flux to be transmitted among the luminous flux emitted from the lamp 15 in accordance with a control signal from the aperture control unit 24. Dimming is possible by changing the amount of light.
  • the RGB rotation filter 23 is connected to the RGB rotation filter control unit 26 and rotates at a predetermined rotation speed.
  • the operation of the light source unit in this embodiment is as follows.
  • the luminous flux output from the lamp 15 is limited to a predetermined amount of light by the aperture 25, and the luminous flux transmitted through the aperture 25 passes through the RGB rotation filter 23 to Is output from the light source unit as R'G'B illumination light at each time.
  • Each illumination light is reflected within the subject and received by the CCD 21.
  • Signals obtained by the CCD 21 are distributed by a switching unit (not shown) provided in the endoscope apparatus main body 105 according to the irradiation time, and input to the SZH circuits 433a to 433c, respectively.
  • the illumination light is irradiated from the light source unit 41 through the R filter, the signal obtained by the CCD 21 is input to the SZH circuit 433a. Since other operations are the same as those in the first embodiment, they are omitted here.
  • the fifteenth embodiment as in the thirteenth embodiment, a spectral image in which a blood vessel pattern is clearly displayed can be obtained. Further, unlike the thirteenth embodiment, the fifteenth embodiment can enjoy the advantages of the so-called frame sequential method. This merit is, for example, the one described in Fig. 34.
  • the illumination light quantity (light quantity from the light source unit) is controlled to adjust in order to avoid saturation of the RGB color signal.
  • the fifteenth embodiment employs a method of adjusting the electronic shutter of the CCD 21.
  • CCD21 incident within a certain time Charges proportional to the light intensity accumulated are accumulated, and the charge amount is used as a signal. A force equivalent to this accumulation time is called an electronic shutter.
  • the electronic shutter By adjusting the electronic shutter with the CCD drive circuit 431, the amount of accumulated charge, that is, the signal amount can be adjusted.
  • a similar spectral image can be obtained by obtaining an RGB color image with the charge accumulation time sequentially changed for each frame.
  • the illumination light amount control by the diaphragm 25 is used to obtain a normal image, and when obtaining a spectral image, the electronic shutter is changed to change the R, G, B color signals. It is possible to avoid saturation of.
  • FIG. 45 and 46 relate to the living body observation apparatus according to the sixteenth embodiment of the present invention
  • FIG. 45 is a diagram showing the arrangement of color filters
  • FIG. 46 is a diagram showing the spectral sensitivity characteristics of the color filters.
  • the color filter provided in the CCD 21 is different from that in the first embodiment.
  • an RGB primary color filter is used as shown in FIG. 6, whereas in this embodiment, a complementary color filter is used.
  • the complementary color filter array is composed of G, Mg, Ye, and Cy elements.
  • Fig. 46 shows the spectral sensitivity characteristics when the complementary color filter is used, the target bandpass filter, and the characteristics of the pseudo bandpass filter obtained by the above equations (27) to (33). Show.
  • the SZH circuit shown in Fig. 4 and Fig. 42 is not for R 'G ⁇ B, but for G ⁇ Mg ⁇ Cy ⁇ Ye! Needless to say it will be done! /.
  • the present embodiment as in the first embodiment, it is possible to obtain a spectral image in which the blood vessel pattern is clearly displayed. Further, in this embodiment, it is possible to enjoy the advantages of using the complementary color filter.
  • a new pseudo bandpass filter can be created by the operator himself / herself at other timings in the clinic and applied to the clinic. That is, in Example 1, the control unit 42 in FIGS. 4 and 42 can calculate and calculate matrix coefficients. Provide a design section ( ⁇ not shown) that can be used.
  • a pseudo bandpass filter suitable for obtaining a spectral image desired by the operator can be obtained by inputting conditions via the keyboard provided in the endoscope apparatus main body 105 shown in FIG.
  • the correction coefficient matrix “K” in Eqs. (20) and (32) is used.
  • Set the final matrix coefficient corresponding to each element of the matrix “ ⁇ '” in equations (21) and (33)) to the matrix calculation unit 436 in FIGS. 4 and 42. Therefore, it can be applied immediately to clinical practice.
  • Figure 47 shows the flow until application. This flow will be described in detail.
  • the operator inputs information about a target bandpass filter (for example, a wavelength band) via a keyboard or the like.
  • a target bandpass filter for example, a wavelength band
  • the matrix “ ⁇ ” is calculated together with the characteristics of the light source color filter already stored in a predetermined storage device etc., and as shown in FIG. 46, along with the characteristics of the target bandpass filter,
  • the calculation result (pseudo bandpass filter) of the matrix “ ⁇ '” is displayed on the monitor as a force spectrum diagram.
  • the newly created matrix “ ⁇ ,” is to be used, it is set, and this matrix “ ⁇ '” is used to set the actual internal vision. A mirror image is generated.
  • the newly created matrix “ ⁇ ′” is stored in a predetermined storage device and can be used again according to a predetermined operation by the operator.
  • the operator can generate a new bandpass filter based on his / her own experience, etc., without being bound by the existing matrix “ ⁇ '”, which is particularly effective when used for research purposes. is there.
  • the biological observation apparatus of the present invention is particularly useful when applied to an electronic endoscope apparatus for acquiring biological information and observing biological tissue in detail.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 被検体である生体に光を照射する照明部と、その照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部とを具備し、前記信号処理制御部が、前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部とに加えて、前記表示装置へ出力される信号の画質を調整する画質調整部をさらに備え、或いは、前記分光信号生成部と前記色調整部を少なくとも除いたその他の信号処理部が、前記撮像信号と前記分光信号の各々の信号処理において共有されていることを特徴とする。

Description

明 細 書
生体観測装置
技術分野
[0001] 本発明は、生体を撮像して得られるカラー画像信号を利用して、信号処理により擬 似的な狭帯域フィルタを生成し、分光画像としてモニタ上に表示する生体観測装置 に関する。
背景技術
[0002] 従来より、生体観測装置として、照明光を照射し体腔内の内視鏡画像を得る内視 鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を 体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を 有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段力 の撮像信号を 信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察 するようになっている。
[0003] 内視鏡装置において通常の生体組織観察を行う場合は、 1つの方式としては、光 源装置で可視光領域の白色光を発光し、例えば RGB等の回転フィルタを介すること で面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同 時ィ匕し画像処理することでカラー画像を得ている。また、内視鏡装置において通常の 生体組織観察を行う場合は、別の方式としては、内視鏡の撮像手段の撮像面の前面 にカラーチップを配し、光源装置で可視光領域の白色光を発光し、該白色光による 戻り光をカラーチップにて各色成分毎に分離することで撮像し、ビデオプロセッサで 画像処理することによってカラー画像を得ている。
[0004] 生体組織は、照射される光の波長により光の吸収特性及び散乱特性が異なるため 、例えば日本国特開 2002— 95635号公報において、可視光領域の照明光を離散 的な分光特性の狭帯域な RGB面順次光を生体組織に照射し、生体組織の所望の 深部の組織情報を得る狭帯域光内視鏡装置が提案されている。
また、日本国特開 2003— 93336号公報において、可視光領域の照明光による画 像信号を信号処理し離散的な分光画像を生成し、生体組織の所望の深部の組織情 報を得る狭帯域光内視鏡装置が提案されている。
[0005] し力しながら、例えば上記日本国特開 2003— 93336号公報に記載の装置では、 信号処理により分光画像を得ることで、狭帯域な RGB光を生成するためのフィルタを 必要としないが、得られた分光画像を単にモニタに出力している。そのために、モ- タに表示される画像が生体組織の所望の深部の組織情報の観察に適した色調の画 像とならず、視認性が良好とは言えない虞れがある。
また、上記日本国特開 2003— 93336号公報に記載の装置では、通常画像と分光 画像とで回路系を分離した構成としているため、回路規模が大きぐさらに通常画像 につ 、ては色の調整や輪郭補正を行って 、るが、分光画像にっ 、ては色の調整や 輪郭補正のような画質処理を行って 、な 、と 、う問題もある。
[0006] 従って、本発明は、上記事情に鑑みてなされたものであり、信号処理により得られ た分光画像に基づく生体組織の所望の深部の組織情報を観察に適した色調の画像 情報に調整し、かつ表示出力される信号の画質を向上させて視認性を良好にするこ とのできる生体観測装置を提供することを目的として!/ヽる。
また、本発明は、信号処理により得られた分光画像に基づく生体組織の所望の深 部の組織情報を、観察に適した色調の画像情報に調整可能で、かつ回路規模を抑 えつつ、ホワイトバランスや γ調整など必要な信号処理を行うための回路を共通化す ることのできる生体観測装置を提供することを目的として 、る。
発明の開示
課題を解決するための手段
[0007] 本発明の一態様による生体観測装置は、
被検体である生体に光を照射する照明部と、
その照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成 する撮像部と、
前記照明部及び Ζまたは前記撮像部の動作を制御し、表示装置へ前記撮像信号 を出力する信号処理制御部とを具備し、
前記信号処理制御部が、
前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によ つて生成する分光信号生成部と、
前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯 域ごとに異なった色調を割り付ける色調整部と、
前記表示装置へ出力される信号の画質を調整する画質調整部と、
を含む。
[0008] また、本発明の他の態様による生体観測装置は、
被検体である生体に光を照射する照明部と、
その照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成 する撮像部と、
前記照明部及び Zまたは前記撮像部の動作を制御し、表示装置へ前記撮像信号 を出力する信号処理制御部とを具備し、
前記信号処理制御部が、
前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によ つて生成する分光信号生成部と、
前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯 域ごとに異なった色調を割り付ける色調整部とを有し、
前記分光信号生成部及び前記色調整部を少なくとも除いたその他の信号処理部 力 前記撮像信号と前記分光信号の各々の信号処理において共有されることを特徴 とする。
図面の簡単な説明
[0009] [図 1]本発明の実施例 1に係るカラー画像信号から分光画像信号を作成する際の信 号の流れを示した概念図。
[図 2]本発明の実施例 1に係る分光画像信号の積分演算を示す概念図。
[図 3]本発明の実施例 1に係る生体観測装置の外観を示す外観図。
圆 4]図 3の生体観測装置の構成を示すブロック図。
[図 5]図 4のチョッパーの外観を示す外観図。
[図 6]図 4の CCDの撮像面に配置される色フィルタの配列を示す図。
[図 7]図 6の色フィルタの分光感度特性を示す図。 圆 8]図 4のマトリックス演算部の構成を示す構成図。
[図 9]本発明の実施例 1に係る光源のスペクトルを示すスペクトル図。
[図 10]本発明の実施例 1に係る生体の反射スペクトルを示すスペクトル図。
圆 11]図 4の生体観測装置により観察する生体組織の層方向構造を示す図。
圆 12]図 4の生体観測装置力もの照明光の生体組織の層方向への到達状態を説明 する図。
[図 13]白色光の各バンドの分光特性を示す図。
[図 14]図 13の白色光による各バンド画像を示す第 1の図。
[図 15]図 13の白色光による各バンド画像を示す第 2の図。
[図 16]図 13の白色光による各バンド画像を示す第 3の図。
圆 17]図 8のマトリックス演算部で生成された分光画像の分光特性を示す図。
[図 18]図 17の各分光画像を示す第 1の図。
[図 19]図 17の各分光画像を示す第 2の図。
[図 20]図 17の各分光画像を示す第 3の図。
[図 21]図 4の色調整部の構成を示すブロック図。
圆 22]図 21の色調整部の作用を説明する図。
[図 23]図 4の色調整部の変形例の成を示すブロック図。
圆 24]図 17の分光画像の第 1の変形例の分光特性を示す図。
圆 25]図 17の分光画像の第 2の変形例の分光特性を示す図。
圆 26]図 17の分光画像の第 3の変形例の分光特性を示す図。
[図 27]本発明の実施例 1に係るマトリックス演算部の他の構成例を示すブロック図。 圆 28]本発明の実施例 2に係る生体観測装置の構成を示すブロック図。
圆 29]本発明の実施例 4に係る生体観測装置における光量制御部の一例を示す図
[図 30]光量制御部の他の例を示す図。
[図 31]光量制御部のもう 1つの例を示す図。
圆 32]本発明の実施例 4に係る生体観測装置の構成を示すブロック図。
[図 33]図 32の CCDの電荷蓄積時間を示す図。 [図 34]図 32の変形例であって CCDの電荷蓄積時間を示す図。
[図 35]本発明の実施例 8に係る生体観測装置における画質改善の一例を示す図。
[図 36]本発明の実施例 9に係る生体観測装置における画質改善の一例を示す図。
[図 37]本発明の実施例 9に係る生体観測装置における画質改善の他の例を示す図
[図 38]本発明の実施例 10に係る生体観測装置における画質改善の一例を示す図。
[図 39]本発明の実施例 12に係る生体観測装置における画質改善の一例を示す図。
[図 40]本発明の実施例 12に係る生体観測装置における画質改善の他の例を示す 図。
[図 41]本発明の実施例 12に係る生体観測装置における画質改善のもう 1つの他の 例を示す図。
[図 42]本発明の実施例 13に係る生体観測装置の構成を示すブロック図。
[図 43]本発明の実施例 14に係る生体観測装置の構成を示すブロック図。
[図 44]本発明の実施例 15に係る生体観測装置の構成を示すブロック図。
[図 45]本発明の実施例 16に係る生体観測装置における色フィルタの配列を示す図
[図 46]図 45の色フィルタの分光感度特性を示す図。
[図 47]本発明に係る生体観測装置におけるマトリックス演算の際のフローチャート。 発明を実施するための最良の形態
[0010] 以下、図面を参照しながら本発明の実施例について述べる。
[0011] [実施例 1]
図 1ないし図 26は本発明の実施例 1に係わり、図 1はカラー画像信号から分光画像 信号を作成する際の信号の流れを示す概念図、図 2は分光画像信号の積分演算を 示す概念図、図 3は電子内視鏡装置の外観を示す外観図、図 4は図 3の電子内視鏡 装置の構成を示すブロック図、図 5は図 4のチョッパーの外観を示す外観図、図 6は 図 3の CCDの撮像面に配置される色フィルタの配列を示す図、図 7は図 6の色フィル タの分光感度特性を示す図、図 8は図 4のマトリックス演算部の構成を示す構成図、 図 9は光源のスペクトルを示すスペクトル図、図 10は生体の反射スペクトルを示すス ベクトル図である。
[0012] 図 11は図 4の電子内視鏡装置により観察する生体組織の層方向構造を示す図、 図 12は図 4の電子内視鏡装置力もの照明光の生体組織の層方向への到達状態を 説明する図、図 13は白色光の各バンドの分光特性を示す図、図 14は図 13の白色 光による各バンド画像を示す第 1の図、図 15は図 13の白色光による各バンド画像を 示す第 2の図、図 16は図 13の白色光による各バンド画像を示す第 3の図、図 17は 図 8のマトリックス演算部で生成された分光画像の分光特性を示す図、図 18は図 17 の各分光画像を示す第 1の図、図 19は図 17の各分光画像を示す第 2の図、図 20は 図 17の各分光画像を示す第 3の図である。
[0013] 図 21は図 4の色調整部の構成を示すブロック図、図 22は図 21の色調整部の作用 を説明する図、図 23は図 4の色調整部の変形例の成を示すブロック図、図 24は図 1 7の分光画像の第 1の変形例の分光特性を示す図、図 25は図 17の分光画像の第 2 の変形例の分光特性を示す図、図 26は図 17の分光画像の第 3の変形例の分光特 性を示す図である。
[0014] 本発明の実施例における生体観測装置としての電子内視鏡装置では、照明用光 源力 被検体である生体に光を照射し、その照射光に基づいて生体から反射される 光を撮像部である固体撮像素子にて受光し光電変換することにより、カラー画像信 号である撮像信号を生成し、その撮像信号から光学的波長狭帯域の画像に対応す る分光信号である分光画像信号を信号処理によって生成するようになって ヽる。
[0015] 以下、本発明に係る実施例 1について説明する前に、本発明の基礎となるマトリック ス算出方法について説明する。ここで、マトリックスとは、カラー画像 (以下通常画像と 呼ぶ)を生成するために取得されるカラー画像信号から、分光画像信号を生成する 際に用いられる所定の係数である。
[0016] また、このマトリックスの説明に続き、より正確な分光画像信号を求めるための補正 方法、生成された分光画像信号の SZN比を向上させる SZN比の改善方法につい て説明する。なお、この補正方法、 SZN比の改善方法に関しては、必要に応じて使 用すれば良い。また、以下、ベクトル及び行列(マトリックス)は太文字あるいは「」(例 えば、行列 Aを" Aの太文字"あるいは"「A」 "と表記)で、それ以外は文字修飾なしで 表記する。
[0017] (マトリックス算出方法)
図 1は、カラー画像信号 (ここでは、説明を簡単にするために、 R'G'Bとするが、後 述する実施例のように、補色型固体撮像素子においては、 G'Cy'Mg'Yeの組合せ でも良い)から、より光学的波長狭帯域の画像に対応する分光画像信号を生成する 際の信号の流れを示した概念図である。
まず、電子内視鏡装置は、 R'G'Bのそれぞれのカラー感度特性を数値データィ匕 する。ここで、 R'G'Bのカラー感度特性とは、白色光の光源を用い、白色の被写体を 撮像する時にそれぞれ得られる波長に対する出力の特性である。
なお、 R'G'Bのそれぞれのカラー感度特性は、簡略化したグラフとして各画像デ ータの右に示されている。また、この時の、 R'G'Bのカラー感度特性をそれぞれ n次 元の列ベクトル「R」 ·「G」 ·「B」とする。
[0018] 次に、電子内視鏡装置は、抽出したい分光画像用狭帯域パンドパスフィルタ Fl 'F 2 'F3 (電子内視鏡装置は、先見情報として、構造を効率よく抽出できるフィルタの特 性を知っている。このフィルタの特性とは、波長帯域が略 590nm〜略 610nm、略 530η m〜略 550nm、略 400m〜略 430nmをそれぞれ通過帯域とするものである。)の特性を 数値データ化する。
なお、ここで"略,,とは、波長においては ± 10nm程度を含む概念である。この時のフ ィルタの特性をそれぞれ n次元の列ベクトル「F1」 ·「F2」 ·「F3」とする。得られた数値 データを基に、以下の関係を近似する最適な係数セットを求める。即ち、
[数 1]
Figure imgf000009_0001
[0019] となるマトリックスの要素を求めればよい。
[0020] 上の最適化の命題の解は数学的には、以下のように与えられる。 R'G'Bのカラー 感度特性を表すマトリックスを「C」、抽出したい狭帯域パンドパスフィルタの分光特性 を表すマトリックスを「F」、求める係数マトリックスを「A」とすると、 [数 2]
( ax 3
C = fR G B) A = わ l b23 F = (F, F2 F3
Figure imgf000010_0001
[0021] となる。従って、(1)式に示した命題は、以下の関係を満足するマトリックス「A」を求 めるに等しい。
[数 3]
Figure imgf000010_0002
[0022] ここで、分光特性を表すスペクトルデータとしての点列数 nとしては、 n> 3であるので 、(3)式は 1次元連立方程式ではなぐ線形最小二乗法の解として与えられる。即ち 、(3)式力 擬似逆行列を解けばよい。マトリックス「C」の転置行列を じ」とすれば、 (3)式は
[数 4]
Figure imgf000010_0003
[0023] となる。 ^CCJは n X nの正方行列であるので、(4)式はマトリックス「A」につ!/、ての連 立方程式と見ることができ、その解は、
[数 5]
A = CC)-l rCF
Figure imgf000010_0004
[0024] で与えられる。
[0025] (5)式にて求められたマトリックス「A」について、電子内視鏡装置は、(3)式の左辺 の変換を行うことで、抽出したい狭帯域パンドパスフィルタ F1 'F2 'F3の特性を近似さ せることができる。以上が、本発明の基礎となるマトリックス算出方法の説明である。
[0026] このようにして算出されたマトリックスを用いて、後述するマトリックス演算部 436が通 常カラー画像信号カゝら分光画像信号を生成する。
[0027] (補正方法) 次に、より正確な分光画像信号を求めるための補正方法について説明する。
上述のマトリックス算出方法の説明においては、 CCD等の固体撮像素子が受光す る光束が、完全な白色光 (可視域において、全ての波長強度が同じ)である場合に正 確に適用されるものである。即ち、 RGBの出力がいずれも同じである場合に、最適な 近似となる。
[0028] しかし、実際の内視鏡観察下では、照明する光束 (光源の光束)は完全な白色光で はなぐ生体の反射スペクトルも一律ではないので、固体撮像素子が受光する光束も 白色光でな!ヽ(色が着!ヽて 、るので、 RGBの値は同じではな!/、)。
[0029] 従って、実際の処理にぉ 、て、 (3)式に示した命題をより正確に解くためには、 RG Bのカラー感度特性に加え、照明光の分光特性、生体の反射特性を考慮することが 望ましい。
[0030] ここで、カラー感度特性をそれぞれ R (え)、 G (え)、 Β(λ)とし、照明光の分光特性 の一例を S (え)、生体の反射特性の一例を Η ( λ )とする。なお、この照明光の分光 特性および生体の反射特性は、必ずしも検査を行う装置、被検体の特性でなくてもよ く、例えば予め取得してぉ 、た一般的な特性としても良 、。
[0031] これらの係数を用いると、補正係数 kR'kG'kBは、
(数 6) kG=(_f SU) XHU) XGU)c )_1
kB=(_f SU) XHU) XBU)C )_1 ·'·(6)
で与えられる。感度補正マトリックスを「Κ」とすると、以下のように与えられる。
[数 7]
Figure imgf000011_0001
[0032] 従って、係数マトリックス「A」につ 、ては、(5)式に(7)式の補正をカ卩えて、以下のよう になる。
[数 8] A? = KA - K( CC) l rCF · ' ·(8)
[0033] また、実際に最適化を行う場合、目標とするフィルタの分光感度特性 (図 1中の F1 ' F2 -F3)が負のときは画像表示上では 0となる(つまりフィルタの分光感度特性のうち 正の感度を有する部分のみ使用される)ことを利用し、最適化された感度分布の一部 力 S負〖こなることも許容されることが付加される。電子内視鏡装置は、ブロードな分光感 度特性力 狭帯域な分光感度特性を生成するためには、図 1に示すように目標とす る F1 'F2 'F3の特性に、負の感度特性を付加することで、感度を有する帯域を近似し た成分を生成することができる。
[0034] (SZN比の改善方法)
次に、生成された分光画像信号の SZN比及び精度を向上させる方法について説 明する。この SZN比の改善方法は、前述した処理方法に付加することにより、さらに 以下の課題を解決するものである。
(i)前述のマトリックス算出方法における原信号 (R' G · B)の 、ずれかが仮に飽和状 態となると、処理方法におけるフィルタ F1乃至 F3の特性が、構造を効率よく抽出でき るフィルタの特性 (理想とする特性)と大きく異なってしまう可能性がある (R · G · Bの中 、 2つの信号だけで生成される場合は、その 2つの原信号がいずれも飽和していない ことが必要である)。
(ii)カラー画像信号力 分光画像信号への変換の際に、広帯域のフィルタ力も狭帯 域フィルタを生成するため、感度の劣化が発生し、生成された分光画像信号の成分 も小さくなり、 SZN比が良くない。
[0035] この SZN比改善の方法とは、図 2に示されるように、照明光の照射を通常画像 (一 般的なカラー画像)の 1フィールド(1フレーム)中に数回(例えば n回、 nは 2以上の整 数)に分けて照射する(照射強度をそれぞれの回で変化させても良い。図 2において は、 10乃至 Inで示されている。なお、これは照明光の制御のみで実現可能である。 ) o これにより、電子内視鏡装置は、 1回の照射強度を小さくすることができ、 RGB信号 のいずれもがそれぞれ飽和状態となるのを抑えることができる。また、数回に分割さ れた画像信号は、後段で n枚分の加算を行う。これにより、電子内視鏡装置は、信号 成分を大きくして SZN比を向上させることができる。図 2で、積算部 438a乃至 438c は SZN比を改善する画質調整部として機能する。
[0036] 以上が、本発明の基礎となるマトリックス演算方法、またこれと共に実施することが 可能な正確な分光画像信号を求めるための補正方法、生成された分光画像信号の
SZN比を向上させる方法の説明である。
[0037] ここで、上述のマトリックス算出方法の変形例について説明する。
(マトリックス算出方法の変形例)
カラー画像信号を R, G, B、推定する分光画像信号を Fl, F2, F3とする。なお、厳 密には、カラー画像信号 R, G, Bは、画像上の位置 X, yの関数でもあるので、例えば
R(x, y)と表記すべきだが、ここでは省略する。
R, G, B力も Fl, F2, F3を計算する 3X3の行列「A」を推定することが目標となる。
「A」が推定されれば、 R, G, B力ら Fl, F2, F3の計算は、以下の(9)式で可能となる
[数 9]
Figure imgf000013_0001
[0038] ここで、以下のデータの表記を定義する。
[0039] 被検体の分光特性: H (え)、「Η」 = (Η(λ1),Η(λ2),···,Η(λη)
λは波長であり、 tは行列演算における転置を表す。同様に、
照明光の分光特性: S (え)、 「S」 = (S( l),S( 2),"',S(h))t
CCDの分光感度特性: J (え)、 「J」 = CF( l)J( 2),"'J( n))t
色分解を行うフィルタの分光特性:原色の場合
R (え)、 rRj = (R(ll),R(12),---,R(ln))t
G (え)、 「G」 = (G( l),G( 2),"-,G( n))t
B (え)、 「Β」 = (Β(λ1),Β(λ2),···,Β(λη)
「R」、 「G」、 「B」は(10)式に示すように、行列「 C」で 1つにまとめられる。
[数 10] G (10)
[0040] 画像信号 R, G, B、分光信号 Fl , F2, F3を行列で以下のように表記する。
[数 11]
Figure imgf000014_0001
Figure imgf000014_0002
[0041] 画像信号「P」は次式で計算される。
[数 12]
P = CSJH .(12)
[0042] いま、「Q」を得るための色分解フィルタを「F」とすると、(12)式同様
[数 13]
Q = FSJH (13)
[0043] ここで、重要な第 1の仮定として、いま、被検体の分光反射率が基本的な 3つの分 光特性の線形和で表現できると仮定すると、「H」は以下のように表記できる。
[数 14]
H « DW (14)
[0044] ここで、「D」は 3つの基本スペクトル Dl (え)、 D2 (え)、 D3 ( λ )を列ベクトルに持つ 行列で、「W」は「H」に対する Dl (え)、 D2 (え)、 D3 ( λ )の寄与をあらわす重み係数 である。被検体の色調がそれほど大きく変動しない場合には、この近似が成立するこ とが知られている。
[0045] ( 14)式を(12)式に代入すると、次式を得る。
[数 15]
Ρ = CSJH = CSJDW = MW 05) [0046] ここで、 3 X 3の行列「M」は、行列「CSJD」の計算結果を 1つにまとめた行列を示す
[0047] 同様に、(14)式を(13)式に代入して、次式を得る。
[数 16]
Q = FSJH = FSJDW = M W (16)
[0048] 同じぐ「Μ'」は、行列「FSJD」の計算結果を 1つにまとめた行列を示す。
[0049] 結局、(15)式と(16)式から「W」を消去して、以下の式を得る。
[数 17]
Q = M M P · ' ·(17)
[0050] 「Μ_ 1」は行列「Μ」の逆行列を示す。結局、「Μ, Μ_1」は 3 X 3の行列となり、推定目 標の行列「Α」となる。
[0051] ここで、重要な第 2の仮定として、色分解をバンドパスフィルタで行う場合、そのバン ド内における被検体の分光特性を 1つの数値で近似できると仮定する。すなわち、 [数 18]
U = (h、 ,h2,h3y · ' · (18)
[0052] 色分解用のバンドパスが完全なバンドパスでなぐ他の帯域にも感度を持つ場合も 考慮して、この仮定が成立する場合、(15)式、(16)式における「W」を上記「Η」と考 えれば、結局(17)式と同様な行列が推定できる。
[0053] 次に、本発明に係る実施例 1における電子内視鏡装置の具体的な構成について、 図 3を参照して説明する。なお、以下に示す他の実施例でも同様の構成である。 図 3に示すように、電子内視鏡装置 100は、内視鏡 101と、内視鏡装置本体 105と 、表示装置としての表示モニタ 106とを有している。また、内視鏡 101は、被検体の 体内に挿入される挿入部 102と、挿入部 102の先端に設けられた先端部 103と、挿 入部 102の先端側とは反対側に設けられ、先端部 103の湾曲動作等を指示するた めのアングル操作部 104と力 主として構成されている。
内視鏡 101で取得された被検体の画像は、内視鏡装置本体 105にて所定の信号 処理がなされ、表示モニタ 106において、処理された画像が表示される。
[0054] 次に、図 4を参照して、内視鏡装置本体 105について詳しく説明する。なお、図 4は 、同時式の電子内視鏡装置 100のブロック図である。
図 4に示すように、内視鏡装置本体 105は、主に照明部としての光源部 41と、制御 部 42と、本体処理装置 43から構成されている。制御部 42及び本体処理装置 43は、 前記光源部 41及び Zまたは撮像部としての CDD21の動作を制御し、表示装置で ある表示モニタ 106へ撮像信号を出力する信号処理制御部を構成している。
なお、本実施例では、 1つのユニットである内視鏡装置本体 105内に光源部 41と画 像処理等を行う本体処理装置 43を有するものとして説明を行うが、これらの光源部 4 1と本体処理装置 43は、内視鏡装置本体 105とは別のユニットとして、取り外し可能 なように構成されて ヽても良 ヽ。
[0055] 光源部 41は、制御部 42および内視鏡 101に接続されており、制御部 42からの信 号に基づ 、て所定の光量で白色光 (完全な白色光でな!、場合も含む)の照射を行う 。また、光源部 41は、白色光源としてのランプ 15と、光量を調整するための光量制御 部としてのチョッパー 16と、チョッパー 16を駆動するためのチョッパー駆動部 17とを 有している。
[0056] チョッパー 16は、図 5に示すように、点 17aを中心とし、所定の半径 rの円盤状の構 造体に円周方向に所定の長さを有する切り欠き部が設けられた構成を備える。この 中心点 17aは、チョッパー駆動部 17に設けられた回転軸と接続されている。つまり、 チョッパー 16は、中心点 17aを中心に回転運動を行う。また、この切り欠き部は、所 定の半径毎に複数設けられている。同図においては、この切り欠き部は、半径 rOから 半径 raの間では、最大の長さ = 2 π Γ Χ Θ 0度 Ζ360度、幅 =r0— raである。また、同 様に、半径 raから半径 rbの間では、最大の長さ = 2 π Γ& Χ 2 0 1度 Z360度、幅 =ra — rb、半径 rbから半径 rcの間では、最大の長さ = 2 π Λ Χ 2 Θ 2度 Ζ360度、幅 =rb rcと!、う構成である(それぞれの半径は、 rO >ra >rb >rcとする)。
なお、チョッパー 16における切り欠き部の長さ、幅は一例であり、本実施例に限定 されるわけではない。
[0057] また、チョッパー 16は、この切り欠き部の略中央に半径方向に延伸する突起部 160 aを有する。なお、制御部 42は、この突起部 160aにより光が遮断された時にフレーム を切換えることにより、 1フレーム前と 1フレーム後に照射される光の間隔を最小限に し、被検体の動き等によるブレを最小限にするものである。
また、チョッパー駆動部 17は図 4における矢印で示されるように、ランプ 15に対する 方向に移動が可能な構成となって 、る。
[0058] つまり、制御部 42は、図 5に示されたチョッパー 16の回転中心 17aとランプからの 光束 (点線円で示されている)との距離 Rを変えることができる。例えば、図 5に示され た状態では、距離 Rが力なり小さいので、照明光量は小さい状態にある。距離 Rを大 きくする(チョッパー駆動部 17をランプ 15から遠ざける)ことで、光束が通過できる切り 欠き部が長くなるため、照射時間が長くなり、制御部 42は、照明光量を大きくすること ができる。
[0059] 上述のように、電子内視鏡装置では、新しく生成した分光画像が SZN比としては 不十分である可能性があることと、分光画像の生成に必要な RGB信号の 、ずれかの 信号が飽和している場合には正しい演算が行われたことにはならないので、照明光 量を制御する必要がある。この光量調節をチョッパー 16およびチョッパー駆動部 17 が担うことになる。
[0060] また、光源部 41にコネクタ 11を介して接続された内視鏡 101は、先端部 103に対 物レンズ 19及び CCD等の固体撮像素子 21 (以下、単に CCDと記載する)を備えて いる。 CCD21は、照明部を構成する光源部 41からの照射光に基づいて被検体であ る生体から反射される光を光電変換し、撮像信号を生成する撮像部を構成するもの である。本実施例における CCDは単板式(同時式電子内視鏡用に用いられる CCD )であり、原色型である。なお、図 6は CDDの撮像面に配置される色フィルタの配列を 示している。また、図 7は図 6の色フィルタにおける RGBそれぞれの分光感度特性を 示している。
[0061] また、図 4に示すように、挿入部 102は、光源部 41から照射された光を先端部 103 に導くライトガイド 14と、 CCDで得られた被検体の画像を本体処理装置 43に伝送す るための信号線と、処置を行うための鉗子チャネル 28等を備えている。なお、鉗子チ ャネル 28に鉗子を挿入するための鉗子口 29は、操作部 104近傍に設けられている [0062] また、本体処理装置 43は、光源部 41と同様、コネクタ 11を介して内視鏡 101に接 続される。本体処理装置 43は、 CCD21を駆動するための CCDドライブ回路 431を 備えている。また、本体処理装置 43は、通常画像を得るための信号回路系として輝 度信号処理系と色信号処理系を有する。
[0063] 輝度信号処理系は、 CCD21に接続され輪郭補正を行う輪郭補正部 432と、輪郭 補正部 432で補正されたデータから輝度信号を生成する輝度信号処理部 434を有 する。また、色信号処理系は、 CCD21に接続され、 CCD21で得られた信号のサン プリング等を行 、RGB信号を生成するサンプルホールド回路(SZH回路) 433a乃 至 433cと、 SZH回路 433a乃至 433cの出力に接続され、色信号の生成を行う色信 号処理部 435を有する。
[0064] そして、前記輝度信号処理系の出力と前記色信号処理系の出力から 1つの通常画 像を生成する通常画像生成部 437が設けられ、通常画像生成部 437から切換部 43
9を介して、表示モニタ 106に Y信号、 R— Y信号、 B—Y信号が送られる。
一方、分光画像を得るための信号回路系として、 SZH回路 433a乃至 433cの出 力 (RGB信号)が入力され、 RGB信号に対して所定のマトリックス演算を行うマトリック ス演算部 436が設けられている。マトリックス演算とは、カラー画像信号同士に加算処 理等を行い、また、上述のマトリックス算出方法 (あるいはその変形例)により求められ たマトリックスを乗算する処理を ヽぅ。
[0065] なお、本実施例では、このマトリックス演算の方法として、電子回路処理 (電子回路 を用いたノヽードウエアによる処理)を用いた方法について説明する力 S、後述の実施例 のように、数値データ処理 (プログラムを用いたソフトウェアによる処理)を用いた方法 であっても良い。また、実施するにあたっては、これらの方法の組み合わせとすること も可能である。
[0066] 図 8は、マトリックス演算部 436の回路図を示している。 RGB信号はそれぞれ抵抗 群 31a乃至 31cを介して、増幅器 32a乃至 32cに入力される。それぞれの抵抗群は、 RGB信号がそれぞれ接続される複数の抵抗を有しており、それぞれの抵抗の抵抗 値はマトリクス係数に応じた値となっている。即ち、それぞれの抵抗により RGB信号 の増幅率を変化させ、増幅器で加算 (減算でも良い)する構成となっている。それぞ れの増幅器 32a乃至 32cの出力は、マトリックス演算部 436の出力となる。つまり、こ のマトリックス演算部 436は、いわゆる重み付け加算処理を行っている。なお、ここで 用いられるそれぞれの抵抗における抵抗値を可変としても良 、。
[0067] マトリックス演算部 436の出力は、それぞれ積算部 438a乃至 438cに接続され、積 分演算が行われた後、それぞれの分光画像信号∑ F1乃至∑ F3に対して色調整部 4 40にて後述する色調整演算が行われ、分光画像信号∑ F1乃至∑ F3よりカラーチヤ ンネル Rch、 Gch、 Bchが生成される。生成されたカラーチャンネル Rch、 Gch、 Bchは 切換部 439を介して表示モニタ 106に送られる。なお、色調整部 440の構成につい ては、後述する。
[0068] なお、切換部 439は、通常画像と分光画像の切換えを行うものであり、また分光画 像同士の切換表示も可能である。つまり操作者は、通常画像、 Rchによる分光チャン ネル画像、 Gchによる分光チャンネル画像、 Bchによる分光チャンネル画像力 選択 的に表示モニタ 106に表示させることができる。また、いずれか 2つ以上の画像を同 時に表示モニタ 106に表示可能な構成としても良い。特に、通常画像と分光チャンネ ル画像を同時に表示可能とした場合には、一般的に観察を行っている通常画像と分 光チャンネル画像を簡単に対比することができ、それぞれの特徴 (通常画像の特徴 は、色度合いが通常の肉眼の観察に近くて観察しやすい。分光チャンネル画像の特 徴は、通常画像では観察できない所定の血管等を観察することができる。)を加味し た上で、観察することができ診断上非常に有用である。
[0069] 次に、本実施の形態における電子内視鏡装置 100の動作について図 4を参照して 詳しく説明する。
なお、以下においては、まず通常画像を観察する際の動作について説明し、後に 分光画像を観察する際の動作について説明する。
[0070] まず、光源部 41の動作を説明する。制御部 42からの制御信号に基づいて、チヨッ パー駆動部 17は、所定の位置に設定され、チョッパー 16を回転させる。ランプ 15か らの光束は、チョッパー 16の切り欠き部を通過し、集光レンズにより、内視鏡 101と光 源部 41の接続部にあるコネクタ 11内に設けられた光ファイババンドルであるライトガ イド 14の入射端に、集光される。
[0071] 集光された光束は、ライトガイド 14を通り、先端部 103に設けられた照明光学系か ら被検体の体内に照射される。照射された光束は、被検体内で反射し、対物レンズ 1 9を介して、 CCD21において図 6で示した色フィルタ別に信号が収集される。
収集された信号は、上記の輝度信号処理系と色信号処理系に並列に入力される。 輝度信号系の輪郭補正部 432には、色フィルタ別に収集された信号が画素ごとにカロ 算されて入力され、輪郭補正後、輝度信号処理部 434に供給される。輝度信号処理 部 434では、輝度信号が生成され、通常画像生成部 437に入力される。
[0072] また一方で、 CCD21で収集された信号は、色フィルタ毎に SZH回路 433a乃至 4 33cに入力され、それぞれ R'G'B信号が生成される。さらに R'G'B信号は、色信号 処理部 435にて色信号が生成され、通常画像生成部 437において、前記輝度信号 および色信号から Y信号、 R—Y信号、 B—Y信号が生成され、切換部 439を介して 、表示モニタ 106に被検体の通常画像が表示される。
[0073] 次に、分光画像を観察する際の動作について説明する。なお、通常画像の観察と 同様の動作を行うものに関しては、ここでは省略する。
操作者は、内視鏡装置本体 105に設けられているキーボードあるいは内視鏡 101 の操作部 104に設けられているスィッチ等を操作することにより、通常画像カゝら分光 画像を観察する指示を行う。この時、制御部 42は、光源部 41および本体処理装置 4 3の制御状態を変更する。
具体的には、必要に応じて、光源部 41から照射される光量を変更する。上述のよう に、 CCD21からの出力が飽和することは望ましくないため、分光画像の観察時は通 常画像の観察時に比して照明光量を小さくする。また、制御部 42は、 CCDからの出 力信号が飽和しないように光量を制御するとともに、飽和しない範囲にて照明光量を 変ィ匕させることちでさる。
[0074] また、制御部 42による本体処理装置 43への制御変更としては、切換部 439から出 力される信号を通常画像生成部 437の出力から色調整部 440の出力に切換える。ま た、 SZH回路 433a乃至 433cの出力は、マトリックス演算部 436で増幅 ·加算処理 が行われ、それぞれの帯域に応じて積算部 438a乃至 438cに出力され、積算処理 後に色調整部 440に出力される。チョッパー 16で、照明光量を小さくした場合でも、 積算部 438a乃至 438cにて、保存'積算することで、図 2に示したように、信号強度を 上げることができ、また、 SZN比が向上した分光画像を得ることができる。
[0075] 以下、本実施例における具体的なマトリックス演算部 436のマトリックス処理につい て記載する。本実施例では、図 7に実線で示された RGB色フィルタの分光感度特性 から、同図中に示された理想的な狭帯域バンドパスフィルタ F1乃至 F3 (ここではそれ ^tK ^ ^Fl: 590nm~620nm, F2 : 520nm〜560nm、 F3: 400nm〜440n mとした)に近 、バンドパスフィルタ(以下擬似バンドパスフィルタと呼ぶ)を作成しょう とした場合、前述の(1)式から(5)式に示した内容により、以下のマトリックスが最適と なる。
[数 19]
( 0.625 -3.907 —0.05、
A = -3.097 0.631 -1.661 . -(19)
0.036 -5.146 0.528 )
[0076] 更に、(6)式及び(7)式に示した内容により補正を行うと、以下の補正係数を得る [数 20]
Figure imgf000021_0001
[0077] なお、(6)式に示す光源のスペクトル S ( )は図 9に示すものであり、(7)式に示す 注目する生体の反射スペクトル H ( λ )は図 10に示すものである、 t 、う先見情報を 使用している。
従って、マトリックス演算部 436にて行われる処理は、数学的には以下のマトリックス 演算と同値となる。 、
A = KA
Figure imgf000022_0001
( 0.625 -3.907 -0.050、
- 3.314 0.675 -1.777 (21) 0.057 -8.079 0.829 /
[0078] このマトリックス演算を行うことにより擬似フィルタ特性(図 7にはフィルタ擬似 Fl乃至 F3の特性として示されている)が得られる。即ち、上述のマトリックス処理は、カラー画 像信号に、上述のようにして予め生成された擬似バンドパスフィルタ (即ちマトリックス )を用いて、分光画像信号を作成するものである。
[0079] この擬似フィルタ特性を用いて生成された内視鏡画像の一例を、以下に示す。
図 11に示すように、体腔内組織 45は、例えば深さ方向に異なった血管等の吸収体 分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管 46が多く分布し、ま たこの層より深 、中層には毛細血管の他に毛細血管より太 、血管 47が分布し、さら に深層にはさらに太 、血管 48が分布するようになる。
[0080] 一方、体腔内組織 45に対する光の深さ方向の深達度は、光の波長に依存しており 、可視域を含む照明光は、図 12に示すように、青 (B)色のような波長が短い光の場 合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せず、 そこまでの深さの範囲で吸収、散乱を受け、表面力 出た光が観測される。また、青( B)色光より波長が長い、緑 (G)色光の場合、青 (B)色光が深達する範囲よりさらに 深い所まで深達し、その範囲で吸収、散乱を受け、表面力 出た光が観測される。さ らにまた、緑 (G)色光より波長が長い、赤 (R)色光は、さらに深い範囲まで光が到達 する。
[0081] 体腔内組織 51の通常観察時における RGB光は、図 13に示すように、各波長域が オーバーラップして 、るために、
(1) B帯域光により CCD21で撮像される撮像信号には、図 14に示すような浅層での 組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、 (2)また、 G帯域光により CCD21で撮像される撮像信号には、図 15に示すような中 層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(3)さらに R帯域光により CCD21で撮像される撮像信号には、図 16に示すような深 層での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像され る。
[0082] そして内視鏡装置本体 105により、これら RGB撮像信号を信号処理することで、内 視鏡画像としては所望ある 、は自然な色再現の内視鏡画像を得ることが可能となる。
[0083] 上述のマトリックス演算部 436におけるマトリックス処理は、カラー画像信号に、上述 のようにして予め生成された擬似バンドパスフィルタ(マトリックス)を用いて、分光画 像信号を作成するものである。例えば図 17に示すような所望の深層組織情報が抽出 可能な離散的で狭帯域な分光特性の擬似バンドパスフィルタ F1乃至 F3を用いて、 分光画像信号 F1乃至 F3が得られる。擬似バンドパスフィルタ F1乃至 F3は、図 17〖こ 示すように、各波長域がオーバーラップして 、な 、ために、
(4)擬似バンドパスフィルタ F3による分光画像信号 F3には、図 18に示すような浅層 での組織情報を有するバンド画像が撮像され、また、
(5)擬似バンドパスフィルタ F2による分光画像信号 F2には、図 19に示すような中層 での組織情報を有するバンド画像が撮像され、さらに
(6)擬似バンドパスフィルタ F1による分光画像信号 F1には、図 20に示すような深層 での組織情報を有するバンド画像が撮像される。
[0084] つぎに、このようにして得られた分光画像信号 F1乃至 F3に対して色調整部 440は 、最も単純な色変換の例として、分光画像信号 F1をカラーチャンネル Rchに、分光画 像信号 F2をカラーチャンネル Gchに、分光画像信号 F3をカラーチャンネル Bchに、 それぞれ割り付け、切換部 439を介して、表示モニタ 106に出力する。
色調整部 440は、図 21に示すように、 3 X 3マトリックス回路 61と、 3 X 3マトリックス 回路 61の前後に設けた 3糸且の LUT62a, 62b, 62c, 63a, 63b, 63cと、 LUT62a, 62b, 62c, 63a, 63b, 63cのテーブルデータや 3 X 3マトリックス回路 61の係数を変 更する係数変更回路 64と、を備えた色変換処理回路 440aで構成されて ヽる。
色変換処理回路 440aに入力する分光画像信号 F1乃至 F3は、各バンドデータ毎 に LUT62a, 62b, 62cにより逆 γ補正や、非線形なコントラスト変換処理等が行わ れる。
[0085] 次に、 3 X 3マトリックス回路 61にて、色変換が行われた後、後段の LUT63a, 63b , 63cにて γ補正や、適当な階調変換処理が行われる。
これら LUT62a, 62b, 62c, 63a, 63b, 63cのテーブルデータや 3 X 3マ卜!;ックス 回路 61の係数を、係数変更回路 64で変更することができる。
係数変更回路 64による変更は、内視鏡 101の操作部等に設けられた処理変換ス イッチ(図示せず)からの制御信号に基づ 、て行われる。
これら制御信号を受けた係数変更回路 64は、予め色調整部 440内に記憶されて いる係数データ力 適切なデータを呼び出し、このデータで、現在の回路係数を書き 換える。
[0086] 次に具体的な色変換処理内容について述べる。式(22)に色変換式の一例を示す
[数 22]
Figure imgf000024_0001
[0087] この式(22)による処理は、分光チャンネル画像 Rch、 Gch、 Bchに分光画像信号 Fl 乃至 F3を波長の短 、順に割り当てる色変換である。
[0088] これらカラーチャンネル Rch、 Gch、 Bchによるカラー画像で観察した場合、例えば 図 22に示すような画像となる。太い血管が深い位置にあり、分光画像信号 F3が反映 され、カラーとしては青色系のパターンとして示される。中層付近にある血管網は分 光画像信号 F2が強く反映されるので、カラー画像としては赤色系のパターンとして示 される。血管網の内、粘膜表面付近に存在するものは黄色系のパターンとして表現さ れる。
[0089] とくに、この粘膜表面付近のパターンの変化は、早期病変の発見鑑別診断にとって 重要である。しかし、黄色系のパターンは、背景粘膜とのコントラストが弱ぐ視認性が 低いという傾向がある。 そこで、この粘膜表面付近のパターンをより明瞭に再現するために、式 (23)に示す 変換が有効となる。
[数 23]
( (1 0 o V
0 G ω F, ■(23)
\ Dch ) 、0 0 1八^ノ
この式(23)による処理は、分光画像信号 F1をある一定の比率で分光画像信号 F2 に混合し生成されたデータを新たに分光 Gチャンネル画像 Gchとする変換例であり、 血管網などの吸収散乱体が深さ位置で異なることをより明確ィ匕することが可能となる
[0091] したがって、係数変更回路 64を通じてマトリックス係数を調整することで、ユーザは 表示効果を調整することが可能となる。動作としては、内視鏡 101の操作部に設けら れたモード切替スィッチ(図示せず)に連動して色変換処理回路 440a内では、スル 一動作から、マトリックス係数がデフォルト値に設定される。
[0092] ここでいうスルー動作とは、 3 X 3マトリックス回路 61には単位行列、 LUT62a, 62b , 62c, 63a, 63b, 63cは非変換テーブルを搭載した状態をいう。デフォルト値とは、 マトリックス係数 co G, ω Βに、例えば co G = 0. 2、 ω Β = 0. 8という設定値を与えると いうことである。
[0093] そして、ユーザは内視鏡 101の操作部等を操作して、この係数を co G = 0. 4、 ω Β
=0. 6などと!/ヽうように調整を行なう。 LUT62a, 62b, 62c, 63a, 63b, 63cには、 必要に応じて逆 γ補正テーブル、 y補正テーブルが適用される。
色変換処理回路 440aは 3 X 3マトリックス回路 61からなるマトリックス演算器により 色変換するとした力 これに限らず、数値演算プロセッサ (CPU)や LUTで色変換処 理手段を構成してもよい。
[0094] 例えば、上記実施例では、 3 X 3マトリックス回路 61を中心とした構成により色変換 処理回路 440aを示したが、図 23に示すように、色変換処理回路 440aを各バンドに 対応した 3次元 LUT65で置き換えても同様の効果を得ることができる。この場合、係 数変更回路 64は、内視鏡 101の操作部等に設けられた処理変換スィッチ(図示せ ず)からの制御信号に基づいてテーブルの内容を変更する動作を行なう。
[0095] なお、擬似バンドパスフィルタ F1乃至 F3のフィルタ特性は可視光域に限定されず、 擬似バンドパスフィルタ F1乃至 F3の第 1の変形例として、フィルタ特性を例えば図 24 に示すような離散的な分光特性の狭帯域としても良い。この第 1の変形例のフィルタ 特性は、生体表面の凹凸と極深層付近の吸収体を観察するために、 F3を近紫外域 に設定し、 F1を近赤外域に設定することで、通常観察では得られない画像情報を得 るのに好適である。
[0096] また、擬似バンドパスフィルタ F1乃至 F3の第 2の変形例として、図 25に示すように 擬似バンドパスフィルタ F2の代わりに、フィルタ特性が短波長域で近接する 2つの擬 似バンドパスフィルタ F3a F3bとしても良い。これは、この付近の波長帯域が生体の 極表層付近までしか深達しないことを利用して、吸収特性より散乱特性の微妙な差を 映像ィ匕するのに好適である。医学上は、早期ガンなど粘膜表層付近の細胞配列の 乱れを伴う疾患の識別診断に利用することが想定される。
[0097] さらに、擬似バンドパスフィルタ F1乃至 F3の第 3の変形例として、図 26に示すように 所望の層組織情報が抽出可能な離散的な分光特性の 2バンドの狭帯域のフィルタ 特性の 2つの擬似バンドパスフィルタ F2 F3をマトリックス演算部 436で生成するよう にしてもよい。
[0098] 図 26の擬似バンドパスフィルタ F2 F3の場合、色調整部 440は、狭帯域の分光画 像観察時での画像のカラー化にぉ 、て、分光チャンネル画像 Rch 分光画像信号 F 2、分光チャンネル画像 Gch—分光画像信号 F3、分光チャンネル画像 Bch—分光画 像信号 F3として、 RGB3チャンネルのカラー画像を生成する。
すなわち、分光画像信号 F2及び分光画像信号 F3に対して、色調整部 440は以下 の式(24)により RGB3チャンネルのカラー画像 (Rch Gch Bch)を生成する。
[数 24]
(24)
Figure imgf000026_0001
[0099] 例えば、 hll = l hl2 = 0 h21 = 0 h22 = l. 2 h31 = 0 h32 = 0. 8とする, 例えば分光画像 F3は中心波長が主に 415nmに相当する画像、分光画像 F2は中 心波長が主に 540nmに相当する画像である。
[0100] また、例えば、分光画像 F3は中心波長が主に 415nmに相当する画像、分光画像 F2は中心波長が主に 540nmに相当する画像、分光画像 F1は中心波長が主に 600 nmに相当する画像として演算されていても、色調整部 440で F1画像を使用せずに 、 F2、 F3画像でカラー画像を構成することもできる。この場合、式(24)の代りに以下 の式(24' )のマトリックス演算を適用すればよ!、。
[0101] Rch=hllXFl+hl2XF2+hl3XF3
Gch=h21XFl+h22XF2+h23XF3
Bch=h31XFl+h32XF2+h33XF3 ---(24')
上記式(24,)のマトリックス演算で、 hll、 hl3、 h21、 h22、 h31、 h32の係数を 0とし て、他係数を所定の数値に設定すればよい。
[0102] このように本実施例によれば、通常の電子内視鏡画像 (通常画像)を生成するため のカラー画像信号を利用して、擬似的な狭帯域フィルタを生成することにより、分光 画像用の光学的波長狭帯域バンドパスフィルタを用いずに、血管パターン等の所望 の深部の組織情報を有する分光画像を得ることができると共に、色調整部 440の色 変換処理回路 440aのパラメータを分光画像に応じて設定することで、狭帯域の分光 画像観察時の深達度情報という特徴を生かした表現方法を実現することが可能とな り、生体組織の組織表面近くの所望の深部の組織情報を効果的に分離して視認す ることでさる。
[0103] また、特に、色調整部 440において、
(1) 2バンドの分光画像の場合、例えば 415nmに相当する画像をカラーチャンネル Gch、 Bchに、例えば 540nmに相当する画像をカラーチャンネル Rchに割り付けた場 あるいは、
(2) 3バンドの分光画像の場合、例えば 415nmに相当する画像をカラーチャンネル Bchに、例えば 445nmに相当する画像をカラーチャンネル Gchに、例えば 500nmに 相当する画像をカラーチャンネル Rchに割り付けた場合、次の画像効果が得られる。 [0104] ·生体組織の最表層の上皮、あるいは粘膜が低彩度の色で再現され、最表層の毛細 血管が低輝度、つまり暗線として再現されることで、最表層の毛細血管の高い視認性 が得られる。
•同時に、毛細血管より深い位置の血管が色相方向で青方向へ回転して再現される ため、最表層の毛細血管との識別がより容易になる。
また、前記チャンネルの割り当て方法によれば、大腸内視鏡検査において通常観 察下では黄色調で観測される残渣および胆汁が赤色調で観測される。
[0105] 図 27はマトリックス演算部の他の構成例を示すブロック図である。
マトリックス演算部 436以外の構成は、図 4と同様である。図 27に示すマトリックス演 算部 436の構成力 図 8に示したマトリックス演算部 436の構成と異なるのみである。 異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
[0106] 図 8では、マトリックス演算を電子回路による、いわゆるハードウェア処理により行うこ ととしたが、図 27では、このマトリックス演算を数値データ処理 (プログラムを用いたソ フトウエアによる処理)により行う。
図 27に示すマトリックス演算部 436は、 RGBそれぞれのカラー画像信号を記憶し ておく画像メモリ 50を有する。また、式(21)に示されたマトリックス「A'」のそれぞれ の値が数値データとして記憶されている係数レジスタ 51を有する。
[0107] 係数レジスタ 51と画像メモリ 50は、乗算器 53a乃至 53iに接続され、さらに乗算器 5
3a、 53d、 53gは、乗算器 54aに接続され、乗算器 54aの出力が、図 4における積算 部 438aと接続される。また、乗算器 53b、 53e、 53hは、乗算器 54bに接続され、そ の出力は積算部 438bと接続される。また、乗算器 53c、 53f、 53iは、乗算器 54cに 接続され、その出力が積算部 438cと接続される。
[0108] 本実施例の動作としては、入力された RGB画像データは、一度画像メモリ 50に記 憶される。次に、所定の記憶装置(図示しない)に保存されている演算プログラムによ り、係数レジスタ 51からマトリックス「A,」の各係数が画像メモリ 50に記憶された RGB 画像データと、乗算器で乗算される。
なお、図 27には、 R信号と各マトリックス係数が乗算器 53a乃至 53cで乗算される例 が示されている。また、同図のように、 G信号と各マトリックス係数が乗算器 53d乃至 5 3fで乗算され、 B信号と各マトリックス係数が乗算器 53g乃至 53iで乗算される。マトリ ックス係数とそれぞれ乗算されたデータは、乗算器 53a、 53d, 53gの出力が、乗算 器 54aで、乗算器 53b、 53e、 53hの出力が、乗算器 54bで、また、乗算器 53c、 53f 、 53iの出力は、乗算器 54cでそれぞれ乗算される。乗算器 54aの出力は、積算部 4 38aに送られる。また、乗算器 54b、乗算器 54cの出力は、それぞれ積算部 438b、 4 38cに送られる。
[0109] 図 27の構成例によると、図 8の構成例の場合と同様、血管パターンが鮮明に表示さ れる分光画像を得ることができる。
また、図 27の構成例では、図 8の構成例のようにハードウェアによってマトリックス処 理を行うのではなぐソフトウェアを用いて行うため、例えば、各マトリックス係数の変 更などに迅速に対応することができる。
[0110] また、マトリックス係数を結果の値のみ、即ち、マトリックス「A,」としてではなぐ S ( λ
)、H ( )、R( )、G ( )、B ( ^Uに記憶しておき、必要に応じて演算することによ りマトリックス「A'」を求めて使用するとした場合には、この中の 1つの要素のみを変更 することができ、利便性が向上する。例えば、照明光の分光特性 S ( λ )のみの変更 等が可能である。
[0111] [実施例 2]
図 28は本発明の実施例 2に係る電子内視鏡装置の構成を示すブロック図である。 実施例 2は、実施例 1とほとんど同様であるので、実施例 1と異なる点のみ説明し、 同一の構成要素には同一符号を付して説明は省略する。
本実施例は、実施例 1とは、照明光量の制御を行う光源部 41が異なるものである。 本実施例では、光源部 41から照射される光量の制御をチョッパーではなぐランプ 1
5の電流制御により行う。具体的には、図 28に示されたランプ 15に光量制御部として の電流制御部 18が設けられている。
[0112] 本実施例の動作としては、制御部 42により、 RGBのいずれのカラー画像信号も飽 和状態とならないように、ランプ 15に流れる電流の制御を行う。これにより、ランプ 15 は発光のために使用される電流が制御されるため、その光量は、その電流の大きさ に応じて変化する。 なお、その他の動作に関しては、実施例 1と同様であるため、ここでは省略する。
[0113] 本実施例によると、実施例 1と同様、血管パターンが鮮明に表示される分光画像を 得ることができる。また、本実施の形態では、実施例 1のようにチョッパーを用いた光 量制御方法に比して、制御方法が簡単であると 、う利点がある。
[0114] [実施例 3]
図 4の生体観測装置では、分光画像取得時に、光を所定の時間間隔で遮断し光量 制御する図 5のチョッパー 16を用いて、光量を少なくするように制御している。すなわ ち、適切なダイナミックレンジで R, G, B全ての色分解信号が撮影されるように光源か らの光量を少なくするようにして 、る。
本発明の実施例 3では、図 4の生体観測装置におけるチョッパー 16の代替として、 絞りパネ、シャッターなどの可動遮光部材や、メッシュターレット、 NDフィルタなどの 遮光フィルタを使用した例を説明する。
[0115] 図 29は絞りパネ 66の例を示している。絞りパネ 66は、中心軸 67を中心に回転し、 先端部にはある大きさに集光した光束 68を遮断する遮断部 69と、出射光量を制御 する切り欠き 70を有する絞り羽根部 71により、光を所定の時間間隔で遮断し光量制 御する。
この絞りパネ 66は、光源部 41の出射光量を制御する調光の絞りパネと兼用としても 良いし、別途遮断する機構としてもう一つ設けても良い。
[0116] 図 30はシャッター 66Aの例を示している。シャッター 66Aは、絞りパネ 66の例と同 様な形をして 、るが、遮断部 69に絞りパネ 66の切り欠き 70がな 、構造となって 、る
。シャッター 66Aの動作は、全開か全閉かの 2つの動作状態を制御することにより、 光を所定の時間間隔で遮断し光量制御する。
図 31はメッシュターレット 73の例を示して 、る。回転板 74に開けた孔に格子間隔の 大き 、メッシュ 75やそれより格子間隔の小さ 、メッシュ 76が溶接などで取り付けられ
、回転中心軸 77を中心に回転する。この時、メッシュの長さ、メッシュの粗さ、位置等 を変え、光を所定の時間間隔で遮断し光量制御する。
[0117] [実施例 4]
図 32及び図 33は本発明の実施例 4に係わり、図 32は電子内視鏡装置の構成を示 すブロック図、図 33は図 32の CCDの電荷蓄積時間を示す図である。
実施例 4は、実施例 1とほとんど同様であるので、実施例 1と異なる点のみ説明し、 同一の構成要素には同一符号をつけ説明は省略する。
本実施例は、主として実施例 1とは光源部 41および CCD21が異なるものである。 実施例 1では、 CCD21に図 6で示したカラーフィルタが設けられ、このカラーフィルタ によってカラー信号を生成するいわゆる同時式であったのに対し、本実施例 4では、 照明光を 1フレームの期間に RGBの順に照明してカラー信号を生成するいわゆる面 順次式を用いる。
[0118] 図 32に示すように、本実施例における光源部 41は、ランプ 15の前面に調光を行う 絞り 25が設けられ、絞り 25のさらに前面には、 R, G, Bの面順次光を出射するため に 1フレームで例えば 1回転する RGB回転フィルタ 23が設けられている。また、絞り 2 5は、光量制御部としての絞り制御部 24に接続されており、絞り制御部 24からの制御 信号に応じて、ランプ 15から照射された光束のうち透過させる光束を制限し、光量を 変化させることで、調光可能としている。また、 RGB回転フィルタ 23は、 RGB回転フィ ルタ制御部 26に接続され、所定の回転速度で回転する。
[0119] 本実施例における光源部の動作としては、ランプ 15から出力された光束力 絞り 25 で所定の光量に制限され、絞り 25を透過した光束は、 RGB回転フィルタ 23を介する ことによって、所定の時間毎に R'G'Bそれぞれの照明光として、光源部から出力さ れる。また、それぞれの照明光は、被検体内で反射し、 CCD21で受光される。 CCD 21で得られた信号は、照射される時間に応じて、内視鏡装置本体 105に設けられた 切換部(図示しない)で振り分けられ、 SZH回路 433a乃至 433cにそれぞれ入力さ れる。つまり、光源部 41から Rのフィルタを介した照明光が照射された場合には、 CC D21で得られた信号は、 SZH回路 433aに入力されることになる。なお、その他の動 作については実施例 1と同様であるため、ここでは省略する。
[0120] 本実施例 4によると、実施例 1と同様、血管パターンが鮮明に表示される分光画像 を得ることができる。また、本実施例 4では、実施例 1と異なり、いわゆる面順次方式に よるメリットを享受することができる。なお、このメリットとは、例えば後述する図 34の変 形例のようなものが挙げられる。 [0121] また、上述の実施例 1では、 RGBカラー信号の飽和を避けるために、照明光量 (光 源部からの光量)を制御.調節している。これに対し、本実施例 4では、 CCD21の電 子シャッターを調整する方法を採用している。 CCD21では、一定時間内に入射した 光強度に比例した電荷が蓄積し、その電荷量を信号としている。この蓄積時間に相 当するのが、電子シャッターと呼ばれるものである。この電子シャッターを CCDドライ ブ回路 431にて調節することで、電荷の蓄積量即ち信号量を調整することができる。 図 33に示すように、電荷蓄積時間を 1フレーム毎に順次変化させた状態での RGB力 ラー画像を得ることで、同様の分光画像を得ることができる。即ち、前述のそれぞれ の実施例において、絞り 25による照明光量の制御は通常画像を得るために用い、分 光画像を得る際には、電子シャッターを変化させることにより、 R, G, Bカラー信号の 飽和を避けることが可能である。
[0122] 図 34は本発明の実施例 4の他の例である CCDの電荷蓄積時間を示す図である。
本例は、図 33の例と同様に、面順次方式を利用し、かつ、この面順次方式の利点を 生力したものである。すなわち、図 33の例での電子シャッター制御による電荷蓄積時 間に R, G, B毎に重み付けを加えることで、分光画像データの生成を簡素化すること 力 Sできるものである。図 34の例では、 CCD21の電荷蓄積時間を 1フレーム期間内に R, G, B毎に変化させることができる CCDドライブ回路 431を有していることになる。 その他は、図 33の例と同様である。
[0123] 図 34の例の動作としては、 RGB回転フィルタ 23を介してそれぞれの照明光が照射 された場合に、 CCD21における電子シャッターによる電荷蓄積時間を変化させる。 ここで、照明光が R, G, Bのそれぞれの場合における CCD21の電荷蓄積時間を tdr 、 tdg、 tdb (なお同図では Bのカラー画像信号は蓄積時間を設けていないため tdbは 省略されている)とする。例えば、(21)式にて示されたマトリックス処理を行う場合の F 3擬似フィルタ画像は、通常内視鏡にて得られる RGB画像から、
(数 25)
F3= -0. 050R- 1. 777G + 0. 829B - -- (25)
の演算を行うので、図 33での RGB別の電子シャッター制御による電荷蓄積時間を (数 26) tdr:tdg:tdb = 0. 050 : 1. 777 : 0. 829 - -- (26)
となるように設定すれば良い。また、マトリックス演算部では、単に Rと G成分のみ反転 させた信号と B成分を加算する。これにより、実施例 1乃至実施例 3と同様の分光画 像を得ることができる。
[0124] 図 33及び図 34の実施例 4によると、血管パターンが鮮明に表示される分光画像を 得ることができる。また、図 34の例では、カラー信号の作成に面順次方式を利用して おり、さらに電子シャッターを用いてカラー信号毎に電荷蓄積時間を異ならせること ができるため、これにより、マトリックス演算部においては、単に加算、差分処理を行う だけでよぐ処理を簡略ィ匕することが可能である。すなわち、電子シャッター制御でマ トリタス演算相当の動作を行え、処理を簡略ィ匕することができる。
[0125] なお、実施例 1乃至 3の光量制御と実施例 4 (図 33又は図 34の例)の電子シャツタ 一(電荷蓄積時間)の制御とを同時に行うように構成できることは勿論である。また、 前述したように、通常観察画像はチョッパー等による照明光量の制御で行い、分光 観察画像を得る際には、電子シャッターによる制御を行うようにしてもよいことは勿論 である。
[0126] 次に、実施例 5乃至実施例 7として、通常画像の撮像信号及び Zまたは分光画像 の分光信号の信号レベルを増幅させる信号増幅部及びその増幅制御について説明 する。
[実施例 5]
本発明の実施例 5の生体観測装置の構成は、図 4,図 28又は図 32が適用される。 そして、それらの構成における AGC (オートゲインコントロール)は、通常画像観察時 には、図 4,図 28又は図 32における輝度信号処理部 434及び色信号処理部 435そ れぞれの信号増幅部である AGC回路(図示略)にて行われる。分光画像観察時で の AGCは、図 4,図 28又は図 32におけるマトリックス演算部 436内の信号増幅部で ある AGC回路 (例えば図 8の増幅器 32a乃至 32cを可変増幅器としたもの)にて行わ れる。
[0127] そして、通常画像観察時と分光画像観察時とで、増幅動作の制御、即ち AGCの制 御を変化させる。 AGCの制御とは、増幅機能の増幅レベル、増幅機能の動作速度( 追従速度)、或いは、増幅機能の動作 Z非動作 (オン Zオフと言ってもよい)のことで ある。
増幅機能の動作 Z非動作 (オン Zオフ)については、通常画像観察時には、 AGC を動作させな 、場合が多 、。これは通常光での観察では光量が十分あるためである
。一方、分光画像観察時には、光量が不足するので AGCを動作させるようにする。
[0128] 増幅機能の動作速度 (追従速度)については、例えば、カメラと被写体となる情景 が離れていくと、徐々に光量が少なくなつて暗くなつていく。最初は調光機能が働き、 暗くなつたところで光量を上げようとするが、調光動作が追従できない。追従できなく なったところで、 AGCが動作する。その AGC動作のスピードが重要で、追従速度が 速すぎると、暗くなつたときにノイズが出て困る。速すぎず遅すぎない適宜なスピード が重要である。通常画像観察時は AGC動作はかなりゆっくりでもよいが、分光画像 観察時は直ぐに暗くなるので AGC動作は速い目に追従させてやる必要がある。これ により、表示出力される信号の画質を改善することができる。
[0129] [実施例 6]
本発明の実施例 6の生体観測装置の構成は、図 4,図 28又は図 32が適用される。 そして、それらの構成における AGC (オートゲインコントロール)は、通常画像観察時 には、図 4,図 28又は図 32における輝度信号処理部 434及び色信号処理部 435そ れぞれの信号増幅部である AGC回路(図示略)にて行われる。分光画像観察時で の AGCは、図 4,図 28又は図 32におけるマトリックス演算部 436内の信号増幅部で ある AGC回路 (例えば図 8の増幅器 32a乃至 32cを可変増幅器としたもの)にて行わ れる。
[0130] 本実施例 6では、信号増幅部である AGC回路は、チョッパー 16、ランプ電流制御 部 18、或いは、絞り制御部 24等の光量制御部と連動して動作するよう制御される。 前記連動動作の制御は、例えば、光量制御部おいて出射光量が最大となった後に はじめて、信号増幅部である AGC回路が機能するよう動作させる。すなわち、光量 制御部が最大光量の制御とされて (例えば調光羽が開ききつて)、光量が最大になつ ても画面が暗いときにはじめて AGCを機能させる制御を行う。これにより、光量制御 の範囲を広くすることができる。 [0131] [実施例 7]
本発明の実施例 7の生体観測装置の構成は、図 4,図 28又は図 32が適用される。 そして、それらの構成における AGC (オートゲインコントロール)は、通常画像観察時 には、図 4,図 28又は図 32における輝度信号処理部 434及び色信号処理部 435そ れぞれの信号増幅部である AGC回路(図示略)にて行われる。分光画像観察時で の AGCは、図 4,図 28又は図 32におけるマトリックス演算部 436内の信号増幅部で ある AGC回路 (例えば図 8の増幅器 32a乃至 32cを可変増幅器としたもの)にて行わ れる。
[0132] 通常画像と分光画像を同時に表示する場合 (RGBから分光画像は推定されるので 同時表示も可能である)、 CCD飽和を考えて、光量は減光されている場合がある。例 えば、通常画像は CCDの飽和を抑えるために光量を落としていることがある。この場 合、通常画像は当然暗くなつている。一方、分光画像については、細部を観察できる ように適切なダイナミックレンジ内で調整される。従って、通常画像と分光画像を同時 に表示する場合には、そのままだと、通常画像が暗いままになるので、通常画像の明 るさを同時表示用に調整して上げて出力する。画像出力の増幅は、信号増幅部であ る AGC回路で電気的にゲインを上げることによって行う。これにより、同時表示の際 の画質を改善することができる。
[0133] 次に、実施例 8乃至実施例 11を参照して画質改善について説明する。
[実施例 8]
本発明の実施例 8の生体観測装置の構成は、図 35が適用される。本実施例 8は、 広帯域輝度信号を分光画像の輝度成分に重み付け加算し、明るさと SZN比の向上 を図るものである。
[0134] 図 35において、電子内視鏡装置 100は、内視鏡 101と、内視鏡装置本体 105と、 表示モニタ 106とを有している。内視鏡装置本体 105は、主に光源部 41と、制御部 4 2と、本体処理装置 43から構成されている。本体処理装置 43には、 CCD21を駆動 するための CCDドライブ回路 431が設けられ、通常画像を得るための信号回路系と 、分光画像を得るための信号回路系を有する。
[0135] 通常画像を得るための信号回路系は、 CCD21で得られた信号のサンプリング等を 行!ヽ RGB信号を生成する SZH回路 433a乃至 433cと、 SZH回路 433a乃至 433c の出力に接続され、色信号の生成を行う色信号処理部 435とを有する。
[0136] 一方、分光画像を得るための信号回路系として、 SZH回路 433a乃至 433cの出 力にマトリックス演算部 436が設けられ、 RGB信号に対して所定のマトリックス演算が 行われる。
[0137] 色信号処理部 435の出力とマトリックス演算部 436の出力とは、切換部 450を介し てホワイトバランス処理 (以下 WB)回路 451、 γ補正回路 452、及び色変換回路 (1)4 53に供給し、 Υ信号、 R— Υ信号、 Β— Υ信号を生成し、さらに後述の強調された輝 度信号 YEH、 R— Υ信号、 Β— Υ信号を生成して、色変換回路 (2)455に供給し、 R, G, Β出力としてを表示モニタ 106に送られる。
[0138] ところで、光学フィルタを具備せずに分光画像観察 (ΝΒΙ観察)を実施する際には、 本体処理装置 (プロセッサ) 43内部の処理系にて、通常観察画像とは別に、個別に 分光画像を生成するマトリックス演算部 436を要する。し力しながら、このような構成 にて通常観察画像と分光画像を個別に生成する構成だと、ホワイトバランス処理 (W Β)や γ補正、強調回路なども個別に 2系統に持つ必要があり、回路規模が増大して しまう。
[0139] 又、明るさを向上させる為に電気的なゲインアップを実施すると、分光画像における SZN比が劣化してしまう為、複数枚の画像を撮像して積算して信号成分を大きくし S ΖΝ比を向上させる方法 (例えば日本国特開 2003— 93336号公報における積算部 438a〜438cがこれに相当している)が提案されている力 複数枚の画像を取得する 為には、高い周波数で CCDを駆動する必要が有り、技術的に困難であった。
[0140] そこで、上記問題を解決するために、本発明の実施例 8では、図 35に示すように以 下の構成を追加している。
すなわち、
(1)通常観察画像と分光画像を生成する際に、以下の回路 a)〜c)は共通に使用 する構成とする。 a) WB回路 451、 b) γ補正回路 452、 c)強調回路 454。
なお、回路の共通化については、実施例 13〜15で別途説明している。
(2)明るさと SZN比を向上させるために、広帯域輝度信号生成部 444を設けて、 C CDの出力信号力 SZN比の劣化して 、な 、広帯域輝度信号 (YH)を生成し、分 光画像の輝度成分 Yとの重み付け加算を実施する。
[0141] つまり、上記広帯域輝度信号 (YH)と、色変換部 (1)453にて生成された分光画像( Fl, F2, F3)における輝度信号 (Y)について、それぞれ重み付け回路 (445, 446) にて重み付けを実施して、加算部 447にて加算を実施し、加算後の輝度信号につい て、強調回路 454により輪郭補正を実施する。即ち、広帯域輝度信号生成部 444と、 重み付け回路 445, 446と、加算部 447とは、画質調整部を構成している。輪郭補正 された輝度信号 YEHは色変換部 (2)455に供給され、その後、色変換部 (2)455により 、再度 RGBに変換されて、表示モニタ 106に出力される。
[0142] 上記重み付け回路 (445, 446)における重み付け係数は、観察モードや接続され る CCDの画素数に応じて切り替えることが可能であり、分光画像のコントラスト劣化が 問題の無い範囲で任意に設定することが可能、例えば、重み付け回路 445の重み係 数を α、重み付け回路 446の重み係数を |8とすると、以下の方法が考えられる。
[0143] Α)通常観察画像の表示時: α =0、 |8 = 1
B) CCDタイプ Α接続時における分光画像の表示時: α =0. 5、 β =0. 5
C) CCDタイプ Β接続時における分光画像の表示時: α = 1、 |8 =0
本実施例 8の構成による効果は、複数枚の画像を取得することなぐ明るさと SZN 比を向上することが可能となること、又、重み付けの係数は、接続 CCDの種類により 最適化が可能であるため、各 CCDの画素数や分光特性に応じて、コントラスト劣ィ匕 の影響が無 、範囲で最適化が可能であること、である。
[0144] [実施例 9]
本発明の実施例 9の生体観測装置の構成は、図 36又は図 37が適用される。本実 施例 9は、 SZN比の改善を図るものである。
この SZN比比改善の方法とは、図 2に示されるように、照明光の照射を通常画像( 一般的なカラー画像)の 1フィールド(1フレーム)中に数回(例えば n回、 nは 2以上の 整数)に分けて照射する(照射強度をそれぞれの回で変化させても良い。図 2におい ては、 10乃至 Inで示されている。なお、これは照明光の制御のみで実現可能である。 )これにより、 1回の照射強度を小さくすることができ、 RGB信号のいずれもがそれぞ れ飽和状態となるのを抑えることができる。また、数回に分割された画像信号は、後 段で n枚分の加算を行う。これにより、信号成分を大きくして SZN比を向上させること ができる。
[0145] 前述したように、光学フィルタを具備せずに NBI観察を実施する際には、明るさと S ZN比を改善する為に、 1フィールド期間内に複数回の撮像を行うことにより複数枚( n)の画像を撮像する構成となっており、後段処理系にて前記複数枚の画像を加算す ることにより、信号成分を大きくして SZN比を向上させることができる。
[0146] し力しながら、上記構成に示す様に 1フィールド期間内に複数回の撮像を実施する 為には、以下の問題が有る。
(1) CCDの画素数が多くなればなるほど駆動周波数が高くなるため、本体処理装置 (プロセッサ)に駆動回路を持っている構成では、 CCDまでの接続ケーブルを高いド ライブ能力を持つ回路にて駆動する必要があり、技術的な難易度が高い。
(2)駆動周波数が高くなるほど、不要な放射電磁界成分も高周波となり、 EMC (電 磁波ノイズ)対策も困難となる。
[0147] 上記問題を解決するために、本発明の実施例 9では、以下の構成を追加する。
[0148] すなわち、例えば図 4の構成に対して、図 36に示すように、 CCDドライブ回路 431 を本体処理装置 (プロセッサ) 43から内視鏡 101側に移設して、 CCDドライブ回路 4
31— CCD21間の接続ケーブルを極力短くする構成とする。
これにより、ケーブル長が短くなるので、駆動波形の歪みが小さくできる。不要な E
MC放射が少なくなる。また、 CCDドライブ回路 431が内視鏡 101側にあるので、駆 動回路に要求されるドライブ能力が低く設定できる。つまり、ドライブ能力が低くてもよ ぐコスト的にも有利である。
[0149] また、例えば図 4の構成に対して、図 37に示すように、 CCDドライブ回路 431は本 体処理装置 (プロセッサ) 43に内蔵させる力 本体処理装置 43からは正弦波に近い 波形にて駆動パルスを出力し、内視鏡 101先端の CCD近傍に設けた波形整形回路
450にて波形の整形を行い、 CCD21を駆動する構成とする。
これにより、本体処理装置 43からの CCD駆動パルスが正弦波に近い波形で出力 可能な為、 EMC特性がよい。つまり、不要輻射電磁界を抑えることができる。 [0150] [実施例 10]
本発明の実施例 10の生体観測装置の構成は、図 4,図 28又は図 32が適用される 。そして、それらの構成において、ノイズ抑制回路は、分光画像観察時に必要なマト リックス演算部 436内若しくはマトリックス演算部 436の前段の入力部に設けられる。 分光画像観察時では、波長の帯域制限を行うため、通常画像観察時と比べて照明 光量が小さい状態になることがある。その場合には、照明光量が小さいことによる明る さの不足分を撮像された画像を増幅することで電気的に補正できるが、単に AGC回 路による増幅率アップ等では暗い画像部分でのノイズが目立つ画像になってしまう。 そこで、ノイズ抑制回路を通すことにより、暗部領域におけるノイズを抑制しつつ、明 部領域のコントラスト低下を低減する。ノイズ抑制回路については、日本国特願 200 5— 82544号の図 5に記載されている。
[0151] 図 38に示すノイズ抑制回路 36は、面順次の R, G, Bの画像データを扱う図 32に 示すような生体観測装置に適用される回路であって、ノイズ抑制回路には、面順次の R, G, Bの画像データが入力される。
図 38において、ノイズ抑制回路 36は、撮像手段である CCDにより撮像された画像 データに対して、複数の空間フィルタによるフィルタ処理を行うフィルタ処理部 81と、 前記画像データの局所領域における明るさを算出する明るさ算出手段としての平均 画素値算出部 82と、前記フィルタ処理部 81の出力に対して、前記フィルタ処理部 81 の出力及び Z又は前記平均画素値算出部 82の出力に応じた重み付けを行う重み 付け部 83と、前記重み付け部 83の出力に対して、ノイズ抑制処理を施した画像デー タを生成するための逆フィルタ処理を行う逆フィルタ処理部 85と、を備えて構成され ている。
[0152] フィルタ処理部 81における p個のフィルタ係数は、 R, G, Bの入力画像データ毎に 切り替えられるもので、フィルタ係数格納部 84から読み出されて各フィルタ Al〜Ap に設定される。
平均画素値算出部 82は、フィルタ処理部 81で空間フィルタ処理に用いるのと同じ 入力画像データの n X n画素の小領域 (局所領域)の画素値に対して平均値 Pavを 算出する。その平均値 Pav及びフィルタ処理部 81でのフィルタ処理結果の値に応じ てルックアップテーブル (LUT) 86から重み付け係数 Wを読み出して重み付け部 83 の重み付け回路 Wl、 W2、 · ··、 Wpに設定する。
[0153] 図 38の回路により、画像データの局所領域の明るさに応じて空間フィルタによるノ ィズ抑制処理の重み付けを変えることにより、画像データのコントラストの低下を回避 しながらノイズを抑制する。
[0154] [実施例 11]
本発明の実施例 11の生体観測装置は、図 4,図 28又は図 32が適用される。そして 、それらの構成においては、マトリックス演算部 436内に図示しないが空間周波数の フィルタ (LPF)を配設しているが、この空間周波数特性を、分光画像表示するときに 少し変更する制御を行う、例えば帯域を広げるように制御を行う。
[0155] 制御部 42は、本体処理装置 (プロセッサ) 43内のマトリックス演算部 436に設けた 空間周波数のフィルタ特性 (LPF特性)の設定を変更する、具体的には、制御部 42 は、分光画像観察時に LPFの帯域特性を広帯域ィ匕するように変更する制御を行う。 このような制御動作については、日本国特願 2004— 250978号の図 4に記載されて いる。
[0156] ここで、生体観測装置が、現在、通常画像観察モードにあるとする。
この状態において、術者は、内視鏡 101の挿入部 102を患者の体腔内に挿入する こと〖こより、内視鏡検査を行うことができる。体腔内における患部等の検査対象組織 の表面の血管の走行状態等をより詳しく観察しようと思う場合には、術者は、図示しな V、モード切替スィッチを操作する。
モード切替スィッチが操作されると、制御部 42は、光源部 41及び本体処理装置 43 の動作モードを分光画像観察モードの設定状態に変更する。
具体的には、制御部 42は、光源部 41に対しては、光量を増加させるように光量制 御を行い、本体処理装置 43に対しては、マトリックス演算部 436内の空間周波数の L PFの帯域特性を広帯域ィ匕するように変更し、また切換部 439を制御してマトリックス 演算部 436を含む分光画像処理系に切り換える等の変更設定を行う。
[0157] このような変更設定を行うことにより、分光画像観察モードにおいて、生体組織の表 層付近における毛細血管の走行状態を識別し易い状態で表示することができる。 また、 LPFの信号通過の帯域特性を広帯域ィ匕しているので、毛細血管の走行状態 や、特定色 Gの照明光のもとで撮像した Gの色信号により得られるのと等価な、表層 付近に近い血管走行状態などの分解能 (解像度)を向上することができ、診断がし易 V、画質の良 、画像が得られる。
[0158] このように動作する本実施例によれば、通常画像観察モードにおいて、既存の同時 式によるカラー撮像機能を保持し、かつ分光画像観察モードにおいても本体処理装 置 43内の各部の係数等の設定を変更する等の処理特性を変更することにより、分光 画像観察モードによる観察機能を十分に確保することができる。
[実施例 12]
本発明の実施例 12の生体観測装置の構成は、図 4,図 28又は図 32が適用される 。そして、それらの構成においては、分光画像観察時であることを示す NBI表示を行
(1) 表示モニタ 106に表示する場合
表示モニタ 106上に、通常画像観察時は表示無し、分光画像観察時は NBIの文 字を表示する。或いは、文字表示に代えて、モニタの例えば四隅のいずれかに〇等 の印を表示してもよい。
[0159] (2) 内視鏡装置本体 105のフロントパネルに表示する場合…図 39、図 40、図 41 参照
操作パネル上に、単に LEDを設け、通常画像観察時は消灯、分光画像観察時は 点灯する。具体的には、図 39に示すように、 NBIの文字の近傍に LED点灯部 91を 設け、通常画像観察時は消灯、分光画像観察時は点灯する。
[0160] 図 40に示すように、 NBI文字自体 92が点灯、あるいは、 NBI文字以外の文字周辺 部 93が点灯するように LEDを設け、通常画像観察時は消灯、分光画像観察時は点 灯する。
図 41に示すように、 NBI文字自体 94が点灯、あるいは、 NBI文字以外の文字周辺 部 95が点灯するように LEDを設け、通常画像観察時は緑色消灯、分光画像観察時 は白色点灯等、色分け点灯する。
[0161] (3) 集中コントローラの画面上に表示する場合 生体観測装置を複数の装置力 なるシステムで組み、それらを集中コントロールす るコントローラー画面上に、図 39、図 40、図 41と同様に表示する。或いは、分光画像 観察モードの切替スィッチ (即ち NBIスィッチ)自体が、通常画像観察時は黒文字、 分光画像観察時は反転文字で表示する。
(4) 上記以外の表示場所としては、キーボード、フットスィッチがある。
[0162] [実施例 13]
図 42は本発明の実施例 13に係る生体観測装置の構成を示すブロック図である。 なお、図 42は、同時式の電子内視鏡装置 100のブロック図である。
図 42に示すように、内視鏡装置本体 105は、主に光源部 41と、制御部 42と、本体 処理装置 43から構成されている。実施例 1の図 4と同様な部分については説明を省 略し、図 4と異なる部分を中心に説明する。
図 42において、本体処理装置 43は、光源部 41と同様、コネクタ 11を介して内視鏡 101に接続される。本体処理装置 43には、 CCD21を駆動するための CCDドライブ 回路 431が設けられている。また、通常画像を得るための信号回路系として色信号 処理系を有する。
[0163] 色信号処理系は、 CCD21に接続され、 CCD21で得られた信号のサンプリング等 を行 、RGB信号を生成するサンプルホールド回路(SZH回路) 433a乃至 433cと、 SZH回路 433a乃至 433cの出力に接続され、色信号 R', G' , B'の生成を行う色 信号処理部 435とを有する。
色信号処理部 435から切換部 450を介して、共通化回路部 (451〜455)に色信 号 R', G' , B,が送られる。
[0164] これらの回路 451〜455の信号処理は、カラー画像信号である撮像信号とこの撮 像信号から生成される分光信号とを表示モニタ 106に表示するための信号処理であ つて、撮像信号と分光信号の両方の信号処理で共有が可能な処理である。
次に、生体観測装置の回路規模を抑えつつ、ホワイトバランス(以下、 WB)処理な どの色調整処理、 γ調整などの階調変換処理、輪郭補正などの空間周波数強調処 理等の必要な信号処理を行うための回路を共通化する共通化回路部 (451〜455) の構成について説明する。 共通化回路部 (451〜455)は、 WB処理、 γ処理、強調処理を通常観察画像と分 光観察画像で共用可能な構成としたものである。
[0165] 本実施例 13では、図 42に示すように、通常観察画像と分光観察画像を生成する 際に、以下の回路 a)〜c)は共通に使用する構成とする。 a) WB回路 451、 b) γ補正 回路 452、 c)強調回路 454を共有ィ匕する。
色調整部 440の出力とマトリックス演算部 436の出力とは、切換部 450を介して WB 回路 451、 γ補正回路 452、及び色変換回路 (1)453に供給されて、 Υ信号、 R— Υ 信号、 Β— Υ信号が生成され、さらに後述の強調された輝度信号 YEH、 R— Υ信号、 Β—Υ信号が生成されて、色変換回路 (2)455に供給され、 R, G, Β出力としてを表示 モニタ 106に送られる。
[0166] なお、擬似バンドパスフィルタ F1乃至 F3の一例として、マトリックス演算部 436から の分光画像 (Fl, F2, F3)は、以下の手順で生成する。
F1 : 520乃至 560nmの波長領域の画像 (G帯域に相当)
F2: 400乃至 440nmの波長領域の画像(B帯域に相当 )
F3: 400乃至 440nmの波長領域の画像(B帯域に相当 )
上記分光画像 (F1〜F3)を積算処理及び色調整処理した画像、並びに通常観察 画像 (R', G' , Β')は、切換部 450にて、フロントパネルやキーボードに設けられた図 示しないモード切換えスィッチにより選択される。
[0167] 上記切換部 450からの出力は、 WB回路 451及び γ補正回路 452の処理が施され た後に、色変換部 (1)453にて輝度信号 (Υ)と色差信号 (R— ΥΖΒ— Υ)に変換され る。
上記変換後の輝度信号 Υについて、強調回路 454により輪郭補正が実施される。
[0168] その後、色変換部 (2)455により、再度 RGBに変換されて、表示モニタ 106に出力さ れる。
[0169] 本実施例 13の構成による効果は、通常観察画像と分光観察画像について、 WBZ
γ Ζ強調処理を共通にし使用することが可能となること、又、マトリックス演算部 436 からの分光画像 (Fl, F2, F3)を G— B— Bとして出力する為、色変換部 (1)453にて 変換された分光画像の輝度信号には、 Βの成分が多く含まれることになる為、 Β分光 画像により得られる表層の血管画像について重点的に強調処理を施すことが可能と なること、である。
[0170] なお、図 42の実施例 13では、主に WB、 y補正、強調処理を通常観察画像系と分 光観察画像系で共有ィ匕する構成を示しているが、本発明はこれに限定されることなく 、 WB、階調変換、空間周波数強調処理のうち少なくとも 1つが共有化された構成で あってもよい。
本実施例によると、血管パターンが鮮明に表示される分光画像を得ることができる。
[0171] [実施例 14]
図 43は本発明の実施例 14に係る生体観測装置の構成を示すブロック図である。 実施例 14は、実施例 13とほとんど同様であるので、実施例 13と異なる点のみ説明 し、同一の構成要素には同一符号を付して説明は省略する。
本実施例は、主として実施例 13とは、照明光量の制御を行う光源部 41が異なるも のである。本実施例では、光源部 41から照射される光量の制御をチョッパーではなく 、ランプ 15の電流制御により行う。具体的には、図 43に示されたランプ 15に光量制 御部としての電流制御部 18が設けられている。
[0172] 本実施例の動作としては、制御部 42により、 RGBのいずれのカラー画像信号も飽 和状態とならないように、ランプ 15に流れる電流の制御を行う。これにより、ランプ 15 は発光のために使用される電流が制御されるため、その光量は、その電流の大きさ に応じて変化する。
なお、その他の動作に関しては、実施例 1と同様であるため、ここでは省略する。
[0173] 本実施例によると、実施例 13と同様、血管パターンが鮮明に表示される分光画像 を得ることができる。また、本実施例では、実施例 13のようにチョッパーを用いた光量 制御方法に比して、制御方法が簡単であると 、う利点がある。
[0174] [実施例 15]
図 44は本発明の実施例 15に係る生体観測装置の構成を示すブロック図である。 図 44の実施例における CCDの電荷蓄積時間を示す図は、図 33と同様である。 実施例 15は、実施例 13とほとんど同様であるので、実施例 13と異なる点のみ説明 し、同一の構成要素には同一符号をつけ説明は省略する。 [0175] 本実施例は、主として実施例 13とは光源部 41および CCD21が異なるものである。 実施例 1では、 CCD21に図 6で示したカラーフィルタが設けられ、このカラーフィルタ によってカラー信号を生成する!、わゆる同時式であつたのに対し、本実施例 15では 、照明光を 1フレームの期間に RGBの順に照明してカラー信号を生成するいわゆる 面順次式を用いる。
[0176] 図 44に示すように、本実施例における光源部 41は、ランプ 15の前面に調光を行う 絞り 25が設けられ、絞り 25のさらに前面には、 R, G, Bの面順次光を出射するため に 1フレームで例えば 1回転する RGB回転フィルタ 23が設けられている。また、絞り 2 5は、光量制御部としての絞り制御部 24に接続されており、絞り制御部 24からの制御 信号に応じて、ランプ 15から照射された光束のうち透過させる光束を制限し、光量を 変化させることで、調光可能としている。また、 RGB回転フィルタ 23は、 RGB回転フィ ルタ制御部 26に接続され、所定の回転速度で回転する。
[0177] 本実施例における光源部の動作としては、ランプ 15から出力された光束力 絞り 25 で所定の光量に制限され、絞り 25を透過した光束は、 RGB回転フィルタ 23を介する ことによって、所定の時間毎に R'G'Bそれぞれの照明光として、光源部から出力さ れる。また、それぞれの照明光は、被検体内で反射し、 CCD21で受光される。 CCD 21で得られた信号は、照射される時間に応じて、内視鏡装置本体 105に設けられた 切換部(図示しない)で振り分けられ、 SZH回路 433a乃至 433cにそれぞれ入力さ れる。つまり、光源部 41から Rのフィルタを介した照明光が照射された場合には、 CC D21で得られた信号は、 SZH回路 433aに入力されることになる。なお、その他の動 作については実施例 1と同様であるため、ここでは省略する。
[0178] 本実施例 15によると、実施例 13と同様、血管パターンが鮮明に表示される分光画 像を得ることができる。また、本実施例 15では、実施例 13と異なり、いわゆる面順次 方式〖こよるメリットを享受することができる。なお、このメリットとは、例えば図 34で述べ た例のようなものが挙げられる。
[0179] また、上述の実施例 13では、 RGBカラー信号の飽和を避けるために、照明光量( 光源部からの光量)を制御 '調節している。これに対し、本実施例 15では、 CCD21 の電子シャッターを調整する方法を採用している。 CCD21では、一定時間内に入射 した光強度に比例した電荷が蓄積し、その電荷量を信号としている。この蓄積時間に 相当するの力 電子シャッターと呼ばれるものである。この電子シャッターを CCDドラ イブ回路 431にて調節することで、電荷の蓄積量即ち信号量を調整することができる 。図 33に示すように、電荷蓄積時間を 1フレーム毎に順次変化させた状態での RGB カラー画像を得ることで、同様の分光画像を得ることができる。即ち、前述のそれぞれ の実施例において、絞り 25による照明光量の制御は通常画像を得るために用い、分 光画像を得る際には、電子シャッターを変化させることにより、 R, G, Bカラー信号の 飽和を避けることが可能である。
[0180] [実施例 16]
図 45及び図 46は本発明の実施例 16の生体観測装置に係り、図 45は色フィルタの 配列を示す図、図 46は図 45に色フィルタの分光感度特性を示す図である。
実施例 13の生体観測装置は、実施例 1とほとんど同様であるので、実施例 1と異な る点のみ説明し、同一の構成要素には同一符号をつけ説明は省略する。
本実施例は、主として実施例 1と CCD21に設けられたカラーフィルタが異なるもの である。実施例 1では、図 6で示したように RGB原色型カラーフィルタが用いられるの に対し、本実施例では、補色型のカラーフィルタを用いる。
[0181] この補色型フィルタの配列は図 45に示されているように、 G、 Mg、 Ye、 Cyの各要 素から構成される。なお、原色型カラーフィルタの各要素と補色型カラーフィルタの各 要素の関係は、 Mg=R + B、 Cy=G + B、 Ye=R+Gとなる。
この場合、 CCD21の全画素読み出しを行い、各色フィルタからの画像を信号処理 又は画像処理することになる。また、原色型カラーフィルタについての(1)式〜(8)式 及び(19)式〜(21)式について、補色型カラーフィルタの場合に変形すると、以下の (27)式より(33)式のようになる。但し、目標とする狭帯域のバンドパスフィルタの特 性は同じとする。
[数 27] a, a. "3
G Mg Cy Ye = fF, F, F, ■(27)
Figure imgf000047_0001
d、 dつ d 3/
[数 28]
£i3
C F = F, F F, "(28)
Figure imgf000047_0002
(数 29)
kG=(_f SU) XHU) XGU)c )_1
Figure imgf000047_0003
kYe=(J S(l) ΧΗ(λ) XYe(l)dl)" (29)
[数 30]
0 0
0 0 0
(30)
0 0 C 0
、0 0 0
[数 31]
Figure imgf000047_0004
[数 32]
Figure imgf000048_0001
[数 33]
(I 0 0 0 -0.678 4.385、 0 0.814 0 0 -0.040 -3.590 2.085
Af = KA =
0 0 0.730 0 -0.011 - 2.504 -1.802
0 0 0.598 3.233 -3.310ノ - 0.413 -0.678 4.385ヽ
-0.033 -2.922 1.697
-0.008 -1.828 -1.315
0.109 1.933 -1.979
(33)
[0182] また、図 46に、補色型カラーフィルタを用いた場合の分光感度特性、目標とするバ ンドパスフィルタ及び上記(27)式乃至(33)式により求められ擬似バンドパスフィルタ の特性を示す。
[0183] なお、補色型フィルタを用いる場合には、図 4,図 42で示される SZH回路は、それ ぞれ R' G · Bではなく、 G · Mg · Cy · Yeにつ!/、て行われることは言うまでもな!/、。
本実施例によると、実施例 1と同様、血管パターンが鮮明に表示される分光画像を 得ることができる。また、本実施例では、補色型カラーフィルタを用いた場合のメリット を享受することができる。
[0184] 以上、本発明における各実施例について説明を行ったが、本発明は、上記実施例 を種々組みあせて用いても良ぐまた趣旨を一脱しな 、範囲での変形も考えられる。 例えば、既に述べた全ての実施例に対して、臨床中その他のタイミングにて操作者 自ら新規の擬似バンドパスフィルタを作成し、臨床に適用することもできる。即ち、実 施例 1で示すと図 4,図 42中の制御部 42に、マトリックス係数を演算 ·算出することの できる設計部(図示しな ヽ)を設ける。
[0185] これにより、図 3に示す内視鏡装置本体 105に設けられたキーボードを介して条件 を入力することで、操作者が知りたい分光画像を得るのに適した擬似バンドパスフィ ルタを新規に設計するとともに、算出されたマトリックス係数((19)式及び (31)式の マトリックス「A」の各要素に相当)に補正係数((20)式及び(32)式のマトリックス「K」 の各要素に相当)を施した最終マトリックス係数((21)式及び(33)式のマトリックス「 Α'」の各要素に相当)を図 4,図 42中のマトリックス演算部 436に設定することで、即 時臨床に適用することができる。
[0186] 図 47に、適用までの流れを示す。この流れについて詳しく説明すると、まず、操作 者は、目標となるバンドパスフィルタの情報 (例えば波長帯域等)をキーボード等を介 して入力する。これにより、すでに所定の記憶装置等に記憶されている光源'カラー フィルタの特性等と共に、マトリックス「Α,」が算出され、図 46に示されるように、目標 とするバンドパスフィルタの特性と共に、そのマトリックス「Α'」による演算結果 (擬似 バンドパスフィルタ)力 スペクトル図としてモニタ上に表示される。
[0187] 操作者はこの演算結果を確認した後、新たに作成されたマトリックス「Α,」を使用す る場合には、その設定を行い、このマトリックス「Α'」を用いて実際の内視鏡画像が生 成される。また、これと共に新たに作成されたマトリックス「Α'」は、所定の記憶装置に 記憶され、操作者の所定の操作に応じて、再度使用することができる。
これにより、操作者は既存のマトリックス「Α'」にとらわれず、自らの経験等により新 たなバンドパスフィルタを生成することができ、特に研究用として使用される場合に、 効果が高いものである。
[0188] 本発明は、上述した実施例に限定されるものではなぐ本発明の要旨を変えない範 囲において、種々の変更、改変等が可能である。
産業上の利用可能性
[0189] 本発明の生体観測装置は、生体情報を取得し生体組織を詳細に観察するための 電子内視鏡装置に適用して特に有用である。
本出願は、 2005年 5月 13日に日本国に出願された特願 2005— 141534号、 200 5年 5月 26日に日本国に出願された特願 2005— 154372号を優先権主張の基礎と して出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用され るちのとする。

Claims

請求の範囲
[1] 被検体である生体に光を照射する照明部と、
その照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成 する撮像部と、
前記照明部及び Zまたは前記撮像部の動作を制御し、表示装置へ前記撮像信号 を出力する信号処理制御部とを具備し、
前記信号処理制御部が、
前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によ つて生成する分光信号生成部と、
前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯 域ごとに異なった色調を割り付ける色調整部と、
前記表示装置へ出力される信号の画質を調整する画質調整部と、
を含むことを特徴とする生体観測装置。
[2] 前記信号処理制御部が前記照明部から照射される光量を制御する光量制御部を 有することを特徴とする請求項 1に記載の生体観測装置。
[3] 前記光量制御部は、前記撮像信号を表示する場合に比べて、前記撮像信号をさら に前記分光信号へ変換して表示する場合の方が前記光量を少なくすることを特徴と する請求項 2に記載の生体観測装置。
[4] 前記光量制御部は、前記照明光を所定の時間間隔で遮断するチョッパーを有する ことを特徴とする請求項 2に記載の生体観測装置。
[5] 前記光量制御部は、前記照明部の光源点灯電流、または電圧を制御することを特 徴とする請求項 2に記載の生体観測装置。
[6] 前記撮像部は、固体撮像素子を備えたことを特徴とする請求項 1に記載の生体観 測装置。
[7] 前記固体撮像素子による電荷蓄積時間を決定する電子シャッターを制御する電子 シャッター制御部を有することを特徴とする請求項 6に記載の生体観測装置。
[8] 前記電子シャッター制御部は、前記照明部力 順次に異なった色光が照射される 場合に、各色光に対応した複数の撮像信号毎に前記電荷蓄積時間を独立に制御可 能であることを特徴とする請求項 7に記載の生体観測装置。
前記信号処理制御部は、前記照明部から照射される光量と前記固体撮像素子に おける電荷蓄積時間を同時に制御することを特徴とする請求項 7に記載の生体観測 装置。
前記光量制御部は、前記照明光の光軸の一部、あるいは全てを遮光する可動性の 遮光部材を備えたことを特徴とする請求項 2に記載の生体観測装置。
前記光量制御部は、前記照明光の光軸上に挿入され光量を減光する減光部材を 備えたことを特徴とする請求項 2に記載の生体観測装置。
前記信号処理制御部は、前記撮像信号及び Zまたは分光信号の信号レベルを増 幅させる信号増幅部を備えたことを特徴とする請求項 1に記載の生体観測装置。 前記信号増幅部は、前記撮像信号と分光信号とでその増幅制御を変化させること を特徴とする請求項 12に記載の生体観測装置。
前記増幅制御が、増幅機能の動作 Z非動作であることを特徴とする請求項 13に記 載の生体観測装置。
前記増幅制御が、増幅機能の増幅レベルであることを特徴とする請求項 13に記載 の生体観測装置。
前記増幅制御が、前記光量制御部による光量制御ができなくなった場合に増幅機 能が増幅動作を開始するときの追従速度であることを特徴とする請求項 13に記載の 生体観測装置。
前記信号増幅部は、請求項 2記載の前記光量制御部による光量制御と連動して動 作するよう制御されることを特徴とする請求項 12に記載の生体観測装置。
前記連動動作の制御は、前記光量制御部による光量制御が最大となった後に、前 記信号増幅部が増幅機能を動作させることを特徴とする請求項 17に記載の生体観 測装置。
前記信号処理制御部が、明るさ及び Zまたは SZN比を改善する画質調整部を備 えたことを特徴とする請求項 1に記載の生体観測装置。
前記画質調整部が、撮像信号の輝度信号及び Zまたは分光信号の輝度信号の重 み付け加算を行うことを特徴とする請求項 19に記載の生体観測装置。 [21] 前記画質調整部が、撮像信号及び Zまたは分光信号の局所領域の明るさに応じ て空間フィルタによるノイズ抑制処理の重み付けを変えることにより、前記撮像信号 及び Zまたは分光信号のコントラスト及びノイズ抑制の制御を行うことを特徴とす請求 項 19に記載の生体観測装置。
[22] 前記画質調整部が、撮像信号または該撮像信号力も所定の変換によって生成され た信号に対して空間周波数特性を変更する制御を行うことを特徴とする請求項 19〖こ 記載の生体観測装置。
[23] 被検体である生体に光を照射する照明部と、
その照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成 する撮像部と、
前記照明部及び Zまたは前記撮像部の動作を制御し、表示装置へ前記撮像信号 を出力する信号処理制御部とを具備し、
前記信号処理制御部が、
前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によ つて生成する分光信号生成部と、
前記分光信号を前記表示装置へ出力する際に分光信号を形成する複数の帯域ご とに異なった色調を割り付ける色調整部とを有し、
前記分光信号生成部と前記色調整部を少なくとも除いたその他の信号処理部が、 前記撮像信号と前記分光信号の各々の信号処理にお!、て共有されたことを特徴と する生体観測装置。
[24] 前記その他の信号処理部は、ホワイトバランス、階調変換、空間周波数強調処理の うち少なくとも 1つを含むことを特徴とする請求項 23に記載の生体観測装置。
PCT/JP2006/304388 2005-05-13 2006-03-07 生体観測装置 WO2006120795A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN2006800162245A CN101175435B (zh) 2005-05-13 2006-03-07 生物体观测装置
AU2006245248A AU2006245248B2 (en) 2005-05-13 2006-03-07 Biometric instrument
US11/914,347 US20090091614A1 (en) 2005-05-13 2006-03-07 Biological observation apparatus
EP06715358A EP1880659A4 (en) 2005-05-13 2006-03-07 BIOMETRIC INSTRUMENT
BRPI0610260-3A BRPI0610260A2 (pt) 2005-05-13 2006-03-07 aparelho de observação biológica
CA002606895A CA2606895A1 (en) 2005-05-13 2006-03-07 Biological observation apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-141534 2005-05-13
JP2005141534A JP4500207B2 (ja) 2005-05-13 2005-05-13 生体観測装置
JP2005-154372 2005-05-26
JP2005154372A JP2006325974A (ja) 2005-05-26 2005-05-26 生体観測装置

Publications (1)

Publication Number Publication Date
WO2006120795A1 true WO2006120795A1 (ja) 2006-11-16

Family

ID=37396315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/304388 WO2006120795A1 (ja) 2005-05-13 2006-03-07 生体観測装置

Country Status (8)

Country Link
US (1) US20090091614A1 (ja)
EP (2) EP2332460B1 (ja)
KR (1) KR100988113B1 (ja)
AU (1) AU2006245248B2 (ja)
BR (1) BRPI0610260A2 (ja)
CA (1) CA2606895A1 (ja)
RU (1) RU2378977C2 (ja)
WO (1) WO2006120795A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105848553A (zh) * 2013-12-25 2016-08-10 奥林巴斯株式会社 光扫描型观察装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2602906A1 (en) * 2005-03-22 2006-09-28 Olympus Corporation Image processor and endoscope apparatus
EP2005877B1 (en) * 2006-04-12 2014-01-08 Olympus Medical Systems Corp. Endoscope device
JP5235473B2 (ja) 2008-04-04 2013-07-10 Hoya株式会社 分光特性推定装置
JP5087529B2 (ja) * 2008-12-01 2012-12-05 オリンパス株式会社 識別処理装置、識別処理プログラム及び識別処理方法
WO2010131687A1 (ja) * 2009-05-12 2010-11-18 オリンパスメディカルシステムズ株式会社 被検体内撮像システムおよび被検体内導入装置
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
CA2793449A1 (en) 2010-03-17 2011-09-22 Haishan Zeng Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization
JP5634755B2 (ja) * 2010-06-08 2014-12-03 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
JP5335017B2 (ja) * 2011-02-24 2013-11-06 富士フイルム株式会社 内視鏡装置
JP5404968B1 (ja) * 2012-03-30 2014-02-05 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5362149B1 (ja) * 2012-03-30 2013-12-11 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5789280B2 (ja) * 2013-05-14 2015-10-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US20150265202A1 (en) * 2014-03-20 2015-09-24 Olympus Medical Systems Corp. Method for collecting duodenal juice
JP6596502B2 (ja) * 2015-10-08 2019-10-23 オリンパス株式会社 内視鏡装置
JP6654117B2 (ja) * 2016-08-31 2020-02-26 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP7073145B2 (ja) * 2018-03-12 2022-05-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用調光制御装置、および医療用調光制御装置の作動方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2068537A (en) 1980-02-04 1981-08-12 Energy Conversion Devices Inc Examining biological materials
JP2000148987A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像処理装置
JP2002017667A (ja) * 1991-03-11 2002-01-22 Olympus Optical Co Ltd 画像処理装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
US20030158470A1 (en) 2000-09-18 2003-08-21 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP2004008412A (ja) * 2002-06-05 2004-01-15 Olympus Corp 内視鏡装置用光源装置及び内視鏡装置
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP2005013611A (ja) * 2003-06-27 2005-01-20 Olympus Corp 画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408263A (en) * 1992-06-16 1995-04-18 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US5868666A (en) * 1993-11-26 1999-02-09 Olympus Optical Co., Ltd. Endoscope apparatus using programmable integrated circuit to constitute internal structure thereof
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
JPH08321827A (ja) * 1995-03-20 1996-12-03 Fujitsu Ltd データ識別装置及びこれを用いた光受信器
JP3796635B2 (ja) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 蛍光検出装置
US6422994B1 (en) * 1997-09-24 2002-07-23 Olympus Optical Co., Ltd. Fluorescent diagnostic system and method providing color discrimination enhancement
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
JP2001178672A (ja) * 1999-12-24 2001-07-03 Fuji Photo Film Co Ltd 蛍光画像表示装置
JP3583731B2 (ja) 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
JP2002345733A (ja) * 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
JP4120419B2 (ja) 2003-02-20 2008-07-16 ビーエスドアー 株式会社 パネル構築・建築物の出入口等の枠
JP4004444B2 (ja) 2003-09-10 2007-11-07 株式会社ノエビア 皮膚外用剤
JP4302488B2 (ja) 2003-11-07 2009-07-29 大日本スクリーン製造株式会社 ページデータ処理システム、ページデータ処理システムにおける部品画像表示方法、およびプログラム
JP4625626B2 (ja) 2003-11-27 2011-02-02 片倉チッカリン株式会社 線虫害抑制微生物及び線虫害抑制微生物資材を用いた植物寄生性線虫害の抑制方法
IL166595A0 (en) * 2005-01-31 2006-01-15 Uri Neta Image acquisition system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2068537A (en) 1980-02-04 1981-08-12 Energy Conversion Devices Inc Examining biological materials
JP2002017667A (ja) * 1991-03-11 2002-01-22 Olympus Optical Co Ltd 画像処理装置
JP2000148987A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像処理装置
US20030158470A1 (en) 2000-09-18 2003-08-21 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004008412A (ja) * 2002-06-05 2004-01-15 Olympus Corp 内視鏡装置用光源装置及び内視鏡装置
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP2005013611A (ja) * 2003-06-27 2005-01-20 Olympus Corp 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1880659A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105848553A (zh) * 2013-12-25 2016-08-10 奥林巴斯株式会社 光扫描型观察装置

Also Published As

Publication number Publication date
EP1880659A1 (en) 2008-01-23
AU2006245248A1 (en) 2006-11-16
EP1880659A4 (en) 2010-05-05
AU2006245248B2 (en) 2010-02-18
BRPI0610260A2 (pt) 2010-06-08
KR100988113B1 (ko) 2010-10-18
US20090091614A1 (en) 2009-04-09
RU2378977C2 (ru) 2010-01-20
EP2332460A1 (en) 2011-06-15
RU2007146448A (ru) 2009-06-20
KR20080002945A (ko) 2008-01-04
EP2332460B1 (en) 2013-06-05
CA2606895A1 (en) 2006-11-16

Similar Documents

Publication Publication Date Title
WO2006120795A1 (ja) 生体観測装置
JP4500207B2 (ja) 生体観測装置
JP4409523B2 (ja) 生体観測装置
KR100953773B1 (ko) 생체 관측 장치용 신호 처리 장치
RU2381737C2 (ru) Устройство для наблюдения биологических объектов
JP4504324B2 (ja) 生体観測装置
JP2006314557A (ja) 生体観測装置
JP2003093336A (ja) 電子内視鏡装置
JP5869541B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP2006341075A (ja) 生体観測装置用信号処理装置
RU2378976C2 (ru) Устройство обработки сигналов для устройства, предназначенного для биологических наблюдений
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP2006325974A (ja) 生体観測装置
JP2006341076A (ja) 生体観測装置用信号処理装置
JP2013226467A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680016224.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006245248

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2006715358

Country of ref document: EP

Ref document number: 2606895

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 1020077026147

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 5114/CHENP/2007

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2006245248

Country of ref document: AU

Date of ref document: 20060307

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2006245248

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2007146448

Country of ref document: RU

Ref document number: 11914347

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2006715358

Country of ref document: EP

ENP Entry into the national phase

Ref document number: PI0610260

Country of ref document: BR

Kind code of ref document: A2