WO2018105020A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2018105020A1
WO2018105020A1 PCT/JP2016/086107 JP2016086107W WO2018105020A1 WO 2018105020 A1 WO2018105020 A1 WO 2018105020A1 JP 2016086107 W JP2016086107 W JP 2016086107W WO 2018105020 A1 WO2018105020 A1 WO 2018105020A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
substance
image
feature
characteristic
Prior art date
Application number
PCT/JP2016/086107
Other languages
English (en)
French (fr)
Inventor
伊藤 毅
渡辺 吉彦
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/086107 priority Critical patent/WO2018105020A1/ja
Publication of WO2018105020A1 publication Critical patent/WO2018105020A1/ja
Priority to US16/431,857 priority patent/US10863936B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters

Definitions

  • the present invention relates to an endoscope apparatus that acquires an image of an observation object.
  • Japanese Unexamined Patent Application Publication No. 2014-50595 discloses an endoscope apparatus.
  • This endoscope apparatus alternately irradiates the subject with oxygen saturation measurement light and blood vessel enhancement illumination light, highlights the surface blood vessels and middle blood vessels from the obtained two-frame images, and displays oxygen saturation.
  • An image in which the color of the superficial blood vessel is changed is displayed only when is low.
  • an image in which the blood vessel running pattern is highlighted is displayed, and information intuitively indicating whether or not the site having the blood vessel running pattern is a lesioned part is displayed.
  • the object being viewed is a blood vessel image derived from hemoglobin.
  • hemoglobin which is one type of characteristic substance, is merely viewed from a different perspective.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an endoscope apparatus that can separately acquire images of a plurality of characteristic substances. is there.
  • the endoscope apparatus includes a first narrowband light selected based on the absorption spectrum of the first characteristic substance, and a second narrowband light selected based on the absorption spectrum of the second characteristic substance.
  • a light source unit that can emit light, and an imaging system that separates and acquires the first image by the first narrowband light and the second image by the second narrowband light.
  • the endoscope apparatus can further extract a feature substance region related to the first feature substance on the first image as a first feature substance region, and / or the second feature on the second image.
  • a feature material region extraction unit capable of extracting a feature material region related to the feature material as a second feature material region is provided.
  • an endoscope apparatus capable of highlighting a plurality of characteristic substances.
  • FIG. 1 is a block diagram of an endoscope apparatus according to a first embodiment of the present invention.
  • FIG. 2 shows a spectrum of illumination light when all of the laser light sources shown in FIG. 1 are turned on.
  • FIG. 3 shows an absorption spectrum of hemoglobin.
  • FIG. 4 shows a spectrum of illumination light in the single substance observation mode (hemoglobin enhancement mode).
  • FIG. 5 shows the absorption spectrum of indigo carmine.
  • FIG. 6 shows a spectrum of illumination light in the single substance observation mode (indigo carmine enhancement mode).
  • FIG. 7 shows the spectrum of illumination light in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode).
  • FIG. 8 is a timing chart of turning on and off the laser light source in the illumination light sequential irradiation mode.
  • FIG. 8 is a timing chart of turning on and off the laser light source in the illumination light sequential irradiation mode.
  • FIG. 9 shows an emission spectrum of the light source unit at the timing Ta1 shown in FIG.
  • FIG. 10 shows an emission spectrum of the light source unit at the timing Tb1 shown in FIG.
  • FIG. 11 is a diagram of pit pattern classification.
  • FIG. 12A shows an image composed of a B image and a G image in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode).
  • FIG. 12B shows an image composed of R images in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode).
  • FIG. 12C shows an image composed of an R image, a G image, and a B image in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode).
  • FIG. 12A shows an image composed of a B image and a G image in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode).
  • FIG. 12B shows an image composed of R images in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode
  • FIG. 13A shows an image in which blood vessels based on hemoglobin are emphasized, corresponding to FIG. 12A.
  • FIG. 13B shows an image in which indigo carmine is emphasized, corresponding to FIG. 12B.
  • FIG. 13C shows an image in which both blood vessels and indigo carmine are enhanced corresponding to FIG. 12C.
  • FIG. 13D shows an image whose visibility has been enhanced by image highlighting by pointing the characteristic substance region with an arrow in the image of FIG. 13A.
  • FIG. 13E shows an image whose visibility is enhanced by image enhancement display by reducing the brightness of the peripheral region of the feature substance region in the image of FIG. 13A.
  • FIG. 13F shows an image whose visibility is enhanced by image enhancement display by preparing a feature substance region position display screen next to the observation object display screen in the image of FIG. 13A.
  • FIG. 13G shows an image whose visibility is enhanced by image emphasis display by superimposing a conductor in the image of FIG. 13A.
  • FIG. 13H shows an image whose visibility is enhanced by image enhancement display by superimposing a pointing diagram in the image of FIG. 13A.
  • FIG. 13I shows an image whose visibility is enhanced by image emphasis display by superimposing eyes on the image of FIG. 13A.
  • FIG. 14A is an image diagram of the characteristic substance region of the first characteristic substance.
  • FIG. 14B is an image diagram of the characteristic substance region of the second characteristic substance.
  • FIG. 14A is an image diagram of the characteristic substance region of the first characteristic substance.
  • FIG. 14B is an image diagram of the characteristic substance region of the second characteristic substance.
  • FIG. 14C shows a feature material overlapping region of the first feature material and the second feature material.
  • FIG. 14D shows the characteristic substance existence region of the first characteristic substance and the second characteristic substance.
  • FIG. 15 is a flowchart showing the operation of the feature substance region extraction unit when a feature substance region for one feature substance is extracted and displayed.
  • FIG. 16 shows a block diagram of the feature substance region extraction unit.
  • FIG. 17A shows a part of a flowchart showing the operation of the feature substance region extraction unit when a plurality of feature substance regions are extracted and displayed.
  • FIG. 17B shows another part of the flowchart showing the operation of the feature substance region extraction unit when a plurality of feature substance regions are extracted and displayed.
  • FIG. 18 is a flowchart showing the internal flow of S10 shown in FIG. 17B.
  • FIG. 19 is a block diagram of a feature substance region extraction unit in which a visibility enhancement function selection switch is provided in the input unit.
  • FIG. 20 shows an absorption peak region PR, an absorption bottom region BR, and an absorption intermediate region MR defined in accordance with the modification of the first embodiment for the absorption spectrum of indigo carmine.
  • FIG. 21 shows an example of the light transmittance spectrum of the primary color filter used in the image sensor.
  • FIG. 22 shows an example of the spectrum of light transmittance of the complementary color filter used in the image sensor.
  • FIG. 23 shows a spectrum of light that can be emitted by the light source unit in the second embodiment.
  • FIG. 24 shows the absorption spectrum of crystal violet.
  • FIG. 25 shows the spectrum of illumination light in the single substance observation mode (crystal violet enhancement mode).
  • FIG. 20 shows an absorption peak region PR, an absorption bottom region BR, and an absorption intermediate region MR defined in accordance with the modification of the first embodiment for the absorption spectrum of indigo carmine
  • FIG. 26 shows a spectrum of light that can be emitted by the light source unit in the third embodiment.
  • FIG. 27 shows the absorption spectrum of Lugol's solution.
  • FIG. 28 shows the spectrum of illumination light in the single substance observation mode (Lugard liquid enhancement mode).
  • FIG. 29 shows a spectrum of illumination light in the single substance observation mode (Lugard liquid effect reduction mode).
  • FIG. 30 shows the spectrum of the emitted light of the light source unit in which the laser light source of the first embodiment is replaced with an LED light source.
  • FIG. 31 shows the spectrum of the narrowband light produced by the combination of the Xe lamp and the filter.
  • an endoscopic device refers to a medical endoscope device used for diagnosis of a living body, an industrial product used for observation in various other things such as industrial products, and a tube in various places.
  • the present invention is not limited to an endoscope apparatus, and generally refers to an apparatus including an insertion portion that can be inserted into a tube cavity of an observation object, such as a body cavity, and can observe an inner surface of the tube cavity.
  • FIG. 1 is a block diagram of an endoscope apparatus according to a first embodiment of the present invention.
  • the endoscope apparatus according to this embodiment includes a main body unit 110, a scope unit 120, an input unit 160, and a display unit 170. First, each configuration of the endoscope apparatus according to the present embodiment will be described.
  • the scope unit 120 has a flexible insertion unit 124 that can be inserted into an internal space of the observation object 190, such as a body cavity, and an operator such as a doctor, and operates the insertion unit 124 for observation work.
  • an operation unit 122 for connecting the main body 110 and the scope 120, and a connector 128 that enables the main body 110 to be attached and detached.
  • two illumination units 146 that emit illumination light toward the observation object 190, and imaging that receives the illumination light reflected or scattered on the surface of the observation object 190 and acquires an image Unit 152 is arranged.
  • the scope section 120 is provided with a light guide path, and guides laser light emitted from the light source section 132 provided in the main body section 110 to the illumination unit 146 provided at the distal end of the insertion section 124.
  • the light guide path includes, from the connector 128 side, one first optical fiber 140 provided in the connection cable 126 and a one-input two-output branch optical element 142 (1 ⁇ 2 branch) provided in the operation unit 122.
  • Optical element) and two second optical fibers 144 provided in the insertion portion 124.
  • the laser light emitted from the light source part 132 provided in the main body part 110 enters the scope part 120 via the connector 128, and the first optical fiber 140, the branch optical element 142, and the two second lights.
  • the light enters the two illumination units 146 via the fiber 144.
  • the branching optical element 142 has a function of distributing the light incident from one input end to the two output ends substantially equally for each wavelength. That is, the two second optical fibers 144 provided in the insertion unit 124 guide the laser light from the light source unit 132 divided into substantially equal light amounts for each wavelength to the two illumination units 146. .
  • the two lighting units 146 have substantially the same light conversion function.
  • the wavelength of the laser beam is not converted, but has a function of widening the radiation angle and shortening the coherence length.
  • Such a function can be realized by a diffusion plate or a member having diffusion particles, an optical element such as a lens, or a combination thereof.
  • the illumination unit 146 emits light with low coherence as illumination light with a wide radiation angle without changing the wavelength of the laser light emitted from the light source unit 132.
  • the imaging unit 152 provided at the distal end of the insertion portion 124 of the scope unit 120 has an imaging optical system and an imaging element.
  • the image sensor according to the present embodiment is, for example, a CMOS type image sensor, and RGB color filters are mounted in a general Bayer array.
  • the imaging device is a primary color filter type imaging device having a color filter that separately obtains light in three color regions of the R region, the G region, and the B region.
  • R pixels that are color pixels that are obtained by separating light in the R region G pixels that are color pixels that are obtained by separating light in the G region, and colors that are obtained by separating light in the B region.
  • This is a primary color filter type imaging device having B pixels as pixels.
  • the imaging unit 152 itself constitutes an imaging system that separately obtains an R image, a G image, and a B image.
  • the scope unit 120 is provided with an image signal line 154, and the image signal line 154 stores the image information of the observation object 190 acquired by the imaging unit 152 provided at the distal end of the insertion unit 124. Transmit up to.
  • the image signal line 154 extends into the insertion portion 124, the operation portion 122, and the connection cable 126, and is connected to the main body portion 110 via the connector 128.
  • the image signal line 154 may be anything as long as it can transmit an image signal.
  • the image signal line 154 can be configured by electrical wiring, an optical fiber for optical communication, or the like.
  • the image signal line 154 is depicted as being composed of one signal line in FIG. 1, it is composed of a plurality of signal lines depending on the amount of image signal to be transmitted and the required transmission speed. May be.
  • the insertion portion 124 in the present embodiment has a bending mechanism for bending the distal end portion, a forceps hole into which forceps for performing various treatments and the like can be inserted, a liquid and a gas are ejected, and an air supply / feeding device that can suck and suck
  • a bending mechanism for bending the distal end portion
  • a forceps hole into which forceps for performing various treatments and the like can be inserted
  • a liquid and a gas are ejected
  • an air supply / feeding device that can suck and suck
  • functions and mechanisms mounted on a general endoscope apparatus are mounted, but these are not shown in FIG. 1 for simplicity.
  • the main body 110 includes a light source unit 132 for emitting a plurality of types of narrowband light and a drive unit 134 for driving the light source unit 132.
  • the light source unit 132 includes a plurality of laser light sources LD1, LD2, LD3, and LD4 that emit laser light
  • the driving unit 134 includes driving circuits DRV1 to DRV4 for driving the laser light sources LD1 to LD4, respectively. Yes.
  • the laser light sources LD1 to LD4 are semiconductor light sources, for example, narrow-band semiconductor light sources that directly emit desired narrow-band light.
  • the narrow-band semiconductor light source is, for example, a semiconductor laser light source that emits laser light.
  • the main body 110 is also necessary for the illumination light control unit 136 that controls the amount of light emitted from the laser light sources LD1 to LD4 and the light emission timing via the drive circuits DRV1 to DRV4, and the image signal acquired by the imaging unit 152.
  • An image processing circuit 156 that performs image processing, and a memory 137 that stores illumination light control information and / or image processing information.
  • the illumination light control information includes, for example, the wavelength of laser light emitted in each observation mode described later, the light amount ratio of each wavelength, and the light emission timing.
  • the image processing information includes, for example, image parameters set in advance for each observation mode described later.
  • Each of the laser light sources LD1 to LD4 used in the present embodiment has a semiconductor laser element and a temperature stabilization unit for controlling the temperature of the semiconductor laser element.
  • the characteristics of the laser light sources LD1 to LD4 are as follows.
  • the laser light source LD1 emits blue-violet laser light having a wavelength of 405 nm. Its output is about 1.5W.
  • the laser light source LD2 emits blue laser light having a wavelength of 445 nm. Its output is about 3W.
  • the laser light source LD3 emits green laser light having a wavelength of 525 nm. Its output is about 3W.
  • the laser light source LD4 emits red laser light having a wavelength of 635 nm. Its output is about 3W.
  • the drive circuits DRV1 to DRV4 are electrically connected to the corresponding laser light sources LD1 to LD4, respectively. That is, as shown in FIG. 1, the drive circuit DRV1 is electrically connected to the laser light source LD1, the drive circuit DRV2 is electrically connected to the laser light source LD2, the drive circuit DRV3 is electrically connected to the laser light source LD3, and the drive circuit DRV4 is electrically connected to the laser light source LD4. ing.
  • the laser light sources LD1 to LD4 oscillate laser beams by currents from the drive circuits DRV1 to DRV4, respectively.
  • the driving circuits DRV1 to DRV4 are all electrically connected to the illumination light control unit 136.
  • the illumination light control unit 136 transmits control signals such as the amount of laser light and the light emission timing to each of the drive circuits DRV1 to DRV4, so that the amount of light of the laser light emitted from the laser light sources LD1 to LD4, the light emission timing, and the like.
  • the laser light sources LD1 to LD4 can emit the laser light independently of each other at the light amount and the light emission timing of the laser light. That is, the laser light sources LD1 to LD4 can be caused to oscillate or blink independently based on an observation mode and / or a display mode to be described later.
  • the optical combiner 138 in this embodiment is a 4 inputs 1 output, that is, a 4 ⁇ 1 optical combiner.
  • Laser light emitted from the laser light sources LD1 to LD4 is incident on the input end of the optical combiner 138 via an optical fiber connected to each of the laser light sources LD1 to LD4 and an internal connector (not shown). That is, the laser light sources LD1 to LD4 are optically connected to the four input ends of the optical combiner 138, respectively.
  • the four color laser beams incident on the optical combiner 138 are combined in the optical combiner 138 and emitted from one output end.
  • One output end of the optical combiner 138 is optically connected to the first optical fiber 140 via the connector 128. That is, the four color laser beams emitted from the laser light sources LD 1 to LD 4 are combined and made incident on the first optical fiber 140.
  • the four-color laser beams incident on the first optical fiber 140 are guided to the illumination unit 146 via the branch optical element 142 and the second optical fiber 144, and can be used with a wide radiation angle as described above.
  • the illumination light has low coherence and is irradiated toward the observation object 190. An example of the spectrum of this illumination light is shown in FIG.
  • the drive circuits DRV1 to DRV4 are electrically connected to the semiconductor laser elements included in the laser light sources LD1 to LD4, and supply a desired current to the semiconductor laser elements to cause the semiconductor laser elements to oscillate.
  • a laser light amount monitor (not shown) is provided in the main body 110, and the drive circuits DRV1 to DRV4 are set in accordance with the output values of the laser light amount monitor. The amount of current supplied to the semiconductor laser element is adjusted so that the laser light quantity is obtained.
  • the drive circuits DRV1 to DRV4 output control signals for controlling the temperature stabilization unit that controls the temperature of the semiconductor laser elements included in the laser light sources LD1 to LD4.
  • the temperature stabilizing unit can be constituted by, for example, a Peltier element thermally connected to the semiconductor laser element.
  • the drive circuits DRV1 to DRV4 control the Peltier elements and supply control signals and electric power so that the semiconductor laser elements have an appropriate temperature, for example, 25 ° C.
  • various methods are known for stabilizing the temperature of the semiconductor laser element, such as a method using a heat sink having a sufficient heat capacity and a method using forced air cooling. It is also preferable to use this method. Furthermore, a method of measuring the temperature of the semiconductor laser element with a temperature sensor and adjusting the amount of current supplied to the semiconductor laser element based on the measured temperature can also be used.
  • the temperature stabilization mechanism can be independently combined with each of the four laser light sources LD1 to LD4, and a plurality of laser light sources LD1 to LD4 can be combined with one temperature stabilization mechanism.
  • the illumination light control unit 136 is electrically connected to the drive circuits DRV1 to DRV4, and can control the amount of light independently or in conjunction with the laser light sources LD1 to LD4 via the drive circuits DRV1 to DRV4. It has become. The emission timing of each laser beam in this embodiment will be described later.
  • the image processing circuit 156 performs image processing for converting the image signal acquired by the imaging unit 152 and transmitted by the image signal line 154 into a signal that can be displayed by the display unit 170.
  • the image processing performs image processing suitable for illumination light selected according to an observation mode and a display mode, which will be described later, and allows the operator to display desired image information on the display unit 170 for confirmation.
  • the illumination light control unit 136 and the image processing circuit 156 are connected by an electric wiring (not shown), and the image processing circuit 156 obtains information on the light emission timing and the light amount of the illumination light as necessary and responds accordingly. Processing is performed on the image signal.
  • the connector 128 has a function of detachably connecting the scope section 120 and the main body section 110.
  • the connector 128 is necessary for functioning the endoscope apparatus in addition to the image signal line 154 that transmits the image signal, the optical fiber 140 that guides the laser light, and the power line (not shown) that supplies power to the imaging unit 152.
  • the electric wiring and / or the optical wiring have a function of being detachable electrically and / or optically. Further, it has a function of making it possible to attach and detach tube piping for sending gas or liquid necessary for the operation of the endoscope apparatus.
  • the laser light sources LD1 to LD4 each have one semiconductor laser element.
  • the present invention is not limited to this. It is also preferable to handle a combination of a plurality of semiconductor laser elements having substantially the same wavelength as one laser light source LD1 to LD4.
  • the optical combiner 138 of FIG. 1 is a 6 ⁇ 1 optical combiner with 6 inputs and 1 output, and 6 input terminals. These are preferably optically connected to a semiconductor laser element emitting green light from the laser light source LD3.
  • the main body 110 can be reduced in size, and the control system can be simplified and the power consumption can be reduced. I can do it.
  • the display unit 170 displays an image of the observation object 190 acquired by the imaging unit 152 mounted on the scope unit 120 and subjected to image processing by the image processing circuit 156 mounted on the main body unit 110.
  • the display unit 170 can be composed of various commonly used display devices such as a liquid crystal monitor.
  • the display unit 170 and the main unit 110 are electrically connected by an electrical wiring 184.
  • Image information obtained by processing the image signal acquired by the imaging unit 152 included in the scope unit 120 and transmitted through the image signal line 154 by the image processing circuit 156 included in the main body unit 110 is displayed on the display unit via the electric wiring 184. 170 is transmitted.
  • the display unit 170 displays this image information for the worker.
  • the electrical wiring 184 connecting the display unit 170 and the main body unit 110 is depicted as being configured by a single signal line, but is not limited thereto.
  • the electrical wiring 184 may be composed of two or more electrical wirings as necessary. Further, in FIG. 1, illustration of electrical wiring for supplying electric power necessary for the operation of the display unit 170 is omitted for simplicity.
  • the input unit 160 is used when selecting or switching an observation mode and / or a display mode to be described later.
  • the input unit 160 includes an observation mode selection unit 162 for selecting an observation mode and a display mode selection unit 164 for selecting a display mode.
  • An operator who observes the observation object 190 such as a doctor, sets or selects an observation mode and / or display mode by operating the input unit 160 when starting observation or when changing the current observation mode or display mode. To do.
  • Information regarding the observation mode input from the observation mode selection unit 162 is transmitted to the illumination light control unit 136 and the image processing circuit 156.
  • Information regarding the display mode input from the display mode selection unit 164 is transmitted to the image processing circuit 156.
  • the most frequently used mode is automatically selected as the default for the observation mode and the display mode.
  • the white observation mode using white light is selected as the observation mode
  • the standard display mode for displaying only the white observation image and general information such as date and patient name is selected as the display mode.
  • the observation mode and the display mode will be described later.
  • the input unit 160 can be composed of various commonly used input devices. In the present embodiment, a normal keyboard or a touch panel type input device is used.
  • the input unit 160 is connected to the main body unit 110 by an electrical wiring 182.
  • Input information from the input unit 160 that is, information regarding the observation mode and / or the display mode is transmitted to the main body 110 through the electric wiring 182.
  • the input information transmitted to the main body 110 is transmitted to the illumination light control unit 136 and / or the image processing circuit 156 through a signal line (not shown).
  • the illumination light control unit 136 controls the light amounts and light emission timings of the laser light sources LD1 to LD4 based on the received input information.
  • the image processing circuit 156 processes the image signal from the imaging unit 152 based on the received input information and transmits the image signal to the display unit 170.
  • the input unit 160 is assumed to be configured as an independent unit, but is not limited thereto.
  • the input unit 160 can be incorporated in the operation unit 122 of the scope unit 120.
  • the input information is transmitted to the main body 110 via the connection cable 126 and the connector 128.
  • the input unit 160 can also be provided on the display unit 170. At this time, all of the input unit 160 can be provided in the display unit 170 and the operation unit 122, or a part of the input unit 160 can be provided in the display unit 170 and the operation unit 122.
  • the present invention is not limited thereto.
  • the input unit 160 and the main unit 110 can be connected by an optical wiring or the like, or can be connected by a general wireless connection using radio waves or infrared rays.
  • the operator turns on the power.
  • the power is turned on, it is confirmed whether or not the apparatus is normal by a self-check circuit or the like as in a normal endoscope apparatus.
  • a predetermined current is supplied from the drive circuits DRV1 to DRV4 to the laser light sources LD1 to LD4, and the laser light sources LD1 to LD4 are warmed so as to be stabilized.
  • the worker takes out the scope unit 120 stored separately from the main body unit 110 and connects the connector 128 of the scope unit 120 to the main body unit 110.
  • the main body 110 confirms the type of the connected scope and the like, as in a normal endoscope apparatus, and confirms the observation mode that can be realized by the combination of the main body 110 and the scope 120.
  • the illumination light control section 136 provided in the main body section 110 drives the drive circuit DRV1 so that at least one of the laser light sources LD1 to LD4 is lit with an observable light amount.
  • which laser light sources LD1 to LD4 are turned on is determined for each observation mode (described later) set in advance, and which laser light source in which observation mode is stored in the memory 137 provided in the main body 110. Information such as whether to turn on LD1 to LD4 and which observation mode is the default observation mode is stored.
  • the illumination light control unit 136 controls the drive circuits DRV1 to DRV4 to emit the laser light sources LD1 to LD4 with the wavelength and light amount ratio of the white observation mode. Send.
  • the laser light sources LD1 to LD4 corresponding to the observation mode input by the operator are turned on with a light amount corresponding to the observation mode regardless of the default setting.
  • the illumination light control unit 136 transmits a control signal to the drive circuits DRV1 to DRV4.
  • the drive circuits DRV1 to DRV4 respectively supply drive currents to the laser light sources LD1 to LD4 so that the corresponding laser light sources LD1 to LD4 emit light with the light amount and timing according to the control signal from the illumination light control unit 136, respectively.
  • the drive circuits DRV1 to DRV4 store information on the relationship between the drive current and the amount of emitted light of the laser light sources LD1 to LD4 and the relationship between the drive current and the oscillation wavelength, which are stored in the memory 137 provided in the main body 110. These are controlled with reference to information such as basic characteristics and individual differences of the laser light sources LD1 to LD4.
  • control signals of the laser light sources LD1 to LD4 are sequentially transmitted to the drive circuits DRV1 to DRV4.
  • the drive circuits DRV1 to DRV4 refer to a timing circuit (not shown) in the main body 110, etc.
  • the laser light sources LD1 to LD4 are controlled to synchronize with each other and emit light at a desired timing and light quantity.
  • the laser light sources LD1 to LD4 oscillate in accordance with the drive current supplied from the drive circuits DRV1 to DRV4, and emit laser light having a predetermined wavelength.
  • the temperatures of the laser light sources LD1 to LD4 are controlled to desired values by a laser temperature stabilizing unit (not shown) such as a Peltier element. This makes it possible to cause the laser light sources LD1 to LD4 to emit light at a stable temperature regardless of the environmental temperature, and to stabilize the light amount with respect to the wavelength of the laser light and the drive current.
  • Laser light emitted from the laser light sources LD1 to LD4 is incident on each incident end of the optical combiner 138 connected to each of the laser light sources LD1 to LD4, and travels toward the multiplexing portion of the optical combiner 138.
  • the laser beams emitted from the laser light sources LD1 to LD4 are combined by the optical combiner 138 and enter the first optical fiber 140 that is one optical fiber.
  • the laser light incident on the first optical fiber 140 enters the scope unit 120 via the connector 128 and reaches the branching optical element 142 disposed in the operation unit 122.
  • the branching optical element 142 distributes the light incident from one incident end to 1: 1 regardless of the wavelength and makes the light incident on the two second optical fibers 144.
  • the laser beams emitted from the laser light sources LD1 to LD4 are branched so that the light quantity ratio is 1: 1 for each wavelength, and enter the two second optical fibers 144.
  • the laser light from the laser light sources LD1 to LD4 incident on each of the two second optical fibers 144 is guided to the two illumination units 146 provided at the distal end of the insertion portion 124 of the scope portion 120.
  • the two illumination units 146 have substantially the same light conversion characteristics, and the laser beams guided by the two second optical fibers 144 have substantially the same spectrum and light amount, respectively.
  • Illumination light emitted from the two illumination units 146 is light having substantially the same brightness, spectrum, light distribution, coherence length, and the like.
  • the illumination light emitted from the two illumination units 146 is partly reflected or scattered on the surface of the observation object 190, and part of the illumination light travels inside the observation object 190 and is reflected or scattered.
  • a part of the reflected or scattered light is incident on the imaging unit 152 provided at the distal end of the insertion part 124 of the scope part 120. That is, the imaging unit 152 captures an image of the inner surface of the observation object 190 illuminated by the illumination light emitted from the illumination unit 146.
  • the image pickup unit 152 has an image pickup device having a Bayer array RGB color filter.
  • the captured image of the inner surface of the observation object 190 is converted into an electric signal by the image sensor and transmitted to the image processing circuit 156 in the main body 110 via the image signal line 154 provided in the scope unit 120. Is done.
  • the image processing circuit 156 receives the image signal acquired by the imaging unit 152 and transmitted through the image signal line 154, and performs appropriate image processing. Image processing may differ depending on an observation mode and / or a display mode described later. The image processing circuit 156 performs appropriate image processing based on the observation mode and / or display mode set by default or based on the observation mode and / or display mode input from the input unit 160 by the operator. . The relationship between the observation mode and / or the display mode and the image processing to be performed is stored in a memory 137 provided in the main body 110.
  • the memory 137 may be provided in the image processing circuit 156. Further, the memory 137 may be provided in the scope unit 120 instead of being provided in the main body unit 110.
  • the image processing circuit 156 adjusts the image processing based on the light emission patterns from the laser light sources LD1 to LD4 controlled by the illumination light control unit 136, that is, the wavelength information, the light amount ratio between wavelengths, the light emission timing, and the like. There is. Information about what kind of image processing is performed in what kind of light emission pattern is stored in a memory 137 provided in the main body 110.
  • the image information processed by the image processing circuit 156 is transmitted to the display unit 170 via the electrical wiring 184.
  • the display unit 170 displays the transmitted image information.
  • the display unit 170 also displays the observation mode and / or display mode information input from the input unit 160. Further, the display unit 170 can display various information such as information on the observation object 190, observation date and time, and time required for observation. These pieces of information include information stored in a memory 137 provided in the main body 110, clock and timer information, information input from the input unit 160, and the like.
  • the surgeon inserts the insertion unit 124 into the observation object 190 while operating the insertion unit 124 and the operation unit 122 of the scope unit 120, and observes an image of the inner surface of the observation object 190 displayed on the display unit 170.
  • the operator inputs information from the input unit 160 as necessary, or selects an observation mode and / or a display mode.
  • the endoscope apparatus supports the surgeon's observation work by appropriately performing the processing described above in conjunction with the operator's input information.
  • the endoscope apparatus can perform observation in a plurality of observation modes, and can perform display in a plurality of display modes.
  • each of the observation mode and the display mode will be described in detail in order.
  • the endoscope apparatus can perform observation in a plurality of characteristic substance observation modes that can observe characteristic substances that may exist in the observation object 190 with good contrast in addition to observation in the normal white observation mode. It is possible.
  • the feature substance observation mode of the present embodiment includes one substance observation mode (hemoglobin enhancement mode), one substance observation mode (indigo carmine enhancement mode), two substance observation mode (hemoglobin-indigo carmine enhancement mode), and illumination light sequential irradiation mode.
  • the one-substance observation mode and the two-substance observation mode are modes in which the characteristic substance can be observed with better contrast than the white observation mode. That is, the endoscope apparatus according to the present embodiment can perform observation in five observation modes.
  • the observation mode can be selected by inputting information from the observation mode selection unit 162 of the input unit 160.
  • Information regarding the observation mode input from the observation mode selection unit 162 is transmitted to the illumination light control unit 136 and the image processing circuit 156.
  • the illumination light control unit 136 and / or the image processing circuit 156 reads necessary illumination light control information and / or image processing information from the memory 137 based on the information regarding the observation mode transmitted from the input unit 160, and performs necessary illumination. Operates based on light control information and / or image processing information.
  • the characteristic substance is, for example, a substance derived from the observation object contained in the observation object.
  • the substance derived from the observation object is not limited to this, but may be hemoglobin, for example.
  • the characteristic substance may also be, for example, a substance derived from the outside that is sprayed, administered, or applied to the observation object.
  • the substance derived from the outside may be, for example, a pigment used for living body observation.
  • the dye is not limited to this, but may be, for example, indigo carmine, crystal violet, or lugol solution.
  • Such a pigment is dispersed toward an observation object through a tube provided inside the endoscope apparatus. The location of spraying, the concentration of the pigment, etc. are set based on the pigment used.
  • NBI Near Band Imaging
  • crystal violet when crystal violet is applied, the nucleus of the cell is stained, and thus the surface pattern is lifted.
  • biological features are emphasized in image enhancement observation to improve visibility.
  • Lugol's solution is an example of emphasizing biological characteristics, such as staining the entire mucous membrane but not the lesion.
  • the substance derived from the outside may be a drug.
  • the drug is not limited to this, but may be a drug that accumulates in a tumor or the like, such as a fluorescent marker.
  • a fluorescent marker By administering a fluorescent marker and observing with illumination light having a wavelength emitted by the fluorescent marker, a lesioned part such as a tumor can be highlighted.
  • Various drugs are currently being developed. Administration is carried out by injection, infusion, or oral administration.
  • image enhancement observation Observation that obtains an image in which the site to be observed is emphasized by using NBI or dyeing or administration or application of a drug is known as image enhancement observation.
  • a pigment such as indigo carmine, crystal violet, or lugol solution is a biological characteristic substance that enhances the visibility by enhancing the biological characteristics in image enhancement observation.
  • a drug that accumulates in a tumor or the like, or a drug that can emphasize cracks, rust, or the like is a structure-emphasizing feature substance that enhances visibility by enhancing structural features in image-enhanced observation.
  • the object observed by the characteristic substance is sometimes referred to as a generation source in this specification.
  • the wavelength and ratio of the laser light emitted in each observation mode, the processing of the image processing circuit 156, and the like are programmed in advance and stored in the memory 137 provided in the main body 110.
  • the memory 137 may be provided in the input unit 160 instead of being provided in the main body unit 110.
  • Laser light or narrow-band light applied to the observation object in order to observe the characteristic substance with good contrast is selected based on the absorption spectrum of the characteristic substance. That is, in order to observe hemoglobin with good contrast, laser light or narrow-band light in a wavelength region where absorption by hemoglobin is relatively large is irradiated. In addition, in order to observe indigo carmine with good contrast, laser light or narrow-band light in a wavelength region where absorption by indigo carmine is relatively large is irradiated.
  • the white observation mode is close to a so-called normal light observation mode generally performed in conventional endoscope observation.
  • the illumination light control unit 136 turns on all the laser light sources LD1 to LD4.
  • the spectrum of the illumination light is discrete, which is unique to the laser, but has color components in each of the RGB color regions.
  • the image pickup device included in the image pickup unit 152 used in the present embodiment is a CMOS image pickup device having a Bayer array RGB color filter as described above.
  • the RGB color regions that is, the wavelength region of the R image, that is, the R region, the wavelength region of the G image, that is, the G region, and the wavelength region of the B image, that is, the B region, are determined by the wavelength sensitivity region of the color filter mounted on the image sensor.
  • the B region is a region having a wavelength of 400 to 480 nm
  • the G region is a region having a wavelength of 480 to 580 nm
  • the B region is a region having a wavelength of 580 to 700 nm.
  • the R region includes red laser light having a wavelength of 635 nm emitted from the laser light source LD4, and the G region includes green laser light having a wavelength of 525 nm emitted from the laser light source LD3.
  • the region includes blue-violet laser light having a wavelength of 405 nm emitted from the laser light source LD1 and blue laser light having a wavelength of 445 nm emitted from the laser light source LD2.
  • the illumination light is white light as a whole.
  • the light quantity ratio of the laser light sources LD1 to LD4 can be adjusted as appropriate according to the observation object 190, the spectral sensitivity characteristics of the imaging unit 152 mounted on the scope unit 120, and the operator's preference.
  • the ratio between the light quantity Q1 of the laser light source LD1 (405 nm), the light quantity Q2 of the laser light source LD2 (445 nm), the light quantity Q3 of the laser light source LD3 (525 nm) and the light quantity Q4 of the laser light source LD4 (635 nm) is expressed as Q1: Q2: Q3.
  • Q4 1: 2: 2: 2 etc., it can be made almost white. It is also possible to set a light quantity ratio that becomes white by a general white balance method.
  • these laser beams are emitted simultaneously and irradiated from the illumination unit 146 toward the observation object 190.
  • continuous light emission may be used, or in consideration of power saving, image unevenness, and the like, a measure such as turning off the readout period of the image sensor may be performed.
  • the image information of the observation object 190 when the observation object 190 is irradiated with such substantially white illumination light is as follows.
  • the illumination light of the laser light source LD1 (405 nm) and the laser light source LD2 (445 nm) is reflected and scattered by the observation object 190, enters the imaging device, and is detected to generate a B image.
  • the laser light source LD3 (525 nm) generates a G image
  • the laser light source LD4 (635 nm) generates an R image.
  • RGB images are subjected to image processing set in advance by the image processing circuit 156.
  • the display unit 170 displays the image information processed by the image processing circuit 156 as a color image of the observation object 190.
  • the white observation mode is a mode in which a general white image can be acquired and observed by causing all the laser light sources LD1 to LD4 to emit light.
  • the spectral line width thereof is as thin as about 1 nm. This is not only excellent in monochromaticity, but if it matches the absorption characteristics of the characteristic substance contained in the observation object 190, an observation image of white illumination having a broad spectrum such as a widely used xenon lamp In comparison, the characteristic substance can be displayed with good contrast.
  • This observation mode is an observation mode that uses illumination light having a wavelength that matches the absorption characteristics of hemoglobin in order to observe a region where a large amount of hemoglobin exists, that is, a blood vessel, with good contrast.
  • the absorption spectrum of hemoglobin has light absorption characteristics as shown in FIG. That is, the absorption spectrum has maximum values at wavelengths of 415 nm, 540 nm, and 580 nm, and has minimum values at wavelengths of 500 nm, 560 nm, and 670 nm.
  • an absorption peak region PR and an absorption bottom region BR are defined by wavelength.
  • the RGB wavelength regions in the present embodiment are a region in which the B region has a wavelength of 400 to 480 nm, a region G in which the wavelength is 480 to 580 nm, and a region B in which the wavelength is 580 to 700 nm.
  • a region having the following light absorption intensity is defined as an absorption bottom region BR.
  • the absorption peak region PR is a wavelength region in which the absorption of hemoglobin is relatively large in the color region, if light within this wavelength region is used, a blood vessel that contains a lot of hemoglobin absorbs this light more, so the absorption bottom region Compared with the light in BR, an image having a high contrast with respect to surrounding tissues can be acquired.
  • the absorption bottom region BR is a wavelength region in which the absorption of hemoglobin is relatively small in the color region. Therefore, when light in this wavelength region is used, an image with a low contrast of blood vessels containing a large amount of hemoglobin can be acquired.
  • the absorption peak region PR is 400 to 440 nm in the B region, 520 to 555 nm and 570 to 580 nm in the G region, and 580 to 605 nm in the R region.
  • the absorption bottom region BR is 440 to 480 nm in the B region, 480 to 520 nm and 555 to 570 nm in the G region, and 605 to 700 nm in the R region.
  • the emission wavelength ⁇ 2 of the laser light source LD2 is included in the absorption bottom region BR of the B region, and the emission wavelength ⁇ 4 of the laser light source LD4 is included in the absorption bottom region BR of the R region.
  • the laser light source LD1 (405 nm) and the laser light source LD3 (525 nm) are turned on.
  • the FIG. 4 shows the spectrum of illumination light in the single substance observation mode (hemoglobin enhancement mode). By using such illumination light, it is possible to acquire an image with high contrast of blood vessels containing a lot of hemoglobin.
  • the laser beam having a wavelength of 405 nm and the laser beam having a wavelength of 525 nm are narrowband light selected based on the absorption spectrum of hemoglobin.
  • the light emitted from the laser light source LD1 (405 nm) is absorbed or scattered on the surface of the living body, many light components are absorbed or scattered compared to the light emitted from the laser light source LD3 (525 nm). It contains more image information.
  • the light emitted from the laser light source LD3 (525 nm) travels from the middle layer to the deep layer of the living body and is absorbed or scattered as compared with the light emitted from the laser light source LD1 (405 nm). It contains information on thick blood vessels.
  • these laser lights are emitted simultaneously and irradiated from the illumination unit 146 toward the observation object 190.
  • it can be determined in the same manner as in the white observation mode whether continuous light emission is performed or whether the reading period of the image sensor is turned off. Whether to emit light continuously or not may be the same as in the white observation mode, or may be set individually such that one is continuously emitted and the other is turned off during the readout period.
  • the laser light source LD1 and the laser light source LD3 are turned on, and the laser light source LD2 and the laser light source LD4 are turned off.
  • the laser light source LD4 may be further turned on in addition to the laser light sources LD1 and LD3.
  • the red light having a wavelength of 635 nm of the laser light source LD4 is relatively hardly absorbed or scattered, the contrast of blood vessels including hemoglobin is not impaired.
  • the laser light source LD2 may be turned on.
  • all of the laser light sources LD1 to LD4 may be turned on.
  • Q1: Q2: Q3: Q4 4: 1: 2: 2. That is preferred.
  • the operator himself can select and adjust through the input unit 160, and maintenance personnel can select and adjust using a hidden command or the like. It is also possible to make it possible. Furthermore, it is also preferable to be able to select and adjust remotely by firmware update or the like.
  • hemoglobin has two states, namely, oxygenated hemoglobin bonded to oxygen and reduced hemoglobin from which oxygen is released. Although the absorption spectra of these two states are slightly different, in consideration of the following points, in the present invention, the two states are regarded as one characteristic substance.
  • ⁇ Hemoglobin in two states is almost inside the blood vessel. That is, the existence regions are substantially equal, and only the existence ratios are different.
  • Indigo carmine is a kind of pigment solution and has an amber color, and is used to emphasize unevenness on the surface of living tissue by using the pool. That is, since indigo carmine accumulates in the concave portion, the concave portion looks amber, and the concave portion is image-enhanced and observed with respect to the convex portion or flat portion exhibiting a skin color to red, thereby improving visibility. That is, it can be observed with good contrast. However, since the color of the living tissue can be seen through a shallow concave portion or the like, sufficient contrast may not be obtained with ordinary white light. In such a case, using this observation mode makes it possible to improve the contrast as compared with the case of observation with normal white light.
  • the absorption spectrum of indigo carmine has light absorption characteristics as shown in FIG. Similarly to hemoglobin, in the absorption spectrum of indigo carmine, the intermediate value between the maximum value and the minimum value of the light absorption intensity is set as a threshold, and the wavelength region having a light absorption intensity higher than that is the absorption peak region PR, and the light absorption lower than that. A wavelength region having intensity is defined as an absorption bottom region BR.
  • indigo carmine hardly absorbs light in the B region. That is, the difference between the maximum value and the minimum value of the light absorption intensity is small compared to the other two regions. Also, no obvious peak (maximum) or bottom (minimum) is found. For this reason, the entire region B is defined as the absorption bottom region BR. In addition, when it seems that the contrast of the acquired image does not change greatly regardless of which light in the wavelength region is used, the entire color region is preferably used as the absorption bottom region BR or the absorption peak region PR. It is.
  • the difference between the maximum value and the minimum value of the light absorption intensity in the color region is a fraction or less compared to the difference between the maximum value and the minimum value of the light absorption intensity in the other color regions.
  • the absorption spectrum has no obvious peak (maximum) or bottom (minimum), and is suitable for a gentle case. It is particularly preferable that the difference between the maximum value and the minimum value of the light absorption intensity in the color region is 1/10 or less compared to the difference between the maximum value and the minimum value of the light absorption intensity in other color regions.
  • the difference between the maximum value and the minimum value of the light absorption intensity in the G and R color areas is compared with the difference between the maximum value and the minimum value of the light absorption intensity in the B color area. If a clear peak wavelength (540 nm, 580 nm) is seen in both the G region and the R region, it is not preferable to define the entire region as the absorption bottom region BR. This is because when a peak (maximum) or a bottom (minimum) is present, it is possible to obtain an image having a significantly higher or lower contrast at the peak or bottom compared to light of the surrounding wavelengths.
  • indigo carmine emphasizes unevenness by collecting in the recess.
  • the light is absorbed in the concave portion where indigo carmine is accumulated, and is not absorbed except in the concave portion. Therefore, the contrast between the concave portion and the region other than the concave portion is higher than in the white observation mode. It is possible to improve.
  • the contrast with the region other than the concave portion can be made lower than in the white observation mode. Become. That is, even after applying indigo carmine, it is possible to obtain an image with a contrast close to that before applying indigo carmine.
  • the absorption peak region PR of indigo carmine according to the present embodiment does not exist in the B region, and is 550 to 580 nm in the G region and 580 to 665 nm in the R region.
  • the absorption bottom region BR is 400 to 480 nm, which is the entire region in the B region, 480 to 550 nm in the G region, and 665 to 700 nm in the R region.
  • the emission wavelength ⁇ 1 of the laser light source LD1 and the emission wavelength ⁇ 2 of the laser light source LD2 are included in the absorption bottom region BR of the B region, and the emission wavelength ⁇ 3 of the laser light source LD3 is included in the absorption bottom region BR of the G region.
  • the emission wavelength ⁇ 4 of the laser light source LD4 is included in the absorption peak region PR in the R region.
  • FIG. 6 shows the spectrum of illumination light in the single substance observation mode (indigo carmine enhancement mode).
  • the laser beam having a wavelength of 635 nm is narrowband light selected based on the absorption spectrum of indigo carmine.
  • the present invention is not limited to this.
  • at least one of the laser light source LD1 and the laser light source LD2 and the laser light source LD3 may be turned on.
  • the ratio of the light quantity of each wavelength the ratio of the light quantity Q1 of the laser light source LD1 (405 nm), the light quantity Q2 of the laser light source LD2 (445 nm), the light quantity Q3 of the laser light source LD3 (525 nm) and the light quantity Q4 of the laser light source LD4 (635 nm).
  • This observation mode is an observation mode suitable for the case where it is desired to simultaneously observe two characteristic substances of the observation object 190 with good contrast.
  • illumination light having a wavelength that matches the absorption characteristics of both hemoglobin and indigo carmine is used. Observation mode.
  • the emission wavelength ⁇ 1 (405 nm) of the laser light source LD1 and the emission wavelength ⁇ 3 (525 nm) of the laser light source LD3 are included in the absorption peak region PR of hemoglobin.
  • the emission wavelength ⁇ 4 (635 nm) of the laser light source LD4 is included in the absorption peak region PR of indigo carmine.
  • the light emitted from the laser light source LD1 and the light emitted from the laser light source LD3 can depict hemoglobin with good contrast, and the light emitted from the laser light source LD4 can draw indigo carmine with good contrast.
  • FIG. 7 shows the spectrum of illumination light in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode).
  • the light quantity ratio as described above is suitable.
  • the light amount of the narrow band light selected based on the absorption spectrum of the characteristic substance is changed to the narrow band selected based on the absorption spectrum of the other characteristic substance. It is preferable to increase the relative light compared with the band light.
  • a feature material whose contrast is to be improved is called a feature material of interest
  • the light amount of narrowband light selected based on the feature material of interest is changed to the light amount of narrowband light selected based on the other feature material. It is preferable to control the light source unit 132 so as to increase it.
  • the light quantity ratio is configured to be continuously adjustable.
  • the adjustment of the light quantity ratio is configured such that the operator can input information through the input unit 160, for example.
  • the light receiving sensitivities of the image pickup elements in the RGB color regions are different, it is also preferable to adjust the light amount ratio in consideration of this. In order to reduce the operator's uncomfortable feeling, it is also preferable to adjust the light amount ratio so that the illumination light is close to white light.
  • each laser beam is irradiated onto the surface of the observation object 190 through the light guide as described above. Further, a part of the light reflected or scattered by the surface of the observation object 190 or the like is detected by the imaging unit 152 and becomes an image signal.
  • the image signal is transmitted to the image processing circuit 156 in the main body 110 via the image signal line 154.
  • the image processing circuit 156 constructs image information of the observation object 190 based on these RGB image signals.
  • the one-substance observation mode (hemoglobin enhancement mode) described above
  • the one-substance observation mode (indigo carmine enhancement mode).
  • the image information equivalent to the image can be obtained. That is, in this observation mode, one wavelength is assigned to each RGB color region of the color filter of the image sensor, so that the B and G images with improved hemoglobin contrast and indigo carmine are emphasized. R images can be acquired independently and simultaneously.
  • the B image is an image in which the surface blood vessels are emphasized by the laser beam having a wavelength of 405 nm, but the indigo carmine is not emphasized, and the G image is Medium to deep blood vessels are emphasized by laser light with a wavelength of 525 nm, but indigo carmine is not emphasized, and the R image does not emphasize hemoglobin (blood vessels) by laser light with a wavelength of 635 nm.
  • Indigo carmine is an enhanced image.
  • the laser light sources LD1, LD3, and LD4 are turned on at the same time, so that both the hemoglobin emphasized image and the indigo carmine emphasized image are acquired simultaneously. For this reason, an image with high contrast between the two characteristic substances can be acquired at the same time with respect to the observation object 190, the characteristic substance, and the like that change in movement and time. As a result, image blurring and color misregistration do not occur, and there is no sense of incongruity when images with high contrast between two characteristic substances are displayed in a superimposed manner or displayed as a color image.
  • the illumination light used in this observation mode is emitted in the one-substance observation mode (hemoglobin enhancement mode) by adding red light having a wavelength of 635 nm, or in the one-substance observation mode (indigo carmine enhancement mode).
  • This is similar to the illumination light used in the single substance observation mode in consideration of color, for example, when light having a wavelength of 405 nm and light having a wavelength of 525 nm is additionally emitted.
  • the light quantity ratio is adjusted so that the main focus is on simultaneously observing both hemoglobin and indigo carmine with good contrast.
  • the light amount ratio is adjusted to focus on the color tone. They are different in this respect. However, in the case where the contrast of the other party is not substantially affected as in the present embodiment, both may have substantially the same light amount ratio. In this case, image processing and a display mode to be described later are different.
  • Illumination light sequential irradiation mode Unlike the above-described observation mode in which the observation purpose is clarified, this observation mode is used when all the laser light sources LD1 to LD4 included in the light source unit 132 of the endoscope apparatus are irradiated alone. In this mode, all the images are acquired and a desired image can be displayed by image processing, a display mode described later, or the like.
  • laser light having a wavelength of 405 nm laser light having a wavelength of 445 nm, laser light having a wavelength of 525 nm, and laser light having a wavelength of 635 nm can be used.
  • the image pickup device 152 has an RGB Bayer array primary color imager.
  • the B region has a wavelength of 400 to 480 nm
  • the G region has a wavelength of 480 to 580 nm
  • the B region has a wavelength of 580 to 700 nm. ing.
  • the illumination light control unit 136 controls the laser light sources LD1 to LD4 so that the laser light sources LD1 to LD4 are repeatedly turned on and off at the timing shown in FIG.
  • the light emission timing of each of the laser light sources LD1 to LD4 is set based on the wavelength relationship of the laser light emitted from the laser light sources LD1 to LD4 and the spectral characteristics of the image sensor included in the image pickup unit 152.
  • FIG. 8 is a timing chart in which time is taken on the horizontal axis, and shows the timing of turning on and off the laser light sources LD1 to LD4.
  • the timing at which any one of the laser light sources LD1 to LD4 is lit is denoted as Ta1, Tb1, Ta2, Tb2, Ta3, Tb3,.
  • Ta1, Tb1, Ta2, Tb2, Ta3, Tb3,... are periodic timings, and the interval between Ta1 and Tb1, the interval between Tb1 and Ta2, and so on are equal to the frame rate of the image sensor. All the laser light sources LD1 to LD4 are turned off at a timing corresponding to the readout time of the image sensor.
  • the illumination light control unit 136 turns on the laser light source LD1 and the laser light source LD3 at the first timing Ta1, and turns on the laser light source LD2 and the laser light source LD4 at the second timing Tb1.
  • Each period from the first timing Ta1 to the next first timing Ta2 is one cycle, and each of the laser light sources LD1 to LD4 repeats turning on and off in this cycle.
  • the light with a wavelength of 405 nm emitted from the laser light source LD1 is included in the B region of the image sensor, and the light with a wavelength of 525 nm emitted from the laser light source LD3 is included in the G region of the image sensor. For this reason, even if the laser light source LD1 and the laser light source LD3 are turned on simultaneously, they can be obtained as independent image information.
  • light having a wavelength of 445 nm emitted from the laser light source LD2 is included in the B region of the image sensor, and light having a wavelength of 635 nm emitted from the laser light source LD4 is included in the R region of the image sensor.
  • the laser light source LD2 and the laser light source LD4 are turned on simultaneously, they can be obtained as independent image information.
  • an image with a wavelength of 405 nm by the laser light source LD1 an image with a wavelength of 445 nm by the laser light source LD2
  • an image with a wavelength of 525 nm by the laser light source LD3 a laser Images with a wavelength of 635 nm by the light source LD4 can be acquired independently.
  • the other laser light sources LD3 and LD4 may be turned on at any timing. Absent.
  • the two laser light sources LD1 to LD4 are set to be turned on at the respective timings.
  • FIG. 9 shows an emission spectrum of the light source unit 132 at the timing Ta1
  • FIG. 10 shows an emission spectrum of the light source unit 132 at the timing Tb1.
  • images in all the observation modes (1) to (4) described above can be constructed by the image processing circuit 156 and displayed on the display unit 170.
  • the above observation mode is an example, and various applications such as a continuous image acquisition mode in which these are sequentially repeated, and a light amount ratio change image acquisition mode in which images with different light amount ratios are sequentially acquired in the same observation mode are possible.
  • the display mode is a mode in which the operator finally selects an image that the operator wants to observe, and the selected image is displayed on the display unit 170.
  • the display mode has an image number selection mode for selecting how many observation images are simultaneously displayed on the display unit 170 and an image type selection mode for selecting what kind of image is displayed.
  • the display mode includes an image number selection mode for selecting the number of images simultaneously displayed on the display unit 170, and an image type selection for selecting the type of image acquired in each observation mode displayed on the display unit 170. Mode. Both of these are selected by inputting information from the display mode selection unit 164. Information regarding the display mode input from the display mode selection unit 164 is transmitted to the image processing circuit 156.
  • Information on image types that can be displayed in each display mode is stored in the memory 137 in advance. In each display mode, only image types that can be displayed based on the selected observation mode can be selected based on information stored in the memory 137 in advance.
  • the number of images can be freely selected except for restrictions such as monitor size and resolution. For example, it is possible to simultaneously display a desired number of images by increasing the number of display units 170.
  • the image type can be basically selected from among image types that can be realized by the endoscope apparatus. It is also possible to select the same image type with different time and observation location.
  • the image number selection mode includes a single image display mode for displaying only one image, a two-image display mode for simultaneously displaying two observation images, and three or more images. Are displayed at the same time. Further, in the multi-image display mode, the number of images to be displayed can be input by inputting how many images are to be displayed. In the two-image display mode and the multi-image display mode, it is finely set whether to display multiple images at the same size, display one image or several images larger, and display other images smaller. Is possible.
  • the image type selection mode in the present embodiment is based on the direct display submode for directly displaying the image obtained in the above-described observation mode and the image information obtained in the used observation mode. And an image processing display submode for performing predetermined image processing.
  • the direct display submode among the above-described observation modes, (1) white observation mode, (2) single substance observation mode (hemoglobin enhancement mode), (3) single substance observation mode (indigo carmine enhancement mode), (4) Images obtained in the four observation modes of the two-substance observation mode (hemoglobin-indigo carmine enhancement mode) are directly displayed.
  • an image displayed in the direct display submode is set depending on the type of the selected observation mode.
  • illumination light necessary for obtaining an image to be observed is irradiated, and an image subjected to necessary image processing is displayed on the display unit 170 as it is, so that a desired image can be efficiently displayed without waste. It becomes possible to do.
  • a desired image can be obtained by performing appropriate image processing using the image information obtained in the selected observation mode. That is, an image in the selected observation mode can be displayed in the direct display submode, but an observation image other than the selected observation mode can be displayed in the image processing display submode. Also, an image that is not set in the observation mode can be displayed.
  • the observation images that can be constructed and displayed in the image processing display submode are determined for each observation mode.
  • the B image is an image by the laser light source LD1 (405 nm) and the laser light source LD2 (445 nm)
  • the G image is the laser light source LD3
  • the image and R image by 525 nm are images by the laser light source LD4 (635 nm).
  • an image in (3) single substance observation mode (indigo carmine enhancement mode) can be displayed by using the R image.
  • a desired image is formed by applying image processing that uses the B image and the G image, and the light intensity of the G image is 1.5 times brighter than that of the B image. Can be displayed.
  • the image obtained in the image processing display submode is only the B image (image of only the laser light source LD1).
  • the image processing display submode it is possible to display either an image in which only the surface blood vessels are emphasized, or an image in which only the middle to deep blood vessels are emphasized based only on the G image (image of only the laser light source LD3).
  • the B image is an image with high contrast of the superficial blood vessels by the laser beam having a wavelength of 405 nm
  • the G image is The medium-to-deep blood vessel image with high contrast by the laser beam with a wavelength of 525 nm
  • the R image is an image with high contrast of indigo carmine by the laser beam with a wavelength of 635 nm.
  • an image when the light quantity ratio of each laser beam is different by image processing is different by image processing.
  • image processing it is possible to obtain an image in a two-substance observation mode (hemoglobin-indigo carmine enhancement mode) in which medium to deep hemoglobin is particularly emphasized by image processing that increases the amount of light of the G image.
  • image processing that increases the amount of light of the R image, it is possible to obtain an image in the two-substance observation mode (hemoglobin-indigo carmine enhancement mode) in which the contrast of indigo carmine is particularly emphasized compared to hemoglobin.
  • what kind of image can be constructed from which observation mode, what kind of image processing can be constructed, and specific image processing processes and parameters are as follows.
  • a memory 137 provided in the main body 110, for example.
  • the memory 137 may be provided in the input unit 160 instead of being provided in the main body unit 110.
  • the function of the memory 137 may be distributed to two memories, and these two memories may be provided in the main body 110 and the input unit 160, respectively.
  • NBI Near Band Imaging
  • narrow-band light that has a wavelength that is easily absorbed by hemoglobin that is abundant in blood. This is used in various endoscope apparatuses.
  • cancer has a collection of superficial capillaries and a pattern different from that of a normal part. Therefore, it is possible to provide an image that can be easily diagnosed as to whether or not the cancer is present by displaying with high contrast the blood vessel such as the stomach, esophagus, large intestine, etc., particularly the superficial capillaries, in the patient or subject. It becomes possible.
  • the one-substance observation mode (hemoglobin enhancement mode) according to the present invention is an observation mode in which an image is acquired by laser light of two wavelengths as an application of this NBI technology, and displays blood vessels, particularly surface capillaries with high contrast. This makes it possible to display images that make it easier for the surgeon to find cancer and distinguish it from normal tissue.
  • pit patterns There are minute uneven patterns on the mucosal surface of the stomach, esophagus and large intestine, which are called pit patterns.
  • a method of determining normal tissue and cancer and further the degree of progression of cancer based on the shape of the pit pattern is known as pit pattern classification.
  • a diagram of pit pattern classification is shown in FIG. 11 for reference.
  • Indigo carmine is a representative coloring agent used most frequently in recent years, which is used for observing a pit pattern with good contrast by spraying during endoscopy.
  • indigo carmine is applied to lesions of the stomach, esophagus, and large intestine, the unevenness of the observation target surface can be observed with good contrast.
  • the image obtained at this time is basically the same image as when the observation mode is (2) the single substance observation mode (hemoglobin enhancement mode) is selected and the direct display submode of the image type selection mode of the display mode is selected.
  • the observation mode is selected and the direct display submode of the image type selection mode of the display mode is selected.
  • blood vessels including hemoglobin can be displayed with good contrast.
  • the two-substance observation mode (hemoglobin-indigo carmine enhancement mode) is selected
  • the observation object 190 is coated with indigo carmine, but both the wavelength of 405 nm and the wavelength of 525 nm are absorption bottom regions. Since it is included in BR, the influence of indigo carmine is small, and an image capable of observing blood vessels with good contrast is displayed. An image of this image is shown in FIG. 12A.
  • FIG. 12A merely shows an image for explaining the functions of the present embodiment, does not consider medical accuracy, and does not indicate medical functions or diagnostic criteria. The same applies to the similar figures shown below.
  • the image processing display submode of the image type selection mode of the display mode is selected, and the R image is selected.
  • these are basically the same images as those obtained in (3) one-substance observation mode (indigo carmine enhancement mode), and are modes in which the concave portions in which indigo carmine is accumulated can be displayed with good contrast.
  • the wavelength of 635 nm belongs to the absorption bottom region BR of hemoglobin, the contrast of the blood vessel is low, and the concave portion due to indigo carmine can be displayed and observed with high contrast.
  • An image of this image is shown in FIG. 12B.
  • each color information includes B image information from the laser light source LD1 (405 nm), G image information from the laser light source LD3 (525 nm), and laser light source LD4 (635 nm).
  • laser light source LD4 (635 nm).
  • the three pieces of image information of the R image information are obtained.
  • FIG. 12C shows an image composed of these RGB images.
  • This image is an image obtained by superimposing FIGS. 12A and 12B, and both blood vessels and indigo carmine are highlighted.
  • the blood vessel is displayed as a reddish image because blue and green light is absorbed
  • the indigo carmine is displayed as a bluish green image because it absorbs red light.
  • biological features are emphasized by two characteristic substances, and these can be distinguished and observed with high visibility by image enhancement observation.
  • the hemoglobin of FIG. 12A can be observed with good contrast
  • a region in which a capillary pattern abnormality is suspected is seen in two regions surrounded by a dotted circle.
  • the pit pattern in the region surrounded by the dotted circle on the left can be determined as the I type shown in FIG.
  • the pit pattern in the area surrounded by the dotted circle on the right side is suspected to be type III L from FIG. 11, and it can be seen that there is a possibility of intramucosal lesion (glandular type to M cancer).
  • the ease of finding and diagnosing a lesion can be improved by combining an image mode in which two feature substances are displayed with high contrast in a region where one lesion is suspected.
  • FIG. 12C it is possible to display an image in which the contrast between the two characteristic substances is enhanced as a single image.
  • FIG. 12C when attention is paid to the capillaries first, a region having the possibility of two lesions is found. At the same time, when attention is paid to the pit pattern based on indigo carmine, the region surrounded by the dotted circle on the left is normal. It can be judged immediately. In this way, in the observation mode in which two characteristic substances are displayed simultaneously, it is not necessary to compare two images and determine whether or not the same place is present, so that discovery and diagnosis can be performed more quickly.
  • the direct display mode is set as the default among the single display modes.
  • the display mode and the display submode can be easily switched and selected by inputting information to the input unit 160 by the operator. It has become.
  • the endoscope apparatus of the present embodiment has a function of automatically extracting as a characteristic substance region based on image information as shown in FIGS. 12A to 12C.
  • the characteristic substance area refers to an area where the characteristic substance exists and an area where the collection or pattern is different from a normal part.
  • the feature material region is extracted by the image processing circuit 156 provided in the main body 110. Therefore, the image processing circuit 156 processes the image signal acquired by the imaging unit 152 to acquire image information of a normal observation image, and the normal image processing circuit 200 acquired by the normal image processing circuit 200.
  • a feature material region extraction unit 210 that extracts image information of the feature material region from the image information of the observation image is included (see FIG. 16).
  • the normal image processing circuit 200 and the feature substance region extraction unit 210 will be described later.
  • the feature material region extraction unit 210 can extract an appropriate image from the image information transmitted from the imaging unit 152, and can extract the feature material region using generally known pattern recognition and image analysis techniques. ing.
  • an appropriate image means an image in which a characteristic substance can be expressed with the highest contrast, and means an image obtained by light having a wavelength selected based on the characteristic substance.
  • the characteristic substance region extraction unit 210 may be configured by software, may be configured by an electric circuit, or may be configured by a composite of both.
  • the software may be recorded in a memory 137 provided in the main body 110, or may be recorded in an external memory provided outside the main body 110 and connected to the main body 110 by a signal line. Good.
  • the feature material region extraction unit 210 Based on the image information of the observation object 190 acquired by the imaging unit 152, the feature material region extraction unit 210 extracts a region related to the feature material as the observation target as the feature material region.
  • the feature substance region extraction unit 210 uses a conventional pattern recognition, image analysis technique, or the like to specify a specific part of the image information of the observation object 190, that is, a region with a high contrast or a different hue of the feature substance, It has an algorithm for extracting feature material regions by comparing the shape and collection of regions and their patterns with those of normal regions.
  • the feature substance region extraction unit 210 has a function of roughly extracting an entire region where the contrast of the feature substance is high, the region having a different hue, or the form or collection of the regions, or the pattern thereof is different from that of the normal region. Have.
  • the feature substance region extraction unit 210 uses regions having high contrast of the feature substance image, regions having different hues, forms and collections of those regions, and information on the patterns in the main body 110, for example.
  • the data is recorded in the provided memory 137, the external memory provided outside the main body 110 and connected to the main body 110 by a signal line, or both.
  • This information includes normal region information, which is information about the contrast and hue of the normal region of the observation object, the form and collection of these regions, and the pattern thereof. In addition, it includes areas that are different from normal areas of the object to be observed, areas that have high contrast or different shades, or forms and collections of those areas, and information about the pattern that is different from normal areas. You may go out.
  • both the normal region information and the region information different from the normal region are used as a specific part of the image information of the observation object 190, that is, the feature material region. It has an algorithm for extracting a characteristic substance region in comparison with a region having a high contrast, a region having a different hue, a form or a collection of these regions, or a pattern thereof.
  • Normal area information and area information different from normal are associated with the characteristic substance to be observed, and are used when extracting the characteristic substance area of the characteristic substance to be observed.
  • the normal area information there is an I type of pit pattern shown in FIG.
  • FIGS. 13A, 13B, and 13C Examples of images from which characteristic substance regions are extracted are shown in FIGS. 13A, 13B, and 13C.
  • 13A to 13C show a case where the same observation object 190 is observed in the same observation mode and display mode as the example described with reference to FIGS. 12A to 12C.
  • 13A shows an image in which blood vessels based on hemoglobin are emphasized corresponding to FIG. 12A
  • FIG. 13B shows an image in which indigo carmine is emphasized corresponding to FIG. 12B. Shows an image with both blood vessels and indigo carmine enhanced, corresponding to FIG. 12C.
  • FIG. 13A is basically the same image as the image when (2) single substance observation mode (hemoglobin enhancement mode) is selected as the observation mode and the direct display submode of the image type selection mode of the display mode is selected.
  • FIG. 13B is basically the same image as when the observation mode is (3) the single substance observation mode (indigo carmine enhancement mode) and the direct display submode of the image type selection mode of the display mode is selected.
  • FIG. 13C shows basically the same image as when (4) two-substance observation mode (hemoglobin-indigo carmine enhancement mode) is selected as the observation mode and the direct display submode of the image type selection mode of the display mode is selected. It is.
  • the feature substance region extraction unit 210 extracts a feature substance region of hemoglobin, which is a feature substance targeted for observation, based on the image of FIG. 13A, and is a feature substance targeted for observation based on the image of FIG. 13B. Extract the characteristic substance region of indigo carmine. Further, based on the image of FIG. 13C, it is also possible to extract the characteristic substance regions of both hemoglobin and indigo carmine, which are two characteristic substances to be observed. In other words, the feature material region extraction unit 210 extracts a feature material region related to the feature material targeted for observation in the selected observation mode and the observation mode in which basically the same image is obtained.
  • FIG. 13A there is a region where the collection of superficial blood vessels and the pattern thereof are different from those of the normal region, and the feature material region extraction unit 210 displays the two regions surrounded by the dotted circle in FIG. 13A as the feature material. Extract as a region.
  • FIG. 13B shows an image in which the dispersed indigo carmine accumulates in the recesses on the surface of the observation object 190 and the pit pattern can be observed with good contrast. Based on this image, the feature material region extraction unit 210 extracts a region having a pit pattern different from normal surrounded by a dotted circle shown on the right side of FIG. 13B as a feature material region.
  • the characteristic substance region extraction unit 210 determines that this is normal, Only one area surrounded by a dotted circle shown on the right side is extracted as a feature substance area.
  • the feature substance region extraction unit 210 extracts the feature substance regions of the two feature substances based on the two pieces of image information acquired almost simultaneously.
  • the feature substance region extraction unit 210 displays, as the feature substance region image, the image of FIG. 13A extracted from hemoglobin as a feature substance and the image of FIG. 13B extracted from indigo carmine as a feature substance.
  • a dotted circle surrounding the feature substance region is superimposed on the image as shown in FIGS. 13A and 13B, or an arrow pointing to the feature substance region is superimposed on the image as shown in FIG. 13D.
  • the image is displayed with higher visibility by image highlighting, such as posing or lowering the brightness of the peripheral area of the characteristic substance area as shown in FIG. 13E. That is, the image is displayed so that the visibility of the feature substance region is improved by the image emphasis display associated with the image information including the feature substance region.
  • the visibility is improved by the image highlighting referred to here is an arrow which will be described later on an image in which the contrast of the characteristic substance region is improved based on the spectrum of illumination light, that is, a normal image.
  • the endoscope apparatus erases the figure superimposed on the image by the operator with one touch, or returns the peripheral area whose brightness is lowered to normal brightness.
  • a function of instantaneously returning to a normal image before being emphasized by image enhancement display is provided. In other words, it has a switch for switching between a display image whose visibility has been improved by image enhancement display and a normal observation image before enhancement by image enhancement display, that is, a visibility enhancement function selection switch. Yes.
  • this visibility enhancement function selection switch By repeatedly pressing this visibility enhancement function selection switch, a normal observation image that has not been enhanced by image enhancement display and a display image that has been improved by visibility by image enhancement display are alternately displayed. It is also possible to make it possible. In addition, it is also preferable to switch the method for improving the visibility by emphasis by various image emphasis display described in the present embodiment or will be described later. This switch is preferably provided in any of the main body 110, the input unit 160, and the operation unit 122.
  • a characteristic substance region position display screen is prepared next to the observation object display screen, In addition to this, it is possible to perform a modification such as performing display that improves visibility by emphasis by image emphasis display such as an arrow indicating a location corresponding to the characteristic substance region.
  • image emphasis display such as an arrow indicating a location corresponding to the characteristic substance region.
  • the left screen displays a normal observation image in which the display for improving the visibility is not superimposed, that is, the image is not highlighted by the image enhancement display.
  • emphasis by image emphasis display is performed, and visibility is improved.
  • FIG. 13F there is no display object that hides the image of the observation object, and the approximate position of the characteristic substance region can be known. Therefore, the operator can change the image of the observation object to another display object. It becomes possible to observe in a natural state without being interrupted.
  • the example which displays only the position of a characteristic substance area was shown on the screen on the right side of FIG. 13F, it is not restricted to this.
  • the screen on the left side is the same as FIG. 13F, and the screen on the right side emphasizes the characteristic substance region by superimposing a display that enhances the visibility by image enhancement on the image of the observation object, and visually recognizes it. It is also possible to improve the performance. As a result, the position of the characteristic substance region can be grasped more accurately on the right screen, and the image on the observation object can be observed in a natural state without being blocked by other display objects on the left screen. Become.
  • FIG. 13A shows an example in which the boundary between the normal region and the feature feature region of interest is indicated by a dotted line.
  • the line indicating the boundary may be a dotted line or a solid line.
  • various lines such as a one-dot chain line can be used.
  • the line indicating the boundary may be set as a line of a shape set based on the target feature substance region such as a circle, an ellipse, a square, or a rectangle, or the outline of the extracted target feature substance region may be accurately set. It may be set as a traced outer peripheral line.
  • a general method for extracting an approximate shape from a complicated shape can be used to determine a line indicating a boundary.
  • FIG. 13E shows an example in which the characteristic substance region is set to normal brightness and the luminance value of the surrounding image is reduced
  • the present invention is not limited to this.
  • only the feature region of interest is displayed in a color that makes it easy to recognize the feature of interest, such as a so-called special light image such as NBI, which is commonly used for endoscopic observation, and the surrounding area may be a normal white image. Is preferred.
  • NBI special light image
  • this feature substance region image is a single color image from which the feature substance is extracted, for example, only an image with a laser beam with a wavelength of 405 nm for hemoglobin, and only an image with a laser beam with a wavelength of 635 nm for indigo carmine. You may display using. Further, another image, which is an image by a laser beam having a wavelength of 445 nm, and an image by a laser beam having a wavelength of 525 nm may be combined and displayed as a color image.
  • FIG. 13C is an image displaying the overlap region of the feature substance regions extracted based on both the hemoglobin and indigo carmine images, that is, the image of FIG. 13A and the image of FIG. 13B, that is, the feature substance overlap region.
  • the region on the right side of the characteristic substance region due to hemoglobin (FIG. 13A) and the characteristic substance overlapping region (FIG. 13B) of indigo carmine are substantially equal regions. Almost unchanged.
  • the feature substance region extraction unit 210 has a function of calculating and displaying an overlap region of feature substance regions based on different feature substances using a generally known image processing technique or the like.
  • the feature substance overlap area is defined as an area where both feature substances exist. Therefore, when there is no overlapping region, there may be a case where there is no characteristic material overlapping region even though each characteristic material has a characteristic material region.
  • FIG. 14A to FIG. 14C are image diagrams of feature substance overlapping regions.
  • FIG. 14A is an image diagram of the characteristic substance region of the first characteristic substance. In this image diagram, there are three characteristic substance regions A1 of the first substance.
  • FIG. 14B is an image diagram of the characteristic substance region of the second characteristic substance. In this image diagram, there are two characteristic substance areas A2 of the second substance.
  • FIG. 14C shows a feature material overlapping region of the first feature material and the second feature material.
  • the feature material overlapping region A3 is an overlap of the feature material regions A1 and A2 of both of the two feature materials.
  • the three feature material overlap regions (the overlap region of the first feature material and the second feature material, the first feature material and It is possible to compare the overlapping area of the third characteristic substance and the overlapping area of the second characteristic substance and the third characteristic substance, and pay attention to which area based on the characteristics and prior information of each characteristic substance. The operator can appropriately determine whether or not to do so.
  • observation mode of four or more substances similarly, it is also preferable to select two desired characteristic substances or three desired characteristic substances and extract a characteristic substance overlapping region. It is also preferable to extract the overlap region of all feature materials as the feature material overlap region. This method can be similarly extended to an observation mode of five substances or more.
  • a characteristic substance area and an extracted area as a characteristic substance existence area for any one of the characteristic substances. That is, as shown in FIG. 14D, for example, a region where one of the feature substance region of the first feature substance and the feature substance region of the second feature substance exists is defined as the first feature substance and the second feature. Extracted as a characteristic substance existence area of a substance. Thereby, it becomes possible to extract a suspicious area as much as possible, and it is possible to realize an endoscope apparatus that can reduce the possibility of oversight of an abnormal part.
  • FIG. 15 is a flowchart regarding the operation of the feature substance region extraction unit 210.
  • FIG. 15 is a flowchart showing the operation of the feature substance region extraction unit 210 when a feature substance region for one feature substance is extracted and displayed.
  • an observation mode is selected (S1). If it is desired to use a display mode other than the default display mode, the display mode is set (S1).
  • the observation mode is selected by the observer according to the purpose from the various observation modes described above, and the observation mode is set by inputting from the input unit 160.
  • laser light is emitted from the light source unit 132 at a wavelength and light amount ratio programmed in advance for each observation mode, and irradiated on the observation object as illumination light from the illumination unit provided at the distal end of the insertion unit.
  • the observer starts observation using the endoscope apparatus, and the endoscope apparatus images reflected / scattered light from the observation object by the imaging unit 152 by the above-described operation (S2).
  • Image information acquired by the imaging unit 152 is transmitted to the image processing circuit 156 via the image signal line 154.
  • the acquired image is subjected to pre-programmed processing by the image processing circuit 156.
  • an instruction to extract and display the characteristic substance area may be given when a site of interest appears on an observation image or when a region where a lesion has been confirmed in a previous examination or the like is observed. I can do it.
  • An instruction to extract and display the characteristic substance region can be input from the display mode selection unit 164.
  • the display mode selection unit 164 presents the operator with selectable types of characteristic substances that can be extracted based on the set observation mode. The operator can select a desired feature material from the presented feature materials.
  • the endoscope apparatus can extract all of the preset characteristic substances, but the illumination light (wavelength) corresponding to the characteristic substances may not be used for unexpected characteristic substances. For example, when indigo carmine is not sprayed, light having a wavelength that emphasizes indigo carmine is not turned on. In such a case, since the indigo carmine region cannot be extracted and displayed, the display mode selection unit 164 does not activate, for example, a button so that the function for extracting and displaying the indigo carmine region in advance cannot be selected. In this way, it is presented to the observer.
  • the feature substance region extraction unit 210 confirms whether or not an instruction to extract and display a feature substance region, that is, a feature substance region extraction instruction is input (D1).
  • the characteristic substance region extraction unit 210 identifies the characteristic substance selected by the operator as an observation target, and proceeds to the operation of S3. If the extraction instruction is not input, the characteristic substance region extraction unit 210 proceeds to the operation of S9. move on. Further, the feature substance region extraction unit 210 confirms the necessity of continuation of observation (D2) to be described later when a feature substance region extraction instruction is issued in advance, and proceeds to S2 when continuing observation, When not continuing, it ends.
  • the feature substance region extraction unit 210 When the feature substance region extraction instruction is not input (D1; No), the feature substance region extraction unit 210 does nothing, and the endoscope apparatus acquires the acquired image information according to the selected observation mode or display mode. indicate.
  • the feature material region extraction unit 210 selects the feature material region according to the type of the feature material identified in D1 from the image information acquired in S2. Image information (information 1) to be used for extraction is selected (S3).
  • the feature material region extraction unit 210 selects feature material extraction information (information 2) necessary for the feature material region extraction (S4).
  • the feature substance extraction information is information regarding the presence of the feature substance for each feature substance, and is, for example, the following information.
  • Characteristics in contrast on the image when there is a characteristic substance Changes in the color of the object to be observed and characteristic hues when there is a characteristic substance ⁇ Appears on the image when there is a characteristic substance Characteristic forms and patterns, existence distribution of characteristic substances, shading forms and patterns ⁇ Information on the shape, collection, and dispersion characteristics of the above areas when characteristic substances exist. It also includes information such as the nonexistent area, the contrast and color of the observation object under normal conditions, and the surface structure.
  • the feature substance extraction information is stored in, for example, the memory 137, and the feature substance region extraction unit 210 is configured to be able to access and read it directly or indirectly.
  • the characteristic substance region extraction unit 210 selects necessary characteristic substance information (information 2) from these characteristic substance extraction information (S4), and reads this from the memory 137 (S5).
  • the feature material region extraction unit 210 Based on the image information (information 1) selected in S3 and the feature substance extraction information (information 2) selected in S4 and read out in S5, the feature material region extraction unit 210 performs general pattern recognition and image analysis techniques.
  • the feature substance region information (information 4) is extracted by using (S6). That is, the feature substance region extraction unit 210 determines whether or not a feature close to the feature form or pattern, feature substance existence distribution, or shading in the feature substance extraction information exists on the image selected in S3. Are extracted using a general pattern recognition technique. Also, the feature substance region extraction unit 210 extracts image features such as contrast on the image, a change in hue, and a characteristic hue by a general image analysis technique. Further, the information is comprehensively determined, and the above-described image features such as contrast, pattern, and hue are extracted using a general pattern recognition technique and image analysis technique (S6).
  • the characteristic substance region extraction unit 210 acquires display method information (information 3) desired by the observer (S7).
  • the display method desired by the observer is input in advance or set by default, and this information is stored in the memory 137, for example.
  • the characteristic substance region extraction unit 210 reads display method information (information 3) desired by the user from the memory 137 (S7).
  • display method in this embodiment it is possible to display so as to improve visibility by image enhancement display.
  • the display method for improving the visibility by the image emphasis display is as described above.
  • the characteristic material region extraction unit 210 constructs characteristic material region display information (information 5) based on the characteristic material region information extracted in S6 and the display method information acquired in S7, and displays it on the display unit 170 (S8). ).
  • the endoscope apparatus determines whether or not to continue observation (D2), returns to S2 if it is continued, continues the flow of FIG. 15, and ends if it is not continued.
  • D2 continue observation
  • S2 returns to S2 if it is continued
  • the feature substance region extraction unit 210 operates.
  • the image processing circuit 156 processes the image signal acquired by the imaging unit 152 to acquire image information of a normal observation image
  • the normal image processing circuit 200 acquires the image information.
  • a feature material region extraction unit 210 that extracts image information of a feature material region from image information of a normal observation image is provided.
  • FIG. 16 shows a block diagram of the feature substance region extraction unit 210.
  • the characteristic substance region extraction unit 210 is provided in the main body unit 110.
  • the feature material region extraction unit 210 includes an information 1 storage unit 212A that stores image information (information 1) used for extraction of the feature material region, an information 2 storage unit 212B that stores feature material region extraction information, and information related to a display method.
  • An information 3 storage unit 212C that stores (information 3), a general pattern recognition / image analysis algorithm execution unit 214, and a general display image information construction algorithm execution unit 216 are included.
  • the characteristic substance region extraction unit 210 requests the normal image processing circuit 200 for image information (information 1) used for extraction of the characteristic substance region, and reads the information 1 from the normal image processing circuit 200.
  • the characteristic substance region extraction unit 210 and the normal image processing circuit 200 are connected by a signal line for requesting and transmitting information 1.
  • the read information 1 is stored in the information 1 storage unit 212A.
  • the feature substance region extraction unit 210 requests the feature substance region information (information 2) from the memory 137 and reads the information 2 from the memory 137.
  • the characteristic material region extraction unit 210 and the memory 137 storing the characteristic material region extraction information are connected by a signal line for requesting and transmitting information 2.
  • the read information 2 is stored in the information 2 storage unit 212B.
  • the characteristic substance region extraction unit 210 stores information (information 3) related to the display method in the input unit 160 for inputting information (information 3) related to the display method and / or the memory 137 storing information (information 3) related to the display method. ) And information 3 is read from the memory 137.
  • the characteristic substance region extraction unit 210 and the input unit 160 and / or the memory 137 are connected by a signal line for transmitting the information 3.
  • the observer can input a desired display method from the input unit 160.
  • Information regarding the display method (information 3) input by the observer is stored in the memory 137.
  • the signal line provided between the input unit 160 and / or the memory 137 and the characteristic substance region extraction unit 210 requests, for example, observation mode information input from the input unit 160 in addition to transmission of the information 3. It can also be used to transmit it.
  • the display mode and the observation mode that can be input from the input unit 160, and the selection of the feature substance to be extracted are activated, and the selection is not possible (because the image information is insufficient or the feature substance is not scattered, It can also be used to inform the input unit 160 of information for making inactive display modes, observation modes, and feature materials to be extracted that cannot be selected in advance.
  • the memory 137 stores characteristic substance extraction information, information on display mode, observation mode, and the like.
  • the characteristic substance region extraction unit 210 has a bidirectional signal line that requests necessary information from the memory 137 and performs reading. In FIG. 16, two signal lines are described between the characteristic substance region extraction unit 210 and the normal image processing circuit 200, the memory 137, the input unit 160, and the like. It is also possible to make a book.
  • the feature substance region extraction unit 210 includes a signal line for outputting the extracted feature substance region information (information 5) to the display unit 170.
  • the display unit 170 displays an image of the extracted feature substance region. indicate.
  • FIG. 16 shows an example in which the characteristic substance region extraction unit 210, the display unit 170, the normal image processing circuit 200, the memory 137, and the input unit 160 are directly connected by signal lines. Not limited to. In order to save the signal line, it may be routed through another circuit. Similarly, the signal lines of the input unit 160 and the memory 137 may be routed through other circuits.
  • an information 1 storage unit 212A that stores information 1 transmitted from the normal image processing circuit 200 and an information 2 storage unit 212B that stores information 2 transmitted from the memory 137.
  • an information 3 storage unit 212 ⁇ / b> C that stores information 3 transmitted from the memory 137 and / or the input unit 160 is provided.
  • the feature substance region extraction unit 210 uses the general pattern recognition algorithm or image analysis algorithm to obtain the feature substance region information (information 4) based on the information 1 and the information 2 in the pattern recognition or image analysis algorithm execution unit 214. create. Further, the feature substance region extraction unit 210 uses the general display image information construction algorithm to display the feature substance region display information (information 5) based on the information 4 and the information 3 in the display image information construction algorithm execution unit 216. To construct. The information 5 is transmitted to the display unit 170, and the display unit 170 displays it.
  • FIG. 17A and FIG. 17B are flowcharts illustrating the operation of the feature material region extraction unit 210 when a plurality of feature material regions are extracted and displayed.
  • the basic flow is the same as that of the flowchart relating to one feature substance extraction described in FIG. 15, and is different from the flowchart of FIG. 15 in that some flows proceed in parallel.
  • FIGS. 17A and 17B show an example of extracting feature substance regions for three feature substances. However, when extracting feature substance areas for two or more feature substances, the number of feature substances to be extracted is shown. It is sufficient to flow in parallel according to the situation. Even in the case of extracting feature material regions related to a plurality of feature materials, the flow of extracting individual feature material regions is the same from S3 to S6. S7 is basically the same, but there are more types of display methods possible when extracting a plurality of characteristic substance regions than when extracting a single characteristic substance region. That is, in addition to displaying individual characteristic substance areas, the observer can select more characteristic substance area display methods as desired, such as characteristic substance overlapping areas and characteristic substance existence areas.
  • the display image information construction algorithm execution unit 216 inside the feature substance area extraction unit 210 responds accordingly by the above-described feature.
  • the material overlap area and the characteristic substance existence area are extracted, and the characteristic substance area display information (information 5) is constructed (S10).
  • Fig. 18 shows the internal flow of S10.
  • the feature material region extraction unit 210 acquires image information of individual feature material regions extracted in S3 to S6.
  • feature material regions are extracted for each of the three feature materials, and image information of these three feature material regions is acquired (S10-1).
  • the feature substance region extraction unit 210 compares three images for each feature substance, and extracts feature points by a general image processing technique. Further, alignment is performed so that the feature points of each image overlap each other (S10-2).
  • the feature material region extraction unit 210 extracts the feature material region overlap of each feature material as a feature material overlap region (AND region) by extracting the feature material region by general image processing based on the aligned information.
  • a region where any feature substance exists is extracted as a feature substance existence region (OR region) by extracting by a general image processing (S10-3).
  • the feature material region extraction unit 210 outputs the extracted image information of the feature material overlap region and / or the feature material presence region to the display unit 170 (S10-4).
  • the image information of the feature substance overlapping area and / or the feature substance existence area may be image information obtained by superimposing these areas on the observation image, or the position of the feature substance area associated with the position of the observation image may be determined. It may be the information shown.
  • the display unit 170 displays the image information output from the characteristic substance region extraction unit 210.
  • the characteristic substance areas of the individual characteristic substances are also displayed (S11).
  • image enhancement display The display whose visibility is improved by the image emphasis display is as described above.
  • FIG. 17A, FIG. 17B, and FIG. 18 show a block diagram of an endoscope apparatus for performing a flow for extracting a plurality of characteristic substance regions, which is almost the same as that shown in FIG. The difference is that the pattern recognition and image analysis algorithm execution unit 214 in the feature material region extraction unit 210 extracts a feature material region based on a general pattern recognition technology and image analysis technology. It is to execute an algorithm for extracting the overlapping area and / or the characteristic substance existing area.
  • the algorithm for extracting the feature substance overlapping area and / or the feature substance existence area is an algorithm for performing steps S10-1 to S10-4 shown in FIG. This algorithm is constructed in the display image information construction algorithm execution unit 216 of FIG.
  • a display method a display method that improves the visibility of the characteristic substance region by image enhancement display is possible. That is, the operator can select the display method of the feature substance region extracted by the feature substance region extraction unit 210 on the display unit 170 as desired.
  • emphasis by image emphasis display is performed, such as erasing the figure superimposed on the image with one touch by the operator or returning the area where the surrounding brightness is lowered. It has a function to instantly return to the normal image. That is, it has a switch for instantaneously switching between a normal image before enhancement by image enhancement display and an image with improved visibility by image enhancement display.
  • the block diagram shown in FIG. 19 is almost the same as the block diagram shown in FIG. 16, but as shown in FIG. 19, an emphasis display on / off switch 166 that is a visibility enhancement function selection switch by image emphasis display is input. It is different in that it is provided in the part 160.
  • the visibility enhancement function selection switch has a function of improving the visibility of the attention area set based on at least one of the characteristic substance area, the characteristic substance overlapping area, and the characteristic substance existence area by image enhancement display. It is a switch that enables selection of execution or cancellation.
  • the display method information input from the input unit 160 is stored as information 3 in the memory 137 or stored in the information 3 storage unit 212C of the characteristic substance region extraction unit 210.
  • the highlight display on / off information (information 6) input from the highlight display on / off switch 166 is directly transmitted to the display image information construction algorithm execution unit 216 in the characteristic substance region extraction unit 210 to construct the display image information construction.
  • the algorithm execution unit 216 constructs characteristic substance region display information (information 5) based on the display method information, and transmits it to the display unit 170. That is, when highlight on is selected, a display image whose visibility is improved by image highlight is constructed and transmitted as information 5 to the display unit 170, while when highlight off is selected, it is normal. These observation images are transmitted to the display unit 170 as information 5 as they are.
  • the highlighting on / off switch 166 is provided as one switch, for example. When the highlighting is turned on, the highlighting is turned off when the highlighting is turned on. Conversely, when the highlighting is turned off, the highlighting is turned on. It is also preferable to operate so as to turn on the display, and thereby to alternately switch and display a display image whose visibility is improved by image enhancement display and a normal observation image. It is also preferable to switch to a normal observation image when highlighting is off, or to switch to an image based on a display method in which the degree of visibility improvement by image highlighting preset by the observer is low. Is preferred.
  • the display method switching including the above is confirmed in the step of obtaining display method information desired by the user (S7) in the flow shown in FIG. 15, FIG. 17A, and FIG. If so, it is preferable to switch the display method accordingly.
  • the flow is basically the same in the case of a still image or when highlighting is performed or switched after the observation is completed. The difference is that, in the flow shown in FIG. 15, FIG. 17A and FIG. 17B, instead of the step of S2, imaging is performed in advance, and image information stored in the memory 137 is read, and observation or image acquisition is performed. That is.
  • an image can be constructed by image processing after the observation is completed.
  • An endoscope apparatus that can easily acquire an image is obtained.
  • the characteristic substance of a part suspected of having a lesion or the like can be displayed with good contrast, or the characteristic substance can be observed with good contrast by tracing back to the previous examination in a scene such as follow-up observation.
  • observation mode the above-described observation modes (1) to (4)
  • various images are to be evaluated after observation. Can obtain the desired image after the fact by using the illumination light sequential evaluation mode.
  • an example in which a plurality of characteristic substances are characteristic substances derived from a common lesion (source) and an example in which visibility is improved by displaying these images in an enhanced manner is shown.
  • a common lesion source
  • visibility is improved by displaying these images in an enhanced manner
  • endoscopes are used to detect various lesions such as gastric ulcers, erosions, H. pylori, and the presence of parasites.
  • the absorption peak region and the absorption bottom region are defined based on the absorption spectra of indigo carmine and hemoglobin, the intermediate value between the maximum intensity and the minimum intensity of each color area is set as a threshold value, and the areas beyond that are absorbed.
  • the peak region and the region below it are defined as the absorption bottom region, the method of defining the absorption peak region and the absorption bottom region is not limited to this.
  • FIG. 20 shows an absorption peak region PR, an absorption bottom region BR, and an absorption intermediate region MR defined in accordance with this standard for the absorption spectrum of indigo carmine.
  • the B region has a significantly lower absorption intensity than the G region and the R region, so the entire region is the absorption bottom region BR.
  • a region that is not included in either the absorption peak region PR or the absorption bottom region BR is an absorption intermediate region MR.
  • the absorption bottom region BR is a wavelength region of 400 to 480 nm. This is the entire region B.
  • the absorption peak region PR is a wavelength region of 555 to 580 nm
  • the absorption bottom region BR is a wavelength region of 480 to 545 nm
  • the absorption intermediate region MR is a wavelength region of 545 to 555 nm.
  • the absorption peak region PR is a wavelength region of 590 to 650 nm
  • the absorption bottom region BR is a wavelength region of 675 to 700 nm
  • the absorption intermediate region is a wavelength region of 580 to 590 nm and 650 to 675 nm. Is the wavelength region.
  • the absorption peak region PR is defined as a region with higher absorption intensity
  • the absorption bottom region BR is defined as a region with lower absorption intensity.
  • the example in which the image pickup device having the RGB Bayer array is used as the image pickup device of the image pickup unit 152 is not limited to this.
  • an image sensor having a complementary color filter that is generally used can be used as the image sensor of the image pickup unit 152.
  • the primary color filter has three color filters, an R filter, a G filter, and a B filter.
  • Each of the R filter, the G filter, and the B filter has a light transmission characteristic as shown in FIG. That is, the R filter has a characteristic of transmitting light in the red region and not transmitting light in the other color regions.
  • the G filter has a characteristic of transmitting light in the green region and not transmitting light in the other color regions.
  • the B filter has a characteristic of transmitting light in the blue region and not transmitting light in the other color regions.
  • the actual light transmittance of the primary color filter has an overlap in the boundary region as shown in FIG.
  • the light in this overlapping area is detected in both two adjacent color areas.
  • light having a wavelength of 500 nm is detected in both the blue region and the green region.
  • narrow-band light such as laser light
  • the brightness of the image can be improved by using this characteristic.
  • light in the overlapping region of the filter such as light having a wavelength of 500 nm, is detected in both of the two color regions, so that the image can be brightened compared to light detected in only one color region. This method is particularly effective in the white observation mode.
  • the light detected in both of the two color regions improves the enhancement level in both color regions when it is desired to enhance the characteristic material of the observation object 190. For this reason, it is effective also when improving emphasis of a characteristic substance.
  • the image of the blue region that easily absorbs light on the surface layer is emphasized, and the green region and the red region that are absorbed below the middle layer are emphasized.
  • the image should not be emphasized. In such a case, it is desirable to use light having a wavelength shorter than 480 nm, which is easily absorbed in the blue region, not the light in the overlapping region.
  • the complementary color filter transmits light in the blue region and red region and transmits light in the M (magenta) region that does not transmit light in the green region, and light in the blue region and green region, and does not transmit light in the red region.
  • M magenta
  • Region three color filters that transmit light in the green region and red region, and separate and acquire light in the three color regions of the Y (yellow) region that does not transmit light in the blue region, and light in the green region
  • the filter has four colors of G filters that transmit light and do not transmit light in the blue region and red region.
  • a G filter having the same light transmission spectrum as the G filter of the primary color filter shown in FIG. 22 is used.
  • An image sensor having a complementary color filter uses such a four-color filter, but it is possible to obtain three-color image information of R image information, G image information, and B image information by calculation. Therefore, in the first embodiment and the modification of the present invention, even when an image sensor having a complementary color filter is used as the image sensor of the image pickup unit 152, it is not necessary to change the emission spectrum, timing, etc. of the illumination light. However, this can be dealt with by simply changing the processing function of the image processing circuit 156 of the main body 110 from the primary color filter to the complementary color filter. Note that a commonly used filter can be used for the operation of the complementary color filter.
  • An image sensor having an MCY color filter is called a complementary color filter type image sensor.
  • An imaging unit 152 including a complementary color filter type imaging device constitutes an imaging system that cooperates with the image processing circuit 156 to separately acquire an R image, a G image, and a B image.
  • the complementary color filter type imaging device separates the M pixel, which is a color pixel obtained by separating and acquiring the light in the M region, the C pixel which is a color pixel obtained by separating the light in the C region, and the light in the Y region.
  • the image processing circuit 156 generates an R image, a G image, and a B image based on image information acquired by the M pixel, the C pixel, and the Y pixel. Image processing that is acquired separately.
  • a monochrome type image pickup element having no color filter is equipped with an ultraviolet / infrared cut filter that removes infrared rays and ultraviolet rays as necessary, but receives light in the wavelength region of 400 nm to 700 nm, which is visible light. For this reason, in the above-described embodiment and modification, the light having the wavelength described so as to be received by being separated by the filter of the image sensor needs to be emitted at different timings. When a monochrome type image sensor is used, it is necessary to emit at least light in the red region, the green region, and the blue region at different timings in order to obtain a color image.
  • a wavelength of 445 nm, a wavelength of 525 nm, and a wavelength of 635 nm are used as in the first embodiment, two wavelengths 405 that are light in the blue region even in the white observation mode. And a first timing for irradiating only light with a wavelength of 445 nm, a second timing for irradiating only light with a wavelength of 525 nm as light in the green region, and a first timing for irradiating only light with a wavelength of 635 nm as light in the red region.
  • the imaging unit 152 cooperates with the light source unit 132, the drive unit 134, the illumination light control unit 136, and the image processing circuit 156 to separately acquire the R image, the G image, and the B image. Is configured.
  • Monochrome type image sensors are suitable for use in (5) sequential irradiation mode.
  • a monochrome type image sensor since the color is switched by illumination light, it is possible to obtain an image with no color mixture and clear color separation.
  • the primary color and the complementary color filter have some loss because the transmittance of light to be transmitted is not 100%, but in the monochrome type, it is possible to ensure a higher transmittance.
  • the resolution can be improved.
  • 1/4 of all pixels are allocated to the R pixel and B pixel, and half of all the pixels are allocated to the G pixel. The same applies to the complementary color filter.
  • the configuration of the light source unit 132 is different from that of the first embodiment. Accordingly, the information stored in the illumination light control unit 136, the image processing circuit 156, and the memory 137 is the first embodiment. It is different from the form.
  • the light source unit 132 includes a laser light source LD5 in addition to the laser light sources LD1 to LD4 of the first embodiment.
  • the characteristics of the laser light sources LD1 to LD5 are as follows.
  • the laser light source LD1 emits blue-violet laser light having a wavelength of 405 nm. Its output is about 1.5W.
  • the laser light source LD2 emits blue laser light having a wavelength of 445 nm. Its output is about 3W.
  • the laser light source LD3 emits green laser light having a wavelength of 525 nm. Its output is about 3W.
  • the laser light source LD4 emits red laser light having a wavelength of 635 nm. Its output is about 3W.
  • the laser light source LD5 emits orange laser light having a wavelength of 590 nm. Its output is about 2W.
  • the laser light sources LD1 to LD4 are direct-emitting semiconductor laser light sources LD1 to LD4 that directly emit light having a target wavelength.
  • the laser light source LD5 is a SHG (Secondary Harmonic Generation) type semiconductor laser in which an infrared semiconductor laser emitting an infrared light having a wavelength of 1180 nm, which is twice the wavelength, and a nonlinear optical crystal that halves the wavelength are combined.
  • FIG. 23 shows a spectrum of light that can be emitted by the light source unit 132 in the second embodiment.
  • two wavelengths (laser light source LD1, laser light source LD2) in the blue region (400 to 480 nm), one wavelength (laser light source LD3) in the green region (480 to 580), red Two wavelengths (laser light source LD4 and laser light source LD5) are assigned to the region (580 to 700 nm).
  • crystal violet is assumed as a characteristic substance in addition to hemoglobin and indigo carmine.
  • Crystal violet is a drug that stains the nuclei of cells and is a dye that is used for observation with a magnifying endoscope.
  • Crystal Violet When Crystal Violet is applied, the lesion turns blue, and the surface pattern also emerges. By observing the pattern with a magnifying endoscopic device, the nature of the lesion (benign / malignant, etc.) is judged. I can do it.
  • the observation mode in the present embodiment is different from the first embodiment in that a one-substance observation mode (crystal violet enhancement mode) is added to the observation mode described in the first embodiment.
  • a one-substance observation mode (crystal violet enhancement mode) is added to the observation mode described in the first embodiment.
  • One substance observation mode (crystal violet emphasis mode) will be described.
  • Crystal violet enhancement mode This observation mode matches the absorption characteristics of crystal violet in order to observe the region stained with crystal violet on the inner surface of the observation object 190, that is, the pattern that has turned blue and emerged by staining with crystal violet with good contrast. This is an observation mode using illumination light of different wavelengths.
  • Crystal violet is a kind of pigment solution and has a bluish purple color, and is used to observe the pattern of the pattern on the inner surface of the observation object 190 stained. That is, crystal violet selectively stains cell nuclei, and this distribution appears as a pattern. Since the pattern of this pattern varies depending on the property (benign / malignant, etc.) of the lesion, it is possible to determine the property of the lesion by observing this pattern with an magnifying endoscope device.
  • the absorption spectrum of crystal violet has light absorption characteristics as shown in FIG. Similar to the first embodiment, in the absorption spectrum of crystal violet, an intermediate value between the maximum value and the minimum value of the light absorption intensity is set as a threshold, and a wavelength region having a light absorption intensity higher than that is an absorption peak region PR, and lower Is defined as an absorption bottom region BR.
  • crystal violet hardly absorbs light in the B region. That is, the difference between the maximum value and the minimum value of the light absorption intensity is small compared to the other two regions. Also, no obvious peak (maximum) or bottom (minimum) is found. For this reason, the entire B region is defined as the absorption bottom region BR.
  • crystal violet stains cell nuclei, resulting in a pattern of patterns.
  • Light in the wavelength region of the absorption peak region PR is absorbed in the region stained with crystal violet and not absorbed in the unstained region, so that the contrast between these two regions should be improved compared to that in the white observation mode. Is possible.
  • the contrast between the stained region and the unstained region may be lower than in the white observation mode. It becomes possible. That is, even after applying crystal violet, it is possible to obtain an image with a contrast close to that before applying crystal violet.
  • the absorption peak region PR and the absorption bottom region BR of crystal violet are as follows.
  • the absorption bottom region BR is a wavelength region of 400 to 480 nm. This is the entire region B.
  • the absorption peak region PR is a wavelength region of 535 to 580 nm
  • the absorption bottom region BR is a wavelength region of 480 to 535 nm.
  • the absorption peak region PR is a wavelength region of 580 to 610 nm
  • the absorption bottom region BR is a wavelength region of 610 to 700 nm.
  • the emission wavelength of the laser light source LD1 (405 nm), the emission wavelength of the laser light source LD2 (445 nm), the emission wavelength of the laser light source LD3 (525 nm), and the emission wavelength of the laser light source LD4 (635 nm) are absorption bottom regions.
  • the emission wavelength (590 nm) of the laser light source LD5 included in BR is included in the absorption peak region PR.
  • FIG. 25 shows the spectrum of illumination light in the single substance observation mode (crystal violet enhancement mode).
  • the single substance observation mode in the single substance observation mode (crystal violet enhancement mode), only the laser of the laser light source LD5 (590 nm) is turned on among the laser light sources LD1 to LD5. Thereby, the pattern of the pattern dye
  • the laser light having a wavelength of 590 nm is narrow band light selected based on the absorption spectrum of crystal violet.
  • the laser light source LD5 is turned on and the other laser light sources LD1 to LD4 are turned off, but this is not limitative.
  • the laser light source LD1 and the laser light source LD2 and the laser light source LD3 it is possible to obtain a natural color image including all colors of RGB in which the contrast of the stained region by crystal violet is enhanced. .
  • the (1) white observation mode according to this embodiment adds light with a wavelength of 590 nm, which is an orange region, and therefore has more color reproducibility.
  • An improved white image can be obtained. That is, in the first embodiment, the light in the region between the green of 525 nm and the red of 635 nm was missing, but in this embodiment, light of 590 nm is added, so compared with the first embodiment, It becomes possible to improve the color reproducibility of the observation object 190 from yellow to red.
  • an orange laser beam having a wavelength of 590 nm is used. Therefore, all of the observation modes of the first embodiment and (6) one substance observation mode are used. (Crystal violet emphasis mode) is possible. Furthermore, in this embodiment, several observation modes shown below can be added.
  • two-substance observation mode (hemoglobin-indigo carmine enhancement mode) described in the first embodiment
  • (7) two-substance observation mode (hemoglobin-crystal violet enhancement mode) and (8) two-substance observation Mode (Indigo Carmine-Crystal Violet Emphasis Mode) is possible.
  • the laser light source LD1 (405 nm), the laser light source LD3 (525 nm), and the laser light source LD5 (590 nm) are turned on simultaneously.
  • the laser light source LD4 (635 nm) and the laser light source LD5 (590 nm) are turned on simultaneously.
  • the light quantity ratio is, for example, 1: 1. This is to make the degree of contrast enhancement between indigo carmine and crystal violet the same.
  • both the laser light source LD4 (635 nm) and the laser light source LD5 (590 nm) are included in the red region, when an image based on light of these two wavelengths is displayed as a red image as a display image, the presence patterns of the two characteristic substances are distinguished. It may be difficult to do. In such a case, for example, an image from the laser light source LD4 (635 nm) is displayed in red, and an image from the laser light source LD5 (590 nm) is displayed in green. Is preferred. In this way, it is possible to display the emphasized images of the two characteristic substances simultaneously by distinguishing them by color.
  • the light quantity ratio of the illumination light in each mode is not limited to the above ratio.
  • the light receiving sensitivities of the image pickup elements in the RGB color regions are different, it is also preferable to adjust the light amount ratio in consideration of this. In order to reduce the operator's uncomfortable feeling, it is also preferable to adjust the light amount ratio so that the illumination light is close to white light.
  • a three-substance observation mode (hemoglobin-indigo carmine-crystal violet enhancement mode) is also possible.
  • the four color laser light sources LD1 (emission wavelength 405 nm), laser light source LD3 (emission wavelength 525 nm), laser light source LD5 (emission wavelength 590 nm), and laser light source LD4 (emission wavelength 635 nm) are turned on simultaneously.
  • the three characteristic substances of hemoglobin, indigo carmine, and crystal violet with good contrast, and the operator can examine and determine a lesioned part or the like based on more information.
  • the three characteristic substances in different colors, for example, hemoglobin is blue, indigo carmine is red, and crystal violet is green, the three characteristic substances can be displayed in different colors. The ease of diagnosis is further improved.
  • the light quantity ratio in the three-substance observation mode is set to 2: 1: 2: 2 for the laser light source LD1 (405 nm), the laser light source LD2 (525 nm), the laser light source LD5 (590 nm), and the laser light source LD4 (635 nm).
  • the light amount ratio of blood vessel emphasis by hemoglobin is set to 2: 1 with emphasis on surface blood vessels, and the light amount ratio of indigo carmine and crystal violet is adjusted to the light amount of the surface layer of hemoglobin.
  • the difference is whether or not the laser of the laser light source LD2 (445 nm) is turned on, but the light quantity ratio is different. Yes.
  • the white observation mode it is preferable to set the white balance at the start of use or at an appropriate timing so that the light quantity ratio is suitable for white observation. At this time, the white balance can be adjusted only by the light amount ratio of the laser light sources LD1 to LD5, and can be combined with general image processing or can be performed only by image processing.
  • the light quantity ratio in the three-substance observation mode can be adjusted by an operator, maintenance personnel, or the like according to preference. It is also preferable to display the light quantity ratio with respect to each characteristic substance on a monitor or the like to inform the operator. This is because the operator can know which feature material is emphasized and how much the illumination is emphasized, and there is no fear of misunderstanding the enhancement degree of each feature material.
  • the light intensity ratio can be changed as described above, its display, and a method for notifying the operator are not limited to the three-substance observation mode.
  • a method for notifying the operator are not limited to the three-substance observation mode.
  • the display mode and the feature substance extraction function are basically the same as those in the first embodiment.
  • an enhanced image of crystal violet can also be displayed. Therefore, it is also preferable to display four or more images in parallel including an enhanced image of three characteristic substances and an image in the white observation mode.
  • the feature substance extraction function preferably extracts a feature substance overlapping region for two desired feature substances among the three kinds of feature substances of hemoglobin, indigo carmine, and crystal violet. It is also preferable to extract the overlap region of the three characteristic substances using all the three characteristic substances.
  • the configuration of the light source unit 132 is different from that of the first embodiment. Accordingly, the information stored in the illumination light control unit 136, the image processing circuit 156, and the memory 137 is the first embodiment. It is different from the form.
  • the light source unit 132 includes laser light sources LD6, LD7, and LD8 instead of the laser light source LD3 of the first embodiment. That is, the light source unit 132 includes laser light sources LD1, LD2, LD4, LD6, LD7, and LD8.
  • the characteristics of these laser light sources are as follows.
  • the laser light source LD1 emits blue-violet laser light having a wavelength of 405 nm. Its output is about 1.5W.
  • the laser light source LD2 emits blue laser light having a wavelength of 445 nm. Its output is about 3W.
  • the laser light source LD6 emits green laser light having a wavelength of 520 nm. Its output is about 3W.
  • the laser light source LD7 emits a true green laser beam having a wavelength of 532 nm. Its output is about 3W.
  • the laser light source LD4 emits red laser light having a wavelength of 635 nm. Its output is about 3W.
  • Laser light source LD8 emits deep red laser light having a wavelength of 680 nm. Its output is about 3W.
  • Each of these laser light sources has a semiconductor laser element that directly emits laser light having a desired wavelength.
  • FIG. 26 shows a spectrum of light that can be emitted by the light source unit 132 in the third embodiment.
  • two wavelengths (laser light source LD1, laser light source LD2) in the blue region (400 to 480 nm), and two wavelengths (laser light source LD6, laser light source) in the green region (480 to 580).
  • LD7 and two wavelengths are assigned to the red region (580 to 700 nm).
  • Lugol solution iodine-potassium iodide solution
  • Dye endoscopic observation using Lugol's solution is a diagnostic method using an iodoglycogen color reaction and is used for diagnosis of esophageal cancer (squamous cell carcinoma) and the like.
  • esophageal cancer squamous cell carcinoma
  • the entire mucous membrane is stained brown, but in esophageal cancer and esophageal dysplasia (benign malignant borderline lesion), glycogen is significantly reduced or disappeared, so it is white as an unstained zone (not stained) State).
  • esophageal cancer and esophageal dysplasia benign malignant borderline lesion
  • the observation mode in the present embodiment is different from the first embodiment in that a one-substance observation mode (Lugard solution enhancement mode) is added in addition to the observation mode described in the first embodiment.
  • a one-substance observation mode Ligard solution enhancement mode
  • One substance observation mode Ligard liquid emphasis mode
  • Lugol's solution is a type of pigment solution that has a brown color and has the property of staining normal mucous membranes and not staining lesions. That is, the indigo carmine and crystal violet described so far in the first embodiment and the second embodiment are used for diagnosis and judgment based on the pattern in the concave portion of the lesioned part or staining. On the other hand, Lugol's solution is different in that it has an effect of staining other than the lesioned part and floating the lesioned part as an unstained zone.
  • the absorption spectrum of the Lugol solution has a light absorption characteristic as shown in FIG. Similar to the first and second embodiments described above, in the absorption spectrum of the Lugol solution, an intermediate value between the maximum value and the minimum value of the light absorption intensity is used as a threshold value, and a wavelength region having a light absorption intensity higher than that is absorbed. A wavelength region having a light absorption intensity below the peak region PR is defined as an absorption bottom region BR.
  • Lugol's solution stains normal cells and does not stain lesions.
  • Light in the wavelength region of the absorption peak region PR is absorbed in the region stained with Lugol's solution and not absorbed in the unstained region, so the contrast between these two regions is improved compared to that in the white observation mode. It is possible to make it.
  • the contrast between the stained region and the unstained region is made lower than in the white observation mode. It becomes possible. That is, even after the Lugol solution is applied, an image having a contrast close to that before the Lugol solution is applied can be obtained.
  • the absorption peak region PR and the absorption bottom region BR of the Lugol solution are as follows.
  • the absorption peak region PR is a wavelength region of 420 to 480 nm
  • the absorption bottom region BR is a wavelength region of 400 to 420 nm.
  • the absorption peak region PR is a wavelength region of 480 to 525 nm
  • the absorption bottom region BR is a wavelength region of 525 to 580 nm.
  • the absorption peak region PR is a wavelength region of 670 to 700 nm
  • the absorption bottom region BR is a wavelength region of 580 to 670 nm.
  • the absorption peak region PR is a wavelength region of 750 to (810) nm
  • the absorption bottom region BR is a wavelength region of 700 to 750 nm.
  • the emission wavelength (445 nm) of the laser light source LD2, the emission wavelength (520 nm) of the laser light source LD6, and the emission wavelength of the laser light source LD8 (680 nm) are included in the absorption peak region PR, and the emission of the laser light source LD1.
  • the wavelength (405 nm), the emission wavelength (532 nm) of the laser light source LD7, and the laser light source LD8 (680 nm) are included in the absorption bottom region BR.
  • Fig. 28 shows the spectrum of illumination light in the single substance observation mode (Lugard solution enhancement mode).
  • the laser light source LD2 (445 nm), the laser light source LD6 (520 nm), and the laser The light source LD8 (680 nm) is turned on.
  • the laser light having a wavelength of 445 nm, the laser light having a wavelength of 520 nm, and the laser light having a wavelength of 680 nm are narrowband light selected based on the absorption spectrum of Lugol.
  • the wavelength of emitted light (520 nm) of the laser light source LD6 is also included in the absorption peak wavelength PR of hemoglobin, so that hemoglobin is highlighted. It becomes possible to do. Therefore, in this observation mode, the normal mucous membrane stained with Lugol's solution is dark, and not only the unstained zone that is not stained with Lugol's solution looks bright, but also it is possible to highlight the blood vessels where the unstained zone is present. ing. As a result, it is possible to provide an image that is easy for the operator to make a diagnosis or judgment. As described above, even when the region is included in the absorption peak region PR of a certain characteristic substance and is included in the absorption peak region PR of another characteristic substance, the region where each characteristic substance exists is different. It is preferable to use light having a different wavelength.
  • Fig. 29 shows the spectrum of illumination light in the single substance observation mode (Lugard solution effect reduction mode).
  • the single substance observation mode Ligard liquid effect reduction mode
  • the laser light source LD1 (405 nm)
  • the laser light source LD7 (532 nm)
  • the laser light source LD4 (635) is turned on.
  • the wavelengths of the laser light included in the illumination light are all included in the absorption bottom region BR of the Lugol solution. These three wavelengths are included in the three color regions of RGB, respectively.
  • this illumination light makes it possible to obtain a white image in which the influence of the Lugol solution is less than that of a normal white image even after application of the Lugol solution.
  • the laser beam with a wavelength of 405 nm, the laser beam with a wavelength of 532 nm, and the laser beam with a wavelength of 635 are narrowband light selected based on the absorption spectrum of Lugol.
  • various wavelengths described in the first embodiment and the modifications thereof are selected by selecting a wavelength to be emitted based on the absorption peak region PR and absorption bottom region BR of hemoglobin and indigo carmine described above.
  • An observation mode and a display mode can be realized.
  • the visibility of an abnormal region is improved by image enhancement observation depending on the presence or absence of Lugol's solution, and at the same time, the blood vessel contrast of the abnormal region is improved to support the diagnosis and judgment of the operator. It is possible to provide a light source technology and an endoscope apparatus. In addition, it is possible to provide a white image whose influence is reduced even after application of a pigment solution such as Lugol's solution.
  • a laser light source is used for the light source unit 132, but the present invention is not limited to this.
  • various light sources such as a super luminescent diode and LED can be used for the light source unit 132 as long as the light source can emit narrowband light.
  • the light source unit 132 may have a plurality of LED light sources instead of having a laser light source.
  • FIG. 30 shows a spectrum of light emitted from the light source unit 132 in which the laser light sources LD1 to LD4 of the first embodiment are replaced with LED light sources LED1 to LED4.
  • Each of the LED light sources LED1 to LED4 has an LED element.
  • the LED element is advantageous in that it is relatively inexpensive and has a low risk to the human body.
  • the emitted light of the LED element has a slightly broad spectrum width as compared with the semiconductor laser element, but is sufficiently narrow band light as compared with the wavelength region of visible light. For this reason, even in an endoscope apparatus in which the light source unit 132 is configured by the LED light sources LED1 to LED4, the same effect as in the above embodiment can be obtained.
  • a criterion for determining whether or not the wavelength of the light emitted from the LED element is included in the absorption peak region PR or the absorption bottom region BR can be defined by the peak wavelength of the light emitted from the LED element. That is, when the peak wavelength is included in the absorption peak region PR, the spectrum is assumed to be included in the absorption peak region PR even if the base of the spectrum deviates from the absorption peak region PR. This is because if the peak wavelength is included in the absorption peak region PR, the amount of light exceeding half of the light emitted from the LED is included in the absorption peak region PR.
  • the determination is made based on the peak wavelength of the light emitted from the LED is shown here, other commonly used definitions of the wavelength of the LED, such as a dominant wavelength, can also be used.
  • narrowband light By combining a broad white light source such as a xenon lamp and a wavelength filter. According to such a combination, various narrow band lights can be realized by the filter.
  • narrowband light can be formed by arbitrarily cutting out the wavelength region where the spectrum of the original illumination light (in this example, the light emitted from the Xe lamp) exists.
  • the light source unit 132 may be configured to produce narrowband light by a combination of an Xe lamp and a filter.
  • FIG. 31 shows the spectrum of narrowband light NB1, NB2, NB3, NB4 produced by the combination of the Xe lamp and the filter.
  • the narrow band lights NB1 and NB3 have a wavelength width that is the entire absorption peak region PR of hemoglobin.
  • the narrowband light NB2 has a wavelength width that becomes a blue region in the absorption bottom region BR of hemoglobin.
  • the narrowband light NB4 has a wavelength width that becomes a red region in the absorption peak region PR of indigo carmine. Even using such narrow-band light NB1 to NB4, it is possible to obtain a relatively bright image with high color reproducibility in which two characteristic substances are emphasized.
  • the above embodiment has been described assuming that a moving image and a still image are not particularly distinguished and a common observation mode is used in both cases, but is not limited thereto. It is also preferable to set the observation mode for moving images and still images differently. For example, in the case of a still image, it is always preferable to set (5) the illumination light sequential irradiation mode so that an image in a desired observation mode can be constructed in a later diagnosis or explanation to a patient.

Abstract

内視鏡装置は、第1の特徴物質の吸収スペクトルに基づいて選定された第1の狭帯域光と、第2の特徴物質の吸収スペクトルに基づいて選定された第2の狭帯域光とを射出可能な光源部(132)と、前記第1の狭帯域光による第1の画像と、前記第2の狭帯域光による第2の画像とをそれぞれ分離して取得する撮像系(152,156,132,136)とを有している。内視鏡装置はさらに、前記第1の画像上の前記第1の特徴物質に関する特徴物質領域を第1の特徴物質領域として抽出可能、および/または、前記第2の画像上の第2の特徴物質に関する特徴物質領域を前記第2の特徴物質領域として抽出可能な特徴物質領域抽出部を有している。

Description

内視鏡装置
 本発明は、観察対象物の画像を取得する内視鏡装置に関する。
 特開2014-50595号公報は内視鏡装置を開示している。この内視鏡装置は、酸素飽和度測定光と血管強調用照明光を交互に被検体に照射し、得られた2フレーム分の画像から表層血管と中層血管を強調表示しつつ、酸素飽和度が低いときのみ表層血管の色を変化させた画像を表示する。これにより、血管走行パターンが強調表示された画像を表示するとともに、その血管走行パターンを有する部位が病変部であるか否かが直感的に分かる情報を表示する。
 前述の内視鏡装置では、血管走行パターンを有する部位が病変部であるか否かが直感的に分かるなどとしている。しかし、結局見ている対象は、ヘモグロビン由来の血管画像である。すなわち1種類の特徴物質であるヘモグロビンを、見方を変えて見ているに留まっている。病変部の態様によっては、ヘモグロビンに基づく血管画像だけでは病変部であるか否かを判断できない場合がある。このため、色素染色など複数の特徴物質を用いて病変部を判断することが望まれている。
 本発明は、このような状況に鑑みて成されたものであり、本発明の目的は、複数の特徴物質の画像を分離して取得することを可能とする内視鏡装置を提供することにある。
 内視鏡装置は、第1の特徴物質の吸収スペクトルに基づいて選定された第1の狭帯域光と、第2の特徴物質の吸収スペクトルに基づいて選定された第2の狭帯域光とを射出可能な光源部と、前記第1の狭帯域光による第1の画像と、前記第2の狭帯域光による第2の画像とをそれぞれ分離して取得する撮像系とを有している。内視鏡装置はさらに、前記第1の画像上の前記第1の特徴物質に関する特徴物質領域を第1の特徴物質領域として抽出可能、および/または、前記第2の画像上の前記第2の特徴物質に関する特徴物質領域を第2の特徴物質領域として抽出可能な特徴物質領域抽出部を有している。
 本発明によれば、複数の特徴物質の強調表示を可能とする内視鏡装置が提供される。
図1は、本発明の第1実施形態による内視鏡装置のブロック図である。 図2は、図1に示されたレーザ光源のすべてが点灯されたときの照明光のスペクトルを示している。 図3は、ヘモグロビンの吸収スペクトルを示している。 図4は、1物質観察モード(ヘモグロビン強調モード)の照明光のスペクトルを示している。 図5は、インジゴカルミンの吸収スペクトルを示している。 図6は、1物質観察モード(インジゴカルミン強調モード)の照明光のスペクトルを示している。 図7は、2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)の照明光のスペクトルを示している。 図8は、照明光順次照射モードにおけるレーザ光源の点灯と消灯のタイミングチャートである。 図9は、図8に示されたタイミングTa1における光源部の発光スペクトルを示している。 図10は、図8に示されたタイミングTb1における光源部の発光スペクトルを示している。 図11は、ピットパターン分類の図である。 図12Aは、2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)においてB画像とG画像で構成された画像を示している。 図12Bは、2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)においてR画像で構成された画像を示している。 図12Cは、2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)においてR画像とG画像とB画像とで構成された画像を示している。 図13Aは、図12Aと対応した、ヘモグロビンに基づく血管が強調された画像を示している。 図13Bは、図12Bと対応した、インジゴカルミンが強調された画像を示している。 図13Cは、図12Cと対応した、血管とインジゴカルミンの両方が強調された画像を示している。 図13Dは、図13Aの画像において特徴物質領域が矢印で指されることで画像強調表示により視認性が高められた画像を示している。 図13Eは、図13Aの画像において特徴物質領域の周辺領域の明るさを低くすることで画像強調表示により視認性が高められた画像を示している。 図13Fは、図13Aの画像において観察対象物表示画面の隣に特徴物質領域位置表示画面を用意することで画像強調表示により視認性が高められた画像を示している。 図13Gは、図13Aの画像において導線をスーパーインポーズすることで画像強調表示により視認性が高められた画像を示している。 図13Hは、図13Aの画像において指差し図をスーパーインポーズすることで画像強調表示により視認性が高められた画像を示している。 図13Iは、図13Aの画像において目線をスーパーインポーズすることで画像強調表示により視認性が高められた画像を示している。 図14Aは、第1の特徴物質の特徴物質領域のイメージ図である。 図14Bは、第2の特徴物質の特徴物質領域のイメージ図である。 図14Cは、第1の特徴物質と第2の特徴物質の特徴物質重なり領域を示している。 図14Dは、第1の特徴物質と第2の特徴物質の特徴物質存在領域を示している。 図15は、1つの特徴物質に対する特徴物質領域を抽出して表示する場合における特徴物質領域抽出部の動作を示すフローチャートである。 図16は、特徴物質領域抽出部のブロック図を示している。 図17Aは、複数の特徴物質領域を抽出して表示する場合における特徴物質領域抽出部の動作を示すフローチャートの一部を示している。 図17Bは、複数の特徴物質領域を抽出して表示する場合における特徴物質領域抽出部の動作を示すフローチャートの別の一部を示している。 図18は、図17Bに示されたS10の内部フローを示すフローチャートである。 図19は、視認性向上機能選択スイッチが入力部に設けられた特徴物質領域抽出部のブロック図を示している。 図20は、インジゴカルミンの吸収スペクトルについて、第1実施形態の変形例にしたがって定義された吸収ピーク領域PRと吸収ボトム領域BRと吸収中間領域MRを示している。 図21は、撮像素子に用いられる原色フィルタの光透過率のスペクトルの一例を示している。 図22は、撮像素子に用いられる補色フィルタの光透過率のスペクトルの一例を示している。 図23は、第2実施形態において光源部が射出可能な光のスペクトルを示している。 図24は、クリスタルバイオレットの吸収スペクトルを示している。 図25は、1物質観察モード(クリスタルバイオレット強調モード)における照明光のスペクトルを示している。 図26は、第3実施形態において光源部が射出可能な光のスペクトルを示している。 図27は、ルゴール液の吸収スペクトルを示している。 図28は、1物質観察モード(ルゴール液強調モード)における照明光のスペクトルを示している。 図29は、1物質観察モード(ルゴール液影響軽減モード)における照明光のスペクトルを示している。 図30は、第1実施形態のレーザ光源がLED光源に置き換えられた光源部の射出光のスペクトルを示している。 図31は、Xeランプとフィルタの組合せにより作り出された狭帯域光のスペクトルを示している。
 以下、本発明の実施の形態に係る内視鏡装置について、図を参照しながら説明する。本明細書において、内視鏡装置とは、生体の診察に用いられる医療用内視鏡装置や、工業製品ほかさまざまなものやさまざまな場所に存在する管空内の観察に用いられる工業用内視鏡装置に限定されるものではなく、観察対象物の有する管空たとえば体腔等に挿入されて管空の内面を観察可能な挿入部を備える機器一般を言う。
 <第1実施形態>
 以下、本発明の第1実施形態について、医療用内視鏡装置、特に消化器内視鏡装置を例に説明する。
 [構成]
 図1は、本発明の第1実施形態による内視鏡装置のブロック図である。本実施形態による内視鏡装置は、本体部110、スコープ部120、入力部160、表示部170により構成されている。はじめに本実施形態による内視鏡装置の各構成について説明する。
 〔スコープ部120〕
 スコープ部120は、観察対象物190の内部空間たとえば体腔等に挿入可能な可撓性を有する挿入部124と、医師等の作業者が把持して観察作業のために挿入部124の操作を行うための操作部122と、本体部110とスコープ部120とを接続するための可撓性を有する接続ケーブル126と、本体部110との着脱を可能にするコネクタ128等により構成されている。
 挿入部124の先端には、照明光を観察対象物190に向けて射出する2個の照明ユニット146と、観察対象物190表面で反射または散乱された照明光を受光して画像を取得する撮像ユニット152とが配置されている。
 スコープ部120には導光路が設けられており、本体部110に設けられた光源部132から射出されるレーザ光を挿入部124の先端に設けられた照明ユニット146まで導光する。導光路は、コネクタ128側から、接続ケーブル126内に設けられた1本の第1の光ファイバ140と、操作部122内に設けられた1入力2出力の分岐光学素子142(1×2分岐光学素子)と、挿入部124内に設けられた2本の第2の光ファイバ144により構成されている。本体部110内に設けられた光源部132から射出されたレーザ光は、コネクタ128を介してスコープ部120に入射し、第1の光ファイバ140、分岐光学素子142、2本の第2の光ファイバ144を経由して2個の照明ユニット146に入射する。分岐光学素子142は1つの入力端から入射した光を2つの出力端に、波長ごとの光量を略等しく分配する機能を有している。すなわち、挿入部124に設けられた2本の第2の光ファイバ144は、それぞれ、波長ごとに略等しい光量に分割された光源部132からのレーザ光を、2つの照明ユニット146まで導光する。
 2つの照明ユニット146は、互いに略等しい光変換機能を有している。本実施形態では、レーザ光の波長は変換せず、放射角を広げ、可干渉長を短くする機能を有している。このような機能は、拡散板または拡散粒子を有する部材、レンズ等の光学素子、これらの組み合わせにより実現することが出来る。これにより、照明ユニット146は、光源部132から射出されたレーザ光の波長は変えず、広い放射角で、可干渉性の低い光を照明光として射出する。
 スコープ部120の挿入部124の先端に設けられた撮像ユニット152は、撮像光学系と撮像素子を有している。本実施形態による撮像素子は、たとえば、CMOS型の撮像素子であり、RGBカラーフィルタが一般的なベイヤ配列で搭載されている。すなわち、撮像素子は、R領域とG領域とB領域の3つの色領域の光を分離して取得するカラーフィルタを有する原色フィルタ型の撮像素子である。言い換えれば、R領域の光を分離して取得する色画素であるR画素と、G領域の光を分離して取得する色画素であるG画素と、B領域の光を分離して取得する色画素であるB画素とを有する原色フィルタ型の撮像素子である。この場合、撮像ユニット152自体が、R画像とG画像とB画像とをそれぞれ分離して取得する撮像系を構成している。
 また、スコープ部120には画像信号線154が設けられており、この画像信号線154は、挿入部124の先端に設けられた撮像ユニット152が取得した観察対象物190の画像情報を本体部110まで伝送する。画像信号線154は、挿入部124、操作部122、接続ケーブル126内に延びており、コネクタ128を介して本体部110に接続される。画像信号線154は、画像信号を伝送可能なものならどのようなものでもよく、たとえば電気配線や光通信用の光ファイバなどで構成することが出来る。画像信号線154は、図1では1本の信号線で構成されているように描かれているが、伝送したい画像信号の量や必要な伝送速度などに応じて複数本の信号線で構成されてもよい。
 その他、本実施形態における挿入部124には、先端部を湾曲させるための湾曲機構やさまざまな処置を行う鉗子等を挿入可能な鉗子孔、液体や気体を噴出し、また吸引可能な送気送水管の他、一般的な内視鏡装置に搭載されている機能、機構が搭載されているが、簡便のために図1ではこれらの図示は省略されている。
 〔本体部110〕
 本体部110は、複数種類の狭帯域光を射出するための光源部132と、光源部132を駆動するための駆動部134を有している。光源部132は、レーザ光を射出する複数のレーザ光源LD1,LD2,LD3,LD4を有し、駆動部134は、レーザ光源LD1~LD4をそれぞれ駆動するための駆動回路DRV1~DRV4を有している。
 各レーザ光源LD1~LD4は、半導体光源、たとえば、所望の狭帯域光を直接発光する狭帯域半導体光源である。狭帯域半導体光源は、たとえば、レーザ光を射出する半導体レーザ光源である。
 本体部110はまた、駆動回路DRV1~DRV4を経由してレーザ光源LD1~LD4からの射出光の光量や発光タイミング等を制御する照明光制御部136と、撮像ユニット152が取得した画像信号に必要な画像処理を施す画像処理回路156と、照明光制御情報および/または画像処理情報を記憶しているメモリ137を有している。照明光制御情報は、たとえば、後述する各観察モードにおいて発光されるレーザ光の波長と各波長の光量比と発光タイミングとを含んでいる。また、画像処理情報は、たとえば、後述する各観察モードに対してあらかじめ設定された画像パラメータを含んでいる。
 本実施形態で用いられているレーザ光源LD1~LD4はいずれも、半導体レーザ素子と、半導体レーザ素子の温度を制御する温度安定化部を有している。レーザ光源LD1~LD4の特性は次のとおりである。
 レーザ光源LD1は、波長405nmの青紫色レーザ光を射出する。その出力は1.5W程度である。
 レーザ光源LD2は、波長445nmの青色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD3は、波長525nmの緑色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD4は、波長635nmの赤色レーザ光を射出する。その出力は3W程度である。
 駆動回路DRV1~DRV4はそれぞれ対応するレーザ光源LD1~LD4と電気的に接続されている。すなわち図1に示されるように、駆動回路DRV1はレーザ光源LD1と、駆動回路DRV2はレーザ光源LD2と、駆動回路DRV3はレーザ光源LD3と、駆動回路DRV4はレーザ光源LD4とそれぞれ電気的に接続されている。レーザ光源LD1~LD4は、それぞれ、駆動回路DRV1~DRV4からの電流によりレーザ光を発振する。
 駆動回路DRV1~DRV4はいずれも、照明光制御部136に電気的に接続されている。照明光制御部136は、各駆動回路DRV1~DRV4のそれぞれにレーザ光の光量や発光タイミング等の制御信号を送信することで、レーザ光源LD1~LD4から射出されるレーザ光の光量や発光タイミング等を制御する。これによりレーザ光源LD1~LD4は、互いに独立にレーザ光の光量や発光タイミングでレーザ光を射出可能となっている。すなわち、後述する観察モードおよび/または表示モード等に基づいて、各レーザ光源LD1~LD4を独立に発振させたり点滅させたりすることが可能となっている。
 レーザ光源LD1~LD4から射出されたレーザ光は光コンバイナ138の入力端に入射する。本実施形態における光コンバイナ138は、4入力1出力、すなわち4×1光コンバイナである。
 レーザ光源LD1~LD4から射出されたレーザ光は、各レーザ光源LD1~LD4に接続された光ファイバ、図示しない内部コネクタを介して光コンバイナ138の入力端に入射する。すなわち、光コンバイナ138の4つの入力端のそれぞれにレーザ光源LD1~LD4が光学的に接続されている。光コンバイナ138に入射した4色のレーザ光は光コンバイナ138内で合波され、1つの出力端から射出される。光コンバイナ138の1つの出力端はコネクタ128を経由して第1の光ファイバ140と光学的に接続されている。すなわち、レーザ光源LD1~LD4から射出された4色のレーザ光は合波され、第1の光ファイバ140に入射するように構成されている。第1の光ファイバ140に入射した4色のレーザ光は、分岐光学素子142、第2の光ファイバ144を経由して照明ユニット146まで導光され、ここで前述の通り広い放射角で、可干渉性の低い照明光となり、観察対象物190に向けて照射される。この照明光のスペクトルの一例を図2に示す。
 駆動回路DRV1~DRV4は、レーザ光源LD1~LD4が有する半導体レーザ素子と電気的に接続されており、半導体レーザ素子に所望の電流を供給することで半導体レーザ素子をレーザ発振させる。半導体レーザ素子から発振されるレーザ光量を安定化させるため、本体部110内には図示しないレーザ光量モニタが設けられており、このレーザ光量モニタの出力値に応じて駆動回路DRV1~DRV4は所望のレーザ光量となるように、半導体レーザ素子に供給する電流量を調整する。なお、レーザ光量の調整は、光量モニタを用いる方法以外に、電流と光量のテーブルをあらかじめ記憶しておき、このテーブルを参照して供給電流を調整する方法や、その他さまざまな方法が知られており、これらの方法を用いることも好適である。
 また、駆動回路DRV1~DRV4は、レーザ光源LD1~LD4が有する半導体レーザ素子の温度を制御する温度安定化部を制御するための制御信号を出力する。半導体レーザ素子は一般に、素子の温度が変化すると発振するレーザ光の光量や波長が変化することが知られている。このため、安定した光量と安定した波長のレーザ光を得るため、本実施形態では温度安定化部が設けられている。温度安定化部は、たとえば半導体レーザ素子と熱的に接続されたペルチェ素子で構成することが出来る。駆動回路DRV1~DRV4は、ペルチェ素子を制御し、半導体レーザ素子が適切な温度たとえば25℃となるように制御信号や電力を供給する。なお、半導体レーザ素子の温度を安定化する方法は、ペルチェ素子を用いる方法以外に、十分な熱容量のヒートシンクを用いる方法や、強制空冷手段を用いる方法など、さまざまな方法が知られており、これらの方法を用いることも好適である。さらに、温度センサにより半導体レーザ素子の温度を測定し、測定された温度に基づいて、半導体レーザ素子に供給する電流量を調整する方法を用いることも出来る。温度安定化機構は、4つのレーザ光源LD1~LD4のそれぞれに独立に組み合わせることも可能であり、またひとつの温度安定化機構に複数のレーザ光源LD1~LD4を組み合わせることも可能である。
 照明光制御部136は、駆動回路DRV1~DRV4と電気的に接続されており、駆動回路DRV1~DRV4を経由してレーザ光源LD1~LD4を独立に、あるいは連動させて光量を制御することが可能となっている。本実施形態における各レーザ光の発光タイミングは後述する。
 画像処理回路156は、撮像ユニット152により取得され、画像信号線154により伝送された画像信号を、表示部170が表示可能な信号に変換する画像処理を行う。画像処理は、後述する観察モード、表示モードに応じて選定された照明光に適した画像処理を行い、作業者が所望の画像情報を表示部170に表示させて確認することを可能にする。このため、照明光制御部136と画像処理回路156とは図示しない電気配線で接続されており、画像処理回路156は必要に応じて、照明光の発光タイミングや光量の情報を得てそれに応じた処理を画像信号に施す。
 コネクタ128は、スコープ部120と本体部110とを着脱可能に接続する機能を有している。コネクタ128は、画像信号を伝送する画像信号線154や、レーザ光を導光する光ファイバ140、撮像ユニット152に電力を供給する図示しない電力線の他、内視鏡装置を機能させるのに必要な電気配線および/または光配線を電気的および/または光学的に着脱可能にする機能を有している。さらに、内視鏡装置の作業に必要な気体や液体などを送るチューブ配管などを着脱可能にする機能を有している。
 なお、本実施形態では、レーザ光源LD1~LD4が、それぞれ、1つの半導体レーザ素子を有している例を示したが、これに限らない。波長の略等しい複数の半導体レーザ素子を組み合わせたものを1つのレーザ光源LD1~LD4として取り扱うことも好適である。この場合、レーザ光源LD1~LD4内に図示しない光コンバイナを設け、複数の半導体レーザ素子からのレーザ光を1つの射出端から出力するようにすることも可能であるし、図1の光コンバイナ138の入力端を半導体レーザ素子の数に合わせて増やすことも可能である。たとえば、緑色光を射出するレーザ光源LD3を、3つの1W出力の半導体レーザ素子の組み合わせで構成する場合、図1の光コンバイナ138を6入力1出力の6×1光コンバイナとし、6つの入力端の3つにレーザ光源LD3の緑色光を発する半導体レーザ素子と光学的に接続するとよい。
 1つのレーザ光源LD1~LD4に複数の半導体レーザ素子を搭載することで、たとえば、目的の波長の半導体レーザ素子が十分な光量のものが調達できない場合にも十分な光量を得ることが出来る。また、複数の低コストな低出力レーザを組み合わせることで、低コスト化を実現することが可能となる。一方、1つのレーザ光源LD1~LD4に1つの半導体レーザ素子を用いることで、本体部110を小型化することが可能となり、また、制御系をシンプルにしたり、消費電力を少なく抑えたりすることも出来る。
 〔表示部170〕
 表示部170は、スコープ部120に搭載された撮像ユニット152が取得し、本体部110に搭載された画像処理回路156により画像処理された観察対象物190の画像を表示する。表示部170は、一般に用いられている種々の表示デバイス、たとえば液晶モニタ等で構成することが出来る。
 表示部170と本体部110とは電気配線184により電気的に接続されている。スコープ部120の有する撮像ユニット152により取得され、画像信号線154により伝送された画像信号を、本体部110の有する画像処理回路156が処理して得られた画像情報は、電気配線184により表示部170に伝送される。表示部170は、この画像情報を作業者に向けて表示する。
 図1では、表示部170と本体部110とを接続している電気配線184は1本の信号線で構成されているように描かれているが、これに限らない。電気配線184は、必要に応じて2本以上の電気配線で構成されてもよい。また、図1では、表示部170の動作に必要な電力を供給する電気配線は、簡単のためにその図示が省略されている。
 本実施形態では、表示部170と本体部110との間に設けられた電気配線184を通じて画像情報の伝送が行われる例を示したがこれに限らない。無線通信や光通信等、通常用いられるさまざまな信号伝送技術を用いることが可能である。
 〔入力部160〕
 入力部160は、後述する観察モードおよび/または表示モードを選択したり切り替えたりするときに利用される。入力部160は、観察モードを選択するための観察モードセレクト部162と、表示モードを選択するための表示モードセレクト部164を有している。観察対象物190を観察する作業者たとえば医師等は、観察開始時や、現在の観察モード、表示モードを変更したい場合、入力部160を操作して観察モードおよび/または表示モードを設定したり選択したりする。観察モードセレクト部162から入力された観察モードに関する情報は、照明光制御部136と画像処理回路156とに伝送される。表示モードセレクト部164から入力された表示モードに関する情報は、画像処理回路156に伝送される。
 本実施形態では、観察モードと表示モードは、デフォルトとして最も多用するモードが自動的に選択されている。たとえば、観察モードは、白色光を用いた白色観察モードが選択されており、表示モードは、白色観察画像と、日時や患者名などの一般情報のみを表示する標準表示モードが選択されている。観察モードと表示モードについては後述する。
 入力部160は、一般に用いられている種々の入力デバイスで構成することが出来る。本実施形態では、通常のキーボードや、タッチパネル式の入力デバイスが用いられている。入力部160は、本体部110と電気配線182により接続されている。入力部160からの入力情報すなわち観察モードおよび/または表示モードに関する情報は電気配線182を通して本体部110に伝送される。本体部110に伝送された入力情報は、図示しない信号線により照明光制御部136および/または画像処理回路156に伝送される。照明光制御部136は、受け取った入力情報に基づいて、レーザ光源LD1~LD4の光量や発光タイミングを制御する。また、画像処理回路156は、受け取った入力情報に基づいて、撮像ユニット152からの画像信号を処理し表示部170に伝送する。
 本実施形態では、入力部160は、独立したユニットで構成するように想定されているが、これに限らない。たとえば、スコープ部120の操作部122に入力部160を組み込むことも可能である。この場合、入力情報は、接続ケーブル126、コネクタ128を経由して本体部110に伝送される。また入力部160は、表示部170に設けることも可能である。このとき、入力部160のすべてを表示部170や操作部122に設けることも可能であるし、また入力部160の一部を表示部170や操作部122に設けることも可能である。
 また、入力部160と本体部110が電気配線182で接続された例を示したが、これに限らない。入力部160と本体部110は、光配線などで接続されることも可能であるし、一般的な電波や赤外線による無線接続で接続されることも可能である。
 [動作]
 次に本実施形態による内視鏡装置の基本的な動作について説明する。
 はじめに作業者により電源が投入される。電源が投入されると、通常の内視鏡装置と同様にセルフチェック回路等により装置が正常か否かを確認する。正常であることが確認されると、駆動回路DRV1~DRV4からレーザ光源LD1~LD4に、所定の電流が供給され、レーザ光源LD1~LD4が安定化するように温める作業が行われる。
 作業者は、本体部110と別体として保管されていたスコープ部120を取り出し、スコープ部120のコネクタ128を本体部110に接続する。本体部110は、通常の内視鏡装置と同様に、接続されたスコープの種類等を確認し、その本体部110とそのスコープ部120との組み合わせにより実現可能な観察モード等を確認する。
 スコープ部120の接続が確認されると、本体部110内に設けられた照明光制御部136は、レーザ光源LD1~LD4の少なくともひとつを、観察が可能な光量で点灯させるように、駆動回路DRV1~DRV4に制御信号を送信する。このとき、どのレーザ光源LD1~LD4を点灯させるかは、あらかじめ設定された観察モード(後述)ごとに決められており、本体部110内に設けられたメモリ137に、どの観察モードではどのレーザ光源LD1~LD4を点灯させるか、どの観察モードがデフォルトで設定された観察モードであるかなどの情報が記憶されている。一般には白色観察モードがデフォルトとして設定されているため、照明光制御部136は、白色観察モードの波長、光量比で各レーザ光源LD1~LD4を発光させるように、駆動回路DRV1~DRV4に制御信号を送信する。また、作業者が入力部160から所望の観察モードを入力した場合には、デフォルト設定によらず、作業者が入力した観察モードに応じたレーザ光源LD1~LD4を観察モードに応じた光量で点灯させるように、照明光制御部136は駆動回路DRV1~DRV4に制御信号を送信する。
 駆動回路DRV1~DRV4は、それぞれ、対応するレーザ光源LD1~LD4を、照明光制御部136からの制御信号に応じた光量とタイミングで発光させるようにレーザ光源LD1~LD4に駆動電流を供給することで制御する。このとき駆動回路DRV1~DRV4は、本体部110内に設けられたメモリ137に記憶されている、各レーザ光源LD1~LD4の駆動電流と発光光量の関係に関する情報や、駆動電流と発振波長の関係などのレーザ光源LD1~LD4の基本的な特性や個体差などの情報を参照してこれらを制御する。照明光制御部136からは、レーザ光源LD1~LD4の制御信号が駆動回路DRV1~DRV4に順次送信されており、駆動回路DRV1~DRV4は本体部110内の図示しないタイミング回路等を参照しつつ、レーザ光源LD1~LD4を互いに同期させて、所望のタイミングと光量で発光させるように制御する。
 レーザ光源LD1~LD4は、駆動回路DRV1~DRV4から供給される駆動電流に応じてレーザ発振し、所定の波長のレーザ光を射出する。レーザ光源LD1~LD4は、図示しないレーザ温度安定化部たとえばペルチェ素子によりその温度を所望の値に制御される。これにより、環境温度に関わらず安定した温度でレーザ光源LD1~LD4を発光させることが可能となり、レーザ光の波長や駆動電流に対する光量を安定化することが可能となる。
 レーザ光源LD1~LD4から射出されたレーザ光は、各レーザ光源LD1~LD4と接続された光コンバイナ138の各入射端に入射し、光コンバイナ138の合波部に向かって進行する。レーザ光源LD1~LD4から射出されたレーザ光は、光コンバイナ138で合波され、1本の光ファイバである第1の光ファイバ140に入射する。第1の光ファイバ140に入射したレーザ光はコネクタ128を経由してスコープ部120内に入射し、操作部122に配置された分岐光学素子142に到達する。分岐光学素子142は、1つの入射端から入射した光を、波長に関わらず1:1に分配し、2本の第2の光ファイバ144に入射させる。すなわち、レーザ光源LD1~LD4から射出されたレーザ光は、各波長とも光量比が1:1となるように分岐されて2本の第2の光ファイバ144に入射する。
 2本の第2の光ファイバ144のそれぞれに入射したレーザ光源LD1~LD4からのレーザ光は、スコープ部120の挿入部124の先端に設けられた2つの照明ユニット146まで導光される。2つの照明ユニット146は略等しい光変換特性を有しており、また2本の第2の光ファイバ144によって導光されたレーザ光はそれぞれ略等しいスペクトルと光量の光となっているため、結果として2つの照明ユニット146から射出される照明光は、明るさ、スペクトル、配光や可干渉長等が略等しい光となっている。
 2つの照明ユニット146から射出された照明光は、一部は観察対象物190の表面で反射または散乱され、また一部は観察対象物190の内部に進行して反射または散乱される。この反射または散乱光の一部は、スコープ部120の挿入部124先端に設けられた撮像ユニット152に入射する。すなわち、撮像ユニット152は、照明ユニット146から射出された照明光によって照らされた観察対象物190の内面の画像を撮像する。
 撮像ユニット152は、ベイヤ配列のRGBカラーフィルタを有する撮像素子を有している。撮像された観察対象物190の内面の画像は、この撮像素子により電気信号に変換され、スコープ部120内に設けられた画像信号線154を経由して本体部110内の画像処理回路156に伝送される。
 画像処理回路156は、撮像ユニット152により取得され、画像信号線154により伝送された画像信号を受信し、適切な画像処理を施す。画像処理は、後述する観察モードおよび/または表示モードによって異なる場合がある。画像処理回路156は、デフォルトで設定されている観察モードおよび/または表示モードに基づいて、または術者が入力部160から入力した観察モードおよび/または表示モードに基づいて、適切な画像処理を行う。観察モードおよび/または表示モードと施すべき画像処理との関係は、本体部110内に設けられたメモリ137に記憶されている。
 メモリ137は、画像処理回路156内に設けられていてもよい。また、メモリ137は、本体部110内に設けられる代わりに、スコープ部120に設けられていてもよい。
 また、画像処理回路156は、照明光制御部136によって制御される各レーザ光源LD1~LD4からの発光パターン、すなわち波長情報や波長間の光量比、発光タイミングなどに基づいて画像処理を調整する場合がある。どのような発光パターンのときにどのような画像処理を施すのかについての情報は、本体部110内に設けられたメモリ137に記憶されている。
 画像処理回路156によって処理された画像情報は、電気配線184を経由して表示部170に伝送される。表示部170は、伝送された画像情報を表示する。表示部170はまた、入力部160から入力された観察モードおよび/または表示モードの情報を表示する。さらに表示部170は、観察対象物190の情報や観察日時、観察に要した時間などさまざまな情報を表示可能である。これらの情報は、本体部110に設けられたメモリ137に記憶された情報や、時計やタイマーの情報、入力部160から入力された情報などである。
 術者はスコープ部120の挿入部124、操作部122を操作しながら観察対象物190に挿入部124を挿入し、表示部170に表示される観察対象物190の内面の画像を観察する。観察中や観察前後、術者は必要に応じて入力部160から情報を入力し、または観察モードおよび/または表示モードを選択する。内視鏡装置は術者の入力情報に連動し、上述するような処理を適切に行い術者の観察作業をサポートする。
 〔モードセレクトについて〕
 本実施形態による内視鏡装置は、複数の観察モードによる観察を行うことが可能となっており、また、複数の表示モードによる表示を行うことが可能となっている。以下、観察モードと表示モードのそれぞれについて詳細に順に説明する。
 <観察モードについて>
 本実施形態による内視鏡装置は、通常の白色観察モードによる観察に加え、観察対象物190内に存在するかもしれない特徴物質をコントラスト良く観察できる複数の特徴物質観察モードによる観察を行うことが可能となっている。本実施形態の特徴物質観察モードは、1物質観察モード(ヘモグロビン強調モード)、1物質観察モード(インジゴカルミン強調モード)、2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)、照明光順次照射モードの4つの特徴物質観察モードを有している。1物質観察モードと2物質観察モードは、白色観察モードよりも特徴物質をコントラスト良く観察できるモードである。すなわち、本実施形態による内視鏡装置は、5つの観察モードによる観察を行うことが可能となっている。
 観察モードは、入力部160の観察モードセレクト部162から情報を入力することにより選択可能となっている。観察モードセレクト部162から入力された観察モードに関する情報は、照明光制御部136と画像処理回路156とに伝送される。照明光制御部136および/または画像処理回路156は、入力部160から伝送される観察モードに関する情報に基づいて、必要な照明光制御情報および/または画像処理情報をメモリ137から読み出し、必要な照明光制御情報および/または画像処理情報に基づいて動作する。
 特徴物質は、たとえば、観察対象物が含有している観察対象物由来の物質である。観察対象物由来の物質は、これに限らないが、たとえばヘモグロビンであってよい。
 特徴物質はまた、たとえば、観察対象物に散布、投与または塗布された外部由来の物質であってもよい。外部由来の物質は、たとえば、生体観察に用いられる色素であってよい。色素は、これに限らないが、たとえばインジゴカルミンやクリスタルバイオレット、ルゴール液であってよい。このような色素は、内視鏡装置内部に設けられた管を通じて観察対象物に向けて散布される。散布の場所、色素の濃度などは、用いる色素などに基づいて設定される。
 癌は成長する過程で必要な栄養源を吸収するため、癌の周辺には毛細血管が集中する。NBI(Narrow Band Imaging)では、毛細血管の視認性を画像強調観察により強調することで癌の発生または成長を認識しやすくしている。また、クリスタルバイオレットを塗布すると細胞の核が染色されるため、表面の模様が浮き上がってくるなど、画像強調観察において生物学的特徴を強調して視認性を向上させるものである。さらにルゴール液は、粘膜全体は染色されるが病変部は染色されないなど、これも生物学的特徴を強調する例である。
 外部由来の物質は、薬剤であってもよい。薬剤は、これに限らないが、腫瘍等に集積する薬剤、たとえば蛍光マーカ等であってよい。蛍光マーカを投与し、蛍光マーカが発光する波長の照明光で観察することで腫瘍等の病変部を強調表示できる。現在、様々な薬剤が開発されている。投与は、注射や点滴、経口投与などにより行われる。
 また、工業内視鏡装置などの場合には、クラックやさびなどを強調できる薬剤を塗布し、強調することも可能である。
 NBI、または、色素による染色または薬剤の投与や塗布を利用して、観察対象部位が強調された画像を取得する観察は、画像強調観察として知られている。インジゴカルミンやクリスタルバイオレット、ルゴール液等の色素は、画像強調観察において、生物学的特徴を強調して視認性を向上させる生物学的特徴物質である。また、腫瘍等に集積する薬剤、クラックやさびなどを強調できる薬剤は、画像強調観察において、構造的特徴を強調して視認性を向上させる構造強調特徴物質である。また、特徴物質によって観察される対象は、本明細書においては、場合によっては、発生源とも称される。
 各観察モードにおいて発光されるレーザ光の波長や光量比、画像処理回路156の処理などは、あらかじめプログラミングされており、本体部110に設けられたメモリ137に記憶されている。メモリ137は、本体部110に設けられる代わりに、入力部160に設けられていてもよい。
 特徴物質をコントラスト良く観察するために観察対象物に照射するレーザ光または狭帯域光は、特徴物質の吸収スペクトルに基づいて選定されている。すなわち、ヘモグロビンをコントラスト良く観察するためには、ヘモグロビンによる吸収が比較的大きい波長域のレーザ光または狭帯域光を照射する。また、インジゴカルミンをコントラスト良く観察するためには、インジゴカルミンによる吸収が比較的大きい波長域のレーザ光または狭帯域光を照射する。
 以下、第1実施形態の5つの観察モードについて順に説明する。
 (1)白色観察モード
 白色観察モードは、従来の内視鏡観察で一般に行われているいわゆる通常光観察モードに近い。この白色観察モードでは、照明光制御部136は、レーザ光源LD1~LD4のすべてを点灯させる。照明光のスペクトルは、図2に示されるように、レーザ特有の離散的なものではあるが、RGB各色領域に色成分を有している。
 すなわち、本実施形態で用いられている撮像ユニット152の有する撮像素子は、前述のように、ベイヤ配列のRGBカラーフィルタを有するCMOS撮像素子である。RGB各色領域、すなわち、R画像の波長領域すなわちR領域、G画像の波長領域すなわちG領域、B画像の波長領域すなわちB領域は、撮像素子に搭載されたカラーフィルタの波長感度領域により決められる。本実施形態では、B領域は波長400~480nmの領域、G領域は波長480~580nmの領域、B領域は波長580~700nmの領域となっている。
 本実施形態では、R領域は、レーザ光源LD4から射出される波長635nmの赤色レーザ光を含んでおり、G領域は、レーザ光源LD3から射出される波長525nmの緑色レーザ光を含んでおり、B領域は、レーザ光源LD1から射出される波長405nmの青紫色レーザ光とレーザ光源LD2から射出される波長445nmの青色レーザ光を含んでいる。結果として、照明光は、全体として白色光となっている。
 レーザ光源LD1~LD4の光量比は、観察対象物190や、スコープ部120に搭載された撮像ユニット152の分光感度特性、さらには作業者の好み等で適宜調整できる。たとえば、レーザ光源LD1(405nm)の光量Q1とレーザ光源LD2(445nm)の光量Q2とレーザ光源LD3(525nm)の光量Q3とレーザ光源LD4(635nm)の光量Q4の比を、Q1:Q2:Q3:Q4=1:2:2:2等とすることで概ね白色とすることが出来る。また、一般的なホワイトバランスの手法により白色となる光量比を設定することも可能である。
 本観察モードでは、これらのレーザ光が同時に発光され、照明ユニット146から観察対象物190に向けて照射される。このとき、照明光の制御を簡便化するために連続発光としてもよいし、省電力や画像ムラ等を考慮して、撮像素子の読み出し期間は消灯するなどの処置を行ってもよい。
 このような、略白色の照明光が観察対象物190に照射されたときの観察対象物190の画像情報は、次のようになる。レーザ光源LD1(405nm)とレーザ光源LD2(445nm)の照明光は、観察対象物190で反射散乱され、撮像素子に入射し、検出されることでB画像を生成する。同様に、レーザ光源LD3(525nm)はG画像を生成し、レーザ光源LD4(635nm)はR画像を生成する。これらRGB画像は、画像処理回路156によってあらかじめ設定されている画像処理が施される。表示部170は、画像処理回路156によって処理された画像情報を観察対象物190のカラー画像として表示する。このように白色観察モードは、すべてのレーザ光源LD1~LD4を発光させることで、一般的な白色画像を取得し、観察することが可能なモードである。
 このとき、本実施形態による白色照明光に含まれる光はいずれもレーザ光であるので、それらのスペクトル線幅はいずれも1nm程度とごく細い。これは単に単色性に優れるばかりでなく、観察対象物190が含有する特徴物質の吸収特性に合致している場合、広く利用されているキセノンランプ等のブロードなスペクトルを有する白色照明の観察画像と比較して、特徴物質をコントラスト良く表示できるという特徴を有している。
 次に4つの特徴物質観察モードについて順に説明する。
 (2)1物質観察モード(ヘモグロビン強調モード)
 本観察モードは、ヘモグロビンが多く存在する領域すなわち血管をコントラスト良く観察するために、ヘモグロビンの吸収特性に合わせた波長の照明光を用いた観察モードである。
 ヘモグロビンの吸収スペクトルは、図3に示されるような光吸収特性を有している。すなわち、その吸収スペクトルは、415nm、540nm、580nmの波長に極大値を有し、500nm、560nm、670nmの波長に極小値を有している。
 このような吸収スペクトルに対し、吸収が大きい領域すなわち吸収ピーク領域PRと、吸収ボトム領域BRとを波長により定義する。
 本実施形態におけるRGB各波長領域は、前述のように、B領域は波長400~480nmの領域、G領域は波長480~580nmの領域、B領域は波長580~700nmの領域となっている。
 これを受け、RGB各波長領域について、ヘモグロビンの光吸収強度が、その波長領域における最大値と最小値との中間値を閾値として、閾値以上の光吸収強度を有する領域を吸収ピーク領域PR、閾値以下の光吸収強度を有する領域を吸収ボトム領域BRと定義する。言い換えると、RGB各色領域で特徴物質であるヘモグロビンの吸収の大きい波長域とそうでない波長域とを、ヘモグロビンの光吸収強度が、各色領域の中間値より大きいか小さいかにより吸収ピーク領域PRと吸収ボトム領域BRとに分ける。吸収ピーク領域PRは、その色領域においてヘモグロビンの吸収が比較的大きい波長域であるため、この波長域内の光を用いると、ヘモグロビンを多く含む血管はこの光をより多く吸収するため、吸収ボトム領域BR内の光と比べ、周辺組織に対するコントラストの高い画像が取得できる。一方、吸収ボトム領域BRは、その色領域においてヘモグロビンの吸収が比較的小さい波長域であるため、この波長域内の光を用いると、ヘモグロビンを多く含む血管のコントラストを低く抑えた画像が取得できる。
 本実施形態では、図3に示されるように、吸収ピーク領域PRは、B領域で400~440nm、G領域で520~555nmおよび570~580nm、R領域で580~605nmとなっている。また、吸収ボトム領域BRは、B領域で440~480nm、G領域で480~520nmおよび555~570nm、R領域で605~700nmとなっている。
 本実施形態では、前述の通り、レーザ光源LD1,LD2,LD3,LD4の発光波長λ1,λ2,λ3,λ4は、それぞれ、λ1=405nm、λ2=445nm、λ3=525nm、λ4=635nmである。したがって、レーザ光源LD1の発光波長λ1は、B領域の吸収ピーク領域PRに含まれ、レーザ光源LD3の発光波長λ3は、G領域の吸収ピーク領域PRに含まれている。また、レーザ光源LD2の発光波長λ2は、B領域の吸収ボトム領域BRに含まれ、レーザ光源LD4の発光波長λ4は、R領域の吸収ボトム領域BRに含まれている。
 1物質観察モードのうち、ヘモグロビンを強調表示するモードである1物質観察モード(ヘモグロビン強調モード)では、レーザ光源LD1~LD4のうち、レーザ光源LD1(405nm)とレーザ光源LD3(525nm)が点灯される。図4は、1物質観察モード(ヘモグロビン強調モード)における照明光のスペクトルを示している。このような照明光を用いることで、ヘモグロビンを多く含む血管のコントラストの高い画像を取得できる。波長405nmのレーザ光と波長525nmのレーザ光は、ヘモグロビンの吸収スペクトルに基づいて選定された狭帯域光である。
 レーザ光源LD1とLD3の光量比は、観察対象物190や、スコープ部120に搭載された撮像ユニット152の特性、さらには作業者の好み等で適宜調整できる。たとえば、レーザ光源LD1(405nm)の光量Q1とレーザ光源LD3(525nm)の光量Q3の比を、Q1:Q3=2:1等とすることで、表層の毛細血管をよりコントラスト良く観察することが可能である。これは、波長の短い光は、生体の比較的表面近傍で吸収または散乱され、それよりは長の長い光はそれより深い層まで侵入して吸収または散乱されるという特性によるものである。すなわち、レーザ光源LD1からの射出光(405nm)は、レーザ光源LD3からの射出光(525nm)と比較して、多くの光成分が生体の表面で吸収または散乱されるため、生体表層の毛細血管の画像情報をより多く含んだものとなる。一方、レーザ光源LD3からの射出光(525nm)は、レーザ光源LD1からの射出光(405nm)と比較して、生体の中層~深層まで進行して吸収または散乱されるため、中層から深層のやや太い血管の情報を含んだものとなる。
 したがって、比較的深い層の血管のコントラストをより向上させたい場合は、たとえばレーザ光源LD1(405nm)の光量Q1とレーザ光源LD3(525nm)の光量Q3の比を、Q1:Q3=1:3等とすればよい。中~深層を強調したい場合は、表層を強調したい場合と比較して、強調したい層に適した波長の光をより強く発光させたほうが、その効果を得やすい。本実施形態では、表層を強調したい場合を基本として、レーザ光源LD1(405nm)の光量Q1とレーザ光源LD3(525nm)の光量Q3の比を、Q1:Q3=2:1を標準の光量比として設定している。なお、複数の光量比を選択可能にすることも好適であり、術者が光量比を任意に設定できるようにすることも好適である。さらに、観察したい血管の層により、レーザ光源LD1またはレーザ光源LD3のどちらか一方のみを点灯し、他方を消灯することも好適である。
 本実施形態では、白色観察モードと同様に、これらのレーザ光が同時に発光され、照明ユニット146から観察対象物190に向けて照射される。また、連続発光とするか、撮像素子の読み出し期間は消灯するかについても、白色観察モードと同様に判断できる。連続発光とするか否かについては、白色観察モードと同じにしてもよいし、一方は連続発光、他方は読み出し期間は消灯するなど、個別に設定してもよい。
 なお、本実施形態における1物質観察モード(ヘモグロビン強調モード)では、レーザ光源LD1とレーザ光源LD3のみが点灯され、レーザ光源LD2とレーザ光源LD4は消灯されたが、これに限らない。たとえば、本実施形態の変形例として、レーザ光源LD1とレーザ光源LD3に加え、レーザ光源LD4がさらに点灯されてもよい。これにより、表層と中~深層の血管のコントラストが強調された、RGB全色を含む自然なカラー画像を得ることが可能となる。このとき、レーザ光源LD4の波長635nmの赤色光は比較的吸収または散乱されにくいため、ヘモグロビンを含む血管のコントラストを損なわない。
 また、レーザ光源LD1とレーザ光源LD3に加え、レーザ光源LD2が点灯されてもよい。これにより、カラー画像の色味を調整したり、表層の血管のコントラストを押さえ、中~深層の血管のコントラストを相対的に向上させたりすることが可能となる。すなわち、中~深層の血管のコントラストを向上させたいとき、レーザ光源LD1の光量Q1とレーザ光源LD3の光量Q3の比を、Q1:Q3=1:3の光量比とすると、レーザ光源LD1の表層の光量が不足することにより画像が暗くなってしまう場合がある。このとき、レーザ光源LD2の445nmの光を追加し、レーザ光源LD1,LD2,LD3の光量Q1,Q2,Q3の比を、Q1:Q2:Q3=1:2:3等とすることで、明るく、かつ中~深層のコントラストの高い画像を得ることが可能となる。これはレーザ光源LD2の445nmの光は、吸収ボトム領域BRに含まれるため血管のコントラストには寄与せず、青色領域の光量を向上させることが可能であるためである。
 さらには、レーザ光源LD1~LD4のすべてが点灯されてもよい。このとき、ヘモグロビンを多く含む血管をコントラスト良く表示するため、レーザ光源LD1~LD4の光量Q1~Q4の比が、たとえば、Q1:Q2:Q3:Q4=4:1:2:2に調整されることは好適である。これにより、色味と血管描出力を両立させ、かつ白色観察モードと比較して血管をコントラスト良く観察できる画像を得ることが可能となる。
 このような、発光波長の選択や光量比の調整については、入力部160を通して術者自らが選択、調整可能にすることも好適であり、また、メンテナンス要員が隠しコマンド等を用いて選択、調整可能とすることも好適である。さらに、ファームウェアのアップデート等により、遠隔的に選択、調整可能とすることも好適である。
 なお、ヘモグロビンは、酸素と結合している酸化ヘモグロビンと、酸素が脱離した還元ヘモグロビンとの2つの状態が存在する。これら2つの状態の吸収スペクトルは若干異なるが、以下の点を考慮し、本発明では、2つの状態を含めて1つの特徴物質とみなすこととする。
 ・2つの状態のヘモグロビンとも、ほぼ血管の内部に存在する。すなわち、存在領域は略等しく、その存在比のみが異なっている。
 ・完全に一方の状態のみが存在し、他方は存在しないという領域は、生体内にはほとんど見られない。
 ・一方の状態から他方の状態へ可逆的に変化するもので、どちらかの状態で安定しているものではない。
 ・吸収スペクトルのピーク波長やボトム波長は略等しい。
 以上の通り、吸収スペクトルが近く、存在場所も略等しい物質は、本発明では1つの特徴物質とみなすこととする。
 (3)1物質観察モード(インジゴカルミン強調モード)
 本観察モードは、観察対象物190の内面で、インジゴカルミンが溜った領域、すなわち観察対象物190表面の凹部をコントラスト良く観察するために、インジゴカルミンの吸収特性に合わせた波長の照明光を用いた観察モードである。
 インジゴカルミンは色素液の一種で紺色を呈しており、その溜りを利用して生体組織表面の凹凸を強調するために用いられている。すなわちインジゴカルミンが凹部に溜ることで凹部が紺色に見えるため、肌色から赤色を呈する凸部や平坦部に対し、凹部が画像強調観察されて視認性が向上する。すなわち、コントラスト良く観察できる。ただし、浅い凹部等では生体組織の色が透けて見えるため、通常の白色光では、十分なコントラストが得られない場合がある。このような場合、本観察モードを用いることで、通常の白色光による観察の場合と比較してコントラストを向上させることが可能となる。
 インジゴカルミンの吸収スペクトルは、図5に示されるような光吸収特性を有している。ヘモグロビンと同様に、インジゴカルミンの吸収スペクトルにおいて、光吸収強度の最大値と最小値との中間値を閾値とし、それ以上の光吸収強度を有する波長域を吸収ピーク領域PR、それ以下の光吸収強度を有する波長域を吸収ボトム領域BRとする。
 ただし、図5に示されるように、インジゴカルミンはB領域の光をほとんど吸収しない。すなわち光吸収強度の最大値と最小値の差が、他の2つの領域と比較して小さい。また、明らかなピーク(極大)やボトム(極小)が見当たらない。このため、B領域全体を吸収ボトム領域BRとして定義した。なお、その波長領域内のどの光を用いても、取得画像のコントラストが大きく変わらないと思われる場合は、このように色領域全体を吸収ボトム領域BRや、吸収ピーク領域PRとすることが好適である。このような定義は、たとえばその色領域の光吸収強度の最大値と最小値の差が、他の色領域における光吸収強度の最大値と最小値の差と比べ、数分の1以下である場合であって、吸収スペクトルも明らかなピーク(極大)やボトム(極小)を持たず、なだらかな場合に適している。その色領域の光吸収強度の最大値と最小値の差が、他の色領域における光吸収強度の最大値と最小値の差と比べ、10分の1以下である場合、特に好適である。
 一方、図3に示されたヘモグロビンのように、B色領域の光吸収強度の最大値と最小値の差と比べ、G,Rの色領域における光吸収強度の最大値と最小値の差は数分の1以下だが、G領域にもR領域にも明瞭なピーク波長(540nm、580nm)が見られるような場合には、全領域を吸収ボトム領域BRと定義するのは好適ではない。これは、ピーク(極大)やボトム(極小)が存在する場合、その周辺の波長の光と比べ、ピークやボトムではコントラストが有意に高いまたは低い画像を得ることが可能なためである。
 前述の通り、インジゴカルミンは凹部に溜ることで凹凸を強調する。吸収ピーク領域PRの波長域の光を用いると、インジゴカルミンが溜った凹部ではその光は吸収され、凹部以外では吸収されないため、凹部とそうでない領域とのコントラストを、白色観察モードの場合よりも向上させることが可能である。一方、吸収ボトム領域BRの波長域の光を用いると、インジゴカルミンが溜った凹部でもその光は吸収されにくいため、凹部以外の領域とのコントラストは白色観察モードの場合より低くすることが可能となる。すなわち、インジゴカルミンを塗布した後であってもインジゴカルミン塗布前に近いコントラストの画像を得ることが可能となる。
 本実施形態によるインジゴカルミンの吸収ピーク領域PRは、B領域には存在せず、G領域では550~580nm、R領域では580~665nmである。また、吸収ボトム領域BRは、B領域では全域である400~480nm、G領域では480~550nm、R領域では665~700nmである。
 本実施形態では、前述の通り、レーザ光源LD1~LD4の発光波長λ1~λ4は、それぞれ、λ1=405nm、λ2=445nm、λ3=525nm、λ4=635nmのレーザ光が照射可能である。レーザ光源LD1の発光波長λ1とレーザ光源LD2の発光波長λ2は、B領域の吸収ボトム領域BRに含まれ、レーザ光源LD3の発光波長λ3は、G領域の吸収ボトム領域BRに含まれている。また、レーザ光源LD4の発光波長λ4は、R領域の吸収ピーク領域PRに含まれている。
 1物質観察モードのうち、インジゴカルミンを強調表示する1物質観察モード(インジゴカルミン強調モード)では、レーザ光源LD1~LD4のうち、レーザ光源LD4(635nm)のみが点灯される。図6は、1物質観察モード(インジゴカルミン強調モード)における照明光のスペクトルを示している。これにより、インジゴカルミンの溜った凹部のコントラストの良い画像を取得できる。波長635nmのレーザ光は、インジゴカルミンの吸収スペクトルに基づいて選定された狭帯域光である。
 本観察モードにおいても、白色観察モード、1物質観察モード(ヘモグロビン強調モード)と同様に、連続発光とするか、撮像素子の読み出し期間は消灯するかなどは、適宜選択可能である。
 なお、本実施形態における1物質観察モード(インジゴカルミン強調モード)では、レーザ光源LD4のみが点灯され、他のレーザ光源LD1,LD2,LD3は消灯されたが、これに限らない。たとえば、レーザ光源LD1とレーザ光源LD2の少なくとも一方と、レーザ光源LD3が点灯されてもよい。これにより、凹部に溜ったインジゴカルミンのコントラストが強調された、RGB全色を含む自然なカラー画像を得ることが可能となる。このとき、各波長の光量比、レーザ光源LD1(405nm)の光量Q1とレーザ光源LD2(445nm)の光量Q2とレーザ光源LD3(525nm)の光量Q3とレーザ光源LD4(635nm)の光量Q4の比を、白色観察モードのときの光量比Q1:Q2:Q3:Q4=1:2:2:2と異なり、レーザ光源LD4の光量が高められた光量比、たとえばQ1:Q2:Q3:Q4=1:2:2:4等とすることで、色味と凹部強調とを両立させることが可能となる。
 (4)2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)
 本観察モードは、観察対象物190の有する2つの特徴物質を同時にコントラスト良く観察したい場合に適した観察モードである。本実施形態では、ヘモグロビンを多く含む血管と、色素液であるインジゴカルミンが溜った凹部とを同時に、コントラスト良く観察するため、ヘモグロビンとインジゴカルミンの両方の吸収特性に合わせた波長の照明光を用いた観察モードである。
 本実施形態では、前述の通り、レーザ光源LD1,LD2,LD3,LD4の発光波長λ1,λ2,λ3,λ4は、それぞれ、λ1=405nm、λ2=445nm、λ3=525nm、λ4=635nmである。レーザ光源LD1の発光波長λ1(405nm)とレーザ光源LD3の発光波長λ3(525nm)は、ヘモグロビンの吸収ピーク領域PRに含まれている。また、レーザ光源LD4の発光波長λ4(635nm)は、インジゴカルミンの吸収ピーク領域PRに含まれている。このため、前述の通り、レーザ光源LD1からの射出光とレーザ光源LD3からの射出光は、ヘモグロビンをコントラスト良く描出でき、レーザ光源LD4からの射出光は、インジゴカルミンをコントラスト良く描出できる。
 本観察モードでは、レーザ光源LD1(405nm)とレーザ光源LD3(525nm)とレーザ光源LD4(635nm)が同時に点灯される。図7は、2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)における照明光のスペクトルを示している。光量比は、たとえば、2:1:2である。これは、ヘモグロビンの吸収強度が高いレーザ光源LD1とレーザ光源LD3の射出光の光量比を、表層血管重視の比率である2:1とし、かつ、撮像素子のB画素領域の照明光量とR画素領域の照明光量とが略等しくなるように、レーザ光源LD1とレーザ光源LD4の射出光の光量比を1:1(=2:2)としたためである。
 このとき、2つの特徴物質のコントラストを同等程度にしたい場合は、上述のような光量比が好適である。しかし、いずれか一方の特徴物質のコントラストをより向上させたい場合は、その特徴物質の吸収スペクトルに基づいて選定された狭帯域光の光量を他方の特徴物質の吸収スペクトルに基づいて選定された狭帯域光と比較して相対的に増加させることは好適である。すなわち、よりコントラストを向上させたい特徴物質を注目特徴物質と呼ぶとすると、注目特徴物質に基づいて選定された狭帯域光の光量を、他方の特徴物質に基づいて選定された狭帯域光の光量と比較して、増加させるように光源部132を制御することは好適である。本実施形態では、たとえばヘモグロビンを注目特徴物質としたとき、レーザ光源LD1,LD3,LD4の光量Q1,Q3,Q4の比を、Q1:Q3:Q4=2:1:1とすることで、インジゴカルミンと比較してヘモグロビンをよりコントラスト良く観察することが可能となる。
 ここで、この光量比を連続的に調整可能であるように構成されていることは好適である。この光量比の調整は、たとえば、入力部160を通じて作業者が情報を入力することにより行えるように構成されている。
 なお、RGB各色領域の撮像素子の受光感度が異なる場合には、これを考慮して光量比を調整することも好適である。また、作業者の違和感を軽減するために、照明光が白色光に近くなるような光量比に調整することも好適である。
 レーザ光源LD1,LD3,LD4が同時に点灯されると、各レーザ光は、前述の通りの導光路をたどって観察対象物190の表面に照射される。さらに観察対象物190の表面等で反射または散乱された光の一部は、撮像ユニット152により検出されて画像信号となる。その画像信号は、画像信号線154を経由して本体部110内の画像処理回路156に伝送される。画像処理回路156では、これらのRGB各画像信号に基づいて観察対象物190の画像情報を構築する。
 このとき、B画像とG画像については、前述の1物質観察モード(ヘモグロビン強調モード)のB画像とG画像と同等な画像情報を、R画像については、1物質観察モード(インジゴカルミン強調モード)の画像と同等な画像情報を得ることが出来る。すなわち、本観察モードでは、撮像素子の有するカラーフィルタのRGB各色領域に、レーザ光が1波長ずつ割り当てられているため、ヘモグロビンのコントラストが向上されたB画像とG画像と、インジゴカルミンを強調したR画像とをそれぞれ独立かつ同時に取得できる。
 詳しくは、本観察モードで取得されるRGB各画像において、B画像は、波長405nmのレーザ光により、表層血管が強調されているが、インジゴカルミンは強調されていない画像であり、G画像は、波長525nmのレーザ光により、中~深層血管が強調されているが、インジゴカルミンは強調されていない画像であり、R画像は、波長635nmのレーザ光により、ヘモグロビン(血管)は強調されていないが、インジゴカルミンは強調されている画像である。
 本観察モードでは、レーザ光源LD1,LD3,LD4が同時に点灯されることにより、ヘモグロビン強調画像とインジゴカルミン強調画像の両方が同時に取得される。このため、動きや時間変化のある観察対象物190、特徴物質等について、2つの特徴物質のコントラストの高い画像をまったく同時に取得できる。これにより、画像ブレや色ずれが発生することがなく、2つの特徴物質のコントラストの高い画像を重ねて表示したり、カラー画像として表示したりする場合にも違和感がない。
 なお、本観察モードで用いられる照明光は、1物質観察モード(ヘモグロビン強調モード)において、波長635nmの赤色光を追加して発光された場合や、1物質観察モード(インジゴカルミン強調モード)において、波長405nmの光と波長525nmの光を追加して発光された場合など、色味を考慮した1物質観察モードで用いられる照明光に似ている。しかし、この2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)では、ヘモグロビンとインジゴカルミンの両方を同時にコントラスト良く観察することに主眼が置かれた光量比に調整されている。これに対して、色味を考慮した1物質観察モードでは、色味を調整することに主眼が置かれた光量比に調整されている。この点において両者は異なっている。ただし、本実施形態のように、ほぼ、互いに相手のコントラストに影響を与えない場合は、両者はほぼ等しい光量比となる場合もありえる。この場合は画像処理や後述する表示モードが異なるにとどまる。
 (5)照明光順次照射モード
 本観察モードは、前述の観察目的を明確にした観察モードとは異なり、内視鏡装置の光源部132が有するすべてのレーザ光源LD1~LD4を単独で照射したときの画像をすべて取得し、画像処理や後述の表示モード等により所望の画像を表示可能とするモードである。
 本実施形態では、レーザ光源LD1~LD4の4波長のレーザ光が利用可能である。すなわち、波長405nmのレーザ光と波長445nmのレーザ光と波長525nmのレーザ光と波長635nmのレーザ光が利用可能である。また、撮像ユニット152の有する撮像素子はRGBベイヤ配列の原色イメージャであり、B領域は波長400~480nmの領域、G領域は波長480~580nmの領域、B領域は波長580~700nmの領域となっている。
 照明光順次照射モードでは、図8に示されるようなタイミングで、レーザ光源LD1~LD4が点灯と消灯を繰り返すように、照明光制御部136がレーザ光源LD1~LD4を制御する。レーザ光源LD1~LD4の各々の発光タイミングは、レーザ光源LD1~LD4から射出されるレーザ光の波長関係と、撮像ユニット152に含まれる撮像素子の分光特性に基づいて設定される。
 図8は、横軸に時間をとったタイミングチャートであり、レーザ光源LD1~LD4の点灯と消灯のタイミングを示している。図8において、矩形波状のチャートの下にあるときは消灯を、上側にあるときは点灯を意味している。時間軸では、いずれかのレーザ光源LD1~LD4が点灯するタイミングをTa1,Tb1,Ta2,Tb2,Ta3,Tb3,…と記している。Ta1,Tb1,Ta2,Tb2,Ta3,Tb3,…は周期的なタイミングで、Ta1とTb1の間隔、Tb1とTa2の間隔、…は、撮像素子のフレームレートに等しい。また、撮像素子の読み出し時間に相当するタイミングではすべてのレーザ光源LD1~LD4が消灯するようになっている。
 本観察モードでは、照明光制御部136は、第1のタイミングTa1でレーザ光源LD1とレーザ光源LD3を点灯させ、第2のタイミングTb1でレーザ光源LD2とレーザ光源LD4で点灯させる。第1のタイミングTa1から次の第1のタイミングTa2までを1周期として、各レーザ光源LD1~LD4は、この周期で点灯と消灯を繰り返す。
 レーザ光源LD1から射出される波長405nmの光は撮像素子のB領域に含まれ、レーザ光源LD3から射出される波長525nmの光は撮像素子のG領域に含まれる。このため、レーザ光源LD1とレーザ光源LD3が同時に点灯しても、独立の画像情報として得ることが出来る。同様に、レーザ光源LD2から射出される波長445nmの光は撮像素子のB領域に含まれ、レーザ光源LD4から射出される波長635nmの光は撮像素子のR領域に含まれる。このため、レーザ光源LD2とレーザ光源LD4が同時に点灯しても、独立の画像情報として得ることが出来る。この結果、このようなタイミングでレーザ光源LD1~LD4の点灯と消灯を繰り返すことで、レーザ光源LD1による波長405nmの画像、レーザ光源LD2による波長445nmの画像、レーザ光源LD3による波長525nmの画像、レーザ光源LD4による波長635nmの画像をそれぞれ独立に取得することが可能となっている。
 実際には、同じB領域に含まれる405nmのレーザ光源LD1と445nmのレーザ光源LD2とが別のタイミングで点灯されさえすれば、他のレーザ光源LD3,LD4はどちらのタイミングで点灯されても問題ない。本実施形態では、画像処理回路156の負荷を平均化するためにそれぞれのタイミングで2つのレーザ光源LD1~LD4が点灯されるように設定されている。
 図9は、タイミングTa1における光源部132の発光スペクトルを示しており、図10は、タイミングTb1における光源部132の発光スペクトルを示している。
 この観察モードでは、4枚の画像のうち2枚ずつが異なるタイミングで撮像されるため、動きの早い観察対象物190や、変化の早い観察対象物190の観察では、高速の撮像系が用いられることや、画像処理による補正が加えられることが好適である。
 このように構成することで、前述の(1)~(4)までのすべての観察モードによる画像が、画像処理回路156により構築され、表示部170に表示されることが可能となる。
 上記観察モードは一例であり、これらを順次繰り返す連続画像取得モードや、同じ観察モードで異なる光量比の画像を順次繰り返し取得する光量比変更画像取得モードなど、さまざまな応用が可能である。
 <表示モードについて>
 本発明の第1実施形態では、前述の観察モードに基づいて、さまざまな表示モードによる表示が可能となっている。
 表示モードは最終的に術者が観察したい画像を選択するモードであり、選択された画像が表示部170に表示される。
 表示モードは、何枚の観察画像を表示部170上に同時に表示するかを選択する画像数選択モードと、どのような画像を表示するかを選択する画像種選択モードとを有している。言い換えれば、表示モードは、表示部170に同時に表示される画像の数を選択する画像数選択モードと、表示部170に表示される各観察モードで取得された画像の種類を選択する画像種選択モードとを有している。これらの両方が、表示モードセレクト部164から情報を入力することにより選択される。表示モードセレクト部164から入力された表示モードに関する情報は、画像処理回路156に伝送される。
 各表示モードにおいて表示可能な画像種の情報はあらかじめメモリ137に記憶されている。各表示モードでは、メモリ137にあらかじめ記憶されている情報に基づいて、選択されている観察モードに基づいて表示可能な画像種のみが選択可能となっている。
 画像数の選択は、モニタのサイズや解像度などの制限を除けば自在に選択できる。たとえば表示部170の数を増やすことで所望の画像数を同時に表示することが可能である。画像種の選択は、基本的にその内視鏡装置で実現可能な画像の種類の中から選択可能である。また、同じ画像種でも時間や観察場所が異なるものを選択することも可能である。
 (A)画像数選択モード
 本実施形態における画像数選択モードは、1つの画像のみを表示する単一画像表示モード、2つの観察画像を同時に表示する2画像表示モード、さらには3つ以上の画像を同時に表示する多画像表示モードを有している。さらに、多画像表示モードでは、何枚の画像を表示するかを入力することで、表示したい画像数を入力することが出来る。また、2画像表示モードと多画像表示モードでは、複数の画像を同じ大きさで表示するか、1つの画像またはいくつかの画像を大きく表示し、他の画像は小さく表示するかなどを細かく設定することが可能である。
 (B)画像種選択モード
 本実施形態における画像種選択モードは、前述の観察モードで得られた画像を直接表示する直接表示サブモードと、用いられた観察モードで得られた画像情報に基づいて所定の画像処理を行う画像処理表示サブモードとを有している。
 直接表示サブモードでは、前述した観察モードのうち、(1)白色観察モード、(2)1物質観察モード(ヘモグロビン強調モード)、(3)1物質観察モード(インジゴカルミン強調モード)、(4)2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)の4つの観察モードで得られた画像が直接表示される。言い換えると、選択された観察モードの種類により、直接表示サブモードで表示される画像が設定される。このモードでは、観察したい画像を得るために必要な照明光が照射され、必要な画像処理を施された画像がそのまま表示部170に表示されるため、無駄が無く効率的に所望の画像を表示することが可能となる。
 一方、画像処理表示サブモードでは、選択された観察モードで得られた画像情報を用い、適切な画像処理を施して所望の画像を得ることが可能になる。すなわち、選択された観察モードによる画像は直接表示サブモードで表示できるが、画像処理表示サブモードでは、選択された観察モード以外の観察画像も表示可能になる。また、観察モードで設定されていない画像についても表示可能になる。
 観察モードごとに、画像処理表示サブモードで構築し表示可能な観察画像は決まっている。
 (1)白色観察モードでは、レーザ光源LD1(405nm),LD2(445nm),LD3(525nm),LD4(635nm)の光量Q1,Q2,Q3,Q4の比がQ1:Q2:Q3:Q4=1:2:2:2に設定された照明光を同時に射出して画像を得るため、B画像は、レーザ光源LD1(405nm)とレーザ光源LD2(445nm)による画像、G画像は、レーザ光源LD3(525nm)による画像、R画像は、レーザ光源LD4(635nm)による画像となる。したがって、白色観察モードで得られた画像情報のうち、R画像を用いることで(3)1物質観察モード(インジゴカルミン強調モード)の画像が表示できる。また、1物質観察モードで説明した、中~深層の血管のコントラストを向上させ、かつ色味や明るさも改善する目的で、Q1:Q2:Q3=1:2:3とした場合の画像を構成して表示することも出来る。このとき、B画像とG画像を用い、かつ、光量がB画像に比べてG画像が1.5倍ほど明るい照明であった画像となるような画像処理を加えることで、所望の画像を構成して表示することが可能となる。
 また、(2)1物質観察モード(ヘモグロビン強調モード)の場合、すなわち発光スペクトルが図4のような場合、画像処理表示サブモードで得られる画像は、B画像(レーザ光源LD1のみの画像)のみによる、表層血管のみが強調された画像、G画像(レーザ光源LD3のみの画像)のみによる、中~深層血管のみが強調された画像のいずれかを表示することが可能となる。また、B画像とG画像を用いた画像で、直接表示サブモードとは異なる光量比となるような画像を表示することが可能となる。
 (3)1物質観察モード(インジゴカルミン強調モード)の場合、図6に示されるような発光スペクトルのため、画像は、レーザ光源LD4によるR画像のみで構成されるため、画像処理表示サブモードにより直接表示サブモード以外の画像を得ることは出来ない。
 (4)2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)の場合、図7に示されるように、B画像は、波長405nmのレーザ光による表層血管のコントラストの高い画像であり、G画像は、波長525nmのレーザ光による中~深層血管のコントラストの高い画像であり、R画像は、波長635nmのレーザ光によるインジゴカルミンのコントラストの高い画像である。このため、画像処理表示サブモードにより、B画像とG画像を用いることで1物質観察モード(ヘモグロビン強調モード)の画像を得ることが可能となり、また、R画像を用いることで1物質観察モード(インジゴカルミン強調モード)の画像を得ることが可能となる。また、画像処理により、各レーザ光の光量比が異なる場合の画像を構成することも可能である。たとえば、G画像の光量が大きくなるような画像処理により、中層~深層のヘモグロビンを特に強調した2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)の画像を得ることも可能である。また、R画像の光量が大きくなるような画像処理により、ヘモグロビンと比較してインジゴカルミンのコントラストを特に強調した2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)の画像を得ることが可能である。
 (5)照明光順次照射モードの場合、レーザ光源LD1~LD4による画像がそれぞれ独立に取得される。したがって、適切な画像を選択し、また適切な光量比の画像となるように、光量比を擬似的に変更したような画像処理を行うことで、観察モードで設定できるすべての画像を実現することが可能である。
 上述したような、画像処理表示サブモードで、どの観察モードからはどのような画像が構築可能か、それはどのような画像処理により構築可能かなどの情報や、具体的な画像処理プロセスやパラメータは、あらかじめプログラミングされ、たとえば、本体部110に設けられたメモリ137に記憶されている。メモリ137は、本体部110に設けられる代わりに、入力部160に設けられていてもよい。または、メモリ137の機能が2つのメモリに分散され、それら2つのメモリがそれぞれ本体部110と入力部160に設けられていてもよい。
 次に一般的な血管強調観察と、インジゴカルミン染色観察について、簡単に説明したうえで、具体的な表示モードについて説明する。
 はじめに血管強調観察について説明する。
 血液中に多く含まれるヘモグロビンに吸収されやすい波長の照明光、いわゆる狭帯域光により血管強調画像を表示することで術者が病変部を発見しやすくする技術は、NBI(Narrow Band Imaging)としてさまざまな内視鏡装置で利用されている。一般に癌は、表層の毛細血管の集まりやそのパターンが正常な部分と異なることが知られている。したがって、患者や被検者の観察対象部位、たとえば胃や食道、大腸等の血管、特に表層の毛細血管をコントラスト良く表示することで、癌か否かの診断がしやすい画像を提供することが可能となる。本発明による1物質観察モード(ヘモグロビン強調モード)は、このNBI技術の応用として、2つの波長のレーザ光により画像を取得する観察モードであり、血管、特に表層の毛細血管をコントラスト良く表示することで術者の癌発見や正常組織との識別を容易にする画像の表示を可能としている。
 次にインジゴカルミン等色素染色観察について説明する。
 胃や食道、大腸の粘膜表面には微小な凹凸パターンが存在し、ピットパターンと呼ばれている。このピットパターンの形状等で正常組織と癌を、さらには癌の進行度を判断する方法が、ピットパターン分類として知られている。ピットパターン分類の図を参考のために図11に示す。
 インジゴカルミンは、内視鏡検査中に散布し、ピットパターンをコントラスト良く観察するのに用いられる、近年最も頻繁に使用される代表的な色素剤である。胃や食道、大腸の病変に対し、希釈したインジゴカルミンを塗布すると、観察対象表面の凹凸をコントラスト良く観察できるようになる。
 以上をふまえ、本実施形態の表示モードの具体例について説明する。
 観察モードとして(4)2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)を選択し、表示モードの画像種選択モードにおいて、画像処理表示サブモードを選択して、B画像とG画像を光量比2:1で構成した画像を画像処理により表示する場合について考える。
 このとき得られる画像は、観察モードを(2)1物質観察モード(ヘモグロビン強調モード)を選択し、表示モードの画像種選択モードの直接表示サブモードを選択した場合の画像と基本的に同じ画像であり、ヘモグロビンを含む血管をコントラスト良く表示することが可能なモードである。2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)が選択されているので、観察対象物190にはインジゴカルミンが塗布されていることになるが、405nmの波長も525nmの波長もいずれも吸収ボトム領域BRに含まれるため、インジゴカルミンによる影響は小さく、血管をコントラスト良く観察できる画像を表示する。この画像のイメージを図12Aに示す。
 図12Aは、単に本実施形態の機能の説明のためのイメージを示しており、医学的な正確さは考慮されておらず、医学的機能や診断の基準を示すものではない。また、以下に示す類似の図も同様である。
 同様に観察モードとして(4)2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)を選択し、表示モードの画像種選択モードの画像処理表示サブモードを選択してR画像を選択した画像の場合について考える。これらは(3)1物質観察モード(インジゴカルミン強調モード)で得られる画像と基本的に同じ画像であり、インジゴカルミンが溜った凹部をコントラスト良く表示することが可能なモードである。この場合も635nmの波長はヘモグロビンの吸収ボトム領域BRに属しているため、血管のコントラストは低く、インジゴカルミンによる凹部を高いコントラストで表示し、観察できる。この画像のイメージを図12Bに示す。
 さらに同じ観察モードにおいて、表示モードの画像種選択モードが直接表示サブモードである例を示す。2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)を選択した場合、各色情報としては、レーザ光源LD1(405nm)によるB画像情報、レーザ光源LD3(525nm)によるG画像情報、レーザ光源LD4(635nm)によるR画像情報の3つの画像情報が得られる。これらRGB画像で構成された画像のイメージを図12Cに示す。
 この画像は、図12Aと図12Bを重ね合わせた画像となっており、血管とインジゴカルミンの両方が強調表示されている。このとき、血管は青色、緑色の光が吸収されているため赤色を帯びた画像として表示され、インジゴカルミンは赤色の光を吸収するため青緑色を帯びた画像として表示される。このため、2つの特徴物質により生物学的特徴が強調されることで、これらを画像強調観察により視認性良く識別して観察可能である。
 この表示モードでは、2つの特徴物質の両方を1つの画面で見比べながら観察し病変部を発見できるので、より見落としが少なく、病変部の発見や診断のしやすさが向上される。
 すなわち、図12Aのヘモグロビンをコントラスト良く観察できる画像では、点線の円で囲まれた2つの領域に毛細血管のパターン異常が疑われる領域が見られる。また、図12Bのインジゴカルミンをコントラスト良く観察できる画像では、左の点線の円で囲まれた領域のピットパターンは図11に示すI型と判断できるため、こちらは正常と判断できる。一方、右側の点線の円で囲まれた領域のピットパターンは、図11よりIII型が疑われ、粘膜内病変(腺種~M癌)の可能性があることがわかる。このように、1つの病変が疑われる領域に2つの特徴物質をコントラスト良く表示する画像モードを組み合わせることで、病変部の発見や診断のし易さを向上させることができることが分かる。
 図12Cでは、このような2つの特徴物質のコントラストを強調した画像を1枚の画像として表示することが可能となる。図12Cにおいて、まず毛細血管に注目すると、2つの病変部の可能性がある領域が発見されるが、同時にインジゴカルミンに基づくピットパターンに注目すると、左の点線の円で囲まれた領域は正常であると直ちに判断できる。このように、2つの特徴物質を同時に表示する観察モードでは、2つの画像を見比べて同じ場所であるかどうかを判断するような時間が不要となり、より手早く発見や診断することが可能となる。
 一方、図12Aと図12Bの観察モードでは、一方の特徴物質のコントラストを強調した画像であって、他方の特徴物質の影響をほとんど受けない画像により発見や診断することが可能となっている。したがって、それぞれの特徴物質について、じっくりと詳細に検討することが可能となる。
 以上より、1つの特徴物質のみを表示する画像を切り替えて表示することで、それぞれの特徴物質についてじっくり詳細に検討することが可能である。また、2つの特徴物質を同時に重ね合わせて表示することで、病変部をすばやく容易に発見や診断することが可能である。したがって、このような表示モードの切り替えは、病変部の状況や医師の好み、患者の病歴等、さまざまな状況に基づいて適宜成される。本実施形態では、デフォルトとしては単一表示モードのうち、直接表示モードが設定されているが、表示モードと表示サブモードは、術者による入力部160への情報入力により容易に切り替え選択可能となっている。
 〔特徴物質領域抽出機能について〕
 本実施形態の内視鏡装置は、図12A~図12Cに示されるような画像情報に基づいて、特徴物質領域として自動抽出する機能を有している。特徴物質領域とは、特徴物質が存在している領域、およびその集まりやパターンが正常な部分と異なる領域を言う。特徴物資領域の抽出は、本体部110内に設けられた画像処理回路156が行う。このため、画像処理回路156は、撮像ユニット152により取得された画像信号を処理して通常の観察画像の画像情報を取得する通常画像処理回路200と、通常画像処理回路200により取得された通常の観察画像の画像情報から特徴物質領域の画像情報を抽出する特徴物質領域抽出部210を有している(図16参照)。通常画像処理回路200と特徴物質領域抽出部210については後述する。特徴物質領域抽出部210は、撮像ユニット152から伝送された画像情報から適切な画像を抽出し、一般に知られているパターン認識や画像解析技術を用いて特徴物質領域を抽出することが可能となっている。ここで、適切な画像とは、特徴物質を一番コントラスト良く表現できている画像という意味であり、その特徴物質に基づいて選定された波長の光によって得られた画像を意味している。
 特徴物質領域抽出部210は、ソフトウェアで構成されてもよく、電気回路で構成されてもよく、また、これら両者の複合体で構成されてもよい。ソフトウェアは、本体部110内に設けられたメモリ137に記録されていてもよく、また、本体部110の外部に設けられ、信号線により本体部110と接続された外部メモリに記録されていてもよい。特徴物質領域抽出部210は、撮像ユニット152が取得した観察対象物190の画像情報に基づいて、観察対象とした特徴物質に関する領域を特徴物質領域として抽出する。すなわち、特徴物質領域抽出部210は、従来のパターン認識や画像解析技術等により、観察対象物190の画像情報の特定の部分、すなわち特徴物質のコントラストが高い領域や色合いが異なる領域、またはそれらの領域の形態や集まり、またそのパターンを、正常な領域のそれと比較して特徴物質領域を抽出するアルゴリズムを有している。特徴物質領域抽出部210は、特徴物質のコントラストが高い領域や色合いが異なる領域、またはそれらの領域の形態や集まり、またはそのパターンが、正常な領域のそれと異なる領域全体を大まかに抽出する機能を有している。
 なお、特徴物質領域抽出部210が利用する、特徴物質の画像のコントラストが高い領域や色合いが異なる領域、またはそれらの領域の形態や集まり、またそのパターンの情報は、たとえば、本体部110内に設けられたメモリ137や、本体部110の外部に設けられ、信号線により本体部110と接続された外部メモリ等や、その両方に記録されている。この情報は、観察対象物の正常な領域の、コントラストや色合い、またはそれらの領域の形態や集まり、またそのパターンの情報である、正常領域情報を含んでいる。また、観察対象物の正常な領域とは異なる領域の、コントラストが高い領域や色合いが異なる領域、またはそれらの領域の形態や集まり、またそのパターンの情報である、正常とは異なる領域情報を含んでいてもよい。このとき、特徴物質領域抽出部210は、特徴物質領域を抽出するとき、正常領域情報と、正常とは異なる領域情報の両方を、観察対象物190の画像情報の特定の部分、すなわち特徴物質のコントラストが高い領域や色合いが異なる領域、またはそれらの領域の形態や集まり、またそのパターンと比較して、特徴物質領域を抽出するアルゴリズムを有する。正常領域情報や、正常とは異なる領域情報は、観察対象とする特徴物質と対応付けられており、観察対象とする特徴物質の特徴物質領域を抽出するときに用いる。正常領域情報の一例として、図11に示すピットパターンのI型が挙げられる。
 特徴物質領域が抽出された画像の例を図13A、図13B、図13Cに示す。図13A~図13Cは、図12A~図12Cを用いて説明した例と同じ観察モード、表示モードで同じ観察対象物190を観察した場合を示している。すなわち、図13Aは、図12Aと対応した、ヘモグロビンに基づく血管が強調された画像を示しており、図13Bは、図12Bと対応した、インジゴカルミンが強調された画像を示しており、図13Cは、図12Cと対応した、血管とインジゴカルミンの両方が強調された画像を示している。図13Aは、観察モードを(2)1物質観察モード(ヘモグロビン強調モード)を選択し、表示モードの画像種選択モードの直接表示サブモードを選択した場合の画像と基本的に同じ画像である。図13Bは、観察モードを(3)1物質観察モード(インジゴカルミン強調モード)を選択し、表示モードの画像種選択モードの直接表示サブモードを選択した場合の画像と基本的に同じ画像である。図13Cは、観察モードとして(4)2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)を選択し、表示モードの画像種選択モードの直接表示サブモードを選択した場合の画像と基本的に同じ画像である。
 特徴物質領域抽出部210は、図13Aの画像に基づいて、観察目的とする特徴物質である、ヘモグロビンの特徴物質領域を抽出し、図13Bの画像に基づいて、観察目的とする特徴物質である、インジゴカルミンの特徴物質領域を抽出する。また、図13Cの画像に基づいて、観察目的とする2つの特徴物質であるヘモグロビンとインジゴカルミンの両方の特徴物質領域を抽出することも可能である。言い換えると、特徴物質領域抽出部210は、選択された観察モード、およびそれと基本的に同じ画像が得られる観察モードが観察目的とする特徴物質に関する特徴物質領域を抽出する。
 図13Aでは、表層血管の集まりやそのパターンが、正常の領域のそれと異なる領域が存在しており、特徴物質領域抽出部210は、図13Aの点線の円で囲まれた2つの領域を特徴物質領域として抽出する。図13Bは、散布されたインジゴカルミンが観察対象物190の表面の凹部に溜まり、ピットパターンをコントラスト良く観察できる画像となっている。この画像に基づき、特徴物質領域抽出部210は、図13Bの右側に示された点線の円で囲まれた正常とは異なるピットパターンの領域を特徴物質領域として抽出する。一方、表層血管画像(図13A)では正常と異なると判断された図13Bの左側の領域については、ピットパターンが正常であることから、特徴物質領域抽出部210は、これを正常と判断し、右側に示された点線の円で囲まれたただ1つの領域を特徴物質領域として抽出する。
 特徴物質領域抽出部210は、2つの特徴物質のそれぞれの特徴物質領域を、略同時に取得した2枚の画像情報に基づいて抽出する。
 以上の通り、特徴物質領域抽出部210は、特徴物質領域画像として、ヘモグロビンを特徴物質として抽出した図13Aの画像やインジゴカルミンを特徴物質として抽出した図13Bの画像を表示する。このとき、図13Aや図13Bに示されるように特徴物質領域を囲む点線の円を画像上にスーパーインポーズしたり、図13Dに示されるように特徴物質領域を指す矢印を画像上にスーパーインポーズしたり、図13Eに示されるように特徴物質領域の周辺領域の明るさを低くしたりするなど、画像強調表示により、さらに視認性が高くなるようにして画像を表示する。すなわち、特徴物質領域を含む画像情報と対応付けた画像強調表示により、特徴物質領域の視認性が向上するようにして画像を表示する。
 なお、ここで言う画像強調表示により視認性が向上するとは、照明光のスペクトル等に基づいて、その特徴物質領域のコントラスト等を向上した画像、即ち通常の画像上に、さらに後述するような矢印や線等の図や、強調したい領域とそうでない領域との色や明るさを調整した画像を追加表示することで、さらに特徴物質領域を強調表示することで、より認識しやすくすることを言う。
 なお、画像強調表示による強調で特徴物質の視認性を向上させるためにスーパーインポーズされた図などにより、観察対象物の画像の一部が覆い隠されてしまったり、見えにくくなったりしてしまう恐れがある。このため、本実施形態の内視鏡装置は、作業者がワンタッチで画像上にスーパーインポーズされた図を消去したり、明るさが低くされた周辺領域を通常の明るさに戻したりするなど、画像強調表示による強調がなされる前の通常の画像に瞬時に戻す機能を備えている。すなわち、画像強調表示による強調で視認性が向上された表示画像と、画像強調表示による強調がなされる前の通常の観察画像とをワンタッチで切り替えるスイッチ、すなわち視認性向上機能選択スイッチを有している。この視認性向上機能選択スイッチは、これを繰り返し押すことで、画像強調表示による強調がなされていない通常の観察画像と画像強調表示による強調で視認性が向上された表示画像とを交互に切り替え表示可能とすることも好適である。また、本実施形態の中で説明した、またはこれから説明する様々な画像強調表示による強調で視認性を向上させる方式を切り替えることも好適である。このスイッチは本体部110、入力部160、操作部122のいずれかに設けることが好適である。
 また、観察対象物の画像上に図などをスーパーインポーズして表示するだけでなく、図13Fに示されるように、観察対象物表示画面の隣に、特徴物質領域位置表示画面を用意し、これに、特徴物質領域と対応づく場所を指す矢印などの画像強調表示による強調で、視認性を向上させる表示を行うなどの変形も可能である。図13Fでは、左側の画面には、視認性を向上させる表示がスーパーインポーズされていない、即ち画像強調表示による強調がなされていない通常の観察画像が表示されており、右側の画面には、特徴物質領域に対応する領域を示す点線の円と矢印の画像を表示することで画像強調表示による強調がなされ、視認性が向上されている。図13Fのように表示することで、観察対象物の画像を隠すような表示物が無く、かつ特徴物質領域のおおよその位置が分かるため、作業者は観察対象物の画像を他の表示物にさえぎられることなく自然な状態で観察することが可能となる。
 なお、図13Fの右側の画面に、特徴物質領域の位置を示すだけの表示を行う例を示したが、これに限らない。例えば、左側の画面は図13Fと同じであり、右側の画面は、観察対象物の画像の上に画像強調表示により視認性を高める表示をスーパーインポーズすることで特徴物質領域を強調し、視認性を向上することも可能である。これにより、右側の画面により特徴物質領域の位置をより正確に把握できるとともに、左側の画面により観察対象物の画像を他の表示物にさえぎられることが無く自然な状態で観察することが可能となる。
 なお、注目特徴物質領域の視認性を画像強調表示により向上させる例として、図13Aでは、正常な領域と注目特徴物質領域との境界を点線で示す例を示した。このとき、境界を示すラインは、点線であってもよいし、実線であってもよい。また、一点鎖線等、様々なラインを用いることが出来る。
 さらに、境界を示すラインは、円形や楕円、正方形や長方形など、注目特徴物質領域に基づいて設定される形状のラインとして設定してもよいし、抽出された注目特徴物質領域の外形を正確になぞるような外周線として設定してもよい。境界を示すラインの決め方は、複雑な形から近似形状を抽出するような、一般的な手法を用いることが可能である。
 また、図13Dに示すような、矢印等を用いて注目特徴物質領域を示す場合、矢印以外にも、図13Gに示されるような導線、図13Hに示されるような指差し図、図13Iに示されるような目線など、様々な図やイラストをスーパーインポーズする手法を用いることが可能である。
 図13Eでは、特徴物質領域を通常の明るさとし、周辺の画像の輝度値を低下させる例を示したが、これに限らない。例えば、注目特徴物質領域のみをカラー表示とし、周辺の画像をモノクロとすることも好適である。また、注目特徴物質領域のみ、内視鏡観察で一般的に用いられる、NBIなどいわゆる特殊光画像のような、注目特徴物質を認識しやすい色表示とし、周辺を通常の白色画像とすることも好適である。さらに、注目特徴物質領域のコントラストや解像度をより高め、周辺の画像のコントラストを低下させたりぼかしたりするように表示することも好適である。
 なお、この特徴物質領域画像は、特徴物質の抽出の元となった単色の画像、たとえばヘモグロビンであれば波長405nmのレーザ光による画像のみを、インジゴカルミンであれば波長635nmのレーザ光による画像のみを用いて表示してもよい。また、他の画像である、波長445nmのレーザ光による画像と波長525nmのレーザ光による画像を組み合わせ、カラー画像として表示してもよい。
 さらに、(1)白色観察モードの画像に、白色観察モードでは用いない波長のレーザ光による画像に基づいて抽出した、注目特徴物質領域の位置を、関連付けて表示することも好適である。このようにすることで、自然なカラー画像で特徴物質領域の確認や観察を行うことが可能となる。
 図13Cは、ヘモグロビンとインジゴカルミンの両方の画像、すなわち図13Aの画像と図13Bの画像のそれぞれに基づいて抽出された特徴物質領域の重なり領域、すなわち特徴物質重なり領域を表示した画像である。
 本実施形態の例では、ヘモグロビンによる特徴物質領域の右側の領域(図13A)とインジゴカルミンの特徴物質重なり領域(図13B)とが略等しい領域となっているため、特徴物質重なり領域の形状はほぼ変わっていない。
 特徴物質領域抽出部210は、異なる特徴物質に基づく特徴物質領域の重なり領域を、一般に知られている画像処理技術等を用いて演算し、表示する機能を有している。2つの特徴物質の特徴物質領域が異なっている場合、特徴物質重なり領域は両方の特徴物質が存在している領域として定義される。したがって重なり領域が無い場合、個々の特徴物質には特徴物質領域があるにもかかわらず、特徴物質重なり領域が無いという場合もありえる。
 図14A~図14Cは、特徴物質重なり領域のイメージ図である。図14Aは、第1の特徴物質の特徴物質領域のイメージ図である。このイメージ図には、3つの第1物質の特徴物質領域A1が存在する。同様に図14Bは、第2の特徴物質の特徴物質領域のイメージ図である。このイメージ図には、2つの第2物質の特徴物質領域A2が存在する。図14Cは、第1の特徴物質と第2の特徴物質の特徴物質重なり領域を示している。特徴物質重なり領域A3は、2つの特徴物質の両方の特徴物質領域A1,A2の重なりである。
 なお、ここでは2つの特徴物質の特徴物質領域の重なりについて説明したが、これに限らない。例えば、後述する(9)3物質観察モードを用いることで、3つの特徴物質領域を抽出することが出来るため、以下に示す様々な特徴物質重なり領域を用いることが可能になる。
 3物質観察モードで抽出した3つの特徴物質領域の内、所望の2つの特徴物質を選定し、これらの特徴物質重なり領域を、特徴物質重なり領域として抽出することも可能である。これにより、様々な組合せにおいて、1つの物質に基づく特徴物質領域と比べ、より注目すべき特徴物質領域を特徴物質重なり領域として抽出することが可能となる。このとき、3つの特徴物質の中から所望の2つの特徴物質を抽出できるため、3パターンの特徴物質重なり領域(第1の特徴物質と第2の特徴物質の重なり領域、第1の特徴物質と第3の特徴物質の重なり領域、第2の特徴物質と第3の特徴物質の重なり領域の3つ)を比較可能となり、それぞれの特徴物質の特徴や事前情報などに基づいて、どの領域に注目すべきかについて、作業者が適宜判断できる。
 3物質観察モードで抽出した3つの特徴物質領域の内、すべての特徴物質の重なり領域を、特徴物質重なり領域として抽出することも可能である。これにより、最も注目すべき特徴物質領域を抽出することが可能となり、作業者の注目領域を最小限に絞り込むことが可能となる。
 さらに、4物質以上観察モードを用いた場合、同様に、所望の2つの特徴物質や、所望の3つの特徴物質を選択して特徴物質重なり領域を抽出することも好適であり、4物質以上のすべての特徴物質の重なり領域を特徴物質重なり領域として抽出することも好適である。この手法は、5物質以上観察モードに対しても同様に拡張可能である。
 また、上記では、複数の特徴物質について特徴物質領域を抽出したとき、それらの重なり領域を特徴物質重なり領域として抽出する例を示したがこれに限らない。複数の特徴物質について、いずれか1つの特徴物質についても特徴物質領域と抽出された領域を、特徴物質存在領域として抽出することも好適である。すなわち、図14Dに示すように、例えば第1の特徴物質の特徴物質領域と、第2の特徴物質の特徴物質領域とのいずれかが存在する領域を、第1の特徴物質と第2の特徴物質の特徴物質存在領域として抽出する。これにより、少しでも疑わしい領域を抽出することが可能となり、異常部の見落とし等の可能性を低減できる内視鏡装置を実現することが可能となる。
 <特徴物質領域抽出部について>
 次に特徴物質領域抽出部210の動作について説明する。図15は、特徴物質領域抽出部210の動作に関するフローチャートである。図15は、1つの特徴物質に対する特徴物質領域を抽出して表示する場合における特徴物質領域抽出部210の動作を示すフローチャートである。
 はじめに本実施形態による内視鏡装置における通常の観察準備作業を行う。すなわち、本体部110、表示部170を立ち上げ、スコープ部120を本体部110と接続する。この作業は図15に示すフローチャートでは省略されている。
 次に、観察を開始するに当り、観察モードを選定する(S1)。また、デフォルトで設定されている表示モード以外の表示モードを利用したい場合は、表示モードを設定する(S1)。観察モードは前述した様々な観察モードから、観察者が目的に応じて選定し、入力部160から入力することで観察モードを設定する。観察モードが選定されると、観察モード毎に予めプログラミングされた波長や光量比で光源部132からレーザ光が射出され、挿入部先端に設けられた照明ユニットから照明光として観察対象物に照射される。
 次に観察者は内視鏡装置を用いて観察を開始し、内視鏡装置は、前述した動作により、観察対象物からの反射・散乱光を、撮像ユニット152で撮像する(S2)。撮像ユニット152が取得した画像情報は画像信号線154を経由して画像処理回路156まで伝送される。取得された画像は、画像処理回路156により、予めプログラミングされた処理が施される。
 観察作業中、観察者は必要に応じて、特徴物質領域を抽出して表示する指示を出すことが出来る。例えば、観察画像上に注目する部位が現れたり、また以前の検査等で病変部等が確認された付近を観察したりするときなどに、特徴物質領域を抽出して表示する指示を出すことが出来る。特徴物質領域を抽出して表示する指示は、表示モードセレクト部164から入力できる。表示モードセレクト部164は、設定されている観察モードに基づいて、抽出可能な特徴物質の種類を選択可能として作業者に提示する。作業者は提示された特徴物質の中から所望の特徴物質を選択することが出来る。
 内視鏡装置は、予め設定された特徴物質すべてについて抽出可能であるが、想定外の特徴物質に対しては、それに応じた照明光(波長)を用いない場合がある。例えば、インジゴカルミンを散布していない場合は、インジゴカルミンを強調する波長の光を点灯させない。このような場合、インジゴカルミン領域を抽出して表示することは出来ないため、表示モードセレクト部164は、予めインジゴカルミン領域を抽出して表示する機能を選択できないように、たとえばボタンをアクティブにしないようにして観察者に提示する。
 特徴物質領域抽出部210は、特徴物質領域を抽出して表示する指示、すなわち特徴物質領域の抽出指示が入力されたか否かを確認する(D1)。特徴物質領域抽出部210は、抽出指示が入力されると、観察対象として作業者が選定した特徴物質を特定し、S3の動作に進み、また抽出指示が入力されない場合には、S9の動作に進む。また、特徴物質領域抽出部210は、予め特徴物質領域の抽出指示が出されている場合、後述する観察の継続(D2)の要否を確認し、観察を継続する場合にはS2に進み、継続しない場合には終了する。
 特徴物質領域の抽出指示が入力されないとき(D1;No)は、特徴物質領域抽出部210は何もせず、内視鏡装置は、取得された画像情報を、選定された観察モードや表示モードに従って表示する。
 特徴物質領域の抽出指示(D1;Yes)が入力されると、特徴物質領域抽出部210は、S2で取得した画像情報の中から、D1で特定した特徴物質の種類に応じて、特徴物質領域の抽出に用いる画像情報(情報1)を選定する(S3)。
 特徴物質領域抽出部210は、次に特徴物質領域の抽出に必要な特徴物質抽出情報(情報2)を選定する(S4)。特徴物質抽出情報は、特徴物質ごとの、特徴物質の存在に関する情報であり、例えば、次のような情報である。
 ・特徴物質が存在する場合の、画像上のコントラストにおける特徴
 ・特徴物質が存在する場合の、観察対象物の色合いの変化や、特徴的な色合い
 ・特徴物質が存在する場合に、画像上に現れる特徴的な形態やパターン、特徴物質の存在分布や濃淡の形態やパターン
 ・特徴物質が存在する場合の、上記領域の形態や集まり、分散の特徴に関する情報
 また、特徴物質抽出情報は、特徴物質が存在しない領域や、正常な状態での観察対象物のコントラストや色合い、表面構造などの情報も含んでいる。
 特徴物質抽出情報は、たとえばメモリ137に記憶されており、特徴物質領域抽出部210はこれに直接または間接的にアクセスし、読み出すことが出来るように構成されている。特徴物質領域抽出部210は、これらの特徴物質抽出情報から必要な特徴物質情報(情報2)を選定し(S4)、これをメモリ137から読み出す(S5)。
 特徴物質領域抽出部210は、S3で選定した画像情報(情報1)と、S4で選定しS5で読み出した特徴物質抽出情報(情報2)に基づいて、一般的なパターン認識や画像解析技術を用いて特徴物質領域情報(情報4)を抽出する(S6)。すなわち、特徴物質領域抽出部210は、S3で選定した画像上に、特徴物質抽出情報にある特徴的な形態やパターン、特徴物質の存在分布や濃淡などと近い特徴が画像上に存在するか否かを、一般的なパターン認識技術を用いて抽出する。また、特徴物質領域抽出部210は、画像上のコントラストや色合いの変化、特徴的な色合いなどの画像上の特徴を、一般的な画像解析技術により抽出する。さらにこれらの情報を総合的に判断し、前述したコントラスト、パターン、色合い、などの画像上の特徴を一般的なパターン認識技術や画像解析技術を用いて抽出する(S6)。
 特徴物質領域抽出部210は、観察者が希望する表示方法情報(情報3)を取得する(S7)。観察者が希望する表示方法は、予め入力されているか、またはデフォルトで設定されており、この情報は例えばメモリ137に記憶されている。特徴物質領域抽出部210はユーザが希望する表示方法情報(情報3)をメモリ137から読み出す(S7)。なお、本実施形態における表示方法としては、画像強調表示により視認性を向上させるように表示することが可能となっている。画像強調表示により視認性を向上させる表示方法は前述したとおりである。
 その後、特徴物質領域抽出部210は、S6で抽出した特徴物質領域情報とS7で取得した表示方法情報に基づいて特徴物質領域表示情報(情報5)を構築し、表示部170に表示する(S8)。
 内視鏡装置は、観察の継続を判断し(D2)、継続する場合にはS2に戻って図15のフローを継続し、継続しない場合には終了とする。以上の通り、特徴物質領域抽出部210は動作する。
 前述したように、画像処理回路156は、撮像ユニット152により取得された画像信号を処理して通常の観察画像の画像情報を取得する通常画像処理回路200と、通常画像処理回路200により取得された通常の観察画像の画像情報から特徴物質領域の画像情報を抽出する特徴物質領域抽出部210を有している。図16は、この特徴物質領域抽出部210のブロック図を示している。特徴物質領域抽出部210は、本体部110内に設けられている。特徴物質領域抽出部210は、特徴物質領域の抽出に用いる画像情報(情報1)を格納する情報1格納部212Aと、特徴物質領域抽出情報を格納する情報2格納部212Bと、表示方法に関する情報(情報3)を格納する情報3格納部212Cと、一般的なパターン認識や画像解析アルゴリズム実行部214と、一般的な表示画像情報構築アルゴリズム実行部216を有している。
 特徴物質領域抽出部210は、通常画像処理回路200に、特徴物質領域の抽出に用いる画像情報(情報1)を要求し、通常画像処理回路200から情報1を読み出す。特徴物質領域抽出部210と通常画像処理回路200とは、情報1を要求し、また伝送するための信号線で接続されている。読み出された情報1は、情報1格納部212Aに格納される。
 また、特徴物質領域抽出部210は、メモリ137に、特徴物質領域情報(情報2)を要求し、メモリ137から情報2を読み出す。特徴物質領域抽出部210と、特徴物質領域抽出情報を格納しているメモリ137とは、情報2を要求し、また伝送するための信号線で接続されている。読み出された情報2は、情報2格納部212Bに格納される。
 さらに特徴物質領域抽出部210は、表示方法に関する情報(情報3)を入力する入力部160および/または表示方法に関する情報(情報3)を格納しているメモリ137に、表示方法に関する情報(情報3)を要求し、メモリ137から情報3を読み出す。特徴物質領域抽出部210と、入力部160および/またはメモリ137とは、情報3を伝送するための信号線で接続されている。なお、観察者は、入力部160から、希望する表示方法を入力することが可能となっている。観察者が入力した表示方法に関する情報(情報3)は、メモリ137に格納される。
 入力部160および/またはメモリ137と、特徴物質領域抽出部210との間に設けられた信号線は、情報3の伝送のほかに、例えば、入力部160から入力された観察モードの情報を要求し、それを伝送するためにも用いることが出来る。また、入力部160から入力できる表示モードや観察モード、抽出する特徴物質の選択をアクティブとし、また選択できないもの(画像情報が不足していたり、特徴物質が散布されていなかったりするなどのため、予め選択できない表示モード、観察モード、抽出する特徴物質)をインアクティブとするための情報を入力部160に伝えるためにも用いることが出来る。メモリ137には、特徴物質抽出情報や、表示モード、観察モードに関する情報等が記憶されている。特徴物質領域抽出部210は、メモリ137に対し、必要な情報を要求し、また読み出しを行う、双方向の信号線を有している。なお、図16では、特徴物質領域抽出部210と、通常画像処理回路200、メモリ137、入力部160等との間の信号線は2本で記載したが、いずれも双方向の信号線として1本にすることも可能である。
 また、特徴物質領域抽出部210は、抽出した特徴物質領域情報(情報5)を表示部170に対して出力する信号線を有しており、表示部170は、抽出した特徴物質領域の画像を表示する。
 なお、図16には、特徴物質領域抽出部210と、表示部170や通常画像処理回路200、メモリ137、入力部160とが直接信号線で接続されている例が示されているが、これに限らない。信号線を省線化するために他の回路等を経由してもかまわない。また、入力部160とメモリ137の信号線も同様に、他の回路等を経由してもかまわない。
 特徴物質領域抽出部210の内部には、通常画像処理回路200から伝送された情報1を格納する情報1格納部212Aと、メモリ137から伝送された情報2を格納するための情報2格納部212Bと、メモリ137および/または入力部160から伝送された情報3を格納する情報3格納部212Cが設けられている。
 特徴物質領域抽出部210は、パターン認識や画像解析アルゴリズム実行部214において、情報1と情報2に基づいて、一般的なパターン認識アルゴリズムや画像解析アルゴリズムを用いて特徴物質領域情報(情報4)を作成する。さらに特徴物質領域抽出部210は、表示画像情報構築アルゴリズム実行部216において、情報4と情報3とに基づいて、一般的な表示画像情報構築アルゴリズムを用いて特徴物質領域表示情報(情報5)を構築する。情報5は表示部170に伝送され、表示部170はこれを表示する。
 次に、複数の特徴物質領域を並行して抽出する例について説明する。図17Aと図17Bは、複数の特徴物質領域を抽出して表示する場合における特徴物質領域抽出部210の動作を示すフローチャートである。基本的な流れは、図15で説明した1つの特徴物質抽出に関するフローチャートと同様であり、一部フローが並列に進行する点が図15のフローチャートとは異なっている。
 図17Aと図17Bのフローチャートでは、図15におけるD1において特徴物質領域の抽出指示がある場合(D1;Yesの場合)、さらに複数の特徴物質の抽出指示の有無の判断を行う(D3)。
 D3で複数の特徴物質領域の抽出指示がない場合(D1;Yes→D3;Noの場合)は、図15と同様にS3からS8までのフローとなる。
 一方、D3で複数の特徴物質領域の抽出指示がある場合(D1;Yes→D3;Yes)の場合は、複数の特徴物質領域を並列に処理するフローとなる。図17Aと図17Bは、3つの特徴物質に対する特徴物質領域を抽出する例を示しているが、2つまたは4つ以上の特徴物質に対する特徴物質領域を抽出する場合は、抽出する特徴物質の数に合わせて並列にフローを流せばよい。複数の特徴物質に関する特徴物質領域を抽出する場合でも、個々の特徴物質領域を抽出するフローは、S3からS6までは同様である。S7も基本的に同様であるが、1つの特徴物質領域を抽出する場合と比べ、複数の特徴物質領域を抽出する場合の方が、可能な表示方法の種類が多い。すなわち、個々の特徴物質領域の表示に加え、特徴物質重なり領域や、特徴物質存在領域など、観察者は希望に応じてより多くの特徴物質領域の表示方法を選択できる。
 観察者が特徴物質重なり領域や特徴物質存在領域の表示を選択(情報3)した場合、特徴物質領域抽出部210の内部にある、表示画像情報構築アルゴリズム実行部216は、それに応じて前述の特徴物質重なり領域や特徴物質存在領域を抽出し、特徴物質領域表示情報(情報5)を構築する(S10)。
 図18にS10の内部フローを示す。はじめに特徴物質領域抽出部210は、S3からS6で抽出された、個々の特徴物質領域の画像情報を取得する。図17Aと図17Bの例では、3つの特徴物質それぞれについて特徴物質領域が抽出されており、これらの3つの特徴物質領域の画像情報を取得する(S10-1)。
 次に、これら3つの画像情報の位置合わせを行う。すなわち、3つの画像は、略同時に取得された観察対象物の画像であるため、観察対象物のほぼ等しい位置の画像となっているが、観察モードによっては若干のタイムラグがあるため、わずかながら位置ズレしている場合がある。特徴物質領域抽出部210は、特徴物質ごとの3つの画像を比較し、一般的な画像処理技術により特徴点を抽出する。さらに、各画像の特徴点が互いに重なるように位置あわせを行う(S10-2)。
 さらに特徴物質領域抽出部210は、位置合わせされた情報に基づいて、各特徴物質の特徴物質領域の重なりを、一般的な画像処理で抽出することで特徴物質重なり領域(AND領域)として抽出し、また、いずれかの特徴物質が存在している領域を、一般的な画像処理で抽出することで特徴物質存在領域(OR領域)として抽出する(S10-3)。
 最後に特徴物質領域抽出部210は、抽出した特徴物質重なり領域および/または特徴物質存在領域の画像情報を、表示部170に出力する(S10-4)。このとき、特徴物質重なり領域および/または特徴物質存在領域の画像情報は、観察画像上にこれらの領域を重ねた画像情報でもよいし、観察画像の位置と対応付けられた特徴物質領域の位置を示す情報でもよい。
 その後、表示部170は、特徴物質領域抽出部210から出力された画像情報を表示する。また、観察者が指示した場合は、個々の特徴物質の特徴物質領域も合わせて表示する(S11)。なお、本実施形態による表示では、画像強調表示により視認性が向上された表示を行うことが可能となっている。画像強調表示により視認性が向上された表示は前述したとおりである。
 図17Aと図17Bと図18に示す、複数の特徴物質領域を抽出するフローを実施するための内視鏡装置のブロック図は、図16に示すものとほぼ同様である。異なる点は、特徴物質領域抽出部210内のパターン認識や画像解析アルゴリズム実行部214が、一般的なパターン認識技術や画像解析技術に基づいて、特徴物質領域を抽出するアルゴリズムに加えて、特徴物質重なり領域および/または特徴物質存在領域を抽出するアルゴリズムを実行することである。特徴物質重なり領域および/または特徴物質存在領域を抽出するアルゴリズムは、図18に示すフローS10-1からS10-4までを行うアルゴリズムである。なお、このアルゴリズムは、図16の表示画像情報構築アルゴリズム実行部216内に構築される。
 <画像強調表示による視認性向上機能選択機能について>
 本実施形態では表示方法として、画像強調表示により特徴物質領域の視認性を向上させる表示方法が可能となっている。すなわち、作業者は特徴物質領域抽出部210が抽出した特徴物質領域の表示部170上への表示方法を希望により選択することが可能となっている。
 特徴物質領域の視認性を画像強調表示により向上させるために矢印等の図をスーパーインポーズした場合、スーパーインポーズされた図が観察対象物の一部を覆い隠してしまう恐れがある。また、画像の一部の視認性が追加表示により向上された結果、それ以外の領域の画像が見にくくなってしまう恐れがある。このため、本実施形態では、作業者がワンタッチで画像上にスーパーインポーズされた図を消去したり、周辺の明るさを低くした領域を元に戻したりするなど、画像強調表示による強調がなされる前の通常の画像に瞬時に戻す機能を備えている。すなわち、画像強調表示による強調がなされる前の通常の画像と画像強調表示により視認性が向上された画像とを瞬時に切り替えるスイッチを有している。このブロック図を図19に示す。
 図19に示したブロック図は、図16に示したブロック図とほぼ同じであるが、図19に示す通り、画像強調表示による視認性向上機能選択スイッチである強調表示オン/オフスイッチ166が入力部160に設けられている点において相違している。ここで、視認性向上機能選択スイッチは、特徴物質領域、特徴物質重なり領域、および特徴物質存在領域の少なくとも1つ、またはそれに基づき設定される注目領域の視認性を画像強調表示により向上させる機能の実施または解除を選択可能にするスイッチである。
 通常、入力部160から入力された表示方法情報は情報3としてメモリ137に格納されたり、特徴物質領域抽出部210の情報3格納部212Cに格納されたりする。一方、強調表示オン/オフスイッチ166から入力される強調表示オン/オフ情報(情報6)は、特徴物質領域抽出部210内の表示画像情報構築アルゴリズム実行部216に直接伝送され、表示画像情報構築アルゴリズム実行部216はこれを考慮して、表示方法情報に基づいて特徴物質領域表示情報(情報5)を構築し、表示部170に伝送する。すなわち、強調表示オンが選択された場合は画像強調表示により視認性が向上された表示画像を構築して情報5として表示部170に伝送し、一方、強調表示オフが選択された場合には通常の観察画像をそのまま情報5として表示部170に伝送する。
 強調表示オン/オフスイッチ166は、たとえば1つのスイッチとして設けられ、強調表示がオンである場合にこれが押されると強調表示をオフとし、逆に強調表示がオフである場合にこれが押されると強調表示をオンにするように動作し、これにより、画像強調表示により視認性が向上された表示画像と通常の観察画像を交互に切り替え表示することも好適である。また、強調表示がオフのときに、通常の観察画像に切り替えることも好適であるし、また、観察者が予め設定した画像強調表示による視認性向上の度合いが低い表示方法による画像に切り替えることも好適である。
 なお、上記も含め表示方法の切り替えは、動画の場合は図15や図17Aと図17Bに示したフローにおいて、ユーザが希望する表示方法情報の取得(S7)のステップで確認し、切り替えを希望している場合には、それに応じて表示方法を切り替えることが好適である。また、静止画の場合や観察終了後に強調表示を実施したり切り替えたりする場合も基本的に同様のフローとなる。異なるのは、図15や図17Aと図17Bに示したフローの内、S2のステップの代わりに、予め撮像し、メモリ137に格納された画像情報を読み出すことで、観察または画像の取得を行うことである。
 〔作用、効果〕
 上記のように構成することで、観察対象物190の有する特徴物質を強調表示し視認性よく捕らえることが可能となる。特に、特徴物質の吸収ピーク領域、ボトム領域に基づいて選定した、半導体レーザ素子により得られる狭帯域光(スペクトル線幅で数nm以下)を用いているため、特徴物質をコントラスト良く表示および観察することが可能となる。
 さらに、様々な観察モードを用いることで、術者が所望の画像を直接観察することが可能となり、また、観察終了後に画像処理により画像構築できるなど、利用者の好みや状況に応じて必要な画像を取得しやすい内視鏡装置が得られる。特に観察終了後、病変等が疑われる部分の特徴物質をコントラスト良く表示したり、経過観察などの場面で以前の診察に遡って特徴物質をコントラスト良く観察したりできる。
 特に、事前に観察したい特徴物質や観察モードが明確な場合は、そのような観察モード(前述の観察モード(1)~(4))を用いればよく、観察後に様々な画像を評価したい場合には照明光順次評価モードを用いることで欲しい画像を事後でも取得できる。
 また、様々な表示モードを用いることで、術者が所望の画像を所望の比較方法にて比較検討することが可能になる。2つの特徴物質について、切り替え表示や重ね合わせ表示が可能となるため、診断や医学的判断を行いやすい環境を提供できる。その上、特徴物質重なり領域を自動で表示できるため、診察時間や画像による判断時間を削減することが可能となる。
 以上の通り、本実施形態によると、観察を効率よく行えるようになる。
 なお、本実施形態では、複数の特徴物質が、共通の病変部(発生源)に由来する特徴物質である例とし、これらの画像強調表示により視認性を向上させる例を示したが、これに限らない。例えば、本実施形態では癌を例として、癌の発見を多角的に行うことで確実性向上や見落とし防止を向上させる例を示した。一方、内視鏡では癌以外にも、胃潰瘍やびらん、ピロリ菌、寄生虫の有無など、様々な病変の検出に用いられている。一般的な検診で用いる場合、癌のみに注目することなく、例えば胃潰瘍やびらんなどに由来する特徴物質に注目し、これに基づいて照明光の波長を選定することで、画像強調観察により、胃潰瘍やびらんを強調表示することが可能となる。癌や胃潰瘍、びらん等、複数の病変部に由来する特徴物質に注目し、画像強調観察により、これを視認性高く観察することで、複数の病変部の発見を確実に行い、また見落とし防止を向上させることが出来る。
 <第1実施形態の変形例>
 第1実施形態では、インジゴカルミンとヘモグロビンの吸収スペクトルに基づいて吸収ピーク領域と吸収ボトム領域を定義する際に、各色領域の最大強度と最小強度の中間値を閾値とし、それ以上の領域を吸収ピーク領域、それ以下の領域を吸収ボトム領域と定義したが、吸収ピーク領域と吸収ボトム領域の定義の仕方はこれに限らない。
 本変形例では、各色領域の最大強度と最小強度の差の1/3の吸収強度、2/3の吸収強度をそれぞれ「1/3強度基準」、「2/3強度基準」としたときに、2/3強度基準以上の吸収強度となる波長領域を吸収ピーク領域PRとし、1/3強度基準以下となる領域を吸収ボトム領域BRとし、それらの間の領域を吸収中間領域MRとしている。この点が第1実施形態とは異なっている。
 図20は、インジゴカルミンの吸収スペクトルについて、この基準にしたがって定義された、吸収ピーク領域PR、吸収ボトム領域BR、吸収中間領域MRを示している。なお第1実施形態と同様に、B領域はG領域とR領域に比べて吸収強度が著しく小さいので、全領域を吸収ボトム領域BRとしている。なお、吸収ピーク領域PRと吸収ボトム領域BRのいずれにも含まれない領域は吸収中間領域MRとしている。
 B領域では、吸収ボトム領域BRは、400~480nmの波長領域である。これは、B領域の全領域である。
 G領域では、吸収ピーク領域PRは、555~580nmの波長領域であり、吸収ボトム領域BRは、480~545nmの波長領域であり、吸収中間領域MRは、545~555nmの波長領域である。
 R領域では、吸収ピーク領域PRは、590~650nmの波長領域であり、吸収ボトム領域BRは、675~700nmの波長領域であり、吸収中間領域は、580~590nmの波長領域と、650~675nmの波長領域である。
 このように構成することで、吸収ピーク領域PRはより吸収強度の高い領域として定義され、吸収ボトム領域BRはより吸収強度の低い領域と定義される。このため、本変形例により定義される吸収ピーク領域PR、吸収ボトム領域BRに含まれる波長の狭帯域光を用いることで、第1実施形態の定義では吸収ピーク領域に含まれるが本変形例の定義では吸収ピーク領域に含まれない狭帯域光を用いた場合より、よりコントラストの高い画像を得ることが可能となる。また、吸収ボトム領域BRについても同様に、よりコントラストを低く抑えた画像を得ることが可能となる。
 なお、本実施形態およびその変形例では、撮像ユニット152の撮像素子に、RGBのベイヤ配列を有する撮像素子を用いた例を説明したが、これに限らない。たとえば、一般的に用いられている補色フィルタを有する撮像素子を撮像ユニット152の撮像素子に用いることも可能である。
 原色フィルタの光透過率のスペクトルの一例を図21に示す。原色フィルタは、RフィルタとGフィルタとBフィルタの3色のフィルタを有している。RフィルタとGフィルタとBフィルタは、それそれ、図21に示されるような光透過特性を有している。すなわち、Rフィルタは、赤色領域の光を透過し、それ以外の色領域の光は透過しない特性を有している。また、Gフィルタは、緑色領域の光を透過し、それ以外の色領域の光は透過しない特性を有している。さらに、Bフィルタは、青色領域の光を透過し、それ以外の色領域の光は透過しない特性を有している。これにより、前述した実施形態およびその変形例のように観察対象物190により反射散乱された照明光を、R領域とG領域とB領域の3つの色領域に分離検出可能となっている。
 なお、実際の原色フィルタの光透過率は、図21に示される通り、その境界域で重なりを有している。この重なり領域にある光は、隣り合う2つの色領域の両方に検出されることになる。たとえば、波長500nmの光は青領域にも緑領域にも検出される。レーザ光のような狭帯域光の場合、この特性を利用することで画像の明るさ向上につなげることが出来る。すなわち、波長500nmの光など、フィルタの重なり領域の光は2つの色領域の両方に検出されるため、一方の色領域のみに検出される光と比べ、画像を明るくすることが出来る。この方法は、特に白色観察モードのときに有効である。一方、2つの色領域の両方に検出される光は、観察対象物190の特徴物質を強調したい場合、両方の色領域で強調レベルを向上させる。このため、特徴物質の強調を向上させる場合にも有効である。ただし、前述のように表層のみを強調し、中層以下を強調したくない場合は、表層の光を吸収しやすい青色領域の画像のみが強調され、中層以下に吸収される緑色領域と赤色領域の画像は強調されないほうがよい。このような場合は重なり領域の光ではなく、青色領域に強く吸収されやすい、480nmよりも短波長側の光を用いることが望ましい。
 次に補色フィルタの光透過スペクトルの一例を図22に示す。補色フィルタは、青領域と赤領域の光を透過し、緑領域の光を透過しないM(マゼンタ)領域と、青領域と緑領域の光を透過し、赤領域の光を透過しないC(シアン)領域と、緑領域と赤領域の光を透過し、青領域の光を透過しないY(イエロー)領域の3つの色領域の光を分離して取得する3色のフィルタと、緑領域の光を透過し、青領域と赤領域の光を透過しないGフィルタの4色のフィルタを有している。なお、Gフィルタは、図22に示される原色フィルタのGフィルタと同じ光透過スペクトルを有するものを用いることが一般的である。
 補色フィルタを有する撮像素子は、このような4色のフィルタを用いるが、演算により、R画像情報とG画像情報とB画像情報の3色の画像情報を得ることが可能となっている。したがって、本発明の第1実施形態および変形例において、撮像ユニット152の撮像素子に、補色フィルタを有する撮像素子が用いられた場合でも、照明光の発光スペクトルやタイミング等を変更する必要はなく、ただ、本体部110の有する画像処理回路156の処理機能を原色フィルタ用から補色フィルタ用に変更するのみで対応できる。なお、補色フィルタの演算については一般的に用いられているものを利用することが可能である。
 MCYカラーフィルタを有する撮像素子は、補色フィルタ型の撮像素子と呼ばれる。補色フィルタ型の撮像素子を含む撮像ユニット152は、画像処理回路156と共働して、R画像とG画像とB画像とをそれぞれ分離して取得する撮像系を構成している。補色フィルタ型の撮像素子は、M領域の光を分離して取得する色画素であるM画素と、C領域の光を分離して取得する色画素であるC画素と、Y領域の光を分離して取得する色画素であるY画素を有しており、画像処理回路156は、M画素とC画素とY画素により取得された画像情報に基づいて、R画像とG画像とB画像とを分離して取得する画像処理を行う。
 さらに、カラーフィルタを有さないモノクロタイプの撮像素子を撮像ユニット152の撮像素子に用いることも可能である。モノクロタイプの撮像素子は、必要に応じて赤外線や紫外線を除去する紫外線/赤外線カットフィルタが搭載されているが、可視領域の光である400nm~700nmの波長域の光は受光する。このため、前述の実施形態および変形例で、撮像素子のフィルタにより分離して受光するように説明した波長の光は、異なるタイミングで発光させる必要がある。モノクロタイプの撮像素子を用いた場合、カラー画像を得るためには少なくとも赤領域と緑領域と青領域の光をそれぞれ異なるタイミングで発光させる必要がある。たとえば、第1実施形態のように波長405nm、波長445nm、波長525nm、波長635nmの4色の狭帯域光を用いた場合、白色観察モードであっても、青色領域の光である2つの波長405と波長445nmの光のみを照射する第1のタイミングと、緑色領域の光である波長525nmの光のみを照射する第2のタイミングと、赤色領域の光である波長635nmの光のみを照射する第3のタイミングとを順次繰り返して照明する。この場合、撮像ユニット152は、光源部132と駆動部134と照明光制御部136と画像処理回路156と共働して、R画像とG画像とB画像とをそれぞれ分離して取得する撮像系を構成している。
 モノクロタイプの撮像素子は、(5)順次照射モードにおける使用が好適である。モノクロタイプの撮像素子の場合、照明光で色を切り替えるため、混色が無く色分離が鮮明な画像を得ることが可能である。また、原色および補色フィルタでは透過させたい光の透過率は100%でないために多少のロスがあるが、モノクロタイプではそれより高い透過率を確保することが可能である。さらに、撮像素子のすべての画素で一色ずつ、一波長ずつ画像を取得するため、解像度を向上させることが可能となっている。なお、原色ベイヤでは、全画素の1/4がR画素とB画素に割り当てられ、全画素の半分がG画素に割り当てられる。補色フィルタの場合も同様である。
 <第2実施形態>
 次に本発明の第2実施形態について、図を参照しながら説明する。なお、説明は第1実施形態とは異なる部分について説明し、同じ部分についてはその説明を省略する。
 本実施形態は、光源部132の構成が第1実施形態と異なっており、これに伴って、照明光制御部136と画像処理回路156、また、メモリ137に記憶されている情報が第1実施形態と異なっている。
 本実施形態では、光源部132は、第1実施形態のレーザ光源LD1~LD4に加え、レーザ光源LD5を有している。レーザ光源LD1~LD5の特性は次のとおりである。
 レーザ光源LD1は、波長405nmの青紫色レーザ光を射出する。その出力は1.5W程度である。
 レーザ光源LD2は、波長445nmの青色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD3は、波長525nmの緑色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD4は、波長635nmの赤色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD5は、波長590nmのオレンジ色レーザ光を射出する。その出力は2W程度である。
 レーザ光源LD1~LD4は、直接目的の波長の光を射出する直接発光型の半導体レーザ光源LD1~LD4である。しかし、レーザ光源LD5は、2倍の波長である1180nmの赤外線を射出する赤外線半導体レーザと、波長を半分にする非線形光学結晶とを組み合わせたSHG(Secondly Harmonic Generation)タイプの半導体レーザである。
 第2実施形態において光源部132が射出可能な光のスペクトルを図23に示す。図23に示されるように、本実施形態では、青色領域(400~480nm)に2波長(レーザ光源LD1、レーザ光源LD2)、緑色領域(480~580)に1波長(レーザ光源LD3)、赤色領域(580~700nm)に2波長(レーザ光源LD4、レーザ光源LD5)が割り当てられている。
 本実施形態では、ヘモグロビンとインジゴカルミンに加え、クリスタルバイオレットが特徴物質として想定されている。クリスタルバイオレットは、細胞の核を染色する薬剤であり、拡大内視鏡装置による観察で用いられる色素である。クリスタルバイオレットを塗布すると病変が青色に変色し、さらに表面の模様が浮き立ってくるため、この模様のパターンを拡大内視鏡装置で観察することで病変部の性状(良性/悪性など)を判断することが出来る。
 <観察モード>
 本実施形態における観察モードは、第1実施形態で説明した観察モードに加え、1物質観察モード(クリスタルバイオレット強調モード)が追加される点が第1実施形態とは異なっている。1物質観察モード(クリスタルバイオレット強調モード)について説明する。
 (6)1物質観察モード(クリスタルバイオレット強調モード)
 本観察モードは、観察対象物190の内表面で、クリスタルバイオレットによって染色された領域、すなわちクリスタルバイオレットの染色により青く変色し浮かび上がった模様をコントラスト良く観察するために、クリスタルバイオレットの吸収特性に合わせた波長の照明光を用いた観察モードである。
 クリスタルバイオレットは色素液の一種で青紫色を呈しており、これにより染色された観察対象物190の内表面の模様のパターンを観察するために用いられている。すなわち、クリスタルバイオレットは細胞の核を選択的に染色し、この分布が模様となって浮かび上がって見える。この模様のパターンは病変部の性状(良性/悪性など)によって異なるため、この模様のパターンを拡大内視鏡装置により観察し、病変部の性状を判断することが可能となる。
 クリスタルバイオレットの吸収スペクトルは、図24に示されるような光吸収特性を有している。第1実施形態と同様に、クリスタルバイオレットの吸収スペクトルにおいて、光吸収強度の最大値と最小値との中間値を閾値とし、それ以上の光吸収強度を有する波長域を吸収ピーク領域PR、それ以下の光吸収強度を有する波長域を吸収ボトム領域BRと定義する。ただし、図24から分かるように、クリスタルバイオレットはB領域の光をほとんど吸収しない。すなわち、光吸収強度の最大値と最小値の差が、他の2つの領域と比較して小さい。また、明らかなピーク(極大)やボトム(極小)が見当たらない。このため、B領域全体を吸収ボトム領域BRと定義する。
 前述の通り、クリスタルバイオレットが細胞の核を染色することで模様のパターンが浮かび上がる。吸収ピーク領域PRの波長域の光は、クリスタルバイオレットにより染色された領域では吸収され、染色されていない領域では吸収されないため、これら2つの領域のコントラストを、白色観察モードの場合よりも向上させることが可能である。一方、吸収ボトム領域BRの波長域の光は、クリスタルバイオレットにより染色された領域でも吸収されにくいため、染色された領域と染色されていない領域とのコントラストは白色観察モードの場合より低くすることが可能となる。すなわち、クリスタルバイオレットを塗布した後であってもクリスタルバイオレット塗布前に近いコントラストの画像を得ることが可能となる。
 図24より、クリスタルバイオレットの吸収ピーク領域PRと吸収ボトム領域BRは以下の通りである。
 B領域では、吸収ボトム領域BRは、400~480nmの波長領域である。これは、B領域の全領域である。
 G領域では、吸収ピーク領域PRは、535~580nmの波長領域であり、吸収ボトム領域BRは、480~535nmの波長領域である。
 R領域では、吸収ピーク領域PRは、580~610nmの波長領域であり、吸収ボトム領域BRは、610~700nmの波長領域である。
 したがって、本実施形態では、レーザ光源LD1の発光波長(405nm)とレーザ光源LD2の発光波長(445nm)とレーザ光源LD3の発光波長(525nm)とレーザ光源LD4の発光波長(635nm)は吸収ボトム領域BRに含まれ、レーザ光源LD5の発光波長(590nm)は吸収ピーク領域PRに含まれる。
 1物質観察モード(クリスタルバイオレット強調モード)における照明光のスペクトルを図25に示す。図25に示されるように、1物質観察モード(クリスタルバイオレット強調モード)では、レーザ光源LD1~LD5のうち、レーザ光源LD5(590nm)のレーザのみが点灯される。これにより、クリスタルバイオレットにより染色された模様のパターンをコントラスト良く観察できる。波長590nmのレーザ光は、クリスタルバイオレットの吸収スペクトルに基づいて選定された狭帯域光である。
 本観察モードにおいても、第1実施形態で説明したのと同様に、連続発光とするか、撮像素子の読み出し期間は消灯するかなどは、適宜選択可能である。
 なお、本実施形態における1物質観察モード(クリスタルバイオレット強調モード)では、レーザ光源LD5のみが点灯され、他のレーザ光源LD1~LD4は消灯されるが、これに限らない。たとえば、レーザ光源LD1とレーザ光源LD2の少なくとも一方と、レーザ光源LD3を点灯させることで、クリスタルバイオレットによる染色領域のコントラストを強調した、RGB全色を含む自然なカラー画像を得ることが可能となる。
 また、第1実施形態で説明した(1)白色観察モードと比較して、本実施形態による(1)白色観察モードは、オレンジ色領域である波長590nmの光が加わるため、より色再現性が向上された白色画像を得ることが可能となる。すなわち、第1実施形態では525nmの緑色と635nmの赤色の間の領域の光は欠落していたが、本実施形態では590nmの光が追加されているため、第1実施形態と比較して、黄色から赤色の観察対象物190の色再現性を向上させることが可能となる。
 本実施形態では、第1実施形態で用いられたすべてのレーザ光に加え、波長590nmのオレンジ色レーザ光が用いられるため、第1実施形態の観察モードのすべてと、(6)1物質観察モード(クリスタルバイオレット強調モード)が可能である。さらに、本実施形態では、以下に示すいくつかの観察モードを追加可能である。
 本実施形態では、第1実施形態で説明した2物質観察モード(ヘモグロビン-インジゴカルミン強調モード)に加え、(7)2物質観察モード(ヘモグロビン-クリスタルバイオレット強調モード)と、(8)2物質観察モード(インジゴカルミン-クリスタルバイオレット強調モード)が可能である。
 (7)2物質観察モード(ヘモグロビン-クリスタルバイオレット強調モード)では、レーザ光源LD1(405nm)とレーザ光源LD3(525nm)とレーザ光源LD5(590nm)が同時に点灯される。光量比は、たとえば、2:1:2である。これは、ヘモグロビンの吸収強度が高いレーザ光源LD1とレーザ光源LD3の光量比の関係を、表層血管重視の比率である2:1とし、かつ、撮像素子のB画素領域の照明光量とR画素領域の照明光量とが略等しくなるように、レーザ光源LD1とレーザ光源LD5の射出光の光量比を1:1(=2:2)としたためである。
 これにより、ヘモグロビンとクリスタルバイオレットの両方を強調した強調画像を得ることが可能となり、2つの特徴物質の存在領域やパターン等により適切な診察をサポートすることが可能となる。
 (8)2物質観察モード(インジゴカルミン-クリスタルバイオレット強調モード)では、レーザ光源LD4(635nm)とレーザ光源LD5(590nm)が同時に点灯される。光量比は、たとえば、1:1である。これはインジゴカルミンとクリスタルバイオレットのコントラストの強調度合いを同程度にするためである。
 レーザ光源LD4(635nm)とレーザ光源LD5(590nm)は共に赤色領域に含まれるため、表示画像として、これら2つの波長の光による画像をそのまま赤色画像として表示すると2つの特徴物質の存在パターンが区別しにくい場合がある。このような場合、たとえば、レーザ光源LD4(635nm)による画像を赤色で表示し、レーザ光源LD5(590nm)による画像を緑色で表示するなど、実際の特徴物質の色と異なる色で表示することも好適である。このようにすることで、2つの特徴物質の強調画像を色により区別して同時に表示することが可能となる。
 なお、各モードの照明光の光量比は上述の比率に限らない。RGB各色領域の撮像素子の受光感度が異なる場合には、これを考慮して光量比を調整することも好適である。また、作業者の違和感を軽減するために、照明光が白色光に近くなるような光量比に調整することも好適である。
 さらに本実施形態では、(9)3物質観察モード(ヘモグロビン-インジゴカルミン-クリスタルバイオレット強調モード)も可能である。この観察モードでは、4色のレーザ光源LD1(発光波長405nm)とレーザ光源LD3(発光波長525nm)とレーザ光源LD5(発光波長590nm)とレーザ光源LD4(発光波長635nm)が同時に点灯される。これにより、ヘモグロビンとインジゴカルミンとクリスタルバイオレットの3つの特徴物質をコントラスト良く表示することが可能となり、作業者はより多くの情報に基づいて病変部等の診察と判断を行うことが可能となる。このとき、3つの特徴物質を異なる色、たとえば、ヘモグロビンは青、インジゴカルミンは赤、クリスタルバイオレットは緑で表示することで、3つの特徴物質を色分けして表示することが可能となり、作業者の診断のしやすさがより向上する。
 なお、3物質観察モードでの光量比はレーザ光源LD1(405nm)とレーザ光源LD2(525nm)とレーザ光源LD5(590nm)とレーザ光源LD4(635nm)の光量は2:1:2:2に設定されている。これは、ヘモグロビンによる血管強調の光量比は表層血管重視の2:1とし、インジゴカルミンとクリスタルバイオレットの光量比はヘモグロビンの表層の光量に合わせたものである。
 ここで、3物質観察モードと白色モードでは、点灯されるレーザ光源LD1~LD5の種類では、レーザ光源LD2(445nm)のレーザが点灯されているか否かの差であるが、光量比は異なっている。白色観察モードでは、白色観察に適するような光量比となるように、使用開始時や適正なタイミングにおいてホワイトバランスとして設定することが好適である。このとき、ホワイトバランスはレーザ光源LD1~LD5の光量比のみで調整することも可能であるし、一般的な画像処理と組み合わせることも、画像処理のみで行うことも可能である。これに対し3物質観察モードでは、光量比は設定値のまま維持することが好適である。これは、光量比を調整してしまうと各特徴物質の強調度合いが変化してしまい、観察対象物190に含まれる特徴物質の量等が変化しているのか、光量比が異なったのかがわかりにくいためである。ただし、作業者やメンテナンス要員等が好みに応じて3物質観察モードの光量比を調整可能とすることは好適である。また、各特徴物質に対する光量比をモニタ等に表示し作業者に知らせることも好適である。このようにすることで作業者は、どの特徴物質がどの程度強調される照明であるかを知ることが可能となるため、各特徴物質の強調度合いを誤解する心配が無いためである。
 なお、上記のような光量比の変更の可否やその表示、作業者へ知らせる方法等については3物質観察モードに限らない。2物質観察モードや、1物質観察モードで複数の波長の光を用いる場合、さらには白色観察モードとの複合観察時や、画像処理による重ね合わせ表示や並列表示などの場合において、光量比やそれに基づく強調度合いの比等について数値やグラフ等で作業者に伝えることは好適である。
 なお、本実施形態では、表示モードや特徴物質抽出機能については基本的に第1実施形態と同様である。表示モードではクリスタルバイオレットの強調画像も表示可能となるため、3つの特徴物質の強調画像やそれに白色観察モードの画像を含め4つ以上の画像を並列表示することも好適である。また、特徴物質抽出機能は、ヘモグロビンとインジゴカルミンとクリスタルバイオレットの3種類の特徴物質のうち、所望の2つの特徴物質について特徴物質重なり領域を抽出することも好適である。また、3つの特徴物質すべてを用いて3つの特徴物質の重なり領域を抽出することも好適である。
 以上のように構成することで、第1実施形態の機能に加え、さらにクリスタルバイオレットについてもコントラスト良く観察することが可能となり、またクリスタルバイオレット塗布後においてもクリスタルバイオレット塗布前に近い画像を得ることが可能となる。さらにこれらを第1実施形態の観察モードや表示モードと関連させ、また組み合わせて表示することが可能となる。この結果作業者は第1実施形態の場合と比較してさらに多くの情報を比較検討し、診断や医学的判断に役立てることが可能となる。
 <第3実施形態>
 次に本発明の第3実施形態について、図を参照しながら説明する。なお、説明は第1実施形態、第2実施形態とは異なる部分について説明し、同じ部分についてはその説明を省略する。
 本実施形態は、光源部132の構成が第1実施形態と異なっており、これに伴って、照明光制御部136と画像処理回路156、また、メモリ137に記憶されている情報が第1実施形態と異なっている。
 本実施形態では、光源部132は、第1実施形態のレーザ光源LD3に代えて、レーザ光源LD6,LD7,LD8を有している。すなわち、光源部132は、レーザ光源LD1,LD2,LD4,LD6,LD7,LD8を有している。これらのレーザ光源の特性は次のとおりである。
 レーザ光源LD1は、波長405nmの青紫色レーザ光を射出する。その出力は1.5W程度である。
 レーザ光源LD2は、波長445nmの青色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD6は、波長520nmの緑色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD7は、波長532nmの真緑色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD4は、波長635nmの赤色レーザ光を射出する。その出力は3W程度である。
 レーザ光源LD8は、波長680nmの深赤色レーザ光を射出する。その出力は3W程度である。
 これらのレーザ光源はいずれも、直接所望の波長のレーザ光を射出する半導体レーザ素子を有している。
 第3実施形態において光源部132が射出可能な光のスペクトルを図26に示す。図26に示されるように、本実施形態では、青色領域(400~480nm)に2波長(レーザ光源LD1、レーザ光源LD2)、緑色領域(480~580)に2波長(レーザ光源LD6、レーザ光源LD7)、赤色領域(580~700nm)に2波長(レーザ光源LD4、レーザ光源LD8)が割り当てられている。
 本実施形態では、ヘモグロビンとインジゴカルミンに加え、ルゴール液(ヨウ素-ヨウ化カリウム溶液)が特徴物質として想定されている。ルゴール液を用いた色素内視鏡観察は、ヨード・グリコーゲン呈色反応を用いた診断法で、食道癌(扁平上皮癌)の診断等に用いられる。ルゴール液を塗布すると粘膜全体は褐色に染色されるが、食道癌や食道異形成(良性悪性の境界病変)ではグリコーゲンが著しく減少または消失しているため、不染帯として白い状態(染色されていない状態)として観察される。これを利用して、不染帯に注目し、その部分の生検等により診断を行う。
 <観察モード>
 本実施形態における観察モードは、第1実施形態で説明した観察モードに加え、1物質観察モード(ルゴール液強調モード)が追加される点が第1実施形態とは異なっている。1物質観察モード(ルゴール液強調モード)について説明する。
 (9)1物質観察モード(ルゴール液強調モード)
 本観察モードは、観察対象物190の内表面で、ルゴール液によって染色された領域を、不染帯と識別できるようコントラスト良く観察するために、ルゴール液の吸収特性に合わせた波長の照明光を用いた観察モードである。
 ルゴール液は色素液の一種で褐色を呈しており、正常な粘膜を染色し、病変部を染色しないという特性を有している。すなわち、これまで第1実施形態、第2実施形態で説明したインジゴカルミン、クリスタルバイオレットは病変部の凹部への溜まりや染色によるパターンにより診断や判断を行うものである。これに対しルゴール液は、病変部以外を染色し、病変部を不染帯として浮かび上がらせる効果を有している点が異なっている。
 ルゴール液の吸収スペクトルは、図27に示されるような光吸収特性を有している。前述の第1実施形態、第2実施形態と同様に、ルゴール液の吸収スペクトルにおいて、光吸収強度の最大値と最小値との中間値を閾値とし、それ以上の光吸収強度を有する波長域を吸収ピーク領域PR、それ以下の光吸収強度を有する波長域を吸収ボトム領域BRと定義する。
 前述の通り、ルゴール液は正常な細胞を染色し、病変部を染色しない。吸収ピーク領域PRの波長域の光は、ルゴール液により染色された領域ではその光は吸収され、染色されていない領域では吸収されないため、これら2つの領域のコントラストを、白色観察モードの場合よりも向上させることが可能である。一方、吸収ボトム領域BRの波長域の光は、ルゴール液により染色された領域でもその光は吸収されにくいため、染色された領域と染色されていない領域とのコントラストは白色観察モードの場合より低くすることが可能となる。すなわち、ルゴール液を塗布した後であってもルゴール液塗布前に近いコントラストの画像を得ることが可能となる。
 図27より、ルゴール液の吸収ピーク領域PRと吸収ボトム領域BRは以下の通りである。
 B領域では、吸収ピーク領域PRは、420~480nmの波長領域であり、吸収ボトム領域BRは、400~420nmの波長領域である。
 G領域では、吸収ピーク領域PRは、480~525nmの波長領域であり、吸収ボトム領域BRは、525~580nmの波長領域である。
 R領域では、吸収ピーク領域PRは、670~700nmの波長領域であり、吸収ボトム領域BRは、580~670nmの波長領域である。
 IR領域では、吸収ピーク領域PRは、750~(810)nmの波長領域であり、吸収ボトム領域BRは、700~750nmの波長領域である。
 したがって、本実施形態では、レーザ光源LD2の発光波長(445nm)とレーザ光源LD6の発光波長(520nm)とレーザ光源LD8(680nm)の発光波長は吸収ピーク領域PRに含まれ、レーザ光源LD1の発光波長(405nm)とレーザ光源LD7の発光波長(532nm)とレーザ光源LD8(680nm)は吸収ボトム領域BRに含まれる。
 1物質観察モード(ルゴール液強調モード)における照明光のスペクトルを図28に示す。図28に示されるように、1物質観察モード(ルゴール液強調モード)では、レーザ光源LD1,LD2,LD4,LD6,LD7,LD8のうち、レーザ光源LD2(445nm)とレーザ光源LD6(520nm)とレーザ光源LD8(680nm)が点灯される。これにより、ルゴール液により染色された領域に対し、染色されていない領域である不染帯をコントラスト良く観察できる。波長445nmのレーザ光と波長520nmのレーザ光と波長680nmのレーザ光は、ルゴールの吸収スペクトルに基づいて選定された狭帯域光である。
 なお、この1物質観察モード(ルゴール液強調モード)に用いられるレーザ光の波長のうち、レーザ光源LD6の射出光の波長(520nm)はヘモグロビンの吸収ピーク波長PRにも含まれるため、ヘモグロビンを強調表示することが可能となる。したがって、本観察モードでは、ルゴール液により染色された正常な粘膜は暗く、ルゴール液に染色されていない不染帯は明るく見えるだけでなく、不染帯が存在する血管を強調表示することが可能となっている。これにより、作業者が診断や判断をしやすい画像を提供できる。このように、ある特徴物質の吸収ピーク領域PRに含まれ、また別の特徴物質の吸収ピーク領域PRに含まれる場合でも、それぞれの特徴物質が存在する領域が異なっているような場合、このような波長の光を用いることは好適である。
 本観察モードにおいても、第1実施形態、第2実施形態で説明したのと同様に、連続発光とするか、撮像素子の読み出し期間は消灯するかなどは、適宜選択可能である。
 (10) 1物質観察モード(ルゴール液影響軽減モード)
 次に、本実施形態に特有の、ルゴール液のコントラストを低くした観察モードである1物質観察モード(ルゴール液影響軽減モード)について説明する。これは、ルゴール液の吸収ボトム領域BRに含まれる照明光のみを選定することで、ルゴール液の吸収を低く抑え、ルゴール液塗布前に近い画像を観察可能とするモードである。
 1物質観察モード(ルゴール液影響軽減モード)における照明光のスペクトルを図29に示す。図29に示されるように、1物質観察モード(ルゴール液影響軽減モード)では、レーザ光源LD1,LD2,LD4,LD6,LD7,LD8のうち、レーザ光源LD1(405nm)とレーザ光源LD7(532nm)とレーザ光源LD4(635)が点灯される。この照明光に含まれるレーザ光の波長はいずれもルゴール液の吸収ボトム領域BRに含まれている。また、これらの3つの波長は、それぞれ、RGBの3つの色領域に含まれている。すなわち、この照明光は、ルゴール液塗布後であってもルゴール液による影響が、通常の白色画像よりも低減された白色画像を得ることを可能にする。波長405nmのレーザ光と波長532nmのレーザ光と波長635のレーザ光は、ルゴールの吸収スペクトルに基づいて選定された狭帯域光である。
 したがって、本実施形態では、明るく、演色性の高い白色モードとして6つの波長のレーザを含む照明光による(1)白色観察モードと、ルゴール液の影響を軽減した上で白色観察を可能とした(10)1物質観察モード(ルゴール液影響軽減モード)との実質的には2つの白色モードによる観察を行うことが可能となっている。
 なお、本実施形態では、これまで説明したヘモグロビン、インジゴカルミンの吸収ピーク領域PR、吸収ボトム領域BRに基づいて発光させる波長を選択することで、第1実施形態とその変形例で説明した様々な観察モード、表示モードを実現することが可能となる。
 本実施形態によれば、ルゴール液の存在の有無により正常でない領域の視認性を画像強調観察により向上させたうえで、同時に正常でない領域の血管のコントラストを向上させて作業者の診断や判断をサポートする光源技術および内視鏡装置を提供することが可能となる。また、ルゴール液等、色素液塗布後であっても、その影響を軽減された白色画像を提供することが可能となる。
 また、上述した第1実施形態ないし第3実施形態で用いられた8波長のすべてのレーザ光を用いることで、上述したすべての観察モード、表示モードを実現することが可能となる。さらに、4物質観察モードや、さらに演色性を向上させる白色観察モードなどを実現することが可能となる。さらには特徴物質の影響や生体の色などを考慮して、複数の白色観察モードを実現することも可能である。
 上記の実施形態はすべて、光源部132にレーザ光源が用いられているが、これに限らない。たとえば、スーパールミネッセントダイオードやLED他、狭帯域光を射出可能な光源であれば様々なものを光源部132に利用することが可能である。また、すべてを半導体レーザ素子やLEDに限定する必要はなく、それらを混合して用いてもよい。
 たとえば、光源部132は、レーザ光源を有している代わりに、複数のLED光源を有していてもよい。図30は、第1実施形態のレーザ光源LD1~LD4がLED光源LED1~LED4に置き換えられた光源部132の射出光のスペクトルを示している。LED光源LED1~LED4はいずれもLED素子を有している。LED素子は、比較的安価であり、かつ人体に対するリスクが低いなどのメリットがある。
 図30に示されるとおり、LED素子の射出光は、半導体レーザ素子と比較してやや広いスペクトル幅を有しているが、可視光の波長領域と比較すると十分に狭帯域光となっている。このため、光源部132がLED光源LED1~LED4で構成された内視鏡装置においても、上記の実施形態と同様の効果を得ることが出来る。
 なお、LED素子の射出光の波長が吸収ピーク領域PRまたは吸収ボトム領域BRに含まれるか否かの判断基準は、そのLED素子の射出光のピーク波長により定義できる。すなわち、ピーク波長が吸収ピーク領域PRに含まれる場合、そのスペクトルの裾野が吸収ピーク領域PRから外れていたとしても、吸収ピーク領域PRに含まれるものとする。これは、ピーク波長が吸収ピーク領域PRに含まれていれば、LEDの射出光の半分を超える光量が吸収ピーク領域PRに含まれるためである。なお、ここではLEDの射出光のピーク波長により判断する例を示したが、他にもドミナント波長等、一般に用いられているLEDの波長の定義を用いることも可能である。
 また、キセノンランプ等のブロードな白色光源と波長フィルタとを組み合わせて狭帯域光を作り出すことも可能である。このような組合せによると、フィルタにより様々な狭帯域光を実現することが可能となる。フィルタを用いた場合、元の照明光(この例ではXeランプの射出光)のスペクトルが存在する波長領域であれば、任意に切り出して狭帯域光を構成することが可能となる。
 たとえば、光源部132は、Xeランプとフィルタの組合せにより狭帯域光を作り出すように構成されてもよい。図31は、Xeランプとフィルタの組合せにより作り出された狭帯域光NB1,NB2,NB3,NB4のスペクトルを示している。この例では、狭帯域光NB1,NB3は、ヘモグロビンの吸収ピーク領域PRの全域となるような波長幅を有している。また、狭帯域光NB2は、ヘモグロビンの吸収ボトム領域BRのうち、青色領域となるような波長幅を有している。さらに、狭帯域光NB4は、インジゴカルミンの吸収ピーク領域PRのうち、赤色領域となるような波長幅を有している。このような狭帯域光NB1~NB4を用いても、2つの特徴物質が強調された比較的明るく色再現性の高い画像を得ることが可能である。
 上記の実施形態は、動画、静止画を特に区別せず、どちらの場合にも共通の観察モードを用いることを想定して説明したが、これに限らない。動画と静止画の観察モードを異なるように設定することも好適である。たとえば、静止画の場合は常に、(5)照明光順次照射モードとし、後の診断や患者への説明の場面で所望の観察モードによる画像を構築可能とすることも好適である。
 なお、上述した実施形態は一例に過ぎず、本発明の主旨を逸脱しない範囲において様々な変形が可能であることはいうまでもない。

Claims (25)

  1.  観察対象物の画像を取得する内視鏡装置であって、
     第1の特徴物質の吸収スペクトルに基づいて選定された第1の狭帯域光と、第2の特徴物質の吸収スペクトルに基づいて選定された第2の狭帯域光とを射出可能な光源部と、
     前記第1の狭帯域光による第1の画像と、前記第2の狭帯域光による第2の画像とをそれぞれ分離して取得可能な撮像系と、
     前記第1の画像上の前記第1の特徴物質に関する特徴物質領域を第1の特徴物質領域として抽出可能、および/または、前記第2の画像上の前記第2の特徴物質に関する特徴物質領域を第2の特徴物質領域として抽出可能な特徴物質領域抽出部を有している、内視鏡装置。
  2.  前記内視鏡装置は、前記第1の特徴物質を観察目的とする第1の1物質観察モード(第1の特徴物質強調モード)と、前記第2の特徴物質を観察目的とする第2の1物質観察モード(第2の特徴物質強調モード)と、前記第1の特徴物質と前記第2の特徴物質の両方を観察目的とする2物質観察モードとのうち、少なくとも1つの観察モードを選択可能であり、各観察モードは、観察目的とする特徴物質の光吸収特性に基づいて選択された第1および/または第2の狭帯域光を前記観察対象物に照射して観察を行い、
     前記特徴物質領域抽出部は、選択された観察モードの観察目的とする特徴物質の特徴物質領域を、選択された観察モードで用いた狭帯域光による観察モード画像に基づいて抽出する、請求項1に記載の内視鏡装置。
  3.  前記特徴物質領域抽出部は、観察目的とする特徴物質の画像上の画像パターンおよび/またはコントラストに基づいて、特徴物質が存在している領域、および特徴物質の集まりおよび/またはパターンが正常な部分と異なる領域を抽出する、請求項2に記載の内視鏡装置。
  4.  前記内視鏡装置は、前記観察対象物が正常な状態の第1または第2の特徴物質の画像情報および/またはパターン情報を有しており、
     前記特徴物質領域抽出部は、観察目的とする特徴物質の画像上のコントラストが高い領域や色合いが異なる領域、またはそれらの領域の形態や集まり、またそのパターンについて、正常な状態の画像情報および/またはパターン情報と比較して、特徴物質領域を抽出する、請求項3に記載の内視鏡装置。
  5.  前記内視鏡装置は、内部にメモリを有しているか、外部のメモリと電気信号により接続可能に構成されており、
     正常な状態の画像情報および/またはパターン情報は、対応するメモリに記憶されている、請求項4に記載の内視鏡装置。
  6.  前記対応するメモリは、特徴物質ごとに、正常な状態の画像情報と正常な状態のパターン情報の少なくとも一方を記憶している、請求項5に記載の内視鏡装置。
  7.  観察モードは、選択可能であり、
     前記特徴物質領域抽出部は、選択された観察モードに基づいて、特徴物質領域を抽出する対象となる特徴物質を設定する、請求項3に記載の内視鏡装置。
  8.  前記内視鏡装置は、2つ以上の特徴物質を観察対象としており、
     前記光源部は、それぞれの特徴物質の吸収スペクトルに基づいて設定された2つ以上の狭帯域光を出射可能に構成されており、
     前記特徴物質領域抽出部は、2つ以上の狭帯域光を前記観察対象物に照射して略同時に取得した2つ以上の画像情報に基づいて、少なくとも2つの特徴物質の特徴物質領域を抽出する、請求項2に記載の内視鏡装置。
  9.  前記特徴物質領域抽出部は、2つ以上の特徴物質の特徴物質領域の重なり領域を特徴物質重なり領域として抽出する、請求項8に記載の内視鏡装置。
  10.  前記特徴物質領域抽出部は、3つ以上の特徴物質の特徴物質領域を抽出したとき、少なくとも2つの特徴物質の特徴物質領域の重なり領域を特徴物質重なり領域として抽出する、請求項8に記載の内視鏡装置。
  11.  前記特徴物質領域抽出部は、3つ以上の特徴物質の特徴物質領域を抽出したとき、すべての特徴物質の特徴物質領域の重なり領域を特徴物質重なり領域として抽出する、請求項8に記載の内視鏡装置。
  12.  特徴物質領域抽出部は、2つ以上の特徴物質の特徴物質領域のいずれかが存在する領域を特徴物質存在領域として抽出する、請求項8に記載の内視鏡装置。
  13.  前記特徴物質領域抽出部は、前記観察対象物における共通の発生源に由来する2つ以上の特徴物質の特徴物質領域を抽出する請求項8に記載の内視鏡装置。
  14.  前記複数の特徴物質の各々は、前記観察対象物における共通の発生源に由来し、生物学的特徴を強調する生物学的特徴物質と、構造的特徴を強調する構造強調特徴物質とのいずれかである、請求項8に記載の内視鏡装置。
  15.  前記生物学的特徴物質は、前記発生源の発生または成長に関連する物質であり、
     前記構造強調特徴物質は、画像強調観察において前記発生源の構造上の特徴の視認性を高める物質である、請求項14に記載の内視鏡装置。
  16.  前記第1の特徴物質は、ヘモグロビンであり、前記第2の特徴物質は、前記観察対象物に散布、投与または塗布された外部由来の物質である、請求項1ないし15のいずれか一項に記載の内視鏡装置。
  17.  前記内視鏡装置は、前記撮像系が取得した画像情報を表示する表示部を有しており、
     前記表示部は、さらに、特徴物質領域抽出部が抽出した特徴物質領域、特徴物質重なり領域、および/または特徴物質存在領域を、前記画像情報と対応付けて表示することで、前記領域の視認性を画像強調表示により向上させる、請求項2に記載の内視鏡装置。
  18.  前記表示部は、特徴物質領域、特徴物質重なり領域、および特徴物質存在領域の少なくとも1つの境界を示すラインまたは前記境界を示すラインに基づき設定される領域外周線を、画像強調表示による強調がなされる前の通常の画像情報上にスーパーインポーズする、請求項17に記載の内視鏡装置。
  19.  前記表示部は、特徴物質領域、特徴物質重なり領域、および特徴物質存在領域の少なくとも1つの略中心、または前記略中心に基づき設定される領域の中心領域の視認性を強調表示により向上させる図を、画像強調表示による強調がなされる前の通常の画像情報上にスーパーインポーズする、請求項17に記載の内視鏡装置。
  20.  前記表示部は、特徴物質領域、特徴物質重なり領域、および特徴物質存在領域の少なくとも1つ、またはそれに基づき設定される注目領域の画像情報を、それ以外の領域の画像情報とは、輝度値、色、解像度の少なくともひとつが異なるように表示する、請求項17に記載の内視鏡装置。
  21.  前記表示部が表示する画像情報は、前記特徴物質領域抽出部が、特徴物質領域を抽出するために用いたすべての画像とは異なる画像情報を含む、請求項17に記載の内視鏡装置。
  22.  前記特徴物質領域抽出部は、2つ以上の特徴物質の特徴物質領域の重なり領域を特徴物質重なり領域として抽出し、
     前記特徴物質領域抽出部は、2つ以上の特徴物質の特徴物質領域のいずれかが存在する領域を特徴物質存在領域として抽出し、
     前記表示部が表示する特徴物質領域、特徴物質重なり領域、および特徴物質存在領域の少なくとも1つ、またはそれに基づき設定される注目領域を、視認性を画像強調表示により向上させて表示した画像情報と、画像強調表示による強調がなされる前の通常の画像情報とを比較するための機能を有している、請求項17に記載の内視鏡装置。
  23.  前記内視鏡装置は、特徴物質領域、特徴物質重なり領域、および特徴物質存在領域の少なくとも1つ、またはそれに基づき設定される注目領域の視認性を画像強調表示により向上させる機能の実施または解除を選択可能にする視認性向上機能選択スイッチを有している、請求項22に記載の内視鏡装置。
  24.  前記光源部はすべて、半導体光源装置である、請求項1ないし23のいずれか一項に記載の内視鏡装置。
  25.  前記半導体光源装置はすべて、半導体レーザ光源装置である、請求項24に記載の内視鏡装置。
PCT/JP2016/086107 2016-12-05 2016-12-05 内視鏡装置 WO2018105020A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/086107 WO2018105020A1 (ja) 2016-12-05 2016-12-05 内視鏡装置
US16/431,857 US10863936B2 (en) 2016-12-05 2019-06-05 Endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086107 WO2018105020A1 (ja) 2016-12-05 2016-12-05 内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/431,857 Continuation US10863936B2 (en) 2016-12-05 2019-06-05 Endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2018105020A1 true WO2018105020A1 (ja) 2018-06-14

Family

ID=62490865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086107 WO2018105020A1 (ja) 2016-12-05 2016-12-05 内視鏡装置

Country Status (2)

Country Link
US (1) US10863936B2 (ja)
WO (1) WO2018105020A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6412709B2 (ja) * 2014-04-02 2018-10-24 オリンパス株式会社 観察画像取得システム
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
WO2018159083A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11559194B2 (en) * 2017-08-28 2023-01-24 Hoya Corporation Endoscope light source device and endoscope system
JP6891304B2 (ja) * 2018-02-09 2021-06-18 富士フイルム株式会社 内視鏡システム
JP7458724B2 (ja) * 2019-08-30 2024-04-01 キヤノン株式会社 電子機器、その制御方法およびプログラム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CA3213787A1 (en) * 2021-04-14 2022-10-20 Arthrex, Inc. System and method for using detectable radiation in surgery

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131265A (ja) * 2008-12-05 2010-06-17 Fujifilm Corp 撮像装置、方法、及びプログラム
JP2012143349A (ja) * 2011-01-11 2012-08-02 Fujifilm Corp 内視鏡システムおよび内視鏡システムの観察画像表示方法
WO2012140970A1 (ja) * 2011-04-11 2012-10-18 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2015066129A (ja) * 2013-09-27 2015-04-13 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
WO2015145814A1 (ja) * 2014-03-28 2015-10-01 オリンパス株式会社 生体観察システム
JP2016002133A (ja) * 2014-06-13 2016-01-12 オリンパス株式会社 内視鏡
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2341079B1 (es) * 2008-12-11 2011-07-13 Fundacio Clinic Per A La Recerca Biomedica Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
JP5457247B2 (ja) * 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
WO2012011303A1 (ja) * 2010-07-21 2012-01-26 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP5385489B1 (ja) * 2012-02-10 2014-01-08 オリンパスメディカルシステムズ株式会社 制御装置、生体光学測定装置および内視鏡システム
JP5690788B2 (ja) 2012-09-07 2015-03-25 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及びカプセル内視鏡システム
JP6432770B2 (ja) * 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2017006337A (ja) * 2015-06-19 2017-01-12 ソニー株式会社 医療支援装置および方法、並びに、医療支援システム
JP6420230B2 (ja) * 2015-12-22 2018-11-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131265A (ja) * 2008-12-05 2010-06-17 Fujifilm Corp 撮像装置、方法、及びプログラム
JP2012143349A (ja) * 2011-01-11 2012-08-02 Fujifilm Corp 内視鏡システムおよび内視鏡システムの観察画像表示方法
WO2012140970A1 (ja) * 2011-04-11 2012-10-18 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2015066129A (ja) * 2013-09-27 2015-04-13 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
WO2015145814A1 (ja) * 2014-03-28 2015-10-01 オリンパス株式会社 生体観察システム
JP2016002133A (ja) * 2014-06-13 2016-01-12 オリンパス株式会社 内視鏡
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
EP3936026A4 (en) * 2019-03-08 2022-04-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, PROCESSOR, ENDOSCOPIC SYSTEM, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
CN113543694B (zh) * 2019-03-08 2024-02-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
US11918176B2 (en) 2019-03-08 2024-03-05 Fujifilm Corporation Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program

Also Published As

Publication number Publication date
US10863936B2 (en) 2020-12-15
US20190282135A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2018105020A1 (ja) 内視鏡装置
WO2017216883A1 (ja) 内視鏡装置
WO2017216878A1 (ja) 内視鏡装置
US9095250B2 (en) Endoscope apparatus with particular illumination, illumination control and image processing
EP2465432B1 (en) Endoscope apparatus
US9456738B2 (en) Endoscopic diagnosis system
WO2017170233A1 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP7065190B2 (ja) 内視鏡装置及び内視鏡装置の制御方法
US10602917B2 (en) Switching between white light imaging and excitation light imaging leaving last video frame displayed
US10602918B2 (en) Switching between white light imaging and excitation light imaging leaving last video frame displayed
JP2012016545A (ja) 内視鏡装置
JP2011010998A (ja) 内視鏡用照明装置および内視鏡装置
JP2017153763A (ja) 画像処理装置とその作動方法および作動プログラム
WO2017046857A1 (ja) 内視鏡装置
JPWO2020012564A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2009226095A (ja) 電子内視鏡装置
JP2017185258A (ja) 内視鏡装置
JP6155367B2 (ja) 内視鏡装置
JP2019030406A (ja) 内視鏡システム
CN111568549A (zh) 一种具有实时成像功能的可视化系统
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP2017200601A (ja) 内視鏡装置
JP6379260B2 (ja) 内視鏡装置
WO2021009829A1 (ja) 内視鏡用光源装置及び内視鏡装置
JP2015091351A (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923562

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923562

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP