JP5431252B2 - 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 - Google Patents

電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 Download PDF

Info

Publication number
JP5431252B2
JP5431252B2 JP2010132964A JP2010132964A JP5431252B2 JP 5431252 B2 JP5431252 B2 JP 5431252B2 JP 2010132964 A JP2010132964 A JP 2010132964A JP 2010132964 A JP2010132964 A JP 2010132964A JP 5431252 B2 JP5431252 B2 JP 5431252B2
Authority
JP
Japan
Prior art keywords
light
narrowband
blood vessel
image
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010132964A
Other languages
English (en)
Other versions
JP2011092690A (ja
Inventor
孝明 齋藤
雅裕 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010132964A priority Critical patent/JP5431252B2/ja
Publication of JP2011092690A publication Critical patent/JP2011092690A/ja
Application granted granted Critical
Publication of JP5431252B2 publication Critical patent/JP5431252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14503Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue invasive, e.g. introduced into the body by a catheter or needle or using implanted sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)

Description

本発明は、電子内視鏡で撮像した画像から血管に関する情報を取得するとともに、取得した情報を画像化する電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法に関する。
近年の医療分野では、電子内視鏡を用いた診断や治療が数多く行なわれている。電子内視鏡は、被検者の体腔内に挿入される細長の挿入部を備えており、この挿入部の先端にはCCDなどの撮像装置が内蔵されている。また、電子内視鏡は光源装置に接続されており、光源装置で発せられた光は、挿入部の先端から体腔内部に対して照射される。このように体腔内部に光が照射された状態で、体腔内の被写体組織が、挿入部の先端の撮像装置によって撮像される。撮像により得られた画像は、電子内視鏡に接続されたプロセッサ装置で各種処理が施された後、モニタに表示される。したがって、電子内視鏡を用いることによって、被検者の体腔内の画像をリアルタイムに確認することができるため、診断などを確実に行うことができる。
光源装置には、波長が青色領域から赤色領域にわたる白色の広帯域光を発することができるキセノンランプなどの白色光源が用いられている。体腔内の照射に白色の広帯域光を用いることで、撮像画像から被写体組織全体を把握することができる。しかしながら、広帯域光を照射したときに得られる撮像画像からは、被写体組織全体を大まかに把握することはできるものの、微細血管、深層血管、ピットパターン(腺口構造)、陥凹や隆起といった凹凸構造などの被写体組織は明瞭に観察することが難しいことがある。このような被写体組織に対しては、波長を特定領域に制限した狭帯域光を照射することで、明瞭に観察できるようになることが知られている。また、狭帯域光を照射したときの画像データからは、血管中の酸素飽和度など被写体組織に関する各種情報を得られることが知られている。
例えば、特許文献1では、R色の光、G色の光、B色の光の3種類の狭帯域光を照射し、各色光の照射毎に撮像を行なっている。光は波長を長くするほど、即ちB色、G色、R色の順で波長を長くするほど深い血管に到達する特性があるため、B色の光の照射時には表層血管が、G色の光の照射時には中層血管が、Rの光の照射時には深層血管が強調された画像が得られる。また、各色の光の照射時に得られた画像データに基づきカラー画像処理を行なうことによって、表層血管、中層血管、及び深層血管をそれぞれ異なる色で区別して画像化している。
また、特許文献2では、酸素飽和度によって血管の吸光度が変化する近赤外領域の狭帯域光IR1,IR3と、血管の吸光度が変化しない近赤外領域の狭帯域光IR2とを照射し、各光の照射毎に撮像を行なっている。そして、血管の吸光度が変化する狭帯域光IR1,IR3を照射したきの画像と吸光度が変化しない狭帯域光IR2を照射したときの画像とに基づいて画像間の輝度の変化を算出し、算出した輝度の変化をモノクロあるいは擬似カラーで画像に反映させている。この画像から、血管中の酸素飽和度の情報を得ることができる。
特許3559755号公報 特許2648494号公報
近年では、血管深さと酸素飽和度の両方を同時に把握しながら、診断等を行ないたいという要望がある。しかしながら、血管中のヘモグロビンの吸光度は波長によって著しく変化する(図3参照)など様々な要因によって、血管深さに関する情報と酸素飽和度に関する情報の両方を同時に取得することは容易ではない。
例えば、特許文献1のように、R色の光、G色の光、B色の光の3種類の狭帯域光を照射することで、血管深さに関する情報を得ることはできるものの、酸素飽和度に関する情報を得ることはできない。一方、特許文献2のように、近赤外領域の狭帯域光IR1,IR2,IR3を照射することで、酸素飽和度に関する情報を得ることができるものの、照射では血管深さに関する情報を得ることはできない。そして、特許文献1と特許文献2の両方の波長領域を満たすような光を照射したとしても、血管深さに関する情報と酸素飽和度に関する情報の両方を同時に取得することは困難である。
本発明は、上記課題を鑑みてなされたものであり、血管深さに関する情報と酸素飽和度に関する情報の両方を同時に取得するとともに、それら2つの情報を画像化することができる電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法を提供することを目的とする。
上記目的を達成するために、本発明の電子内視鏡システムは、450nm以下の波長領域を含む照明光を、体腔内の血管を含む被写体組織に照射する照射手段と、前記被写体組織を撮像して、前記照明光が被写体組織で反射した反射光の輝度を表す撮像信号を出力する撮像素子を有する電子内視鏡と、前記撮像信号に含まれる第1〜第3狭帯域信号であって、互いに異なる波長領域を持ち、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得する第1狭帯域信号取得手段と、前記第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求める血管情報取得手段とを備えていることを特徴とする。なお、第1及び第2狭帯域光の中心波長の一例としては、波長445nm、473nmや、波長405nm、445nmや、波長405nm、473nmなどが考えられるが、その他の波長であってもよい。
前記第1及び第2狭帯域光は、例えば、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでおり、前記第3狭帯域光は、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じない波長を含んでいることが好ましい。
本発明には、更に、前記第1〜第3狭帯域信号間において、第1及び第3狭帯域信号間の第1輝度比と、第2及び第3狭帯域信号間の第2輝度比とを算出する輝度比算出手段と、第1及び第2輝度比と血管深さ及び酸素飽和度との相関関係を予め記憶する第1記憶手段を備えることが好ましく、例えば、前記血管情報取得手段により、前記第1記憶手段の相関関係に基づき、前記輝度比算出手段で算出された第1及び第2輝度比に対応する血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を求めることができる。
前記第1記憶手段は、第1及び第2輝度比を示す輝度座標系の座標と、血管深さ及び酸素飽和度を示す血管情報座標系の座標との対応付けにより相関関係を記憶し、前記血管情報取得手段は、前記輝度座標系において、前記輝度比算出手段で算出された第1及び第2輝度比に対応する第1座標を特定し、前記血管情報座標系において、前記第1座標に対応する第2座標を特定し、前記第2座標のうち、血管深さを示す座標の値を血管深さ情報とし、酸素飽和度を示す座標の値を酸素飽和度情報とすることが好ましい。
前記第1狭帯域光の波長領域は例えば440±10nmであり、前記第2狭帯域光の波長領域は例えば470±10nmであり、前記第3狭帯域光の波長領域は例えば400±10nmである。なお、その他の波長領域のパターンとしては、第1狭帯域光の波長領域を400±10nmに、第2狭帯域光の波長領域を440±10nmに、第3狭帯域光の波長領域を470±10nmにするパターンや、第1狭帯域光の波長領域を470±10nmに、第2狭帯域光の波長領域を400±10nmに、第3狭帯域光の波長領域を440±10nmにするパターンが考えられる。
前記撮像素子は白黒の撮像素子であり、前記照射手段は、R色、G色、B色の3色の光を時分割して照射するとともに、第1、第2、及び第3狭帯域光を時分割して照射することが可能であり、R色、G色、B色の3色の光を時分割して照射して得られた撮像信号に基づいて通常光画像を生成する面順次式通常光画像生成手段を有することが好ましい。前記撮像素子は、R色、G色、B色の3色のカラーフイルタが設けられたR画素、G画素、B画素の3色の画素を有しており、前記照射手段は、R、G、Bの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることが好ましい。前記第1〜第3狭帯域光のうち、例えば、2つの狭帯域光は、B画素及びG画素のいずれかにのみ感応する波長領域を有しており、残りの1つの狭帯域光は、B画素及びG画素の両方が感応する波長領域を有している。
前記撮像素子は、C色、M色、Y色の3色のカラーフイルタが設けられたC画素、M画素、Y画素の3色の画素を有しており、前記照射手段は、C、M、Yの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることが好ましい。
前記照射手段で前記第1〜第3狭帯域光を照射し、前記第1狭帯域信号取得手段によって第1〜第3狭帯域光のそれぞれを単独で照射して3フレームの撮像信号を得ることによって、第1〜第3狭帯域信号を取得することができる。
前記照射手段で前記第1〜第3狭帯域光を照射し、前記第1狭帯域信号取得手段によって、第1〜第3狭帯域光のうち、B画素及びG画像のいずれかにのみ感応する波長領域を持つ1つの狭帯域光の照射によって得られた1フレームの撮像信号と、残りの2つの狭帯域光を同時に照射して得られた1フレームの撮像信号の合計2フレームの撮像信号を得ることによって、第1〜第3狭帯域信号を取得することができる。
本発明は、更に、広帯域光の照射により得た1フレームの撮像信号に含まれるB画素とG画素の輝度値の相関関係を予め記憶する第2記憶手段を備えることが好ましく、前記照射手段で青色領域から赤色領域までの波長領域を含む白色の広帯域光と、第1〜第3狭帯域光のうちの少なくとも1つを、同時に照射し、前記第1狭帯域信号取得手段は、第1〜第3狭帯域光のうち、B画素及びG画像のいずれかにのみ感応する波長領域を持つ1つの狭帯域光と広帯域光とを同時に照射して得られた1フレームの撮像信号と、残りの2つの狭帯域光と広帯域光とを同時に照射して得られた1フレームの撮像信号の合計2フレームの撮像信号を得るとともに、前記第2記憶手段の相関関係を用いて、前記広帯域光によるB画素とG画素のそれぞれの輝度値を分離することによって、第1〜第3狭帯域信号を取得することができる。
前記照射手段により第1〜第3狭帯域光のすべての波長領域と青色領域から赤色領域までの波長領域とを含む白色の広帯域光を照射し、光学フィルタを用いて、前記被写体組織で反射した広帯域光に含まれる第1〜第3狭帯域光を選択的に透過させ、第1〜第3狭帯域光のうち透過した光を前記撮像素子に入射させることによって、前記第1狭帯域信号取得手段で、前記撮像素子が順次出力する、第1〜第3狭帯域光に対応する撮像信号を第1〜第3狭帯域信号として取得することができる。
本発明は、さらに、前記第1〜第3狭帯域光とは異なる波長領域を持つ第4狭帯域光に対応する第4狭帯域信号を取得する第2狭帯域信号取得手段を備えることが好ましく、例えば、前記血管情報取得手段により、前記第1〜第4狭帯域信号に基づき、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求めることができる。なお、第1〜第3狭帯域光とは異なる波長領域を持つ複数の狭帯域光に対応する複数の狭帯域信号を取得し、第1〜第3狭帯域信号及びそれら複数の狭帯域信号に基づいて、血管深さ情報及び酸素飽和度情報を求めてもよい。
前記撮像素子は白黒の撮像素子であり、前記照射手段は、R色、G色、B色の3色の光を時分割して照射するとともに、第1、第2、第3、及び第4狭帯域光を時分割して照射することが可能であり、R色、G色、B色の3色の光を時分割して照射して得られた撮像信号に基づいて通常光画像を生成する面順次式通常光画像生成手段を有することが好ましい。前記撮像素子は、R色、G色、B色の3色のカラーフイルタが設けられたR画素、G画素、B画素の3色の画素を有しており、前記照射手段は、R、G、Bの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることが好ましい。前記撮像素子は、C色、M色、Y色の3色のカラーフイルタが設けられたC画素、M画素、Y画素の3色の画素を有しており、前記照射手段は、C、M、Yの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることが好ましい。
本発明は、更に前記血管深さ情報と前記酸素飽和度情報を選択的に又は同時に表示する表示手段を有することが好ましい。
本発明の電子内視鏡用のプロセッサ装置は、450nm以下の波長領域を含む照明光を照射して、体腔内の血管を含む被写体組織を電子内視鏡の撮像素子で撮像することにより得られる撮像信号であり、前記照明光が反射した反射光の輝度を表す撮像信号を前記電子内視鏡から受信する受信手段と、前記撮像信号に含まれる第1〜第3狭帯域信号であり、互いに異なる波長領域を持ち、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得する狭帯域信号取得手段と、前記第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求める血管情報取得手段とを備えていることを特徴とする。
本発明の電子内視鏡システムの作動方法は、照明光発生手段が、450nm以下の波長領域を含む照明光を発するステップと、撮像素子が、体腔内の血管を含む被写体組織を撮像することにより、前記照明光が被写体組織で反射した反射光の輝度を表す撮像信号を得るステップと、第1狭帯域信号取得手段が、前記撮像信号に含まれる第1〜第3狭帯域信号であり、互いに異なる波長領域を持ち、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得するステップと、血管情報取得手段が、前記第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求めるステップとを備えていることを特徴とする。
本発明によれば、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得し、その第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求め、これら情報を選択的又は同時に表示手段に表示することから、血管深さに関する情報と酸素飽和度に関する情報の両方を同時に取得することができるとともに、それら2つの情報を同時表示することができる。
本発明の第1実施形態の電子内視鏡システムの外観図である。 第1実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 原色系カラーCCDのB画素、G画素、R画素における分光透過率と広帯域光BB及び第1〜第3狭帯域光N1〜N3の光強度分布を示すグラフである。 (A)は通常光画像モード時におけるCCDの撮像動作を、(B)は特殊光画像モード時におけるCCDの撮像動作を説明する説明図である。 ヘモグロビンの吸収係数を示すグラフである。 第1及び2輝度比S1/S3,S2/S3と血管深さ及び酸素飽和度との相関関係を示すグラフである。 (A)は第1及び第2輝度比S1/S3,S2/S3から輝度座標系における座標(X,Y)を求める方法を、(B)は座標(X,Y)に対応する血管情報座標系の座標(U,V)を求める方法を説明する説明図である。 血管深さ画像又は酸素飽和度画像のいずれか一方が表示されるモニタの画像図である。 血管深さ画像又は酸素飽和度画像の両方が同時表示されるモニタの画像図である。 血管に関する血管深さ情報及び酸素飽和度情報が文字情報として同時表示されるモニタの画像図である。 血管深さ−酸素飽和度情報を算出する手順と、それら情報を反映した血管深さ画像及び酸素飽和度画像を生成する手順を示すフローチャートである。 本発明の第2実施形態におけるCCDの撮像動作を説明する説明図である。 本発明の第2実施形態における他のCCDの撮像動作を説明する説明図である。 本発明の第3実施形態におけるCCDの撮像動作を説明する説明図である。 本発明の第4実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 本発明の第5実施形態の電子内視鏡システムの電気的構成を示すブロック図である。 通常光画像モードおよび特殊光画像モード時に使用する光を透過させるフィルタが設けられたロータリーフィルターを備える電子内視鏡システムの概略図である。 通常光画像モードおよび特殊光画像モード時に使用する光を透過させるフィルタが設けられたロータリーフィルターの概略図である。 面順次方式に対応したロータリーフィルターの概略図である。 各フィルタの配列が図20のロータリーフィルターと異なる面順次方式のロータリーフィルターの概略図である。 (A)は図19のロータリーフィルターを用いた場合における特殊光画像モード時の撮像動作を、(B)は図20のロータリーフィルターを用いた場合における特殊光画像モード時の撮像動作を説明する説明図である。 補色系カラーCCDのC画素、M画素、Y画素における分光透過率と広帯域光BB及び第1〜第3狭帯域光N1〜N3の光強度分布を示すグラフである。
図1に示すように、本発明の第1実施形態の電子内視鏡システム10は、被検者の体腔内を撮像する電子内視鏡11と、撮像により得られた信号に基づいて体腔内の被写体組織の画像を生成するプロセッサ装置12と、体腔内を照射する光を供給する光源装置13と、体腔内の画像を表示するモニタ14とを備えている。電子内視鏡11は、体腔内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16の先端には、複数の湾曲駒を連結した湾曲部19が形成されている。湾曲部19は、操作部のアングルノブ21を操作することにより、上下左右方向に湾曲動作する。湾曲部19の先端には、体腔内撮影用の光学系等を内蔵した先端部16aが設けられており、この先端部16aは、湾曲部19の湾曲動作によって体腔内の所望の方向に向けられる。
ユニバーサルコード18には、プロセッサ装置12および光源装置13側にコネクタ24が取り付けられている。コネクタ24は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、電子内視鏡11は、このコネクタ24を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図2に示すように、光源装置13は、広帯域光源30と、シャッター31と、シャッター駆動部32と、第1〜第3狭帯域光源33〜35と、カプラー36と、光源切替部37とを備えている。広帯域光源30はキセノンランプ、白色LED、マイクロホワイト光源などであり、波長が赤色領域から青色領域(約470〜700nm)にわたる広帯域光BBを発生する。広帯域光源30は、電子内視鏡11の使用中、常時点灯している。広帯域光源30から発せられた広帯域光BBは、集光レンズ39により集光されて、広帯域用光ファイバ40に入射する。
シャッター31は、広帯域光源30と集光レンズ39との間に設けられており、広帯域光BBの光路に挿入されて広帯域光BBを遮光する挿入位置と、挿入位置から退避して広帯域光BBが集光レンズ39に向かうことを許容する退避位置との間で移動自在となっている。シャッター駆動部32はプロセッサ装置内のコントローラー59に接続されており、コントローラー59からの指示に基づいてシャッター31の駆動を制御する。
第1〜第3狭帯域光源33〜35はレーザーダイオードなどであり、第1狭帯域光源33は、波長が440±10nmに、好ましくは445nmに制限された狭帯域の光(以下「第1狭帯域光N1」とする)を、第2狭帯域光源34は波長が470±10nmに、好ましくは473nmに制限された狭帯域の光(以下「第2狭帯域光N2」とする)を、第3狭帯域光源35は波長が400±10nmに、好ましくは405nmに制限された狭帯域の光(以下「第3狭帯域光N3」とする)を発生する。第1〜第3狭帯域光源33〜35はそれぞれ第1〜第3狭帯域用光ファイバ33a〜35aに接続されており、各光源で発せられた第1〜第3狭帯域光N1〜N3は第1〜第3狭帯域用光ファイバ33a〜35aに入射する。
カプラー36は、電子内視鏡内のライトガイド43と、広帯域用光ファイバ40及び第1〜第3狭帯域用光ファイバ33a〜35aとを連結する。これにより、広帯域光BBは、広帯域用光ファイバ40を介して、ライトガイド43に入射することが可能となる。また、第1〜第3狭帯域光N1〜N3は、第1〜第3狭帯域用光ファイバ33a〜35aを介して、ライトガイド43に入射することが可能となる。
光源切替部37はプロセッサ装置内のコントローラー59に接続されており、コントローラー59からの指示に基づいて、第1〜第3狭帯域光源33〜35をON(点灯)またはOFF(消灯)に切り替える。第1実施形態では、広帯域光BBを用いた通常光画像モードに設定されている場合には、広帯域光BBが体腔内に照射されて通常光画像の撮像が行なわれる一方、第1〜第3狭帯域光源33〜35はOFFにされる。これに対して、第1〜第3狭帯域光N1〜N3を用いた特殊光画像モードに設定されている場合には、広帯域光BBの体腔内への照射が停止される一方、第1〜第3狭帯域光源33〜35が順次ONに切り替えられて特殊光画像の撮像が行なわれる。
具体的には、まず、第1狭帯域光源33が光源切替部37によりONに切り替えられる。そして、第1狭帯域光N1が体腔内に照射された状態で、被写体組織の撮像が行なわれる。撮像が完了すると、コントローラー59から光源切替の指示がなされ、第1狭帯域光源33がOFFに、第2狭帯域光源34がONに切り替えられる。そして、第2狭帯域光N2を体腔内に照射した状態での撮像が完了すると、同様にして、第2狭帯域光源34がOFFに、第3狭帯域光源35がONに切り替えられる。さらに、第3狭帯域光N3を体腔内に照射した状態での撮像が完了すると、第3狭帯域光源35がOFFに切り替えられる。
電子内視鏡11は、ライトガイド43、CCD44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、入射端が光源装置内のカプラー36に挿入されており、出射端が先端部16aに設けられた照射レンズ48に向けられている。光源装置13で発せられた光は、ライトガイド43により導光された後、照射レンズ48に向けて出射する。照射レンズ48に入射した光は、先端部16aの端面に取り付けられた照明窓49を通して、体腔内に照射される。体腔内で反射した広帯域光BB及び第1〜第3狭帯域光N1〜N3は、先端部16aの端面に取り付けられた観察窓50を通して、集光レンズ51に入射する。
CCD44は、集光レンズ51からの光を撮像面44aで受光し、受光した光を光電変換して信号電荷を蓄積し、蓄積した信号電荷を撮像信号として読み出す。読み出された撮像信号は、AFE45に送られる。また、CCD44はカラーCCDであり、撮像面44aには、R色、G色、B色のいずれかのカラーフィルターが設けられたR画素、G画素、B画素の3色の画素が配列されている。
R色、G色、B色のカラーフィルターは、図3に示すような分光透過率52,53,54を有している。集光レンズ51に入射する光のうち、広帯域光BBは波長が約470〜700nmにわたるため、R色、G色、B色のカラーフィルターは、広帯域光BBのうちそれぞれの分光透過率52,53,54に応じた波長の光を透過する。ここで、R画素で光電変換された信号を撮像信号R、G画素で光電変換された信号を撮像信号G、B画素で光電変換された信号を撮像信号Bとすると、CCD44に広帯域光BBが入射した場合には、撮像信号R、撮像信号G、及び撮像信号Bからなる広帯域撮像信号が得られる。
一方、集光レンズ51に入射する光のうち第1狭帯域光N1は、波長が440±10nmであるため、B色のカラーフィルターのみを透過する。したがって、CCD44に第1狭帯域光N1が入射することで、撮像信号Bからなる第1狭帯域撮像信号が得られる。また、第2狭帯域光N2は、波長が470±10nmであるため、B色及びG色のカラーフィルターの両方を透過する。したがって、CCD44に第2狭帯域光N2が入射することで、撮像信号Bと撮像信号Gとからなる第2狭帯域撮像信号が得られる。また、第3狭帯域光N3は、波長が400±10nmであるため、B色のカラーフィルターのみを透過する。したがって、CCD44に第3狭帯域光N3が入射することで、撮像信号Bからなる第3狭帯域撮像信号が得られる。
AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、CCD44からの撮像信号に対して相関二重サンプリング処理を施し、CCD44の駆動により生じたノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数のデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラー59に接続されており、コントローラー59から指示がなされたときにCCD44に対して駆動信号を送る。CCD44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。第1実施形態では、通常光画像モードに設定されている場合、図4(A)に示すように、1フレームの取得期間内で、広帯域光BBを光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を広帯域撮像信号として読み出すステップとの合計2つの動作が行なわれる。この動作は、通常光画像モードに設定されている間、繰り返し行なわれる。
これに対して、通常光画像モードから特殊光画像モードに切り替えられると、図4(B)に示すように、まず最初に、1フレームの取得期間内で、第1狭帯域光N1を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第1狭帯域撮像信号として読み出すステップとの合計2つの動作が行なわれる。第1狭帯域撮像信号の読み出しが完了すると、1フレームの取得期間内で、第2狭帯域光N2を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第2狭帯域撮像信号として読み出すステップとが行なわれる。第2狭帯域撮像信号の読み出しが完了すると、1フレームの取得期間内で、第3狭帯域光N3を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を第3狭帯域撮像信号として読み出すステップとが行なわれる。
図2に示すように、プロセッサ装置12は、デジタル信号処理部55(DSP(Digital Signal Processor))と、フレームメモリ56と、血管画像生成部57と、表示制御回路58を備えており、コントローラー59が各部を制御している。DSP55は、電子内視鏡のAFE45から出力された広帯域撮像信号及び第1〜第3狭帯域撮像信号に対し、色分離、色補間、ホワイトバランス調整、ガンマ補正などを行うことによって、広帯域画像データ及び第1〜第3狭帯域画像データを作成する。フレームメモリ56は、DSP55で作成された広帯域画像データ及び第1〜第3狭帯域画像データを記憶する。広帯域画像データは、R色、G色、B色が含まれるカラー画像データである。
血管画像生成部57は、輝度比算出部60と、相関関係記憶部61と、血管深さ−酸素飽和度算出部62と、血管深さ画像生成部63と、酸素飽和度画像生成部64とを備えている。輝度比算出部60は、フレームメモリ56に記憶した第1〜第3狭帯域光画像データから、血管が含まれる血管領域を特定する。そして、輝度比算出部60は、血管領域内の同じ位置の画素について、第1及び第3狭帯域画像データ間の第1輝度比S1/S3を求めるとともに、第2及び第3狭帯域画像データ間の第2輝度比S2/S3を求める。ここで、S1は第1狭帯域光画像データの画素の輝度値を、S2は第2狭帯域光画像データの画素の輝度値を、S3は第3狭帯域光画像データの画素の輝度値を表している。なお、血管領域の特定方法としては、例えば、血管部分の輝度値とそれ以外の輝度値の差から血管領域を求める方法がある。
相関関係記憶部61は、第1及び第2輝度比S1/S3,S2/S3と、血管中の酸素飽和度及び血管深さとの相関関係を記憶している。この相関関係は、血管が図5に示すヘモグロビンの吸光係数を有する場合の相関関係であり、これまでの診断等で蓄積された多数の第1〜第3狭帯域光画像データを分析することにより得られたものである。図5に示すように、血管中のヘモグロビンは、照射する光の波長によって吸光係数μaが変化する吸光特性を持っている。吸光係数μaは、ヘモグロビンの光の吸収の大きさである吸光度を表すもので、ヘモグロビンに照射された光の減衰状況を表すIexp(−μa×x)の式の係数である。ここで、Iは光源装置から被写体組織に照射される光の強度であり、x(cm)は被写体組織内の血管までの深さである。
また、酸素と結合していない還元ヘモグロビン70と、酸素と結合した酸化ヘモグロビン71は、異なる吸光特性を持っており、同じ吸光度(吸光係数μa)を示す等吸収点(図5における各ヘモグロビン70,71の交点)を除いて、吸光度に差が生じる。吸光度に差があると、同じ血管に対して、同じ強度かつ同じ波長の光を照射しても、輝度値が変化する。また、同じ強度の光を照射しても、波長が異なれば吸光係数μaが変わるので、輝度値が変化する。
以上のようなヘモグロビンの吸光特性を鑑みると、酸素飽和度によって吸光度に違いが出る波長が445nmと473nmにあること、及び血管深さ情報抽出のためには深達度の短い短波長領域が必要となることから、第1〜第3狭帯域光N1〜N3には、中心波長が450nm以下の波長領域を持つ狭帯域光を少なくとも1つ含めることが好ましい。このような狭帯域光は、第1実施形態では第1及び第2狭帯域光に相当する。また、酸素飽和度が同じでも、波長が異なれば吸収係数の値も異なり、粘膜中の深達度も異なっている。したがって、波長によって深達度が異なる光の特性を利用することで、輝度比と血管深さの相関関係を得ることができる。
相関関係記憶部61は、図6に示すように、第1及び第2輝度比S1/S3,S2/S3を表す輝度座標系66の座標と、酸素飽和度及び血管深さを表す血管情報座標系67の座標との対応付けによって、相関関係を記憶している。輝度座標系66はXY座標系であり、X軸は第1輝度比S1/S3を、Y軸は第2輝度比S2/S3を表している。血管情報座標系67は輝度座標系66上に設けられたUV座標系であり、U軸は血管深さを、V軸は酸素飽和度を表している。U軸は、血管深さが輝度座標系66に対して正の相関関係があることから、正の傾きを有している。このU軸に関して、右斜め上に行くほど血管は浅いことを、左斜め下に行くほど血管が深いことを示している。一方、V軸は、酸素飽和度が輝度座標系66に対して負の相関関係を有することから、負の傾きを有している。このV軸に関して、左斜め上に行くほど酸素飽和度が低いことを、右斜め下に行くほど酸素飽和度が高いことを示している。
また、血管情報座標系67においては、U軸とV軸とは交点Pで直交している。これは、第1狭帯域光N1の照射時と第2狭帯域光N2の照射時とで吸光の大小関係が逆転しているためである。即ち、図5に示すように、波長が440±10nmである第1狭帯域光N1を照射した場合には、還元ヘモグロビン70の吸光係数は、酸素飽和度が高い酸化ヘモグロビン71の吸光係数よりも大きくなるのに対して、波長が470±10nmである第2狭帯域光N2を照射した場合には、酸化ヘモグロビン71の吸光係数のほうが還元ヘモグロビン70の吸光係数よりも大きくなっているため、吸光の大小関係が逆転している。なお、第1〜第3狭帯域光N1〜N3に代えて、吸光の大小関係が逆転しない狭帯域光を照射したときには、U軸とV軸とは直交しなくなる。また、波長が400±10nmである第3狭帯域光N3を照射したときには、酸化ヘモグロビンと還元ヘモグロビンの吸光係数はほぼ等しくなっている。
血管深さ−酸素飽和度算出部62は、相関関係記憶部61の相関関係に基づき、輝度比算出部60で算出された第1及び第2輝度比S1/S3,S2/S3に対応する酸素飽和度と血管深さを特定する。ここで、輝度比算出部60で算出された第1及び第2輝度比S1/S3,S2/S3のうち、血管領域内の所定画素についての第1輝度比をS1/S3とし、第2輝度比をS2/S3とする。
血管深さ−酸素飽和度算出部62は、図7(A)に示すように、輝度座標系66において、第1及び第2輝度比S1/S3,S2/S3に対応する座標(X,Y)を特定する。座標(X,Y)が特定されたら、図7(B)に示すように、血管情報座標系67において、座標(X,Y)に対応する座標(U,V)を特定する。これにより、血管領域内の所定位置の画素について、血管深さ情報U及び酸素飽和度情報Vが求まる。
血管深さ画像生成部63は、血管深さの程度に応じてカラー情報が割り当てられたカラーマップ63a(CM(Color Map))を備えている。カラーマップ63aには、例えば、血管深さが表層であるときには青、中層であるときには緑、深層であるときには赤というように、血管深さの程度に応じて、明瞭に区別することができる色が割り当てられている。血管深さ画像生成部63は、カラーマップ63aから、血管深さ−酸素飽和度算出部62で算出された血管深さ情報Uに対応するカラー情報を特定する。
血管深さ画像生成部63は、血管領域内の全ての画素についてカラー情報が特定されると、フレームメモリ56から広帯域画像データを読み出し、読み出された広帯域光画像データに対してカラー情報を反映させる。これにより、血管深さの情報が反映された血管深さ画像データが生成される。生成された血管深さ画像データは再度フレームメモリ56に記憶される。なお、カラー情報は、広帯域光画像データにではなく、第1〜第3狭帯域画像データのいずれか、あるいはこれらを合成した合成画像に対して反映させてもよい。
酸素飽和度画像生成部64は、酸素飽和度の程度に応じてカラー情報が割り当てられたカラーマップ64a(CM(Color Map))を備えている。カラーマップ64aには、例えば、低酸素飽和度であるときにはシアン、中酸素飽和度であるときにはマゼンダ、光酸素飽和度であるときにはイエローというように、酸素飽和度の程度に応じて、明瞭に区別することができる色が割り当てられている。酸素飽和度画像生成部64は、血管深さ画像生成部と同様に、カラーマップ64aから血管深さ−酸素飽和度算出部で算出された酸素飽和度情報Vに対応するカラー情報を特定する。そして、このカラー情報を広帯域画像データに反映させることにより、酸素飽和度画像データを生成する。生成された酸素飽和度画像データは、血管深さ画像データと同様、フレームメモリ56に記憶される。
表示制御回路58は、フレームメモリ56から1又は複数の画像を読み出し、読み出した画像をモニタ14に表示する。画像の表示形態としては様々なパターンが考えられる。例えば、図8に示すように、モニタ14の一方の側に広帯域画像72を表示させ、他方の側に、画像切替SW68(図2参照)により選択された血管深さ画像73または酸素飽和度画像74のいずれかを表示させるようにしてもよい。図8の血管深さ画像73では、血管画像75は表層血管を示す青色で、血管画像76は中層血管を示す緑色で、血管画像77は深層血管を示す赤色で表されている。また、酸素飽和度画像74では、血管画像80は低酸素飽和度を示すシアンで、血管画像81は中酸素飽和度を示すマゼンダで、血管画像82は高酸素飽和度を示すイエローで表されている。
図8に対して、図9に示すように、血管深さ画像73及び酸素飽和度画像74の両方を同時に表示するようにしてもよい。なお、図10に示すように、血管深さ画像73及び酸素飽和度画像74を表示せず、広帯域画像72のうち所定の血管画像85を指定し、その指定した血管画像85について血管深さ(D(Depth))及び酸素飽和度(StO(Saturated Oxygen))を文字情報として表示するようにしてもよい。
次に、血管深さ−酸素飽和度情報を算出する手順と、それら情報を反映した血管深さ画像及び酸素飽和度画像を生成する手順を、図11に示すフローチャートを用いて説明する。まず、コンソール23の操作により、通常光画像モードから特殊光画像モードに切り替える。特殊光画像モードに切り替えられると、この切替時点での広帯域画像データが、血管深さ画像または酸素飽和度画像の生成に用いられる画像データとしてフレームメモリ56に記憶される。なお、血管深さ画像等の生成に用いる広帯域画像データは、コンソール操作前のものを使用してもよい。
そして、コントローラー59からシャッター駆動部32に対して照射停止信号が送られると、シャッター駆動部32は、シャッター31を退避位置から挿入位置に移動させ、体腔内への広帯域光BBの照射を停止する。広帯域光BBの照射が停止されると、コントローラー59から光源切替部37に対して照射開始指示が送られる。これにより、光源切替部37は、第1狭帯域光源33をONにし、第1狭帯域光N1を体腔内に照射する。第1狭帯域光N1が体腔内に照射されると、コントローラー59から撮像駆動部46に対して撮像指示が送られる。これにより、第1狭帯域光N1が照射された状態で撮像が行なわれ、撮像により得られた第1狭帯域撮像信号は、AFE45を介して、DSP55に送られる。DSP55では第1狭帯域撮像信号に基づいて第1狭帯域画像データが生成される。生成された第1狭帯域画像データは、フレームメモリ56に記憶される。
第1狭帯域画像データがフレームメモリ56に記憶されたら、光源切替部37は、コントローラー59からの光源切替指示により、体腔内に照射する光を第1狭帯域光N1から第2狭帯域光N2へと切り替える。そして、第1狭帯域光N1の場合と同様に撮像が行なわれ、撮像により得られた第2狭帯域撮像信号に基づいて第2狭帯域画像データが生成される。生成された第2狭帯域画像データは、フレームメモリ56に記憶される。
第2狭帯域画像データがフレームメモリ56に記憶されたら、光源切替部37は、コントローラー59からの光源切替指示により、体腔内に照射する光を第2狭帯域光N2から第3狭帯域光N3へと切り替える。そして、第1及び第2狭帯域光N1,N2の場合と同様に撮像が行なわれ、撮像により得られた第3狭帯域撮像信号に基づいて第3狭帯域画像データが生成される。生成された第3狭帯域画像データは、フレームメモリ56に記憶される。
フレームメモリ56に広帯域画像データ、第1〜第3狭帯域画像データが記憶されたら、輝度比算出部60は、第1狭帯域画像データ、第2狭帯域画像データ、第3狭帯域画像データの3つの画像データから、血管を含む血管領域を特定する。そして、血管領域内の同じ位置の画素について、第1及び第3狭帯域画像データ間の第1輝度比S1/S3と、第2及び第3狭帯域画像データ間の第2輝度比S2/S3が算出される。
次に、血管深さ−酸素飽和度算出部62は、相関関係記憶部61の相関関係に基づいて、第1及び第2輝度比S1/S3,S2/S3に対応する輝度座標系の座標(X,Y)を特定する。さらに、座標(X,Y)に対応する血管情報座標系の座標(U,V)を特定することにより、血管領域内の所定画素についての血管深さ情報U及び酸素飽和度情報Vが求められる。
血管深さ情報U及び酸素飽和度情報Vが求められると、血管深さ情報Uに対応するカラー情報が血管深さ画像生成部のCM63aから特定されるとともに、酸素飽和度情報Vに対応するカラー情報が酸素飽和度画像生成部のCM64aから特定される。特定されたカラー情報は、プロセッサ装置12内のRAM(図示省略)に記憶される。
そして、カラー情報がRAMに記憶されると、血管領域内の全ての画素について、上述した手順で、血管深さ情報U及び酸素飽和度情報Vを求めるとともに、それら血管深さ情報U及び酸素飽和度情報Vに対応するカラー情報を特定する。
そして、血管領域内の全ての画素について血管深さ情報及び酸素飽和度情報とそれら情報に対応するカラー情報が得られると、血管深さ画像生成部63は、フレームメモリ56から広帯域画像データを読み出し、この広帯域画像データに対して、RAMに記憶されたカラー情報を反映させることにより、血管深さ画像データを生成する。また、酸素飽和度画像生成部64は、血管深さ画像と同様にして、酸素飽和度画像データを生成する。生成された血管深さ画像データ及び酸素飽和度画像データは、再度フレームメモリ56に記憶される。
そして、表示制御回路58は、フレームメモリ56から広帯域画像データ、血管深さ画像データ、及び酸素飽和度画像データを読み出し、これら読み出した画像データに基づいて、図8または図9に示すような広帯域画像72、血管深さ画像73、及び酸素飽和度画像74をモニタ14に表示する。図8に示すモニタ14では、通常光画像である広帯域画像72と、血管深さ画像73または酸素飽和度画像の一方が同時に並列表示され、図9に示すモニタ14では、広帯域画像72、血管深さ画像73、及び酸素飽和度画像74の3つの画像が同時に並列表示される。
本発明の第2実施形態は、第1〜第3狭帯域光N1〜N3の照射毎に合計3フレームの撮像信号を得る第1実施形態と異なり、図12に示すように、まず第3狭帯域光N3を体腔内に照射して撮像し、その後に第1狭帯域光N2と第2狭帯域光N2を合成した合成狭帯域光を照射して撮像を行い、それら撮像による合計2フレームの撮像信号から第1〜第3狭帯域画像データを生成する。第1〜第3狭帯域画像データの生成に3フレームの撮像信号が必要となった第1実施形態に対して、第2実施形態では撮像信号のフレーム数を2に減らしている。血管深さ情報及び酸素飽和度情報は、第1〜第3狭帯域画像データ間において、位置が同じ画素の輝度比を利用して求めるので、フレーム数が少ない方が被検者の体動や挿入部の動きによる画素の位置ズレを防止することができる。
第2実施形態における電子内視鏡システムは、第1〜第3狭帯域光源33〜35の切替順序、及びCCD44から出力される撮像信号以外については、第1実施形態の電子内視鏡システム10と同様であるため、図示及び説明を省略する。
第1〜第3狭帯域光源33〜35は、通常光画像モードでOFFにされている。そして、通常光画像モードから特殊光画像モードに設定変更されると、第3狭帯域光源35が光源切替部37によりONに切り替えられ、第3狭帯域光N3が体腔内に照射された状態で被写体組織の撮像が行なわれる。撮像が完了すると、コントローラー59から光源切替の指示がなされ、第3狭帯域光源35がOFFに、第1及び第2狭帯域光源33,34の両方のがONに切り替えられる。そして、第1狭帯域光N1と第2狭帯域光N2とからなる合成狭帯域光が体腔内に照射された状態で撮像が行なわれる。撮像が完了すると、第1及び第2狭帯域光源33,34の両方がOFFに切り替えられる。
第2実施形態では、以下のようにしてCCD44から撮像信号が出力される。まず最初に体腔内に照射される第3狭帯域光N3はB画素のみ透過するため、第3狭帯域光N3に基づく輝度値L3のみを有する撮像信号B1が得られる。第3狭帯域光N3の後に照射する合成狭帯域光の場合には、第1狭帯域光N1がB画素を透過する一方、第2狭帯域光N2はB画素及びG画素の両方を透過する。したがって、第1狭帯域光N1に基づく輝度値L1と第2狭帯域光N2に基づく輝度値L2とからなる撮像信号B2、及び輝度値L2のみ有する撮像信号G2が得られる。よって、CCD44からは、以下のような撮像信号が、プロセッサ装置のDSP55に送られる。
撮像信号B1=輝度値L3
撮像信号B2=輝度値L1+輝度値L2
撮像信号G2=輝度値L2
DSP55では、撮像信号B1、撮像信号B2、及び撮像信号G2に基づいて第1〜第3狭帯域画像データを生成する。撮像信号B1は輝度値L3のみであるため、この撮像信号B1から第3狭帯域画像データが得られる。同様にして、撮像信号G2は輝度値L2のみであるため、この撮像信号G2から第2狭帯域画像データが得られる。一方、第1狭帯域画像データについては、B2−(定数)×G2の演算を行い、撮像信号B2から輝度値L2を分離することにより得られる。なお、(定数)は第1及び2狭帯域光の強度比により定められる。得られた第1〜第3狭帯域画像データはフレームメモリ56に記憶される。
なお、第2実施形態では、図13に示すように、最初に照射する光を第1狭帯域光N1とし、その後に照射する光を、第2狭帯域光N2と第3狭帯域光N3とからなる合成狭帯域光としてもよい。この場合、以下に示すような撮像信号を得ることができる。
撮像信号B1=第1狭帯域光N1に基づく輝度値L1
撮像信号B2=第2狭帯域光N2に基づく輝度値L2+第3狭帯域光N3に基づく輝度値L3
撮像信号G2=第2狭帯域光N2に基づく輝度値L2
この場合、DSP55では、撮像信号B1から第1狭帯域画像データが、撮像信号G2から第2狭帯域画像データは撮像信号G2が生成される。一方、第3狭帯域画像データについては、B2−(定数)×G2の演算を行い、撮像信号B2から輝度値L2を分離することにより得られる。なお、(定数)は第2及び3狭帯域光の強度比により定められる。
本発明の第3実施形態は、第1〜第3狭帯域光N1〜N3の照射の際に広帯域光BBの照射を行わなかった第1及び第2実施形態と異なり、図14に示すように、まず最初に第1狭帯域光N1及び広帯域光BBを同時に照射して撮像を行い、その後に、第2狭帯域光N2、第3狭帯域光N3、及び広帯域光BBの3つの光を同時に照射して撮像を行なう。そして、それら合計2回の撮像で得られる2フレームの撮像信号から第1〜第3狭帯域画像データを生成する。また、第3実施形態では、第1〜第3狭帯域画像データの生成の際に、広帯域画像データをも生成することができる。このため、図8〜図10に示すように、モニタ14に広帯域画像と血管深さ又は酸素飽和度との両方を表示する場合、第1及び第2実施形態に比べて両者の同時性を確保することができる。
第3実施形態の電子内視鏡システムは、第1実施形態のDSP55に代えて図14に示すDSP101を備えていること、シャッター31の駆動操作、第1〜第3狭帯域光源33〜35の切替順序、及びCCD44から出力される撮像信号以外については、第1実施形態の電子内視鏡システム10と同様であるため、説明を省略する。
シャッター31は、第3実施形態では、常時退避位置に位置している。したがって、広帯域電源30は常時ONしているので、電子内視鏡11の使用中、広帯域光BBが常時体腔内に照射される。第1〜第3狭帯域光源33〜35は、通常光画像モード時にはOFFにされている。そして、通常光画像モードから特殊光画像モードに設定変更されると、第1狭帯域光源33が光源切替部37によりONに切り替えられる。そして、第1狭帯域光N1及び広帯域光BBが体腔内に照射された状態で被写体組織の撮像が行なわれる。撮像が完了すると、コントローラー59から光源切替の指示がなされ、第1狭帯域光源33がOFFに、第2及び第3狭帯域光源34,35の両方のONに切り替えられる。そして、第2狭帯域光N2、第3狭帯域光N3、広帯域光BBが体腔内に照射された状態で撮像が行なわれる。撮像が完了すると、第2及び第3狭帯域光源34,35の両方がOFFに切り替えられる。
CCD44は、第3実施形態では、以下のようにして撮像信号を出力する。まず最初にCCDの撮像面44aに入射する光のうち、第1狭帯域光N1はB画素を透過する一方、広帯域光BBはB画素及びG画素の両方を透過する。これにより、第1狭帯域光N1による輝度値L1と広帯域光BBによる輝度値Broad_B1とからなる撮像信号B1と、広帯域光BBによる輝度値Broad_G1のみを有する撮像信号G1とが得られる。
次にCCDの撮像面44aに入射する光のうち、第2狭帯域光N2及び広帯域光BBはB画素及びG画素の両方を透過する一方、第3狭帯域光N3はB画素のみを透過する。したがって、第2狭帯域光N2による輝度値L2、第3狭帯域光N3による輝度値L3、及び広帯域光BBによる輝度値Broad_B2からなる撮像信号B2と、輝度値L2と広帯域光BBによる輝度値Broad_G2とからなる撮像信号G2が得られる。よって、CCD44からは、以下のような撮像信号が、プロセッサ装置のDSP101に送られる。
撮像信号B1=輝度値L1+輝度値Broad_B1
撮像信号G1=輝度値Broad_G1
撮像信号B2=輝度値L2+輝度値L3+輝度値Broad_B2
撮像信号G2=輝度値L2+輝度値Broad_G2
DSP101は、第3実施形態では、輝度値Broad_B1,Broad_G1,Broad_B2,Broad_G2の相関関係を記憶した広帯域輝度値相関関係記憶部101aを備えている。この相関関係は、これまでの診断等で蓄積した多数の画像データの分析の結果、得られたものである。したがって、DSP101は、広帯域輝度値相関関係記憶部101aの相関関係を参照することにより、輝度値Broad_G1と相関関係にある輝度値Broad_B1,Broad_B2,Broad_G2を求める。そして、DSP101は、撮像信号B1,撮像信号B2、及び撮像信号G2から、輝度値Broad_B1,Broad_B2,Broad_G2を分離することにより、以下のような撮像信号を求める。
撮像信号B1=輝度値L1
撮像信号B2=輝度値L2+輝度値L3
撮像信号G2=輝度値L2
DSP101は、撮像信号B1に基づいて第1狭帯域画像データを得るとともに、撮像信号G2に基づいて第2狭帯域画像データを得る。一方、第3狭帯域画像データについては、B2−(定数)×G2の演算を行い、撮像信号B2から輝度値L2を分離することにより得られる。なお、(定数)は第2及び3狭帯域光の強度比により定められる。得られた第1〜第3狭帯域画像データはフレームメモリ56に記憶される。
第3実施形態では、広帯域光BBの輝度値Broad_B1,Broad_G1,Broad_B2,Broad_G2も得られることから、特殊光画像モード時においても、第1狭帯域画像データ(特殊光画像についての画像データ)のみならず、カラー画像データである広帯域光画像データ(通常光画像についての画像データ)も得ることができる。なお、第3実施形態においては、第2実施形態のように(図12及び図13参照)、第1狭帯域光N1と第3狭帯域光N3とを入れ替えてもよい。
本発明の第4実施形態は、第1〜第3狭帯域光N1〜N3を切り替えながら撮像を行なった第1〜3実施形態と異なり、第1〜第3狭帯域光源を設置せずに、広帯域光BBの反射光を音響光学可変フィルタ部で第1〜第3狭帯域光N1〜N3に分光し、分光毎に撮像を行なう。図15に示すように、第4実施形態の電子内視鏡システム110は、電子内視鏡に音響光学可変フィルタ部111を設けること、分光毎に撮像を行なうこと、第1〜第3狭帯域光源33〜35を設けないこと以外については、第1実施形態の電子内視鏡システム10と同様であるため、説明を省略する。
第4実施形態の電子内視鏡110は、電子内視鏡の観察窓50と集光レンズ51との間に設けられた音響光学可変フィルタ部111を備えている。音響光学可変フィルタ部111は、体腔内で反射した広帯域光BBを、第1〜第3狭帯域光N1〜N3に分光する。音響光学可変フィルタ部111では、まず最初に第1狭帯域光N1が分光され、その後に第2狭帯域光N2、第3狭帯域光N3の順序で分光されるが、この順序に限られない。また、音響光学可変フィルタ部111は撮像制御部46に接続されており、分光を行なう毎に分光信号を撮像制御部46に送る。この分光信号に基づいて撮像制御部46はCCD44に撮像信号を送る。したがって、分光毎にCCD44で撮像が行なわれるため、CCD44からは第1実施形態と同様に、第1〜第3狭帯域撮像信号が出力される。
なお、第4実施形態では、カラーのCCD44に代えて、電子内視鏡11の先端部から入射する広帯域光BBのうち第1狭帯域光N1のみを透過させるフィルターが設けられた第1狭帯域用画素、第2狭帯域光N2のみを透過させるフィルターが設けられた第2狭帯域用画素、第3狭帯域光N3のみを透過させるフィルターが設けられた第3狭帯域用画素の3種類の画素が配列されたCCDを使用してもよい。このようなCCDを用いることで、音響光学可変フィルタ部111によらず、広帯域光BBを分光することができる。
本発明の第5実施形態は、広帯域光源を用いて広帯域光BBを照射した第1〜4実施形態と異なり、広帯域光源を設置せずに、ライトガイドの出射端に蛍光部材を設け、この蛍光部材に第1〜第3狭帯域光N1〜N3を照射することによって広帯域光BBを発生させる。図16に示すように、第5実施形態の電子内視鏡システム120は、電子内視鏡のライトガイド43の出射端に蛍光部材121を設けること、広帯域光源30を設けないこと以外については、第1実施形態の電子内視鏡システム10と同様であるため、説明を省略する。
蛍光部材121は、第1〜第3狭帯域光N1〜N3の一部を、波長が約470〜700nmわたる広帯域光BBに変換する一方、それ以外の第1〜第3狭帯域光N1〜N3をそのまま透過させる。第5実施形態では、以下の手順で第1〜第3狭帯域光N1〜N3を照射することにより、第3実施形態と同様の撮像信号を得る。
まず第1狭帯域光源33をONにすることにより、第1狭帯域光N1が蛍光部材121で変換された広帯域光BBと、蛍光部材121をそのまま透過した第1狭帯域光N1とが体腔内に照射される。そして、このような照射状態での撮像が完了すると、第1狭帯域光源33をOFFにし、第2狭帯域光源34及び第3狭帯域光源35の両方をONにする。これにより、第2及び第3狭帯域光N2,N3が蛍光部材121で変換された広帯域光BBと、蛍光部材121をそのまま透過した第2及び第3狭帯域光N2,N3とが体腔内に照射される。そして、これら光が照射された状態で撮像が行なわれる。以上の撮像で得られた2フレームの撮像信号は、第3実施形態と同様の手順で、第1〜第3狭帯域画像データに変換される。
なお、上記第1〜5実施形態では、第1〜第3狭帯域光源を用いて血管深さ及び酸素飽和度を求めたが、さらに波長が532nm近傍(例えば530±10nm)に制限された第4狭帯域光N4を発生する第4狭帯域光源を追加し、第1〜第4狭帯域光N1〜N4の照射によって第1〜第4狭帯域画像データを生成し、これら画像データに基づいて血管深さ及び酸素飽和度を求めてもよい。なお、光は波長が長くなるほど被写体組織の深い層に到達する性質を有するため、第2狭帯域光N2よりも波長が長い第4狭帯域光N4を用いることで、更に深い位置にある血管に関する情報を得ることができる。
この場合、輝度比算出部60は、第1〜第4狭帯域画像データから血管領域を特定する。そして、第1実施形態と同様に、第1及び第2輝度比S1/S3,S2/S3を求めるとともに、第1及び第4狭帯域画像データ間の第3輝度比S4/S3を求める。ここで、S4は、第4狭帯域画像データの画素の輝度値を表している。そして、血管深さ−酸素飽和度算出部62は、予め実験等により得られた第1〜第3輝度比S1/S3,S2/S3,S4/S3と血管深さ及び酸素飽和度との相関関係に基づき、第1実施形態と同様の手順で、輝度比算出部60で算出した第1〜第3輝度比に対応する血管深さ情報及び酸素飽和度情報を求める。
また、第1〜第4狭帯域光N1〜N4の照射毎に撮像を行なうのではなく、第2及び第3実施形態のように、第1〜第4狭帯域光N1〜N4のいずれかを合成した光を照射して撮像することにより、撮像信号のフレーム数を減らしてもよい。例えば、まず、最初に第1狭帯域光N1と第4狭帯域光N4とを同時に体腔内に照射して撮像する。その後に、第2狭帯域光N2と第3狭帯域光N3とを同時に体腔内に照射して撮像をする。これにより、合計2フレームの撮像信号が得られる。
最初の撮像で得られる撮像信号は、以下に示すような輝度値を有する撮像信号B1と撮像信号G1である。また、次の撮像により得られる撮像信号は、以下のような輝度値を有する撮像信号B2と撮像信号G2である。
撮像信号B1=第1狭帯域光N1による輝度値L1+第4狭帯域光N4による輝度値L4
撮像信号G1=第4狭帯域光N4による輝度値L4
撮像信号B2=第2狭帯域光N2による輝度値L2+第3狭帯域光N3による輝度値L3
撮像信号G2=第2狭帯域光N2による輝度値L2
ここで、輝度値L2のみ有する撮像信号G2から第2狭帯域画像データが、輝度値L4のみ有する撮像信号G1から第4狭帯域画像データが生成される。また、B1−(定数)×G1の演算により、撮像信号B1から輝度値L4を分離することで、第1狭帯域画像データが生成される。ここで、「定数」は第1狭帯域光N1と第4狭帯域光N4の強度比から決められる。さらに、B2−(定数)×G2の演算により、撮像信号B2から輝度値L3を分離することで、第2狭帯域画像データが生成される。ここで、「定数」は第2狭帯域光N2と第3狭帯域光N3の強度比から決められる。
なお、第1〜第3実施形態では、第1〜第3狭帯域光N1〜N3の発生に第1〜第3狭帯域光源を用いたが、第1〜第3狭帯域光源を設置せず、図17に示すような電子内視鏡システム125において、広帯域光源30に加えて、広帯域光源30からの広帯域光BBのうち通常光画像モードおよび特殊光画像モードで使用する光を透過させるフィルタを備えたロータリーフィルター130を用いて、広帯域光BBおよび第1〜第3狭帯域光N1〜N3の照射を行なってもよい。ロータリーフィルター130は、広帯域光源30と集光レンズ39との間に設けられており、回転軸130aを中心として一定速度で回転する。また、ロータリーフィルター130は、回転軸130aに取り付けられたフィルタ切替部131によって、その径方向に2段階で移動自在となっている。
図18に示すように、ロータリーフィルター130には、広帯域光源30からの広帯域光BBのうち通常光画像モード時に使用する光を透過させる第1エリア132と、広帯域光BBのうち血管情報取得処理時に使用する光を透過させる第2エリア133とが設けられている。したがって、モードや処理を切り替える際には、フィルタ切替部131でロータリーフィルター130を径方向に移動させ、切り替えようとするモードに対応するエリアが広帯域光BBの光路上に位置するようにする。
第1エリア132には、広帯域光BBをそのまま透過させる広帯域光透過フィルタ135が設けられている。第2エリア133には、広帯域光透過フィルタ135と、広帯域光BBのうち、第1狭帯域光N1のみを透過させる第1狭帯域光透過フィルタ136と、第2狭帯域光のみを透過させる第2狭帯域光透過フィルタ137と、第3狭帯域光N3のみを透過させる第3狭帯域光透過フィルタ138とが、この順序で周方向に沿って設けられている。
上記第1〜第5実施形態では、広帯域光画像を生成する際には、広帯域光BBをそのまま体腔内に照射し、体腔内で反射した広帯域光BBをカラーCCDで撮像することで得られた広帯域撮像信号に基づいて、広帯域光画像を生成している(同時方式)が、RGBの3色の光を時分割して体腔内に照射し、体腔内で反射した各色の光をモノクロCCDで撮像することによって得られる3色の撮像信号に基づいて広帯域光画像を生成してもよい(面順次方式)。
この面順次方式で撮像する際には、図17に示す電子内視鏡システム125において、図18に示すようなロータリーフィルター130の代わりに、図19に示すようなロータリーフィルター150が用いる。ロータリーフィルター150は、BGRの3色のカラーフィルター151、152、153が周方向に沿って連続的に設けられた通常光画像モード用の第1エリア170と、第1エリア170と同様に、BGRの3色のカラーフィルター151、152、153が周方向に沿って連続的に設けられるとともに、このカラーフィルタ153に続いて、第1〜第3狭帯域光透過フィルタ154〜156が連続的に設けられた特殊光画像モード用の第2エリア171とを備えている。
通常光画像モード時には、フィルタ切替部131によって、ロータリーフィルター150の通常光画像モード用の第1エリア170が広帯域光源30の光路上にセットされる。そして、B色のカラーフィルター151、G色のカラーフィルター152、R色のカラーフィルター153が広帯域光BBの光路上に順に位置するように、ロータリーフィルター150を回転させる。このロータリーフィルター150の回転により、体腔内には青色、緑色、赤色の光が順に照射される。
そして、各色の光が照射される毎にモノクロのCCDで撮像を行なうことによって、青色撮像信号、緑色撮像信号、赤色撮像信号の3色の撮像信号が得られる。これら3色の撮像信号から、広帯域光画像が生成される。なお、面順次方式で得られる青色撮像信号、緑色撮像信号、赤色撮像信号は、光の照射毎に撮像を行なうため、信号間で時間差が発生している。そのため、体腔内に照射する光の色を切り替えているときに、被検者の体動や内視鏡の挿入部の動きなどがあると、生成された広帯域光画像に位置ズレが生じることがある。これに対して、同時方式によって得られる広帯域画像は、カラーCCDで同時に取得した青色撮像信号、緑色撮像信号、赤色撮像信号に基づいて生成されているため、位置ズレなどが生じることがない。
さらに、特殊光画像モード時においては、フィルタ切替部131によって、ロータリーフィルター150の特殊光画像モード用の第2エリア171が広帯域光源30の光路上にセットされる。そして、B色のカラーフィルター151、G色のカラーフィルター152、R色のカラーフィルター153、第1狭帯域光透過フィルタ154、第2狭帯域光透過フィルタ155、及び第3狭帯域光透過フィルタ156が広帯域光BBの光路上に順に位置するように、ロータリーフィルター150を回転させる。このロータリーフィルター150の回転により、体腔内には青色、緑色、赤色の光が順に照射されるとともに、赤色の光の照射の後に、第1狭帯域光N1、第2狭帯域光N2、第3狭帯域光N3が順に照射される。
そして、各光が照射される毎にモノクロのCCDで撮像を行なうことによって、青色撮像信号、緑色撮像信号、赤色撮像信号の3色の撮像信号が得られるとともに、第1〜第3狭帯域撮像信号が得られる。通常光画像モードと同様に、得られた3色の撮像信号から、広帯域光画像が生成される。
なお、面順次方式では、図19に示すロータリーフィルター150の代わりに、図20に示すロータリーフィルター158を用いてもよい。このロータリーフィルター158において、通常光画像モード用の第1エリア180はロータリーフィルター150の第1エリア170と同様であるが、特殊光画像モード用の第2エリア181についてはロータリーフィルター150の第2エリア171とフィルタ配列が異なる。
ロータリーフィルター158の第2エリア181においては、B色のカラーフィルター151とG色のカラーフィルター152との間に第1狭帯域光透過フィルタ154が、G色のカラーフィルター152とR色のカラーフィルター153との間に第2狭帯域光透過フィルタ155が、R色のカラーフィルター153とB色のカラーフィルター151との間に第3狭帯域光透過フィルタ156が設けられている。したがって、広帯域光源30の光路がロータリーフィルター158の第2エリア181上にセットされている状態で、ロータリーフィルター158が回転することで、B色の光→第1狭帯域光N1→G色の光→第2狭帯域光N2→R色の光→第3狭帯域光N3が、この順で体腔内に照射される。
図21は、特殊光画像モード時は、図19に示すロータリーフィルター150を用いた場合の撮像信号の読み出順序と、図20に示すロータリーフィルター158を用いた場合の撮像信号の読み出し順序を示している。図21(A)に示すように、図19に示すロータリーフィルター150を回転させることによって、B色光、G色光、R色光、第1狭帯域光N1、第2狭帯域光N2、第3狭帯域光N3が、この順で1フレーム期間毎に照射される。そして、各光の照射毎に、青色撮像信号、緑色撮像信号、赤色撮像信号、第1狭帯域撮像信号、第2狭帯域撮像信号、第3狭帯域撮像信号が、この順で読み出される。
一方、図21(B)に示すように、図20に示すロータリーフィルター158を回転させることによって、B色光、第1狭帯域光N1、G色光、第2狭帯域光N2、R色光、第3狭帯域光N3が、この順で1フレーム期間毎に照射される。そして、各光の照射毎に、青色撮像信号、第1狭帯域撮像信号、緑色撮像信号、第2狭帯域撮像信号、赤色撮像信号、第3狭帯域撮像信号が、この順で順次読み出される。
このように、ロータリーフィルター150を用いた場合とロータリーフィルター158を用いた場合とでは、撮像信号の読み出し順序に相違がある。この相違を鑑みると、ロータリーフィルター158を用いて各光の照射を行い、撮像信号の読み出しを行なったほうが、信号の読み出しレートを十分に確保にすることができる。
また、上記実施形態に示すような、B画素、G画素、R画素からなる原色系カラーCCDに代えて、C(シアン)画素、M(マゼンダ)画素、Y(イエロー)画素からなる補色系カラーCCDで撮像することによって、広帯域光画像を生成してもよい。この補色系カラーCCDには、図22に示すように、C画素に分光透過率160を有するC色のカラーフィルターが、M画素に分光透過率161を有するM色のカラーフィルターが、Y画素に分光透過率162を有するカラーフィルターが設けられている。なお、補色系カラーCCDの画素には、C画素、M画素、Y画素の他に、図3に示す分光透過率53を有するG色のカラーフィルターが設けられたG画素を加えてもよい。
なお、本発明では、血管深さと酸素飽和度の同時取得の際に用いる狭帯域信号は、最低限2つ必要であり、且つ、その2つの狭帯域信号のうちの少なくとも一方が、中心波長450nm以下の狭帯域光に対応する狭帯域信号であればよい。また、上記実施形態では、撮像手段としてカラーCCDを使用しているが、特殊光画像モード時において、第2及び第3実施形態のようなフレーム数を減らす処理を行なわない場合には、モノクロのCCDを使用してもよい。例えば、第1実施形態のように、第1〜第3狭帯域光N1〜N3を1フレームごとに順に照射して撮像する場合には、モノクロのCCDであってもよい。
なお、本発明は、挿入部等を有する挿入型の電子内視鏡の他、CCDなどの撮像素子等をカプセルに内蔵させたカプセル型の電子内視鏡に対しても適用することができる。
[付記]以上詳述したような本発明の実施形態によれば、以下のような構成を得ることができる。
[付記1]
450nm以下の波長領域を含む照明光を、体腔内の血管を含む被写体組織に照射する照射手段と、前記被写体組織を撮像して、前記照明光が被写体組織で反射した反射光の輝度を表す撮像信号を出力する撮像素子を有する電子内視鏡と、前記撮像信号に含まれる第1および2の狭帯域信号であって、互いに異なる波長領域を持ち、少なくとも一方の中心波長が450nm以下である第1および第2の狭帯域光に対応する第1および第2の狭帯域信号を取得する第1狭帯域信号取得手段と、前記第1および第2の狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求める血管情報取得手段とを備えていることを特徴とする電子内視鏡システム。
[付記2]
前記第1及び第2狭帯域光は、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでいることを特徴とする付記1に記載の電子内視鏡システム。
[付記3]
前記撮像素子は白黒の撮像素子であり、前記照射手段は、R色、G色、B色の3色の光を時分割して照射するとともに、第1及び第2の狭帯域光を時分割して照射することが可能であり、R色、G色、B色の3色の光を時分割して照射して得られた撮像信号に基づいて通常光画像を生成する面順次式通常光画像生成手段を有していることを特徴とする付記1または2記載の電子内視鏡システム。
[付記4]
前記撮像素子は、R色、G色、B色の3色のカラーフイルタが設けられたR画素、G画素、B画素の3色の画素を有しており、前記照射手段は、R、G、Bの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることを特徴とする付記1または2記載の電子内視鏡システム。
[付記5]
前記撮像素子は、C色、M色、Y色の3色のカラーフイルタが設けられたC画素、M画素、Y画素の3色の画素を有しており、前記照射手段は、C、M、Yの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることを特徴とする付記1または2記載の電子内視鏡システム。
10,110,120 電子内視鏡システム
14 モニタ
30 広帯域光源
33〜35 第1〜第3狭帯域光源
44 CCD
55,101 DSP
58 表示制御回路
60 輝度比算出部
61 相関関係記憶部
63 血管深さ画像生成部
64 酸素飽和度画像生成部
73 血管深さ画像
74 酸素飽和度画像
101a 広帯域輝度値相関関係記憶部
111 音響光学可変フィルタ部

Claims (22)

  1. 450nm以下の波長領域を含む照明光を、体腔内の血管を含む被写体組織に照射する照射手段と、
    前記被写体組織を撮像して、前記照明光が被写体組織で反射した反射光の輝度を表す撮像信号を出力する撮像素子を有する電子内視鏡と、
    前記撮像信号に含まれる第1〜第3狭帯域信号であって、互いに異なる波長領域を持ち、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得する第1狭帯域信号取得手段と、
    前記第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求める血管情報取得手段とを備えていることを特徴とする電子内視鏡システム。
  2. 前記第1及び第2狭帯域光は、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでおり、前記第3狭帯域光は、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じない波長を含んでいることを特徴とする請求項1に記載の電子内視鏡システム。
  3. 前記第1〜第3狭帯域信号間において、第1及び第3狭帯域信号間の第1輝度比と、第2及び第3狭帯域信号間の第2輝度比とを算出する輝度比算出手段と、
    第1及び第2輝度比と血管深さ及び酸素飽和度との相関関係を予め記憶する第1記憶手段を備え、
    前記血管情報取得手段は、前記第1記憶手段の相関関係に基づいて、前記輝度比算出手段で算出された第1及び第2輝度比に対応する血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を求めることを特徴とする請求項1または2に記載の電子内視鏡システム。
  4. 前記第1記憶手段は、
    第1及び第2輝度比を示す輝度座標系の座標と、血管深さ及び酸素飽和度を示す血管情報座標系の座標との対応付けにより相関関係を記憶し、
    前記血管情報取得手段は、
    前記輝度座標系において、前記輝度比算出手段で算出された第1及び第2輝度比に対応する第1座標を特定し、
    前記血管情報座標系において、前記第1座標に対応する第2座標を特定し、
    前記第2座標のうち、血管深さを示す座標の値を血管深さ情報とし、酸素飽和度を示す座標の値を酸素飽和度情報とすることを特徴とする請求項3記載の電子内視鏡システム。
  5. 前記第1狭帯域光の波長領域は440±10nmであり、前記第2狭帯域光の波長領域は470±10nmであり、前記第3狭帯域光の波長領域は400±10nmであることを特徴とする請求項1ないし4いずれか1項記載の電子内視鏡システム。
  6. 前記撮像素子は白黒の撮像素子であり、
    前記照射手段は、R色、G色、B色の3色の光を時分割して照射するとともに、第1、第2、及び第3狭帯域光を時分割して照射することが可能であり、
    R色、G色、B色の3色の光を時分割して照射して得られた撮像信号に基づいて通常光画像を生成する面順次式通常光画像生成手段を有することを特徴とする請求項1ないし5いずれか1項記載の電子内視鏡システム。
  7. 前記撮像素子は、R色、G色、B色の3色のカラーフイルタが設けられたR画素、G画素、B画素の3色の画素を有しており、
    前記照射手段は、R、G、Bの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、
    前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることを特徴とする請求項1ないし5いずれか1項記載の電子内視鏡システム。
  8. 前記第1〜第3狭帯域光のうち、2つの狭帯域光は、B画素及びG画素のいずれかにのみ感応する波長領域を有しており、残りの1つの狭帯域光は、B画素及びG画素の両方が感応する波長領域を有していることを特徴とする請求項7記載の電子内視鏡システム。
  9. 前記撮像素子は、C色、M色、Y色の3色のカラーフイルタが設けられたC画素、M画素、Y画素の3色の画素を有しており、
    前記照射手段は、C、M、Yの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、
    前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることを特徴とする請求項1ないし5いずれか1項記載の電子内視鏡システム。
  10. 前記照射手段は、前記第1〜第3狭帯域光の照射が可能であり、
    前記第1狭帯域信号取得手段は、第1〜第3狭帯域光のそれぞれを単独で照射して得られた3フレームの撮像信号から、第1〜第3狭帯域信号を取得することを特徴とする請求項1ないし5のいずれか1項記載の電子内視鏡システム。
  11. 前記照射手段は、前記第1〜第3狭帯域光の照射が可能であり、
    前記第1狭帯域信号取得手段は、第1〜第3狭帯域光のうち、B画素及びG画像のいずれかにのみ感応する波長領域を持つ1つの狭帯域光の照射によって得られた1フレームの撮像信号と、残りの2つの狭帯域光を同時に照射して得られた1フレームの撮像信号の合計2フレームの撮像信号から、第1〜第3狭帯域信号を取得することを特徴とする請求項7または8記載の電子内視鏡システム。
  12. 広帯域光の照射により得た1フレームの撮像信号に含まれるB画素とG画素の輝度値の相関関係を予め記憶する第2記憶手段を備えており、
    前記照射手段は、青色領域から赤色領域までの波長領域を含む白色の広帯域光と、第1〜第3狭帯域光のうちの少なくとも1つを、同時に照射することが可能であり、
    前記第1狭帯域信号取得手段は、第1〜第3狭帯域光のうち、B画素及びG画像のいずれかにのみ感応する波長領域を持つ1つの狭帯域光と広帯域光とを同時に照射して得られた1フレームの撮像信号と、残りの2つの狭帯域光と広帯域光とを同時に照射して得られた1フレームの撮像信号の合計2フレームの撮像信号から、前記第2記憶手段の相関関係を用いて、前記広帯域光によるB画素とG画素のそれぞれの輝度値を分離して、第1〜第3狭帯域信号を取得することを特徴とする請求項7または8記載の電子内視鏡システム。
  13. 前記照射手段は、第1〜第3狭帯域光のすべての波長領域と、青色領域から赤色領域までの波長領域とを含む白色の広帯域光を照射することが可能であり、
    前記被写体組織で反射した広帯域光に含まれる第1〜第3狭帯域光を選択的に透過させ、第1〜第3狭帯域光のうち透過した光を前記撮像素子に入射させる光学フイルタを有しており、
    前記第1狭帯域信号取得手段は、前記撮像素子が順次出力する、第1〜第3狭帯域光に対応する撮像信号を第1〜第3狭帯域信号として取得することを特徴とする請求項1ないし5いずれか1項記載の電子内視鏡システム。
  14. 前記第1〜第3狭帯域光とは異なる波長領域を持つ第4狭帯域光に対応する第4狭帯域信号を取得する第2狭帯域信号取得手段を備え、
    前記血管情報取得手段は、前記第1〜第4狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求めることを特徴とする請求項1または2に記載の電子内視鏡システム。
  15. 前記撮像素子は白黒の撮像素子であり、
    前記照射手段は、R色、G色、B色の3色の光を時分割して照射するとともに、第1、第2、第3、及び第4狭帯域光を時分割して照射することが可能であり、
    R色、G色、B色の3色の光を時分割して照射して得られた撮像信号に基づいて通常光画像を生成する面順次式通常光画像生成手段を有することを特徴とする請求項14記載の電子内視鏡システム。
  16. 前記撮像素子は、R色、G色、B色の3色のカラーフイルタが設けられたR画素、G画素、B画素の3色の画素を有しており、
    前記照射手段は、R、G、Bの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、
    前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることを特徴とする請求項14記載の電子内視鏡システム。
  17. 前記撮像素子は、C色、M色、Y色の3色のカラーフイルタが設けられたC画素、M画素、Y画素の3色の画素を有しており、
    前記照射手段は、C、M、Yの各画素が感応する、青色領域から赤色領域までの波長領域を含む白色の広帯域光の照射が可能であり、
    前記広帯域光を照射して得られた撮像信号に基づいて通常光画像を生成する同時式通常光画像生成手段を有していることを特徴とする請求項14記載の電子内視鏡システム。
  18. 前記血管深さ情報と前記酸素飽和度情報を選択的に又は同時に表示する表示手段を有することを特徴とする請求項1〜17のいずれか1項記載の電子内視鏡システム。
  19. 450nm以下の波長領域を含む照明光を照射して、体腔内の血管を含む被写体組織を電子内視鏡の撮像素子で撮像することにより得られる撮像信号であり、前記照明光が反射した反射光の輝度を表す撮像信号を前記電子内視鏡から受信する受信手段と、
    前記撮像信号に含まれる第1〜第3狭帯域信号であり、互いに異なる波長領域を持ち、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得する狭帯域信号取得手段と、
    前記第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求める血管情報取得手段とを備えていることを特徴とする電子内視鏡用のプロセッサ装置。
  20. 前記第1及び第2狭帯域光は、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでおり、前記第3狭帯域光は、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じない波長を含んでいることを特徴とする請求項19に記載の電子内視鏡用のプロセッサ装置。
  21. 照明光発生手段が、450nm以下の波長領域を含む照明光を発するステップと、
    撮像素子が、体腔内の血管を含む被写体組織を撮像することにより、前記照明光が被写体組織で反射した反射光の輝度を表す撮像信号を得るステップと、
    第1狭帯域信号取得手段が、前記撮像信号に含まれる第1〜第3狭帯域信号であり、互いに異なる波長領域を持ち、少なくともいずれかの中心波長が450nm以下である第1〜第3狭帯域光に対応する第1〜第3狭帯域信号を取得するステップと、
    血管情報取得手段が、前記第1〜第3狭帯域信号に基づいて、血管深さに関する血管深さ情報及び酸素飽和度に関する酸素飽和度情報の両方を含む血管情報を求めるステップとを備えていることを特徴とする電子内視鏡システムの作動方法。
  22. 前記第1及び第2狭帯域光は、酸素と結合した酸化ヘモグロビンと結合していない還元ヘモグロビンに対して異なる吸光度を示し、且つ、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じるような波長を含んでおり、前記第3狭帯域光は、酸素飽和度によって各ヘモグロビンのそれぞれに対する吸光度に差が生じない波長を含んでいることを特徴とする請求項21に記載の電子内視鏡システムの作動方法。
JP2010132964A 2009-09-30 2010-06-10 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 Active JP5431252B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010132964A JP5431252B2 (ja) 2009-09-30 2010-06-10 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009227549 2009-09-30
JP2009227549 2009-09-30
JP2010132964A JP5431252B2 (ja) 2009-09-30 2010-06-10 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2011092690A JP2011092690A (ja) 2011-05-12
JP5431252B2 true JP5431252B2 (ja) 2014-03-05

Family

ID=44110297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010132964A Active JP5431252B2 (ja) 2009-09-30 2010-06-10 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Country Status (1)

Country Link
JP (1) JP5431252B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5611891B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5611892B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5419930B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
JP5419931B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 内視鏡システム、光源装置、及び内視鏡システムの作動方法
JP5623348B2 (ja) * 2011-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5426620B2 (ja) 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5579672B2 (ja) * 2011-08-15 2014-08-27 富士フイルム株式会社 内視鏡システム、及び光源装置
JP5872916B2 (ja) * 2012-01-25 2016-03-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5774531B2 (ja) * 2012-03-28 2015-09-09 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム
JP5729881B2 (ja) * 2012-09-05 2015-06-03 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の画像処理方法
JP5899172B2 (ja) 2013-01-10 2016-04-06 富士フイルム株式会社 内視鏡装置
CN104918534B (zh) * 2013-03-19 2017-03-15 奥林巴斯株式会社 内窥镜系统
JP5654167B1 (ja) * 2013-07-03 2015-01-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5766773B2 (ja) * 2013-11-27 2015-08-19 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5981056B2 (ja) 2014-07-09 2016-08-31 オリンパス株式会社 内視鏡装置
JP6214503B2 (ja) * 2014-09-12 2017-10-18 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム
WO2016147436A1 (ja) * 2015-03-17 2016-09-22 オリンパス株式会社 生体観察システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2648494B2 (ja) * 1988-05-02 1997-08-27 オリンパス光学工業株式会社 内視鏡装置
JP3050569B2 (ja) * 1990-05-10 2000-06-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
JP3583731B2 (ja) * 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
JP2009168597A (ja) * 2008-01-16 2009-07-30 Hoya Corp 分光装置、電子内視鏡、および電子内視鏡システム

Also Published As

Publication number Publication date
JP2011092690A (ja) 2011-05-12

Similar Documents

Publication Publication Date Title
JP5431252B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5457247B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5389742B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5405373B2 (ja) 電子内視鏡システム
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5393554B2 (ja) 電子内視鏡システム
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
EP2926718B1 (en) Endoscope system
JP5385188B2 (ja) 電子内視鏡システム
JP5501210B2 (ja) 画像処理装置
US20140100427A1 (en) Endoscope system, processor device thereof, and image display method
US9629527B2 (en) Endoscope system, processor device of endoscope system, and image processing method
JP2010136748A (ja) 内視鏡装置およびその制御方法
JP2010005095A (ja) 内視鏡装置における距離情報取得方法および内視鏡装置
JP5774531B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム
JP2013013559A (ja) 電子内視鏡システム、光源装置、及び電子内視鏡システムの制御方法
JP5334952B2 (ja) 画像処理装置
JP6247610B2 (ja) 内視鏡システム、内視鏡システムの作動方法、光源装置、光源装置の作動方法
JP6254502B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5371702B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP2018110925A (ja) 内視鏡システム、及び、内視鏡システムの作動方法
WO2016203983A1 (ja) 内視鏡装置
JP2018192043A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5431252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250