JP6184571B2 - 蛍光観察内視鏡システム - Google Patents

蛍光観察内視鏡システム Download PDF

Info

Publication number
JP6184571B2
JP6184571B2 JP2016174076A JP2016174076A JP6184571B2 JP 6184571 B2 JP6184571 B2 JP 6184571B2 JP 2016174076 A JP2016174076 A JP 2016174076A JP 2016174076 A JP2016174076 A JP 2016174076A JP 6184571 B2 JP6184571 B2 JP 6184571B2
Authority
JP
Japan
Prior art keywords
light
wavelength band
fluorescence
wavelength
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016174076A
Other languages
English (en)
Other versions
JP2016198634A (ja
Inventor
佑一 竹内
佑一 竹内
俊明 渡邉
俊明 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JP2016198634A publication Critical patent/JP2016198634A/ja
Application granted granted Critical
Publication of JP6184571B2 publication Critical patent/JP6184571B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は蛍光観察を行う蛍光観察内視鏡システムに関する。
近年、内視鏡は、医療分野等において広く用いられるようになっている。また、通常光としての可視の波長帯域の光で観察する通常光観察(通常観察)の場合の他に、検査対象となり生体部位に薬剤を投与し、発生する蛍光を受光して蛍光観察を行う場合もある。
例えば、特開2011−167337号公報(特許文献1)の従来例は、青色光、緑〜黄色の可視光、近赤外光(ICG励起光)とを同時に照射する光源装置と、各色の光の反射光、励起光により発生する蛍光をそれぞれ受光する複数の撮像素子を備えた撮像ユニット、及び撮像ユニットによる信号から表示画像を生成する信号処理装置を開示している。
上記特許文献1に示す従来例は、該公報中の図13に示すように通常光画像(通常画像)と、1つのICG蛍光画像とをそれぞれ表示する内容と、通常光画像と、2つの異なる蛍光画像の差分演算の画像との画像合成した合成画像とを表示する内容とを開示している。
特開2011−167337号公報
しかしながら、上記従来例は、通常光画像と蛍光画像の差分演算の合成画像を表示する場合の表示画像におけるカラー表示の詳細を、開示していない。蛍光画像を表示する場合、蛍光画像のみでは臓器や生体組織の輪郭及び色調が分かりにくいために、処置具を用いて処置を行う場合には、臓器や生体組織の輪郭と色調の違いを反映して表示することができるようにすることが望まれる。
例えば、輪郭のみでは、色調が異なる脂肪に富む組織と、膜状組織を区別し難くなるために、色調の違いを反映して表示できるようにすることが望まれる。上記の従来例では、通常光画像と蛍光画像の差分演算と合成画像を生成するが、どのようにカラー表示するからの内容を全く開示していないために、臓器や生体組織の輪郭と色調の違いを反映して表示する要請を満たすとは言えない。
本発明は上述した点に鑑みてなされたもので、蛍光画像と、生体組織の輪郭及び色調の違いを反映した画像を生成することができる蛍光観察内視鏡システムを提供することを目的とする。
本発明の一態様の蛍光観察内視鏡システムは、生体に投与した薬剤に照射することで蛍光を発光させる第1の波長帯域の光と、可視光であって前記第1の波長帯域の光よりも短い波長の波長帯域の第2の波長帯域の光と、可視光であって前記第1及び第2の波長帯域の光よりも短い波長の波長帯域の第3の波長帯域の光と、を同時に出射可能な1つの発光体を有し、通常光観察モードのときに前記第2の波長帯域の光と前記第3の波長帯域の光とを透過する第1のフィルタを介して前記第2の波長帯域の光と前記第3の波長帯域の光とを同時に出射し、蛍光観察モードのときに前記第1の波長帯域の光と前記第3の波長帯域の光とを透過する第2のフィルタを介して前記第1の波長帯域の光と前記第3の波長帯域の光とを同時に出射する光源装置と、前記第1の波長帯域の光と前記第2の波長帯域の光と前記第3の波長帯域の光とを導光可能であって、導光した光を前記生体に照射するライトガイドと、前記蛍光と、前記第2及び第3の波長帯域の光の反射光とを同時に受光する撮像素子を有するよう構成された撮像部と、前記撮像部が取得した前記蛍光の撮像信号と、前記第2及び第3の波長帯域の光の反射光から取得した第2及び第3の撮像信号とから、それぞれ異なる色で表示するカラー表示画像を生成する画像処理を行う信号処理装置と、を備える。
図1は本発明の第1の実施形態の蛍光観察内視鏡システムの全体構成を示す図。 図2は図1における内視鏡及びビデオプロセッサ等の内部構成を示した状態の蛍光観察内視鏡システムを示す図。 図3Aは光源装置が蛍光観察モードの場合に出射する照明光の波長帯域を示す図。 図3Bは光源装置が通常光観察モードの場合に出射する照明光の波長帯域を示す図。 図4は撮像部に設けた受光用フィルタの透過特性と励起光カットフィルタが遮光する波長帯域の範囲を示す図。 図5は本発明の第1の実施形態の代表的な動作内容を示すフローチャート。 図6は第1の実施形態の第1変形例の蛍光観察内視鏡システムの全体構成を示す図。 図7は第1変形例において光源装置が蛍光観察モード等の場合に出射する照明光の波長帯域を示す図。 図8は第1変形例において撮像部に設けた受光用フィルタの透過特性と励起光カットフィルタが遮光する波長帯域の範囲を示す図。 図9は第1の実施形態の第2変形例の蛍光観察内視鏡システムの全体構成を示す図。 図10は第2変形例において蛍光観察モード等の場合に光源装置が出射する照明光の波長帯域を示す図。 図11は第2変形例における撮像部の受光用フィルタの透過特性を示す図。 図12Aは第1の実施形態の第3変形例の蛍光観察内視鏡システムの全体構成を示す図。 図12Bは第1の実施形態の第4変形例における光源装置を示す図。 図13は本発明の第2の実施形態の蛍光観察内視鏡システムの全体構成を示す図。 図14は撮像部に設けたダイクロイックプリズムの透過特性を示す図。 図15は本発明の第2の実施形態の第1変形例の蛍光観察内視鏡システムの全体構成を示す図。 図16Aは第1変形例における撮像部に設けたダイクロイックプリズムの透過特性と共に、励起光カットフィルタが遮光する波長帯域の範囲を示す図。 図16Bは第1変形例における光源装置に設けた励起フィルタの透過特性を示す図。 図17は複数種類の自家蛍光物質と、対応する励起波長及び蛍光波長との関係を表形式で示す図。 図18は本発明の第2の実施形態の第2変形例の蛍光観察内視鏡システムの全体構成を示す図。 図19Aは撮像部に設けたダイクロイックプリズムの透過特性と励起光カットフィルタが遮光する波長帯域の範囲を示す図。 図19Bは蛍光観察モードの場合に励起フィルタを経て光源装置が出射する照明光の波長帯域を示す図。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の蛍光観察内視鏡システム1は、腹部10などの被検体に挿入され、被検体内における生体組織等の被写体の像を撮像して撮像信号として出力する内視鏡2と、内視鏡2に対し、該被写体を照明するための照明光を出射する光源装置3と、内視鏡2に内蔵された撮像部(又は撮像装置)を駆動すると共に、内視鏡2から出力された撮像信号に対して信号処理を行い、画像信号(映像信号)として出力する信号処理装置としてのビデオプロセッサ4と、ビデオプロセッサ4から出力される画像信号に基づき、該被写体の像の画像を表示する、カラー表示装置としてのカラーモニタ5とを備える。
図1に示す内視鏡2は、細長の挿入部6を有する光学内視鏡2Aと、この光学内視鏡2Aの接眼部7に装着され、撮像素子を内蔵したテレビカメラ2Bとから構成される。なお、図1に示す光学内視鏡2Aにテレビカメラ2Bを装着した内視鏡2に限らず、挿入部の先端に撮像素子を配置した電子内視鏡でも良い。
内視鏡2は、例えば患者の腹部10内に挿入される細長の挿入部6と、挿入部6の後端(基端)に設けられた把持部8と、把持部8の後端に設けられた接眼部7とを有する。
図2に示すように、挿入部6の内部には、光源装置3から出射された照明光を伝送するための照明光伝送部材としてライトガイド11が挿通され、その後端は、把持部8付近のライトガイド口金12に至る。ライトガイド口金12には、ライトガイド13が挿通されたケーブル13aの一端が接続され、他端のライトガイドコネクタ14は、光源装置3に着脱自在に接続される。
光源装置3は、観察モードに応じて後述するように蛍光観察用の照明光と、通常光観察用の照明光を出射(発生)する。光源装置3の照明光は、ライトガイド13及びライトガイド11を経てライトガイド11の先端からさらに照明レンズ15を経て体腔内の患部16(図1参照)等の観察対象となる生体(組織)側に出射される。なお、照明レンズ15は、挿入部6の先端面に設けた照明窓に設けてある。
照明窓に隣接して観察窓が設けてあり、観察窓には、対物レンズ17が配置され、対物レンズ17は、照明された患部16側の被写体側からの光による光学像を結ぶ。
対物レンズ17による光学像は、挿入部6内から接眼部7付近までにわたって配置された光学像伝送部材としてのリレーレンズ系18により光学像が後方側に伝送される。なお、リレーレンズ系18の代わりに、ファイババンドルにより形成したイメージガイドを用いて光学像伝送部材を形成しても良い。
接眼部7には接眼レンズ19が配置され、可視の波長領域の光学像の場合には、接眼レンズ19を介して術者等のユーザは、肉眼で観察することができる。
接眼部7に装着されるテレビカメラ2B内には、結像用レンズ21と、その結像位置に撮像面が配置された撮像部を構成する撮像素子としての例えば電荷結合素子(CCDと略記)22とが設けられている。このCCD22の撮像面の直前には、赤(R)、緑(G)、青(B)の各波長帯域の光をそれぞれ透過する色フィルタとしてのRフィルタ24a、Gフィルタ24b、Bフィルタ24c(図4参照)を備えたモザイクフィルタ24がCCD22の撮像面を形成する各画素単位で配置されている。なお、撮像部(又は撮像装置)は、撮像素子を有するものと定義しても良いし、撮像素子の他に、撮像素子の撮像面に光学像を結像する結像用レンズ21等の光学系を含めたもので定義しても良い。
図4は、モザイクフィルタ24を構成するRフィルタ24a、Gフィルタ24b、Bフィルタ24cの透過特性の1例を示す。
従って、後述するように光源装置3が照明光として可視の波長帯域の照明光を出射する通常光観察(通常観察)モードの場合には、被写体側で反射されて入射される光を、図4に示すRフィルタ24a、Gフィルタ24b、Bフィルタ24cの透過特性で色分離して撮像面の画素に導光する。なお、Rフィルタ24a、Gフィルタ24b、Bフィルタ24cを備えた撮像素子と定義した場合には、図4の透過特性は撮像素子のRフィルタ24a、Gフィルタ24b、Bフィルタ24cをそれぞれ透過した光を受光する画素の感度と見なすことができる。このため、図4では縦軸を透過率(感度)と表記している。
また、本実施形態においては、上記のように蛍光観察を行うことができるようにCCD22の撮像面よりも入射光側に、(励起光の)照明光を照射した場合における被写体側で反射された反射光が蛍光を受光する画素(本実施形態の場合にはRフィルタ24aを透過した光を受光する画素)に入射するのをカットするカットフィルタとしての励起光カットフィルタ25を配置している。図2においては、例えば結像用レンズ21の前に励起光カットフィルタ25を配置しているが、この位置に限定されるものでない。
本実施形態においては、蛍光観察用に用いる蛍光薬剤(単に薬剤とも言う)としてインドシアニングリーン(ICGと略記)を用いることを想定している。そして、観察対処となる生体(組織)に対してICGが、投与され、該ICGに励起光を照射し、励起されたICGから発せられる蛍光を、モザイクフィルタ24が設けられたCCD22により撮像する。
このICGは、図4において波長λfm(λfm=805nm)で示す波長において蛍光の強度が極大となる蛍光発生特性を示す。また、波長λfmよりも若干短波長となる波長λex(λex=774nm)で吸収の極大となる特性を示すことが知られている。
このため、本実施形態における励起光カットフィルタ25は、このICGを励起させる励起光の波長帯域の範囲をカットし、波長λfmでピークとなる蛍光の波長帯域を透過するような特性に設定している。図4において、点線で励起光カットフィルタ25による遮光範囲(遮光される波長帯域)を透過率で示す。具体的には、710nm〜790nmの波長帯域の光を十分にカットする(例えば殆ど0%に近い透過率で遮光する)。その他の波長帯域では、励起光カットフィルタ25は、大きな透過率で透過する。
そして、励起光カットフィルタ25でカットされた波長帯域における長波長側の端の値790nmよりも長波長側の近赤外の波長790nm〜900の波長帯域又は790nm〜850の波長帯域の蛍光をRフィルタ24aの赤外波長帯域側の透過特性を利用して受光する。図4に示す例では、Rフィルタ24aは、900nmよりもさらに長波長側において透過する特性を有するが、ICGは850nmないしは900nm付近においては蛍光を発生する強度が十分に小さくなる。このために、850、又は900nmよりも長波長側をカットして受光するようにしても良い。
図2に示すようにテレビカメラ2Bには、観察モードを切り替える観察モード切替手段として観察モード切替スイッチ(単に切替スイッチとも言う)26が設けてある。テレビカメラ2Bから延出された信号ケーブル27の端部に設けた信号コネクタ28は、ビデオプロセッサ4に着脱自在に接続される。
本実施形態においては、切替スイッチ26により蛍光観察モードに切り替えられた場合には、光源装置3は、図3Aに示すように蛍光を発生させるための第1の波長帯域の光としての励起光(図3Aでは710nm〜790nmの光)と、この第1の波長帯域とは異なり、可視の波長帯域に含まれ、互いに異なる第2及び第3の波長帯域の光を照明光として同時に出射する。
なお、第2及び第3の波長帯域の光は、図3Aに示すようにG及びBの波長帯域の光に相当し、それぞれG光及びB光とも表す。そして、この蛍光観察モードにおいては、撮像部としてのCCD22は、Rフィルタ24aを透過した光を受光する画素(換言するとRフィルタ24aを備えた画素、さらに簡単化してRフィルタ24aの画素と略記)により、蛍光を撮像し、Gフィルタ24bを透過した光を受光する画素及びBフィルタ24cを透過した光を受光する画素(Gフィルタ24bの画素及びBフィルタ24cの画素と略記)は、G光及びB光の反射光を、(蛍光の画像を補完するための)参照光画像(反射光画像)を生成するために撮像する。
また、ビデオプロセッサ4は、撮像部を形成する単一の撮像素子としてのCCD22により取得された蛍光の撮像信号と参照光の反射光により撮像信号とから蛍光の画像信号と反射光画像(又は参照光画像)の2つの画像信号を生成して、カラーモニタ5において蛍光画像と反射光画像とを互いに異なる色でカラー表示する表示画像を生成する。本実施形態においては、蛍光画像と共に、互いに異なる2つ波長帯域の反射光画像をそれぞれ異なる色で表示するようにして、蛍光による蛍光画像と、蛍光画像では分からない生体組織の輪郭、又は構造と共に、異なる生体組織に対応した色調を反映した反射光による反射光画像(参照光画像)とを表示できるようにする。
また、切替スイッチ26により通常光観察モードに切り替えられた場合には、光源装置3は、蛍光観察モード時における励起光を出射しないで、第2の波長帯域の光及び第3の波長帯域の光(G光及びB光)と共に、Rの波長帯域の光、つまりR光を出射する。
図2に示すように光源装置3は、白色光を発生する白色発光ダイオード(白色LEDと略記)31a、31bと(少なくとも)励起光(の波長帯域を含む光)を発生する励起LED31cと、光学素子としてのダイクロイックミラー32a,32b,32cと、集光レンズ33と、発光制御部(又は発光制御回路)34とを備える。
白色LED31aと、ダイクロイックミラー32a(及び集光レンズ33)は、上記第2及び第3の波長帯域の光を同時に発生する。白色LED31aは、可視の波長帯域をカバーする白色光を発生し、この白色光は白色LED31aに対向する光路上に配置されたダイクロイックミラー32aにより第2及び第3の波長帯域の光に相当するG光及びB光のみが選択的に反射されて、反射光路上に配置された集光レンズ33を経てライトガイド13の端面に(G光及びB光が)入射される。
ダイクロイックミラー32aは、上記のように第2及び第3の波長帯域の光としてのG光及びB光のみを選択的に反射し、G光及びB光よりも長波長の波長帯域の光を選択的に透過する特性を示す。従って、白色LED31aの白色光は、ダイクロイックミラー32aにより帯域制限されて、図3Aにおける400nm〜570nmの波長帯域の範囲内の光(ほぼG光及びB光)がライトガイド13側に出射され、さらにライトガイド11を経て被写体側に照射される。
また、白色LED31bと、ダイクロイックミラー32b(及び集光レンズ33)は、可視の波長帯域における上記第2及び第3の波長帯域の光以外の光、具体的には570nm〜700nmの波長帯域の光(ほぼR光)を発生する。白色LED31bによる白色光は、白色LED31bに対向する光路上に配置されたダイクロイックミラー32bによりR光のみが選択的に反射されて、反射光路上に配置されたダイクロイックミラー32aと透過し、集光レンズ33を経てライトガイド13の端面に入射される。
つまり、通常観察モードの場合には、白色LED31a,31bが発光し、可視の波長領域の白色光がライトガイド13の端面に入射される。
また、励起LED31cは、励起光カットフィルタによりカットされるカット波長帯域付近の励起光を発生し、この励起光は励起LED31cに対向する光路上に配置されたダイクロイックミラー32cによりカット波長帯域以内の光のみが選択的に反射されて、反射光路上に配置されたダイクロイックミラー32b、32aを透過し、さらに集光レンズ33を経てライトガイド13の端面に入射される。
ダイクロイックミラー32cは、上記のようにカット波長帯域以内の光のみを選択的に反射する特性を示す。従って、励起LED31cの励起光は、ダイクロイックミラー32cにより帯域制限されて、図3Aにおける例えば710nm〜790nmの波長帯域の範囲内の光が励起光としてダイクロイックミラー32b、32aを透過して、ライトガイド13側に出射され、さらにライトガイド11を経て被写体側に照射される。なお、ダイクロイックミラー32cにより励起光を帯域制限する場合に限らず、励起LED31cがカット波長帯域内となる励起光を発生するようにしても良い。
発光制御部34は、蛍光観察モードの場合には、白色LED31aと励起LED31cとを同時に発光させて、図3Aに示す波長帯域の照明光を出射させる。
また、発光制御部34は、通常光観察モードの場合には、白色LED31aと白色LED31bとを同時に発光させて、図3Bに示す可視の波長帯域の照明光を出射させる。なお、図2において点線で示すように蛍光観察モードの場合、自家蛍光を発生する励起波長を含む例えば450nm以下の短波長の光をカットする励起フィルタ81又は帯域制限フィルタを照明光路上に配置し、観察対象の蛍光薬剤による蛍光に自家蛍光が混入することを低減するようにしても良い。
上述したようにCCD22のモザイクフィルタ24を形成するRフィルタ24a、Gフィルタ24b、Bフィルタ24cは、図4に示す透過特性を持つ。このため、通常光観察モードの場合において、被写体側に図3Bに示す可視の波長帯域の照明光が照射され、被写体側で反射された反射光がCCD22に入射される場合、Rフィルタ24aの画素は、反射光におけるRの波長帯域のR光を受光し、Gフィルタ24bの画素は、反射光におけるGの波長帯域のG光を受光し、Bフィルタ24aの画素は、反射光におけるBの波長帯域のB光を受光する。そして、ビデオプロセッサ4はR光、G光、B光の反射光を撮像したCCD22の撮像信号からR,G,Bの反射光画像としての通常光画像の画像信号を生成する。
一方、蛍光観察モードの場合において、被写体側に図3Aに示すG、Bの波長帯域のG光及びB光と近赤外の波長帯域となる励起光との照明光が照射され、被写体側で反射された反射光、励起光及び蛍光がCCD22に入射される場合、励起光は励起光カットフィルタ25によりカットされ、Rフィルタ24aの画素は、近赤外の波長帯域に属する蛍光の波長帯域の光を受光し、Gフィルタ24bの画素は、Gの波長帯域のG光を受光し、Bフィルタ24aの画素は、Bの波長帯域のB光を受光する。
なお、蛍光観察を行う場合、蛍光の強度は、反射光の強度に比較して非常に弱い(数10分の1以下となる)ために励起光の反射光の影響を受け易い。本実施形態においては、励起光カットフィルタ25により、励起光の波長帯域を十分にカットして、励起光の反射光が蛍光の受光に影響しないようにしている。
また、図4示す特性例においては、波長λfmでピークとなるような蛍光を受光する場合、少なくともRフィルタ24aの画素の感度は、Gフィルタ24bの画素及びBフィルタ24cの画素の感度よりも大きいことを示している。なお、本実施形態以外においても、撮像部が単一の撮像素子を用いて構成される場合においては、蛍光を受光するための色フィルタの画素の感度が、蛍光以外の反射光を受光するための色フィルタの画素が蛍光を受光する感度よりも大きくしている。後述する実施形態のように撮像部が3つの撮像素子で構成される場合においては、蛍光を受光するための色フィルタの画素が、蛍光を受光するための第1の撮像素子となり、他の2つの反射光を受光するための色フィルタの画素が第2及び第3の撮像素子に読み替えると同様の関係となる。
図4に示すようにGフィルタ24bの画素とBフィルタ24cの画素が波長λfmの付近においても感度を有する特性になっているが、Rフィルタ24aの画素以外となるこれらの画素も蛍光成分を受光するが、上述したように反射光の強度の方が遥かに蛍光の強度よりも大きい。
また、後述するように蛍光画像を反射光画像(参照画像)と共に表示する場合、反射光画像の画像信号値が蛍光画像の画像信号値よりも遥かに大きくなるために、反射光画像の画像信号に対して、蛍光画像の画像信号を少なくとも数10倍程度、増大する調整を行った後、カラーモニタ5でカラー表示する。このため、カラーモニタ5に表示された画像における蛍光画像(成分)は、実質的にRフィルタ24aの画素により受光(撮像)した画像となる。
図2に示すようにCCD22は信号ケーブル27内の信号線を介してビデオプロセッサ4と接続される。
ビデオプロセッサ4は、CCDドライバ41を有し、CCDドライバ41が発生したCCD駆動信号はCCD22に印加される。CCD22はCCD駆動信号の印加によりCCD22の撮像面に結像された光学像を光電変換した撮像信号を生成し、生成した撮像信号を出力する。CCDの撮像信号は、ビデオプロセッサ4内の信号処理回路42を構成するアンプ43に入力される。なお、信号処理回路42は、図2におけるアンプ43〜D/A変換部52により構成される。
アンプ43で増幅された信号は、プロセス回路44において相関二重サンプリング処理が施され、撮像信号における信号成分を抽出した画像信号が生成される。
プロセス回路44から出力される画像信号は、A/D変換回路45においてアナログの画像信号からデジタルの画像信号に変換された後、AGC回路46に入力され、オートゲイン調整された後、色分離回路47に入力される。色分離回路47は、CCD22のモザイクフィルタ24におけるRフィルタ24a、Gフィルタ24b、Bフィルタ24cの配列に応じた3つの色信号に分離し、3つの色信号を3つの画像信号として出力する。
通常光観察モードにおいては、色分離回路47は、R,G,Bの色信号を画像信号として出力し、蛍光観察モードにおいては、蛍光(F)、G及びBの色信号を画像信号として出力する。図2中では、F(R),G,Bで示している。色分離された3つの画像信号は、ホワイトバランス/蛍光用バランス回路48に入力され、ホワイトバランス又は蛍光用バランスの調整が行われる。
ホワイトバランス/蛍光用バランス回路48は、3つのゲイン可変機能を備えたアンプ48a,48b,48cを備え、通常光観察モードにおいては、白色の基準となる被写体を撮像した場合、3つのR,G,Bの色信号(画像信号)の信号レベルが等しくなる(ホワイトバランス)状態となるように3つのゲインを調整する。
また、蛍光観察モードにおいては、例えば基準となる蛍光観察状態において、F,G及びBの色信号(換言すると蛍光の画像信号、2つの反射光画像の画像信号)の信号レベルが互いに等しくなる蛍光用バランス状態となるように3つのゲインを調整する。
上述したように蛍光の強度は、反射光の強度よりも遥かに小さい(弱い)ので、アンプ48aのゲインは、アンプ48b,48cのゲインの少なくとも数10倍以上に設定する調整が行われる。従って、上述したようにGフィルタ等の画素が近赤外の蛍光を受光しても、Rフィルタの画素が受光した蛍光の画像信号を、前者の少なくとも数10倍以上のゲインに増大するために、前者が受光した蛍光は、後者の蛍光画像に影響を及ぼさない。
なお、ホワイトバランス/蛍光用バランス回路48は、3つのゲイン可変のアンプ48a,48b,48cを備えた場合を示しているが、例えば1つのアンプ48bのゲインを固定にして、残りの2つのアンプでゲイン調整を行うようにしても良い。
ホワイトバランス/蛍光用バランス回路48を経た3つの画像信号は、ガンマ回路49によりガンマ補正された後、色強調回路50に入力されて色強調される。色強調回路50から出力される3つの画像信号は輪郭強調回路51に入力され、輪郭強調された後、D/A変換部52に入力される。
D/A変換部52は、3つのD/A変換回路52a,52b,52cを備える。D/A変換回路52a,52b,52cは、デジタルの入力信号をそれぞれアナログの出力信号に変換し、変換された3つの画像信号としての蛍光の画像信号(又はRの画像信号)と、G,Bの画像信号とはカラーモニタ5のR,G,Bチャンネルにそれぞれ入力される。
また、切替スイッチ26を操作した場合の切替信号は、ビデオプロセッサ4内のモード判定回路53に入力される。切替スイッチ26は、例えばON/OFFスイッチにより構成され、モード判定回路53はON/OFFに応じた切替信号のH,Lレベルを判定することにより、例えばHレベルの蛍光観察モードに切り替えられたか、Lレベルの通常光観察モードに切り替えられたかを判定したモード判定信号を出力する。
モード判定回路53は、モード判定信号を、ビデオプロセッサ4における信号処理の動作を制御する制御回路54と、調光を行う調光回路55とに出力すると共に、光源装置3の発光制御部34とに出力する。
制御回路54は、切替スイッチ26の操作により設定された観察モードに応じて、ホワイトバランス/蛍光用バランス回路48のゲイン調整動作、色強調回路50,輪郭強調回路51等の動作を制御する。
また、ユーザは、キーボード等を備えた入力部56からホワイトバランス/蛍光用バランス回路48のゲイン調整を行った場合のゲイン設定値(ゲイン調整値)等や、色強調回路50の色強調のパラメータや輪郭強調回路51の輪郭強調のパラメータを設定する等を可変設定することができる。
また、例えば制御回路54は、ゲイン設定値を格納(記憶)する記憶部を構成するメモリ54aを有し、通常光観察モードの場合のホワイトバランス調整を行った場合のアンプ48a〜48cのゲイン設定値、蛍光観察モードの場合の蛍光用バランス調整を行った場合のアンプ48a〜48cのゲイン設定値を格納する。そして、観察モードの切替が行われた場合、制御回路54は、切り替えられた観察モードにおけるゲイン設定値をメモリ54aから読み出し、アンプ48a〜48cのゲインを観察モードに適した状態に設定する。
また、ホワイトバランス/蛍光用バランス回路48の出力信号は調光回路55に入力され、調光回路55は、入力信号に対応した調光信号を生成する。調光回路55は、例えば基準値からのずれ量に応じて、基準値に近づけるための調光信号を生成し、発光制御部34に出力する。発光制御部34は、調光信号に応じて、蛍光観察モード時において発光する白色LED31aと励起LED31cの発光強度、通常光観察モード時における白色LED31aと31bの発光強度を増減する制御を行う。
なお、これらのLEDの発光強度の増減で調光する代わりに、集光レンズ33に至る光路上に絞りを配置し、絞りの開口量を増減して照明光量を調整しても良い。また、複数のLEDの発光強度の増減で調光する場合、絞りの開口量を増減して照明光量を調整する場合と同様に複数のLEDの発光強度の相対的な強度比を一定に保ちながら複数のLEDの発光強度を増減するようにしても良い。
本実施形態においては単一の撮像素子としての1つのCCD22を用いて、蛍光観察と通常光観察とを行うことができるようにしている。
本実施形態の蛍光観察内視鏡システム1は、生体に投与した薬剤としてのICGに照射することで蛍光を発光させる第1の波長帯域の光としての励起光と、可視光であって前記第1の波長帯域の光と異なる波長帯域の第2の波長帯域の光としてのG光と、可視光であって前記第1及び第2の波長帯域の光と異なる波長帯域の第3の波長帯域の光としてのB光と、を同時に出射可能な光源装置3と、前記蛍光と、前記第2及び第3の波長帯域の光の反射光とを同時に受光する撮像素子を有するよう構成された撮像部を構成するCCD22と、前記撮像部が取得した前記蛍光の画像信号と、前記第2及び第3の波長帯域の光の反射光による第2及び第3の画像信号とから、それぞれ異なる色で表示する表示画像を生成する信号処理を行う信号処理装置としてのビデオプロセッサ4と、を備えることを特徴とする。なお、本実施形態においては、撮像部が1つのCCD22を用いて構成されるが、後述する第2の実施形態においては3つの撮像素子により撮像部が構成される。
次に図5を参照して本実施形態の動作を説明する。図5は、内視鏡2の観察下で患部16に対する処置を行うような場合の処理内容を示す。
蛍光観察を行うために、最初のステップS1において、初期設定として、ホワイトバランス/蛍光用バランスの設定を行う。基準の被写体を用いて通常光観察モードにおけるホワイトバランス/蛍光用バランス回路48におけるアンプ48a〜48cのゲイン調整によるホワイトバランスの設定と、蛍光観察モードにおけるアンプ48a〜48cのゲイン調整による蛍光用バランスの設定を行う。それぞれのゲイン設定値はメモリ54aに格納される。なお、以前に行われたホワイトバランスの設定と、蛍光用バランスの設定とのゲイン設定値を利用する場合には、この処理を行うことなく、次のステップS2の処理を行うようにしても良い。
次のステップS2において術者等のユーザは、患部16付近の生体組織にICGの(蛍光観察用)薬剤を投与する。
次のステップS3において、内視鏡2の挿入部6は、図示しないトラカールを用いて腹部10内に刺入され、ICGが投与された患部16付近の生体組織を、切替スイッチ26のスイッチ設定を例えば通常光観察モードに設定して観察を行う。切替スイッチ26のスイッチ設定は、モード判定回路53により判定され、モード判定信号を出力する。
通常光観察モードに設定された場合、ステップ4に示すように(モード判定信号により)光源装置3は、白色光(可視光)を出射する。また、ステップS5に示すように(モード判定信号により)制御回路54は、ホワイトバランス/蛍光用バランス回路48のゲインをホワイトバランス状態のゲインに設定する。
また、ステップS6に示すようにビデオプロセッサ4(の信号処理回路42)は、白色光の照明のもとで、R,G,Bの色信号を画像信号として生成し、生成したR,G,Bの色信号を通常光画像の画像信号としてカラーモニタ5のR,G,Bのチャンネルに出力する。カラーモニタ5は、通常光画像をR,G,Bでカラー表示する。
また、ステップS7に示すようにモード判定回路53は、切替スイッチ26による観察モードの切替操作をモニタし、通常光観察モードから蛍光観察モードに切り替える切替操作が行われたか否かを判定する。切替操作が行われない場合には、通常光観察モードの状態を維持し、ステップS4の処理に戻る。
一方、切替操作が行われた場合には、ステップS8に示すようにモード判定回路53は、蛍光観察モードに切り替えたモード判定信号を光源装置3(の発光制御部34)とビデオプロセッサ4の制御回路54に送り、光源装置3とビデオプロセッサ4を蛍光観察モードに設定する。
つまり、ステップS9に示すように光源装置3は、蛍光観察モードの照明光を出射する状態、具体的にはG光、B光と近赤外の励起光を出射する状態に設定する。また、ステップS10に示すようにビデオプロセッサ4の制御回路54は、メモリ54aに格納された蛍光観察モードの場合のゲイン設定値を読み出し、ホワイトバランス/蛍光用バランス回路48のアンプ48a〜48cのゲインを蛍光用バランス状態のゲインに設定する。具体的には、アンプ48aのゲインをアンプ48b,48cのゲインの数10倍以上に設定する。
そして、ステップS11に示すようにビデオプロセッサ4(の信号処理回路42)は、CCD22の出力信号に対する信号処理を行い、蛍光画像と、2つの反射光画像(参照光画像)にそれぞれ対応する各色信号を生成する。なお、本実施形態の場合、CCD22は、G光,B光の反射光をG,Bフィルタの画素で受光(撮像)すると共に、蛍光をRフィルタの画素で受光(撮像)する。
ビデオプロセッサ4(の信号処理回路42)は、蛍光画像に対応するRの色信号と、G光,B光による反射光画像に対応するG,Bの色信号とを(画像信号として)生成し、カラーモニタ5のR,G,Bのチャンネルに出力する。そして、ステップS12に示すようにカラーモニタ5は、蛍光画像をR、2つの反射光画像(参照光画像)をG,Bでカラー表示する。
上述したように蛍光画像に対応するRの色信号をG,Bの反射光画像(参照光画像)の色信号よりも少なくとも数10倍以上に増大する調整を行った後、カラーモニタ5のRチャンネルに出力するようにしているので、カラーモニタ5は、蛍光画像と反射光画像(参照光画像)とを(術者が両方の画像を確認し易い状態で)バランス良くカラー表示する。
術者は、Rの色で表示される蛍光画像と、G,Bの2色で表示される反射光画像を観察することにより、蛍光を発する部位を識別できると共に、異なる波長帯域で撮像した反射光画像を観察することにより、患部16付近の生体組織又は臓器の輪郭、構造と共に、異なる臓器や生体組織が存在した場合、色調の違いによりそれらの違いを視認し易くなる。このため、術者は、観察している患部16の周辺の生体組織の配置形状等をより詳細に確認し易くなる。なお、上記ではビデオプロセッサ4で生成したR、G、Bの色信号はそれぞれカラーモニタ5のR、G、Bのチャンネルに出力しているが、R、G、Bの色信号は例えばそれぞれR、B、Gのチャンネルに出力しても良い。すなわち、R、G、Bの色信号をカラーモニタ5の任意のチャンネルに出力しても良いし、任意のチャンネルに出力する選択ができるようにしても良い。換言すると、蛍光を受光した場合の色信号と、2つの波長帯域の反射光を受光した場合の2つの色信号との3つの色信号をカラーモニタ5の任意のチャンネルに出力するようにしても良い。このように色信号とカラーモニタ5のチャンネルとの組み合わせを変更することで、参照光と蛍光の弁別能(色差)を高めることができる。たとえば、人の目は青色に対する感度が低いため、B信号をBチャンネルに出力するよりも、B信号をGチャンネルに出力したほうが人の目の感度の高い緑色で表示され、病変の見落としをより低減することができる。なお、本実施形態においては、単一の撮像素子の場合で蛍光と、反射光とを撮像しているが、後述する実施形態のように蛍光を撮像する撮像素子と、反射光を撮像する撮像素子とが異なる場合にも適用することもできる。
術者は、蛍光画像及び反射光画像を観察して、患部16に切除すべき部位が存在すると診断した場合には、切除するための処置具を用いる等して切除する処置を行う。
また、ステップS13に示すようにモード判定回路53は、切替スイッチ26による観察モードの切替操作をモニタし、蛍光観察モードから通常光観察モードに切り替える切替操作が行われたか否かを判定する。
切替操作が行われた場合には、ステップS3の処理に戻る。切替操作が行われた場合には、モード判定回路53は、通常光観察モードに切り替えたモード判定信号を光源装置3(の発光制御部34)とビデオプロセッサ4の制御回路54に送り、光源装置3とビデオプロセッサ4は通常光観察モードの設定となる。
一方、切替操作が行われない場合には、次のステップS14における観察終了の指示操作が行われたか否かを判定し、観察終了の指示操作が行われない場合には蛍光観察モードの状態を維持し、ステップS9の処理に戻る。
このように動作する本実施形態によれば、蛍光画像と、可視領域における互いに異なる2つの波長帯域の反射光画像とを互いに異なる色でカラー表示することにより、蛍光画像と、生体組織の輪郭及び色調の違いを反映した画像を生成することができる。また、術者に対して、診断や処置等を円滑に行い易い画像を提供できる。
なお、フィルタ制作時における励起光の波長帯域の特性のバラツキを考慮して、励起光の波長帯域を例えば710nm〜790nmとした場合、図4に示した励起光カットフィルタ25の遮光範囲を700nm〜800nmに設定して、励起光の長波長側の端の値(具体的には790nm)と、蛍光を受光する場合の短波長側の端の値(具体的には800nm)との間に10nmの間隔が形成されるようにしても良い。図4において、この場合における励起光カットフィルタ25の遮光特性(遮光範囲)を2点鎖線で示す。
次に第1の実施形態の第1変形例を説明する。
上述した説明においては、薬剤としてICGを用いた場合で説明したが、フルオレセイン(FITCと略記)を用いても良い。FITCは、波長λfm(λfm=521nm)において蛍光を放射する強度が極大となる蛍光発生特性を示すことが知られている。図8において波長λfmを示している。また、波長λfmよりも短波長側となる波長λex(λex=494nm)で吸収の極大となる特性を示すことが知られている。
この場合の蛍光観察内視鏡システム1Bの構成を図6に示す。図6に示す蛍光観察内視鏡システム1Bは、図2の蛍光観察内視鏡システム1において、光源装置3におけるダイクロイックミラー32a,32b,32cをダイクロイックミラー32d,32e,32fにそれぞれ変更すると共に励起光源31cを励起光源31dに変更した構成であり、またテレビカメラ2Bにおける励起光カットフィルタ25の励起光カットフィルタ特性を変更した励起光カットフィルタ25bに置換している。
ダイクロイックミラー32dは、図7に示す第2の波長帯域となる例えば630nm〜670nmの光と、第3の波長帯域となる例えば400nm〜420nmの光とを選択的に反射し、他の波長帯域の光を選択的に透過する。
また、ダイクロイックミラー32eは、例えば白色LEDにより構成される励起光源31dの白色光の入射に対して、ダイクロイックミラー32dの選択的な透過特性を反射特性に置換し、その他の波長を選択的に透過する特性を有する。換言すると、2つの白色LED31a,31bを同時に発光させた場合、第1の実施形態の場合と同様に400nm〜700nmの可視の波長帯域の白色光が集光レンズ33により集光されてライトガイド13に入射される。図7において白色LED31a,31bを同時に発光させた場合における光源装置3が出射する照明光の波長帯域の範囲を点線で示す。
また、励起LED31cとダイクロイックミラー32cは、第1の波長帯域の光としての励起光を発生する。例えば励起LED31cが白色LEDとした場合、ダイクロイックミラー32fは、第1の波長帯域となる励起光として例えば450nm〜500nmの光を選択的に反射し、ダイクロイックミラー32e側に導光する。この励起光はダイクロイックミラー32e,32dを透過して集光レンズ33により集光されてライトガイド13に入射される。
発光制御部34は、第1の実施形態の場合とほぼ同様に、蛍光観察モードの場合には白色LED31aと励起光源31dとを同時に発光させ、通常観察モードの場合には白色LED31aと31bとを同時に発光させるように制御する。なお、図6において点線で示すように蛍光観察モードの場合、自家蛍光を発生する励起波長を含む例えば420nm〜430nmの光をカットする励起フィルタ83又は帯域制限フィルタを照明光路上に配置し、観察対象の蛍光薬剤による蛍光に自家蛍光が混入することを低減するようにしても良い。
励起光カットフィルタ25bは、図8において点線で示すように励起光の波長帯域の光をカットするように遮光特性が設定されている。具体的には上記励起光の波長帯域としての450nm〜500nmの光を確実に遮光するように長波長側及び短波長側にそれぞれ10nmのマージンを含めた例えば440nm〜510nmの光を遮光する特性(透過率が殆ど0となる特性)に設定している。なお、フィルタの作成時のバラツキを殆ど0にできる場合には、励起光カットフィルタ25bの遮光する範囲を、450nm〜500nmの範囲に設定しても良い。
図8において実線は、図4の場合と同様にR,G,Bフィルタの透過特性を示している。
第1の実施形態においては、Rフィルタが蛍光を受光するように設定していたが、本変形例においてはGフィルタが、蛍光を受光するように設定している。そのため、ビデオプロセッサ4は、Gフィルタの画素から出力される信号を蛍光の画像信号として処理する。そして、カラーモニタ5において、蛍光の画像信号をGのチャンネルに割り当てて、他のR,Bのチャンネルに割り当てられた参照光による画像とをカラー表示する。その他は、第1の実施形態と同様の構成である。
次に本変形例の動作を説明する。通常光観察モードに設定された場合には、光源装置3は、図7の点線で示す400nm〜700nmの可視の波長帯域の照明光を出射する。そして、この照明光で患部16等を照明し、CCD22により撮像する。
本変形例の場合、励起光カットフィルタ25により主にB光の波長帯域における長波長側となる一部の波長帯域(具体的には440nm〜510nm)が欠落した反射光により受光するが、ホワイトバランスの調整の際にGの画像信号のゲインを大きくすることにより、欠落する反射光成分の影響を補正する。そして、通常光観察モードに設定された場合には、第1の実施形態とほぼ同様にカラーモニタ5において通常光画像をカラー表示する。
一方、蛍光観察モードに設定した場合には、光源装置3の発光制御部34は、白色LEd31aと励起LED31cとを発光させ、光源装置3は、図7の実線で示す照明光を出射する。つまり、Rの波長帯域の光(R光)とBの波長帯域の光(B光)からなる参照光と、Gの波長帯域の励起光とをライトガイド13側に出射し、生体にはこれらの照明光が照射される。
この場合には、CCD22におけるRフィルタの画素はR光の反射光を受光し、Bフィルタの画素は、B光の反射光を受光する。また、Gフィルタの画素は、521nmで極大となる波長λfm付近の蛍光を受光し、この場合の励起光の反射光は、励起光カットフィルタ25bにより十分にカットされ、蛍光の受光には影響しない。
ビデオプロセッサ4は、第1の実施形態におけるRフィルタ24aの画素をGフィルタ24bの画素に読み替え、かつGフィルタ24bの画素をRフィルタ24aの画素に読み替え、かつRチャンネルをGチャンネルに、GチャンネルをRチャンネルに読み替えた動作となる。本変形例によれば、第1の実施形態と殆ど同じ効果が得られる。
次に第1の実施形態における第2変形例を説明する。本変形例は、生体に投与する薬剤として5アミノレブリン酸(5−ALAと略記)を用いて蛍光観察を行う。5−ALAは、波長λfm(λfm=635nm)において蛍光を放射する強度が極大となる蛍光発生特性を示すことが知られている。図11において波長λfmを示している。
また、波長λfmよりも遥かに短波長側となる波長λex(λex=405nm)の励起光が効率良く蛍光を発生させることが知られている。この薬剤を用いた場合の蛍光観察内視鏡システム1Cの構成を図9に示す。
本変形例は、図2の蛍光観察内視鏡システム1において光源装置3におけるダイクロイックミラー32a,32b,32cをダイクロイックミラー32g,32h,32iに変更すると共に、励起光源31cを励起光源31eに変更した構成にし、また、図2におけるテレビカメラ2B内に配置した励起光カットフィルタ25を設けない構成にしている。
白色LED31a及びダイクロイックミラー32gは、400nm〜550nmの参照光を発生する。つまり、第1の実施形態におけるダイクロイックミラー32aが、400nm〜570nmの参照光を、400nm〜550nmに僅かに変更している。
また、 白色LED31b及びダイクロイックミラー32hは、550nm〜700nmのR光を発生する。つまり、第1の実施形態におけるダイクロイックミラー32bが、570nm〜700nmのR光を選択的に透過する特性を、550nm〜700nmのR光を選択的に透過する特性に僅かに変更している。
また、 励起LED31e及びダイクロイックミラー32iは、380nm〜400nm(又は380nm〜440nm)の励起光を発生する。励起LED31eは、380nm〜400nm(又は380nm〜440nm)をカバーする光を発生するLED光源により構成され、ダイクロイックミラー32iは、380nm〜400nm(又は380nm〜440nm)の波長帯域の光を選択的に反射し、ダイクロイックミラー32h側に導光する。
ダイクロイックミラー32iにより選択的に反射された光は、ダイクロイックミラー32hを透過し、さらにダイクロイックミラー32gを少なくとも380nm〜400nmの光が透過して、さらに集光レレンズ33によりライトガイド13の端面に入射される。
図10は蛍光観察モードの場合における光源装置3が出射する照明光の波長帯域を示す。
この場合、白色LED31aと励起光源31eとが同時に発光することにより、光源装置3は400nm〜550nmのG光及びB光と、380nm〜440nmの励起光とを同時に発生してライトガイド13側に出射する。なお、図10における400nm〜440nmの波長帯域の光は、励起光と参照光の照明とに共通して使用される。
また、通常光観察モードの場合には、図10における点線で示すように光源装置3は、400nm〜700nmの白色光をライトガイド13側に出射する。
本変形例においては、通常光観察モードの場合には、第1の実施形態と殆ど同様の構成となり、蛍光観察モードにおいては、第1の実施形態の励起光の波長帯域がR光の短波長側ないし紫外付近に設定した場合に相当し、かつその場合の蛍光を第1の実施形態の場合と同様にRフィルタを用いて受光する。
また、本変形例においては励起光の波長帯域と蛍光の波長帯域は大きく異なるために励起光カットフィルタを用いることなく、励起光の影響を受けることなく蛍光を受光することができる。
このため、本変形例における撮像部としてのCCD22は、通常光観察モード及び蛍光観察モードにいずれにおいても、図11に示すように(図4の点線で示す励起光カットフィルタ25を用いることなく)実線で示すR,G,Bフィルタを用いて受光(撮像)する。その他の構成は図2の場合と同様である。
次に、本実施形態の動作を説明する。通常観察モードの場合には、第1の実施形態と殆ど同様の動作となる。
一方、蛍光観察モードの場合には、光源装置3は、400nm〜550nmの波長帯域の参照光(G光、B光)を出射すると共に、380nm〜440nmの波長帯域の励起光とを照明光として出射する。撮像部を構成するCCD22は、G,Bフィルタの画素が参照光の反射光を受光してG,Bの撮像信号を生成し、Rフィルタの画素が蛍光を受光して蛍光の撮像信号を生成する。
ビデオプロセッサ4は、CCD22の撮像信号に対する信号処理を行い、G,Bの画像信号と、蛍光の画像信号を生成し、カラーモニタ5のG,BチャンネルとRチャンネルとに出力する。そしてカラーモニタ5は、第1の実施形態の場合と同様にG,Bの色で反射光画像と、Rの色で蛍光画像とを合成してカラー表示する。
本変形例によれば、励起光カットフィルタを用いることなく、第1の実施形態と殆ど同様の効果を得ることができる。
上述の説明においては、薬剤が異なる場合に対応した第1の実施形態の蛍光観察内視鏡システム1、1B、1Cを説明したが、異なる薬剤を用いた場合に対応できる光源装置及び信号処理装置としてのビデオプロセッサを備えた図12Aに示す第3変形例の蛍光観察内視鏡システム1Dにしても良い。
図12Aに示す蛍光観察内視鏡システム1Dにおいては、図2,図6、図9の内視鏡には、それぞれ固有の内視鏡であることを示す識別情報(IDと略記)を発生するID発生回路71(図12A中では単にIDと略記)を、例えば信号コネクタ28内に備える。IDは、固有の内視鏡がそれぞれ備える各薬剤に応じた撮像部の光学特性に対応した情報を含む。また、ビデオプロセッサ4は、信号コネクタ28が接続された場合に、内視鏡2のIDを識別するID識別回路54bを例えば制御回路54が備える。なお、ID識別回路54bを制御回路54の外部に設け、識別したIDを制御回路54に出力するようにしても良い。
また、光源装置3は、図2,図6,図9において説明した照明光をそれぞれ出射できるように例えば3つのダイクロイックミラーを1組のダイクロイックミラー(又はミラーアッセンブリ)として3組保持したミラー保持装置72と、3組のミラー保持装置72の1組を照明光路中に切り替えるように配置する制御を行うミラー切替制御回路73とを有する。
また、図12Aに示す光源装置は、励起光源として赤外の波長帯域と共に可視の波長帯域の光を発生する励起光源31c′を用いている。なお、3組のミラー保持装置72は、例えばモータの回転軸に3枚の回転板を取り付け、3枚の回転板上に、回転角が120度間隔で3つのダイクロイックミラーをそれぞれ取り付け、モータの回転角を120度単位で回転させることにより、3組の内の1組のダイクロイックミラーを照明光路上に配置できるようにしている。
制御回路54は、識別したIDに応じて、ミラー切替制御回路73がIDの内視鏡(より具体的には使用する薬剤に対応した励起光カットフィルタ25,25b、又は励起光カットフィルタを設けていない内視鏡)に対応したダイクロイックミラーを光路上に配置するように制御する。つまり、制御手段としての制御回路54は、識別したIDに応じて、光源装置3が出射する照明光を制御すると共に、ビデオプロセッサ4(の信号処理回路42)の信号処理の動作を制御する。
図12Aに示す例では、内視鏡2は励起光カットフィルタ25を備えた(ICGの薬剤に対応した撮像部を備えた)内視鏡2であり、この内視鏡2に対応して、制御回路54は光源装置3における光路上にダイクロイックミラー32a,32b,32cが配置されるようにミラー保持装置72の動作を制御する。
図12Aに示す内視鏡2の代わりに図6の(FITCの薬剤に対応した撮像部を備えた)内視鏡2がビデオプロセッサ4に接続された場合には、制御回路54は図6のダイクロイックミラー32d,32e,32fが配置されるようにミラー保持装置72の動作を制御する。
また、図12Aに示す内視鏡2の代わりに図9の(5−ALAの薬剤に対応した撮像部を備えた)内視鏡2がビデオプロセッサ4に接続された場合には、制御回路54は図9のダイクロイックミラー32g,32h,32iが配置されるようにミラー保持装置72の動作を制御する。
図12Aに示す内視鏡2がビデオプロセッサ4に接続された場合には、第1の実施形態で説明した動作となり、第1の実施形態の効果を有する。また、図6の内視鏡2がビデオプロセッサ4に接続された場合には、第1変形例の動作となり、第1変形例の効果を有する。また、図9の内視鏡2がビデオプロセッサ4に接続された場合には、第2変形例の動作となり、第2変形例の効果を有する。本変形例によれば、第1の実施形態、第1変形例、第2変形例の効果を有すると共に、異なる薬剤を用いて蛍光観察を行う場合にも共通の光源装置3,共通のビデオプロセッサ4で対応できる。
図12Bは、第1の実施形態の第4変形例における光源装置3Bを示す。第1の実施形態においてはLEDを用いた光源装置3を用いていたが、図12Bに示すように、光源を形成するキセノンランプ71Bと、フィルタターレット72Cを用いて構成した光源装置3Bを用いることもできる。点灯回路73の点灯電源により発光(点灯する)キセノンランプ71の光は、モータ74により回転されるフィルタターレット72Cのフィルタ72a又は72bを透過した後、集光レンズ33を経てライトガイド13に照明光が入射される。フィルタターレット72Cには、通常光観察モード用の第1フィルタ72aと、蛍光観察モード用の第2フィルタ72bとが周方向に設けてある。
また、モータ74は、(ビデオプロセッサ4の)モード判定回路53から出力されるモード切替信号により回転し、フィルタターレット72Cのフィルタ72a又は72bの一方を照明光路上に配置する。図12Bの状態は、通常光観察モードが設定された状態であり、第1フィルタ72aは、図3Bに示すような白色光の波長帯域の光を透過させるように透過特性が設定される。これに対して、蛍光観察モードに切り替える操作を行った場合には、モータ74によりフィルタターレット72Cが回転し、第2フィルタ72bが照明光路上に配置される。第2フィルタ72bは、図3Aに示す波長帯域の光を透過するように設定されたバンドパスフィルタの透過特性を有する。なお、本変形例においては、観察モードが切り替えられた場合においても、光源としてのキセノンランプ71Bは、常時発光(点灯)した状態を維持し、発光のON/OFFは行わない。
また、図12Bの図示例では、光源装置3Bは、発光量を調整して照明光量を調整する機能を設けてないので、ビデオプロセッサ4の調光回路55は不必要となる。図12Bの構成において、ビデオプロセッサ4の調光信号を点灯回路73Bに入力し、調光信号に基づいて、点灯回路73Bから出力される点灯電源の電力を調整することによりキセノンランプ71Bの発光量を制御して照明光量を調整するようにしても良い。なお、第2フィルタ72bの透過特性が異なるように設定したフィルタターレット72Cを用いるようにすれば、図12Bに示す光源装置3Bを第1の実施形態以外の光源装置にも適用できる。
(第2の実施形態)
上述した実施形態及び変形例においては、単一の撮像素子としてのCCD22を用いて蛍光観察を行う蛍光観察内視鏡システムを説明したが、以下に説明するように撮像部を3つの撮像素子を用いて構成しても良い。
図13は第2の実施形態の蛍光観察内視鏡システム1Eを示す。この蛍光観察内視鏡システム1Eは、例えば図2に示す蛍光観察内視鏡システム1において、光学内視鏡2Aに装着したテレビカメラ2Bの代わりに、3つのCCDを内蔵したテレビカメラ2Cを装着した内視鏡2Dを用い、1つの入力信号に対する信号処理を行うビデオプロセッサ4の代わりに、3つのチャンネルの入力信号に対する信号処理を行うビデオプロセッサ4Bを採用している。なお、光源装置3は、第1の実施形態の光源装置3と同じ構成である。
テレビカメラ2Cは、(点線で示す)接眼窓に対向して図4に示す特性の励起光カットフィルタ25が配置され、また結像用レンズ21に対向する光路上に3つのダイクロイックプリズム61c,61a,61bと、ダイクロイックプリズム61c,61a,61bにおける出射面にそれぞれ取り付けられたCCD62c,62a,62bとが配置されて3板式の撮像部63が形成されている。
なお、励起光カットフィルタ25は、結像用レンズ21の直前に着脱自在に配置することができるようにしている。例えばこの励起光カットフィルタ25を外した状態で、テレビカメラ2Cを装着した場合には、薬剤として5−ALAを用いた場合に使用できる内視鏡となる。また、蛍光薬剤としてICGの場合に対応した励起光カットフィルタ25の代わりに図8に示す特性の励起光カットフィルタ25bを装着すると、薬剤としてFITCを用いた場合に使用できる内視鏡となる。
上記ダイクロイックプリズム61a,61b,61cは、例えば図14に示すような特性を有する。ダイクロイックプリズム61aは、R及び赤外の波長帯域の光を透過(してその出射面に配置されたCCD62aが受光)する特性を有し、ダイクロイックプリズム61bは、Gの波長帯域の光を透過(してその出射面に配置されたCCD62bが受光)する特性を有し、ダイクロイックプリズム61cは、Bの波長帯域の光を透過(してその出射面に配置されたCCD62cが受光)する特性を有するように設定されている。
なお、結像用レンズ21を経た光は、ダイクロイックプリズム61cに入射し、ダイクロイックプリズム61aとの接合面においてB光のみが選択的に反射され、反射されたB光は入射面で更に反射された後、出射面に配置されたCCD62cで受光される。また、前記接合面を透過してダイクロイックプリズム61a内に入射したB光以外の光は、ダイクロイックプリズム61bとの接合面においてG光以外の光(R光又は赤外)が選択的に反射され、さらにダイクロイックプリズム61cとの接合面で反射された後、出射面に配置されたCCD62aで(R光又は赤外が)受光される。
また、ダイクロイックプリズム61bとの接合面において選択的に透過したG光は、その出射面に配置されたCCD62bで受光される。
第1の実施形態においては、単一のCCD22を用いて撮像部を構成していたためにCCD22にR,G,Bフィルタを有するモザイクフィルタ24を備えていたが、本実施形態においてはR,G,Bフィルタを用いる代わりにダイクロイックプリズム61a、61b、61cを用い、ダイクロイックプリズム61a、61b、61cを透過した出射面に3つのCCD62c,62a,62bを配置した構成にしている。
このため、第1の実施形態においても、図14に示すような特性を有するR,G,Bフィルタを有するモザイクフィルタ24を用いるようにしても良い。
なお、CCD62k(k=a,b,c)として、ダイクロイックプリズム61kを透過した光を受光する撮像素子と定義した場合には、図14の縦軸は感度を表すことになる。また、図14に示す特性で蛍光観察等を行うと、蛍光を透過するダイクロイックプリズムは、61aのみとなり、ダイクロイックプリズム61aを透過した光を受光するCCD62aのみが、より好ましい状態で蛍光を受光することになる。
CCD62a,62b,62cは、信号線64a,64b,64cを介して、ビデオプロセッサ4Bの入力端65a,65b,65cに入力される。また、CCD62a,62b,62cは、信号線64dを介してCCDドライバ41に接続され、CCDドライバ41からのCCD駆動信号により、3つのCCD62a,62b,62cが同時に駆動される。
入力端65a、65b,65cにそれぞれ入力された入力信号は、それぞれ信号処理系42a,42b,42cにより信号処理されて、カラーモニタ5のR,G,Bチャンネルに出力される。なお、信号処理系42a,42b,42cは、以下の説明するようにアンプ43a〜AGC回路46a,アンプ48a〜D/A変換回路52a、アンプ43b〜AGC回路46b,アンプ48b〜D/A変換回路52b、アンプ43c〜AGC回路46c,アンプ48c〜D/A変換回路52cにより構成される。
入力端65aに入力されるCCD62aの撮像信号は、アンプ43a、プロセス回路44a、A/D変換回路45a、AGC回路46a、ホワイトバランス/蛍光用バランス回路48におけるアンプ48a、ガンマ回路49a、色強調回路50a、輪郭強調回路51a、D/A変換回路52aを経てカラーモニタ5のRチャンネルにRの画像信号として出力される。
入力端65bに入力されるCCD62Bの撮像信号は、上記アンプ43a〜AGC回路46a,アンプ48a〜D/A変換回路52aにおけるaをbに置換した各回路(つまり、アンプ43b〜AGC回路46b,アンプ48b〜D/A変換回路52b)を経て、カラーモニタ5のGチャンネルにGの画像信号として出力される。
また、入力端65bに入力されるCCD62Bの撮像信号は、上記アンプ43a〜AGC回路46a,アンプ48a〜D/A変換回路52aにおけるaをcに置換した各回路(つまり、アンプ43c〜AGC回路46c,アンプ48c〜D/A変換回路52c)を経て、カラーモニタ5のBチャンネルにBの画像信号として出力される。その他の構成は、図2の蛍光観察内視鏡システム1とほぼ同様の構成である。
本実施形態においても光源装置3は、蛍光観察モードに対応した第1から第3の波長帯域の光から通常光観察モードに対応した白色光を切り換えて出射可能である。そして、信号処理装置としてのビデオプロセッサ4Bは、該ビデオプロセッサ4BのR,G,Bチャンネルにそれぞれ入力される信号からR,G,Bの色信号を生成して、カラー表示装置としてのカラーモニタ5に出力する信号処理を行う。なお、ビデオプロセッサ4BのR,G,Bチャンネに入力された信号は、そのままカラーモニタ5のR,G,Bチャンネルに入力される。換言すると、ビデオプロセッサ4Bは、出力端がカラーモニタ5のR,G,Bチャンネルにそれぞれ接続されたR,G,Bチャンネル用の入力端65a,65b,65cを備えた3つの信号処理系42a,42b,42cを有する。
本実施形態の場合、(観察モードの切替に依存せずに又はいずれの観察モードの場合においても)第1の撮像素子としてのCCD62aはRチャンネル、第2及び第3の撮像素子としてのCCD62b,62cは、G、Bチャンネルにそれぞれ入力される。特に蛍光観察モードの場合において、第1の実施形態(段落0033)において説明したように第1の撮像素子、第2及び第3の撮像素子の出力信号を入力するチャンネルを上記の場合とは異なり、少なくともそれぞれ異なるチャンネルに入力するようにしても良い。また、蛍光観察モードの場合においてのみ、通常光観察モードの場合において設定された組み合わせのチャンネル(第1〜第3撮像素子の出力信号に対してそれぞれ組み合わされるR,G,Bチャンネル)と異なる組み合わせのチャンネルに設定するようにしても良い。
本実施形態の動作は、第1の実施形態において、Rフィルタを透過した光を受光する画素(つまり、Rフィルタの画素)を、ダイクロイックプリズム61aを透過した光を受光するCCD62aに読み替え、Gフィルタを透過した光を受光する画素(つまり、Gフィルタの画素)をダイクロイックプリズム61bを透過した光を受光するCCD62bに読み替え、Bフィルタを透過した光を受光する画素(つまり、Bフィルタの画素)をダイクロイックプリズム61cを透過した光を受光するCCD62cに読み替えると殆ど同じ作用となる。
但し、第1の実施形態においては、ビデオプロセッサ4は、色分離回路47において、蛍光(R),G,Bの画像信号に分離していたが、本実施形態においては、撮像部63が3つの撮像信号としての蛍光(R),G,Bの撮像信号を出力する構成となっている。そのため、蛍光(R),G,Bの撮像信号を、ビデオプロセッサ4Bの3つの信号処理系42a,42b,42cにそれぞれ入力させるようにしており、ビデオプロセッサ4Bは色分離を行わない。本実施形態は、第1の実施形態とほぼ同様の効果を有する。
次に第2の実施形態の変形例を説明する。以下の変形例は、生体に投与される蛍光薬剤による観察対象となる蛍光(画像)に対して、自家蛍光による影響を低減する蛍光観察内視鏡システムを提供するものとなる。
図15は第2の実施形態の第1変形例の蛍光観察内視鏡システム1Fの全体構成を示す。蛍光観察内視鏡システム1Fは、光学式内視鏡2Aにテレビカメラ2Cを装着した内視鏡2Dと、光源装置3Cと、ビデオプロセッサ4Bと、カラーモニタ5とを備える。光学式内視鏡2Aにテレビカメラ2Cを装着した内視鏡2Dの構成は、図13において説明しているため、その説明を省略する。また、ビデオプロセッサ4Bは、図13において説明したビデオプロセッサ4Bと同じ構成であり、その説明を省略する。
また、本変形例においては、蛍光薬剤として、第1の実施形態において説明したICGを採用している。また、内視鏡2Dは、第1の実施形態において説明した励起光カットフィルタ25を有する。本変形例の場合には、励起光カットフィルタ25は、図14に示す透過特性のものを採用できる。
図14においては、励起光カットフィルタ25の透過特性と共に、ダイクロイックプリズム61a,61b,61cの透過特性を示しているが図16Aに示すような特性のダイクロイックプリズム61a,61b,61cを採用しても良い。図16Aは、図4と実質的に同じ特性図となる。
また、図15に示す本変形例の光源装置3Cは、図2に示す光源装置3において、蛍光観察モードの場合に出射する照明光における一部の波長帯域を制限する励起フィルタ81を配置している。光源装置3C内の(制御装置又は制御部を形成する)発光制御部34は、切替スイッチ26により蛍光観察モードに切り替えられた場合には、フィルタ挿抜装置82を介して図15の実線で示すように照明光路上に配置し、通常光観察モードに切り替えられた場合には、2点鎖線で示すように照明光路から退避させるように制御する。なお、フィルタ挿抜装置82は、公知の装置を採用できる。また、回転可能なフィルタターレットを用いて構成しても良い。
図16Bは、励起フィルタ81を用いて、蛍光モードの場合に光源装置3Cが出射する照明光となる第1の波長帯域の光としての励起光の波長帯域(710〜790nm)と、第2及び第3の波長帯域の光としての参照光の波長帯域(450〜570nm)を示す。なお、図16Bにおいて、点線で示す450〜570nmの光が励起フィルタ81によりカットされた様子を示す。
第1の実施形態及び第2の実施形態の場合には、蛍光モードの場合においては、光源装置3は、図3Aに示す波長帯域の光をライトガイド13側に出射するが、本変形例においては、例えば集光レンズ33の直前の照明光路上に配置した励起フィルタ81により、参照光における一部の波長帯域(青の波長帯域)となる450nm以下の短波長帯域の光をカットする。励起フィルタ81は、例えば450nm以下の短波長帯域の光をカットし、450nmより長波長帯域側の参照光と、励起光とを透過する特性を有する。
このように本変形例における励起フィルタ81は、第2の実施形態が蛍光観察モードにおいて光源装置3が出射する照明光を形成する励起光及び参照光において、参照光における一部の波長帯域としての450nm以下の短波長帯域の光をカットし、以下に説明するように自家蛍光の発生を十分に低減する帯域制限装置又は帯域制限フィルタの機能を持つ。
本変形例においては、ダイクロイックプリズム61aを透過してCCD62aにより撮像した撮像信号から蛍光画像となるRチャンネルの画像信号を生成すると共に、2色の参照光画像(反射光画像)となるG,Bチャンネルの画像信号を生成し、蛍光画像、2色の参照光画像をカラーモニタ5のR,G,Bチャンネルにそれぞれ出力する。カラーモニタ5は、赤色の蛍光画像と、緑及び青色の参照光画像とを重畳して表示する。このため、本変形例(及び第2の実施形態の)信号処理系42a,42b,42cは、赤色の蛍光画像と、緑及び青色の参照光画像とを重畳して表示する重畳画像を生成する重畳画像生成部又は重畳画像生成回路を形成する。
本変形例におけるその他の構成は、第2の実施形態と同様である。従って、本変形例の作用は、第2の実施形態において蛍光観察モードに設定された場合、励起フィルタ81が設けたことによる作用のみが異なる。
以下に説明するように本変形例は、第2の実施形態において採用した参照光の波長帯域の一部を励起フィルタ81によってカットすることにより、自家蛍光の発生を十分に低減し、観察対象の蛍光薬剤による蛍光(画像)を精度良く抽出できるようにする。
本変形例は、自家蛍光が観察対象の蛍光薬剤による蛍光に混入する影響を低減する手段として、参照光における450nm以下の短波長帯域の光をカットした帯域制限するフィルタを備える。
図17は、生体が含む複数種類の自家蛍光物質と、対応する励起波長(のピーク)及び蛍光波長(のピーク)の関係を表形式で示す。なお、図17のデータは、「Handbook of Biomedical Fluorescence」は、発行年月日: April 16, 2003、編者: by Mary-Ann Mycek (Editor), Brian W. Pogue (Editor)から引用している。
例えば、コラーゲンIは、ピークが325nmの波長の励起光により、400nmでピークとなる自家蛍光を発生する。また、プロトポルフィリンは、ピークが410nmの波長の励起光により、630nm,690nmでピークとなる自家蛍光を発生する。図17に示す自家蛍光物質は、自家蛍光の波長のスペクトルの中心(ピーク)が、緑の波長帯域に含まれるものが多くある。しかし、例えばコラーゲンVI、プロトポルフィリンは、弱いながら赤の波長帯域の自家蛍光を発生する。
本変形例においては、蛍光薬剤としてのICGによる蛍光を、赤及び近赤外の波長帯域を透過するダイクロイックプリズム61aを用いて撮像する。
上記の自家蛍光物質は、励起波長が450nmより短波長側に存在するため、参照光における450nm以下の短波長の波長帯域の光をカットすれば、観察対象の蛍光に混入する可能性を持つ自家蛍光の発生を有効に低減できる。このため、本変形例においては、図16Bに示すように450nm以下の短波長の波長帯域の光をカットした参照光を採用するように参照光の波長帯域を帯域制限する。
本変形例は、基本的には第2の実施形態において、蛍光観察モードにおいて青の波長帯域の照明光(参照光)における450nm以下の短波長の波長帯域をカットした照明光(参照光)を採用する構成となる。
そのため、本変形例の作用効果として、第2の実施形態の作用効果と共に、更に自家蛍光の発生を低減し、蛍光薬剤による蛍光の検出の精度を向上したり、蛍光薬剤による蛍光画像のコントラストを向上することができる。従って、術者は、本変形例の画像から、自家蛍光の混入を実質的に低減できるため、適正な診断を行い易くなる。
なお、本変形例においては、自家蛍光を発生させる励起光となる波長帯域の光を(第2及び第3の波長帯域の光としての)参照光が含まないように、自家蛍光を発生させる波長帯域の光に相当する450nm以下の短波長の波長帯域の光を参照光の波長帯域から除外又は帯域制限しているが、450nm以下の短波長の波長帯域の光の一部のみを帯域制限しても良い。
本変形例においては、蛍光薬剤による蛍光を赤の波長帯域及び近赤外の波長帯域に感度を有するように設定された撮像素子によって撮像するため、この撮像素子が感度を有する波長帯域に自家蛍光を発生させる(励起波長がピークとなる)波長帯域の光を含まないように(参照光の波長帯域を)帯域制限するようにしても良い。図17の自家蛍光物質の場合には、少なくとも(励起波長がピークとなる)410nmを含む、例えば400nm〜420nmの波長帯域を参照光の波長帯域から除外するように帯域制限を行うようにしても良い。
換言すると、第2の波長帯域の光又は第3の波長帯域の光(つまり参照光)において、生体に投与された蛍光薬剤が発生する蛍光の波長帯域内又は当該蛍光の波長帯域の近傍に、自家蛍光を発生させる励起光となる波長帯域に相当する一部の波長帯域の光をカットするようにしても良い。
図18は第2の実施形態の第2変形例の蛍光観察内視鏡システム1Gの全体構成を示す。蛍光観察内視鏡システム1Gは、光学式内視鏡2Aにテレビカメラ2Cを装着した内視鏡2Dと、光源装置3Dと、ビデオプロセッサ4Bと、カラーモニタ5とを備える。光学式内視鏡2Aにテレビカメラ2Cを装着した内視鏡2Dの構成は、図13、図15に示したものと同じである。但し、本変形例は、蛍光薬剤としてFITCを採用する。このため、内視鏡2Dは、図19Aに示す透過特性の励起光カットフィルタ25bを備える。
また、ビデオプロセッサ4Bは、図13のものと同じ構成である。なお、本変形例では、FITCによる蛍光を検出して画像を生成するため、ビデオプロセッサ4Bは、ダイクロイックプリズム61bを通してCCD62bにより撮像した信号から蛍光の画像信号となるGチャンネンルの画像信号を生成すると共に、参照光画像となるR,Bチャンネルの画像信号を生成し、蛍光画像、2色の参照光画像をカラーモニタ5のG,R,Bチャンネルにそれぞれ出力する。
また、光源装置3Dは、図6に示す光源装置3において、蛍光観察モードの場合には集光レンズ33の直前の照明光路上に励起フィルタ83を配置し、通常光観察モードの場合には照明光路から励起フィルタ83を退避させる構成にしている。励起フィルタ83を配置しない図6の光源装置3は、蛍光観察モードの場合、図7に示す特性の励起光及び参照光をライトガイド13側に出射する。本変形例においても、励起フィルタ82を配置した光源装置3Dを採用することにより、この光源装置3Dは蛍光観察モードの場合、図19Bに示す特性の第1の波長帯域の光としての励起光と、第2及び第3の波長帯域の光としての参照光をライトガイド13側に出射する。図19に示す特性の光は、図7において、励起フィルタ82により450nm以下の短波長帯域側の光においては、420nm〜430nmのみを透過する特性となるように帯域制限する。
図17に示す自家蛍光物質は、420nm〜430nmにおいての励起波長(のピーク)を含まない。このため、本変形例においては、450nm以下の短波長側の光における420〜430nmを透過する特性の励起フィルタ82を採用している。なお、この励起フィルタ82は、450nmより長波長側の光を透過する特性を持つ。
本変形例においても、観察対象となる蛍光薬剤による蛍光の波長帯域の光となる緑の波長帯域の光を検出する場合、少なくともこの緑の波長帯域に自家蛍光による蛍光の混入を低減するように励起フィルタ82によって、(少なくとも緑の波長帯域の自家蛍光を低減させるように、緑の波長帯域の自家蛍光を主に発生させる波長帯域となる)参照光の波長帯域の一部を帯域制限している。
従って、本変形例によれば、第1変形例の場合と同様に自家蛍光の発生を低減し、蛍光薬剤による蛍光の検出の精度を向上したり、蛍光薬剤による蛍光画像のコントラストを向上することができる。従って、術者は、本変形例の画像から、自家蛍光の混入を実質的に低減できるため、適正な診断を行い易くなる。なお、自家蛍光による影響を低減する蛍光観察内視鏡システムとして、第2の実施形態に適用した場合を説明したが、第1の実施形態に適用することもできることは明らかである。例えば図2においての光源装置3において、蛍光観察モードの場合には点線で示すように励起フィルタ81を配置するような構成にしても良い。
また、図6においての光源装置3において、蛍光観察モードの場合には点線で示すように励起フィルタ83を配置するような構成にしても良い。
また、図12Aにおいては光源装置3においても蛍光観察モードの場合、実際に使用する蛍光薬剤に応じた照明光を出射するように3組のミラー保持装置72を照明光路上に選択的に配置する構成にしているが、さらに点線で示すようにそれぞれの蛍光薬剤に応じて帯域制限する励起フィルタ81等を配置するように制御しても良い。この場合、ミラー切替制御回路73が、実際に使用する蛍光薬剤に応じた励起フィルタを配置するように切り替えるようにすれば良い。このようにすると、複数種類の蛍光薬剤を用いて、蛍光観察ができると共に、蛍光薬剤による蛍光に、自家蛍光の蛍光が混入することを十分に低減又は排除でき、術者は蛍光画像による診断を適正に行うことができる。
なお、上述した実施形態を部分的に組み合わせる等して構成される実施形態も本発明に属する。
本出願は、2014年4月8日に日本国に出願された特願2014−79764号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、特許請求の範囲、図面に引用されたものとする。

Claims (11)

  1. 生体に投与した薬剤に照射することで蛍光を発光させる第1の波長帯域の光と、可視光であって前記第1の波長帯域の光よりも短い波長の波長帯域の第2の波長帯域の光と、可視光であって前記第1及び第2の波長帯域の光よりも短い波長の波長帯域の第3の波長帯域の光と、を同時に出射可能な1つの発光体を有し、通常光観察モードのときに前記第2の波長帯域の光と前記第3の波長帯域の光とを透過する第1のフィルタを介して前記第2の波長帯域の光と前記第3の波長帯域の光とを同時に出射し、蛍光観察モードのときに前記第1の波長帯域の光と前記第3の波長帯域の光とを透過する第2のフィルタを介して前記第1の波長帯域の光と前記第3の波長帯域の光とを同時に出射する光源装置と、
    前記第1の波長帯域の光と前記第2の波長帯域の光と前記第3の波長帯域の光とを導光可能であって、導光した光を前記生体に照射するライトガイドと、
    前記蛍光と、前記第2及び第3の波長帯域の光の反射光とを同時に受光する撮像素子を有するよう構成された撮像部と、
    前記撮像部が取得した前記蛍光の撮像信号と、前記第2及び第3の波長帯域の光の反射光から取得した第2及び第3の撮像信号とから、それぞれ異なる色で表示するカラー表示画像を生成する画像処理を行う信号処理装置と、
    を備えることを特徴とする蛍光観察内視鏡システム。
  2. 前記発光体は、キセノンランプであることを特徴とする請求項1に記載の蛍光観察内視鏡システム。
  3. 前記撮像部は、前記通常光観察モードのときに第2の波長帯域の光の反射光を受光し前記蛍光観察モードのときに前記蛍光を受光する第1の撮像素子と、前記通常光観察モード及び前記蛍光観察モードのときに前記第3の波長帯域の光のうち長波長の光の反射光を受光する第2の撮像素子と、前記通常光観察モード及び前記蛍光観察モードのときに前記第3の波長帯域の光のうち短波長の光の反射光を受光する第3の撮像素子と、
    を具備し、
    前記信号処理装置は、前記通常光観察モード及び前記蛍光観察モードのときに、Rチャンネル,Gチャンネル,Bチャンネルにそれぞれ入力される信号からR,G,Bの色信号を生成して、カラー表示装置に出力する信号処理を行い、
    前記第1の撮像素子の撮像信号は前記Rチャンネル、前記第2の撮像素子の撮像信号は前記Gチャンネル、第3の撮像素子の撮像信号は前記Bチャンネルにそれぞれ入力されることを特徴とする請求項1に記載の蛍光観察内視鏡システム。
  4. 前記第1の波長帯域の光は近赤外光であり、前記第2の波長帯域の光は赤色光であり、前記第3の波長帯域の光は緑色光及び青色光であることを特徴とする請求項3に記載の蛍光観察内視鏡システム。
  5. 前記撮像部は、前記第1の撮像素子として、前記第2及び第3の波長帯域の光を受光する場合の感度よりも、前記蛍光の波長帯域の光に対する感度の方が大きくなるように設定されたものを備えることを特徴とする請求項4に記載の蛍光観察内視鏡システム。
  6. 前記撮像部は、前記第2及び第3の撮像素子として、前記蛍光に対する感度が前記第1の撮像素子よりも低くなるように設定されたものを備えることを特徴とする請求項4に記載の蛍光観察内視鏡システム。
  7. 前記信号処理装置は、前記蛍光の撮像信号に対する信号レベルを、前記第2及び第3の撮像信号の信号レベルよりも数10倍以上のゲインに調整するゲイン調整回路を備えることを特徴とする請求項4に記載の蛍光観察内視鏡システム。
  8. 更に、前記光源装置は、前記第2の波長帯域の光又は前記第3の波長帯域の光において、前記生体に含まれる自家蛍光物質が自家蛍光を発生させる励起光となる波長帯域に相当する一部の波長帯域の光をカットする帯域制限装置を備えることを特徴とする請求項4に記載の蛍光観察内視鏡システム。
  9. 前記帯域制限装置は、前記第2の波長帯域の光又は前記第3の波長帯域の光における少なくとも450nm以下の短波長帯域における一部の波長帯域の光の透過をカットする帯域制限フィルタにより構成されることを特徴とする請求項8に記載の蛍光観察内視鏡システム。
  10. 前記帯域制限装置は、前記第2の波長帯域の光又は前記第3の波長帯域の光において、前記生体に投与された前記薬剤が発生する蛍光の波長帯域内又は当該蛍光の波長帯域の近傍に、前記自家蛍光を発生させる励起光となる波長帯域に相当する一部の波長帯域の光をカットすることを特徴とする請求項8に記載の蛍光観察内視鏡システム。
  11. 前記光源装置が前記第1から前記第3の波長帯域の光を出射して、前記信号処理装置が前記撮像部から出力される前記蛍光の撮像信号と、前記第2及び第3の撮像信号とからそれぞれ異なる3色で表示するカラ−表示画像を生成する処理を行う蛍光観察モードと、前記光源装置が前記第1から前記第3の波長帯域の光の代わりに白色光を出射して、前記信号処理装置が前記撮像部から出力される赤、緑、青の3つの波長帯域の撮像信号に対してそれぞれ異なる3色で表示するカラ−表示画像を生成する処理を行う通常光観察モードとを切り替える操作を行うモード切替スイッチを有し、
    更に、前記光源装置は、
    前記第2の波長帯域の光又は前記第3の波長帯域の光において、前記生体に含まれる自家蛍光物質が自家蛍光を発生させる励起光となる波長帯域に相当する一部の波長帯域をカットする帯域制限装置と、
    前記モード切替スイッチにより前記蛍光観察モードに切り替えられた場合には前記帯域制限装置を照明光路上に配置し、前記通常光観察モードに切り替えられた場合には前記帯域制限装置を照明光路から退避させるように制御する制御装置と、
    を備えることを特徴とする請求項4に記載の蛍光観察内視鏡システム。
JP2016174076A 2014-04-08 2016-09-06 蛍光観察内視鏡システム Active JP6184571B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014079764 2014-04-08
JP2014079764 2014-04-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015556283A Division JP6005303B2 (ja) 2014-04-08 2015-03-27 蛍光観察内視鏡システム

Publications (2)

Publication Number Publication Date
JP2016198634A JP2016198634A (ja) 2016-12-01
JP6184571B2 true JP6184571B2 (ja) 2017-08-23

Family

ID=54287730

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015556283A Active JP6005303B2 (ja) 2014-04-08 2015-03-27 蛍光観察内視鏡システム
JP2016174076A Active JP6184571B2 (ja) 2014-04-08 2016-09-06 蛍光観察内視鏡システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015556283A Active JP6005303B2 (ja) 2014-04-08 2015-03-27 蛍光観察内視鏡システム

Country Status (5)

Country Link
US (1) US20170020377A1 (ja)
EP (1) EP3111822A4 (ja)
JP (2) JP6005303B2 (ja)
CN (1) CN106132276B (ja)
WO (1) WO2015156153A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3216385A4 (en) * 2015-05-28 2018-08-22 Olympus Corporation Light source device
EP3329832A1 (en) * 2015-07-30 2018-06-06 Olympus Corporation Camera head for endoscopes, and endoscopic device provided with same
CN107405053B (zh) * 2015-10-22 2019-08-02 奥林巴斯株式会社 内窥镜系统
JP6211229B2 (ja) 2015-11-04 2017-10-11 オリンパス株式会社 画像処理装置、及び内視鏡システム
JP6710151B2 (ja) * 2016-12-02 2020-06-17 富士フイルム株式会社 内視鏡装置及び内視鏡装置の作動方法
NL2018494B1 (en) 2017-03-09 2018-09-21 Quest Photonic Devices B V Method and apparatus using a medical imaging head for fluorescent imaging
DE112018003134T5 (de) * 2017-08-28 2020-03-05 Hoya Corporation Endoskoplichtquellenvorrichtung und Endoskopsystem
WO2019176253A1 (ja) 2018-03-15 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
JP2021097254A (ja) 2018-03-23 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、撮像装置および医療用撮像装置
JP2019185002A (ja) * 2018-04-11 2019-10-24 ソニー株式会社 顕微鏡システム及び医療用光源装置
JP6467746B1 (ja) * 2018-04-20 2019-02-13 パナソニックIpマネジメント株式会社 内視鏡システムおよび内視鏡システムの作動方法
WO2019244248A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2020012563A1 (ja) * 2018-07-10 2020-01-16 オリンパス株式会社 内視鏡装置、処理装置及び処理方法
WO2020012564A1 (ja) * 2018-07-10 2020-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN112601486B (zh) * 2018-10-22 2024-05-24 奥林巴斯株式会社 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法
EP3667299B1 (en) * 2018-12-13 2022-11-09 Imec VZW Multimodal imaging system
JP7224963B2 (ja) * 2019-03-01 2023-02-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
EP3977953A4 (en) * 2019-05-28 2022-08-10 Sony Group Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING DEVICE CONTROL METHOD, MEDICAL IMAGING SYSTEM AND MEDICAL SIGNAL ACQUISITION SYSTEM
WO2020247896A1 (en) * 2019-06-07 2020-12-10 The Board Of Trustees Of The Leland Stanford Junior University Optical systems and methods for intraoperative detection of csf leaks
JP7155430B2 (ja) * 2019-07-09 2022-10-18 富士フイルム富山化学株式会社 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
KR102372603B1 (ko) * 2019-10-30 2022-03-08 한국전기연구원 기능영상 제공 의료 시스템
JPWO2021186803A1 (ja) * 2020-03-19 2021-09-23
JP2021149558A (ja) * 2020-03-19 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システムおよび画像処理方法
US11599999B2 (en) * 2021-02-03 2023-03-07 Verily Life Sciences Llc Apparatus, system, and method for fluorescence imaging with stray light reduction
DE102022133968A1 (de) * 2022-12-19 2024-06-20 Karl Storz Se & Co. Kg Beleuchtungsvorrichtung zur Bereitstellung von Beleuchtungslicht für ein Bildgebungsinstrument, Bildgebungsvorrichtung, Verfahren zum Einstellen einer Beleuchtungsvorrichtung und Verfahren zur Erzeugung von Beleuchtungslicht

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
US7172553B2 (en) * 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
US6899675B2 (en) * 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US20040225222A1 (en) * 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
JP4139276B2 (ja) * 2003-06-17 2008-08-27 オリンパス株式会社 電子内視鏡装置及び信号処理装置
US20060173358A1 (en) * 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
US8301229B2 (en) * 2005-05-12 2012-10-30 Olympus Medical Systems Corp. Biological observation display apparatus for presenting color or spectral images
US8690765B2 (en) * 2005-06-08 2014-04-08 Olympus Medical Systems Corp. Endoscope apparatus and image processing apparatus
JP4643481B2 (ja) * 2006-03-23 2011-03-02 オリンパスメディカルシステムズ株式会社 画像処理装置
JP4954858B2 (ja) * 2007-11-30 2012-06-20 オリンパス株式会社 蛍光観察装置および内視鏡装置
RU2510235C2 (ru) * 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
US8169468B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot
JP5396121B2 (ja) * 2009-03-26 2014-01-22 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
EP2384686B8 (en) * 2009-04-21 2013-01-16 Olympus Medical Systems Corp. Fluorescence image device and fluorescence image acquiring method
US20110071403A1 (en) * 2009-09-21 2011-03-24 Board Of Regents Of The University Of Texas System Functional near-infrared fluorescence lymphatic mapping for diagnosing, accessing, monitoring and directing therapy of lymphatic disorders
JP5435796B2 (ja) * 2010-02-18 2014-03-05 富士フイルム株式会社 画像取得装置の作動方法および画像撮像装置
CN102893137B (zh) * 2010-03-17 2017-01-11 曾海山 用于癌症检测和定位的快速多光谱成像方法和设备及应用
JP5649947B2 (ja) * 2010-12-21 2015-01-07 富士フイルム株式会社 光計測システムおよび光計測システムの作動方法
WO2012124227A1 (ja) * 2011-03-15 2012-09-20 オリンパスメディカルシステムズ株式会社 医療装置
JP2012217673A (ja) * 2011-04-11 2012-11-12 Fujifilm Corp 内視鏡診断装置
WO2012140970A1 (ja) * 2011-04-11 2012-10-18 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置
US9407838B2 (en) * 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
JP5931031B2 (ja) * 2013-09-23 2016-06-08 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5925169B2 (ja) * 2013-09-27 2016-05-25 富士フイルム株式会社 内視鏡システム及びその作動方法並びに内視鏡用光源装置
DE102013111368A1 (de) * 2013-10-15 2015-04-16 Karl Storz Gmbh & Co. Kg Endoskopische, exoskopische oder mikroskopische Vorrichtung zur Fluoreszenzdiagnose
CN105764401A (zh) * 2013-11-28 2016-07-13 奥林巴斯株式会社 荧光观察装置
JP6460631B2 (ja) * 2014-02-19 2019-01-30 オリンパス株式会社 撮像装置、内視鏡装置及び顕微鏡装置

Also Published As

Publication number Publication date
EP3111822A4 (en) 2018-05-16
JP2016198634A (ja) 2016-12-01
CN106132276B (zh) 2018-08-07
CN106132276A (zh) 2016-11-16
US20170020377A1 (en) 2017-01-26
WO2015156153A1 (ja) 2015-10-15
EP3111822A1 (en) 2017-01-04
JP6005303B2 (ja) 2016-10-12
JPWO2015156153A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6184571B2 (ja) 蛍光観察内視鏡システム
US9906739B2 (en) Image pickup device and image pickup method
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US9943230B2 (en) Endoscope system, processor device of endoscope system, and image processing method
JP4744288B2 (ja) 内視鏡装置
JP4855728B2 (ja) 照明装置及び観察装置
JP5371946B2 (ja) 内視鏡診断装置
EP2384686B1 (en) Fluorescence image device and operation method
KR101050882B1 (ko) 생체 관측 시스템
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP2004024611A (ja) 蛍光観察用画像処理装置
JP2009039510A (ja) 撮像装置
US10805512B2 (en) Dual path endoscope
JP5539841B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
WO2020095671A1 (ja) 画像取得システム及び画像取得方法
EP1769730A1 (en) Light source device and fluorescence observation system
WO2016139768A1 (ja) 画像処理装置、生体観察装置および画像処理方法
JP2012217673A (ja) 内視鏡診断装置
JP4716801B2 (ja) 内視鏡撮像システム
JP5331394B2 (ja) 内視鏡装置
JP4242578B2 (ja) 内視鏡装置
JP6277068B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5764472B2 (ja) 内視鏡診断装置
JP4526322B2 (ja) 内視鏡装置
JP2013102897A (ja) 内視鏡診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160906

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160908

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170725

R151 Written notification of patent or utility model registration

Ref document number: 6184571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250