JP4297887B2 - 蛍光内視鏡装置 - Google Patents

蛍光内視鏡装置 Download PDF

Info

Publication number
JP4297887B2
JP4297887B2 JP2005158159A JP2005158159A JP4297887B2 JP 4297887 B2 JP4297887 B2 JP 4297887B2 JP 2005158159 A JP2005158159 A JP 2005158159A JP 2005158159 A JP2005158159 A JP 2005158159A JP 4297887 B2 JP4297887 B2 JP 4297887B2
Authority
JP
Japan
Prior art keywords
light
fluorescence
filter
image
wavelength band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005158159A
Other languages
English (en)
Other versions
JP2005261974A (ja
Inventor
克一 今泉
一成 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005158159A priority Critical patent/JP4297887B2/ja
Publication of JP2005261974A publication Critical patent/JP2005261974A/ja
Application granted granted Critical
Publication of JP4297887B2 publication Critical patent/JP4297887B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、患部等の部位からの蛍光を観察することができる蛍光内視鏡装置に関する。
近年、体腔内に挿入部を挿入することにより、食道、胃、小腸、大腸等の消化管や肺等の気管を観察したり、必要に応じて処置具チャンネル内に挿通した処置具を用いて各種の治療処理のできる内視鏡が利用されている。特に、電荷結合素子(CCD)等の電子撮像デバイスを用いた電子内視鏡は、モニタ上に画像を表示でき内視鏡を操作する術者の疲労が少ないために、広く使用されている。
ところで、最近、蛍光物質を予め検査対象者の体内に投与し、蛍光物質を励起する励起光を照射することにより蛍光画像を得る診断法が注目されている。特に、被写体に白色光を照射して得られる通常光画像と励起光を照射して得られる蛍光画像の双方を観察できる装置は診断能の向上が期待できる。
そのような装置として、例えば特開平7−59783号公報においては、蛍光物質励起用の波長帯域と通常観察用の可視域の波長帯域の光を、回転フィルタによって切り替えながら照射する装置が開示されている。
しかしながら、一般に励起光照射時に観察される蛍光は微弱で、通常観察光照射時に観察される反射光と比べると極めて暗いために、蛍光画像と通常画像の双方を適当な明るさで得ることはできなかった。
また、蛍光物質が発する蛍光は微弱であるために、得られる蛍光画像は画質の悪いものとなっていた。
また、蛍光物質が生体に対して透過性の良い赤外の蛍光を発する場合には、蛍光と同じ波長帯域に体外からの光が混入し、ノイズとなることがあった。
(発明の目的)
本発明は上述した点に鑑みてなされたもので、蛍光と通常光との双方を適当な明るさで観察でき、しかも増幅が固体撮像素子内部で行われるので外部からのノイズの影響が少なく、またクロック状の制御信号の振幅を大きして固体撮像素子内部で増幅率を高くすることによって微弱な光でも明るく観察することができる蛍光内視鏡装置を提供することをもくてきとする。
本発明の第1の態様による蛍光内視鏡装置は、検査対象部位から発せられた蛍光を観察する蛍光内視鏡装置において、前記検査対象部位に前記蛍光の励起光を含む第1の波長帯域の光を照射する光源手段と、前記検査対象部位からの光を撮像するため、生体内に挿入可能な内視鏡挿入部の先端部に配置され、外部からのクロック状の制御信号としての転送クロックの振幅を制御して内部で得られる信号の増幅率が可変な固体撮像素子と、前記第1の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号の増幅率を変えるため該固体撮像素子に与えるクロック状の制御信号としての前記転送クロックの振幅を制御する固体撮像素子駆動手段と、を具備している。
本発明の第2の態様による蛍光内視鏡装置は、前記第1の態様による蛍光内視鏡装置において、前記光源手段は、可視光を含む第2の波長帯域の光を照射し、前記第1の波長帯域の光の照射と第2の波長帯域の光の照射とを切り換える切替手段を有し、前記固体撮像素子駆動手段は、前記切替手段による切替に応じて、前記第1の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号を、前記第2の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号よりも高い増幅率で増幅させるよう、前記クロック状の制御信号としての前記転送クロックの振幅を大きくする。
本発明の第3の態様による蛍光内視鏡装置は、検査対象部位から発せられた蛍光を観察する蛍光内視鏡装置において、
前記検査対象部位に前記蛍光の励起光を含む第1の波長帯域の光、及び可視光を含む第2の波長帯域の光を照射を照射すると共に、検査対象部位に前記蛍光の励起光を含む第1の波長帯域の光を照射する蛍光像観察には、前記可視光を含む第2の波長帯域の光を照射する通常光像観察に比して照射強度を増加させる光源手段と、
前記第1の波長帯域の光の照射と第2の波長帯域の光の照射とを切り換える切替手段と、
前記検査対象部位からの光を撮像するため、生体内に挿入可能な内視鏡挿入部の先端部に配置され、外部からの制御信号としての転送クロックの振幅を制御して内部で得られる信号の増幅率が可変な固体撮像素子と、
前記切替手段による切替に応じて、前記第1の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号を、前記第2の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号よりも高い増幅率で増幅させるよう、前記転送クロックの振幅を大きくなるよう制御する固体撮像素子駆動手段と、
を具備している。
本発明の第4の態様による蛍光内視鏡装置は、前記第2の態様による蛍光内視鏡装置において、前記切換手段は、蛍光像観察の前記第1の波長帯域の光の照射と通常光像観察の第2の波長帯域の光の照射とを切り換えることに加えて、前記第1の波長帯域の光の照射と第2の波長帯域の光の照射とを交互に照射する蛍光像・通常光像同時観察の切替を有する。
本発明の第5の態様による蛍光内視鏡装置は、前記第2の態様による蛍光内視鏡装置において、前記光源手段は、不可視光帯域から可視光帯域を含む光を放射するランプと、このランプによる照明光路上に設けられて、可視光帯域の光成分のみ透過する可視光透過フィルタ部と及び不可視光帯域の光成分のみ透過する不可視光透過フィルタ部を有する帯域制限回転フィルタと、前記ランプからの光量を制限する絞りと、赤、緑、青の光を順次透過するRGB回転フィルタと、前記ランプの発光を制御するランプ発光制御回路と、
を備え、
通常光像観察時には、前記帯域制限回転フィルタの可視光透過フィルタ部を前記光路上に固定し、かつRGB回転フィルタを所定回転速度で回転して赤、緑、青の光を順次透過して被検査対象部位に照射し、
蛍光像観察時には、前記帯域制限回転フィルタの不可視光透過フィルタ部を前記光路上に固定し、かつRGB回転フィルタを所定回転速度で回転して励起光の波長帯域の赤外光を被検査対象部位に照射する。
本発明の第6の態様による蛍光内視鏡装置は、前記第5の態様による蛍光内視鏡装置において、前記ランプは、赤外波長帯域から可視光帯域を含む光を放射するものであり、
前記帯域制限回転フィルタは、可視光帯域の光成分のみ透過する可視光透過フィルタ部と及び赤外光波長帯域の光成分のみ透過する赤外光透過フィルタ部を有する。
本発明によれば、蛍光と通常光との双方を適当な明るさで観察でき、しかも増幅が固体撮像素子内部で行われるので外部からのノイズの影響が少なく、またクロック状の制御信号の振幅を大きして固体撮像素子内部で増幅率を高くすることによって微弱な光でも明るく観察することができる。
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図11は、本発明の第1の実施の形態に係り、図1は、第1の実施の形態の蛍光内視鏡装置の全体の構成を示すブロック図、図2は帯域制限回転フィルタの構成を示す説明図、図3は帯域制限回転フィルタの分光透過特性を示す説明図、図4はRGB回転フィルタの構成を示す説明図。図5はRGB回転フィルタの分光透過特性を示す説明図、図6は励起光カットフィルタの分光透過特性を示す説明図、図7はフィルタ絞りの構成を示す説明図、図8はフィルタ絞りの分光透過特性を示す説明図、図9は通常光観察時の動作を示す説明図、図10は蛍光観察時の動作を示す説明図、図11は通常光・蛍光同時観察時の動作を示す説明図である。本実施の形態の目的は蛍光による画像はより明るく、通常光による画像はより深い被写体深度で観察することができる蛍光内視鏡装置を提供することにある。
図1に示す本発明の第1の実施の形態の蛍光内視鏡装置1Aは、体腔内に挿入して観察するための電子内視鏡2Aと、通常観察用の光及び励起用光を発する光源装置3Aと、信号処理を行うプロセッサ4Aと、通常光による画像と蛍光による画像を表示するモニタ5と、レーザ光による処置を行うレーザ光源6とにより構成される。
電子内視鏡2Aは体腔内に挿入される細長の挿入部7を有し、この挿入部7の先端部17には撮像手段を内蔵している。この挿入部7内には通常観察のための照明光及び励起光を伝送するライトガイドファイバ8が挿通され、このライトガイドファイバ8の手元側の入射端は光源装置3Aに着脱自在に接続することができる。
光源装置3Aは、赤外波長帯域から可視光帯域を含む光を放射するランプ10と、このランプ10による照明光路上に設けられた帯域制限する回転フィルタ11と、ランプ10からの光量を制限する照明光絞り12と、RGB回転フィルタ13と、集光するコンデンサレンズ14とを備えている。
帯域制限フィルタ11及びRGB回転フィルタ13はそれぞれモータ15、16により回転駆動される。
帯域制限フィルタ11は図2に示すように可視光透過フィルタ11aと、赤外光透過フィルタ11bとが設けられている。また、図3は可視光透過フィルタ11aの透過特性と赤外光透過フィルタ11bの透過特性を示している。
そして、ランプ10の光は可視光透過フィルタ11a或いは赤外光透過フィルタ11bにより可視光帯域或いは赤外帯域の光成分のみが抽出され、照明光絞り12により光量が制御されてRGB回転フィルタ13に入射される。
このRGB回転フィルタ13は図4に示すように、周方向にR、G、B透過フィルタ13a、13b、13cが3等分するように設けてあり、モータ16で回転駆動されることによりそれぞれが光路中に順次介挿される。
また、R、G、B透過フィルタ13a、13b、13cの透過特性を図5に示す。Rフィルタ13a、Gフィルタ13b、Bフィルタ13cの分光透過特性は、赤、緑、青の波長領域の光の他に、インドシアニングリーン(ICG)誘導体標識抗体を励起する波長の光も透過するようになっている。
RGB回転フィルタ13を通った光はコンデンサレンズ14により集光されてライトガイドファイバ8の入射端に照射される。そして、このライトガイドファイバ8によって光が伝送され、挿入部7の先端部17に固定された先端面からさらに照明窓に取り付けた照明レンズ18を経て体腔内の(被検査対象物或いは)被検査体19側に出射する。
被検査体19の体内に、癌などの病巣部に対して親和性をもつ蛍光物質としてICG誘導体標識抗体が予め投与されていると、770〜780nm付近の赤外光の照射により励起し、810〜820nm付近の赤外域の蛍光が発生する。
先端部17にはこの照明窓に隣接して観察窓が設けてあり、この観察窓には対物レンズ20が取り付けてあり、照明された被検査体19からの反射光及び蛍光を集光して結像位置にその像を結ぶ。この結像位置には固体撮像素子としてCCD21が配置されており、光電変換する。この対物レンズ20とCCD21とは撮像手段を構成する。
本実施の形態では対物レンズ20とCCD21との間の撮像光路上に入射光量を制限する絞り手段として波長依存性を持つ透過特性のフィルタ絞り22を配置すると共に、励起光をカットする励起光カットフィルタ23も配置している。
フィルタ絞り22は、例えば図6に示すように同心円状に3つの部分に分かれている。
つまり、最も内側に形成された円形状の可視光透過部22a、その外側に形成されたリング形状の可視光非透過部22b、その外側に形成されたリング形状の遮光部22cとが設けられている。
これらの可視光透過部22a、可視光非透過部22b及び遮光部22cの透過特性を図7に示す。
最も内側の小さな円形領域の可視光透過部22aは可視光帯域から赤外帯域までほぼフラットな透過特性を有し、可視光非透過部22bは、可視光域は透過せず、赤外域の蛍光の波長帯域の光は透過するフィルタ特性を持つ。従って、フィルタ絞り22は、可視光に対しては小さな透過断面積或いは小さな透過領域の可視光透過部22aのみが光を透過するので、開口量の小さい絞りの役目をし、赤外帯域の蛍光に対しては可視光透過部22aと可視光非透過部22bの双方が光を透過するので開口量の大きい絞りの役目をすることになる。なお、最も外側の遮光部22cは可視光及び赤外光の全波長帯域の光を遮光する。
CCD21で光電変換された画像信号はプロセッサ4A内の信号を増幅するプリアンプ24、ゲインの自動調整を行うオートゲインコントロール(AGC)回路25、A/D変換回路26、切換を行うマルチプレクサ回路27、画像を一時記憶する第1のフレームメモリ28、第2のフレームメモリ29、画像強調などの処理をする画像処理回路30、画像表示の制御を行う画像表示制御回路31、D/A変換回路32を経てモニタ5に出力される。
また、このプロセッサ4Aはプリアンプ24を通した信号に基づいて照明光絞り12の開口量を制御する自動調光回路33、蛍光内視鏡装置1A全体の同期をとるタイミング制御回路34を備えている。
また、レーザ治療用のレーザ光を発生するレーザ光源6にはレーザ光を導くレーザガイド37が接続され、このレーザガイド37は、電子内視鏡2Aに設けた鉗子チャネル36に挿入できる構造になっている。
また、プロセッサ4Aのフロントパネル等には観察モード選択スイッチが設けてあり、この観察モード選択スイッチにより、可視光による通常の内視鏡画像で観察する通常観察モード、蛍光による蛍光画像で観察する蛍光観察モード、蛍光及び通常の内視鏡画像で観察する蛍光・通常観察モードを選択することができるようにしている。
つまり、観察モード選択スイッチにより選択を行うと、その指示はタイミング制御回路34に入力され、このタイミング制御回路34はモータ15、16及びマルチプレクサ27の切換制御を行い、図9ないし図11で示す各モードに対応した制御を行う。
例えば、通常観察モードを選択した場合には、タイミング制御回路34は帯域制限回転フィルタ11の可視光透過フィルタ11aが光路上に固定されるようにモータ15の回転量を制御し、かつRGB回転フィルタ13が毎秒30回転するようにモータ16の回転制御を行う。
また、この状態での照明、つまりR、G、Bの順次照明のもとでCCD21での撮像により得られる画像信号をマルチプレクサ27の切換を制御して第1のフレームメモリ28又は第2のフレームメモリ29に記憶されるようにする。
また、蛍光観察モードを選択した場合には、タイミング制御回路34は帯域制限回転フィルタ11の赤外光透過フィルタ11bが光路上に固定されるようにモータ15の回転量を制御し、かつRGB回転フィルタ13が毎秒30回転するようにモータ16の回転制御を行う。
また、この状態での照明、つまり赤外光の照射のもとでCCD21での撮像により得られる蛍光の画像信号をマルチプレクサ27の切換を制御して第1のフレームメモリ28又は第2のフレームメモリ29に記憶されるようにする。
さらに蛍光・通常観察モードを選択した場合には、タイミング制御回路34は帯域制限回転フィルタ11を毎秒90回転するようにモータ15の回転を制御し、かつRGB回転フィルタ13が毎秒30回転するようにモータ16の回転制御を行う。
また、この状態での照明、つまりR、赤外光、G、赤外光、B、赤外光の順次照射のもとでCCD21での撮像により得られる赤、蛍光、緑、蛍光、青、蛍光の画像信号をマルチプレクサ27の切換を制御して可視光の画像信号を第1のフレームメモリ28に、蛍光の画像信号を第2のフレームメモリ29に記憶されるように制御する。
本実施の形態では撮像手段の光路上に入射光量を制限するフィルタ絞り22で形成した絞り手段を設け、このフィルタ絞り22は可視光に対しては中央の小さな円形部分のみが可視光が透過できる開口となり、一方蛍光に対しては中央の小さな円形部分と、その外側のリング形状の開口部分とが蛍光が透過できる開口となるように可視光透過部22aと、可視光非透過部22bとを形成して、可視光に対しては入射光量を大幅に絞り、深い被写界深度の画像が得られるようにすると共に、蛍光に対しては入射光量をあまり絞らないで、明るい画像が得られるようにしていることが特徴となっている。
次に、このように構成された蛍光内視鏡装置1Aの動作について説明する。 被検査体19の体内には、癌などの病巣部に対して親和性をもち、赤外域の光で励起し、かつ赤外域で蛍光を発する蛍光物質として例えばICG誘導体標識抗体が投与される。
このICG誘導体標識抗体の場合は、770〜780nm付近の赤外光の照射で励起し、810〜820nm付近の赤外蛍光を発生する。従って、体内に励起光を照射すると病変部からは蛍光が多く発せられ、この蛍光を検出することにより病変の有無を確認できる。
光源装置3Aのランプ10は、キセノンランプであり、可視光領域及びICG誘導体標識抗体の励起波長を含む波長帯域の光が放射される。ランプ10から放射された光は帯域制限回転フィルタ11に入射される。
この帯域制限回転フィルタ11は、図2に示すように、円形のフィルタ板を2分して半分の領域が可視光透過フィルタ11a、残りの半分の領域が赤外光透過フィルタ11bの領域となっている。
この可視光透過フィルタ11aは、図3の実線の分光透過特性に示すように赤、緑、青を含む可視光領域を透過する帯域フィルタである。また、赤外光透過フィルタ11bは、点線で示すようにICG標識抗体を励起する波長帯域のみを透過し、蛍光の波長帯域等の光を遮断する帯域フィルタである。
この帯域制限回転フィルタ11を通過した光は、照明光絞り12により光量を調整され、RGB回転フィルタ13に入射される。
RGB回転フィルタ13は、図4に示すように、フィルタ板を3等分するようにRフィルタ13a、Gフィルタ13b、Bフィルタ13cが配置されている。それぞれのフィルタの分光透過特性は、図5に示すように、赤、緑、青の波長領域の光の他に、ICG誘導体標識抗体を励起する波長の光も透過する。
通常光観察時には、帯域制限回転フィルタ11の可視光透過フィルタ11aが光路上に固定され、RGB回転フィルタ13は毎秒30回転することにより、赤、緑、青の光が順次照射される(図9参照)。
蛍光観察時には帯域制限回転フィルタ11の赤外光透過フィルタ11bが光路上に固定され、RGB回転フィルタ13は毎秒30回転することにより、励起光の波長帯域の赤外光が照射される(図10参照)。
また、蛍光像と通常光像を同時観察する場合には、RGB回転フィルタ13は毎秒30回転し、帯域制限回転フィルタ11は毎秒90回転することにより、赤、励起光、緑、励起光、青、励起光と順次照射される(図11参照)。
このときタイミング制御回路34は、RGB回転フィルタ13と帯域制限回転フィルタ11が同期して回転するように制御する。
このRGB回転フィルタ13を透過した光は、電子内視鏡2Aのライトガイドファイバ8の入射端に入射され、このライトガイドファイバ8により伝送される。そして、ライトガイドファイバ8の先端面から被検査体19に照射される。電子内視鏡2Aや光源装置3Aの光学系は、全て赤外域にも対応した設計になっている。被検査体19では、照射光が生体組織により吸収、反射されると共に、病巣部からは投与した蛍光物質に起因する蛍光が発せられる。
被検査体19からの反射光と蛍光は、光路上に配置されたフィルタ絞り22、励起光カットフィルタ23を経てCCD21で撮像される。フィルタ絞り22は、図6に示すように同心円状に中心から可視光透過部22a、可視光非透過部22b、遮光部22cから成っており、それぞれの分光透過特性は図7に示すようになっている。
可視光非透過部22bは、可視光は透過せず、赤外の蛍光の波長帯域の光は透過する。従って、フィルタ絞り22は、可視光に対しては可視光透過部22aのみが光を透過するので小さい開口量の絞りの役目をし、赤外蛍光に対しては可視光透過部22aと可視光非透過部22bの双方が光を透過するので大きい開口量の絞りの役目をすることになる。
そのため、通常光(可視光)観察時には被写体深度が深くシャープな可視光の像がCCD21上に形成され、蛍光観察時には、明るい蛍光の像がCCD21上に形成される。可視光を用いた通常光観察時には、生体組織の色や形状から病変部を判別するのでシャープな画像を得る必要があるが、蛍光観察は存在診断であり、病変の有無が画像の明るさとして得られるだけなので、空間分解能の高いシャープな画像を得るよりも、より明るい画像を得ることが必要となり、本実施の形態はこれを満足している。
励起光カットフィルタ23はICG誘導体標識抗体の励起光成分を遮断し、蛍光成分と可視光成分を透過するように構成されており、その分光透過特性は図8に示すようになっている。
従って、CCD21では、RGB回転フィルタ13と帯域制限回転フィルタ11の位置に応じて、赤、緑、青の可視光、あるいは赤外の蛍光を受光する。CCD21は、図示しないCCD駆動回路によってRGB回転フィルタ13、帯域制限フィルタ11の回転に同期して駆動され、帯域制限回転フィルタ11の回転の有無に応じて毎秒180フレームあるいは毎秒90フレームの画像を形成する(図9〜図11参照)。
CCD21からの電気信号は、プロセッサ4Aのプリアンプ24に入力され、増幅された後、AGC回路25によりゲインの調整が行われる。その後、信号はA/D変換回路26に入力され、アナログ信号からデジタル信号に変換される。 このデジタル信号は、マルチプレクサ27を介して第1のフレームメモリ28又は第2のフレームメモリ29に記憶される。
マルチプレクサ27は、タイミング制御回路34からの制御信号に基づき、帯域制限回転フィルタ11の可視光透過フィルタ11aが挿入されているときに撮像された信号は第1のフレームメモリ28に、赤外光透過フィルタ11bが挿入されているときに撮像された信号は第2のフレームメモリ29に信号を切り換えて入力されるようにする。
第1、第2のフレームメモリ28、29は、それぞれ図示しない3つのフレームメモリにより構成されており、RGB回転フィルタ13のRフィルタ13a挿入時、Gフィルタ13b挿入時、Bフィルタ13c挿入時のそれぞれの画像が記録される。
3つのフレームメモリは同時に読み出されることにより、時系列で送られてくる面順次画像の同時化が行われる。第1、第2のフレームメモリ28、29から出力された信号は画像処理回路30に入力され、画像強調、ノイズ除去等の画像処理が行われ、さらに画像表示制御回路31に入力され、蛍光画像、通常画像、文字情報の同時表示のための表示制御等が行われる。
画像表示制御回路31から出力されたデジタル信号は、D/A変換回路32に入力され、アナログ信号に変換され、モニタ5に出力される。自動調光回路33では、適度な明るさの照明光が得られるように、照明光絞り12を制御する信号を送る。タイミング制御回路34は、RGB回転フィルタ13、帯域制限フィルタ11の回転、CCD駆動、各種映像信号処理の同期をとる。
モニタ5上では、帯域制限回転フィルタ11の位置に応じて通常光像、蛍光像、あるいはその双方を同時に観察することができる。
この場合、モニタ5の表示面に表示される通常光像は深い被写界深度を有するシャープな画像となり、一方蛍光像は明るい画像となるので、的確な診断する場合に役に立つ。
また、本実施の形態では通常光像及び蛍光像を同時に撮像できるので、蛍光像により得られる病変の可能性がある部分を通常光像でさらに確認する場合の位置決め等を簡単に行うことができる等のメリットがある。
レーザ治療を行うときには、レーザ光源6からレーザ光が発せられる。発せられたレーザ光は、レーザガイド37を通じて患部に照射される。レーザ光源6は半導体レーザを用いたもので、波長はICG誘導体標識抗体の励起波長に合わせてある。
従って、レーザ光の照射により蛍光像や通常光像が大きく乱れることはない。また、レーザ光がICG誘導体標識抗体に吸収されるため効率よく患部を治療できる。
本実施の形態では、観察用光源手段として単一のランプを用いたが、例えば通常光観察用のハロゲンランプと蛍光物質励起用のレーザあるいは発光ダイオードのように2つ以上の光源を組み合わせてもよい。
また、蛍光物質励起用の照明光は、体外から照射するようにしてもよい。
また、励起光カットの機能はCCD21の前面に設けるものに限らず、対物レンズ20面やフィルタ絞り22面に設けるようにしてもよい。
また、CCD21の位置は電子内視鏡2Aの挿入部7の先端部17に配置するものに限らず、プロセッサ4A内部に設けてイメージガイドファイバで光を導くようにしてもよいし、光学式内視鏡に着脱可能なカメラヘッド内に配置してもよい。
また、CCD21の前面にイメージインテンシファイアを配して、感度を向上させてもよい。
また、フレームごとの処理の代わりに、フィールドごとに処理を行ってもよい。
本実施の形態は以下の効果を有する。
絞り部分において蛍光の透過する領域を可視光(通常光)が透過する領域に比べて大きくなる構成にしたので、蛍光が絞り部分を沢山通過でき、蛍光による画像はより明るく、通常光による画像はより深い被写体深度で観察することができるようになる。
(第2の実施の形態)
次に本発明の第2の実施の形態を説明する。
図12ないし図17は、本発明の第2の実施の形態に係り、図12は、内視鏡装置の全体の構成を示すブロック図、図13は並列回転フィルタの構成を示す説明図、図14は並列回転フィルタの分光透過特性を示す説明図、図15は液晶絞りの構成を示す説明図、図16は積算処理回路の構成を示す説明図、図17は第2の実施の形態の動作を示す説明図である。
本実施の形態の目的は蛍光ではより明るくノイズの少ない画像で観察でき、通常光ではより被写体深度が深くぶれが少ない画像で観察することができる蛍光内視鏡装置を提供することにある。
第2の実施の形態は、第1の実施の形態と類似の構成であるので、異なる点を中心に説明し、類似機能を持つ構成には同じ符号を付けその説明を省略する。
図12に示す第2の実施の形態の蛍光内視鏡装置1Bは、図1の蛍光内視鏡装置1Aにおいて、電子内視鏡2Aにおけるフィルタ絞り22の代わりに液晶を用いた液晶絞り38を採用した電子内視鏡2Bと、また光源装置3Aから帯域制限フィルタ11を除去し、RGB回転フィルタ13の代わりに透過波長を制限する並列回転フィルタ39を用いた光源装置3Bと、プロセッサ4Aにおける第1のフレームメモリ28及び第2のフレームメモリ29の代わりにR用メモリ41a,G用メモリ41b,B用メモリ41cと、3つの積算処理回路42とを設けたプロセッサ4Bとを用いている。
光源装置3Bにおける並列回転フィルタ39はモータ40により回転駆動され、このモータ40はタイミング制御回路34により回転速度が一定となるように制御される。この並列回転フィルタ39は図13に示すように外周側にはR、G、Bフィルタ39a、39b、39c、内周側には3つのIRフィルタ39dが分けて設けている。この並列回転フィルタ39は回転軸と直交する方向に移動可能(図12では上下方向)であり、通常観察時には光路中に外側のR、G、Bフィルタ39a、39b、39cが介装され、蛍光観察時には内側のIRフィルタ39dが介装される。
これらR、G、Bフィルタ39a、39b、39c及びIRフィルタ39dの透過特性を図14に示す。R、G、Bフィルタ39a、39b、39cはそれぞれ赤、緑、青の波長成分を透過し、IRフィルタ39dは、ICG誘導体標識抗体の励起光成分を透過する特性を有する。
電子内視鏡2Bにおける対物レンズ20とCCD21との間の光路中に配置され、通過光量を制限する液晶絞り38は、図15に示すように同心円状に3つの部分に分かれて形成されている。
つまり、図15に示すように同心円状に中心から開口部38a、液晶板38b、遮光部38cで構成されており、液晶板38bへの印加電圧はタイミング制御回路34によって制御される。
液晶板38bは、電圧を印加した状態では光を通さず、電圧を印加しない状態では光を透過するという性質を有する。従って、電圧印加時には絞りは小さくなり、被写体深度が深く、シャープな像がCCD21上に形成される。また、電圧を印加しない状態では絞りは大きくなり、明るい像がCCD21上に形成される。
プロセッサ4Bは、図1と同様にプリアンプ24、AGC回路25、A/D変換回路26、マルチプレクサ回路27を有し、このマルチプレクサ回路27で選択された信号はR用メモリR41a、G用メモリG41b、B用メモリB41cに入力される。
また、R用メモリR41a、G用メモリG41b、B用メモリB41cの出力信号はそれぞれ積算処理回路42を経て画像処理回路30に入力され、この画像処理回路30の出力は図1と同様に画像表示制御回路31、D/A変換回路32を経てモニタ5に出力されっる。
また、このプロセッサ4Bは自動調光回路33、蛍光内視鏡装置1B全体の同期をとり、並列回転フィルタ39の回転や液晶絞り38や積算処理回路42を制御するタイミング制御回路34を備えている。
この積算処理回路42は、図16に示すように、係数の書き換えが可能な2つの乗算器43、46と、加算器44とフレームメモリ45により構成される。 また、レーザ治療用のレーザ光を発生するレーザ光源6とレーザ光を導くレーザガイド37が設けられている。
次に、このように構成されている蛍光内視鏡装置1Bの動作について説明する。
被検査体19の体内には、予めインドシアニングリーン(ICG)誘導体標識抗体のように、癌などの病巣部に対して親和性をもつ蛍光物質が投与されている。
光源装置3Bのランプ10からは、可視光領域、及びICG誘導体標識抗体の励起波長を含む波長帯域の光が放射される。ランプ10から放射された光は、照明光絞り12により光量が調整され、並列回転フィルタ39を透過する。
この並列回転フィルタ39を透過した光は、電子内視鏡2Bのライトガイドファイバ8の入射端に入射される。並列回転フィルタ39は、図13に示すように外周には可視光領域の赤、緑、青の光を透過するRフィルタ39a、Gフィルタ39b、Bフィルタ39cが配置されており、内周には赤外領域の光を透過するIRフィルタ39dが配置されている。
それぞれのフィルタの透過特性は、図14に示すようになっており、IRフィルタ39dは、ICG誘導体標識抗体の励起光成分を透過する。この並列回転フィルタ39は、動作時には毎秒30回転で回転する。また、並列回転フィルタ39は回転軸と垂直方向に移動可能に設置されており、通常光観察時には外周のR、G、Bフィルタ39a、39b、39cが照明光路上に挿入されることにより、赤、緑、青の光が順次被写体に照射され、蛍光観察時には内周のIRフィルタ39dが照明光路上に挿入されることにより、励起光の波長帯域の赤外光が照射される。
被検査体19からの反射光と蛍光は、液晶絞り38、励起光カットフィルタ23を経てCCD21で撮像される。液晶絞り38は、図15に示すように同心円状に中心から開口部38a、液晶板38b、遮光部38cで構成されており、液晶板38bへの印加電圧はタイミング制御回路34によって制御される。液晶板38bは、電圧を印加した状態では光を通さず、電圧を印加しない状態では光を透過するという性質を有する。
そして、図17に示すように、通常観察時には電圧が印加されて絞りは小さくなり、被写体深度が深くシャープな像がCCD21上に形成される。また、蛍光観察時には電圧が印加されない状態で絞りは大きくなり、明るい像がCCD21上に形成される。
励起光カットフィルタ23はICG誘導体標識抗体の励起光成分を遮断し、蛍光成分と可視光成分を透過するように構成されており、その分光透過特性は図8に示すようになっている。
従って、CCD21では、並列回転フィルタ39の位置に応じて、赤、緑、青の可視光、あるいは赤外の蛍光が受光される。CCD21は、図示しないCCD駆動回路によって並列回転フィルタ39の回転に同期して駆動され、通常光観察時には毎秒90フレーム、蛍光観察時には毎秒30フレームの画像を形成する(図17参照)。
また、蛍光観察時には通常光観察時に比べてCCD21の露光時間を長く(図17では3倍)して、より明るい画像が得られるようにしている。
CCD21からの電気信号は、プロセッサ4Bのプリアンプ24に入力され、増幅された後、AGC回路25によりゲインの調整が行われる。その後、信号はA/D変換回路26に入力され、アナログ信号からデジタル信号に変換される。デジタル信号は、マルチプレクサ27を介して3つのフレームメモリ、R用メモリR41a、G用メモリG41b、B用メモリB41cに記憶される。
マルチプレクサ27は、タイミング制御回路34からの制御信号に基づき、並列回転フィルタ39のRフィルタ39a挿入時にはR用メモリR41aに、Gフィルタ39b又はIRフィルタ39d挿入時にはG用メモリG41bに、Bフィルタ39c挿入時にはB用メモリB41cに信号を切り替えて入力する。
3つのフレームメモリ41a、41b、41cの画像信号データは同時に読み出されることにより、時系列で送られてくる面順次画像の同時化が行われる。各フレームメモリ41a、41b、41cから出力されるデジタル信号は、積算処理回路42によりノイズの除去と増幅が行われる。
積算処理回路42は、図16に示す巡回型フィルタの構成をしており、入力された画像信号は、乗算器43によりm(1−a)倍にされた後、加算器44に入力され、a倍にする乗算器46の出力と加算される。この加算器44の出力は、フレームメモリ45に入力されると共に、画像処理回路30に入力される。
フレームメモリ45では、1フレーム分画像を遅延させて出力する。2つの乗算器43、46の係数はタイミング制御回路34から出力される係数書き換え信号により書き換えることができる。
この巡回型フィルタにおいて、係数mは増幅率を表し係数mが大きいほど明るい画像が得られる。また、係数aを大きくすると残像効果が大きくなり、画像のノイズは低減される。
本実施の形態では図17に示すように通常観察時には係数mを1、蛍光観察時には2にして、蛍光の場合にはより明るい画像が得られるように設定している。また、係数aは通常観察時には0.1、蛍光観察時には0.5にして、蛍光の場合にはよりノイズを軽減するようにしている。
なお、乗算器43には、乗算結果のオーバーフロー防止のためのクリップ回路が組み込まれている。
積算処理回路42から出力された信号は画像処理回路30に入力され、画像強調等の画像処理が行われ、さらに画像表示制御回路31に入力され、文字情報の表示のための表示制御等が行われる。画像表示制御回路31から出力されたデジタル信号は、D/A変換回路32に入力され、アナログ信号に変換され、モニタ5に出力される。
自動調光回路33では、適度な明るさの照明光が得られるように、照明光絞り12を制御する信号を送る。タイミング制御回路34は、並列回転フィルタ39の回転、CCD駆動、各種映像信号処理の同期をとると共に、並列回転フィルタ39のフィルタの可視・赤外切り替えに応じて、液晶絞り38の印加電圧と、乗算器43、46の係数を制御している。
可視光による通常光観察時には、液晶絞り38に対しては電圧を印加して、絞りを小さくすることにより、被写体深度が深く、シャープな像を得る。また、乗算器43、46の係数としては、m=1、a=0.1のように、速い動きにも対してもぶれが少ない係数が代入される。
赤外光による蛍光観察時には、液晶絞り38に対しては電圧を印可せず、絞りを大きくすることにより、明るい像を得る。また、乗算器43、46の係数としては、m=2、a=0.5のように、ノイズ低減効果が大きく増幅効果のある係数が代入される。
モニタ5上では、並列回転フィルタ39の位置に応じて通常光像、又は蛍光像を観察することができる。
本実施の形態では、観察用光源手段として単一のランプを用いたが、例えば通常光観察用のハロゲンランプと蛍光物質励起用のレーザあるいは発光ダイオードのように2つ以上の光源を組み合わせてもよい。
また、蛍光物質励起用の照明光は、体外から照射するようにしてもよい。
また、CCD21の位置は挿入部7の先端部17に配置するものに限らず、プロセッサ4B内部に設けてイメージガイドファイバで光を導くようにしてもよいし、光学式内視鏡に着脱可能なカメラヘッド内に配置してもよい。
また、CCD21の前面にイメージインテンシファイアを配して、感度を向上させてもよい。
また、用いる絞りは液晶によるものに限らず、形状記憶合金を用いたものであってもよいし、機械的に遮光部材を出し入れするものであってもよい。
本実施の形態は以下の効果を有する。
蛍光観察と通常光観察の切り替えに応じて絞りを制御する構成にしたので、蛍光観察時にはより明るい画像で、通常光観察時にはより深い被写体深度の画像で観察することができる。
また、蛍光観察と通常光観察の切り替えに応じて巡回型フィルタの係数を変更する構成にしたので、蛍光は少ないノイズで、通常光は速い動きに対応して観察することができる。
また、蛍光観察と通常光観察の切り替えに応じて、CCD21の露光時間を変更する構成にしたので、微弱な蛍光をより明るく観察することができる。
(第3の実施の形態)
次に第3の実施の形態を説明する。図18ないし図21は、本発明の第3の実施の形態に係り、図18は、第3の実施の形態の蛍光内視鏡装置の全体の構成を示すブロック図、図19は通常光観察時の動作を示す説明図、図20は蛍光観察時の動作を示す説明図、図21は通常光・蛍光同時観察時の動作を示す説明図である。
本実施の形態の目的は蛍光と通常光の双方を適当な明るさで観察することができる蛍光内視鏡装置を提供することにある。
本実施の形態は、第1の実施の形態と類似の構成であるので、異なる点を中心に説明し、類似機能を持つ構成には同じ符号を付け、その説明は省略する。
第3の実施の蛍光内視鏡装置1Cは、図1の蛍光内視鏡装置1Aにおいて、電子内視鏡1AおけるCCD21の代わりに内部で増幅率が可変なCCD51を採用し、かつフィルタ絞り22の代わりに通過光量を制限する絞り52を採用した電子内視鏡2Cと、光源装置3Aにおいてランプ10の発光を制御するランプ発光制御回路53を設けた光源装置3Cと、プロセッサ4AにおいてCCD51を制御するCCD駆動回路54を設けたプロセッサ4Cを有する。
光源装置3Cは図1と同様に光を放射するランプ10と、照明光路上に設けられ透過波長を制限する帯域制限回転フィルタ11と、光量を制限する照明光絞り12と透過波長を制限するRGB回転フィルタ13と、コンデンサレンズ14とを有し、さらにランプ10の発光を制御するランプ発光制御回路53を備えている。
帯域制限回転フィルタ11は図2で示したように、可視光透過フィルタ11aと赤外光透過フィルタ11bによって2分されている。RGB回転フィルタ13は、図4で示したようにR、G、Bフィルタ13a、13b、13cに3分されている。
また、電子内視鏡2Cは、照明光を伝送するライトガイドファイバ8と、この先端面に対向して配置された照明レンズ18と、通過光量を制限する絞り52と、励起光を除去する励起光カットフィルタ23と、内部で増幅率が可変なCCD51とを有する。
また、プロセッサ4Cは、プリアンプ24、AGC回路25、A/D変換回路26、マルチプレクサ回路27、第1のフレームメモリ28、第2のフレームメモリ29、画像強調などの処理をする画像処理回路30、画像表示制御回路31、D/A変換回路32、照明光絞り12を制御する自動調光回路33、蛍光内視鏡装置1C全体の同期をとるタイミング制御回路34、CCD51を制御するCCD駆動回路54を備えている。
また、レーザ治療用のレーザ光を発生するレーザ光源6とレーザ光を導くレーザガイド37が設けられている。
次に、このように構成されている内視鏡装置1Cの動作について説明する。 被検査体19の体内には、予めインドシアニングリーン(ICG)誘導体標識抗体のように、癌などの病巣部に対して親和性をもつ蛍光物質が投与されている。
光源装置3Cのランプ10からは、可視光領域、及びICG誘導体標識抗体の励起波長を含む波長帯域の光が放射される。ランプ10から放射された光は帯域制限回転フィルタ11、照明光絞り12を通過し、RGB回転フィルタ13を透過する。RGB回転フィルタ13を透過した光は、電子内視鏡2Cのライトガイドファイバ8に入射される。
帯域制限回転フィルタ11は、図2に示す構成をしており、その分光透過特性は図3に示すようになっている。RGB回転フィルタ13は、図4に示す構成をしており、その分光透過特性は、図5に示すようになっている。
通常光観察時には、図19に示すようにランプ発光制御回路53は例えば18Aのランプ電流をパルス状に供給し、ランプ10はRGB回転フィルタ13の回転に同期して発光する。
また、帯域制限回転フィルタ11の可視光透過フィルタ11aが光路上に固定され、RGB回転フィルタ13は毎秒30回転することにより、赤、緑、青の光が順次照射される(図19参照)。
蛍光観察時には、ランプ発光制御回路53は図20に示すように21Aの電流をパルス状に供給し、ランプ10はRGB回転フィルタ13の回転に同期して発光する。
また、帯域制限回転フィルタ11の赤外光透過フィルタ11bが光路上に固定され、RGB回転フィルタ13は毎秒30回転することにより、励起光の波長帯域の赤外光が照射される(図20参照)。
蛍光像・通常光像同時観察時には、図21に示すようにランプ発光制御回路53は帯域制限回転フィルタ11の位置に応じて21A又は18Aの電流をパルス状に供給し、ランプ10はRGB回転フィルタ13の回転に同期して発光する。 このRGB回転フィルタ13は毎秒30回転し、帯域制限回転フィルタ11は毎秒90回転することにより、赤、励起光、緑、励起光、青、励起光と順次照射される(図21参照)。
このときタイミング制御回路34は、RGB回転フィルタ13と帯域制限回転フィルタ11が同期して回転するように制御すると共に、ランプ発光制御回路53が帯域制限回転フィルタ11の切り替えに応じて所定の電流をランプに供給するように制御する。
このように、蛍光観察時には通常光観察時に比べて高いランプ電流を供給することにより、蛍光の発光強度を増すことができ、明るい蛍光像を得ることができる。
被検査体19からの反射光と蛍光は、光量を制限する絞り52、励起光カットフィルタ23を経てCCD51で撮像される。励起光カットフィルタ23はICG誘導体標識抗体の励起光成分を遮断し、蛍光成分と可視光成分を透過するように構成されており、その分光透過特性は図8に示すようになっている。従って、CCD51では、RGB回転フィルタ13と帯域制限回転フィルタ11の位置に応じて、赤、緑、青の可視光、あるいは赤外の蛍光を受光する。
本実施の形態で用いられるCCD51は、内部で高い増幅率を得ることができ、その増幅率は転送クロックの振幅により制御される。増幅がCCD51内部で行われるので外部からのノイズの影響が少なく、転送クロックの振幅を大きくして増幅率を高くすることにより、微弱な光でも明るく観察することができる。
CCD51は、CCD駆動回路54によって回転フィルタ11、13の回転に同期して駆動され、帯域制限回転フィルタ11の回転の有無に応じて毎秒180フレームあるいは毎秒90フレームの画像を形成する。帯域制限回転フィルタ11の可視光透過フィルタ11a挿入(通常光観察時)時には、CCD駆動回路54は転送クロックの振幅を小さくして、CCD51での増幅率を低くする(図19、図21参照)。
通常光による観察では比較的明るい画像が得られるので、低い増幅率で差し支えない。赤外光透過フィルタ11b挿入(蛍光観察)時には、転送クロックの振幅を大きくしてCCD51での増幅率を高くする(図20、図21参照)。
増幅率を高くすることにより、微弱な蛍光も十分な明るさで観察することができる。
CCD51からの電気信号は、プロセッサ4Cのプリアンプ24に入力されて増幅され、AGC回路25によりゲインの調整が行われる。その後、信号はA/D変換回路26に入力され、アナログ信号からデジタル信号に変換される。
デジタル信号は、マルチプレクサ27を介して第1のフレームメモリ28又は第2のフレームメモリ29に記憶される。マルチプレクサ27は、タイミング制御回路34からの制御信号に基づき、帯域制限回転フィルタ11の可視光透過フィルタ11aが挿入されているときには第1のフレームメモリ28に、赤外光透過フィルタ11bが挿入されているときには第2のフレームメモリ29に信号を切り替えて入力する。
第1、第2のフレームメモリ28、29から出力された信号は画像処理回路30に入力され、画像強調、ノイズ除去等の画像処理が行われ、さらに画像表示制御回路31に入力され、蛍光画像、通常画像、文字情報の同時表示のための表示制御等が行われる。
画像表示制御回路31から出力されたデジタル信号は、D/A変換回路32に入力され、アナログ信号に変換され、モニタ5に出力される。自動調光回路33では、適度な明るさの照明光が得られるように、照明光絞り12を制御する信号を送る。タイミング制御回路34は、回転フィルタの回転、CCD駆動、各種映像信号処理、ランプ発光の同期をとり制御する。
モニタ5上では、帯域制限回転フィルタ11の位置に応じて通常光像、蛍光像、あるいはその双方を同時に観察することができる。
本実施の形態では、観察用光源手段として単一のランプ10を用いたが、例えば通常光観察用のハロゲンランプと蛍光物質励起用のレーザあるいは発光ダイオードのように2つ以上の光源を組み合わせてもよい。
また、蛍光物質励起用の照明光は、体外から照射するようにしてもよい。
また、照明光の光量を制御する手段は、ランプ電流を変化させるものに限らず、照明光絞りの開きを制御してもよいし、照明光路上に光量制限用のフィルタを挿入するものでもよい。
また、CCD51の位置は挿入部7の先端部17に配置するものに限らず、プロセッサ4C内部に設けてイメージガイドファイバで光を導くようにしてもよいし、光学式内視鏡に着脱可能なカメラヘッド内に配置してもよい。
又、フレームごとの処理の代わりにフィールドごとに処理を行ってもよい。
本実施の形態は以下の効果を有する。
蛍光観察と通常光観察の切り替えに応じてランプ光量とCCD51の増幅率を制御する構成にしたので、蛍光像と通常観察像の明るさが著しく異なることが無く、蛍光と通常光の双方を適当な明るさで観察することができる。
(第4の実施の形態)
次に本発明の第4の実施の形態を説明する。図22ないし図27は、本発明の第4の実施の形態に係り、図22は第4の実施の形態の蛍光内視鏡装置の全体の構成を示すブロック図、図23はRGB回転フィルタの構成を示す説明図、図24はRGB回転フィルタの分光透過特性を示す説明図、図25は通常光観察時の動作を示す説明図、図26は蛍光観察時の動作を示す説明図、図27は通常光・蛍光同時観察時の動作を示す説明図である。
本実施の形態の目的は赤外蛍光観察時に外部から漏れてくる光を除去し、ノイズの少ない蛍光画像を得ることができる蛍光内視鏡装置を提供することにある。 本実施の形態は、第1の実施の形態と類似の構成であるので、異なる点を中心に説明し、類似機能を持つ構成には同じ符号を付け、その説明は省略する。
図22に示す第4の実施の形態の蛍光内視鏡装置1Dは、図1の蛍光内視鏡装置1Aにおいて、電子内視鏡2Aにおいてフィルタ絞り22の代わりに絞り52が採用された電子内視鏡2Dと、プロセッサ4Aにおいてマルチプレクサ27の出力端には第1のフレームメモリ28及び第2のフレームメモリ29の代わりにR用メモリ41a,G用メモリ41b,B用メモリ41cと、さらにR′用メモリ61a,G′用メモリ61b,B′用メモリ61cと、2つの減算器62、63、加算器64及び積算処理回路42とが設けられたプロセッサ4Dと、光源装置3AにおいてRGB回転フィルタ13とは特性の異なるRGB回転フィルタ65を用いた光源装置3Dとを有する。
図1と同様に光源装置3Dは、光を放射するランプ10と、照明光路上に設けられ透過波長を制限する帯域制限回転フィルタ11と、光量を制限する照明光絞り12と共に、図1のRGB回転フィルタ13とは特性が異なる透過波長を制限するRGB回転フィルタ65とを備えている。
帯域制限回転フィルタ11は図2で示したように、可視光透過フィルタ11aと赤外光透過フィルタ11bによって2分されている。RGB回転フィルタ65は、図23に示すようにR、G、Bフィルタ65a、65b、65cに3分されている。電子内視鏡2Dは、照明光を伝送するライトガイドファイバ8と、撮像手段に入射される光量を制限する絞り52と、励起光を除去する励起光カットフィルタ23と、CCD21とを有する。
プロセッサ4Dは、プリアンプ24、AGC回路25、A/D変換回路26、マルチプレクサ回路27、R用メモリ41a、G用メモリG41b、B用メモリB41c、R′用メモリ61a、G′用メモリ61b、B′用メモリ61c、2つの減算器62、63、加算器64、積算処理回路42、画像処理回路30、画像表示制御回路31、D/A変換回路32、照明光絞り12を制御する自動調光回路33、蛍光内視鏡装置1D全体の同期をとるタイミング制御回路34を備えている。
また、レーザ治療用のレーザ光を発生するレーザ光源6とレーザ光を導くレーザガイド37が設けられている。
次に、このように構成されている蛍光内視鏡装置1Dの動作について説明する。
被検査体19の体内には、予めインドシアニングリーン(ICG)誘導体標識抗体のように、癌などの病巣部に対して親和性をもつ蛍光物質が投与されている。
光源装置3Dのランプ10からは、可視光領域、及びICG誘導体標識抗体の励起波長を含む波長帯域の光が放射される。ランプ10から放射された光は帯域制限回転フィルタ11、照明光絞り12を通過し、RGB回転フィルタ65を透過する。
RGB回転フィルタ65を透過した光は、電子内視鏡2Dのライトガイドファイバ8に入射される。帯域制限回転フィルタ11は、図2に示した構成をしており、その分光透過特性は図3に示すようになっている。RGB回転フィルタ65は、図23に示す構成をしており、その分光透過特性は、図24に示すようになっている。
つまり、Rフィルタ65aとGフィルタ65bは赤外のICG誘導体標識抗体の励起光成分を透過するが、Bフィルタ65cは励起光成分は透過しない。従って、帯域制限回転フィルタ11の赤外光透過フィルタ11bが照明光路に挿入されているときに、Rフィルタ65aかGフィルタ65bが挿入されていれば励起光成分が照射されるが、Bフィルタ65cが挿入されていれば光は照射されない。
通常光観察時には、帯域制限回転フィルタ11の可視光透過フィルタ11aが光路上に固定され、RGB回転フィルタ65は毎秒30回転することにより、赤、緑、青の光が順次照射される(図25参照)。
蛍光観察時には、帯域制限回転フィルタ11の赤外光透過フィルタ11bが光路上に固定され、RGB回転フィルタ65は毎秒30回転することにより、励起光の波長帯域の赤外光が間欠的に照射される(図26参照)。
蛍光像・通常光像同時観察時には、RGB回転フィルタ65は毎秒30回転し、帯域制限回転フィルタ11は毎秒90回転することにより、赤、励起光、緑、励起光、青、遮光の順で照射される(図27参照)。
このときタイミング制御回路34は、RGB回転フィルタ65と帯域制限回転フィルタ11が同期して回転するように制御する。
被検査体19からの反射光と蛍光は、光量を制限する絞り52、励起光カットフィルタ23を経てCCD21で撮像される。励起光カットフィルタ23はICG誘導体標識抗体の励起光成分を遮断し、蛍光成分と可視光成分を透過するように構成されており、その分光透過特性は図8に示すようになっている。
従って、CCD21では、RGB回転フィルタ65と帯域制限回転フィルタ11の位置に応じて、赤、緑、青の可視光、赤外の蛍光、あるいは体外から漏れてくるノイズ(雑音)成分の光を受光する(図25〜図27参照)。
CCD21は、図示しないCCD駆動回路によって回転フィルタ11、65の回転に同期して駆動され、帯域制限回転フィルタ11の回転の有無に応じて毎秒180フレームあるいは毎秒90フレームの画像を形成する。
CCD21からの電気信号は、プロセッサ4Dのプリアンプ24に入力されて増幅され、AGC回路25によりゲインの調整が行われる。その後、信号はA/D変換回路26に入力され、アナログ信号からデジタル信号に変換される。
デジタル信号は、マルチプレクサ27を介して6つのフレームメモリ41a〜41c、61a〜61cのいずれかに記憶される。マルチプレクサ27は、タイミング制御回路34からの制御信号に基づき、画像を記憶するメモリを選択する。
帯域制限回転フィルタ11の可視光透過フィルタ11aが照明光路上に挿入されているときには、RGB回転フィルタ65の位置に応じて、R用メモリ41a、G用メモリ41b、B用メモリ41cに画像信号を記憶する。すなわち、R用メモリ41aには赤で照射時の画像が、G用メモリ41bには緑で照射時の画像が、B用メモリ41cには青で照射時の画像が記憶される。
赤外光透過フィルタ11bが照明光路上に挿入されているときにはRGB回転フィルタ65の位置に応じて、R′用メモリ61a、G′用メモリ61b、B′用メモリ61cに画像信号を記憶する。すなわち、R′用メモリ61a、G′用メモリ61bには蛍光画像が、B′用メモリ61cには照明光がない状態での画像(背景画像)が記憶される。
この背景画像は、体外から漏れて入ってくる光によるノイズ、及び機器に固有の定常ノイズを表す。これらの背景ノイズ成分は、通常観察時にはあまり問題にならないが、微弱な蛍光を観察する時には大きな問題となる。
特に近赤外域の光はヘモグロビンや水の吸収が少ないために生体組織への透過性が良く、ICG誘導体標識抗体のような近赤外域の蛍光観察の場合は被検者外部からの漏れ光の混入が問題となる。
2つの減算器62、63では、蛍光画像から背景画像を減算するので、これらの背景ノイズ成分は除去される。背景ノイズ成分の除去された2つの蛍光画像は、加算器64で加算され、加算された信号は、図16に示す構成の積算処理回路42に入力され、時間的に非定常なノイズ成分の除去が行われる。
R用メモリ41a、G用メモリ41b、B用メモリ41c及び積算処理回路42から出力された信号は画像処理回路30に入力され、画像強調、ノイズ除去等の画像処理が行われ、さらに画像表示制御回路31に入力され、蛍光画像、通常画像、文字情報の同時表示のための表示制御等が行われる。
画像表示制御回路31から出力されたデジタル信号は、D/A変換回路32に入力され、アナログ信号に変換され、モニタ5に出力される。自動調光回路33では、適度な明るさの照明光が得られるように、照明光絞り12を制御する信号を送る。タイミング制御回路34は、回転フィルタの回転、CCD駆動、各種映像信号処理の同期をとり制御する。
モニタ5上では、帯域制限回転フィルタ11の位置に応じて通常光像、蛍光像、あるいはその双方を同時に観察することができる。
本実施の形態では、観察用光源手段として単一のランプ10を用いたが、例えば通常光観察用のハロゲンランプと蛍光物質励起用のレーザあるいは発光ダイオードのように2つ以上の光源を組み合わせてもよい。
また、蛍光物質励起用の照明光は、体外から照射するようにしてもよい。
また、CCD21の位置は挿入部7の先端部17に配置するものに限らず、プロセッサ4D内部に設けてイメージガイドファイバで光を導くようにしてもよいし、光学式内視鏡に着脱可能なカメラヘッド内に配置してもよい。
また、フレームごとの処理の代わりにフィールドごとに処理を行ってもよい。 本実施の形態は以下の効果を有する。
励起光照射時の蛍光像と光を照射しないときの背景像との差をとる構成にしたので、外部からの漏れ光によるノイズの少ない蛍光画像を得ることができる。 なお、上述の複数の実施の形態を部分的に組み合わせる等して構成される実施の形態なども本発明に属する。
[付記]
1.蛍光物質を被検査対象物に投与して診断を行う装置において、
前記蛍光物質の励起波長を含む第1の波長帯域の光と可視光を含む第2の波長帯域の光を前記被検査対象物に照射する光源手段と、
前記被検査対象物の可視光像と前記蛍光物質の蛍光像を撮像する撮像手段と、 前記被検査対象物と前記撮像手段との光路上に挿入された絞り手段とを有し、 前記絞り手段は可視光を透過する可視光透過部と可視光を透過せず前記蛍光物質の蛍光の波長帯域の光を透過し、前記可視光透過部より透過領域が大きい可視光非透過部を有することを特徴とした蛍光内視鏡装置。
(付記1、付記2の目的)蛍光観察時にはより明るく、通常光観察時にはより深い被写体深度で観察することができる蛍光内視鏡装置を提供すること。
(付記1の作用)絞り部分において蛍光の透過する領域を可視光(通常光)が透過する領域に比べて大きくなる構成にしたので、蛍光が絞り部分を沢山通過でき、蛍光はより明るく、通常光はより深い被写体深度で観察することができる。
2.蛍光物質から放射される蛍光を観察して診断を行う蛍光内視鏡装置において、
前記蛍光物質の励起波長を含む第1の波長帯域の光と可視光を含む第2の波長帯域の光を前記被検査対象物に選択的に照射する光源手段と、
前記第1の波長帯域の光と前記第2の波長帯域の光を切り替える切り替え手段と、
前記被検査対象物の可視光像と前記蛍光物質の蛍光像を撮像する撮像手段と、 前記被検査対象物と前記撮像手段との光路上に挿入された可変絞り手段と、
前記切り替え手段の切り替えに応じて前記可変絞り手段を制御することを特徴とした蛍光内視鏡装置。
(付記2の作用)蛍光観察と通常光観察の切り替えに応じて絞りを制御する構成にしたので、蛍光観察時には絞りを大きくし通常光観察時には絞りを小さくすることにより、蛍光はより明るく、通常光はより深い被写体深度で観察することができる。
3.蛍光物質から放射される蛍光を観察して診断を行う蛍光内視鏡装置において、
前記蛍光物質の励起波長を含む第1の波長帯域の光と可視光を含む第2の波長帯域の光を前記被検査対象物に選択的に照射する光源手段と、
前記第1の波長帯域の光と前記第2の波長帯域の光を切り替える切り替え手段と、
前記被検査対象物の可視光像と前記蛍光物質の蛍光像を撮像する撮像手段と、 前記撮像手段により得られる撮像信号を積分する積分手段と、
前記切り替え手段の切り替えに応じて前記積分手段を制御することを特徴とした蛍光内視鏡装置。
(付記3の目的)蛍光観察時にはより少ないノイズで、通常光観察時には速い動きに対応して観察することができる蛍光内視鏡装置を提供すること。
(付記3の作用)蛍光観察と通常光観察の切り替えに応じて積分手段を制御する構成にしたので、蛍光は少ないノイズで、通常光は速い動きに対応して観察することができる。
4.蛍光物質から放射される蛍光を観察して診断を行う蛍光内視鏡装置において、
前記蛍光物質の励起波長を含む第1の波長帯域の光と可視光を含む第2の波長帯域の光を前記被検査対象物に選択的に照射する光源手段と、
前記光源手段の光量を制御する光量制御手段と、
前記第1の波長帯域の光と前記第2の波長帯域の光を切り替える切り替え手段と、
前記被検査対象物の可視光像と前記蛍光物質の蛍光像を撮像する撮像手段と、 前記切り替え手段の切り替えに応じて前記光量制御手段を制御することを特徴とした蛍光内視鏡装置。
(付記4、付記5の目的)通常光と蛍光の双方を適当な明るさで観察することできる蛍光内視鏡装置を提供すること。
(付記4の作用)蛍光観察と通常光観察の切り替えに応じて光量を制御する構成にしたので、蛍光と通常光の双方を適当な明るさで観察することができる。
5.蛍光物質から放射される蛍光を観察して診断を行う蛍光内視鏡装置において、
前記蛍光物質の励起波長を含む第1の波長帯域の光と可視光を含む第2の波長帯域の光を前記被検査対象物に選択的に照射する光源手段と、
前記第1の波長帯域の光と前記第2の波長帯域の光を切り替える切り替え手段と、
前記被検査対象物の可視光像と前記蛍光物質の蛍光像を撮像する撮像手段と、 前記撮像手段により得られる撮像信号を増幅する増幅手段と、
前記切り替え手段の切り替えに応じて前記増幅手段を制御することを特徴とした蛍光内視鏡装置。
(付記5の作用)蛍光観察と通常光観察の切り替えに応じて増幅器を制御する構成にしたので、蛍光と通常光の双方を適当な明るさで観察することができる。
6.蛍光物質を被検査対象物に投与して診断を行う蛍光内視鏡装置において、
前記被検査対象物に間欠的に光を照射する光源手段と、
前記光源手段から光が照射されているときの前記被検査対象物からの蛍光像と前記光源手段から光が照射されていないときの前記被検査対象物からの背景像を撮像する撮像手段と、
前記蛍光像と前記背景像との差を算出する減算手段とを有することを特徴とした赤外蛍光内視鏡装置。
(付記6の目的)赤外蛍光観察時に外部から漏れてくる光を除去し、ノイズの少ない蛍光画像を得ることができる蛍光内視鏡装置を提供すること。
(付記6の作用)蛍光像と光を照射しないときの背景像の差をとる構成にしたので、ノイズの少ない蛍光画像を得ることができる。
本発明の第1の実施の形態の蛍光内視鏡装置の全体構成図。 帯域制限回転フィルタの構成図。 帯域制限回転フィルタの分光透過特性を示す特性図。 RGB回転フィルタの構成図。 RGB回転フィルタの分光透過特性を示す特性図。 フィルタ絞りの構成図。 フィルタ絞りの分光透過特性を示す特性図。 励起光カットフィルタの分光透過特性を示す特性図。 通常光観察時の動作説明図。 蛍光観察時の動作説明図。 通常光・蛍光同時観察時の動作説明図。 本発明の第2の実施の形態の蛍光内視鏡装置の全体構成図。 並列回転フィルタの構成図。 並列回転フィルタの分光透過特性を示す特性図。 液晶絞りの構成図。 積算処理回路の構成図。 第2の実施の形態の動作説明図。 本発明の第3の実施の形態の蛍光内視鏡装置の全体構成図。 通常光観察時の動作説明図。 蛍光観察時の動作説明図。 通常光・蛍光同時観察時の動作説明図。 本発明の第4の実施の形態の蛍光内視鏡装置の全体構成図。 RGB回転フィルタの構成図。 RGB回転フィルタの分光透過特性を示す特性図。 通常光観察時の動作説明図。 蛍光観察時の動作説明図。 通常光・蛍光同時観察時の動作説明図。
符号の説明
1A…蛍光内視鏡装置
2A…電子内視鏡
3A…光源装置
4A…プロセッサ
5…モニタ
6…レーザ光源
7…挿入部
8…ライトガイドファイバ
10…ランプ
11…帯域制限回転フィルタ
11a…可視光透過フィルタ
11b…赤外光透過フィルタ
12…照明光絞り
13…RGB回転フィルタ
15,16…モータ
21…CCD
22…フィルタ絞り
22a…可視光透過部
22b…可視光非透過部
22c…遮光部
23…励起光カットフィルタ
24…プリアンプ
25…AGC回路
26…A/D変換回路
27…マルチプレクサ
28,29…フレームメモリ
30…画像処理回路
31…画像表示制御回路
32…D/A変換回路
33…自動調光回路
34…タイミング制御回路

Claims (6)

  1. 検査対象部位から発せられた蛍光を観察する蛍光内視鏡装置において、
    前記検査対象部位に前記蛍光の励起光を含む第1の波長帯域の光を照射する光源手段と、
    前記検査対象部位からの光を撮像するため、生体内に挿入可能な内視鏡挿入部の先端部に配置され、外部からのクロック状の制御信号としての転送クロックの振幅を制御して内部で得られる信号の増幅率が可変な固体撮像素子と、
    前記第1の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号の増幅率を変えるため該固体撮像素子に与えるクロック状の制御信号としての前記転送クロックの振幅を制御する固体撮像素子駆動手段と、
    を具備したことを特徴とする蛍光内視鏡装置。
  2. 前記光源手段は、可視光を含む第2の波長帯域の光を照射し、
    前記第1の波長帯域の光の照射と第2の波長帯域の光の照射とを切り換える切替手段を有し、
    前記固体撮像素子駆動手段は、前記切替手段による切替に応じて、前記第1の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号を、前記第2の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号よりも高い増幅率で増幅させるよう、前記クロック状の制御信号としての前記転送クロックの振幅を大きくすることを特徴とする請求項1に記載の蛍光内視鏡装置。
  3. 検査対象部位から発せられた蛍光を観察する蛍光内視鏡装置において、
    前記検査対象部位に前記蛍光の励起光を含む第1の波長帯域の光、及び可視光を含む第2の波長帯域の光を照射を照射すると共に、検査対象部位に前記蛍光の励起光を含む第1の波長帯域の光を照射する蛍光像観察には、前記可視光を含む第2の波長帯域の光を照射する通常光像観察に比して照射強度を増加させる光源手段と、
    前記第1の波長帯域の光の照射と第2の波長帯域の光の照射とを切り換える切替手段と、
    前記検査対象部位からの光を撮像するため、生体内に挿入可能な内視鏡挿入部の先端部に配置され、外部からの制御信号としての転送クロックの振幅を制御して内部で得られる信号の増幅率が可変な固体撮像素子と、
    前記切替手段による切替に応じて、前記第1の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号を、前記第2の波長帯域の光の照射に対応して前記固体撮像素子により得られる信号よりも高い増幅率で増幅させるよう、前記転送クロックの振幅を大きくなるよう制御する固体撮像素子駆動手段と、
    を具備したことを特徴とする蛍光内視鏡装置。
  4. 前記切換手段は、蛍光像観察の前記第1の波長帯域の光の照射と通常光像観察の第2の波長帯域の光の照射とを切り換えることに加えて、前記第1の波長帯域の光の照射と第2の波長帯域の光の照射とを交互に照射する蛍光像・通常光像同時観察の切替を有することを特徴とする請求項2に記載の蛍光内視鏡装置。
  5. 前記光源手段は、不可視光帯域から可視光帯域を含む光を放射するランプと、このランプによる照明光路上に設けられて、可視光帯域の光成分のみ透過する可視光透過フィルタ部と及び不可視光帯域の光成分のみ透過する不可視光透過フィルタ部を有する帯域制限回転フィルタと、前記ランプからの光量を制限する絞りと、赤、緑、青の光を順次透過するRGB回転フィルタと、前記ランプの発光を制御するランプ発光制御回路と、
    を備え、
    通常光像観察時には、前記帯域制限回転フィルタの可視光透過フィルタ部を前記光路上に固定し、かつRGB回転フィルタを所定回転速度で回転して赤、緑、青の光を順次透過して被検査対象部位に照射し、
    蛍光像観察時には、前記帯域制限回転フィルタの不可視光透過フィルタ部を前記光路上に固定し、かつRGB回転フィルタを所定回転速度で回転して励起光の波長帯域の赤外光を被検査対象部位に照射することを特徴とする請求項2に記載の蛍光内視鏡装置。
  6. 前記ランプは、赤外波長帯域から可視光帯域を含む光を放射するものであり、
    前記帯域制限回転フィルタは、可視光帯域の光成分のみ透過する可視光透過フィルタ部と及び赤外光波長帯域の光成分のみ透過する赤外光透過フィルタ部を有することを特徴とする請求項5に記載の蛍光内視鏡装置。
JP2005158159A 2005-05-30 2005-05-30 蛍光内視鏡装置 Expired - Fee Related JP4297887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005158159A JP4297887B2 (ja) 2005-05-30 2005-05-30 蛍光内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005158159A JP4297887B2 (ja) 2005-05-30 2005-05-30 蛍光内視鏡装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP31387696A Division JP3713347B2 (ja) 1996-11-20 1996-11-25 蛍光内視鏡装置

Publications (2)

Publication Number Publication Date
JP2005261974A JP2005261974A (ja) 2005-09-29
JP4297887B2 true JP4297887B2 (ja) 2009-07-15

Family

ID=35087077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005158159A Expired - Fee Related JP4297887B2 (ja) 2005-05-30 2005-05-30 蛍光内視鏡装置

Country Status (1)

Country Link
JP (1) JP4297887B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5184016B2 (ja) 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置
JP5191831B2 (ja) * 2008-07-23 2013-05-08 オリンパスメディカルシステムズ株式会社 被検体観測装置及び被検体観測装置の作動方法
EP2347692A4 (en) * 2009-05-14 2012-08-01 Olympus Medical Systems Corp IMAGING DEVICE
JP2011125404A (ja) * 2009-12-15 2011-06-30 Olympus Corp 光制御装置、制御装置、光学スコープ及び光走査型光学装置
JP5714875B2 (ja) 2010-11-26 2015-05-07 オリンパス株式会社 蛍光内視鏡装置
WO2013015120A1 (ja) * 2011-07-22 2013-01-31 オリンパス株式会社 蛍光内視鏡装置
JP5926909B2 (ja) 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
EP2796086A4 (en) 2012-09-18 2015-09-09 Olympus Medical Systems Corp LIGHT SOURCE DEVICE AND METHOD FOR LIGHT CONTROL OF A LIGHT SOURCE DEVICE
JP2014128394A (ja) * 2012-12-28 2014-07-10 Hoya Corp 内視鏡装置

Also Published As

Publication number Publication date
JP2005261974A (ja) 2005-09-29

Similar Documents

Publication Publication Date Title
JP3713347B2 (ja) 蛍光内視鏡装置
JP4855586B2 (ja) 内視鏡装置
EP1258220B1 (en) Endoscope with image processing device
JP4297887B2 (ja) 蛍光内視鏡装置
JP5259882B2 (ja) 撮像装置
JP5507376B2 (ja) 撮像装置
JP3962122B2 (ja) 内視鏡装置
JP4855728B2 (ja) 照明装置及び観察装置
KR100927286B1 (ko) 내시경 장치 및 화상 처리 장치
JP4009560B2 (ja) 内視鏡装置及び信号処理装置
US7179222B2 (en) Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US6293911B1 (en) Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
JP4772235B2 (ja) 内視鏡装置
JP5485191B2 (ja) 内視鏡装置
JP2006198106A (ja) 電子内視鏡装置
JP2009034224A (ja) 医療装置
JP2007252635A (ja) 画像処理装置
KR20040069332A (ko) 내시경 화상 처리 장치
JP2012085916A (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び蛍光画像の高感度化方法
JP2012125462A (ja) 画像処理装置
JP2010279579A (ja) 画像取得方法および内視鏡装置
JP5331394B2 (ja) 内視鏡装置
JP2010094152A (ja) 電子内視鏡システム
JP2006340855A (ja) 画像処理装置
JP2004305382A (ja) 特殊光観察システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090414

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees