JP4015383B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP4015383B2 JP4015383B2 JP2001201184A JP2001201184A JP4015383B2 JP 4015383 B2 JP4015383 B2 JP 4015383B2 JP 2001201184 A JP2001201184 A JP 2001201184A JP 2001201184 A JP2001201184 A JP 2001201184A JP 4015383 B2 JP4015383 B2 JP 4015383B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- fluorescence
- excitation light
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Endoscopes (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、内視鏡装置、詳しくは、通常の照明光による観察像と、励起光による蛍光像とを得ることのできる内視鏡装置に関する。
【０００２】
【従来の技術】
近年、生体からの自家蛍光や、生体へ薬物を注入し、その薬物の蛍光を２次元画像として検出し、その蛍光像から、生体組織の変性や癌等の疾患状態（例えば、疾患の種類や浸潤範囲）を診断する技術がある。
【０００３】
生体組織に光を照射するとその光（励起光）より長い波長の蛍光が発生する。生体における蛍光物質として、例えばＮＡＤＨ（ニコチンアミドアデニンヌクレオチド），ＦＭＮ（フラビンモノヌクレオチド），ピリジンヌクレオチド等がある。最近では、このような、生体内因物質と、疾患との相互関係が明確になってきた。また、ＨｐＤ（ヘマトポルフィリン），Ｐｈｏｔｏｆｒｉｎ，ＡＬＡ（δ−ａｍｉｎｏ ｌｅｖｕｌｉｎｉｃ ａｃｉｄ）は、癌への集積性があり、これを生体内に注入し、前記物質の蛍光を観察することで疾患部位の診断に利用される。
【０００４】
ところで、上記の蛍光は、極めて微弱であるので、その観察のためには、極めて高感度の撮影を必要とする。この高感度撮影を行うものとしてイメージ・インテンシファイヤが良く知られている。また、最近では図１２に示すように２次元で同期検波を行い、感度を高める方法が提案されている。
【０００５】
まず、レーザ装置２０１より連続的なレーザ光を照射し、これを、チョッパ２０２によりクロック発生器２２０で発生した１／６００Ｓのクロックを高速度でチョッピングし、凹レンズ２０３で拡大し、組織２０４に照射する。この組織２０４からの蛍光をレンズ２０５，フィルタ２０６を通じ、ＣＣＤ２０７で撮像する。
【０００６】
フィルタ２０６はレーザ光をカットし、それより長い波長、つまり蛍光のみを通過させるバンドパスフィルタである。この時、蛍光は励起光の明滅と同期し、発生し、これをＣＣＤ２０７で前記チョッピング、つまり１／６００Ｓの周期と同期して検出する。そして、これをビデオプロセッサ２０８で画像信号とし、さらにＡ／Ｄコンバータ２０９によりデジタルデータに変換する。
【０００７】
このデータを前記クロック１／６００Ｓのタミングでマルチプレクサ２１０を切り換え、ＯＤＤとＥＶＥＮのフレーム、つまり蛍光が発生している時と、発生していない時の画像（又は逆でもよい）に分け各々フレームメモリ２１１，２１２に記憶される。このフレームメモリ２１１，２１２記憶されたデータを１／３００Ｓ（分周回路２１４によりクロックが分周した。）の周期で差分回路２１３により差分するとともに、さらに、これを例えば１０回程度、積算回路２１５により積算することでノイズをキャンセルし、必要な信号を増幅し結果的にＳ／Ｎを向上できる。
【０００８】
これをビデオプロセッサ２１６でビデオ信号としてモニタ２１７に表示する。尚、図中２１９はＳ／Ｎを向上させるための２次元ロックインアンプ部を示している。
【０００９】
一方、蛍光観察においては、蛍光像の他、通常の画面の観察も、オリエンテーション等を行う上で重要である。従来では、蛍光像と通常像の両方を撮影するため、複数のカメラを使用したり、又、同一のカメラを時分割で撮影していた。
【００１０】
【発明が解決しようとする課題】
蛍光像と通常像を異なるカメラで撮影した場合、構造が複雑になったり撮像部分が大型になったりしていた。又、一つのカメラで時分割で撮影した場合、蛍光と通常画像の受光強度が極めて異なるため、蛍光像が暗くなったり通常像がハレーションが起きたり、最悪時には焼き付けが起こる問題があった。
【００１１】
本発明は上述した点に鑑みてなされたもので、蛍光像のＳ／Ｎ比を大幅に向上させて通常画像との信号レベルのアンバランスを縮小でき、ハレーション等の発生を防止することができるようにした内視鏡装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の一態様による内視鏡装置は、被検体の内部に挿入される挿入部と、
照明光光源が発する照明光に基づく被検体からの反射光を入射して撮像するとともに、励起光光源が発する励起光に基づく前記被検体からの蛍光を入射して撮像する、前記挿入部先端部に備えられた撮像手段と、
前記照明光と前記励起光とを所定のタイミングで切換える切換手段と、
前記切換手段の切換えタイミングに同期し、前記照明光光源が照明光を照射しているときには該照明光に基づく被検体からの反射光を透過し、前記励起光光源が励起光を照射しているときには該励起光に基づく前記被検体からの少なくとも一つの特定波長領域の蛍光を透過する、前記撮像手段の被検体側に備えられた波長選択手段と、
前記切換手段によって切換えられる前記励起光照射期間より短い周期で明滅するよう、前記励起光をチョッパによって明滅して該励起光の前記被検体への明滅により得られる明画像と滅画像とを差分処理する差分手段と、
を備えている。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１４】
図１ないし図３は本発明の第１実施形態に係り、図１は第１実施形態の蛍光観察装置の構成を示し、図２は正常部と病変部の場合における蛍光強度分布の１例を示し、図３は第１実施形態の動作説明用のタイミングチャートを示す。
この第１実施形態は蛍光像と観察像の両方を共通の撮像素子で時分割で検出する装置である。
【００１５】
図１に示す第１実施形態の蛍光観察装置１は通常の観察のための照明光と蛍光観察のための励起光とを発生する光源装置２と、観察対象被写体となる組織３の通常像と蛍光像を撮像する撮像装置４と、この撮像装置４で検出した画像を増幅し、Ｓ／Ｎを向上させる２次元ロックインアンプ５と、前記画像を通常像と蛍光像に分け、各々処理するとともに、各画像を合成する画像処理装置６と、前記光源装置２と撮像装置４と２次元ロックインアンプ５と画像処理装置６とを同期制御するタイミングコントローラ７と、前記画像処理装置６を経た画像を表示するモニタ８より構成される。
【００１６】
前記光源装置２は、波長がλ0 （例えばλ0＝３５０ｍｍ〜５００ｍｍ）の励起光（簡単化のため励起光λ0 と略記する）を発生させるレーザ９（例えばエキシマレーザ、クリプトンレーザ、Ｈｅ−Ｃｄレーザ、色素レーザを用いることができる。）と、前記レーザ光の光路上に周縁部分がかかるように配置され、１／７２０Ｓの周期で明滅させるように遮光円板の周縁に凹凸を設け、回転駆動されるチョッパ１０と、通常画像を観察するための照明光を発生するキセノンランプ１１と、この照明光の光路上に配置され、Ｒ，Ｂ，Ｇの色フィルタを持ち、図示しないモータで例えば１／３０Ｓで回転される第１の回転フィルタ１２と、この第１の回転フィルタ１２と同期して、レーザ光の光路上に配置され、このレーザ光を透過及び遮光する（１／３０Ｓで回転される）回転シャッタ１３と、照明光の光路上に４５°傾けて配置され、かつレーザ光の光路上になる位置に配置され、励起光λ0 のみを反射するダイクロイックミラー１４と、このダイクロイックミラー１４の前方の光路上に配置され、拡開して組織３側に光を照射するための照明レンズ１５とより成る。
つまり、光源装置２はパルス化された励起光としてのレーザ光と、Ｒ，Ｇ，Ｂ照明光を交互に照射する。
【００１７】
前記撮像装置４は組織３の光学像を結ぶための対物レンズ１６と、この対物レンズ１６の光路上に配置され、前記第１のフィルタ１２，回転シャッタ１３と同期するように図示しないモータで１／３０Ｓで回転され、蛍光画像（λ0 より長波長のλ1 ，λ2 の蛍光）と、通常画像を通過させる第２のフィルタ１７と、前記蛍光及び通常画像を共用で時分割で撮影するための撮像素子としてのＣＣＤ１８と、このＣＣＤ１８を駆動するとともに画像信号に変換するビデオプロセッサ１９とより成る。
【００１８】
尚、ビデオプロセッサ１９，第２のフィルタ１７はタイミングコントローラ７で制御され、ビデオプロセッサ１９は例えば１／７２０Ｓの１／２の１／１４４０Ｓの高速な周期でそれぞれ１フレームの画像信号を生成する。
【００１９】
２次元ロックインアンプ５は前記画像信号をデジタルデータに変換するＡ／Ｄ変換器２０と前記タイミングコントローラ７と同期し、レーザ９の励起光の明滅に合わせ、それぞれの画像データをフレームごとにフレームメモリ（ＯＤＤ）２２ａとフレームメモリ（ＥＶＥＮ）２２ｂに分けるマルチプレクサ２１と、フレームメモリ（ＯＤＤ）２２ａとフレームメモリ（ＥＶＥＮ）２２ｂを差分し、ノイズ分をキャンセルしてＳ／Ｎを大幅に向上する差分回路２３と、ノイズ分をキャンセルされた画像を累積するように積分（同じ画像部分同士をそれぞれ累積するように積分）することによりＳ／Ｎを上げて増幅する積分回路２４とから成る。尚、通常光の場合はフレームメモリ及び差分回路を経由せず直接、積分回路２４に入力される。
【００２０】
また、画像処理装置６は前記増幅された通常及び蛍光画像データをタイミングコントローラ７と同期して、通常画像記憶用フレームメモリ（ＲＧＢのフレームメモリからなる）２５，λ1画像記憶用フレームメモリ２６，λ2画像記憶用フレームメモリ２７へ分離するマルチプレクサ２８と、蛍光画像から組織の性状を明確にするためλ1画像記憶用フレームメモリ２６及びλ2画像記憶用フレームメモリ２７を演算回路２９と、通常画像記憶用フレームメモリ２６の画像と演算回路２９の画像を合成するスーパインポーズ回路３０と、このスーパインポーズ回路３０及び前記タイミングコントローラ７を制御するコンピュータ３１とよりなる。
【００２１】
次にこの実施形態の作用を説明する。まず、光源装置２より例えば１／７２０Ｓの周期でパルス化された励起光λ0 と例えば１／３０Ｓ周期の観察光（Ｒ，Ｇ，Ｂ）で時分割で交互に組織３に照射する。
【００２２】
図３はチョッパ１０と、回転シャッタ１３，第１のフィルタ１２，第２のフィルタ１７のタイミングを示す。回転シャッタ１３と第１のフィルタ１２は交互に開くようになっており、第２のフィルタ１７は回転シャッタ１３と第１のフィルタ１２に同期し、つまり回転シャッタ１３が開いて励起光を組織３に照射している時λ1，λ2 のフィルタが観察光路上に順次配置され、通常光（Ｒ，Ｇ，Ｂ）を組織３に照射している時、フィルタを取り除いている。さらに、励起光はチョッパ１０により１／７２０Ｓで明滅される。
【００２３】
さらに詳しく説明すると、回転シャッタ１３は図３（ａ）に示すように１／３０Ｓ周期の２／３の期間開口し、この期間は図３（ｂ）に示すように第１のフィルタ１２は遮光部（閉で示す）となり、図３（ｄ）に示すように開閉するチョッパ１０でレーザ光は明滅され、回転シャッタ１３はパルス化された励起光λ0 を通す（この期間は第１のフィルタ１２は遮光部となり、Ｒ，Ｇ，Ｂ光を遮光する）。この励起光λ0 はダイクロイックミラー１４で反射され、レンズ１５を経て組織３に照射され、励起光λ0 より長い蛍光を発光させる。
【００２４】
この蛍光は対物レンズ１６によって第２の回転フィルタ１７を透過する波長成分がＣＣＤ１８に届き、蛍光像を結ぶ。図３（ｃ）に示すように第２の回転フィルタ１７は波長λ1 とλ2 が順次、撮像光路中に配置され、１／９０Ｓづつ波長λ1 とλ2 の蛍光像が撮像されることになる。
【００２５】
、１／３０Ｓ周期の次の１／３の期間は回転シャッタ１３はレーザ光を遮光する遮光期間となり、この遮光期間には第１のフィルタ１２はＲ，Ｇ，Ｂの色フィルタの１つが光路中に順次配置され、Ｒ，Ｇ，Ｂ照明光の１つ（例えばＲ照明光）が出力され、ダイクロイックミラー１４を透過し、レンズ１５を経て組織３に照射される。
【００２６】
組織３で反射された例えばＲ照明光は対物レンズ１６によって第２の回転フィルタ１７を透過し、ＣＣＤ１８にＲ像を結ぶ。図３（ｃ）に示すように、この期間には第２の回転フィルタ１７は開口部分が撮像光路中に配置される状態となる（図３（ｃ）では（フィルタ）なしで示している）。次の周期の同じタイミングではＧ照明光での照明及び撮像、さらに次の周期ではＢ照明光での照明及び撮像が行われることになる。つまり、時分割での励起光と照明光に対応して、ＣＣＤ１８を内蔵した撮像装置４により時分割で撮像が行われる。
【００２７】
このようにして蛍光のうち波長λ1 とλ2 、さらに通常画像が共通の撮像装置４により前記１／７２０Ｓの周期の半分の１／１４４０Ｓの周期、つまり励起光の明滅に同期して画像信号に変換される。なお、Ｒ，Ｇ，Ｂの各照明は１／９０Ｓづつ連続照明されるが、１／１４４０Ｓの周期で繰り返し、読み出される。
【００２８】
このように高速な画像信号を２次元ロックインアンプ５でＳ／Ｎの向上及び増幅を行う。特に蛍光画像の場合には明滅させた場合の明と滅との画像を差分回路２３で差分処理することによって、明滅に無関係なノイズとか特に低周波で大きくなる１／ｆノイズの影響を大幅に低減化でき、従って微弱な蛍光画像の場合にもＳ／Ｎの良い蛍光画像信号を生成できる。
【００２９】
従って、差分回路２３から出力される蛍光画像信号は通常観察の画像信号のレベルから極端にアンバランスになることのないレベルに設定できる。つまり、２次元ロックインアンプ５を通すことにより蛍光画像と通常画像の信号レベルをある程度揃えられるので、蛍光画像のレベルを上げるために、信号処理系内の途中に大幅にゲインを上げる回路を設ける必要がないので、そのような場合に通常画像側でしばしば発生するハレーションとか焼き付けの発生などを有効に防止できる。
【００３０】
もっとも、レーザ光の強度とか、蛍光剤の種類、蛍光の発生効率等により、蛍光の明るさ（強度）が変化するので、観察像の明るさに応じ、積分回路２４の積算回数や、デジタル窓による処理（積算回数によりビット数が多くなり、このデータをビットのどの部分のデータを切り取るかでゲインを変える。）により増幅率を変化させるようにしても良い。
【００３１】
このように増幅された画像信号は画像処理装置６で、蛍光像と通常像に分け、各々を処理し、表示に適した画像データに変換し、さらにスーパインポーズ回路３０で合成し、モニタ８に表示する。
【００３２】
図２は励起光λ0 を照射した時の蛍光特性を示す。例えば４４２ｍｍの励起光で得られる組織の蛍光は正常部位ではその強度が強く、病変部では、波長の短い側で正常に比べ弱い。つまり、図中の波長λ1 ，λ2 では正常部位の場合と病変部位の場合とでは蛍光強度の比率が異なるので、このλ1 ，λ2 での蛍光強度の比率を求めることで病変部位と正常部位を区別することができる。
【００３３】
このため、波長λ1 で撮像された画像を格納するフレームメモリ２６と，λ2 で撮像された画像を格納するフレームメモリ２７との両画像は演算回路２９で対応する各画像部分で差分を求める演算が行われ、この差分処理された値が設定された値以下か否かを判断し、例えば設定値以下の領域に対してはその領域部分に対しては識別し易い色信号を出力し、スーパインポーズ回路３０を経て通常画像に対し、設定値以下となる病変部の可能性のある領域を色で識別できるようにする。
【００３４】
一方、設定値以上の画像の場合には例えば波長λ1 とλ2 で撮像された両画像を加算してスーパインポーズ回路３０に出力し、通常画像に並べるように蛍光画像をスーパインポーズし、２つの画像をモニタ８で表示する。
【００３５】
勿論、設定値以下の場合にも同様に表示し、且つ設定値以下の領域を識別し易い色で表示するようにしても良い。
さらに、通常画像と一方の波長の画像とを選択して表示したり、２つの蛍光画像を並べて表示する等の機能を設けるようにしても良い。
【００３６】
この第１実施形態によれば、蛍光画像の撮像と通常画像の撮像を共通のＣＣＤ１８で行うことができると共に、２次元ロックインアンプ５を通すことによって、蛍光画像のＳ／Ｎを大幅に向上でき、通常画像の信号レベルとのアンバランスを縮小できるので、焼き付け等の発生を解消して両方の画像を表示できる。
【００３７】
又、簡単な構成で蛍光像と通常像の両方を撮影できるので、良好なオリエンテーションと高感度な蛍光観察の両機能を提供し、より精度の高い診断及び観察が可能となる。
【００３８】
また、撮像部とか信号処理系を共通使用できるので、両画像に対応できる装置を低コストで実現できる。
この第１実施形態ではＣＣＤ１８で説明したが、ＣＣＤ以外のＣＭＤ，ＳＩＴ，ＭＯＳ等の固体撮像素子を用いても良い。
【００３９】
次に本発明の第２実施形態を説明する。図４ないし図８は本発明の第２実施形態に係り、図４は第２実施形態の蛍光観察装置の構成を示し、図５は動作説明図を示し、図６は光源選択手段の１例を示し、図７は光源選択手段の他の例を示し、図８は波長選択手段の具体例を示す。この実施形態は蛍光像と通常像の明るさに応じ、積算回数を制御する例を示す。
【００４０】
蛍光像は通常像に比べ極めて暗くなるとともに、その蛍光の明るさは、励起波長、強度の違い、自家蛍光と薬剤による蛍光，その薬剤の種類等によって変化する。
本実施形態では上記のごとく蛍光像の明るさが変化し、通常像との明るさの割合が変化しても各々の像の両方を良好に表示する。
【００４１】
本実施形態の蛍光観察装置４０は励起光を発生するレーザ４１と、通常照明光を発生するランプ４２と、前記励起光又は照明光を適当に選択する光源選択手段４３と、上記各光を生体組織３に照射し、その反射光（通常）又は蛍光を対物レンズ４４を通じ画像として検出する撮像素子４５（例えばＣＣＤ，ＣＭＤ，ＳＩＴ）と、前記反射光又は蛍光を選択する波長選択手段４６と、前記撮像素子４５を高速に例えば３０〜２０００フレーム／Ｓで駆動するドライバ４７と、前記光源選択手段４３と波長選択手段４６，ドライバ４７を同期制御する制御回路４８と、前記撮像素子４５をデジタルデータに変換するＡ／Ｄ変換器４９と、このデジタルデータを積算する積算器５０と、前記蛍光による蛍光像と反射光による通常像を第１の画像メモリ５１と第２の画像メモリ５２に振り分けるマルチプレクサ５３と、画像メモリ５１、５２の画像を合成するスーパインポーズ回路５４と、それを表示するモニタ５５とより構成される。
【００４２】
まずレーザ４１による励起光とランプ４２による照明光を光源選択手段４３で適当に選択する。生体組織３の病変部３ａ等より発生する、蛍光又は反射光に合わせ、波長（例えば蛍光なら図３の示すλ1 ，λ2 ，照明光ならそのまま）を波長選択手段４６で選択し、これを撮像素子４５で受ける。これをＡ／Ｄ変換後、積算器５０で蛍光及び通常像の明るさに応じて積分し、蛍光像は第１の画像メモリ５１へ、通常像は第２の画像メモリ５２へ振り分け、スーパーインポーズ回路５４で各々画像を合成し、モニタ５５に表示する。
【００４３】
図５は図４の実施形態のタイミングを示す。まず、撮像素子４５を例えば１８０フレーム／Ｓで高速駆動する。もし、観察像に対し、蛍光像を５倍感度を上げるとすると、図５のようにレーザと照明光（Ｘｅで示す）の照射時間割合を５対１とし、これに合わせ、通常像１フレームに対し蛍光像を５フレーム分積分することで蛍光像の感度を向上することができる。尚、図５中のＷは通常像のための照明光を示す。
【００４４】
図６は波長選択手段４３の一例を示す。図６（ａ）のようにレーザ４１とランプ４２の光軸が一致するように回転自在の回転板５６の面を光軸に対し、ある角度で配置されている。この回転板５６は、図６（ｂ）に示すように一部が光を透過する透過窓５７と、光を反射する反射鏡５８があり、それぞれが突出部５９に連動して、透過窓５７のひらく角度が変化するようになっている。
【００４５】
つまり、この回転板５６をステッピングモータ６０で回転させつつ、マイクロステージ６１に取り付けられた溝６２で突出部５９を動かし、透過窓の角度を変えることで励起光と、照明光の割合を変化させることができる。適切な割合に設定された後、溝６２は退避され、突出部５９が係入されない状態にされる。
【００４６】
図７は波長選択手段４３の別の一例を示す。レーザ４１及びランプ４２の前に電子シャッタ６３，６４を配置し、一方の電子シャッタ６４には反転回路６５を付加し、２つの電子シャッタ６３，６４を反転制御することで交互に光を出すことができる。この光をダイクロイックミラー６６により同一光路に導く。
【００４７】
図８は波長選択手段４６の具体例を示す。図８（ａ）に示すようにこの波長選択手段４６は励起光をカットするカットフィルタ６７と、偏光板６８，ＴＮセル６９，カラー偏光板７０より成る液晶フィルタ７１より構成される。
【００４８】
図８（ｂ）に示すように液晶フィルタ７１はＯＮ状態でカラー偏光板の波長特性に対応した蛍光が透過し（例えばλ1 又はλ2 ）、ＯＦＦ状態では全ての波長領域の光を透過し、通常光を撮像素子４５に導く。
【００４９】
この第２実施形態によれば蛍光像の明るさが変化しても通常像と両方とも良好に表示できる。さらに、第２実施形態に第１実施形態の２次元ロックインアンプを組み合わせることでよりＳ／Ｎを向上できる。
【００５０】
図９は、例えば第１及び第２実施形態を内視鏡に適用した第３実施形態の蛍光観察内視鏡装置７２を示しており、この内視鏡を用いることで体腔内を蛍光観察でき、初期癌等の病変のスクリーニングが可能となる。なお、第１及び第２実施形態と同じ構成要素は同じ符号で示す。
【００５１】
この蛍光観察内視鏡装置７２は、体腔内に挿入する内視鏡７３と、光源装置２と，２次元ロックインアンプ５と，画像処理装置６と、タイミングコントローラ７と、モニタ８とより構成される。内視鏡７３の挿入部７４内にはライトガイド７５が挿通され、その手元側の端部は光源装置２に接続され、光源装置２からの照明光を導光する。
【００５２】
光源装置２は図１に示す第１実施形態とほぼ同じ構成である。レーザ９の励起光はモータ１０ａで回転されるチョッパ１０を経てパルス光にされ、ミラー７７ａ、回転面にミラー部と透過部（図９では点線で示す）とが設けられた回転ミラー７７ｂのミラー面でそれぞれ反射されてライトガイド７５の手元側の端部に入射される。この回転ミラー７７ｂの回転はタイミングコントローラ７により制御される。
【００５３】
また、キセノンランプ１１からの光は、モータ１２ａで回転され、光路上に配置されたＲＧＢ回転フィルタ１２を通り、光路上に達したタイミングでの（回転ミラー７７ｂの）透過部を経てライトガイド７５の手元側の端部に入射される。ライトガイド７５の手元側の端部に入射された光は、挿入部７４が挿入される体腔内に導光し、先端面からさらに照明レンズ７６を経て体腔内組織側に出射する。
【００５４】
この体腔内組織より発生した蛍光及び通常の光は、内視鏡先端部の観察窓に取り付けたカバーガラス、偏光板６７、対物第１レンズ４４ａ、液晶フィルタ７１、対物第２レンズ４４ｂ、を経て先端部内に配置された撮像素子４５に結像され、この撮像素子４５で光電変換される。
【００５５】
この撮像素子４５はドライバ４７からの駆動信号で駆動され、この撮像素子４５で光電変換された撮像信号はプレアンプ７９で増幅された後、２次元ロックインアンプ５を形成するＡ／Ｄ変換器２０と、画像処理装置６内のビデオプロセッサ８１に入力される。
【００５６】
ビデオプロセッサ８１は通常光の照明の場合での撮像信号に対する信号処理を行うものであり、標準的な映像信号を生成し、スーパインポーズ回路３０′を介してモニタ８に出力され、通常像を表示する。
【００５７】
一方、蛍光により撮像された撮像信号はＡ／Ｄ変換器２０を経てデジタル信号に変換された後、ＯＤＤのフレーム像とＥＶＥＮのフレーム像を記憶するフレームメモリ２２ａ，２２ｂ、これらの差分を求めるを経て差分回路２３、差分出力を積分する積分回路２４を経て画像処理装置６内のマルチプレクサ２８に入力される。
【００５８】
このマルチプレクサ２８で選択された信号はフレームメモリ２６、２７に一時記憶され、これらのフレームメモリ２６、２７から読み出された２つの信号は演算回路２９で演算されて、組織の性状の判別に応じた信号にした後、Ｄ／Ａ変換器８２でアナログの信号に変換した後、ビデオプロセッサ８３で標準的な映像信号を生成し、スーパインポーズ回路３０′に出力する。
【００５９】
そして例えば、病変部であると判断した場合には蛍光像を特定の色信号でスーパインポーズ回路３０′に出力し、その蛍光像を、通常像にスーパーインポーズして表示したり、通常画像と蛍光画像とを並べるようなスーパインポーズ処理して２つの画像を同時に表示したりする。なお、コンピュータ３１はタイミングコントローラ７とスーパインポーズ回路３０′を制御する。
【００６０】
この蛍光観察内視鏡装置７２によれば、通常の内視鏡画像の他に蛍光画像も表示できるし、病変組織の可能性のある領域を識別しやすいように表示することもできる。
【００６１】
従って、初期癌等の病変のスクリーニングに非常に有効な手段を提供できることになる。なお、図９において、回転ミラー７７ｂとして例えば図１の回転シャッタ１３の遮光部にミラーとして機能するアルミニュウム等をメッキ或は蒸着したものを用いることができる。また、プランジャにミラーを設け、プランジャを一定の周期で駆動してミラーを光路中に配置したり、退避させるようにしても良い。また、ミラーを一定角度だけ往復回動させて、ミラーを光路中に配置したり、退避させるようにしても良い。
【００６２】
さらに、ミラーにより時分割で励起光と照明光とを順次ライトガイド７５側に導光する場合と、手動等で一方のみを選択的に導光できるように切換えられるようにしても良い。このようにして、必要となる場合のみに、蛍光観察できるようにしても良い。他の実施形態に対しても同様の機能を設けても良い。
【００６３】
図１０及び図１１は内視鏡を用いたシステムを示す。Ｓ字結腸切除による太陽吻合において、その吻合部位において、その吻合部位の代謝を知ることは縫合不全を防ぐ意味から重要である。一方、生体組織に含まれるＮＡＤＨは酸素代謝をつかさどる物質で、この蛍光を見ることで、例えば縫合部の代謝状況を診断できる。図１０及び図１１は上記目的のため、ＮＡＤＨを測定する例である。
【００６４】
まず、図１０を参照して説明する。
この内視鏡観察システム１０１は、内視鏡１０２と、光源装置１０３と、信号処理装置１０４と、モニタ１０５とから構成される。
【００６５】
光源装置１０３は白色光源１０７を内蔵し、その照明光路上にＮＡＤＨを励起する光を通過させるバンドパスフィルタ１０８が、例えばモータ１０９の回動により退避可能に設けてある。このバンドパスフィルタ１０８の前方位置にコンデンサレンズ１１０が配置され、光源装置１０３に装着されるライトガイド１１１の手元側端面に照明光を供給する。
【００６６】
内視鏡１０２に設けられたこのライトガイド１１１は、軟性の挿入部１１２内を挿通され、白色光あるいは励起光を伝送し、先端部の照明窓に取り付けられた先端面から前方に出射され、例えば大腸１１３の縫合部１１４に照射される。
【００６７】
白色光の反射光或は蛍光は先端部の観察窓に取り付けた対物レンズ１１５によりその焦点面に配置されたイメージガイド１１６の先端面に像を結ぶ。そして、このイメージガイド１１６により、蛍光による像あるいは反射光による像が手元側の後端面に伝送される。
【００６８】
この後端面に対向して励起光をカットするカットフィルタ１１７と、結像レンズ１１８と、ＣＣＤ１１９とが順次配置され、このＣＣＤ１１９で光電変換された信号は信号処理回路１０４内のＣＣＵ１２０に入力され、映像信号に変換される。このＣＣＵ１２０は図９の２次元ロックインアンプ５の機能も有する。
【００６９】
信号処理回路１０４は、上記ＣＣＵ１２０と、このＣＣＵ１２０から出力される映像信号は蛍光像及び通常像それぞれの画像を蓄積するメモリ１２１と、このメモリ１２１に蛍光と通常の像を分離するためとバンドパスフィルタ１０８の開閉を制御するタイミング制御信号を出力するタイミングコントローラ１２２と、両方の画像を合成するスーパーインポーズ回路１２３とより構成される。
【００７０】
この内視鏡システム１０１の作用については前述の蛍光内視鏡装置７２とほぼ同じなので略する。また、その効果も同様である。
尚、軟性鏡の他、硬性鏡でもほぼ同様に応用できる。
【００７１】
次に図１１の内視鏡システム１３１を説明する。本実施形態は蛍光画像を得るのではなく、内視鏡のチャンネル内に挿通した光プローブで導光し、その先端を縫合部位に接触させ、接触部位の代謝をＮＡＤＨの蛍光で測定する例である。
【００７２】
この内視鏡システム１３１は、内視鏡１３２と、この内視鏡１３２に白色照明光を供給する光源装置１３３と、この内視鏡１３２のチャンネル１３４に挿通された導光プローブ１３５と、この導光プローブ１３５に励起光を供給する第２の光源装置１０３と、導光プローブ１３５で導光された蛍光を検出する検出装置１３６と、この検出装置１３６により検出された蛍光より代謝を求める分析装置１３７と、その結果を示す表示装置１３８より構成される。この分析装置１３７は図９の２次元ロックインアンプ５の機能を有する。
【００７３】
内視鏡１３２は、細長で軟性の挿入部１４１内にライトガイド１４２が挿通され、このライトガイド１４２の手元側端部は光源装置１３３に接続され、白色光源１４３からの白色光がコンデンサレンズ１４４を介して供給される。この白色光は挿入部１４１の先端部の照明窓から前方に出射され、例えば大腸１１３の縫合部１１４側に照射される。
【００７４】
縫合部１１４側で反射された光は観察窓に取り付けた対物レンズ１１５によりその焦点面に配置されたイメージガイド１１６の先端面に像を結ぶ。このイメージガイド１１６で後端面に伝送され、接眼レンズ１４６を介して肉眼で、縫合部１１４側を観察できる。
【００７５】
この内視鏡１３２のチャンネル１３４内に挿通された導光プローブ１３５の手元側は２本に分岐され、一方は光源装置１０３に、他方は検出装置１３６に接続される。
【００７６】
この光源装置１０３は図１０で説明したものと同じ構成であり、励起光を導光し、チャンネル１３４の先端出口から突出する先端面から、この先端面に接触する縫合部１１４側に導光した励起光を照射する。縫合部１１４側からの励起光はこの導光プローブ１３５で手元側に導光され、励起光をカットするカットフィルタ１１７を経て検出器１４７で検出される。検出された励起光の光量は分析装置１３７で分析され、表示装置１３８で表示される。
【００７７】
尚、ＮＡＤＨの蛍光の他、近赤外光を使い、チトクロームを測定したり、レーザドップラー計で血流を測定し、代謝を求めても良い。
なお、上述した各実施形態等を部分的等で組み合わせて異なる実施形態を構成しても良い。
【００７８】
【発明の効果】
以上説明したように本発明によれば、蛍光像のＳ／Ｎ比を大幅に向上させて通常画像との信号レベルのアンバランスを縮小でき、ハレーション等の発生を防止することができる。
【図面の簡単な説明】
【図１】第１実施形態の蛍光観察装置の全体構成図。
【図２】正常部と病変部の場合における蛍光強度分布の１例を示す特性図。
【図３】第１実施形態の動作説明用のタイミングチャート。
【図４】本発明の第２実施形態の蛍光観察装置の全体構成図。
【図５】第２実施形態の動作説明図。
【図６】光源選択手段の１例を示す説明図。
【図７】光源選択手段の他の例を示す説明図。
【図８】波長選択手段の具体例を示す説明図。
【図９】本発明の第３実施形態の蛍光内視鏡装置の構成を示す構成図。
【図１０】縫合部の代謝状況の診断に適した内視鏡システムの構成図。
【図１１】図１０の変形例を示す構成図。
【図１２】従来例の蛍光観察装置の全体構成図。
【符号の説明】
１…蛍光観察装置
２…光源装置
３…組織
４…撮像装置
５…２次元ロックインアンプ
６…画像処理装置
７…タイミングコントローラ
８…モニタ
９…レーザ
１０…チョッパ
１１…キセノンランプ
１２…第１のフィルタ
１３…回転シャッタ
１４…ダイクロイックミラー
１６…対物レンズ
１７…第２のフィルタ
１８…ＣＣＤ
１９…ビデオプロセッサ
２１…マルチプレクサ
２２ａ，２２ｂ…フレームメモリ
２３…差分回路
２４…積分回路
２６、２７…フレームメモリ
２９…演算回路
３０…スーパインポーズ回路
【発明の属する技術分野】
本発明は、内視鏡装置、詳しくは、通常の照明光による観察像と、励起光による蛍光像とを得ることのできる内視鏡装置に関する。
【０００２】
【従来の技術】
近年、生体からの自家蛍光や、生体へ薬物を注入し、その薬物の蛍光を２次元画像として検出し、その蛍光像から、生体組織の変性や癌等の疾患状態（例えば、疾患の種類や浸潤範囲）を診断する技術がある。
【０００３】
生体組織に光を照射するとその光（励起光）より長い波長の蛍光が発生する。生体における蛍光物質として、例えばＮＡＤＨ（ニコチンアミドアデニンヌクレオチド），ＦＭＮ（フラビンモノヌクレオチド），ピリジンヌクレオチド等がある。最近では、このような、生体内因物質と、疾患との相互関係が明確になってきた。また、ＨｐＤ（ヘマトポルフィリン），Ｐｈｏｔｏｆｒｉｎ，ＡＬＡ（δ−ａｍｉｎｏ ｌｅｖｕｌｉｎｉｃ ａｃｉｄ）は、癌への集積性があり、これを生体内に注入し、前記物質の蛍光を観察することで疾患部位の診断に利用される。
【０００４】
ところで、上記の蛍光は、極めて微弱であるので、その観察のためには、極めて高感度の撮影を必要とする。この高感度撮影を行うものとしてイメージ・インテンシファイヤが良く知られている。また、最近では図１２に示すように２次元で同期検波を行い、感度を高める方法が提案されている。
【０００５】
まず、レーザ装置２０１より連続的なレーザ光を照射し、これを、チョッパ２０２によりクロック発生器２２０で発生した１／６００Ｓのクロックを高速度でチョッピングし、凹レンズ２０３で拡大し、組織２０４に照射する。この組織２０４からの蛍光をレンズ２０５，フィルタ２０６を通じ、ＣＣＤ２０７で撮像する。
【０００６】
フィルタ２０６はレーザ光をカットし、それより長い波長、つまり蛍光のみを通過させるバンドパスフィルタである。この時、蛍光は励起光の明滅と同期し、発生し、これをＣＣＤ２０７で前記チョッピング、つまり１／６００Ｓの周期と同期して検出する。そして、これをビデオプロセッサ２０８で画像信号とし、さらにＡ／Ｄコンバータ２０９によりデジタルデータに変換する。
【０００７】
このデータを前記クロック１／６００Ｓのタミングでマルチプレクサ２１０を切り換え、ＯＤＤとＥＶＥＮのフレーム、つまり蛍光が発生している時と、発生していない時の画像（又は逆でもよい）に分け各々フレームメモリ２１１，２１２に記憶される。このフレームメモリ２１１，２１２記憶されたデータを１／３００Ｓ（分周回路２１４によりクロックが分周した。）の周期で差分回路２１３により差分するとともに、さらに、これを例えば１０回程度、積算回路２１５により積算することでノイズをキャンセルし、必要な信号を増幅し結果的にＳ／Ｎを向上できる。
【０００８】
これをビデオプロセッサ２１６でビデオ信号としてモニタ２１７に表示する。尚、図中２１９はＳ／Ｎを向上させるための２次元ロックインアンプ部を示している。
【０００９】
一方、蛍光観察においては、蛍光像の他、通常の画面の観察も、オリエンテーション等を行う上で重要である。従来では、蛍光像と通常像の両方を撮影するため、複数のカメラを使用したり、又、同一のカメラを時分割で撮影していた。
【００１０】
【発明が解決しようとする課題】
蛍光像と通常像を異なるカメラで撮影した場合、構造が複雑になったり撮像部分が大型になったりしていた。又、一つのカメラで時分割で撮影した場合、蛍光と通常画像の受光強度が極めて異なるため、蛍光像が暗くなったり通常像がハレーションが起きたり、最悪時には焼き付けが起こる問題があった。
【００１１】
本発明は上述した点に鑑みてなされたもので、蛍光像のＳ／Ｎ比を大幅に向上させて通常画像との信号レベルのアンバランスを縮小でき、ハレーション等の発生を防止することができるようにした内視鏡装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の一態様による内視鏡装置は、被検体の内部に挿入される挿入部と、
照明光光源が発する照明光に基づく被検体からの反射光を入射して撮像するとともに、励起光光源が発する励起光に基づく前記被検体からの蛍光を入射して撮像する、前記挿入部先端部に備えられた撮像手段と、
前記照明光と前記励起光とを所定のタイミングで切換える切換手段と、
前記切換手段の切換えタイミングに同期し、前記照明光光源が照明光を照射しているときには該照明光に基づく被検体からの反射光を透過し、前記励起光光源が励起光を照射しているときには該励起光に基づく前記被検体からの少なくとも一つの特定波長領域の蛍光を透過する、前記撮像手段の被検体側に備えられた波長選択手段と、
前記切換手段によって切換えられる前記励起光照射期間より短い周期で明滅するよう、前記励起光をチョッパによって明滅して該励起光の前記被検体への明滅により得られる明画像と滅画像とを差分処理する差分手段と、
を備えている。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１４】
図１ないし図３は本発明の第１実施形態に係り、図１は第１実施形態の蛍光観察装置の構成を示し、図２は正常部と病変部の場合における蛍光強度分布の１例を示し、図３は第１実施形態の動作説明用のタイミングチャートを示す。
この第１実施形態は蛍光像と観察像の両方を共通の撮像素子で時分割で検出する装置である。
【００１５】
図１に示す第１実施形態の蛍光観察装置１は通常の観察のための照明光と蛍光観察のための励起光とを発生する光源装置２と、観察対象被写体となる組織３の通常像と蛍光像を撮像する撮像装置４と、この撮像装置４で検出した画像を増幅し、Ｓ／Ｎを向上させる２次元ロックインアンプ５と、前記画像を通常像と蛍光像に分け、各々処理するとともに、各画像を合成する画像処理装置６と、前記光源装置２と撮像装置４と２次元ロックインアンプ５と画像処理装置６とを同期制御するタイミングコントローラ７と、前記画像処理装置６を経た画像を表示するモニタ８より構成される。
【００１６】
前記光源装置２は、波長がλ0 （例えばλ0＝３５０ｍｍ〜５００ｍｍ）の励起光（簡単化のため励起光λ0 と略記する）を発生させるレーザ９（例えばエキシマレーザ、クリプトンレーザ、Ｈｅ−Ｃｄレーザ、色素レーザを用いることができる。）と、前記レーザ光の光路上に周縁部分がかかるように配置され、１／７２０Ｓの周期で明滅させるように遮光円板の周縁に凹凸を設け、回転駆動されるチョッパ１０と、通常画像を観察するための照明光を発生するキセノンランプ１１と、この照明光の光路上に配置され、Ｒ，Ｂ，Ｇの色フィルタを持ち、図示しないモータで例えば１／３０Ｓで回転される第１の回転フィルタ１２と、この第１の回転フィルタ１２と同期して、レーザ光の光路上に配置され、このレーザ光を透過及び遮光する（１／３０Ｓで回転される）回転シャッタ１３と、照明光の光路上に４５°傾けて配置され、かつレーザ光の光路上になる位置に配置され、励起光λ0 のみを反射するダイクロイックミラー１４と、このダイクロイックミラー１４の前方の光路上に配置され、拡開して組織３側に光を照射するための照明レンズ１５とより成る。
つまり、光源装置２はパルス化された励起光としてのレーザ光と、Ｒ，Ｇ，Ｂ照明光を交互に照射する。
【００１７】
前記撮像装置４は組織３の光学像を結ぶための対物レンズ１６と、この対物レンズ１６の光路上に配置され、前記第１のフィルタ１２，回転シャッタ１３と同期するように図示しないモータで１／３０Ｓで回転され、蛍光画像（λ0 より長波長のλ1 ，λ2 の蛍光）と、通常画像を通過させる第２のフィルタ１７と、前記蛍光及び通常画像を共用で時分割で撮影するための撮像素子としてのＣＣＤ１８と、このＣＣＤ１８を駆動するとともに画像信号に変換するビデオプロセッサ１９とより成る。
【００１８】
尚、ビデオプロセッサ１９，第２のフィルタ１７はタイミングコントローラ７で制御され、ビデオプロセッサ１９は例えば１／７２０Ｓの１／２の１／１４４０Ｓの高速な周期でそれぞれ１フレームの画像信号を生成する。
【００１９】
２次元ロックインアンプ５は前記画像信号をデジタルデータに変換するＡ／Ｄ変換器２０と前記タイミングコントローラ７と同期し、レーザ９の励起光の明滅に合わせ、それぞれの画像データをフレームごとにフレームメモリ（ＯＤＤ）２２ａとフレームメモリ（ＥＶＥＮ）２２ｂに分けるマルチプレクサ２１と、フレームメモリ（ＯＤＤ）２２ａとフレームメモリ（ＥＶＥＮ）２２ｂを差分し、ノイズ分をキャンセルしてＳ／Ｎを大幅に向上する差分回路２３と、ノイズ分をキャンセルされた画像を累積するように積分（同じ画像部分同士をそれぞれ累積するように積分）することによりＳ／Ｎを上げて増幅する積分回路２４とから成る。尚、通常光の場合はフレームメモリ及び差分回路を経由せず直接、積分回路２４に入力される。
【００２０】
また、画像処理装置６は前記増幅された通常及び蛍光画像データをタイミングコントローラ７と同期して、通常画像記憶用フレームメモリ（ＲＧＢのフレームメモリからなる）２５，λ1画像記憶用フレームメモリ２６，λ2画像記憶用フレームメモリ２７へ分離するマルチプレクサ２８と、蛍光画像から組織の性状を明確にするためλ1画像記憶用フレームメモリ２６及びλ2画像記憶用フレームメモリ２７を演算回路２９と、通常画像記憶用フレームメモリ２６の画像と演算回路２９の画像を合成するスーパインポーズ回路３０と、このスーパインポーズ回路３０及び前記タイミングコントローラ７を制御するコンピュータ３１とよりなる。
【００２１】
次にこの実施形態の作用を説明する。まず、光源装置２より例えば１／７２０Ｓの周期でパルス化された励起光λ0 と例えば１／３０Ｓ周期の観察光（Ｒ，Ｇ，Ｂ）で時分割で交互に組織３に照射する。
【００２２】
図３はチョッパ１０と、回転シャッタ１３，第１のフィルタ１２，第２のフィルタ１７のタイミングを示す。回転シャッタ１３と第１のフィルタ１２は交互に開くようになっており、第２のフィルタ１７は回転シャッタ１３と第１のフィルタ１２に同期し、つまり回転シャッタ１３が開いて励起光を組織３に照射している時λ1，λ2 のフィルタが観察光路上に順次配置され、通常光（Ｒ，Ｇ，Ｂ）を組織３に照射している時、フィルタを取り除いている。さらに、励起光はチョッパ１０により１／７２０Ｓで明滅される。
【００２３】
さらに詳しく説明すると、回転シャッタ１３は図３（ａ）に示すように１／３０Ｓ周期の２／３の期間開口し、この期間は図３（ｂ）に示すように第１のフィルタ１２は遮光部（閉で示す）となり、図３（ｄ）に示すように開閉するチョッパ１０でレーザ光は明滅され、回転シャッタ１３はパルス化された励起光λ0 を通す（この期間は第１のフィルタ１２は遮光部となり、Ｒ，Ｇ，Ｂ光を遮光する）。この励起光λ0 はダイクロイックミラー１４で反射され、レンズ１５を経て組織３に照射され、励起光λ0 より長い蛍光を発光させる。
【００２４】
この蛍光は対物レンズ１６によって第２の回転フィルタ１７を透過する波長成分がＣＣＤ１８に届き、蛍光像を結ぶ。図３（ｃ）に示すように第２の回転フィルタ１７は波長λ1 とλ2 が順次、撮像光路中に配置され、１／９０Ｓづつ波長λ1 とλ2 の蛍光像が撮像されることになる。
【００２５】
、１／３０Ｓ周期の次の１／３の期間は回転シャッタ１３はレーザ光を遮光する遮光期間となり、この遮光期間には第１のフィルタ１２はＲ，Ｇ，Ｂの色フィルタの１つが光路中に順次配置され、Ｒ，Ｇ，Ｂ照明光の１つ（例えばＲ照明光）が出力され、ダイクロイックミラー１４を透過し、レンズ１５を経て組織３に照射される。
【００２６】
組織３で反射された例えばＲ照明光は対物レンズ１６によって第２の回転フィルタ１７を透過し、ＣＣＤ１８にＲ像を結ぶ。図３（ｃ）に示すように、この期間には第２の回転フィルタ１７は開口部分が撮像光路中に配置される状態となる（図３（ｃ）では（フィルタ）なしで示している）。次の周期の同じタイミングではＧ照明光での照明及び撮像、さらに次の周期ではＢ照明光での照明及び撮像が行われることになる。つまり、時分割での励起光と照明光に対応して、ＣＣＤ１８を内蔵した撮像装置４により時分割で撮像が行われる。
【００２７】
このようにして蛍光のうち波長λ1 とλ2 、さらに通常画像が共通の撮像装置４により前記１／７２０Ｓの周期の半分の１／１４４０Ｓの周期、つまり励起光の明滅に同期して画像信号に変換される。なお、Ｒ，Ｇ，Ｂの各照明は１／９０Ｓづつ連続照明されるが、１／１４４０Ｓの周期で繰り返し、読み出される。
【００２８】
このように高速な画像信号を２次元ロックインアンプ５でＳ／Ｎの向上及び増幅を行う。特に蛍光画像の場合には明滅させた場合の明と滅との画像を差分回路２３で差分処理することによって、明滅に無関係なノイズとか特に低周波で大きくなる１／ｆノイズの影響を大幅に低減化でき、従って微弱な蛍光画像の場合にもＳ／Ｎの良い蛍光画像信号を生成できる。
【００２９】
従って、差分回路２３から出力される蛍光画像信号は通常観察の画像信号のレベルから極端にアンバランスになることのないレベルに設定できる。つまり、２次元ロックインアンプ５を通すことにより蛍光画像と通常画像の信号レベルをある程度揃えられるので、蛍光画像のレベルを上げるために、信号処理系内の途中に大幅にゲインを上げる回路を設ける必要がないので、そのような場合に通常画像側でしばしば発生するハレーションとか焼き付けの発生などを有効に防止できる。
【００３０】
もっとも、レーザ光の強度とか、蛍光剤の種類、蛍光の発生効率等により、蛍光の明るさ（強度）が変化するので、観察像の明るさに応じ、積分回路２４の積算回数や、デジタル窓による処理（積算回数によりビット数が多くなり、このデータをビットのどの部分のデータを切り取るかでゲインを変える。）により増幅率を変化させるようにしても良い。
【００３１】
このように増幅された画像信号は画像処理装置６で、蛍光像と通常像に分け、各々を処理し、表示に適した画像データに変換し、さらにスーパインポーズ回路３０で合成し、モニタ８に表示する。
【００３２】
図２は励起光λ0 を照射した時の蛍光特性を示す。例えば４４２ｍｍの励起光で得られる組織の蛍光は正常部位ではその強度が強く、病変部では、波長の短い側で正常に比べ弱い。つまり、図中の波長λ1 ，λ2 では正常部位の場合と病変部位の場合とでは蛍光強度の比率が異なるので、このλ1 ，λ2 での蛍光強度の比率を求めることで病変部位と正常部位を区別することができる。
【００３３】
このため、波長λ1 で撮像された画像を格納するフレームメモリ２６と，λ2 で撮像された画像を格納するフレームメモリ２７との両画像は演算回路２９で対応する各画像部分で差分を求める演算が行われ、この差分処理された値が設定された値以下か否かを判断し、例えば設定値以下の領域に対してはその領域部分に対しては識別し易い色信号を出力し、スーパインポーズ回路３０を経て通常画像に対し、設定値以下となる病変部の可能性のある領域を色で識別できるようにする。
【００３４】
一方、設定値以上の画像の場合には例えば波長λ1 とλ2 で撮像された両画像を加算してスーパインポーズ回路３０に出力し、通常画像に並べるように蛍光画像をスーパインポーズし、２つの画像をモニタ８で表示する。
【００３５】
勿論、設定値以下の場合にも同様に表示し、且つ設定値以下の領域を識別し易い色で表示するようにしても良い。
さらに、通常画像と一方の波長の画像とを選択して表示したり、２つの蛍光画像を並べて表示する等の機能を設けるようにしても良い。
【００３６】
この第１実施形態によれば、蛍光画像の撮像と通常画像の撮像を共通のＣＣＤ１８で行うことができると共に、２次元ロックインアンプ５を通すことによって、蛍光画像のＳ／Ｎを大幅に向上でき、通常画像の信号レベルとのアンバランスを縮小できるので、焼き付け等の発生を解消して両方の画像を表示できる。
【００３７】
又、簡単な構成で蛍光像と通常像の両方を撮影できるので、良好なオリエンテーションと高感度な蛍光観察の両機能を提供し、より精度の高い診断及び観察が可能となる。
【００３８】
また、撮像部とか信号処理系を共通使用できるので、両画像に対応できる装置を低コストで実現できる。
この第１実施形態ではＣＣＤ１８で説明したが、ＣＣＤ以外のＣＭＤ，ＳＩＴ，ＭＯＳ等の固体撮像素子を用いても良い。
【００３９】
次に本発明の第２実施形態を説明する。図４ないし図８は本発明の第２実施形態に係り、図４は第２実施形態の蛍光観察装置の構成を示し、図５は動作説明図を示し、図６は光源選択手段の１例を示し、図７は光源選択手段の他の例を示し、図８は波長選択手段の具体例を示す。この実施形態は蛍光像と通常像の明るさに応じ、積算回数を制御する例を示す。
【００４０】
蛍光像は通常像に比べ極めて暗くなるとともに、その蛍光の明るさは、励起波長、強度の違い、自家蛍光と薬剤による蛍光，その薬剤の種類等によって変化する。
本実施形態では上記のごとく蛍光像の明るさが変化し、通常像との明るさの割合が変化しても各々の像の両方を良好に表示する。
【００４１】
本実施形態の蛍光観察装置４０は励起光を発生するレーザ４１と、通常照明光を発生するランプ４２と、前記励起光又は照明光を適当に選択する光源選択手段４３と、上記各光を生体組織３に照射し、その反射光（通常）又は蛍光を対物レンズ４４を通じ画像として検出する撮像素子４５（例えばＣＣＤ，ＣＭＤ，ＳＩＴ）と、前記反射光又は蛍光を選択する波長選択手段４６と、前記撮像素子４５を高速に例えば３０〜２０００フレーム／Ｓで駆動するドライバ４７と、前記光源選択手段４３と波長選択手段４６，ドライバ４７を同期制御する制御回路４８と、前記撮像素子４５をデジタルデータに変換するＡ／Ｄ変換器４９と、このデジタルデータを積算する積算器５０と、前記蛍光による蛍光像と反射光による通常像を第１の画像メモリ５１と第２の画像メモリ５２に振り分けるマルチプレクサ５３と、画像メモリ５１、５２の画像を合成するスーパインポーズ回路５４と、それを表示するモニタ５５とより構成される。
【００４２】
まずレーザ４１による励起光とランプ４２による照明光を光源選択手段４３で適当に選択する。生体組織３の病変部３ａ等より発生する、蛍光又は反射光に合わせ、波長（例えば蛍光なら図３の示すλ1 ，λ2 ，照明光ならそのまま）を波長選択手段４６で選択し、これを撮像素子４５で受ける。これをＡ／Ｄ変換後、積算器５０で蛍光及び通常像の明るさに応じて積分し、蛍光像は第１の画像メモリ５１へ、通常像は第２の画像メモリ５２へ振り分け、スーパーインポーズ回路５４で各々画像を合成し、モニタ５５に表示する。
【００４３】
図５は図４の実施形態のタイミングを示す。まず、撮像素子４５を例えば１８０フレーム／Ｓで高速駆動する。もし、観察像に対し、蛍光像を５倍感度を上げるとすると、図５のようにレーザと照明光（Ｘｅで示す）の照射時間割合を５対１とし、これに合わせ、通常像１フレームに対し蛍光像を５フレーム分積分することで蛍光像の感度を向上することができる。尚、図５中のＷは通常像のための照明光を示す。
【００４４】
図６は波長選択手段４３の一例を示す。図６（ａ）のようにレーザ４１とランプ４２の光軸が一致するように回転自在の回転板５６の面を光軸に対し、ある角度で配置されている。この回転板５６は、図６（ｂ）に示すように一部が光を透過する透過窓５７と、光を反射する反射鏡５８があり、それぞれが突出部５９に連動して、透過窓５７のひらく角度が変化するようになっている。
【００４５】
つまり、この回転板５６をステッピングモータ６０で回転させつつ、マイクロステージ６１に取り付けられた溝６２で突出部５９を動かし、透過窓の角度を変えることで励起光と、照明光の割合を変化させることができる。適切な割合に設定された後、溝６２は退避され、突出部５９が係入されない状態にされる。
【００４６】
図７は波長選択手段４３の別の一例を示す。レーザ４１及びランプ４２の前に電子シャッタ６３，６４を配置し、一方の電子シャッタ６４には反転回路６５を付加し、２つの電子シャッタ６３，６４を反転制御することで交互に光を出すことができる。この光をダイクロイックミラー６６により同一光路に導く。
【００４７】
図８は波長選択手段４６の具体例を示す。図８（ａ）に示すようにこの波長選択手段４６は励起光をカットするカットフィルタ６７と、偏光板６８，ＴＮセル６９，カラー偏光板７０より成る液晶フィルタ７１より構成される。
【００４８】
図８（ｂ）に示すように液晶フィルタ７１はＯＮ状態でカラー偏光板の波長特性に対応した蛍光が透過し（例えばλ1 又はλ2 ）、ＯＦＦ状態では全ての波長領域の光を透過し、通常光を撮像素子４５に導く。
【００４９】
この第２実施形態によれば蛍光像の明るさが変化しても通常像と両方とも良好に表示できる。さらに、第２実施形態に第１実施形態の２次元ロックインアンプを組み合わせることでよりＳ／Ｎを向上できる。
【００５０】
図９は、例えば第１及び第２実施形態を内視鏡に適用した第３実施形態の蛍光観察内視鏡装置７２を示しており、この内視鏡を用いることで体腔内を蛍光観察でき、初期癌等の病変のスクリーニングが可能となる。なお、第１及び第２実施形態と同じ構成要素は同じ符号で示す。
【００５１】
この蛍光観察内視鏡装置７２は、体腔内に挿入する内視鏡７３と、光源装置２と，２次元ロックインアンプ５と，画像処理装置６と、タイミングコントローラ７と、モニタ８とより構成される。内視鏡７３の挿入部７４内にはライトガイド７５が挿通され、その手元側の端部は光源装置２に接続され、光源装置２からの照明光を導光する。
【００５２】
光源装置２は図１に示す第１実施形態とほぼ同じ構成である。レーザ９の励起光はモータ１０ａで回転されるチョッパ１０を経てパルス光にされ、ミラー７７ａ、回転面にミラー部と透過部（図９では点線で示す）とが設けられた回転ミラー７７ｂのミラー面でそれぞれ反射されてライトガイド７５の手元側の端部に入射される。この回転ミラー７７ｂの回転はタイミングコントローラ７により制御される。
【００５３】
また、キセノンランプ１１からの光は、モータ１２ａで回転され、光路上に配置されたＲＧＢ回転フィルタ１２を通り、光路上に達したタイミングでの（回転ミラー７７ｂの）透過部を経てライトガイド７５の手元側の端部に入射される。ライトガイド７５の手元側の端部に入射された光は、挿入部７４が挿入される体腔内に導光し、先端面からさらに照明レンズ７６を経て体腔内組織側に出射する。
【００５４】
この体腔内組織より発生した蛍光及び通常の光は、内視鏡先端部の観察窓に取り付けたカバーガラス、偏光板６７、対物第１レンズ４４ａ、液晶フィルタ７１、対物第２レンズ４４ｂ、を経て先端部内に配置された撮像素子４５に結像され、この撮像素子４５で光電変換される。
【００５５】
この撮像素子４５はドライバ４７からの駆動信号で駆動され、この撮像素子４５で光電変換された撮像信号はプレアンプ７９で増幅された後、２次元ロックインアンプ５を形成するＡ／Ｄ変換器２０と、画像処理装置６内のビデオプロセッサ８１に入力される。
【００５６】
ビデオプロセッサ８１は通常光の照明の場合での撮像信号に対する信号処理を行うものであり、標準的な映像信号を生成し、スーパインポーズ回路３０′を介してモニタ８に出力され、通常像を表示する。
【００５７】
一方、蛍光により撮像された撮像信号はＡ／Ｄ変換器２０を経てデジタル信号に変換された後、ＯＤＤのフレーム像とＥＶＥＮのフレーム像を記憶するフレームメモリ２２ａ，２２ｂ、これらの差分を求めるを経て差分回路２３、差分出力を積分する積分回路２４を経て画像処理装置６内のマルチプレクサ２８に入力される。
【００５８】
このマルチプレクサ２８で選択された信号はフレームメモリ２６、２７に一時記憶され、これらのフレームメモリ２６、２７から読み出された２つの信号は演算回路２９で演算されて、組織の性状の判別に応じた信号にした後、Ｄ／Ａ変換器８２でアナログの信号に変換した後、ビデオプロセッサ８３で標準的な映像信号を生成し、スーパインポーズ回路３０′に出力する。
【００５９】
そして例えば、病変部であると判断した場合には蛍光像を特定の色信号でスーパインポーズ回路３０′に出力し、その蛍光像を、通常像にスーパーインポーズして表示したり、通常画像と蛍光画像とを並べるようなスーパインポーズ処理して２つの画像を同時に表示したりする。なお、コンピュータ３１はタイミングコントローラ７とスーパインポーズ回路３０′を制御する。
【００６０】
この蛍光観察内視鏡装置７２によれば、通常の内視鏡画像の他に蛍光画像も表示できるし、病変組織の可能性のある領域を識別しやすいように表示することもできる。
【００６１】
従って、初期癌等の病変のスクリーニングに非常に有効な手段を提供できることになる。なお、図９において、回転ミラー７７ｂとして例えば図１の回転シャッタ１３の遮光部にミラーとして機能するアルミニュウム等をメッキ或は蒸着したものを用いることができる。また、プランジャにミラーを設け、プランジャを一定の周期で駆動してミラーを光路中に配置したり、退避させるようにしても良い。また、ミラーを一定角度だけ往復回動させて、ミラーを光路中に配置したり、退避させるようにしても良い。
【００６２】
さらに、ミラーにより時分割で励起光と照明光とを順次ライトガイド７５側に導光する場合と、手動等で一方のみを選択的に導光できるように切換えられるようにしても良い。このようにして、必要となる場合のみに、蛍光観察できるようにしても良い。他の実施形態に対しても同様の機能を設けても良い。
【００６３】
図１０及び図１１は内視鏡を用いたシステムを示す。Ｓ字結腸切除による太陽吻合において、その吻合部位において、その吻合部位の代謝を知ることは縫合不全を防ぐ意味から重要である。一方、生体組織に含まれるＮＡＤＨは酸素代謝をつかさどる物質で、この蛍光を見ることで、例えば縫合部の代謝状況を診断できる。図１０及び図１１は上記目的のため、ＮＡＤＨを測定する例である。
【００６４】
まず、図１０を参照して説明する。
この内視鏡観察システム１０１は、内視鏡１０２と、光源装置１０３と、信号処理装置１０４と、モニタ１０５とから構成される。
【００６５】
光源装置１０３は白色光源１０７を内蔵し、その照明光路上にＮＡＤＨを励起する光を通過させるバンドパスフィルタ１０８が、例えばモータ１０９の回動により退避可能に設けてある。このバンドパスフィルタ１０８の前方位置にコンデンサレンズ１１０が配置され、光源装置１０３に装着されるライトガイド１１１の手元側端面に照明光を供給する。
【００６６】
内視鏡１０２に設けられたこのライトガイド１１１は、軟性の挿入部１１２内を挿通され、白色光あるいは励起光を伝送し、先端部の照明窓に取り付けられた先端面から前方に出射され、例えば大腸１１３の縫合部１１４に照射される。
【００６７】
白色光の反射光或は蛍光は先端部の観察窓に取り付けた対物レンズ１１５によりその焦点面に配置されたイメージガイド１１６の先端面に像を結ぶ。そして、このイメージガイド１１６により、蛍光による像あるいは反射光による像が手元側の後端面に伝送される。
【００６８】
この後端面に対向して励起光をカットするカットフィルタ１１７と、結像レンズ１１８と、ＣＣＤ１１９とが順次配置され、このＣＣＤ１１９で光電変換された信号は信号処理回路１０４内のＣＣＵ１２０に入力され、映像信号に変換される。このＣＣＵ１２０は図９の２次元ロックインアンプ５の機能も有する。
【００６９】
信号処理回路１０４は、上記ＣＣＵ１２０と、このＣＣＵ１２０から出力される映像信号は蛍光像及び通常像それぞれの画像を蓄積するメモリ１２１と、このメモリ１２１に蛍光と通常の像を分離するためとバンドパスフィルタ１０８の開閉を制御するタイミング制御信号を出力するタイミングコントローラ１２２と、両方の画像を合成するスーパーインポーズ回路１２３とより構成される。
【００７０】
この内視鏡システム１０１の作用については前述の蛍光内視鏡装置７２とほぼ同じなので略する。また、その効果も同様である。
尚、軟性鏡の他、硬性鏡でもほぼ同様に応用できる。
【００７１】
次に図１１の内視鏡システム１３１を説明する。本実施形態は蛍光画像を得るのではなく、内視鏡のチャンネル内に挿通した光プローブで導光し、その先端を縫合部位に接触させ、接触部位の代謝をＮＡＤＨの蛍光で測定する例である。
【００７２】
この内視鏡システム１３１は、内視鏡１３２と、この内視鏡１３２に白色照明光を供給する光源装置１３３と、この内視鏡１３２のチャンネル１３４に挿通された導光プローブ１３５と、この導光プローブ１３５に励起光を供給する第２の光源装置１０３と、導光プローブ１３５で導光された蛍光を検出する検出装置１３６と、この検出装置１３６により検出された蛍光より代謝を求める分析装置１３７と、その結果を示す表示装置１３８より構成される。この分析装置１３７は図９の２次元ロックインアンプ５の機能を有する。
【００７３】
内視鏡１３２は、細長で軟性の挿入部１４１内にライトガイド１４２が挿通され、このライトガイド１４２の手元側端部は光源装置１３３に接続され、白色光源１４３からの白色光がコンデンサレンズ１４４を介して供給される。この白色光は挿入部１４１の先端部の照明窓から前方に出射され、例えば大腸１１３の縫合部１１４側に照射される。
【００７４】
縫合部１１４側で反射された光は観察窓に取り付けた対物レンズ１１５によりその焦点面に配置されたイメージガイド１１６の先端面に像を結ぶ。このイメージガイド１１６で後端面に伝送され、接眼レンズ１４６を介して肉眼で、縫合部１１４側を観察できる。
【００７５】
この内視鏡１３２のチャンネル１３４内に挿通された導光プローブ１３５の手元側は２本に分岐され、一方は光源装置１０３に、他方は検出装置１３６に接続される。
【００７６】
この光源装置１０３は図１０で説明したものと同じ構成であり、励起光を導光し、チャンネル１３４の先端出口から突出する先端面から、この先端面に接触する縫合部１１４側に導光した励起光を照射する。縫合部１１４側からの励起光はこの導光プローブ１３５で手元側に導光され、励起光をカットするカットフィルタ１１７を経て検出器１４７で検出される。検出された励起光の光量は分析装置１３７で分析され、表示装置１３８で表示される。
【００７７】
尚、ＮＡＤＨの蛍光の他、近赤外光を使い、チトクロームを測定したり、レーザドップラー計で血流を測定し、代謝を求めても良い。
なお、上述した各実施形態等を部分的等で組み合わせて異なる実施形態を構成しても良い。
【００７８】
【発明の効果】
以上説明したように本発明によれば、蛍光像のＳ／Ｎ比を大幅に向上させて通常画像との信号レベルのアンバランスを縮小でき、ハレーション等の発生を防止することができる。
【図面の簡単な説明】
【図１】第１実施形態の蛍光観察装置の全体構成図。
【図２】正常部と病変部の場合における蛍光強度分布の１例を示す特性図。
【図３】第１実施形態の動作説明用のタイミングチャート。
【図４】本発明の第２実施形態の蛍光観察装置の全体構成図。
【図５】第２実施形態の動作説明図。
【図６】光源選択手段の１例を示す説明図。
【図７】光源選択手段の他の例を示す説明図。
【図８】波長選択手段の具体例を示す説明図。
【図９】本発明の第３実施形態の蛍光内視鏡装置の構成を示す構成図。
【図１０】縫合部の代謝状況の診断に適した内視鏡システムの構成図。
【図１１】図１０の変形例を示す構成図。
【図１２】従来例の蛍光観察装置の全体構成図。
【符号の説明】
１…蛍光観察装置
２…光源装置
３…組織
４…撮像装置
５…２次元ロックインアンプ
６…画像処理装置
７…タイミングコントローラ
８…モニタ
９…レーザ
１０…チョッパ
１１…キセノンランプ
１２…第１のフィルタ
１３…回転シャッタ
１４…ダイクロイックミラー
１６…対物レンズ
１７…第２のフィルタ
１８…ＣＣＤ
１９…ビデオプロセッサ
２１…マルチプレクサ
２２ａ，２２ｂ…フレームメモリ
２３…差分回路
２４…積分回路
２６、２７…フレームメモリ
２９…演算回路
３０…スーパインポーズ回路
Claims (3)
- 被検体の内部に挿入される挿入部と、
照明光光源が発する照明光に基づく被検体からの反射光を入射して撮像するとともに、励起光光源が発する励起光に基づく前記被検体からの蛍光を入射して撮像する、前記挿入部先端部に備えられた撮像手段と、
前記照明光と前記励起光とを所定のタイミングで切換える切換手段と、
前記切換手段の切換えタイミングに同期し、前記照明光光源が照明光を照射しているときには該照明光に基づく被検体からの反射光を透過し、前記励起光光源が励起光を照射しているときには該励起光に基づく前記被検体からの少なくとも一つの特定波長領域の蛍光を透過する、前記撮像手段の被検体側に備えられた波長選択手段と、
前記切換手段によって切換えられる前記励起光照射期間より短い周期で明滅するよう、前記励起光をチョッパによって明滅して該励起光の前記被検体への明滅により得られる明画像と滅画像とを差分処理する差分手段と、
を具備したことを特徴とする内視鏡装置。 - 前記蛍光に含まれる光のうちの複数の波長に基づく画像を差分処理し、この差分処理された値を設定値と比較し、この比較結果に基づいて所定の色の蛍光画像とすることを特徴とする請求項 1 に記載の内視鏡装置。
- 前記撮像手段により得られる、前記反射光に基づく画像と蛍光に基づく画像とを表示するために合成する合成手段を、さらに具備することを特徴とする請求項 1 又は 2 に記載の内視鏡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001201184A JP4015383B2 (ja) | 2001-07-02 | 2001-07-02 | 内視鏡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001201184A JP4015383B2 (ja) | 2001-07-02 | 2001-07-02 | 内視鏡装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30443293A Division JP3285265B2 (ja) | 1993-12-03 | 1993-12-03 | 蛍光観察装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002000548A JP2002000548A (ja) | 2002-01-08 |
| JP4015383B2 true JP4015383B2 (ja) | 2007-11-28 |
Family
ID=19038191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001201184A Expired - Fee Related JP4015383B2 (ja) | 2001-07-02 | 2001-07-02 | 内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4015383B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008264578A (ja) * | 2002-05-08 | 2008-11-06 | Kuresuto Japan Kk | 軟骨組織の物性測定用の光励起蛍光検出装置 |
| DE102004024494B4 (de) * | 2004-05-16 | 2019-10-17 | Dürr Dental SE | Medizinische Kamera |
| JP2007307237A (ja) * | 2006-05-19 | 2007-11-29 | Pentax Corp | 内視鏡装置 |
| JP5295587B2 (ja) * | 2008-02-27 | 2013-09-18 | オリンパスメディカルシステムズ株式会社 | 蛍光内視鏡装置及び蛍光内視鏡装置の作動方法 |
| CN104257342B (zh) * | 2014-10-21 | 2016-09-21 | 深圳英美达医疗技术有限公司 | 一种内窥成像探头及利用上述成像探头进行的成像方法 |
| WO2024024870A1 (ja) * | 2022-07-28 | 2024-02-01 | 国立大学法人東京工業大学 | 界面破壊率測定装置、及び界面破壊率測定方法 |
-
2001
- 2001-07-02 JP JP2001201184A patent/JP4015383B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002000548A (ja) | 2002-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3285265B2 (ja) | 蛍光観察装置 | |
| JP3236085B2 (ja) | 内視鏡装置 | |
| JP3962122B2 (ja) | 内視鏡装置 | |
| JP5259033B2 (ja) | 内視鏡システム | |
| JP3683271B2 (ja) | 積分された内部蛍光を使用して病気の組織の画像を映すための装置および方法 | |
| KR100927286B1 (ko) | 내시경 장치 및 화상 처리 장치 | |
| JP4772235B2 (ja) | 内視鏡装置 | |
| JP3283128B2 (ja) | 蛍光観察内視鏡装置 | |
| JPH07250804A (ja) | 蛍光観察装置 | |
| JP4855586B2 (ja) | 内視鏡装置 | |
| JP4818753B2 (ja) | 内視鏡システム | |
| JP4689767B2 (ja) | 蛍光画像装置および蛍光画像装置の作動方法 | |
| JPH10151104A (ja) | 蛍光内視鏡装置 | |
| JPH0584218A (ja) | 内視鏡装置 | |
| JPH08224240A (ja) | 蛍光診断装置 | |
| JP4663083B2 (ja) | 内視鏡装置 | |
| JP2008295971A (ja) | 眼底カメラ | |
| JPH10328129A (ja) | 蛍光観察装置 | |
| KR20040069332A (ko) | 내시경 화상 처리 장치 | |
| JPH10309281A (ja) | 蛍光診断装置 | |
| JP2987816B2 (ja) | 蛍光観察装置 | |
| JP4297887B2 (ja) | 蛍光内視鏡装置 | |
| JP4015383B2 (ja) | 内視鏡装置 | |
| JP2016022043A (ja) | 生体組織中の生体物質の濃度分布を示す画像を生成する方法 | |
| JP2954596B2 (ja) | 内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060620 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060804 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |