JP3559755B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP3559755B2 JP3559755B2 JP2000227237A JP2000227237A JP3559755B2 JP 3559755 B2 JP3559755 B2 JP 3559755B2 JP 2000227237 A JP2000227237 A JP 2000227237A JP 2000227237 A JP2000227237 A JP 2000227237A JP 3559755 B2 JP3559755 B2 JP 3559755B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- filter
- band
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、生体組織の像を撮像し信号処理する内視鏡装置に関する。
【０００２】
【従来の技術】
従来より、照明光を照射し体腔内の内視鏡画像を得る内視鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段からの撮像信号を信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察するようになっている。
【０００３】
内視鏡装置において通常の生体組織観察を行う場合は、光源装置で可視光領域の白色光を発光し、例えばＲＧＢ等の回転フィルタを介することで面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同時化し画像処理することでカラー画像を得たり、内視鏡の撮像手段の撮像面の前面にカラーチップを配し白色光による戻り光をカラーチップにてＲＧＢに分離することで撮像しビデオプロセッサで画像処理することカラー画像を得ている。
【０００４】
一方、生体組織では、照射される光の波長により光の吸収特性及び散乱特性が異なるため、近年、例えば赤外光を照明光として生体組織に照射し生体組織に深部の組織の観察が可能な赤外光内視鏡装置が種々提案されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、生体組織の診断では、組織表面近くの深部組織情報も重要な観察対象となるが、上記の赤外光内視鏡装置では、組織表面よりも深い深部組織情報しか得ることができない。
【０００６】
また、白色光を回転フィルタによりＲＧＢ面順次光として、生体組織に照射すると、その波長域が異なるために、各色の光による撮像信号は、生体組織の組織表面近くの異なる深部組織情報を有しているが、一般にはこのＲＧＢ面順次光による内視鏡画像をより自然な色画像とするため、白色光は、各波長域がオーバーラップしたＲＧＢ光に分離される。
【０００７】
すなわち、オーバーラップしたＲＧＢ光では、各波長域による光の撮像信号には幅のある深部組織情報が取り込まれるため、生体組織の組織表面近くの所望の深部の組織情報を視認することが難しいといった問題がある。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することのできる内視鏡装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明の内視鏡装置は、可視光領域を含む照明光を供給する照明光供給手段と、前記照明光を被写体に照射し戻り光により前記被写体を撮像する撮像手段を有する内視鏡と、前記撮像手段からの撮像信号を信号処理する信号処理手段とを備えた内視鏡装置において、前記照明光供給手段から前記撮像手段に至る光路上に配置可能に配設された、前記照明光の複数の波長領域のうち少なくとも１つの波長領域の帯域を狭めるよう制限し前記被写体の離散的な分光分布のバンド像を前記撮像手段に結像させる帯域制限手段を有し、前記信号処理手段は、前記帯域制限手段によって少なくとも１つの波長領域の帯域が狭められた前記撮像信号の波長領域毎に空間周波数フィルタリング処理を行うことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１１】
図１ないし図１０は本発明の第１の実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の回転フィルタの構成を示す構成図、図３は図２の回転フィルタの第１のフィルタ組の分光特性を示す図、図４は図２の回転フィルタの第２のフィルタ組の分光特性を示す図、図５は図１の内視鏡装置により観察する生体組織の層方向構造を示す図、図６は図１の内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図、図７は図３の第１のフィルタ組を透過した面順次光による各バンド画像を示す図、図８は図４の第２のフィルタ組を透過した面順次光による各バンド画像を示す図、図９は図１の調光回路による調光制御を説明する図、図１０は図１の画像処理回路の構成を示す構成図である。
【００１２】
図１に示すように、本実施の形態の内視鏡装置１は、体腔内に挿入し体腔内組織を撮像する撮像手段としてＣＣＤ２を有する電子内視鏡３と、電子内視鏡３に照明光を供給する光源装置４と、電子内視鏡３のＣＣＤ２からの撮像信号を信号処理して内視鏡画像を観察モニタ５に表示したり内視鏡画像を符号化して圧縮画像として画像ファイリング装置６に出力するビデオプロセッサ７とから構成される。
【００１３】
光源装置４は、照明光を発光するキセノンランプ１１と、白色光の熱線を遮断する熱線カットフィルタ１２と、熱線カットフィルタ１２を介した白色光の光量を制御する絞り装置１３と、照明光を面順次光にする回転フィルタ１４と、電子内視鏡３内に配設されたライトガイド１５の入射面に回転フィルタ１４を介した面順次光を集光させる集光レンズ１６と、回転フィルタ１４の回転を制御する制御回路１７とを備えて構成される。
【００１４】
回転フィルタ１４は、図２に示すように、円盤状に構成され中心を回転軸とした２重構造となっており、外側の径部分には図３に示すような自然な色再現に適したオーバーラップした分光特性の面順次光を出力するための第１のフィルタ組を構成するＲ１フィルタ１４ｒ１，Ｇ１フィルタ１４ｇ１，Ｂ１フィルタ１４ｂ１が配置され、内側の径部分には図４に示すような所望の深層組織情報が抽出可能な離散的な分光特性の狭帯域な面順次光を出力するための第２のフィルタ組を構成するＲ２フィルタ１４ｒ２，Ｇ２フィルタ１４ｇ２，Ｂ２フィルタ１４ｂ２が配置されている。そして、回転フィルタ１４は、図１に示すように、制御回路１７により回転フィルタモータ１８の駆動制御がなされ回転され、また径方向の移動（回転フィルタ１４の光路に垂直な移動であって、回転フィルタ１４の第１のフィルタ組あるいは第２のフィルタ組を選択的に光路上に移動）が後述するビデオプロセッサの７内のモード切替回路４２からの制御信号によりモード切替モータ１９によって行われる。
【００１５】
なお、キセノンランプ１１、絞り装置１３、回転フィルタモータ１８及びモード切替モータ１９には電源部１０より電力が供給される。
【００１６】
図１に戻り、ビデオプロセッサ７は、ＣＣＤ２を駆動するＣＣＤ駆動回路２０と、対物光学系２１を介してＣＣＤ２により体腔内組織を撮像した撮像信号を増幅するアンプ２２と、アンプ２２を介した撮像信号に対して相関２重サンプリング及びノイズ除去等を行うプロセス回路２３と、プロセス回路２３を経た撮像信号をデジタル信号の画像データに変換するＡ／Ｄ変換器２４と、Ａ／Ｄ変換器２４からの画像データにホワイトバランス処理を施すホワイトバランス回路２５と、回転フィルタ１４による面順次光を同時化するためのセレクタ２６及び同時化メモリ２７ａ、２７ｂ，２７ｃと、同時化メモリ２７ａ、２７ｂ，２７ｃに格納された面順次光の各画像データを読み出しガンマ補正処理、輪郭強調処理、色処理等を行う画像処理回路３０と、画像処理回路３０からの画像データをアナログ信号に変換するＤ／Ａ回路３１ａ，３１ｂ，３１ｃと、Ｄ／Ａ回路３１ａ，３１ｂ，３１ｃの出力を符号化する符号化回路３４と、光源装置４の制御回路１７からの回転フィルタ１４の回転に同期した同期信号を入力し各種タイミング信号を上記各回路に出力するタイミングジェネレータ３５とを備えて構成される。
【００１７】
また、電子内視鏡２には、モード切替スイッチ４１が設けられており、このモード切替スイッチ４１の出力がビデオプロセッサ７内のモード切替回路４２に出力されるようになっている。ビデオプロセッサ７のモード切替回路４２は、制御信号を調光回路４３，調光制御パラメータ切替回路４４及び光源装置４のモード切替モータ１９に出力するようになっている。調光制御パラメータ切替回路４４は、回転フィルタ１４の第１のフィルタ組あるいは第２のフィルタ組に応じた調光制御パラメータを調光回路４３に出力し、調光回路４３はモード切替回路４２からの制御信号及び調光制御パラメータ切替回路４４からの調光制御パラメータに基づき光源装置４の絞り装置１３を制御し適正な明るさ制御を行うようになっている。
【００１８】
図５に示すように、体腔内組織５１は、例えば深さ方向に異なった血管等の吸収体分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管５２が多く分布し、またこの層より深い中層には毛細血管の他に毛細血管より太い血管５３が分布し、さらに深層にはさらに太い血管５４が分布するようになる。
【００１９】
一方、光は体腔内組織５１に対する光の深さ方向の深達度は、光の波長に依存しており、可視域を含む照明光は、図６に示すように、青（Ｂ）色のような波長が短い光の場合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せず、そこまでの深さの範囲で吸収、散乱を受け、表面から出た光が観測される。また、青（Ｂ）色光より波長が長い、緑（Ｇ）色光の場合、青（Ｂ）色光が深達する範囲よりさらに深い所まで深達し、その範囲で吸収、散乱を受け、表面から出た光が観測される。さらにまた、緑（Ｇ）色光より波長が長い、赤（Ｒ）色光は、さらに深い範囲まで光が到達する。
【００２０】
通常観察時には、照明光の光路上に回転フィルタ１４の第１のフィルタ組であるＲ１フィルタ１４ｒ１，Ｇ１フィルタ１４ｇ１，Ｂ１フィルタ１４ｂ１に位置するようにビデオプロセッサの７内のモード切替回路が制御信号によりモード切替モータ１９を制御する。
【００２１】
体腔内組織５１の通常観察時におけるＲ１フィルタ１４ｒ１，Ｇ１フィルタ１４ｇ１，Ｂ１フィルタ１４ｂは、図３に示したように各波長域がオーバーラップさせるために、Ｂ１フィルタ１４ｂ１によるＣＣＤ４で撮像される撮像信号には図７（ａ）に示すような浅層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、また、Ｇ１フィルタ１４ｇ１によるＣＣＤ４で撮像される撮像信号には図７（ｂ）に示すような中層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、さらにＲ１フィルタ１４ｒ１によるＣＣＤ４で撮像される撮像信号には図７（ｃ）に示すような深層での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像される。
【００２２】
そしてビデオプロセッサ７により、これらＲＧＢ撮像信号を同時化して信号処理することで、内視鏡画像としては所望あるいは自然な色再現の内視鏡画像を得ることが可能となる。
【００２３】
一方、電子内視鏡３のモード切替スイッチ４１が押されると、その信号がビデオプロセッサ７のモード切替回路４２に入力される。モード切替回路４２は、光源装置４のモード切替モータ１９に制御信号を出力することで、通常観察時に光路上にあった回転フィルタ１４の第１のフィルタ組を移動させ第２のフィルタ組を光路上に配置するように回転フィルタ１４を光路に対して駆動する。
【００２４】
第２のフィルタ組による体腔内組織５１の狭帯域光観察時におけるＲ２フィルタ１４ｒ２，Ｇ２フィルタ１４ｇ２，Ｂ２フィルタ１４ｂ２は、照明光を図４に示したように離散的な分光特性の狭帯域な面順次光とするために、Ｂ２フィルタ１４ｂ２によるＣＣＤ４で撮像される撮像信号には図８（ａ）に示すような浅層での組織情報を有するバンド画像が撮像され、また、Ｇ２フィルタ１４ｇ２によるＣＣＤ４で撮像される撮像信号には図８（ｂ）に示すような中層での組織情報を有するバンド画像が撮像され、さらにＲ２フィルタ１４ｒ２によるＣＣＤ４で撮像される撮像信号には図８（ｃ）に示すような深層での組織情報を有するバンド画像が撮像されれる。
【００２５】
この時、図３及び図４から明らかなように、第１のフィルタ組による透過光量に対して第２のフィルタ組による透過光量は、その帯域が狭くなるため減少するため、調光制御パラメータ切替回路４４は、回転フィルタ１４の第１のフィルタ組あるいは第２のフィルタ組に応じた調光制御パラメータを調光回路４３に出力することで、調光回路４３は絞り装置１３を制御し、図９に示すように、ビデオプロセッサ７の図示しない設定パネルでの設定値Ｌｘに応じた通常観察時の絞り装置１３による例えばリニアな絞り制御線６１に対して、狭帯域光観察時では絞り装置１３を制御して設定値Ｌｘに応じた絞り制御曲線６２により光量Ｍｘを制御する。これにより狭帯域光観察時においても十分 な明るさの画像データが得られる。
【００２６】
具体的には、第１のフィルタ組から第２のフィルタ組に変更したことに連動して、光量設定値Ｌｘに対応する絞りレベル値が図９に示すようにＭｘ１からＭｘ２に変更になり、その結果、絞りが開放される方向に制御され、フィルタが狭帯域化することにより、照明光量が減少することを補償するように動作する。
【００２７】
本実施の形態の画像処理回路３０は、ＲＧＢのうち２つのバンド画像情報を用いて、血液中のヘモグロビン濃度に相関のある値、ＩＨｂ（ヘモグロビンインデックス）を算出する処理構成を有し、具体的には、図１０に示すように、画像処理回路３０に入力されたＲＧＢ信号は、逆γ補正処理部６１でＣＲＴ表示用に行われているγ補正を除去するための逆γ補正処理がテーブル変換等で行われる。
【００２８】
つぎに逆γ補正処理されたＧＢ信号は、セレクタ部６２でモード切替回路４２からの制御信号に基づいて、後段処理に流す信号を選択する。次に階調反転処理部６３で階調の反転処理が行われたあと、Ｒ信号との乗算器６４で乗算が行われる。そして最後に対数変換部６５で対数変換を受けたあと、画像処理回路３０から出力される。
【００２９】
画像処理回路３０からの出力形態は、ＩＨｂに基づいて疑似カラー画像を生成しても良いし、あるいは一つのバンド画像、例えぱＲ画像をＩＨｂ画像に置き換えるようにしても良い。
【００３０】
従来のＩＨｂでは、３２×Ｌｏｇ２（Ｒ／Ｇ）という式が使われている。この式はＧバンド画像が血液情報を強く反映することを利用している。
【００３１】
一方、フィルタを狭帯域化すると、Ｂ画像には表面上の毛細血管が強く反映される。したがって、フィルタ切替後のＢとＧの画像は、血液が存在する深さが異なり、Ｂが表層、Ｇがそれより深い層位置の情報を反映することになる。
【００３２】
よって、本実施の形態では、モード切替スイッチ４１が押下され狭帯域観察モードとなると、モード切替回路４２からの指示によって、図１０に示すセレクタ部６２の動作を切替えることで、Ｂ情報に基づいた粘膜表層のＩＨｂ値（３２×Ｌｏｇ２（Ｒ／Ｂ））、Ｇ情報に基づいた粘膜中層のＩＨｂ値（３２×Ｌｏｇ２（Ｒ／Ｇ））を切替えて使用することができ、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することができる。
【００３３】
なお、セレクタ部６２の動作はモード切替回路４２からの制御信号に基づいたが、これは、電子内視鏡３の操作部等に別のスイッチを設けても良い。
【００３４】
図１１ないし図１５は本発明の第２の実施の形態に係わり、図１１は内視鏡装置の構成を示す構成図、図１２は図１１の画像処理回路の構成を示す構成図、図１３は図１２のフィルタリング実行部の構成を示す構成図、図１４は図１３のフィルタリング実行部のフィルタ周波数特性を示す図、図１５は図１１の狭帯域観察モード時に撮像されるＲＧＢ画像を示す図である。
【００３５】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００３６】
本実施の形態は、照明光の分光特性を狭帯域ＲＧＢ特性に切替えることが可能で、それと連動して調光テープルなど光量制御パラメータの変更、画像処理パラメータの変更機能を備えた内視鏡装置に関する。
【００３７】
図１１に示すように、電子内視鏡３には処理切替指示スイッチ７０が設けられ、画像処理回路３０は、モード切替回路４２からの制御信号と処理切替指示スイッチ７０からの指示信号を受け取り、後述する色変換処理を行う。
【００３８】
従来より内視鏡画像処理として、ＦＩＲフィルタなど空間周波数フィルタが画質改讐、画像強調処理に用いられており、観察補助に効果を上げてきた。
【００３９】
本実施の形態の画像処理回路３０は、この空間周波数フィルタリングを狭帯域ＲＧＢ画像に適用する構成となっており、図１２に示すように、入力されたＲＧＢ画像に対して空間周波数フィルタリング処理を行なうフィルタリング実行部７１と、フィルタリング実行部７１の出力結果をＲＧＢ各々８ビットレペル内に調整するなどの変換を行なうデータ変換部７２と、さらにフィルタ切替回路４２からの制御信号と処理切替指示スイッチ７０からの指示信号に基づきフィルタリング実行部の動作を変更する係数変更部７３とから構成される。
【００４０】
フィルタリング実行部７１は、図１３に示すように、ＲＧＢのそれぞれの画像データに対して５×５のマスク演算を行うフィルタリング部８１，８２，８３とフィルタリング部８１，８２，８３の出力に重み付けを行いＲＧＢのそれぞれの画像データに加算する加算器８４，８５，８６とからなり、係数変更部７３はフィルタリング部８１，８２，８３に対するマスク係数を、また加算器８４，８５，８６に対する重み係数を設定する。
【００４１】
これにより、画像データをＲ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）、フィルタリング部８１，８２，８３の出力をＲｓ（ｘ、ｙ）、Ｇｓ（ｘ、ｙ）、Ｂｓ（ｘ、ｙ）、重み係数をωＲ、ωＧ、ωＢとして式（１）のような演算を行うことで、例えば図１４のフィルタ周波数特性に示すような空間周波数フィルタリング処理結果Ｒ’（ｘ、ｙ）、Ｇ’（ｘ、ｙ）、Ｂ’（ｘ、ｙ）を出力する。
【００４２】
Ｒ’（ｘ、ｙ）＝Ｒ（ｘ、ｙ）＋ωＲ・Ｒｓ（ｘ、ｙ）
Ｇ’（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋ωＧ・Ｇｓ（ｘ、ｙ）
Ｂ’（ｘ、ｙ）＝Ｂ（ｘ、ｙ）＋ωＢ・Ｂｓ（ｘ、ｙ） （１）
図１４のフィルタ特性は、Ｍ１，Ｍ２，Ｍ３と順にノイズ成分の強調を極力抑えつつ、高周波数成分を強調する特性になっており、順により強調帯域が高周波数にシフトする。このような強調帯域が異なるフィルタは、それぞれ各バンド別に別個に適用する。
【００４３】
つまり、モード切替スイッチ４１が押下され狭帯域観察モードとなると、図１５に示すようにＲ画像に比較してＢ画像はより細かい血管パターン、つまりより高周波数特性を持っており、そのパターンをより明瞭に再現するためにフィルタＭ１よりはＭ３を適用することになる。Ｒ画像はその逆でＭ３よりはＭ１の適用が好ましい。このように、バンドが再現する生体情報の内容によってフィルタ特性を使い分けることが重要である。
【００４４】
また、このようなフィルタ特性は狭帯域ＲＧＢ画像に対して有効であって、通常観寮時には別のフィルタ特性が求められる。したがって、モード切替回路４２に応じて、係数変更部７３はフィルタ特性を最適なものへと変更する。処理切替指示スイッチ７０からの指示信号による制御は、例えば強調レベルの調整などを行なう。
【００４５】
このように本実施の形態でも、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することができる。
【００４６】
図１６ないし図１９は本発明の第３の実施の形態に係わり、図１６は画像処理回路の構成を示す構成図、図１７は図１６の前処理部における階調補正テーブルを示す図、図１８は図１６のエッジ抽出処理部におけるエッジ抽出処理に適用されるヒストグラム分布を示す図、図１９は図１６のパターン抽出部での処理を説明する図である。
【００４７】
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００４８】
本実施の形態では、血管走行パターンや粘膜表面微細構造パターンの抽出のパラメータをフィルタ切替に連動して変更する構成を示す。狭帯域ＲＧＢ画像は、バンド間で表現されている情報の独立性が高いことが特傲である。例えば、モード切替スイッチ４１が押下された狭帯域観察モードでは、図１５に示したようにＢ画像は粘膜表面微細構造や粘膜表層付近に存在する血管網、Ｇ画像は中層付近に存在する血管網、Ｒ画像は粘膜深層に存在する比較的太い血管網と、バンド間で異なる情報を反映し、それらの情報は生体構造の深さ方向の変化と深い関係がある。このような狭帯域ＲＧＢ画像に対しては、通常観察で適用するパターン抽出処理を適用するより、よりパラメータを最適化した方が効果的な結果を得られることが期待できる。
【００４９】
そこで、本実施の形態の画像処理回路３０は、図１６に示すように、ＲＧＢの各バンド画像データを選択するバンドセレクタ部９１を備え、後段の前処理部９３、エッジ抽出処理部９４及びパターン抽出部９５よりなるパターン抽出処理部９２での処理に適用するバンドを選択する。
【００５０】
ここでは、一つのバンドでも複数のバンドでも良く、抽出したい情報に合わせて選択される。粘膜表面微細構造のパターンを抽出したけれぱ、ここではＢ画像がセレクトされる。あるいは、粘膜深層の太い血管の位置を抽出したけれぱＲ画像が選択される。
【００５１】
パターン抽出処理部９２では、前処理部９３において前処理が行われる。一般的には前処理は、ディストーション補正、階調補正など、後段の処理に応じて適切な前処理が行われる。血管走行パターンなどの処理を行なう場合は、撮像光学系の歪曲収差を補正するディストーション補正処理と濃度分布の規格化のためヒストグラム平坦化処理を行なう。例えば階調補正の場合、前処理部９３に入力されたバンドデータｆ（ｘ、ｙ）に対して図１７に示すような階調補正テーブルＦを適用して出力ｇ（ｘ、ｙ）（＝Ｆ（ｆ（ｘ、ｙ））を得る。なお、図１７の階調補正テーブルにおいては、曲線ａより曲線ｂの方が強いコントラストに変換する。
【００５２】
次に、エッジ抽出処理部９４において、エッジ抽出処理を行なう。これは、図１８に示すようにヒストグラム分布の谷を発見しそのレペルで２値化処理を行なう方法や、微分オペレータを用いてエッジを抽出する方法が適用できる。
【００５３】
次に、パターン抽出部９５において、図１９に示すように、例えば領域Ａの面積をＭとしたとき、このＭと所定のしきい値θとを比較し、Ｍ＜θならば領域Ａを不要なパターンとしてを除去し、θ以上の面積を有する血管などを領域にしているパターンのみを抽出する。具体的には、膨張、収縮処理や、基準パターンとの照合によりパターンの排除と統合を行なう。
【００５４】
パターン抽出処理部９２での一連の処理は、各バンドに表現されている情報毎にパラメータが最適化されねばならない。例えば、パターン抽出部９５において、Ｒ画像から深部走行血管を抽出したい場合には、細かな孤立点は極力除去するように動作させるし、Ｂ画像から毛細血管走行パターンを抽出する場合には、細かいパターンを極力残す動作をさせる。
【００５５】
パターン抽出処理部９２の処理結果は最後段の画像合成部９６に出力され、画像合成部９６では、パターン抽出結果を画像に反映させるための画像合成を行なう。ここでは、元のＲＧＢ画像にパターン抽出結果を加算したり、パターン抽出結果だけでモノクロ画像を構成したりする処理を行なう。
【００５６】
上記画像処理回路３０の動作は、モード切替回路４２および処理切替指示スイッチ７０からの制御信号に基づいて、係数変更部７３が各処理部の係数を変更することで全体の動作を最適化する。モード切替回路４２に対しては、通常ＲＧＢ照明の場合は、パターン抽出処理をバイパスするように制御し、狭帯域ＲＧＢ照明の場合は、画像処理回路３０において、処理切替指示スイッチ７０の制御信号に基づいたパターン抽出処理が行われる。
【００５７】
このように本実施の形態でも、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することができる。
【００５８】
【発明の効果】
以上説明したように本発明によれば、生体組織の組織表面近くの所望の深さの組織情報を分離して視認することのできる内視鏡装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る内視鏡装置の構成を示す構成図
【図２】図１の回転フィルタの構成を示す構成図
【図３】図２の回転フィルタの第１のフィルタ組の分光特性を示す図
【図４】図２の回転フィルタの第２のフィルタ組の分光特性を示す図
【図５】図１の内視鏡装置により観察する生体組織の層方向構造を示す図
【図６】図１の内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図
【図７】図３の第１のフィルタ組を透過した面順次光による各バンド画像を示す図
【図８】図４の第２のフィルタ組を透過した面順次光による各バンド画像を示す図
【図９】図１の調光回路による調光制御を説明する図
【図１０】図１の画像処理回路の構成を示す構成図
【図１１】本発明の第２の実施の形態に係る内視鏡装置の構成を示す構成図
【図１２】図１１の画像処理回路の構成を示す構成図
【図１３】図１２のフィルタリング実行部の構成を示す構成図
【図１４】図１３のフィルタリング実行部のフィルタ周波数特性を示す図
【図１５】図１１の狭帯域観察モード時に撮像されるＲＧＢ画像を示す図
【図１６】本発明の第３の実施の形態に係る画像処理回路の構成を示す構成図
【図１７】図１６の前処理部における階調補正テーブルを示す図
【図１８】図１６のエッジ抽出処理部におけるエッジ抽出処理に適用されるヒストグラム分布を示す図
【図１９】図１６のパターン抽出部での処理を説明する図
【符号の説明】
１…内視鏡装置
２…ＣＣＤ
３…電子内視鏡
４…光源装置
５…観察モニタ
６…画像ファイリング装置
７…ビデオプロセッサ
１０…電源部
１１…キセノンランプ
１２…熱線カットフィルタ
１３…絞り装置
１４…回転フィルタ
１５…ライトガイド
１６…集光レンズ
１７…制御回路
１８…回転フィルタモータ
１９…モード切替モータ１９
２０…ＣＣＤ駆動回路
２１…対物光学系
２２…アンプ
２３…プロセス回路
２４…Ａ／Ｄ変換器
２５…ホワイトバランス回路
２６…セレクタ
２７、２８，２９…同時化メモリ
３０…画像処理回路
３１，３２，３３…Ｄ／Ａ回路
３４…符号化回路
３５…タイミングジェネレータ
４１…モード切替スイッチ
４２…モード切替回路
４３…調光回路
４４…調光制御パラメータ切替回路
６１…逆γ補正処理部
６２…セレクタ部
６３…階調反転処理部
６４…乗算器
６５…対数変換部
【発明の属する技術分野】
本発明は、生体組織の像を撮像し信号処理する内視鏡装置に関する。
【０００２】
【従来の技術】
従来より、照明光を照射し体腔内の内視鏡画像を得る内視鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段からの撮像信号を信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察するようになっている。
【０００３】
内視鏡装置において通常の生体組織観察を行う場合は、光源装置で可視光領域の白色光を発光し、例えばＲＧＢ等の回転フィルタを介することで面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同時化し画像処理することでカラー画像を得たり、内視鏡の撮像手段の撮像面の前面にカラーチップを配し白色光による戻り光をカラーチップにてＲＧＢに分離することで撮像しビデオプロセッサで画像処理することカラー画像を得ている。
【０００４】
一方、生体組織では、照射される光の波長により光の吸収特性及び散乱特性が異なるため、近年、例えば赤外光を照明光として生体組織に照射し生体組織に深部の組織の観察が可能な赤外光内視鏡装置が種々提案されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、生体組織の診断では、組織表面近くの深部組織情報も重要な観察対象となるが、上記の赤外光内視鏡装置では、組織表面よりも深い深部組織情報しか得ることができない。
【０００６】
また、白色光を回転フィルタによりＲＧＢ面順次光として、生体組織に照射すると、その波長域が異なるために、各色の光による撮像信号は、生体組織の組織表面近くの異なる深部組織情報を有しているが、一般にはこのＲＧＢ面順次光による内視鏡画像をより自然な色画像とするため、白色光は、各波長域がオーバーラップしたＲＧＢ光に分離される。
【０００７】
すなわち、オーバーラップしたＲＧＢ光では、各波長域による光の撮像信号には幅のある深部組織情報が取り込まれるため、生体組織の組織表面近くの所望の深部の組織情報を視認することが難しいといった問題がある。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することのできる内視鏡装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明の内視鏡装置は、可視光領域を含む照明光を供給する照明光供給手段と、前記照明光を被写体に照射し戻り光により前記被写体を撮像する撮像手段を有する内視鏡と、前記撮像手段からの撮像信号を信号処理する信号処理手段とを備えた内視鏡装置において、前記照明光供給手段から前記撮像手段に至る光路上に配置可能に配設された、前記照明光の複数の波長領域のうち少なくとも１つの波長領域の帯域を狭めるよう制限し前記被写体の離散的な分光分布のバンド像を前記撮像手段に結像させる帯域制限手段を有し、前記信号処理手段は、前記帯域制限手段によって少なくとも１つの波長領域の帯域が狭められた前記撮像信号の波長領域毎に空間周波数フィルタリング処理を行うことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１１】
図１ないし図１０は本発明の第１の実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の回転フィルタの構成を示す構成図、図３は図２の回転フィルタの第１のフィルタ組の分光特性を示す図、図４は図２の回転フィルタの第２のフィルタ組の分光特性を示す図、図５は図１の内視鏡装置により観察する生体組織の層方向構造を示す図、図６は図１の内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図、図７は図３の第１のフィルタ組を透過した面順次光による各バンド画像を示す図、図８は図４の第２のフィルタ組を透過した面順次光による各バンド画像を示す図、図９は図１の調光回路による調光制御を説明する図、図１０は図１の画像処理回路の構成を示す構成図である。
【００１２】
図１に示すように、本実施の形態の内視鏡装置１は、体腔内に挿入し体腔内組織を撮像する撮像手段としてＣＣＤ２を有する電子内視鏡３と、電子内視鏡３に照明光を供給する光源装置４と、電子内視鏡３のＣＣＤ２からの撮像信号を信号処理して内視鏡画像を観察モニタ５に表示したり内視鏡画像を符号化して圧縮画像として画像ファイリング装置６に出力するビデオプロセッサ７とから構成される。
【００１３】
光源装置４は、照明光を発光するキセノンランプ１１と、白色光の熱線を遮断する熱線カットフィルタ１２と、熱線カットフィルタ１２を介した白色光の光量を制御する絞り装置１３と、照明光を面順次光にする回転フィルタ１４と、電子内視鏡３内に配設されたライトガイド１５の入射面に回転フィルタ１４を介した面順次光を集光させる集光レンズ１６と、回転フィルタ１４の回転を制御する制御回路１７とを備えて構成される。
【００１４】
回転フィルタ１４は、図２に示すように、円盤状に構成され中心を回転軸とした２重構造となっており、外側の径部分には図３に示すような自然な色再現に適したオーバーラップした分光特性の面順次光を出力するための第１のフィルタ組を構成するＲ１フィルタ１４ｒ１，Ｇ１フィルタ１４ｇ１，Ｂ１フィルタ１４ｂ１が配置され、内側の径部分には図４に示すような所望の深層組織情報が抽出可能な離散的な分光特性の狭帯域な面順次光を出力するための第２のフィルタ組を構成するＲ２フィルタ１４ｒ２，Ｇ２フィルタ１４ｇ２，Ｂ２フィルタ１４ｂ２が配置されている。そして、回転フィルタ１４は、図１に示すように、制御回路１７により回転フィルタモータ１８の駆動制御がなされ回転され、また径方向の移動（回転フィルタ１４の光路に垂直な移動であって、回転フィルタ１４の第１のフィルタ組あるいは第２のフィルタ組を選択的に光路上に移動）が後述するビデオプロセッサの７内のモード切替回路４２からの制御信号によりモード切替モータ１９によって行われる。
【００１５】
なお、キセノンランプ１１、絞り装置１３、回転フィルタモータ１８及びモード切替モータ１９には電源部１０より電力が供給される。
【００１６】
図１に戻り、ビデオプロセッサ７は、ＣＣＤ２を駆動するＣＣＤ駆動回路２０と、対物光学系２１を介してＣＣＤ２により体腔内組織を撮像した撮像信号を増幅するアンプ２２と、アンプ２２を介した撮像信号に対して相関２重サンプリング及びノイズ除去等を行うプロセス回路２３と、プロセス回路２３を経た撮像信号をデジタル信号の画像データに変換するＡ／Ｄ変換器２４と、Ａ／Ｄ変換器２４からの画像データにホワイトバランス処理を施すホワイトバランス回路２５と、回転フィルタ１４による面順次光を同時化するためのセレクタ２６及び同時化メモリ２７ａ、２７ｂ，２７ｃと、同時化メモリ２７ａ、２７ｂ，２７ｃに格納された面順次光の各画像データを読み出しガンマ補正処理、輪郭強調処理、色処理等を行う画像処理回路３０と、画像処理回路３０からの画像データをアナログ信号に変換するＤ／Ａ回路３１ａ，３１ｂ，３１ｃと、Ｄ／Ａ回路３１ａ，３１ｂ，３１ｃの出力を符号化する符号化回路３４と、光源装置４の制御回路１７からの回転フィルタ１４の回転に同期した同期信号を入力し各種タイミング信号を上記各回路に出力するタイミングジェネレータ３５とを備えて構成される。
【００１７】
また、電子内視鏡２には、モード切替スイッチ４１が設けられており、このモード切替スイッチ４１の出力がビデオプロセッサ７内のモード切替回路４２に出力されるようになっている。ビデオプロセッサ７のモード切替回路４２は、制御信号を調光回路４３，調光制御パラメータ切替回路４４及び光源装置４のモード切替モータ１９に出力するようになっている。調光制御パラメータ切替回路４４は、回転フィルタ１４の第１のフィルタ組あるいは第２のフィルタ組に応じた調光制御パラメータを調光回路４３に出力し、調光回路４３はモード切替回路４２からの制御信号及び調光制御パラメータ切替回路４４からの調光制御パラメータに基づき光源装置４の絞り装置１３を制御し適正な明るさ制御を行うようになっている。
【００１８】
図５に示すように、体腔内組織５１は、例えば深さ方向に異なった血管等の吸収体分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管５２が多く分布し、またこの層より深い中層には毛細血管の他に毛細血管より太い血管５３が分布し、さらに深層にはさらに太い血管５４が分布するようになる。
【００１９】
一方、光は体腔内組織５１に対する光の深さ方向の深達度は、光の波長に依存しており、可視域を含む照明光は、図６に示すように、青（Ｂ）色のような波長が短い光の場合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せず、そこまでの深さの範囲で吸収、散乱を受け、表面から出た光が観測される。また、青（Ｂ）色光より波長が長い、緑（Ｇ）色光の場合、青（Ｂ）色光が深達する範囲よりさらに深い所まで深達し、その範囲で吸収、散乱を受け、表面から出た光が観測される。さらにまた、緑（Ｇ）色光より波長が長い、赤（Ｒ）色光は、さらに深い範囲まで光が到達する。
【００２０】
通常観察時には、照明光の光路上に回転フィルタ１４の第１のフィルタ組であるＲ１フィルタ１４ｒ１，Ｇ１フィルタ１４ｇ１，Ｂ１フィルタ１４ｂ１に位置するようにビデオプロセッサの７内のモード切替回路が制御信号によりモード切替モータ１９を制御する。
【００２１】
体腔内組織５１の通常観察時におけるＲ１フィルタ１４ｒ１，Ｇ１フィルタ１４ｇ１，Ｂ１フィルタ１４ｂは、図３に示したように各波長域がオーバーラップさせるために、Ｂ１フィルタ１４ｂ１によるＣＣＤ４で撮像される撮像信号には図７（ａ）に示すような浅層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、また、Ｇ１フィルタ１４ｇ１によるＣＣＤ４で撮像される撮像信号には図７（ｂ）に示すような中層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、さらにＲ１フィルタ１４ｒ１によるＣＣＤ４で撮像される撮像信号には図７（ｃ）に示すような深層での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像される。
【００２２】
そしてビデオプロセッサ７により、これらＲＧＢ撮像信号を同時化して信号処理することで、内視鏡画像としては所望あるいは自然な色再現の内視鏡画像を得ることが可能となる。
【００２３】
一方、電子内視鏡３のモード切替スイッチ４１が押されると、その信号がビデオプロセッサ７のモード切替回路４２に入力される。モード切替回路４２は、光源装置４のモード切替モータ１９に制御信号を出力することで、通常観察時に光路上にあった回転フィルタ１４の第１のフィルタ組を移動させ第２のフィルタ組を光路上に配置するように回転フィルタ１４を光路に対して駆動する。
【００２４】
第２のフィルタ組による体腔内組織５１の狭帯域光観察時におけるＲ２フィルタ１４ｒ２，Ｇ２フィルタ１４ｇ２，Ｂ２フィルタ１４ｂ２は、照明光を図４に示したように離散的な分光特性の狭帯域な面順次光とするために、Ｂ２フィルタ１４ｂ２によるＣＣＤ４で撮像される撮像信号には図８（ａ）に示すような浅層での組織情報を有するバンド画像が撮像され、また、Ｇ２フィルタ１４ｇ２によるＣＣＤ４で撮像される撮像信号には図８（ｂ）に示すような中層での組織情報を有するバンド画像が撮像され、さらにＲ２フィルタ１４ｒ２によるＣＣＤ４で撮像される撮像信号には図８（ｃ）に示すような深層での組織情報を有するバンド画像が撮像されれる。
【００２５】
この時、図３及び図４から明らかなように、第１のフィルタ組による透過光量に対して第２のフィルタ組による透過光量は、その帯域が狭くなるため減少するため、調光制御パラメータ切替回路４４は、回転フィルタ１４の第１のフィルタ組あるいは第２のフィルタ組に応じた調光制御パラメータを調光回路４３に出力することで、調光回路４３は絞り装置１３を制御し、図９に示すように、ビデオプロセッサ７の図示しない設定パネルでの設定値Ｌｘに応じた通常観察時の絞り装置１３による例えばリニアな絞り制御線６１に対して、狭帯域光観察時では絞り装置１３を制御して設定値Ｌｘに応じた絞り制御曲線６２により光量Ｍｘを制御する。これにより狭帯域光観察時においても十分 な明るさの画像データが得られる。
【００２６】
具体的には、第１のフィルタ組から第２のフィルタ組に変更したことに連動して、光量設定値Ｌｘに対応する絞りレベル値が図９に示すようにＭｘ１からＭｘ２に変更になり、その結果、絞りが開放される方向に制御され、フィルタが狭帯域化することにより、照明光量が減少することを補償するように動作する。
【００２７】
本実施の形態の画像処理回路３０は、ＲＧＢのうち２つのバンド画像情報を用いて、血液中のヘモグロビン濃度に相関のある値、ＩＨｂ（ヘモグロビンインデックス）を算出する処理構成を有し、具体的には、図１０に示すように、画像処理回路３０に入力されたＲＧＢ信号は、逆γ補正処理部６１でＣＲＴ表示用に行われているγ補正を除去するための逆γ補正処理がテーブル変換等で行われる。
【００２８】
つぎに逆γ補正処理されたＧＢ信号は、セレクタ部６２でモード切替回路４２からの制御信号に基づいて、後段処理に流す信号を選択する。次に階調反転処理部６３で階調の反転処理が行われたあと、Ｒ信号との乗算器６４で乗算が行われる。そして最後に対数変換部６５で対数変換を受けたあと、画像処理回路３０から出力される。
【００２９】
画像処理回路３０からの出力形態は、ＩＨｂに基づいて疑似カラー画像を生成しても良いし、あるいは一つのバンド画像、例えぱＲ画像をＩＨｂ画像に置き換えるようにしても良い。
【００３０】
従来のＩＨｂでは、３２×Ｌｏｇ２（Ｒ／Ｇ）という式が使われている。この式はＧバンド画像が血液情報を強く反映することを利用している。
【００３１】
一方、フィルタを狭帯域化すると、Ｂ画像には表面上の毛細血管が強く反映される。したがって、フィルタ切替後のＢとＧの画像は、血液が存在する深さが異なり、Ｂが表層、Ｇがそれより深い層位置の情報を反映することになる。
【００３２】
よって、本実施の形態では、モード切替スイッチ４１が押下され狭帯域観察モードとなると、モード切替回路４２からの指示によって、図１０に示すセレクタ部６２の動作を切替えることで、Ｂ情報に基づいた粘膜表層のＩＨｂ値（３２×Ｌｏｇ２（Ｒ／Ｂ））、Ｇ情報に基づいた粘膜中層のＩＨｂ値（３２×Ｌｏｇ２（Ｒ／Ｇ））を切替えて使用することができ、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することができる。
【００３３】
なお、セレクタ部６２の動作はモード切替回路４２からの制御信号に基づいたが、これは、電子内視鏡３の操作部等に別のスイッチを設けても良い。
【００３４】
図１１ないし図１５は本発明の第２の実施の形態に係わり、図１１は内視鏡装置の構成を示す構成図、図１２は図１１の画像処理回路の構成を示す構成図、図１３は図１２のフィルタリング実行部の構成を示す構成図、図１４は図１３のフィルタリング実行部のフィルタ周波数特性を示す図、図１５は図１１の狭帯域観察モード時に撮像されるＲＧＢ画像を示す図である。
【００３５】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００３６】
本実施の形態は、照明光の分光特性を狭帯域ＲＧＢ特性に切替えることが可能で、それと連動して調光テープルなど光量制御パラメータの変更、画像処理パラメータの変更機能を備えた内視鏡装置に関する。
【００３７】
図１１に示すように、電子内視鏡３には処理切替指示スイッチ７０が設けられ、画像処理回路３０は、モード切替回路４２からの制御信号と処理切替指示スイッチ７０からの指示信号を受け取り、後述する色変換処理を行う。
【００３８】
従来より内視鏡画像処理として、ＦＩＲフィルタなど空間周波数フィルタが画質改讐、画像強調処理に用いられており、観察補助に効果を上げてきた。
【００３９】
本実施の形態の画像処理回路３０は、この空間周波数フィルタリングを狭帯域ＲＧＢ画像に適用する構成となっており、図１２に示すように、入力されたＲＧＢ画像に対して空間周波数フィルタリング処理を行なうフィルタリング実行部７１と、フィルタリング実行部７１の出力結果をＲＧＢ各々８ビットレペル内に調整するなどの変換を行なうデータ変換部７２と、さらにフィルタ切替回路４２からの制御信号と処理切替指示スイッチ７０からの指示信号に基づきフィルタリング実行部の動作を変更する係数変更部７３とから構成される。
【００４０】
フィルタリング実行部７１は、図１３に示すように、ＲＧＢのそれぞれの画像データに対して５×５のマスク演算を行うフィルタリング部８１，８２，８３とフィルタリング部８１，８２，８３の出力に重み付けを行いＲＧＢのそれぞれの画像データに加算する加算器８４，８５，８６とからなり、係数変更部７３はフィルタリング部８１，８２，８３に対するマスク係数を、また加算器８４，８５，８６に対する重み係数を設定する。
【００４１】
これにより、画像データをＲ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）、フィルタリング部８１，８２，８３の出力をＲｓ（ｘ、ｙ）、Ｇｓ（ｘ、ｙ）、Ｂｓ（ｘ、ｙ）、重み係数をωＲ、ωＧ、ωＢとして式（１）のような演算を行うことで、例えば図１４のフィルタ周波数特性に示すような空間周波数フィルタリング処理結果Ｒ’（ｘ、ｙ）、Ｇ’（ｘ、ｙ）、Ｂ’（ｘ、ｙ）を出力する。
【００４２】
Ｒ’（ｘ、ｙ）＝Ｒ（ｘ、ｙ）＋ωＲ・Ｒｓ（ｘ、ｙ）
Ｇ’（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋ωＧ・Ｇｓ（ｘ、ｙ）
Ｂ’（ｘ、ｙ）＝Ｂ（ｘ、ｙ）＋ωＢ・Ｂｓ（ｘ、ｙ） （１）
図１４のフィルタ特性は、Ｍ１，Ｍ２，Ｍ３と順にノイズ成分の強調を極力抑えつつ、高周波数成分を強調する特性になっており、順により強調帯域が高周波数にシフトする。このような強調帯域が異なるフィルタは、それぞれ各バンド別に別個に適用する。
【００４３】
つまり、モード切替スイッチ４１が押下され狭帯域観察モードとなると、図１５に示すようにＲ画像に比較してＢ画像はより細かい血管パターン、つまりより高周波数特性を持っており、そのパターンをより明瞭に再現するためにフィルタＭ１よりはＭ３を適用することになる。Ｒ画像はその逆でＭ３よりはＭ１の適用が好ましい。このように、バンドが再現する生体情報の内容によってフィルタ特性を使い分けることが重要である。
【００４４】
また、このようなフィルタ特性は狭帯域ＲＧＢ画像に対して有効であって、通常観寮時には別のフィルタ特性が求められる。したがって、モード切替回路４２に応じて、係数変更部７３はフィルタ特性を最適なものへと変更する。処理切替指示スイッチ７０からの指示信号による制御は、例えば強調レベルの調整などを行なう。
【００４５】
このように本実施の形態でも、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することができる。
【００４６】
図１６ないし図１９は本発明の第３の実施の形態に係わり、図１６は画像処理回路の構成を示す構成図、図１７は図１６の前処理部における階調補正テーブルを示す図、図１８は図１６のエッジ抽出処理部におけるエッジ抽出処理に適用されるヒストグラム分布を示す図、図１９は図１６のパターン抽出部での処理を説明する図である。
【００４７】
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００４８】
本実施の形態では、血管走行パターンや粘膜表面微細構造パターンの抽出のパラメータをフィルタ切替に連動して変更する構成を示す。狭帯域ＲＧＢ画像は、バンド間で表現されている情報の独立性が高いことが特傲である。例えば、モード切替スイッチ４１が押下された狭帯域観察モードでは、図１５に示したようにＢ画像は粘膜表面微細構造や粘膜表層付近に存在する血管網、Ｇ画像は中層付近に存在する血管網、Ｒ画像は粘膜深層に存在する比較的太い血管網と、バンド間で異なる情報を反映し、それらの情報は生体構造の深さ方向の変化と深い関係がある。このような狭帯域ＲＧＢ画像に対しては、通常観察で適用するパターン抽出処理を適用するより、よりパラメータを最適化した方が効果的な結果を得られることが期待できる。
【００４９】
そこで、本実施の形態の画像処理回路３０は、図１６に示すように、ＲＧＢの各バンド画像データを選択するバンドセレクタ部９１を備え、後段の前処理部９３、エッジ抽出処理部９４及びパターン抽出部９５よりなるパターン抽出処理部９２での処理に適用するバンドを選択する。
【００５０】
ここでは、一つのバンドでも複数のバンドでも良く、抽出したい情報に合わせて選択される。粘膜表面微細構造のパターンを抽出したけれぱ、ここではＢ画像がセレクトされる。あるいは、粘膜深層の太い血管の位置を抽出したけれぱＲ画像が選択される。
【００５１】
パターン抽出処理部９２では、前処理部９３において前処理が行われる。一般的には前処理は、ディストーション補正、階調補正など、後段の処理に応じて適切な前処理が行われる。血管走行パターンなどの処理を行なう場合は、撮像光学系の歪曲収差を補正するディストーション補正処理と濃度分布の規格化のためヒストグラム平坦化処理を行なう。例えば階調補正の場合、前処理部９３に入力されたバンドデータｆ（ｘ、ｙ）に対して図１７に示すような階調補正テーブルＦを適用して出力ｇ（ｘ、ｙ）（＝Ｆ（ｆ（ｘ、ｙ））を得る。なお、図１７の階調補正テーブルにおいては、曲線ａより曲線ｂの方が強いコントラストに変換する。
【００５２】
次に、エッジ抽出処理部９４において、エッジ抽出処理を行なう。これは、図１８に示すようにヒストグラム分布の谷を発見しそのレペルで２値化処理を行なう方法や、微分オペレータを用いてエッジを抽出する方法が適用できる。
【００５３】
次に、パターン抽出部９５において、図１９に示すように、例えば領域Ａの面積をＭとしたとき、このＭと所定のしきい値θとを比較し、Ｍ＜θならば領域Ａを不要なパターンとしてを除去し、θ以上の面積を有する血管などを領域にしているパターンのみを抽出する。具体的には、膨張、収縮処理や、基準パターンとの照合によりパターンの排除と統合を行なう。
【００５４】
パターン抽出処理部９２での一連の処理は、各バンドに表現されている情報毎にパラメータが最適化されねばならない。例えば、パターン抽出部９５において、Ｒ画像から深部走行血管を抽出したい場合には、細かな孤立点は極力除去するように動作させるし、Ｂ画像から毛細血管走行パターンを抽出する場合には、細かいパターンを極力残す動作をさせる。
【００５５】
パターン抽出処理部９２の処理結果は最後段の画像合成部９６に出力され、画像合成部９６では、パターン抽出結果を画像に反映させるための画像合成を行なう。ここでは、元のＲＧＢ画像にパターン抽出結果を加算したり、パターン抽出結果だけでモノクロ画像を構成したりする処理を行なう。
【００５６】
上記画像処理回路３０の動作は、モード切替回路４２および処理切替指示スイッチ７０からの制御信号に基づいて、係数変更部７３が各処理部の係数を変更することで全体の動作を最適化する。モード切替回路４２に対しては、通常ＲＧＢ照明の場合は、パターン抽出処理をバイパスするように制御し、狭帯域ＲＧＢ照明の場合は、画像処理回路３０において、処理切替指示スイッチ７０の制御信号に基づいたパターン抽出処理が行われる。
【００５７】
このように本実施の形態でも、生体組織の組織表面近くの所望の深部の組織情報を分離して視認することができる。
【００５８】
【発明の効果】
以上説明したように本発明によれば、生体組織の組織表面近くの所望の深さの組織情報を分離して視認することのできる内視鏡装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る内視鏡装置の構成を示す構成図
【図２】図１の回転フィルタの構成を示す構成図
【図３】図２の回転フィルタの第１のフィルタ組の分光特性を示す図
【図４】図２の回転フィルタの第２のフィルタ組の分光特性を示す図
【図５】図１の内視鏡装置により観察する生体組織の層方向構造を示す図
【図６】図１の内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図
【図７】図３の第１のフィルタ組を透過した面順次光による各バンド画像を示す図
【図８】図４の第２のフィルタ組を透過した面順次光による各バンド画像を示す図
【図９】図１の調光回路による調光制御を説明する図
【図１０】図１の画像処理回路の構成を示す構成図
【図１１】本発明の第２の実施の形態に係る内視鏡装置の構成を示す構成図
【図１２】図１１の画像処理回路の構成を示す構成図
【図１３】図１２のフィルタリング実行部の構成を示す構成図
【図１４】図１３のフィルタリング実行部のフィルタ周波数特性を示す図
【図１５】図１１の狭帯域観察モード時に撮像されるＲＧＢ画像を示す図
【図１６】本発明の第３の実施の形態に係る画像処理回路の構成を示す構成図
【図１７】図１６の前処理部における階調補正テーブルを示す図
【図１８】図１６のエッジ抽出処理部におけるエッジ抽出処理に適用されるヒストグラム分布を示す図
【図１９】図１６のパターン抽出部での処理を説明する図
【符号の説明】
１…内視鏡装置
２…ＣＣＤ
３…電子内視鏡
４…光源装置
５…観察モニタ
６…画像ファイリング装置
７…ビデオプロセッサ
１０…電源部
１１…キセノンランプ
１２…熱線カットフィルタ
１３…絞り装置
１４…回転フィルタ
１５…ライトガイド
１６…集光レンズ
１７…制御回路
１８…回転フィルタモータ
１９…モード切替モータ１９
２０…ＣＣＤ駆動回路
２１…対物光学系
２２…アンプ
２３…プロセス回路
２４…Ａ／Ｄ変換器
２５…ホワイトバランス回路
２６…セレクタ
２７、２８，２９…同時化メモリ
３０…画像処理回路
３１，３２，３３…Ｄ／Ａ回路
３４…符号化回路
３５…タイミングジェネレータ
４１…モード切替スイッチ
４２…モード切替回路
４３…調光回路
４４…調光制御パラメータ切替回路
６１…逆γ補正処理部
６２…セレクタ部
６３…階調反転処理部
６４…乗算器
６５…対数変換部
Claims (2)
- 可視光領域を含む照明光を供給する照明光供給手段と、前記照明光を被写体に照射し戻り光により前記被写体を撮像する撮像手段を有する内視鏡と、前記撮像手段からの撮像信号を信号処理する信号処理手段とを備えた内視鏡装置において、
前記照明光供給手段から前記撮像手段に至る光路上に配置可能に配設された、前記照明光の複数の波長領域のうち少なくとも１つの波長領域の帯域を狭めるよう制限し前記被写体の離散的な分光分布のバンド像を前記撮像手段に結像させる帯域制限手段を有し、
前記信号処理手段は、前記帯域制限手段によって少なくとも１つの波長領域の帯域が狭められた前記撮像信号の波長領域毎に空間周波数フィルタリング処理を行うことを特徴とする内視鏡装置。 - 前記照明光供給手段は、
前記帯域制限手段の制限に応じて、前記照明光の光量を前記波長域毎に制御する光量制御手段を備えたことを特徴とする請求項１に記載の内視鏡装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000227237A JP3559755B2 (ja) | 2000-07-27 | 2000-07-27 | 内視鏡装置 |
| EP01953304A EP1302152B1 (en) | 2000-07-21 | 2001-07-18 | Endoscope apparatus |
| US10/333,155 US7892169B2 (en) | 2000-07-21 | 2001-07-18 | Endoscope apparatus |
| EP10011752.2A EP2319390B1 (en) | 2000-07-21 | 2001-07-18 | Endoscope apparatus |
| PCT/JP2001/006205 WO2002007588A1 (fr) | 2000-07-21 | 2001-07-18 | Endoscope |
| US12/169,185 US20080294105A1 (en) | 2000-07-21 | 2008-07-08 | Endoscope device |
| US12/169,161 US20080281154A1 (en) | 2000-07-21 | 2008-07-08 | Endoscope device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000227237A JP3559755B2 (ja) | 2000-07-27 | 2000-07-27 | 内視鏡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002034893A JP2002034893A (ja) | 2002-02-05 |
| JP3559755B2 true JP3559755B2 (ja) | 2004-09-02 |
Family
ID=18720721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000227237A Expired - Lifetime JP3559755B2 (ja) | 2000-07-21 | 2000-07-27 | 内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3559755B2 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2305094A1 (en) | 2009-09-30 | 2011-04-06 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
| EP2328340A2 (en) | 2009-11-06 | 2011-06-01 | FUJIFILM Corporation | Electronic endoscope system, processing apparatus for electronic endoscope, and signal separation method |
| EP2328339A2 (en) | 2009-11-06 | 2011-06-01 | FUJIFILM Corporation | Electronic endoscope system, processing apparatus for electronic endoscope, and image processing method |
| EP2436304A2 (en) | 2010-09-29 | 2012-04-04 | FUJIFILM Corporation | Endoscope device |
| EP2436303A2 (en) | 2010-09-29 | 2012-04-04 | FUJIFILM Corporation | Endoscope device |
| EP2465409A1 (en) | 2010-12-15 | 2012-06-20 | Fujifilm Corporation | Endoscopy system |
| EP2465410A1 (en) | 2010-12-16 | 2012-06-20 | Fujifilm Corporation | Image processing device |
| EP2466874A2 (en) | 2010-12-16 | 2012-06-20 | Fujifilm Corporation | Image processing device |
| EP2474265A2 (en) | 2011-01-11 | 2012-07-11 | Fujifilm Corporation | Endoscope diagnosis system |
| EP2481343A1 (en) | 2011-01-27 | 2012-08-01 | Fujifilm Corporation | Endoscope system, processing unit therefor, and image processing method |
| WO2013005533A1 (ja) | 2011-07-06 | 2013-01-10 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法 |
| EP2689712A1 (en) | 2012-07-24 | 2014-01-29 | Fujifilm Corporation | Endoscope system, processor device of endoscope system, and method for controlling display of endoscope image |
| EP2775450A2 (en) | 2013-03-06 | 2014-09-10 | Fujifilm Corporation | Image processing device and method for operating endoscope system |
| US9072453B2 (en) | 2011-02-24 | 2015-07-07 | Fujifilm Corporation | Endoscope apparatus |
| US9370297B2 (en) | 2012-08-17 | 2016-06-21 | Hoya Corporation | Electronic endoscope system and light source for endoscope |
| US10031070B2 (en) | 2014-11-21 | 2018-07-24 | Hoya Corporation | Analyzing device and analyzing method based on images of biological tissue captured under illumination of light with different illumination wavelength ranges |
| US10426325B2 (en) | 2014-09-03 | 2019-10-01 | Hoya Corporation | Image capturing system and electronic endoscope system |
| US10722155B2 (en) | 2013-05-30 | 2020-07-28 | Hoya Corporation | Method and device for generating image showing concentration distribution of biological substances in biological tissue |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334162A (ja) * | 2002-03-14 | 2003-11-25 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
| JP4632645B2 (ja) * | 2002-12-12 | 2011-02-16 | オリンパス株式会社 | イメージング装置およびプロセッサ装置 |
| JP4253550B2 (ja) * | 2003-09-01 | 2009-04-15 | オリンパス株式会社 | カプセル型内視鏡 |
| JP4384626B2 (ja) * | 2004-09-02 | 2009-12-16 | オリンパス株式会社 | 内視鏡装置 |
| CN101822525B (zh) | 2004-08-30 | 2012-02-22 | 奥林巴斯株式会社 | 内窥镜装置 |
| JP4566754B2 (ja) * | 2005-01-12 | 2010-10-20 | Ｈｏｙａ株式会社 | 画像処理装置 |
| JP4409523B2 (ja) * | 2005-05-12 | 2010-02-03 | オリンパスメディカルシステムズ株式会社 | 生体観測装置 |
| KR100953788B1 (ko) | 2005-05-12 | 2010-04-21 | 올림푸스 메디칼 시스템즈 가부시키가이샤 | 생체 관측 장치 |
| JP2006314557A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Medical Systems Corp | 生体観測装置 |
| JP5057675B2 (ja) * | 2006-03-03 | 2012-10-24 | オリンパスメディカルシステムズ株式会社 | 生体観察装置 |
| JP5435532B2 (ja) * | 2007-07-17 | 2014-03-05 | 富士フイルム株式会社 | 画像処理システム |
| JP5280026B2 (ja) * | 2007-09-14 | 2013-09-04 | 富士フイルム株式会社 | 画像処理装置および内視鏡システム |
| JP5278854B2 (ja) * | 2007-12-10 | 2013-09-04 | 富士フイルム株式会社 | 画像処理システムおよびプログラム |
| JP5267143B2 (ja) | 2008-03-27 | 2013-08-21 | 富士フイルム株式会社 | 撮像装置およびプログラム |
| JP4951649B2 (ja) * | 2009-05-07 | 2012-06-13 | オリンパス株式会社 | 画像処理装置 |
| JP5460507B2 (ja) | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | 内視鏡装置の作動方法及び内視鏡装置 |
| JP5460506B2 (ja) | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | 内視鏡装置の作動方法及び内視鏡装置 |
| JP5541914B2 (ja) | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
| JP5385188B2 (ja) * | 2010-03-26 | 2014-01-08 | 富士フイルム株式会社 | 電子内視鏡システム |
| JP5457247B2 (ja) * | 2010-03-26 | 2014-04-02 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
| JP5550574B2 (ja) * | 2011-01-27 | 2014-07-16 | 富士フイルム株式会社 | 電子内視鏡システム |
| JP5554253B2 (ja) | 2011-01-27 | 2014-07-23 | 富士フイルム株式会社 | 電子内視鏡システム |
| GB2487940B (en) * | 2011-02-09 | 2014-12-17 | Tel Hashomer Medical Res Infrastructure & Services Ltd | Methods and devices suitable for imaging blood-containing tissue |
| JP5611892B2 (ja) * | 2011-05-24 | 2014-10-22 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
| JP5611891B2 (ja) * | 2011-05-24 | 2014-10-22 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
| EP2754378B1 (en) | 2011-09-05 | 2023-03-22 | FUJIFILM Corporation | ENDOSCOPE SYSTEM and PROCESSOR DEVICE THEREOF |
| CN103582445B (zh) | 2012-03-30 | 2017-02-22 | 奥林巴斯株式会社 | 内窥镜装置 |
| JP2014128394A (ja) * | 2012-12-28 | 2014-07-10 | Hoya Corp | 内視鏡装置 |
| JP5695684B2 (ja) * | 2013-02-04 | 2015-04-08 | 富士フイルム株式会社 | 電子内視鏡システム |
| JPWO2016059906A1 (ja) * | 2014-10-16 | 2017-04-27 | オリンパス株式会社 | 内視鏡装置及び内視鏡用光源装置 |
| JP6408400B2 (ja) * | 2015-02-27 | 2018-10-17 | 富士フイルム株式会社 | 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法 |
| US20180092521A1 (en) * | 2015-03-26 | 2018-04-05 | Koninklijke Philips N.V. | Device, system and method for illuminating a structure of interest inside a human or animal body |
| JPWO2018043723A1 (ja) * | 2016-09-02 | 2019-03-28 | Hoya株式会社 | 電子内視鏡システム |
| JP6576895B2 (ja) * | 2016-09-29 | 2019-09-18 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 |
-
2000
- 2000-07-27 JP JP2000227237A patent/JP3559755B2/ja not_active Expired - Lifetime
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2305094A1 (en) | 2009-09-30 | 2011-04-06 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
| US8668636B2 (en) | 2009-09-30 | 2014-03-11 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
| US8303494B2 (en) | 2009-11-06 | 2012-11-06 | Fujifilm Corporation | Electronic endoscope system, processing apparatus for electronic endoscope, and image processing method |
| EP2328340A2 (en) | 2009-11-06 | 2011-06-01 | FUJIFILM Corporation | Electronic endoscope system, processing apparatus for electronic endoscope, and signal separation method |
| EP2328339A2 (en) | 2009-11-06 | 2011-06-01 | FUJIFILM Corporation | Electronic endoscope system, processing apparatus for electronic endoscope, and image processing method |
| EP3142350A1 (en) | 2009-11-06 | 2017-03-15 | Fujifilm Corporation | Electric endoscope system, processing apparatus for electronic endoscope, and image processing method |
| US8797393B2 (en) | 2009-11-06 | 2014-08-05 | Fujifilm Corporation | Electronic endoscope system, processing apparatus for electronic endoscope, and signal separation method |
| EP2436304A2 (en) | 2010-09-29 | 2012-04-04 | FUJIFILM Corporation | Endoscope device |
| EP2436303A2 (en) | 2010-09-29 | 2012-04-04 | FUJIFILM Corporation | Endoscope device |
| US9179074B2 (en) | 2010-09-29 | 2015-11-03 | Fujifilm Corporation | Endoscope device |
| EP2465409A1 (en) | 2010-12-15 | 2012-06-20 | Fujifilm Corporation | Endoscopy system |
| EP2466874A2 (en) | 2010-12-16 | 2012-06-20 | Fujifilm Corporation | Image processing device |
| US9554693B2 (en) | 2010-12-16 | 2017-01-31 | Fujifilm Corporation | Image processing device |
| EP2465410A1 (en) | 2010-12-16 | 2012-06-20 | Fujifilm Corporation | Image processing device |
| EP2474265A2 (en) | 2011-01-11 | 2012-07-11 | Fujifilm Corporation | Endoscope diagnosis system |
| JP2012152459A (ja) * | 2011-01-27 | 2012-08-16 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| EP2481343A1 (en) | 2011-01-27 | 2012-08-01 | Fujifilm Corporation | Endoscope system, processing unit therefor, and image processing method |
| US9028396B2 (en) | 2011-01-27 | 2015-05-12 | Fujifilm Corporation | Endoscope system, processing unit therefor, and image processing method |
| US9072453B2 (en) | 2011-02-24 | 2015-07-07 | Fujifilm Corporation | Endoscope apparatus |
| WO2013005533A1 (ja) | 2011-07-06 | 2013-01-10 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法 |
| EP2689712A1 (en) | 2012-07-24 | 2014-01-29 | Fujifilm Corporation | Endoscope system, processor device of endoscope system, and method for controlling display of endoscope image |
| US9370297B2 (en) | 2012-08-17 | 2016-06-21 | Hoya Corporation | Electronic endoscope system and light source for endoscope |
| US9591966B2 (en) | 2012-08-17 | 2017-03-14 | Hoya Corporation | Electronic endoscope system and light source for endoscope |
| US9826893B2 (en) | 2012-08-17 | 2017-11-28 | Hoya Corporation | Electronic endoscope system and light source for endoscope |
| US9595117B2 (en) | 2013-03-06 | 2017-03-14 | Fujifilm Corporation | Image processing device and method for operating endoscope system |
| EP2775450A2 (en) | 2013-03-06 | 2014-09-10 | Fujifilm Corporation | Image processing device and method for operating endoscope system |
| US10722155B2 (en) | 2013-05-30 | 2020-07-28 | Hoya Corporation | Method and device for generating image showing concentration distribution of biological substances in biological tissue |
| US10426325B2 (en) | 2014-09-03 | 2019-10-01 | Hoya Corporation | Image capturing system and electronic endoscope system |
| US11224335B2 (en) | 2014-09-03 | 2022-01-18 | Hoya Corporation | Image capturing system and electronic endoscope system |
| US10031070B2 (en) | 2014-11-21 | 2018-07-24 | Hoya Corporation | Analyzing device and analyzing method based on images of biological tissue captured under illumination of light with different illumination wavelength ranges |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002034893A (ja) | 2002-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3559755B2 (ja) | 内視鏡装置 | |
| JP3583731B2 (ja) | 内視鏡装置および光源装置 | |
| JP4554944B2 (ja) | 内視鏡装置 | |
| JP4384626B2 (ja) | 内視鏡装置 | |
| JP4599398B2 (ja) | 画像処理装置及び内視鏡装置 | |
| KR101184841B1 (ko) | 내시경 장치 및 그 신호 처리 방법 | |
| US7892169B2 (en) | Endoscope apparatus | |
| JP5393554B2 (ja) | 電子内視鏡システム | |
| JP5057675B2 (ja) | 生体観察装置 | |
| JP5501210B2 (ja) | 画像処理装置 | |
| RU2378977C2 (ru) | Устройство для биологических наблюдений | |
| WO2006025334A1 (ja) | 内視鏡装置 | |
| JP5582948B2 (ja) | 内視鏡装置 | |
| JPWO2010131620A1 (ja) | 撮像装置 | |
| JP3965174B2 (ja) | 内視鏡装置 | |
| JPH11313247A (ja) | 内視鏡装置 | |
| JPWO2019244248A1 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
| JP5856943B2 (ja) | 撮像システム | |
| JP5331863B2 (ja) | 内視鏡装置 | |
| JP7090699B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
| JP2005323758A (ja) | 電子内視鏡装置 | |
| CN117338223A (zh) | 一种内窥镜装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3559755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080528 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080528 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |