JP4373726B2

JP4373726B2 - Auto fluorescence observation device

Info

Publication number: JP4373726B2
Application number: JP2003200441A
Authority: JP
Inventors: 浩平池谷
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2003-07-23
Filing date: 2003-07-23
Publication date: 2009-11-25
Anticipated expiration: 2023-07-23
Also published as: JP2005040181A

Description

【０００１】
【発明が属する技術分野】
本発明は、生体から発せられる自家蛍光に基づいて体腔内を撮像して、異常部を特定色にて示す画像を生成することができる自家蛍光観察装置に、関する。
【０００２】
【従来の技術】
生体に対して特定波長の励起光を照射すると、生体から蛍光が発せられることが知られている(この蛍光は「自家蛍光」と言われる)。さらに、図６のスペクトラムに示されるように、自家蛍光の強度（特に、緑光領域の強度）は生体の病変組織(腫瘍,癌)から発生するものの方が正常組織から発生するものよりも低いので、画像として表されると、病変組織を内包した病変部位が正常組織のみからなる正常部位よりも暗く表示されることも、知られている。なお、図６においては、各組織から発する自家蛍光のスペクトラムを、正常組織からの自家蛍光中最大の蛍光強度を示す波長成分の当該蛍光強度を“１”として、正規化して示してある。
【０００３】
このような知識をベースに、内視鏡を通じて生体の自家蛍光を撮像し、生体が正常であるか異常であるかの診断に供される自家蛍光画像を表示する自家蛍光観察装置が、提案されている。例えば、下記特許文献１や特許文献２に記載されたものでる。
【０００４】
ところで、生体の病変部位は、上述した理由に因り、発生する蛍光の強度が低いために、撮像素子によって撮像された映像内において暗く写るのであるが、管腔の奧や凸部の陰のように励起光が届かない部分もまた、蛍光を発することができないために、同映像内において暗く写ってしまう。但し、後者のような部分は、病変部位として検出されるべきでないので、病変部位から識別されなければならない。
【０００５】
そのために、励起光を生体に照射して自家蛍光による像を撮像する直前又は直後に、可視光である照明光（参照光）を同じ生体に照射してその反射光による像を撮像し、後者において明るいが前者において暗い部分のみを病変部位を示すものとして特定し、後者によるカラー画像中において特定色にて示していた。
【０００６】
但し、自家蛍光のレベルは、照明光の反射光に比べて格段に弱いので、撮像素子から出力された生の映像信号同士を比較することはできない。そのため、夫々の映像信号中の各画素の輝度値を、そのピーク値が“１”，その最低値が“０”をとるスケール内に分布させることによって、正規化する必要があった。このように正規化した後に、前者の輝度値に対する後者の輝度値の比率を算出し、算出した比率が所定比率より暗い画素からなる部分のみを、病変部位として特定していたのである。このようにすれば、正常部位中の最も明るい部分は、両映像信号中において共に“１”をとり、正常部位中のそれ以外の部分も、両映像信号中においてほぼ等しい値をとるので、病変部位のみが特定されるのである。
【０００７】
【特許文献１】
特表２００２−５３５０２５号公報
【特許文献２】
特開２００３−３６４３６号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、内視鏡の先端が病変部に近づきすぎてしまった場合には、撮像素子によって撮影される映像全体に病変部が写ってしまう。その結果、自家蛍光を撮像して得られた映像信号中では、異常部位に相当する画素の輝度値がピークとなってしまうので、これを照明光の反射光を撮像して得られた映像信号（正規化された映像信号）と比較しても、両者のレベルが殆ど同じとなってしまう。その結果、病変部を適正に特定できなくなって、カラー画像中において病変部を特定色にて表示することができなくなってしまう。
【０００９】
本発明の課題は、一時的に映像中に正常部位が含まれなくなっても、自家蛍光に基づく映像信号を、照明光の反射光に基づく映像信号と比較することによって病変部を適切に特定できるレベルに、正規化することができる自家蛍光観察装置を、提供することである。
【００１０】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下の構成を採用した。即ち、本発明による自家蛍光観察装置は、参照光と励起光とを交互に被検物に照射する照明装置と、前記参照光及び励起光が交互に照射された被検物の前記参照光の反射光による像及び前記励起光によって生じた自家蛍光による像を撮像して映像信号を出力する撮像装置と、指示信号が入力される操作部材と、前記照明装置によって前記被検物に前記参照光が照射されている間に前記撮像装置によって出力された映像信号を参照光映像信号として、前記照明装置によって前記被検物に前記励起光が照射されている間に前記撮像装置によって出力された映像信号を自家蛍光映像信号として、交互に取得する映像信号取得手段と、前記操作部材を通じて指示信号が入力された時には、前記映像信号取得手段によって取得された前記自家蛍光映像信号を構成する各画素の輝度値を前記参照光映像信号中の輝度信号と同じ輝度値の範囲に分布するように正規化する第１正規化処理を実行するとともに正規化前における前記輝度値のピーク値に対する前記正規化後の最大値の比率を第１増幅度として記憶し、その後、前記映像信号取得手段によって前記参照光映像信号及び前記自家蛍光映像信号の組が取得される毎に、当該自家蛍光映像信号を構成する各画素の輝度値に対して前記第１正規化処理を実行するとともに正規化前における前記輝度値のピーク値に対する正規化後の最大値の比率を第２増幅度として算出し、当該第２増幅度が前記第１増幅度以上であった場合には、当該自家蛍光映像信号を構成する各画素の輝度値に対して前記第１増幅度を乗ずる第２正規化処理を実行することによって正規化し直す正規化手段と、各画素毎に、正規化後における各組の前記参照光画像信号中の輝度信号が示す輝度値と前記自家蛍光信号を構成する輝度値とを比較し、前者に対する後者の比率が所定閾値を上回っていれば、当該画素については前記映像信号取得手段によって取得された前記参照光映像信号を出力し、前者に対する後者の比率が所定閾値を下回っていれば、当該画素については所定色に対応した映像信号を出力する比較手段と、前記比較手段によって出力した全画素分の映像信号に基づいて、１画面分の映像を表示する表示手段とを、備えたことを特徴とする。
【００１１】
このように構成されると、被検体における正常部位であることが確実な部分が撮像装置によって撮像されている時に、術者によって指示信号が操作部材を介して入力されると、その直後に映像信号取得手段によって取得された自家蛍光映像信号に対して、この自家蛍光映像信号を構成する各画素の輝度値を参照光映像信号中の輝度信号と同じ輝度値の範囲に分布させるための第１正規化処理が実行され、正規化前における前記輝度値のピーク値に対する前記正規化後の輝度値の比率が算出される。この場合、ピーク値は被検体における正常部位に相当する画素の輝度値であることが確実なので、この比率は、第１増幅度として記憶される。
【００１２】
その後、映像信号取得手段が参照光映像信号と自家蛍光映像信号との組を取得する毎に、自家蛍光映像信号を構成する各画素の輝度値に対して、同じ組の参照光映像信号中の輝度信号と同じ輝度値の範囲に分布させるために第１正規化処理が実行され、正規化前における前記輝度値のピーク値に対する前記正規化後の輝度値の比率が第２増幅度として算出され、この第２増幅度が第１増幅度と比較される。そして、第２増幅度が第１増幅度を下回って入れば、処理された自家蛍光映像信号におけるピーク値は、自家蛍光の強度が比較的強い正常部位に相当する画素の輝度値であることが確実であるので、第１正規化処理によって正規化された自家蛍光映像信号が、比較手段による比較対象となる。この場合、正常部位においては、第１正規化を通じて自家蛍光映像信号を構成する輝度値が参照光映像信号中の輝度信号の輝度値とほぼ同レベルとなっているので、正常部位であることを表示するための参照光映像信号が出力され、異常部位においては、第１正規化を通じて自家蛍光映像信号を構成する輝度値が参照光映像信号中の輝度信号の輝度値よりも低くなっているので、病変部位であることを示す特定色の映像信号が出力され、表示手段によって１画面分の映像として表示される。
【００１３】
一方、第２増幅度が第１増幅度を上回っていれば、処理された自家蛍光映像信号におけるピーク値は、自家蛍光の強度が比較的弱い病変部位に相当する画素の輝度値であることが確実であるので、正規化前における自家蛍光映像信号を構成する各画素の輝度値に対して第１増幅度を乗ずる第２正規化処理が実行され、この第２正規化処理によって正規化された自家蛍光映像信号が比較手段による比較対象となる。この場合、映像の全体において、第２正規化を通じて自家蛍光映像信号を構成する輝度値が参照光映像信号中の輝度信号の輝度値よりも低くなっているので、病変部位であることを示す特定色の映像信号が出力され、表示手段によって１画面分の映像として表示される。
【００１４】
本発明において、正規化手段は、参照光映像信号中の輝度信号については正規化を行うことなく自家蛍光映像信号についてのみ正規化処理を実行しても良いし、参照光映像信号中の輝度信号に対して、所定スケールの所定輝度範囲にその輝度値が分布するように正規化するとともに、自家蛍光映像信号に対して、同スケールの同輝度範囲にその輝度値が分布するように第１正規化処理を実行しても良い。
【００１５】
また、本発明において、参照光映像信号は、モノクロ信号であっても良いし、カラー画像信号であっても良い。前者の場合には、参照光映像信号自体が輝度信号であり、後者の場合には、カラー画像信号から抽出された各画素毎の輝度値を示す信号が輝度信号となる。なお、前者の場合には、表示手段は、前記参照光映像信号を、前記所定色の映像信号による色とは別の色で表示すれば良い。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明による自家蛍光観察装置の実施の形態を説明する。
〔電子内視鏡装置の構成〕
図１は、本実施形態による自家蛍光観察装置１０の概略構成図である。図１において、自家蛍光観察装置１０は、内視鏡の一種である電子内視鏡１１と、この電子内視鏡１１に接続された光源装置１２と、この光源装置１２に接続されたモニター１５とから、構成されている。以下、これらの各装置の説明を、個別に行う。
【００１７】
電子内視鏡１１は、図１ではその内部構成を示すために模式化されているが、実際には、図２に示す外観形状を有している。即ち、この電子内視鏡１１は、被験者の体腔内に挿入される体腔内挿入部１１０，この体腔内挿入部１１０の基端に取り付けられた操作部１１１，この操作部１１１の側面から延出したライトガイド可撓管１１２，このライトガイド可撓管１１２の先端に取り付けられたコネクタ１１３から、構成される。
【００１８】
図１に示すように、体腔内挿入部１１の先端には、少なくとも二つの貫通孔が穿たれており、その一方には負レンズからなる配光レンズ１１０２が、他方には正のパワーを有するレンズ群である対物光学系１１０３が、夫々、嵌め込まれている。この体腔内挿入部１１内には、対物光学系１１０３の前方における所定作動距離だけ離れた位置に在る被検物の当該対物光学系１１０３による実像を撮像する撮像素子（カラーＣＣＤ）１１０４が、配置されている。これら対物光学系１１０３及び撮像素子１１０４が、撮像装置に相当する。
【００１９】
なお、この体腔内挿入部１１０の先端近傍における外周面には、図示せぬアタッチメントの装着の有無を検出するためのセンサ１１０７が埋め込まれている。
【００２０】
また、この体腔内挿入部１１０の先端部（撮像素子１１０４が収容されている箇所）は、硬質部材から構成されているが、それよりも操作部１１１側の部分は可撓性を有する構造を有している。さらに、この可撓性を有する部分のうち先端側の所定長さの範囲は、体腔内挿入部１１０の中心軸に直交する軸を中心に互いに傾動自在に接続された多数のセグメントが組み込まれた湾曲部として、構成されている。
【００２１】
操作部１１１には、この湾曲部の最前のセグメントにその先端が取着された複数（２又は４）本のワイヤーを選択的に引き込むことによって湾曲部を任意の方向に任意の角度湾曲させることができるプーリー（図示略）が内蔵されており、このプーリーと同軸に取り付けられたアングルノ１１１１が、その側面に取り付けられている。更に、この操作部１１１の他の側面（アングルノブ１１１１が取り付けられている側面に隣接する側面）には、後述する光源装置１２に各種の指示信号を入力するためのものを含む多数のボタンが取り付けられている。そのうちの一つが、後述する蛍光観察モード時において「増幅度（Kref）」を登録するために押下され、これによって指示信号が入力される操作部材としての操作スイッチ１１１２である。
【００２２】
上述した体腔内挿入部１１０の先端から操作部１１１，ライトガイド可撓管１１２を経てコネクタ１１３に至る管路内には、後述するように光源装置１２によって導入された白色照明光及び励起光をガイドするためのライトガイドファイババンドル（以下、「ライトガイド」という）１１０１，撮像素子１１０４に駆動電源，読出信号，等の制御信号（以下、「撮像素子制御信号」と総称する）を伝えるための制御信号線１１０５，撮像素子１１０４から出力された映像信号（各画素毎のＲＧＢ各色の輝度値を表すアナログ信号）を光源装置１２に伝達する映像信号線１１０６，センサ１１０７や操作スイッチ１１１２に繋がる各種信号線が、夫々引き通されている。なお、ライトガイド１１０１の射出端は、そこから射出された照明光が、配光レンズ１１０２を通じて、対物光学系１１０３及び撮像素子１１０４による画角よりも若干大きい配光角にて発散される位置に、固定されている。
【００２３】
コネクター１１３内には、更に、制御信号線１１０５を介して撮像素子１１０４に撮像素子制御信号を供給するドライバー１１３３，及び、当該電子内視鏡１１の特性に関するデータを保持しているＲＯＭ１１３４が、内蔵されている。また、このコネクター１１３の先端面からは、ライトガイド１１０１の入射端が挿入されて固定された金属管からなる導光管１１３１，及び、各種電極が組み込まれた電気コネクタ１１３２が、ともに垂直に突出している。この電気コネクタ１１３２に含まれる各種電極は、映像信号線１１０６，センサ１１０７に接続された信号線，操作スイッチ１１１２に接続された信号線，ＲＯＭ１１３４，ドライバー１１３３に、夫々導通している。
【００２４】
光源装置１２のハウジングの側面には、電子内視鏡１１のコネクター１１３の先端が嵌め込まれるコネクタ受け（図示略）が、形成されている。このコネクタ受け内には、コネクター１１３がこのコネクタ受けに装着された時に、電気コネクタ１１３２中の各種電極に夫々接触する多数の電極からなるソケット，及び、導光管１１３１が挿入される保持穴が、設けられている。
【００２５】
この光源装置１２内には、初段映像信号処理回路１２０，この初段映像信号処理回路１２０に接続された映像信号処理回路１２１，この映像信号処理回路１２１に接続された後段映像信号処理回路１２３，これら初段映像信号処理回路１２０，映像信号処理回路１２１及び後段映像信号処理回路１２２に夫々接続されたタイミング発生回路１２４，このタイミング発生回路１２４に更に接続されたシステムコントロール回路１２５及び第１モータ１２８，システムコントロール回路１２５に更に接続された切断回路１２６，第２モーター１２９，位置検出センサー１３１，角度検出センサー１３３及びランプ１２７を主要回路部品として、構成されている。
【００２６】
また、コネクター１１３が光源装置のコネクタ受けに装着された状態においては、撮像素子１１０４は、映像信号線１１０６を通じて初段映像信号回路１２０に接続され、操作スイッチ１１１２はシステムコントロール回路１２５に接続され、センサー１１０７は切断回路１２６に接続され、ＲＯＭ１１３４はシステムコントロール回路１２５に接続され、ドライバー１１３３はタイミング発生回路１２４に接続される。また、この状態において、導光管１１３１は、ランプ１２７から射出される光（白色照明光，励起光）の光路上に、その光路と同軸に配置される。
【００２７】
切断回路１２６は、光源装置１２の動作モード（通常観察モード又は蛍光観察モード）の切り換えを、システムコントロール回路１２５に指示する回路であり、図示せぬフットスイッチの状態やセンサー１１０７によるアタッチメントの検出結果等に従って、動作モードを切り換える。
【００２８】
システムコントロール回路１２５は、ランプ１２７を点灯させ、当該光源装置１２に装着されている電子内視鏡１２の特性をＲＯＭ１１３４から読み取り、その特性に応じた動作周期にて、現在の動作モード（通常観察モード又は蛍光観察モード）に従って各ブロック（初段映像信号処理回路１２０，映像信号処理回路１２１，後段映像信号処理回路１２３，第１モーター１２８，ドライバー１１３３）を動作させる様、タイミング発生回路１２４に指示を入力する。
【００２９】
第１モータ１２８は、ランプ１２７から射出される光の光路と平行な方向にその駆動軸を向けた状態で、移動テーブル１３２上に固定されている。この移動テーブル１３２は、第２モーター１２９によって駆動され、蛍光観察モード時においてはランプ１２７から射出される光の光路に接近した第１位置へ、通常観察モード時においてはこの光路から離反した第２位置へと、第１モーター１２８をこの光路に直交する方向に移動させる。なお、この第２モータ１２９及び移動テーブル１３２によって移動される第１モーター１２８の位置は、位置検出センサー１３１によって検出されて、システムコントロール回路１２５にフィードバックされている。
【００３０】
一方、第１モーター１２８の駆動軸の先端には、この第１モーター１２８が上記第１位置に存在するときにランプ１２７からの光の光路に進入するとともに同モーター１２８が上記第２位置に存在するときに同光路から退避できる外径を有する円板状の回転フィルター１３０が、固着されている。図３の正面図に示されるように、この回転フィルター１３０には、第１モーター１２８が上記第１位置にあるときに当該回転フィルター１３０の回転に伴って上記光路の中心が相対的に通過する軌跡に沿って、約２７０度の中心角を有する円弧状のスリット１３０ａが、形成されている。このスリット１３０ａにおける円周方向に２／３の部分（即ち、中心角１８０度の部分）には、ランプ１２７から射出される光のうち400nm〜450nmの成分のみを透過させる励起光透過フィルター１３４が、嵌め込まれている。また、同スリット１３０ａにおける残り１／３の部分（即ち、中心角９０度の部分）には、ランプ１２７から射出される光の全波長成分（即ち、可視帯域の参照光である白色照明光）を透過させる全波長透過フィルター１３５が、嵌め込まれている。従って、蛍光観察モード時においては、タイミング発生回路１２４によって第１モーター１２８が回転され、回転フィルター１３０が一回転する周期の間に、その半分の期間だけ励起光がライトガイド１１０１に入射され、１／４の期間だけ白色照明光がライトガイド１１０１に入射され、残りの１／４の期間には何ら光がライトガイド１１０１に入射されない。なお、この回転フィルター１３０の回転角（即ち、どのフィルター１３４，１３５が光路に挿入されているか）は、第１モーター１２８の回転軸の基端に取り付けられた角度検出センサー１３３によって検出されて、システムコントロール回路１２５にフィードバックされている。これら、システムコントロール回路１２５，ランプ１２７，タイミング発生回路１２４，第１モーター１２８，回転フィルター１３０，ライトガイド１１０１，配光レンズ１１０２が、照明装置に相当する。
【００３１】
初段映像信号処理回路１２０は、タイミング発生回路１２４から通常観察モードで動作することが指示されている間は、画像信号線１１０６を通じて撮像素子１１０４から入力されるＲ（赤），Ｇ（緑），Ｂ（青）の各色毎のアナログ輝度信号の形式をデジタル信号に変換し、ホワイトバランス補正，ＲＧＢ−Ｙ／Ｃ信号変換等の処理を施して、出力する。また、初段映像信号処理回路１２０は、タイミング発生回路１２４から蛍光観察モードで動作することが指示されている間は、白色照明光がライトガイド１１０１に導入されて被検物に照射されている期間中においては、上述した通常観察モードの場合と同様に動作して、撮像素子１１０４からの映像信号を奇数フィールドの映像信号（参照光映像信号）として取得し、励起光がライトガイド１１０１に導入されて被検物に照射されている期間中においては、映像信号線１１０６を通じて撮像素子１１０４から入力される映像信号を構成するＧ（緑）のアナログ輝度信号の形式をデジタル信号に変換して、偶数フィールドの映像信号（自家蛍光映像信号）として取得する。この初段映像信号処理回路１２０での処理によって取得された映像信号は、映像信号処理回路１２１に入力される。
【００３２】
映像信号処理回路１２１には、多数の画像メモリの他、タイミング発生回路１２４から蛍光観察モードで動作するように指示されている間に初段映像信号処理回路１２０から入力された奇数フィールドの映像信号中の輝度信号（Ｙ）を、０〜１のスケール内において、そのピーク値が“１”をとり、その最低値が“０”をとり、中間値がピーク値に対する比率に応じた値をとるように正規化する参照光正規化回路１２１０，偶数フィールドの映像信号（以下、「自家蛍光映像信号」という）を、同じく０〜１のスケール内において、そのピーク値（参照光映像信号のピーク値と同じ画素の輝度値）が“１”をとり、その最低値が“０”をとり、中間値がピーク値に対する比率に応じた値をとるように正規化する第１正規化処理，及び、同映像信号に後述する第１増幅度（Kref）を乗ずることによって正規化する第２正規化処理を実行する自家蛍光正規化回路１２１１，及び、両正規化回路１２１０，１２１１によって夫々正規化された映像信号同士の比率（画素比率）を各画素毎に比較する比較回路１２１２を、含んでいる。これら参照光正規化回路１２１０及び自家蛍光正規化回路１２１１が正規化手段に相当し、比較回路１２１２が比較手段に相当する。
【００３３】
そして、映像信号処理回路１２１は、タイミング発生回路１２４から通常観察モードで動作する様に指示されている間は、初段映像信号処理回路１２０から入力された映像信号を、そのまま後段映像信号処理回路１２３に伝達する。
【００３４】
一方、タイミング発生回路１２４から蛍光観察モードで動作する様に指示されている間は、映像信号後段映像処理回路１２１は、操作スイッチ１１１２がオンされていれば、自家蛍光正規化回路１２１１を用いて、前段映像信号処理回路１２０から入力された自家蛍光映像信号を、上記第１正規化処理を実行することによって正規化し、その正規化前のピーク値に対する正規化後の値（１）の比率を、第１増幅度「Kref」として画像メモリに記憶する。その後、操作スイッチ１１１２がオフされれば、参照光正規化回路１２１０を用いて、初段映像信号処理回路１２４から入力された参照光映像信号を正規化するとともに、自家蛍光正規化回路１２１１を用いて、初段映像信号処理回路１２４から続けて入力された自家蛍光映像信号を、前記第１正規化処理を実行することによって正規化する。但し、自家蛍光正規化回路１２１１での正規化前のピーク値に対する正規化後の値（１）の比率「Ｋ」（第２増幅度）が「Kref」以上であれば、当該自家蛍光映像信号を、その全画素の輝度値を「Kref」倍する第２正規化処理を実行することによって正規化し直す。そして、各画素毎に、比較回路１２１２を用いて、正規化後の参照光映像信号に対する自家蛍光映像信号の比率（画素比率）を算出し、画素比率が所定閾値未満であれば正規化前の参照光映像信号を出力し、画素比率が所定閾値以上であれば所定色（例えば、青）に対応した映像信号（疑似カラー映像信号）を出力する。
【００３５】
後段映像信号処理回路１２３は、映像信号処理回路１２１から順次入力された１画面分の映像信号を、ＹＣＣカラー信号のまま，若しくは、ＮＴＳＣフォーマットに従ったビデオ信号に変換して、モニター１５に出力する。モニター１５は、後段映像信号処理回路１２３から入力された映像信号に基づいて、映像を表示する。これら後段映像信号処理回路１２３及びモニター１５が、表示手段に相当する。
【００３６】
次に、以上に概略動作が説明された映像信号処理回路１２１の蛍光モードにおける動作を、図４及び図５のフローチャートに基づいて説明する。蛍光モードで動作する場合には、映像信号処理回路１２１は、Ｓ００１において、システムコントロール１２５によって指示されたタイミング回路１２４からの入力信号に基づいて、操作スイッチ１１１２がＯＮされているか否かをチェックする。そして、操作スイッチ１１１２がＯＮされている場合には、映像信号処理回路１２１は、Kref記憶処理を実行する。
【００３７】
図５は、このＳ００２にて実行されるKref記憶処理サブルーチンを示すフローチャートである。このサブルーチンに入って最初のＳ１０１では、映像信号処理回路１２１は、タイミング発生回路１２４から指示されたタイミングが偶数フィールドであるか奇数フィールドであるかをチェックする。そして、映像信号処理回路１２１は、偶数フィールドである場合には、奇数フィールドが指示されるのを待ち、奇数フィールドとなると、処理をＳ１０２へ進める。
【００３８】
Ｓ１０２では、映像信号処理回路１２１は、初段映像信号処理回路１２０から入力された参照光映像信号を取り込む。
【００３９】
次のＳ１０３では、映像信号処理回路１２１は、取り込んだ参照光映像信号に対してビデオガンマの逆補正を施し、リニアな信号として処理する。
【００４０】
次のＳ１０４では、映像信号処理回路１２１は、Ｓ１０３での処理後における参照光映像信号から輝度信号（Ｙ）を抽出し、輝度値のヒストグラムを作成する。
【００４１】
次のＳ１０５では、映像信号処理回路１２１は、Ｓ１０４にて作成したヒストグラム中における最大輝度値が“１”となり、最小輝度値が“０”となり、中間輝度値が最大輝度値との比率に応じた値（０〜１）をとるように、参照光映像信号中の輝度信号（Ｙ）を正規化する。
【００４２】
次のＳ１０６では、映像信号処理回路１２１は、タイミング発生回路１２４から偶数フィールドが指定されるのを待って、初段映像信号処理回路１２０から自家蛍光映像信号を取り込む。
【００４３】
次のＳ１０７では、映像信号処理回路１２１は、取り込んだ自家蛍光映像信号に対してビデオガンマの逆補正を施す。
【００４４】
次のＳ１０８では、映像信号処理回路１２１は、参照光映像信号中において上記最大輝度値をとった画素と同じ画素の輝度値（ピーク値）が“１”となり、最小輝度値が“０”となり、中間輝度値がピーク値との比率に応じた値（０〜１）をとるように、自家蛍光映像信号を正規化する（第１正規化処理）。このとき、正規化後における値“１”の正規化前におけるピーク値に対する比率（第１増幅度）を、Krefとして画像メモリに記憶する。
【００４５】
次のＳ１０９では、映像信号処理回路１２１は、各画素（自家蛍光映像信号及び参照光映像信号の輝度信号における座標値を共通とする個々の画素）毎に、画素比率（＝正規化された自家蛍光映像信号における値／正規化された参照光映像データの輝度信号における値）を算出する。この画素比率を全画素について算出すると、映像信号処理回路１２１は、次に、各画素毎に参照光映像信号及び特定色の疑似カラー画像信号の何れかを出力するためのＳ１１０乃至Ｓ１１４のループ処理を、実行する。
【００４６】
このループに入って最初のＳ１１０では、映像信号処理回路１２１は、チェック対象画素を走査順に一つ特定する。
【００４７】
次のＳ１１１では、Ｓ１１０にて特定されたチェック対象画素についてＳ１０９にて算出された画素比率が所定閾値よりも小さいか否かを、チェックする。そして、画素比率が所定閾値よりも小さければ、映像信号処理回路１２１は、Ｓ１１２において、チェック対象画素が正常部位に相当することを示すために、当該チェック対象画素についての参照光映像信号（正規化前における輝度信号を含む）を、後段映像処理回路１２３に出力する（後段映像信号処理回路１２３は、受信した参照光映像信号に対して所定の画像処理を施した上で、当該チェック対象画素としてモニター１５上に表示する。）。一方、画素比率が所定値よりも小さければ、映像信号処理回路１２１は、Ｓ１１３において、チェック対象画素が病変部位に相当することを示すために、一画素分の疑似カラー映像信号を、後段映像処理回路１２３に出力する（後段映像信号処理回路１２３は、受信した疑似カラー映像信号に対して所定の画像処理を施した上で、当該チェック対象画素としてモニター１５上に表示する。）。
【００４８】
Ｓ１１２又はＳ１１３を完了すると、映像信号処理回路１２１は、Ｓ１１４において、全画素についてＳ１１２又はＳ１１３の処理を実行したか否かをチェックする。そして、未だ全画素についてＳ１１２又はＳ１１３の処理を実行完了していなければ、映像信号処理回路１２１は、処理をＳ１１０に戻す。これに対して、全画素についてＳ１１２又はＳ１１３の処理を実行完了した場合には、映像信号処理回路１２１は、このKref記憶処理を終了して、処理を図４のメインルーチンに戻す。
【００４９】
この時点において、モニター１５上には、被検体の映像が表示されているが、上述したKref記憶処理サブルーチンの内容に従い、映像中に正常部位が含まれていれば、病変部のみが特定色で示された疑似カラー画像として表示されるが、映像全体に病変部が写っている場合には、逆に、疑似カラー画像が全く含まれていない状態となっている。そこで、術者は、明らかに正常部位であることが判っている箇所のみを撮像させている場合であり且つモニター１５上に表示された画像中に疑似カラー画像を含まれていなければ、操作スイッチ１１１２から指を離す。若しくは、明らかに異常部位であることが判っている箇所を含む領域を撮像させている場合であり且つモニター１５上に表示された画像中に疑似カラー画像を含まれていれば、操作スイッチ１１１２から指を離す。それ以外の場合には、術者は、正しいKrefを未だ記憶できていないとして、操作スイッチ１１１２を押したままにする。
【００５０】
処理が戻された図４のメインルーチンにおいて、映像信号処理回路１２１は、Ｓ００２の完了後に処理をＳ００１に戻し、操作スイッチ１１１２がオフされたか否かをチェックする。そして、未だ操作スイッチ１１１２がオンされたままであれば処理をＳ００２に進めてKref記憶処理を再実行し、操作スイッチ１１１２がオフされていれば、処理をＳ００３へ進める。
【００５１】
Ｓ００３では、映像信号処理回路１２１は、タイミング発生回路１２４から指示されたタイミングが偶数フィールドであるか奇数フィールドであるかをチェックする。そして、映像信号処理回路１２１は、偶数フィールドである場合には、奇数フィールドが指示されるのを待ち、奇数フィールドとなると、処理をＳ００４へ進める。
【００５２】
Ｓ００４乃至Ｓ００９では、映像信号処理回路１２１は、図５におけるＳ１０２乃至Ｓ１０７と同じ処理を実行する。
【００５３】
次のＳ０１０では、映像信号処理回路１２１は、参照光映像信号中において上記最大輝度値をとった画素と同じ画素の輝度値（ピーク値）が“１”となり、最小輝度値が“０”となり、中間輝度値がピーク値との比率に応じた値（０〜１）をとるように、自家蛍光映像信号を正規化する（第１正規化処理）。このとき、正規化後における値“１”の正規化前におけるピーク値に対する比率（第２増幅度）を、Ｋとして画像メモリに記憶する。
【００５４】
次のＳ０１１では、映像信号処理回路１２１は、Ｓ０１０にて算出した第２増幅度ＫがＳ００２にて画像メモリに記憶した第１増幅度Krefよりも小さいか否かをチェックする。そして、ＫがKrefより小さければ、映像信号処理回路１２１は、処理をＳ０１３へ進める。これに対してＫがKref以上であれば、映像中に正常部が全く写っていないために、自家蛍光映像信号における病変部を示す画素の画素値が“１”となるように正規化された場合であるので、映像信号処理回路１２１は、（正規化前における）自家蛍光映像信号に各画素の輝度値にKrefを乗ずることによって、自家蛍光映像信号を正規化し直す（第２正規化処理）。Ｓ０１２を完了すると、映像信号処理回路１２１は、処理をＳ０１３へ進める。
【００５５】
Ｓ０１３乃至Ｓ０１８では、映像信号処理回路１２１は、図５におけるＳ１０９乃至Ｓ１１４と同じ処理を実行する。そして、全画素につきＳ０１６又はＳ０１７の処理を終了したとＳ０１８にて判断した場合には、映像信号処理回路１２１は、処理をＳ００１に戻す。この時点でモニター１５上に表示されている映像中においては、正常部はほぼ確実に通常カラー画像（参照光画像）として表示され、病変部はほぼ確実に疑似カラー画像として表示されている。なお、映像の全体に病変部が大きく写っているときには、正常部における参照光映像データ中の輝度信号及び自家蛍光映像データ中の輝度値とに基づいて予め算出されたKrefに応じて、自動的に自家蛍光映像信号が正規化され直されるので、病変部における自家蛍光映像データの輝度値は、参照光映像データの輝度信号の輝度値よりも確実に低くなるので、映像全体に写った病変部の全域が、疑似カラー画像として表示される。
【００５６】
このモニター１５上に表示されている映像を見た術者は、病変部位が正しく表示されていないと判断した場合には、操作スイッチ１１１２を押し直す。すると、Krefが新たに設定され直される。
【００５７】
以上に説明した実施形態においては、内視鏡として電子内視鏡１１が用いられていたが、電子内視鏡の代わりに、ファイバースコープとその接眼部に装着されたテレビカメラとの組合せが用いられても良い。また、上記実施形態においては、参照光と励起光とがともにライトガイド１１０１を通じて導かれていたが、内視鏡の鉗子チャンネルに挿通された専用のファイバープローブを通じて励起光が導かれても良い。
【００５８】
【発明の効果】
以上のように構成された本発明による自家蛍光観察装置によれば、一時的に映像中に正常部位が含まれなくなっても、自家蛍光に基づく映像信号を、照明光の反射光に基づく映像信号と比較することによって病変部を適切に特定できるレベルに、正規化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である自家蛍光観察装置の構成図
【図２】電子内視鏡の外観図
【図３】回転フィルターの正面図
【図４】蛍光観察モードにおける映像信号処理回路の動作を示すフローチャート
【図５】図４のＳ００２にて実行されるKref記憶処理サブルーチンの内容を示すフローチャート
【図６】正常組織及び病変組織からの自家蛍光のスペクトラムを示すグラブ
【符号の説明】
１０自家蛍光観察装置
１１電子内視鏡
１２光源装置
１５モニター
１２０初段映像信号処理回路
１２１映像信号処理回路
１２７ランプ
１２８第１モーター
１３０回転フィルター
１１０１ライトガイド
１１０２配光レンズ
１１０３対物レンズ
１１０４撮像素子
１２１０参照光正規化回路
１２１１自家蛍光正規化回路
１２１２比較回路[0001]
[Technical field to which the invention belongs]
The present invention relates to an autofluorescence observation apparatus capable of capturing an image of a body cavity based on autofluorescence emitted from a living body and generating an image showing an abnormal part in a specific color.
[0002]
[Prior art]
It is known that when a living body is irradiated with excitation light having a specific wavelength, fluorescence is emitted from the living body (this fluorescence is called “autofluorescence”). Furthermore, as shown in the spectrum of FIG. 6, the intensity of autofluorescence (especially the intensity of the green light region) is lower when it is generated from a living tissue (tumor, cancer) than from normal tissue. It is also known that when expressed as an image, a lesion site containing a lesion tissue is displayed darker than a normal site consisting only of normal tissue. In FIG. 6, the spectrum of autofluorescence emitted from each tissue is normalized by setting the fluorescence intensity of the wavelength component indicating the maximum fluorescence intensity in autofluorescence from normal tissue to “1”.
[0003]
Based on such knowledge, there has been proposed an autofluorescence observation apparatus that images autofluorescence of a living body through an endoscope and displays an autofluorescence image used for diagnosis of whether the living body is normal or abnormal. ing. For example, it is described in the following patent document 1 and patent document 2.
[0004]
By the way, due to the reasons described above, the lesion site in the living body is dark in the image captured by the image sensor because the intensity of the generated fluorescence is low. The part where the excitation light does not reach is also dark in the same image because it cannot emit fluorescence. However, since the latter portion should not be detected as a lesion site, it must be identified from the lesion site.
[0005]
For this purpose, the illumination light (reference light), which is visible light, is irradiated on the same living body immediately before or immediately after irradiating the living body with excitation light and capturing an image by autofluorescence, and the latter image is captured. In the former, only the dark part in the former was specified as indicating the lesion site, and the latter was shown in a specific color in the color image.
[0006]
However, since the level of autofluorescence is much weaker than the reflected light of the illumination light, the raw video signals output from the image sensor cannot be compared. Therefore, it is necessary to normalize the luminance value of each pixel in each video signal by distributing it within a scale in which the peak value is “1” and the minimum value is “0”. After normalization in this way, the ratio of the latter luminance value to the former luminance value is calculated, and only the part composed of pixels whose calculated ratio is darker than the predetermined ratio is specified as a lesion site. In this way, the brightest part in the normal part takes “1” in both video signals, and the other part in the normal part takes almost the same value in both video signals. Only the site is specified.
[0007]
[Patent Document 1]
Special table 2002-535025 gazette
[Patent Document 2]
JP 2003-36436 A
[0008]
[Problems to be solved by the invention]
However, when the tip of the endoscope is too close to the lesioned part, the lesioned part is reflected in the entire image captured by the image sensor. As a result, in the video signal obtained by imaging the autofluorescence, the luminance value of the pixel corresponding to the abnormal part has a peak, and this is the video signal obtained by imaging the reflected light of the illumination light. Compared with (normalized video signal), both levels are almost the same. As a result, the lesioned part cannot be specified properly, and the lesioned part cannot be displayed in a specific color in the color image.
[0009]
The problem of the present invention is that even if a normal part is temporarily not included in an image, a lesioned part can be appropriately identified by comparing an image signal based on autofluorescence with an image signal based on reflected light of illumination light. It is to provide an autofluorescence observation device that can be normalized to the level.
[0010]
[Means for Solving the Problems]
The present invention employs the following configuration in order to solve the above problems. That is, the autofluorescence observation apparatus according to the present invention includes an illumination device that alternately irradiates a test object with reference light and excitation light, and the reference light of the test object that is alternately irradiated with the reference light and excitation light. An imaging device that captures an image by reflected light and an image by autofluorescence generated by the excitation light and outputs a video signal, an operation member to which an instruction signal is input, and the reference light to the test object by the illumination device A video signal output by the imaging device while the excitation light is irradiated on the test object by the illuminating device, using the video signal output by the imaging device as a reference light video signal while When the instruction signal is input through the operation member and the video signal acquisition unit that alternately acquires a signal as an autofluorescence video signal, the autofluorescence video signal acquired by the video signal acquisition unit The first normalization process is performed to normalize the luminance value of each pixel constituting the pixel so that the luminance value is distributed in the same luminance value range as the luminance signal in the reference light video signal, and the peak of the luminance value before normalization is performed. A ratio of the normalized maximum value to a value is stored as a first amplification degree, and thereafter each time a set of the reference light video signal and the autofluorescence video signal is acquired by the video signal acquisition means, The first normalization process is performed on the luminance value of each pixel constituting the fluorescent video signal, and the ratio of the maximum value after normalization to the peak value of the luminance value before normalization is calculated as the second amplification degree. When the second amplification degree is equal to or higher than the first amplification degree, a second normalization process for multiplying the luminance value of each pixel constituting the autofluorescence video signal by the first amplification degree is performed. To do The normalization means to renormalize, and for each pixel, the luminance value indicated by the luminance signal in the reference light image signal of each set after normalization is compared with the luminance value constituting the autofluorescence signal, If the latter ratio with respect to the former is above a predetermined threshold, the reference light video signal acquired by the video signal acquisition means is output for the pixel, and if the latter ratio with respect to the former is below a predetermined threshold, Comparing means for outputting a video signal corresponding to a predetermined color for the pixel, and display means for displaying an image for one screen based on the video signal for all pixels output by the comparing means It is characterized by.
[0011]
With this configuration, when an instruction signal is input through the operation member by the operator when a part of the subject that is surely a normal part is imaged by the imaging device, an image is displayed immediately after that. For the autofluorescence video signal acquired by the signal acquisition means, a first value for distributing the luminance value of each pixel constituting the autofluorescence video signal in the same luminance value range as the luminance signal in the reference light video signal. Normalization processing is performed, and the ratio of the normalized luminance value to the peak value of the luminance value before normalization is calculated. In this case, since it is certain that the peak value is the luminance value of the pixel corresponding to the normal site in the subject, this ratio is stored as the first amplification degree.
[0012]
Thereafter, each time the video signal acquisition means acquires a set of the reference light video signal and the autofluorescence video signal, the luminance value of each pixel constituting the autofluorescence video signal is compared with the reference light video signal of the same set. A first normalization process is performed in order to distribute in the same luminance value range as the luminance signal, and the ratio of the normalized luminance value to the peak value of the luminance value before normalization is calculated as the second amplification degree. The second amplification degree is compared with the first amplification degree. If the second amplification degree falls below the first amplification degree, the peak value in the processed autofluorescence video signal may be the luminance value of a pixel corresponding to a normal part where the intensity of autofluorescence is relatively high. Since it is certain, the autofluorescence video signal normalized by the first normalization process becomes a comparison target by the comparison means. In this case, in the normal part, the luminance value constituting the autofluorescence video signal through the first normalization is substantially the same level as the luminance value of the luminance signal in the reference light video signal. A reference light image signal for display is output, and in an abnormal part, the luminance value constituting the autofluorescence image signal through the first normalization is lower than the luminance value of the luminance signal in the reference light image signal. Then, a video signal of a specific color indicating a lesion site is output and displayed as a video image for one screen by the display means.
[0013]
On the other hand, if the second amplification degree is higher than the first amplification degree, the peak value in the processed autofluorescence video signal may be a luminance value of a pixel corresponding to a lesion site where the intensity of autofluorescence is relatively weak. Since it is certain, a second normalization process is performed by multiplying the luminance value of each pixel constituting the autofluorescence video signal before normalization by the first amplification degree, and normalized by the second normalization process. The autofluorescence video signal is a comparison target by the comparison means. In this case, since the luminance value constituting the autofluorescent video signal through the second normalization is lower than the luminance value of the luminance signal in the reference light video signal in the entire video, the identification indicating that it is a lesion site A color video signal is output and displayed as one screen of video by the display means.
[0014]
In the present invention, the normalizing means may perform normalization processing only on the autofluorescent video signal without normalizing the luminance signal in the reference light video signal, or the luminance signal in the reference light video signal Is normalized so that the luminance value is distributed in a predetermined luminance range of a predetermined scale, and the first normal value is distributed so that the luminance value is distributed in the same luminance range of the same scale with respect to the self-fluorescent video signal. Processing may be executed.
[0015]
In the present invention, the reference light video signal may be a monochrome signal or a color image signal. In the former case, the reference light video signal itself is a luminance signal, and in the latter case, a signal indicating the luminance value for each pixel extracted from the color image signal is the luminance signal. In the former case, the display means may display the reference light video signal in a color different from the color of the predetermined color video signal.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an autofluorescence observation apparatus according to the present invention will be described below with reference to the drawings.
[Configuration of electronic endoscope device]
FIG. 1 is a schematic configuration diagram of an autofluorescence observation apparatus 10 according to the present embodiment. In FIG. 1, an autofluorescence observation apparatus 10 includes an electronic endoscope 11 that is a kind of endoscope, a light source device 12 connected to the electronic endoscope 11, and a monitor 15 connected to the light source device 12. And is composed of. Hereinafter, each of these devices will be described individually.
[0017]
The electronic endoscope 11 is schematically shown in FIG. 1 to show its internal configuration, but actually has an external shape shown in FIG. That is, the electronic endoscope 11 extends from the side of the operation unit 111, the body cavity insertion unit 110 to be inserted into the body cavity of the subject, the operation unit 111 attached to the proximal end of the body cavity insertion unit 110. The light guide flexible tube 112 and the connector 113 attached to the tip of the light guide flexible tube 112 are configured.
[0018]
As shown in FIG. 1, at least two through holes are formed in the distal end of the body cavity insertion portion 11, one of which is a light distribution lens 1102 made of a negative lens, and the other has positive power. An objective optical system 1103 that is a lens group is fitted in each. In the body cavity insertion portion 11, an image sensor (color CCD) 1104 that captures a real image of the test object at a position separated by a predetermined working distance in front of the objective optical system 1103 by the objective optical system 1103, Has been placed. The objective optical system 1103 and the imaging element 1104 correspond to an imaging device.
[0019]
A sensor 1107 for detecting whether or not an attachment (not shown) is attached is embedded in the outer peripheral surface in the vicinity of the distal end of the body cavity insertion portion 110.
[0020]
In addition, the distal end portion of the body cavity insertion portion 110 (the location where the image sensor 1104 is accommodated) is formed of a hard member, but the portion closer to the operation portion 111 than that has a flexible structure. Have. Furthermore, a range of a predetermined length on the distal end side of the flexible portion incorporates a number of segments that are tiltably connected to each other about an axis orthogonal to the central axis of the body cavity insertion portion 110. It is configured as a bending portion.
[0021]
In the operation unit 111, a plurality of (2 or 4) wires having their tips attached to the foremost segment of the bending portion are selectively drawn to bend the bending portion in an arbitrary direction at an arbitrary angle. A pulley (not shown) is built in, and an angler 1111 attached coaxially to the pulley is attached to the side surface. Further, on the other side surface of the operation unit 111 (side surface adjacent to the side surface to which the angle knob 1111 is attached), a number of buttons including those for inputting various instruction signals to the light source device 12 described later are provided. It is attached. One of them is an operation switch 1112 as an operation member that is pressed to register an “amplification degree (Kref)” in a fluorescence observation mode to be described later and to which an instruction signal is input.
[0022]
As described later, white illumination light and excitation light introduced by the light source device 12 are introduced into the conduit from the distal end of the body cavity insertion portion 110 to the connector 113 via the operation portion 111 and the light guide flexible tube 112. A light guide fiber bundle (hereinafter referred to as “light guide”) 1101 for guiding, and a control signal (hereinafter collectively referred to as “image sensor control signal”) such as a drive power source and a readout signal to the image sensor 1104 Control signal line 1105, video signal output from the image sensor 1104 (analog signal representing the luminance value of each RGB color for each pixel), various video signal lines 1106 for transmitting the light source device 12 to the light source device 12, sensors 1107, and operation switches 1112 Each signal line is routed. Note that the exit end of the light guide 1101 is at a position where illumination light emitted from the light guide 1101 is diverged through the light distribution lens 1102 at a light distribution angle slightly larger than the angle of view by the objective optical system 1103 and the image sensor 1104. It has been fixed.
[0023]
The connector 113 further includes a driver 1133 that supplies an image sensor control signal to the image sensor 1104 via the control signal line 1105 and a ROM 1134 that holds data relating to characteristics of the electronic endoscope 11. Has been. Further, from the front end surface of the connector 113, a light guide tube 1131 made of a metal tube into which the incident end of the light guide 1101 is inserted and fixed, and an electric connector 1132 incorporating various electrodes protrude vertically. ing. Various electrodes included in the electrical connector 1132 are electrically connected to the video signal line 1106, the signal line connected to the sensor 1107, the signal line connected to the operation switch 1112 and the ROM 1134 and the driver 1133, respectively.
[0024]
On the side surface of the housing of the light source device 12, a connector receiver (not shown) into which the tip of the connector 113 of the electronic endoscope 11 is fitted is formed. In the connector receptacle, there are a socket made up of a large number of electrodes that come into contact with various electrodes in the electrical connector 1132 when the connector 113 is mounted on the connector receptacle, and a holding hole into which the light guide tube 1131 is inserted. , Provided.
[0025]
In the light source device 12, a first-stage video signal processing circuit 120, a video signal processing circuit 121 connected to the first-stage video signal processing circuit 120, a rear-stage video signal processing circuit 123 connected to the video signal processing circuit 121, and the like A timing generation circuit 124 connected to the first-stage video signal processing circuit 120, the video signal processing circuit 121 and the subsequent-stage video signal processing circuit 122, respectively, a system control circuit 125 and a first motor 128 further connected to the timing generation circuit 124, and a system The cutting circuit 126, the second motor 129, the position detection sensor 131, the angle detection sensor 133, and the lamp 127 further connected to the control circuit 125 are configured as main circuit components.
[0026]
When the connector 113 is attached to the connector receiver of the light source device, the image sensor 1104 is connected to the first-stage video signal circuit 120 through the video signal line 1106, and the operation switch 1112 is connected to the system control circuit 125, and the sensor 1107 is connected to the disconnection circuit 126, the ROM 1134 is connected to the system control circuit 125, and the driver 1133 is connected to the timing generation circuit 124. In this state, the light guide tube 1131 is disposed coaxially with the optical path of the light (white illumination light, excitation light) emitted from the lamp 127.
[0027]
The cutting circuit 126 is a circuit for instructing the system control circuit 125 to switch the operation mode (normal observation mode or fluorescence observation mode) of the light source device 12, and the state of the foot switch (not shown) or the detection result of the attachment by the sensor 1107. The operation mode is switched according to the above.
[0028]
The system control circuit 125 turns on the lamp 127, reads the characteristics of the electronic endoscope 12 attached to the light source device 12 from the ROM 1134, and in the operation cycle corresponding to the characteristics, the current operation mode (normal observation) The timing generation circuit 124 is instructed to operate each block (first stage video signal processing circuit 120, video signal processing circuit 121, rear stage video signal processing circuit 123, first motor 128, driver 1133) in accordance with the mode or fluorescence observation mode). input.
[0029]
The first motor 128 is fixed on the moving table 132 with its drive shaft directed in a direction parallel to the optical path of the light emitted from the lamp 127. The moving table 132 is driven by the second motor 129 and is moved to the first position close to the optical path of the light emitted from the lamp 127 in the fluorescence observation mode and to the second position separated from the optical path in the normal observation mode. To the position, the first motor 128 is moved in a direction perpendicular to this optical path. The position of the first motor 128 moved by the second motor 129 and the moving table 132 is detected by the position detection sensor 131 and fed back to the system control circuit 125.
[0030]
On the other hand, at the tip of the drive shaft of the first motor 128, when the first motor 128 is in the first position, the light enters the light path from the lamp 127 and the motor 128 is in the second position. A disk-shaped rotary filter 130 having an outer diameter that can be retracted from the optical path when it is attached is fixed. As shown in the front view of FIG. 3, when the first motor 128 is in the first position, the center of the optical path relatively passes through the rotary filter 130 as the rotary filter 130 rotates. An arcuate slit 130a having a central angle of about 270 degrees is formed along the locus. An excitation light transmission filter 134 that transmits only a component of 400 nm to 450 nm in the light emitted from the lamp 127 is provided in a portion of the slit 130 a that is 2/3 in the circumferential direction (that is, a portion having a central angle of 180 degrees). , Have been fitted. Further, the remaining 1/3 portion of the slit 130a (that is, the portion having a central angle of 90 degrees) has all the wavelength components of light emitted from the lamp 127 (that is, white illumination light that is reference light in the visible band). A full-wavelength transmission filter 135 that transmits light is inserted. Accordingly, in the fluorescence observation mode, the first motor 128 is rotated by the timing generation circuit 124, and the excitation light is incident on the light guide 1101 only during a period during which the rotary filter 130 rotates once. White illumination light is incident on the light guide 1101 only during the / 4 period, and no light is incident on the light guide 1101 during the remaining ¼ period. The rotation angle of the rotation filter 130 (that is, which filter 134, 135 is inserted in the optical path) is detected by an angle detection sensor 133 attached to the base end of the rotation shaft of the first motor 128, and Feedback is provided to the system control circuit 125. The system control circuit 125, the lamp 127, the timing generation circuit 124, the first motor 128, the rotary filter 130, the light guide 1101, and the light distribution lens 1102 correspond to an illumination device.
[0031]
The first-stage video signal processing circuit 120 receives R (red), G (green), and R (input) from the image sensor 1104 through the image signal line 1106 while the timing generation circuit 124 is instructed to operate in the normal observation mode. The format of the analog luminance signal for each color of B (blue) is converted into a digital signal, subjected to processing such as white balance correction and RGB-Y / C signal conversion, and output. In addition, while the first-stage video signal processing circuit 120 is instructed to operate in the fluorescence observation mode from the timing generation circuit 124, the period in which the white illumination light is introduced into the light guide 1101 and is irradiated on the test object. In the inside, it operates in the same manner as in the normal observation mode described above, acquires the video signal from the image sensor 1104 as an odd field video signal (reference light video signal), and the excitation light is introduced into the light guide 1101. During the period in which the test object is irradiated, the G (green) analog luminance signal constituting the video signal input from the image sensor 1104 through the video signal line 1106 is converted into a digital signal, and an even number is converted. Acquired as a field video signal (autofluorescence video signal). The video signal acquired by the processing in the first stage video signal processing circuit 120 is input to the video signal processing circuit 121.
[0032]
In addition to a large number of image memories, the video signal processing circuit 121 includes an odd-numbered field video signal input from the first-stage video signal processing circuit 120 while the timing generation circuit 124 is instructed to operate in the fluorescence observation mode. The luminance signal (Y) of the image signal has a peak value of “1”, a minimum value of “0”, and an intermediate value corresponding to a ratio to the peak value within a scale of 0 to 1. The reference light normalization circuit 1210 for normalizing the video signal of the even field (hereinafter referred to as “autofluorescent video signal”), and the peak value (the peak value of the reference light video signal) Luminance value of the same pixel) is “1”, its lowest value is “0”, and the intermediate value is normalized so that it takes a value corresponding to the ratio to the peak value; Video Signal normalized by the autofluorescence normalization circuit 1211 and the two normalization circuits 1210 and 1211 for executing a second normalization process to normalize the signal by multiplying the signal by a first amplification degree (Kref) described later. A comparison circuit 1212 that compares the ratio (pixel ratio) of each pixel is included. The reference light normalization circuit 1210 and the autofluorescence normalization circuit 1211 correspond to normalization means, and the comparison circuit 1212 corresponds to comparison means.
[0033]
While the video signal processing circuit 121 is instructed to operate in the normal observation mode from the timing generation circuit 124, the video signal input from the first-stage video signal processing circuit 120 is used as it is as the subsequent-stage video signal processing circuit 123. To communicate.
[0034]
On the other hand, while the timing generation circuit 124 is instructed to operate in the fluorescence observation mode, the video signal post-stage video processing circuit 121 uses the autofluorescence normalization circuit 1211 if the operation switch 1112 is turned on. The autofluorescence video signal input from the pre-stage video signal processing circuit 120 is normalized by executing the first normalization process, and the ratio of the normalized value (1) to the peak value before the normalization is calculated. The first amplification degree “Kref” is stored in the image memory. Thereafter, when the operation switch 1112 is turned off, the reference light normalization circuit 1210 is used to normalize the reference light video signal input from the first stage video signal processing circuit 124 and the autofluorescence normalization circuit 1211 is used. Then, the autofluorescence video signal continuously input from the first stage video signal processing circuit 124 is normalized by executing the first normalization process. However, if the ratio “K” (second amplification factor) of the value (1) after normalization to the peak value before normalization in the autofluorescence normalization circuit 1211 is equal to or greater than “Kref”, the autofluorescence video signal Is renormalized by executing a second normalization process that multiplies the luminance values of all the pixels by “Kref”. Then, for each pixel, the comparison circuit 1212 is used to calculate the ratio of the autofluorescence video signal to the normalized reference light video signal (pixel ratio). If the pixel ratio is less than a predetermined threshold, the normalization is performed. A reference light video signal is output, and if the pixel ratio is equal to or greater than a predetermined threshold, a video signal (pseudo color video signal) corresponding to a predetermined color (for example, blue) is output.
[0035]
The post-stage video signal processing circuit 123 converts the video signal for one screen sequentially input from the video signal processing circuit 121 into a video signal in accordance with the NTSC format as a YCC color signal, and outputs it to the monitor 15. To do. The monitor 15 displays an image based on the video signal input from the post-stage video signal processing circuit 123. The latter-stage video signal processing circuit 123 and the monitor 15 correspond to display means.
[0036]
Next, the operation in the fluorescence mode of the video signal processing circuit 121 whose outline operation has been described above will be described based on the flowcharts of FIGS. When operating in the fluorescent mode, the video signal processing circuit 121 checks whether or not the operation switch 1112 is turned on based on the input signal from the timing circuit 124 instructed by the system control 125 in S001. . When the operation switch 1112 is turned on, the video signal processing circuit 121 executes a Kref storage process.
[0037]
FIG. 5 is a flowchart showing the Kref storage processing subroutine executed in S002. In the first step S101 after entering this subroutine, the video signal processing circuit 121 checks whether the timing instructed from the timing generation circuit 124 is an even field or an odd field. If the field is an even field, the video signal processing circuit 121 waits for an odd field to be specified. If the field is an odd field, the video signal processing circuit 121 advances the process to S102.
[0038]
In S102, the video signal processing circuit 121 takes in the reference light video signal input from the first-stage video signal processing circuit 120.
[0039]
In next step S103, the video signal processing circuit 121 performs reverse correction of video gamma on the captured reference light video signal and processes it as a linear signal.
[0040]
In the next S104, the video signal processing circuit 121 extracts a luminance signal (Y) from the reference light video signal after the processing in S103, and creates a histogram of luminance values.
[0041]
In the next step S105, the video signal processing circuit 121 determines that the maximum luminance value in the histogram created in S104 is “1”, the minimum luminance value is “0”, and the intermediate luminance value is in accordance with the ratio of the maximum luminance value. The luminance signal (Y) in the reference light video signal is normalized so as to take a value (0 to 1).
[0042]
In the next S 106, the video signal processing circuit 121 waits for the even-numbered field to be designated from the timing generation circuit 124 and then captures the autofluorescence video signal from the first-stage video signal processing circuit 120.
[0043]
In next step S107, the video signal processing circuit 121 performs reverse correction of video gamma on the captured autofluorescent video signal.
[0044]
In the next S108, the video signal processing circuit 121 sets the luminance value (peak value) of the same pixel as the pixel having the maximum luminance value in the reference light video signal to “1” and the minimum luminance value to “0”. The autofluorescence video signal is normalized so that the intermediate luminance value takes a value (0 to 1) corresponding to the ratio with the peak value (first normalization process). At this time, the ratio of the value “1” after normalization to the peak value before normalization (first amplification degree) is stored in the image memory as Kref.
[0045]
In the next step S109, the video signal processing circuit 121 determines the pixel ratio (= normalized home) for each pixel (individual pixels having the same coordinate value in the luminance signal of the home fluorescent video signal and the reference light video signal). The value in the fluorescent image signal / the value in the luminance signal of the normalized reference light image data) is calculated. When this pixel ratio is calculated for all the pixels, the video signal processing circuit 121 next performs loop processing of S110 to S114 for outputting either the reference light video signal or the pseudo color image signal of the specific color for each pixel. Is executed.
[0046]
In the first S110 after entering this loop, the video signal processing circuit 121 specifies one pixel to be checked in the scanning order.
[0047]
In next S111, it is checked whether or not the pixel ratio calculated in S109 is smaller than a predetermined threshold for the check target pixel specified in S110. If the pixel ratio is smaller than the predetermined threshold value, the video signal processing circuit 121, in S112, indicates the reference light video signal (normalized) for the check target pixel to indicate that the check target pixel corresponds to a normal part. (Including the previous luminance signal) is output to the post-stage video processing circuit 123 (the post-stage video signal processing circuit 123 performs predetermined image processing on the received reference light video signal, and then the pixel to be checked. Display on monitor 15). On the other hand, if the pixel ratio is smaller than the predetermined value, the video signal processing circuit 121 uses the pseudo color video signal for one pixel in the subsequent stage video processing to indicate that the check target pixel corresponds to the lesion site in S113. (The post-stage video signal processing circuit 123 performs predetermined image processing on the received pseudo color video signal and displays it on the monitor 15 as the check target pixel).
[0048]
When S112 or S113 is completed, the video signal processing circuit 121 checks in S114 whether or not the processing of S112 or S113 has been executed for all pixels. If the processing of S112 or S113 has not yet been completed for all the pixels, the video signal processing circuit 121 returns the processing to S110. On the other hand, when the execution of the processing of S112 or S113 is completed for all the pixels, the video signal processing circuit 121 ends this Kref storage processing and returns the processing to the main routine of FIG.
[0049]
At this time, an image of the subject is displayed on the monitor 15, but if the normal part is included in the image in accordance with the contents of the Kref storage processing subroutine described above, only the lesioned part is displayed in a specific color. Although the displayed pseudo color image is displayed, when the lesion is reflected in the entire video, the pseudo color image is not included at all. Therefore, if the surgeon is imaging only a part that is clearly known to be a normal part and the pseudo-color image is not included in the image displayed on the monitor 15, the operation switch Release your finger from 1112. Alternatively, if a region including a part that is clearly known to be an abnormal part is being imaged and a pseudo color image is included in the image displayed on the monitor 15, the operation switch 1112 Release your finger. In other cases, the surgeon holds down the operation switch 1112 on the assumption that the correct Kref has not yet been stored.
[0050]
In the main routine of FIG. 4 in which the process is returned, the video signal processing circuit 121 returns the process to S001 after completion of S002, and checks whether or not the operation switch 1112 is turned off. If the operation switch 1112 is still on, the process proceeds to S002 to re-execute the Kref storage process. If the operation switch 1112 is off, the process proceeds to S003.
[0051]
In S003, the video signal processing circuit 121 checks whether the timing instructed from the timing generation circuit 124 is an even field or an odd field. If the field is an even field, the video signal processing circuit 121 waits for an odd field to be specified. If the field is an odd field, the video signal processing circuit 121 advances the process to S004.
[0052]
In S004 to S009, the video signal processing circuit 121 executes the same processing as S102 to S107 in FIG.
[0053]
In the next S010, the video signal processing circuit 121 sets the luminance value (peak value) of the same pixel as the pixel having the maximum luminance value in the reference light video signal to “1” and the minimum luminance value to “0”. The autofluorescence video signal is normalized so that the intermediate luminance value takes a value (0 to 1) corresponding to the ratio with the peak value (first normalization process). At this time, the ratio (second amplification degree) of the value “1” after normalization to the peak value before normalization (second amplification degree) is stored as K in the image memory.
[0054]
In next S011, the video signal processing circuit 121 checks whether or not the second amplification degree K calculated in S010 is smaller than the first amplification degree Kref stored in the image memory in S002. If K is smaller than Kref, the video signal processing circuit 121 advances the process to S013. On the other hand, if K is equal to or greater than Kref, the normal part is not shown in the video, and thus the pixel value of the pixel indicating the lesioned part in the autofluorescence video signal is normalized to “1”. In this case, the video signal processing circuit 121 renormalizes the autofluorescence video signal by multiplying the autofluorescence video signal (before normalization) by the luminance value of each pixel by Kref (second normalization processing). . When S012 is completed, the video signal processing circuit 121 advances the process to S013.
[0055]
In S013 to S018, the video signal processing circuit 121 executes the same processing as S109 to S114 in FIG. If it is determined in S018 that the process of S016 or S017 has been completed for all pixels, the video signal processing circuit 121 returns the process to S001. In the video displayed on the monitor 15 at this time, the normal part is almost certainly displayed as a normal color image (reference light image), and the lesion part is almost certainly displayed as a pseudo color image. In addition, when the lesion part is largely reflected in the entire image, it is automatically determined according to the Kref calculated in advance based on the luminance signal in the reference light image data and the luminance value in the autofluorescence image data in the normal part. Since the autofluorescence image signal is renormalized, the luminance value of the autofluorescence image data in the lesion is surely lower than the luminance value of the luminance signal of the reference light image data. Is displayed as a pseudo color image.
[0056]
The surgeon who sees the video displayed on the monitor 15 presses the operation switch 1112 again when determining that the lesion site is not correctly displayed. Then, Kref is newly set again.
[0057]
In the embodiment described above, the electronic endoscope 11 is used as an endoscope. However, instead of the electronic endoscope, a combination of a fiberscope and a television camera attached to the eyepiece thereof is used. It may be used. In the above embodiment, both the reference light and the excitation light are guided through the light guide 1101, but the excitation light may be guided through a dedicated fiber probe inserted into the forceps channel of the endoscope.
[0058]
【The invention's effect】
According to the autofluorescence observation apparatus according to the present invention configured as described above, an image signal based on autofluorescence is converted into an image signal based on reflected light of illumination light even if a normal part is temporarily not included in the image. Can be normalized to a level that can appropriately identify the lesion.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an autofluorescence observation apparatus according to an embodiment of the present invention.
FIG. 2 is an external view of an electronic endoscope.
FIG. 3 is a front view of a rotary filter.
FIG. 4 is a flowchart showing the operation of the video signal processing circuit in the fluorescence observation mode.
FIG. 5 is a flowchart showing the contents of a Kref storage processing subroutine executed in S002 of FIG.
FIG. 6 is a grab showing autofluorescence spectra from normal and diseased tissues.
[Explanation of symbols]
10 Autofluorescence observation device
11 Electronic endoscope
12 Light source device
15 Monitor
120 First-stage video signal processing circuit
121 Video signal processing circuit
127 lamp
128 1st motor
130 Rotating filter
1101 Light Guide
1102 Light distribution lens
1103 Objective lens
1104 Image sensor
1210 Reference beam normalization circuit
1211 Autofluorescence normalization circuit
1212 Comparison circuit

Claims

An illumination device that alternately irradiates the test object with reference light and excitation light;
An imaging device that captures an image of reflected light of the reference light and an image of autofluorescence generated by the excitation light of the object irradiated with the reference light and the excitation light alternately, and outputs a video signal;
An operation member to which an instruction signal is input;
The video signal output by the imaging device while the reference light is applied to the test object by the illumination device is used as a reference light video signal, and the test light is applied to the test object by the illumination device. Video signal acquisition means for alternately acquiring the video signal output by the imaging device as an autofluorescence video signal,
When an instruction signal is input through the operation member, the luminance value of each pixel constituting the autofluorescence video signal acquired by the video signal acquisition means is within the same luminance value range as the luminance signal in the reference light video signal And a ratio of the maximum value after normalization to the peak value of the luminance value before normalization is stored as a first amplification degree, and then the video Each time a set of the reference light video signal and the autofluorescence video signal is acquired by the signal acquisition means, the first normalization process is performed on the luminance value of each pixel constituting the autofluorescence video signal. When the ratio of the maximum value after normalization to the peak value of the luminance value before normalization is calculated as the second amplification degree, and the second amplification degree is equal to or higher than the first amplification degree, A normalizing means for re-normalized by performing a second normalization processing for multiplying said first amplification level to the luminance value of each pixel of the the free-house fluorescence image signal,
For each pixel, the luminance value indicated by the luminance signal in each set of the reference light image signals after normalization is compared with the luminance value constituting the autofluorescent signal, and the ratio of the latter to the former exceeds a predetermined threshold. If so, the reference light video signal acquired by the video signal acquisition means is output for the pixel, and if the latter ratio with respect to the former is below a predetermined threshold, the video corresponding to the predetermined color for the pixel A comparison means for outputting a signal;
An autofluorescence observation apparatus comprising: display means for displaying an image for one screen based on the image signal for all pixels output by the comparison means.

2. The autofluorescence observation apparatus according to claim 1, wherein the reference light video signal is a color video signal, and the luminance signal is a signal indicating a luminance value for each pixel extracted from the color video signal. .

Each time the normalization means acquires the reference light video signal and the autofluorescence video signal by the video signal acquisition means, the peak value of the luminance signal in the reference light video signal is the highest value in a predetermined scale. Normalization so that the lowest luminance value takes the lowest value in the scale and the intermediate luminance value takes a value in the scale according to the ratio to the peak value, and the autofluorescence video signal is configured. The luminance value of each pixel that corresponds to the peak value is the highest value on the scale, the lowest luminance value is the lowest value on the scale, and the intermediate luminance value corresponds to the peak value. Performing the first normalization process so as to take a value in the scale according to the ratio of the pixel to the luminance value,
The comparison means compares the luminance value indicated by the luminance signal in the normalized reference light video signal with the luminance value constituting the normalized autofluorescent video signal. The autofluorescence observation apparatus according to 1 or 2.

2. The autofluorescence observation apparatus according to claim 1, wherein the video signal corresponding to the predetermined color is a video signal for displaying the predetermined color on the display means.