JP5385176B2 - 画像表示装置の作動方法および画像表示装置 - Google Patents

Description

本発明は、通常光の被観察部への照射によって取得した通常画像と特殊光の被観察部への照射によって取得した特殊画像とに基づいて、被観察部内に含まれる管部分を表す画像を表示する画像表示方法および装置に関するものである。

従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。

また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。

また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。

そして、たとえば、特許文献１に記載の蛍光内視鏡システムにおいては、通常画像と自家蛍光画像とをモニタ上に切り替えて表示することが提案されている。

特開２００５−２０４９０５号公報

ここで、たとえば、上述したようなＩＣＧを用いた血管画像の観察を行う場合、蛍光画像上において、通常画像上には現れない脂肪下の血管まで表示することが可能であるが、蛍光画像はモノクロ画像であり、蛍光画像上では蛍光を発している血管部分しか認識することができないため、蛍光画像を観察しただけでは被観察部のどの位置に血管が存在するのかを正確に把握することができない。

また、特許文献１に記載の蛍光内視鏡システムのように、通常画像と蛍光画像とを切り替えて表示すれば２つの画像を比較することは可能であるが、通常画像と蛍光画像とを同時に比較することができないので、やはり通常画像上のどの位置に血管が存在するのかを正確に判断することができない。また、蛍光画像上における血管画像と通常画像上における血管画像とでは共通部分を有するので、これらを交互に比較観察しただけでは蛍光画像のみに存在する血管部分、すなわち脂肪下に隠れて通常画像上には現われていない血管部分だけを瞬時に判断することは非常に困難である。

また、通常画像と蛍光画像とを同時に表示する方法も考えられるが、たとえ、これらの画像を同時に表示したとしても、観察者は通常画像と蛍光画像とを交互に比較観察する必要があるので、やはり蛍光画像のみに存在する部分を瞬時に判断することは非常に困難であり、観察者の疲労も招くことになる。

さらに、蛍光画像を通常画像上に重畳させて表示することも考えられるが、このような方法を採用したとしても、蛍光画像がそのまま通常画像上に現れるだけであり、蛍光画像の血管画像は、通常画像の血管画像と共通する部分を有するので、やはり蛍光画像上にのみ存在する部分を判断することはできない。

本発明は、上記の問題に鑑みてなされたものであり、通常画像と特殊画像とに基づいて、被観察部内に含まれる管部分を表す画像を表示する画像表示方法および装置において、特殊画像にのみ存在する管部分を瞬時に判断することができる画像表示方法および装置を提供することを目的とする。

本発明の画像表示方法は、通常光の被観察部への照射によって被観察部から反射された反射光を受光して撮像された通常画像と、特殊光の被観察部への照射によって被観察部から発せられた光を受光して撮像された特殊画像とを取得し、その取得した通常画像および特殊画像から、被観察部に含まれる管部分を表す画像をそれぞれ抽出し、その抽出した特殊画像の管部分を表す画像から通常画像の管部分を表す画像を差し引く演算処理を行い、その演算処理の演算結果に基づいて、特殊画像の管部分を表す画像にのみ存在する部分と特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分とを異なる表示態様で表示することを特徴とする。

また、上記本発明の画像表示方法においては、特殊画像の管部分を表す画像にのみ存在する部分の画像信号に対し、その部分の輝度が周期的に変化するような変調処理を施すようにすることができる。

また、上記変調処理の施された部分と通常画像とを合成した合成画像を表示するようにすることができる。

本発明の画像表示装置は、通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を受光して通常画像を撮像するとともに、特殊光の照射によって被観察部から発せられた光を受光して特殊画像を撮像する撮像部と、撮像部によって撮像された通常画像および特殊画像から、被観察部に含まれる管部分を表す画像をそれぞれ抽出する管画像抽出部と、管画像抽出部によって抽出された特殊画像の管部分を表す画像から通常画像の管部分を表す画像を差し引く演算処理部と、演算処理部における演算結果に基づいて、特殊画像の管部分を表す画像にのみ存在する部分と特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分とを異なる表示態様で表示する表示部とを備えたことを特徴とする。

ここで、上記「異なる表示態様で表示する」とは、一方の部分を表示し、他方の部分を非表示とする態様も含むものとする。

また、上記本発明の画像表示装置においては、表示部を、特殊画像の管部分を表す画像にのみに存在する部分のみを表示するものとすることができる。

また、表示部を、特殊画像の管部分を表す画像にのみに存在する部分のみを表示する第１の表示態様と、特殊画像の管部分を表す画像にのみに存在する部分と上記共通部分との両方を表示する第２の表示態様とを切り替えて表示可能なものとすることができる。

また、表示部を、特殊画像の管部分を表す画像にのみに存在する部分の両端部のうちの、特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分側の端部からその端部と反対側の端部へ向かう方向を示す画像を表示するものとすることができる。

また、表示部を、特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分の両端部のうちの、特殊画像の管部分を表す画像にのみに存在する部分側の端部からその端部と反対側の端部へ向かう方向を示す画像を表示するものとすることができる。

また、特殊画像の管部分を表す画像にのみ存在する部分の画像信号に対し、その部分の輝度が周期的に変化するような変調処理を施す変調処理部をさらに設け、表示部を、特殊画像の管部分を表す画像にのみ存在する部分を強弱表示するものとすることができる。

また、変調処理の施された部分と通常画像とを合成した合成画像を生成する合成画像生成部をさらに設け、表示部を、その合成画像を表示するものとすることができる。

本発明の画像表示方法および装置によれば、通常画像および特殊画像から被観察部に含まれる管部分を表す画像をそれぞれ抽出し、その抽出した特殊画像の管部分を表す画像から通常画像の管部分を表す画像を差し引く演算処理を行い、その演算処理の演算結果に基づいて、特殊画像の管部分を表す画像にのみ存在する部分と特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分とを異なる表示態様で表示するようにしたので、たとえば、ＩＣＧを用いた血管画像の観察を行う場合などにおいて、通常画像上には現れず特殊画像上にのみ現れる脂肪下の血管部分を瞬時に判断することができる。

また、特殊画像の管部分を表す画像にのみに存在する部分のみを表示する第１の表示態様と、特殊画像の管部分を表す画像にのみに存在する部分と特殊画像および通常画像の管部分を表す画像の共通部分との両方を表示する第２の表示態様とを切り替えて表示するようにした場合には、第１の表示態様時には特殊画像上にのみ現れる脂肪下の血管部分を瞬時に判断することができ、さらに第２の表示態様時には血管画像全体を観察することができるので、より精度の高い画像診断を行うことができる。

また、特殊画像の管部分を表す画像にのみに存在する部分の両端部のうちの、特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分側の端部からその端部と反対側の端部へ向かう方向を示す画像を表示するようにした場合には、管部分が深部へ延びる方向を瞬時に判断することができる。

また、特殊画像の管部分を表す画像と通常画像の管部分を表す画像との共通部分の両端部のうちの、特殊画像の管部分を表す画像にのみに存在する部分側の端部からその端部と反対側の端部へ向かう方向を示す画像を表示するようにした場合には、管部分が浅部へ延びる方向を瞬時に判断することができる。

また、特殊画像の管部分を表す画像にのみ存在する部分の画像信号に対し、その部分の輝度が周期的に変化するような変調処理を施し、たとえば、その変調処理の施された部分と通常画像とを合成した合成画像を表示するようにした場合には、特殊画像の管部分を表す画像にのみ存在する部分を強弱表示することができるので、強調表示している間は、たとえば、特殊画像上にのみ現れる脂肪下の血管部分を瞬時に判断することができ、弱表示している間は、通常画像の可視情報も認識することができる。

本発明の画像表示装置の一実施形態を用いた腹腔鏡システムの概略構成図 硬質挿入部の概略構成図 撮像ユニットの概略構成図 画像処理装置および光源装置の概略構成を示すブロック図 画像処理部の概略構成を示すブロック図 通常画像、蛍光画像および合成画像を表示する作用を説明するためのフローチャート エッジ検出を用いた線分抽出処理を説明するためのフローチャート 通常画像の一例を示す図 蛍光画像の一例を示す図 通常画像から抽出された血管画像の一例を示す図 蛍光画像から抽出された血管画像の一例を示す図 通常血管画像信号が表す血管画像Ｋ１、蛍光血管画像信号が表す血管画像Ｋ２、深部血管画像信号が表す深部血管画像Ｋ３，Ｋ４の一例を示す図 深さ画像信号Ａ１〜Ａ３が表す深さ方向画像の一例を示す図 合成画像の一例を示す図 深部血管画像を点滅表示させる場合の画像処理部の概略構成を示すブロック図 変調係数の値の一例を示す図 合成画像内の深部血管画像の画像強度変化を示す図 画像処理部の変形例を示すブロック図 通常画像、蛍光画像および合成画像の一例を示す図

以下、図面を参照して本発明の画像表示装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図１は、本実施形態の腹腔鏡システム１の概略構成を示す外観図である。

本実施形態の腹腔鏡システム１は、図１に示すように、白色の通常光および特殊光を同時に射出する光源装置２と、光源装置２から射出された通常光および特殊光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像および蛍光画像を表示するモニタ４とを備えている。

硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。

また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。

接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。

挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。

挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。

照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および特殊光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および特殊光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。

図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。

第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。

第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。

高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。

撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。

また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。

画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。

通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム分の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。

画像処理部３３は、メモリ３４から読み出された１フレーム分の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。

画像処理部３３は、図５に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、入力された通常画像信号と蛍光画像信号に対して、血管を表す画像信号を抽出する処理を施す血管抽出部３３ｃと、蛍光画像信号から抽出された血管を表す画像信号（以下、「蛍光血管画像信号」という）から通常画像信号から抽出された血管を表す画像信号（以下、「通常血管画像信号」という）を差し引く演算処理を行う画像演算部３３ｄと、画像演算部３３ｄの演算処理の結果に基づいて、蛍光血管画像信号にのみ存在する部分の深部血管画像信号と蛍光血管画像信号と通常血管画像信号との共通部分の共通血管画像信号とをそれぞれ生成し、通常画像処理部３３ａから出力された通常画像信号に合成して合成画像信号を生成する画像合成部３３ｅとを備えている。なお、画像処理部３３の各部における処理については、後で詳述する。

ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。

操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。

光源装置２は、図４に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）からの制御信号に基づいてその絞り量が制御される。

また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてＩＣＧ（インドシアニングリーン）を用いた場合には７５０〜７９０ｎｍの近赤外光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光りＬ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。

なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、特殊光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。

また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。

次に、本実施形態の腹腔鏡システムの作用について説明する。

まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。

次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。

そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。

そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。なお、同時に撮像するとは、必ずしも高感度撮像素子２４と撮像素子２６の撮像タイミングが完全に一致している必要はなく、少なくとも一部の撮像タイミングが重複していればよい。また、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。

より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。

撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって撮像される。

撮像素子２６から出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に出力される。

一方、蛍光像の撮像の際には、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。

撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって撮像される。高感度撮像素子２４から出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に出力される。

次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて通常画像、蛍光画像および合成画像を表示する作用について、図４、図５および図６に示すフローチャートを参照しながら説明する。

まず、通常画像および蛍光画像を表示する作用について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される（図６、Ｓ３０）。そして、メモリ３４から読み出された１フレーム分の通常画像信号は、画像処理部３３の通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された後（図６、Ｓ３２，Ｓ３４）、ビデオ出力部３５に出力される。

そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する（図６、Ｓ３６）。図８Ａに、上記のようにして表示された通常画像の一例を示す。

また、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される（図６、Ｓ４０）。そして、メモリ３４から読み出された１フレーム分の蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｂにおいて所定の画像処理が施された後、ビデオ出力部３５に出力される。

そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する（図６、Ｓ４２）。図８Ｂに、上記のようにして表示された蛍光画像の一例を示す。

次に、通常画像信号および蛍光画像信号に基づいて、合成画像を表示する作用について説明する。

上記のようにしてメモリ３４に記憶された通常画像信号および蛍光画像信号は、画像処理部３３の血管抽出部３３ｃに入力される。そして、血管抽出部３３ｃにおいて血管抽出処理が施される（図６、Ｓ５０）。

血管抽出処理は、線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図７に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。

図７に示すように、まず、通常画像信号および蛍光画像信号のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図７、Ｓ１０〜Ｓ１４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。

そして、フィルタ処理済の通常画像信号および蛍光画像信号のそれぞれについて、濃度勾配の大きさと方向が計算される（図７、Ｓ１６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図７、Ｓ１８）。

そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図７、Ｓ２０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図７、Ｓ２２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。

なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。

また、上記の線分抽出処理は、通常画像信号については、通常画像信号のＲ−Ｇ成分またはＲ成分に対して施すことが望ましい。蛍光画像信号については、モノクロなのでそのまま輝度信号に施すことが望ましい。

また、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによって血管抽出を行うようにしたが、これに限らず、血管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。

上記のようにして血管抽出処理を行うことによって、通常画像信号および蛍光画像信号のそれぞれについて通常血管画像信号および蛍光血管画像信号が生成されるが、この通常血管画像信号は、被観察部の表層から深さ１０分の数ｍｍまでに存在する血管画像を表すものとなり、蛍光血管画像信号は、被観察部の表層から深さ数ｍｍ程度までに存在する血管画像を表すものとなる。図９に通常血管画像信号が表す血管画像の一例を、図１０に蛍光血管画像信号が表す血管画像の一例を太実線で示す。

そして、次に、血管抽出部３３ｃにおいて生成された通常血管画像信号と蛍光血管画像信号とが画像演算部３３ｄに出力され、これらの信号に基づいて深部画像生成処理が行われる。具体的には、蛍光血管画像信号から通常血管画像信号が減算されて深部血管画像信号が生成されるとともに、蛍光血管画像信号と通常血管画像信号の共通部分である共通血管画像信号が生成される（図６、Ｓ５２）。なお、深部血管画像信号は、脂肪下の深さ１０分の数ｍｍから深さ数ｍｍまでに存在する血管画像を表すものとなる。

図１１に、通常血管画像信号が表す血管画像Ｋ１，蛍光血管画像信号が表す血管画像Ｋ２、深部血管画像信号が表す深部血管画像Ｋ３，Ｋ４の一例を表す。なお、血管画像Ｋ１は、共通血管画像信号が表す血管画像でもある。

そして、さらに、画像演算部３３ｄにおいては、上記のようにして生成された深部血管画像信号と、共通血管画像信号とに基づいて、深さ画像信号が生成される（図６、Ｓ５４）。

具体的には、深部血管画像信号Ｋ３（Ｋ４）の両端部のうちの、共通血管画像信号Ｋ１側の端部からその端部と反対側の端部へ向かう方向を示す深さ画像信号Ａ２，Ａ３が生成される。また、共通血管画像信号Ｋ１の両端部のうちの、深部血管画像信号Ｋ３（Ｋ４）側の端部からその端部と反対側の端部へ向かう方向を示す深さ画像信号Ａ１が生成される。

図１２に、深さ画像信号Ａ１〜Ａ３が表す画像の一例を示す。なお、本実施形態においては、矢印の画像によって上記方向を表すようにしたが、必ずしも矢印の画像でなくてもよく、たとえば、グラデーション画像など上記方向を示す画像であれば如何なる画像でもよい。また、本実施形態においては、深さ画像信号Ａ１〜Ａ３が、血管が延びる方向および血管の範囲の両方を示すものとしたが、血管が延びる方向を示す画像信号と血管の範囲を示す画像信号をそれぞれ別個に生成し、これらを別個に表示するようにしてもよい。

そして、上記のようにして画像演算部３３ｄにおいて生成された深さ画像信号Ａ１〜Ａ３は、画像合成部３３ｅに出力される。そして、画像合成部３３ｅには、通常画像処理部３３ａから出力された通常画像信号も入力され、この通常画像信号と深さ画像信号Ａ１〜Ａ３が合成されて合成画像信号が生成される（図６、Ｓ５６）。

そして、画像合成部３３ｅにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。

そして、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する（図６、Ｓ５８）。図１３に、合成画像信号に基づいて表示された合成画像の一例を示す。図１３に示すように、深さ画像信号Ａ１と深さ画像信号Ａ２，Ａ３とは、たとえば、互いに異なる色で表示することが望ましい。また、深さ画像信号Ａ１と深さ画像信号Ａ２，Ａ３とで色を変えるのではなく、線分のパターンを変えたりしてもよく、要は、深さ画像信号Ａ１と深さ画像信号Ａ２，Ａ３とが区別がつくような表示態様であれば如何なる表示態様を採用してもよい。

また、上記実施形態においては、深さ画像信号Ａ１と深さ画像信号Ａ２，Ａ３とを同時に表示するようにしたが、これに限らず、たとえば、操作部３６によって切替信号を受け付け、その切替信号に応じて、深さ画像信号Ａ２，Ａ３のみを表示する表示態様と、深さ画像信号Ａ１と深さ画像信号Ａ２，Ａ３との両方を表示する表示態様とを切り替えて表示するようにしてもよい。さらに、深さ画像信号Ａ１のみを表示するようにしてもよい。

また、上記実施形態においては、通常画像信号と深さ画像信号Ａ１〜Ａ３とを合成して合成画像信号を生成するようにしたが、蛍光画像信号と深さ画像信号Ａ１〜Ａ３とを合成して合成画像信号を生成し、その合成画像信号に基づいて合成画像を表示するようにしてもよい。

また、上記実施形態において生成された深部血管画像信号Ｋ３，Ｋ４や深さ画像信号Ａ２，Ａ３（以下、深部血管画像信号等という）に基づいて、深部血管画像を点滅表示させるようにしても良い。具体的には、図１４に示すように、画像処理部３３に対し、セレクタ部３３ｆと複数の係数乗算部３３ｇとからなる変調処理部をさらに設けるようにしてもよい。

セレクタ部３３ｆは、画像演算部３３ｄから出力されたフレーム毎の深部血管画像信号等を各係数乗算部３３ｇにそれぞれ切り替えて出力するものである。

係数乗算部３３ｇは、互いに異なる変調係数ｋ１〜ｋ１０がそれぞれ予め設定されるものであり、その係数ｋｉと入力された各フレームの深部血管画像信号等を掛け合わせた乗算信号を画像合成部３３ｅに出力するものである。

ここで、複数の係数乗算部３３ｇのそれぞれに設定される変調係数ｋｉ（ｉ＝１〜１０）の値の大きさの一例を図１５に示す。図１５に示す変調係数ｋｉは、変調の周期を０．５ｓ、変調係数ｋｉの最大値を０．５とし、下式に基づいて算出されるものである。

ｋｉ＝０．２５×ｓｉｎ｛ｉ／（１０×０．５）×２π｝＋０．２５（ｉ＝１〜１０）
そして、本実施形態においては、蛍光画像信号は１０ｆｐｓのフレームレートで撮像されるものとし、１秒間に撮像された１０枚のフレームの蛍光画像信号に基づいて生成された深部血管画像信号等に対し、それぞれ図１５に示す変調係数ｋ１〜ｋ１０の値が乗算される。

そして、図１５に示す変調係数ｋ１〜ｋ１０が各フレームの深部血管画像信号等に対して順次繰り返して乗算され、その乗算信号が画像合成部３３ｅに順次出力される。

そして、画像合成部３３ｅは、入力された乗算信号と通常画像処理部３３ａから出力された通常画像信号と合成して合成画像信号を生成し、その生成された合成画像信号は、ビデオ出力部３５に出力される。

そして、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力し、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。

ここで、上述したように変調係数ｋｉの変調の周期を０．５ｓに設定した場合における合成画像内の深部血管画像の画像強度の変化を図１６に示す。図１６に示すように、深部血管画像の輝度は０．５ｓの周期で正弦波として変動することになる。

なお、変調係数については、図１５に示すような値に限らず、深部血管画像を見やすくするため、その最大値を適宜変更するなどしてもよい。また、通常画像信号に対しても任意の係数（たとえばＫ＝０．５）をかけて強度を調整するようにしてもよい。

また、上記説明では、図１６に示すように深部血管画像の輝度の強弱の周期が２Ｈｚとなるようにしたが、強弱の周期はこれに限らない。具体的には、視認特性に関する実験を行った結果、照明の点滅は６０Ｈｚ以上の周波数ではほぼ視認されないこと、そして３０Ｈｚ以下の周波数では顕著に視認されるようになることが確認されたので、たとえば、強弱の周期を３０Ｈｚ以下に設定するようにしてもよい。なお、用途などを考慮すると、より好ましくは１Ｈｚ程度である。

また、上記説明においては、深部血管画像のみを点滅表示させるようにしたが、これに限らず、変形例として、たとえば、蛍光画像全体を点滅表示させるようにしてもよい。その場合の画像処理部５０の構成を図１７に示す。この画像処理部５０は、上記実施形態の画像処理部３３とは異なり、深部血管画像信号の生成は行わないものである。

具体的には、図１７に示すように、通常画像処理部５０ａと、蛍光画像処理部５０ｂと、血管抽出部５０ｃと、セレクタ部５０ｄと、係数乗算部５０ｅと、画像合成部５０ｆとを備えたものである。

通常画像処理部５０ａおよび蛍光画像処理部５０ｂは、上記実施形態と同様である。

血管抽出部５０ｃは、血管抽出処理の対象の信号が蛍光画像信号のみであること以外は、その具体的な処理方法は上記実施形態の血管抽出処理部３３ｃと同様である。

セレクタ部５０ｄは、血管抽出部５０ｃから出力されたフレーム毎の蛍光血管画像信号を各係数乗算部５０ｅにそれぞれ切り替えて出力するものである。

係数乗算部５０ｅは、その乗算対象の信号が蛍光血管画像信号であること以外は、上記実施形態の係数乗算部５０ｅと同様である。

画像合成部５０ｆは、係数乗算部５０ｅから出力された乗算信号（蛍光血管画像信号と変調係数とを掛け合わせたもの）と通常画像信号とを合成して合成画像信号を生成し、その合成画像信号をビデオ出力部３５に出力するものである。

そして、この変形例においても、蛍光画像信号は１０ｆｐｓのフレームレートで撮像されるものとし、１秒間に撮像された１０枚のフレームの蛍光画像信号に基づいて生成された蛍光血管画像信号に対し、それぞれ図１５に示す変調係数ｋ１〜ｋ１０の値が乗算される。

そして、図１５に示す変調係数ｋ１〜ｋ１０が各フレームの蛍光血管画像信号に対して順次繰り返して乗算され、その乗算信号が画像合成部５０ｆに順次出力される。

そして、画像合成部５０ｆは、入力された乗算信号と通常画像信号と合成して合成画像信号を生成し、その生成された合成画像信号をビデオ出力部３５に出力する。

そして、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力し、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。

図１８に、モニタ４に表示される通常画像および合成画像の一例を示す。なお、図１８においては、通常画像に現れる部分と蛍光画像に現れる部分（血管部分）とを明確にするために蛍光画像の一例を示しているが、蛍光画像については表示してもしなくてもよい。

そして、図１８には、時間とともに変化する３つの状態の合成画像１〜３を示している。合成画像１〜３に示すように、蛍光画像に現れる部分（血管部分）については、時間とともに濃度が変化し、１秒間に２回の割合で強弱表示される。

なお、この変形例においても、変調係数については、図１５に示すような値に限らず、血管画像を見やすくするため、その最大値を適宜変更するなどしてもよい。また、通常画像信号に対しても任意の係数（たとえば、Ｋ＝０．５）をかけて強度を調整するようにしてもよい。

また、上記実施形態においては、通常光源としてキセノンランプを用いるようにしたが、これに限らず、ＧａＮ系半導体レーザーを用いた高輝度白色光源(商品名：マイクロホワイト、日亜化学工業（株）製)を用いるようにしてもよい。この高輝度白色光源は、波長４４５ｎｍの半導体レーザーから出射する光を，光学レンズを用いて光ファイバーに導光し，蛍光体材料を塗布した光ファイバーのもう一方の端面から，全光束が５０１ｎｍの白色光を放出させるものである。

また、上記実施形態においては、特殊光源としてＬＤ光源を用いるようにしたが、これに限らず、キセノンランプに励起フィルタを付加し、通常光と特殊光とを時系列に照射するようにしてもよい。

また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。

また、上記実施形態においては、血管画像を抽出するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。

また、上記実施形態は、本発明の画像表示装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。

１ 腹腔鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２１ ダイクロイックプリズム
２２ 特殊光カットフィルタ
２４ 高感度撮像素子
２６ 撮像素子
２７ 撮像制御ユニット
３０ 硬質挿入部
３３ 画像処理部
３３ｃ 血管抽出部
３３ｄ 画像演算部
３３ｅ 画像合成部
３５ ビデオ出力部
３６ 操作部
４０ 通常光源
４４ ＬＤ光源

Claims (10)

1. 画像取得部と、管画像抽出部と、演算処理部と、表示部とを備えた画像表示装置の作動方法であって、
   前記画像取得部が、通常光が照射された被観察部から反射された反射光を受光して撮像された通常画像と、励起光が照射された被観察部から発せられた蛍光を受光して撮像された蛍光画像とを取得するものであり、
   前記管画像抽出部が、前記通常画像および前記蛍光画像から、前記被観察部に含まれる管部分を表す画像をそれぞれ抽出し、
   前記演算処理部が、前記蛍光画像の前記管部分を表す画像から前記通常画像の前記管部分を表す画像を差し引き、
   前記表示部が、前記演算処理部における演算結果に基づいて、前記蛍光画像の管部分を表す画像にのみ存在する部分と、前記蛍光画像の管部分を表す画像と前記通常画像の管部分を表す画像との共通部分とを異なる表示態様で表示することを特徴とする画像表示装置の作動方法。
2. 前記画像表示装置が、変調処理部をさらに備え、
   該変調処理部が、前記蛍光画像の管部分を表す画像にのみ存在する部分の画像信号に対し、該部分の輝度が周期的に変化するような変調処理を施し、
   前記表示部が、前記蛍光画像の管部分を表す画像にのみ存在する部分を強弱表示することを特徴とする請求項１記載の画像表示装置の作動方法。
3. 前記画像表示装置が、合成画像生成部をさらに備え、
   該合成画像生成部が、前記変調処理の施された部分と前記通常画像とを合成した合成画像を生成し、
   前記表示部が、前記合成画像を表示することを特徴とする請求項２記載の画像表示装置の作動方法。
4. 通常光および励起光を被観察部に照射する光照射部と、
   前記通常光の照射によって前記被観察部から反射された反射光を受光して通常画像を撮像するとともに、前記励起光の照射によって前記被観察部から発せられた蛍光を受光して蛍光画像を撮像する撮像部と、
   該撮像部によって撮像された前記通常画像および前記蛍光画像から、前記被観察部に含まれる管部分を表す画像をそれぞれ抽出する管画像抽出部と、
   該管画像抽出部によって抽出された前記蛍光画像の前記管部分を表す画像から前記通常画像の前記管部分を表す画像を差し引く演算処理部と、
   該演算処理部における演算結果に基づいて、前記蛍光画像の管部分を表す画像にのみ存在する部分と、前記蛍光画像の管部分を表す画像と前記通常画像の管部分を表す画像との共通部分とを異なる表示態様で表示する表示部とを備えたことを特徴とする画像表示装置。
5. 前記表示部が、前記蛍光画像の管部分を表す画像にのみに存在する部分のみを表示するものであることを特徴とする請求項４記載の画像表示装置。
6. 前記表示部が、前記蛍光画像の管部分を表す画像にのみに存在する部分のみを表示する第１の表示態様と、前記蛍光画像の管部分を表す画像にのみに存在する部分と前記共通部分との両方を表示する第２の表示態様とを切り替えて表示可能なものであることを特徴とする請求項４記載の画像表示装置。
7. 前記表示部が、前記蛍光画像の管部分を表す画像にのみに存在する部分の両端部のうちの、前記共通部分側の端部から該端部と反対側の端部へ向かう方向を示す画像を表示するものであることを特徴とする請求項４から６いずれか１項記載の画像表示装置。
8. 前記表示部が、前記蛍光画像の管部分を表す画像と前記通常画像の管部分を表す画像との共通部分の両端部のうちの、前記蛍光画像の管部分を表す画像にのみに存在する部分側の端部から該端部と反対側の端部へ向かう方向を示す画像を表示するものであることを特徴とする請求項４、６および７いずれか１項記載の画像表示装置。
9. 前記蛍光画像の管部分を表す画像にのみ存在する部分の画像信号に対し、該部分の輝度が周期的に変化するような変調処理を施す変調処理部を備え、
   前記表示部が、前記蛍光画像の管部分を表す画像にのみ存在する部分を強弱表示するものであることを特徴とする請求項４から８いずれか１項記載の画像表示装置。
10. 前記変調処理の施された部分と前記通常画像とを合成した合成画像を生成する合成画像生成部を備え、
    前記表示部が、前記合成画像を表示するものであることを特徴とする請求項９記載の画像表示装置。