JP5378628B1 - 内視鏡システム - Google Patents

Abstract

内視鏡システム１は、術前マルチスライス画像データ１６ａ〜１６ｎを記憶するメモリ部２１と、術前マルチスライス画像データ１６ａ〜１６ｎから３次元データ３１を構築し、所定の管腔臓器を抽出する画像処理部２２と、撮像部の位置情報を取得する位置検出４と、撮像部の位置情報を３次元データ３１の座標に合わせ込む位置合わせ部２３と、所定の管腔臓器の３次元データ３１の管路に対して撮像部の通過の有無を判定する判定部２６とを有する。そして、画像処理部２２は、所定の管腔臓器の３次元データ３１上に判定部２６により判定された判定情報５２を重畳した画像を作成する。

Description

本発明は、内視鏡システムに関し、特に、３次元画像情報上に撮像部による観察の有無を重畳表示する内視鏡システムに関する。

従来、内視鏡装置は、体腔内臓器の観察や、必要に応じて処置具を用いて治療処置を行う医療用内視鏡として、広く用いられている。このような内視鏡装置で観察や治療処置を行う場合、内視鏡の挿入部を管腔内に挿入していき、挿入部の先端部を病変部等の目的地に早くかつ正確に到達させる必要がある。

このような内視鏡の挿入部を目的地まで到達させるナビゲーション技術として、例えば、特開２００２−２０００３０公報には、気管支等の管路へ内視鏡の挿入部の挿入を支援する内視鏡位置検出装置が開示されている。

一方、腎臓結石では、腎盂、腎杯内を内視鏡で観察し、内視鏡の先端から突出する処置具により結石を取り除く処置が行われる。この腎盂、腎杯の内視鏡を用いた処置では、処置中にＸ線撮影を行い、腎盂、腎杯経路内の内視鏡の位置を把握している。

しかしながら、Ｘ線画像は２次元画像であるため、３次元的な腎盂、腎杯形状における内視鏡の位置を正確に把握することができない。そこで、上述した気管支のナビゲーション技術を腎盂、腎杯内での処置に適用することが考えられる。

しかしながら、従来の気管支のナビゲーション技術をそのまま腎盂、腎杯のナビゲーションに適用しただけでは、以下のような課題を解決するには不十分であった。まず、内視鏡の挿入部を目的地まで到達させるナビゲーションでは、見落としなく全ての腎杯を観察して残石等がないことを確認できない。また、内視鏡の挿入部の現在位置が分かっただけでは、全部の腎杯を観察したか否かは把握できない。

そこで、本発明は、内視鏡で観察したか否かをユーザが容易に判別することができる内視鏡システムを提供することを目的とする。

本発明の一態様の内視鏡システムは、予め取得した被検体に関する３次元画像情報を構築するための画像情報を記憶する記憶部と、前記画像情報から前記３次元画像情報を構築することで、当該３次元画像情報内に存在する所定の管腔臓器を抽出する管腔臓器抽出部と、前記被検体内を撮像する撮像部と、前記撮像部の位置情報を取得する位置情報取得部と、前記所定の管腔臓器の３次元画像座標の位置情報に対して、前記位置情報取得部で取得された位置情報を合わせ込む位置合わせ部と、前記撮像部の位置情報から軌跡情報を生成するとともに、前記位置合わせ部の結果に基づき、前記軌跡情報における過去の軌跡情報と、前記撮像部における現在の先端位置情報を含む挿入形状情報と、前記所定の管腔臓器内の管路に対して前記撮像部の通過の有無を判定した判定情報と、を前記所定の管腔臓器の３次元画像情報上に識別可能に重畳した画像を作成する重畳した画像を作成する画像処理部と、を有する。

第１の実施の形態に係る内視鏡システムの構成を示す構成図である。 画像処理装置７の詳細な構成を説明するための構成図である。 先端位置記憶部に記憶される位置データの例を示す図である。 表示装置８に表示される画像の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 視認性を向上させる画像処理部２２の処理の例を説明するための説明図である。 視認性を向上させる画像処理部２２の処理の他の例を説明するための説明図である。 術前画像処理の流れの例を示すフローチャートである。 位置合わせ処理の流れの例を示すフローチャートである。 所定の構造物の解析処理の流れの例を示すフローチャートである。 ナビゲーション処理の流れの例を示すフローチャートである。 リセット処理の流れの例を示すフローチャートである。 第２の実施の形態に係る内視鏡システムの構成を示す構成図である。 画像処理装置７ａの詳細な構成を説明するための構成図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
まず、図１に基づき、本発明の第１の実施の形態に係る内視鏡システムの構成について説明する。図１は、第１の実施の形態に係る内視鏡システムの構成を示す構成図である。

図１に示すように、内視鏡システム１は、内視鏡２と、内視鏡装置３と、位置検出装置４と、Ｘ線Cアーム装置５と、サーバ６と、画像処理装置７と、表示装置８とを有して構成されている。

内視鏡２は、被検体内に挿入される可撓性を有する細長の挿入部１１と、この挿入部１１の基端部に連設された操作部１２と、この操作部１２の側面より延設されたケーブル１３とを有して構成されている。ケーブル１３の基端部には、図示しないコネクタが設けられており、このコネクタを介して内視鏡装置３に接続される。

また、位置検出装置４からは、ケーブル１４及びケーブル１５が延設されている。位置検出装置４は、ケーブル１４の基端部に設けられた図示しないコネクタを介して内視鏡２の操作部１２に接続され、ケーブル１５の基端部に設けられた図示しないコネクタを介してＸ線Ｃアーム装置５に接続される。

挿入部１１の先端部には、撮像部を構成するＣＣＤ等の撮像素子１０が設けられており、被検体内を撮像する。撮像素子１０で撮像された撮像信号は、操作部１２及びケーブル１３を介して内視鏡装置３に送信される。

内視鏡装置３は、送信された撮像信号に所定の画像処理を施し、内視鏡画像データを生成する。生成された内視鏡画像データは、画像処理装置７により取り込まれる。

また、挿入部１１には、先端部から基端部まで所定の間隔で図示しない複数の受信コイルが設けられている。複数の受信コイルのそれぞれは、位置検出装置４が発生する磁界に応じて電気信号を出力する。出力された各電気信号は、操作部１２及びケーブル１４を介して位置検出装置４に送信される。

位置情報取得部としての位置検出装置４は、複数の受信コイルからの電気信号のうち、先端部に設けられた受信コイルからの電気信号に基づき、挿入部１１の先端の位置及び方向を検出するための演算を行い、挿入部１１の先端の、より具体的には撮像部の位置及び方向データを検出する。また、位置検出装置４は、複数の受信コイルから電気信号に基づき、挿入部１１の挿入形状を検出するための演算を行い、挿入部１１の挿入形状データを検出する。検出された挿入部１１の先端の位置及び方向データと、挿入部１１の挿入形状データとは、画像処理装置７により取り込まれる。

Ｘ線Ｃアーム装置５は、Ｘ線発生部及びＸ線検出部から構成されるＸ線Ｃアームを、任意の角度に回転させることにより、多方向から術中のＸ線画像データを得る。これらの術中のＸ線画像データは、画像処理装置７により取り込まれる。

また、Ｘ線Ｃアームには図示しない受信コイルが設けられており、位置検出装置４からの磁界に応じて電気信号を出力する。出力された電気信号は、ケーブル１５を介して位置検出装置４に送信される。位置検出装置４は、送信された電気信号に基づき、Ｘ線Ｃアームの位置等を検出することで、Ｘ線撮影位置データを生成する。生成されたＸ線撮影位置データは、画像処理装置７により取り込まれる。

サーバ６には、例えば、ＣＴまたはＭＲＩ等の術前マルチスライス画像データ１６ａ〜１６ｎが格納されている。これらの術前マルチスライス画像データ１６ａ〜１６ｎは、例えば、院内のＬＡＮを介して画像処理装置７により取り込まれる。なお、術前マルチスライス画像データ１６ａ〜１６ｎは、例えば、ＣＤ−ＲＯＭ等の可搬媒体に記憶され、この可搬媒体を介して画像処理装置７に取り込まれる構成であってもよい。

画像処理装置７は、内視鏡装置３からの内視鏡画像データ、位置検出装置４からの挿入部１１の先端の位置及び方向データ、挿入部１１の挿入形状データ、Ｘ線撮影位置データ、Ｘ線Ｃアーム装置５からのＸ線画像データ、及びサーバ６から取り込んだ術前マルチスライス画像データ１６ａ〜１６ｎに後述する所定の画像処理を施し、得られた画像データを表示装置８に表示する。

次に、画像処理装置７の詳細な構成と、表示装置８に表示される画像について説明する。

図２は、画像処理装置７の詳細な構成を説明するための構成図であり、図３は、先端位置記憶部に記憶される位置データの例を示す図であり、図４は、表示装置８に表示される画像の例を説明するための説明図である。また、図５〜図８は、表示装置８に表示される画像の他の例を説明するための説明図である。

なお、図４の表示装置８に表示される画像は、画像処理部２２で画像処理され、表示装置８に最終的に表示される２次元データであるが、以下の説明では、図４の２次元データの符号を用いて説明を行う。

図２に示すように、画像処理装置７は、メモリ部２１と、画像処理部２２と、位置合わせ部２３と、先端位置記憶部２４と、座標変換部２５と、判定部２６と、Ｘ線画像取得部２７と、石座標算出部２８と、石座標変換部２９とを有して構成されている。

記憶部としてのメモリ部２１は、サーバ６から予め取得した被検体に関する３次元画像情報を構築するための画像情報である術前マルチスライス画像データ１６ａ〜１６ｎを記憶する。これらの術前マルチスライス画像データ１６ａ〜１６ｎは、画像処理部２２により読み出される。

管腔臓器抽出部を構成する画像処理部２２は、メモリ部２１から読み出した術前マルチスライス画像データ１６ａ〜１６ｎから３次元データ３１（図４参照）を構築し、尿管４０、腎盂４１、腎杯４２〜４９を含む所定の管腔臓器を抽出し、その位置座標を位置合わせ部２３に出力する。なお、画像処理部２２は、尿管４０、腎盂４１、腎杯４２〜４９だけでなく、膀胱や尿道を含めた３次元データを構築してもよい。画像処理部２２は、２方向から３次元データを観察できるようにするために、構築した３次元データ３１を任意の角度、回転させた３次元データ３２を生成する。

仮想内視鏡画像生成部を構成する画像処理部２２は、３次元データ３１または３２から、所定の管腔臓器を所定の視点から内視鏡的に見た仮想内視鏡画像３３を生成する。さらに、画像処理部２２は、内視鏡装置３から取り込んだ内視鏡画像データに対して所定の画像処理を施し、内視鏡画像３４を生成する。そして、画像処理部２２は、３次元データ３１、３２、仮想内視鏡画像３３及び内視鏡画像３４に対して、後述する挿入部１１の先端の挿入軌跡等を重畳し、表示装置８に表示する画像を作成する。

さらに、画像処理部２２は、構築した３次元データ３１上の管腔の芯線データを抽出するとともに、芯線データの終点の３次元データ上の座標値を抽出する。そして、画像処理部２２は、芯線データの３次元データ上の座標値を位置合わせ部２３に出力し、芯線データの終点の３次元データ上の座標値を腎杯４２〜４９の腎杯座標データとして判定部２６に出力する。

先端位置記憶部２４には、図３に示すように、位置検出装置４から出力された挿入部１１の先端の実空間上での位置及び方向データがタイムスタンプＴＳとともに記憶される。図３の例では、位置データのみを記載しており、タイムスタンプＴＳ１には、位置データとしてＡ１、Ｂ１、Ｃ１が対応付けられて記憶されている。

位置合わせ部２３は、ユーザから位置合わせの指示が行われると、先端位置記憶部２４に記憶されている位置データと、画像処理部２２からの芯線データとを比較し、実空間座標を３次元データ座標に変換する変換式を算出する。

座標変換部２５は、位置合わせ部２３で算出された変換式に基づき、先端位置記憶部２４に記憶されている位置及び方向データを３次元データ座標上の値に変換する。そして、座標変換部２５は、変換後の挿入部１１の先端の位置及び方向データを、変換前の位置及び方向データ、タイムスタンプＴＳとともに先端位置記憶部２４に記憶する。例えば、図３の例では、座標変換部２５は、タイムスタンプＴＳ１における実空間上の位置データの座標値Ａ１，Ｂ１，Ｃ１を、位置合わせ部２３で算出された変換式に基づいて、それぞれ３次元データ上の座標値Ｄ１，Ｅ１，Ｆ１に変換する。

このように、位置合わせ部２３及び座標変換部２５により、所定の管腔臓器の３次元画像座標の位置情報に対して、位置検出装置４で取得された挿入部１１の先端の位置情報を合わせ込む位置合わせ部を構成する。

なお、位置合わせの方法は、上述した変換式を用いた位置合わせ方法だけでなく、Ｘ線Ｃアーム装置５から取り込んだＸ線画像から腎盂、腎杯形状を抽出し、位置検出装置からのＸ線撮影位置データから抽出した腎盂、腎杯の位置座標を算出し、３次元データ上の腎盂、腎杯の位置座標と位置合わせを行うようにしてもよい。また、特開２００５−３１２７７０号公報に開示されているように、患者の体表の特徴点の位置検出と、３次元データ上での特徴点指定とによる位置合わせや、特開２００９−２７９２５１号公報に開示されているように、内視鏡画像と仮想内視鏡画像とのマッチングによる位置合わせを行ってもよい。

判定部２６は、このように変換された３次元データ３１上の座標値と、画像処理部２２で抽出された腎杯座標データとを比較し、挿入部１１の先端が腎杯４２〜４９に到達したか否かを判定する。そして、判定部２６は、判定結果を画像処理部２２に出力する。更に、判定部２６は、腎杯４２〜４９だけでなく、所定の管腔臓器内の管路に対して撮像部の通過の有無を判定するようにしても良い。

画像処理部２２は、先端位置記憶部２４に記憶されている３次元データ３１上の座標値を実線で繋いでいくことで、挿入部１１の先端の挿入軌跡５０を生成し、この挿入軌跡５０を３次元データ３１及び３２に重畳する。

また、画像処理部２２は、挿入部１１の先端の現在位置（挿入軌跡５０の先端）に先端位置情報５１を生成し、３次元データ３１及び３２に重畳する。

さらに、画像処理部２２は、判定部２６からの判定結果に基づき、腎杯４２〜４９を観察したか否かを判定するための判定情報５２を生成し、３次元データ３１及び３２に重畳する。判定情報５２は、例えば、図４に示すように、挿入部１１の先端が到達した腎杯４２〜４６を黒丸で示し、到達していない腎杯４７〜４９を白丸で示している。

画像処理部２２は、３次元データ３１及び３２に挿入軌跡５０、先端位置情報５１及び判定情報５２を重畳した３次元データ３１及び３２を、表示装置８に表示できるように２次元データに変換し、表示装置８に出力する。また、画像処理部２２は、仮想内視鏡画像３３及び内視鏡画像３４にも、挿入軌跡５０、先端位置情報５１及び判定情報５２を重畳し、表示装置８に出力する。なお、図４の例では、挿入軌跡５０のみが仮想内視鏡画像３３及び内視鏡画像３４に重畳表示されている。

なお、判定情報５２は、図４の黒丸及び白丸に限定されるものではない。画像処理部２２は、例えば、図５に示すように、挿入部１１の先端が到達した箇所の色を変更する（図５では、色を変えた箇所を斜線で示している）ようにしてもよい。図５の例では、挿入部１１の先端が到達した尿管４０、腎盂４１、腎杯４２〜４６の色を挿入部１１の先端が到達していない腎杯４７〜４９とは異なる色に変更している。このように、画像処理部２２は、判定情報５２に基づき、３次元データ３１、３２、仮想内視鏡画像３３及び内視鏡画像３４の表示態様を変更する。

また、画像処理部２２は、先端位置記憶部２４に記憶されている位置及び方向データに基づき、挿入部１１の先端の向き（直視型の内視鏡の場合、内視鏡画像の視線方向）を示す矢印５３、及び内視鏡画像の上方向を示す矢印５４を生成し、３次元データ３１に重畳表示する。これにより、ユーザは、挿入部１１の挿抜方向や内視鏡画像で見ている方向を認識し易くなる。

次に、所定の構造物を表示させる処理について図６を用いて説明する。

Ｘ線画像取得部２７は、Ｘ線Ｃアーム装置５から術中のＸ線画像データを取得し、画像処理部２２及び石座標算出部２８に出力する。画像処理部２２は、Ｘ線画像取得部２７からのＸ線画像データに所定の画像処理を施してＸ線画像３５を生成し、生成したＸ線画像３５を表示装置８に表示する制御を行う。例えば、図６の例では、図４の３次元データ３２に代えて、Ｘ線画像３５が表示装置８に表示されている。

石座標算出部２８には、Ｘ線画像取得部２７からのＸ線画像データと、位置検出装置４からのＸ線撮影位置データとが入力される。石座標算出部２８は、Ｘ線画像データの解析を行い、Ｘ線画像３５上の所定の構造物、図６の例では石５５及び５６の位置を算出する。そして、石座標算出部２８は、Ｘ線画像３５上の石５５及び５６の位置とＸ線撮影位置データとから実空間座標上の石５５及び５６の存在範囲を算出する。また、石座標算出部２８は、複数の方向、例えば、２方向から撮影したＸ線画像データがある場合には、それぞれの石５５及び５６の存在範囲から石５５及び５６の存在範囲を絞り込み、３次元的な石５５及び５６の位置及び形状を算出する。算出された石５６及び５６の存在範囲は、石座標変換部２９に出力される。このように、石座標算出部２８は、Ｘ線画像データから所定の構造物を抽出する抽出部を構成する。

石座標変換部２９は、位置合わせ部２３が算出した変換式に基づき、実空間座標上の石５５及び５６の存在範囲を３次元データ座標上の石５５及び５６の存在範囲に変換する。石座標変換部２９は、変換後の石５５及び５６の存在範囲の座標を石座標データとして判定部２６に出力する。なお、石座標変換部２９を設けずに、座標変換部２５が、実空間座標上の石５５及び５６の存在範囲を３次元データ座標上の石５５及び５６の存在範囲に変換する構成であってもよい。

判定部２６は、先端位置記憶部２４に記憶されている変換後の位置及び方向データのうち、リセットフラグが立っていない位置及び方向データと、石座標変換部２９からの石座標データとを比較し、各石５５及び５６に挿入部１１の先端が到達したか否かを判定する。判定部２６は、この判定結果を画像処理部２２に出力する。

画像処理部２２は、変換された位置及び方向データをもとに、挿入部１１の先端が石５５及び５６に到達したか否かを示す判定情報を重畳する。画像処理部２２は、判定情報として、例えば、挿入部１１の先端が到達したと判定した石５５に対して、先端が到達していないと判定した石５６と異なる色を付けるようにする。なお、画像処理部２２は、判定結果に基づき、挿入部１１の先端が到達したと判定した石５５を３次元データ３１上から消去するようにしてもよい。

また、画像処理部２２は、挿入部１１の挿入形状５７を３次元データ３１に重畳する。挿入形状５７は、挿入部１１に所定の間隔で設けられている複数の受信コイルからの電気信号から実空間座標上での位置を算出し、これらの位置データを変換式で３次元データ上の座標データに変換する。そして、画像処理部２２は、これらの座標データを実線で繋ぐことで挿入形状５７を生成し、３次元データ３１に重畳する。

画像処理部２２は、ユーザの指示に従い、石５５、５６、及び挿入形状５７が重畳表示された３次元データ３１を画像処理し、表示装置８に表示するための２次元画像を作成し、表示装置８に出力する。

なお、画像処理部２２は、３次元データ３１に石５５、５６及び挿入形状５７を重畳するだけでなく、上述した、挿入部１１の先端の挿入軌跡５０、先端位置情報５１及び判定情報５２を重畳してもよい。判定情報５２の重畳方法の一例としては、先端が到達または通過したと判定した石５５を３次元データ３１上で半透明に表示するなどの方法でもよい。また、画像処理部２２は、図７に示すように、挿入形状５７をＸ線画像３５に重畳し、表示装置８に表示するようにしてもよい。

次に、リセット処理について図３及び図８を用いて説明する。

操作部１２に設けられた図示しないスイッチを用いてユーザがリセットを行うと、リセット信号が画像処理装置７に入力される。リセット信号が入力されると、先端位置記憶部２４に記憶されている全てのデータにリセットフラグを立てる。例えば、タイムスタンプＴＳ４の時点でリセット信号が入力されると、タイムスタンプＴＳ１〜ＴＳ４までにリセットフラグが立つ。図３の例では、リセットフラグが立ったデータを「○」で示し、リセットフラグが立っていないデータを「−」で示している。リセットフラグが立っていないタイムスタンプＳＴ５以降のデータは、リセット信号が入力された後に、先端位置記憶部２４に新たに記憶された挿入部１１の先端の位置データである。

画像処理部２２は、先端位置記憶部２４に記憶されているデータのうちリセットフラグが立っているデータの表示をリセットする。画像処理部２２は、例えば、図８に示すように、リセット前に表示されていた挿入軌跡５０の表示を実線から点線（挿入軌跡５０ａ）に変更し、判定情報５２を黒丸から白丸に変更する。そして、画像処理部２２は、リセット後（タイムスタンプＳＴ５以降）の挿入部１１の先端の軌跡を実線（挿入軌跡５０ｂ）で表示し、リセット後に挿入部１１の先端が到達した腎杯４７の判定情報５２を白丸から黒丸に変更する。なお、画像処理部２２は、リセット前後で挿入軌跡５０ａと挿入軌跡５０ｂとの色を変更したり、リセット前の挿入軌跡５０ａの表示を行わないようにしてもよい。

このような腎盂４１及び腎杯４２〜４９の処置では、石５５及び５６のサイズが大きい場合、図示しない処置具を用いて石５５及び５６を細かく砕いてから取り除くことなる。この場合、細かく砕いた石が一度検査を行った腎杯（例えば、図４の腎杯４２〜４６）のいずれかに入ってしまう可能性があるため、一度検査を行った腎杯４２〜４６についても、再度検査をする必要がある。そこで、リセット処理を行うことで挿入軌跡５０や判定情報５２をリセットし、検査漏れがないように、再度、腎杯４２〜４６の検査を行えるようにしている。

また、画像処理部２２は、視認性を向上させるために、尿管４０、腎盂４１、及び腎杯４２〜４９において、挿入部１１が一度通った場所に挿入軌跡５０の表示を行わないようにしてもよい。

図９は、視認性を向上させる画像処理部２２の処理の例を説明するための説明図である。

画像処理部２２は、図９に示すように、腎杯４３に挿入部１１を挿入する時に挿入軌跡５０の表示を行った場合、腎杯４３から挿入部１１を抜去する時に挿入軌跡５０の表示を行わないようにする。なお、図９の例では、表示を行わない挿入軌跡５０を疎破線で示している。より具体的には、判定部２６は、挿入部１１の先端の現在の位置が一度通った場所か否かを判定して、一度通った場所と判定した場合に画像処理部２２において挿入軌跡５０の表示を行わないようにする。

判定部２６は、一度通った場所か否かの判定について、３次元データ３１上の管腔の芯線データを用いて判定する。具体的には以下のようにする。まず、先端位置記憶部２４に記憶された挿入部１１の先端の位置座標のそれぞれについて、最も近い芯線データ上の点を軌跡点とする。次に芯線データのうち、軌跡点がある範囲の芯線データ上に挿入軌跡を表示する。こうすることにより、管腔内において、スコープが実際にどの位置を通ったかは関係なく、どの位置を通っても芯線上に挿入軌跡を表示することで、挿入部１１の先端が一度通った管腔を再度通る場合に挿入軌跡５０を二重に表示することなく視認性を向上させることができる。

一度通った場所と判定した場合に挿入軌跡５０の表示を行わないようにする別の方法を記載する。これは芯線情報を使用しない方法である。まず、判定部２６は、先端位置記憶部２４に記憶された挿入部１１の先端の過去の位置と、挿入部１１の先端の現在の位置との距離を算出し、算出した距離のうち最も近い距離の値が、所定の閾値より大きいか否かを判定する。そして、算出した最も近い距離の値が所定の閾値より大きいと判定した場合、一度通った場所でないと判定し、画像処理部２２において挿入軌跡５０を表示する。一方、算出した最も近い距離の値が所定の閾値以下と判定した場合、一度通った場所であると判定し、画像処理部２２において挿入軌跡５０を表示しないようにする。このような画像処理部２２の処理により、同じ場所を何度も軌跡表示することがなくなるため、視認性を向上させることができる。

また、画像処理部２２は、図１０に示す処理を行い、挿入部１１の視認性を向上させてもよい。図１０は、視認性を向上させる画像処理部２２の処理の他の例を説明するための説明図である。

図１０および以下の説明において混乱を防ぐため「挿入軌跡５０」を「過去の挿入軌跡５０ｋ」と「現在の挿入軌跡５０ｇ」に分けて説明する。図１０の矢印Ａに示すように、３次元データ３１において、挿入軌跡５０に平行、かつ、図１０に向かって奥側にある別の経路に挿入部１１を挿入する場合、過去の挿入軌跡５０ｋの背面側に現在の挿入軌跡５０ｇ及び先端位置情報５１（あるいは、挿入形状５７）が表示される。このような場合、ユーザは挿入部１１の現在位置を確認できなくなり、視認性が悪くなる。なお、図１０の矢印Ａの例では、過去の挿入軌跡５０ｋに隠れている現在の挿入軌跡５０ｇ及び先端位置情報５１を疎破線で示している。

そこで、画像処理部２２は、図１０の矢印Ｂに示すように、現在の挿入軌跡５０ｇ及び先端位置情報５１（実線で表示）を過去の挿入軌跡５０ｋより手前側に表示することで、現在の経路の視認性を向上させるようにしている。

また、画像処理部２２は、図１０の矢印Ｃに示すように、過去の挿入軌跡５０ｋと、現在の挿入軌跡５０ｇとの長さが同じとなった場合、先端位置情報５１を過去の挿入軌跡５０ｋより手前側に表示し、現在の挿入軌跡５０ｇ（破線で表示）を透過表示する。さらに、画像処理部２２は、図１０の矢印Ｄに示すように、挿入部１１の先端の位置が過去の挿入軌跡５０ｋに隠れなくなった場合、過去の挿入軌跡５０ｋの背面側に現在の挿入軌跡５０ｇ及び先端位置情報５１を表示する。

画像処理部２２は、このような表示制御を行い、過去の挿入軌跡５０ｋと、現在の挿入軌跡５０ｇとを識別可能に生成する。このような画像処理部２２の処理により、現在の描写経路（挿入軌跡５０ｇ）が既に生成された過去の挿入軌跡５０ｋにより隠れて表示されなくなることを防止でき、視認性を向上させることができる。このような表示制御に限らず、現在の挿入軌跡５０ｇの手前にある部分の過去の挿入軌跡５０ｋを半透明に表示するような表示制御でも良い。

また、画像処理装置７に図示しない記憶部をさらに設け、挿入部１１の先端の挿入軌跡５０、すなわち、先端位置記憶部２４に記憶された挿入部１１の先端の位置データを図示しない記憶部に記憶する。そして、画像処理部２２は、再検査を行う場合、その記憶部に記憶された以前の検査の位置データを読み出し、以前の検査の挿入軌跡５０を表示する。

この場合、画像処理部２２は、以前の検査の挿入軌跡５０を現在の検査の挿入軌跡５０とは異なる表示態様に変更する。画像処理部２２は、例えば、以前の検査の挿入軌跡５０を点線で表示したり、以前の検査の挿入軌跡５０の色を現在の検査の挿入軌跡５０とは異なる色で表示する。さらに、画像処理部２２は、現在の検査の挿入軌跡５０が以前の検査の挿入軌跡５０により隠れて表示されなくなることを防止するために、上述した図１０の処理を行ってもよい。

また、画像処理部２２は、挿入部１１の視認性を向上させる方法として以下のようにしても良い。３次元データ３１上で手前側の経路の挿入軌跡５０を細く表示し、奥側の経路の挿入軌跡５０を太く表示してもよい。例えば、図４の３次元データ３１では、腎杯４８が腎杯４７より奥側の経路に存在するので、画像処理部２２は、腎杯４８への挿入軌跡５０を太く表示し、腎杯４７への挿入軌跡５０を細く表示する。

更に、画像処理部２２は、先端位置情報５１についても同様の処理を行ってもよい。画像処理部２２は、例えば、挿入部１１の現在位置が手前側の経路に存在する場合、先端位置情報５１の線を細く、あるいは、径を小さく表示し、挿入部１１の現在位置が奥側の経路に存在する場合、先端位置情報５１の線を太く、あるいは、径を大きく表示する。これにより、奥にある現在位置や挿入軌跡が、手前にある挿入軌跡等の障害物により見えなくなることが少なくなり、ユーザの視認性が向上する。

次に、このように構成された内視鏡システム１の動作について説明する。

最初に術前画像処理について説明する。図１１は、術前画像処理の流れの例を示すフローチャートである。

まず、画像処理装置７が術前マルチスライス画像データ１６ａ〜１６ｎをメモリ部２１に取り込む（ステップＳ１）。次に、画像処理部２２がメモリ部２１の術前マルチスライス画像データ１６ａ〜１６ｎを３次元データ３１に再構築する（ステップＳ２）。画像処理部２２が３次元データ３１上の管腔の芯線データを作成し（ステップＳ３）、芯線データの３次元データ３１上の座標値を位置合わせ部２３に出力する（ステップＳ４）。最後に、画像処理部２２は、芯線データの終点の３次元データ３１上の座標値を腎杯座標データとして判定部２６に出力し（ステップＳ５）、処理を終了する。

次に、位置合わせ処理について説明する。図１２は、位置合わせ処理の流れの例を示すフローチャートである。

まず、位置検出装置４が内視鏡２の挿入部１１の先端の位置及び方向を実空間上の座標値で算出する（ステップＳ１１）。画像処理装置７は、位置検出装置４から取得した内視鏡２の挿入部１１の先端の位置及び方向データをタイムスタンプＳＴとともに先端位置記憶部２４に記憶する（ステップＳ１２）。

次に、位置合わせの指示があるか否かが判定される（ステップＳ１３）。位置合わせの指示がないと判定された場合、ＮＯとなり、ステップＳ１１に戻り、同様の処理を繰り返す。一方、位置合わせの指示があると判定された場合、ＹＥＳとなり、位置合わせ部２３が先端位置記憶部２４に記憶されている位置データのうちリセットフラグが立っていない位置データと芯線データとを比較し、実空間座標を３次元データ座標に変換する変換式を算出し（ステップＳ１４）、処理を終了する。

次に、所定の構造物（石５５及び５６）の解析処理について説明する。図１３は、所定の構造物の解析処理の流れの例を示すフローチャートである。

まず、画像処理装置７は、Ｘ線Ｃアーム装置５からＸ線画像データを取得するとともに、位置検出装置４からＸ線撮影位置データを取得する（ステップＳ２１）。石座標算出部２８は、Ｘ線画像データの解析を行い、Ｘ線画像３５上の石５５及び５６の位置を算出する（ステップＳ２２）。次に、石座標算出部２８は、Ｘ線画像３５上の石５５及び５６の位置とＸ線撮影位置データとから実空間座標上の石５５及び５６の存在範囲を算出する（ステップＳ２３）。

次に、別の方向から撮影したＸ線画像があるか否かが判定される（ステップＳ２４）。別の方向から撮影したＸ線画像がない場合、ＮＯとなり、ステップＳ２６に進む。一方、別の方向から撮影したＸ線画像がある場合、ＹＥＳとなり、それぞれの石５５及び５６の存在範囲から石５６及び５６の存在範囲を絞り込む（ステップＳ２５）。石座標変換部２９は、位置合わせ部２３の算出した変換式により、実空間座標上の石５５及び５６の存在範囲を３次元データ座標上の石の存在範囲に変換する（ステップＳ２６）。最後に、石座標変換部２９は、変換後の座標（石の存在範囲）を石座標データとして判定部２６に出力し（ステップＳ２７）、処理を終了する。

次に、ナビゲーション処理について説明する。図１４は、ナビゲーション処理の流れの例を示すフローチャートである。

まず、画像処理装置７は位置検出装置４から内視鏡２の挿入部１１の先端の位置及び方向データ（以下、変換前位置方向データともいう）を取得し、先端位置記憶部２４に記憶する（ステップＳ３１）。座標変換部２５は、先端位置記憶部２４に記憶されている変換前位置方向データを、変換式に基づき３次元データ座標上の値に変換する（ステップＳ３２）。座標変換部２５は、変換後の値を、変換後位置方向データとして変換前位置方向データ及びタイムスタンプＴＳとともに先端位置記憶部２４に記憶する（ステップＳ３３）。

判定部２６は、先端位置記憶部２４に記憶されている変換後位置方向データのうちリセットフラグが立っていない位置及び方向データと腎杯座標データと石座標データとを比較し、各腎杯４２〜４９と、各石５５及び５６とに挿入部１１の先端が到達したかを判定する（ステップＳ３４）。画像処理部２２は、変換後位置方向データをもとに、３次元データ３１上に、挿入部１１の先端の挿入軌跡５０、先端位置情報５１（挿入部１１の先端の現在位置）、及びステップＳ３４で判定された判定情報５２を重畳表示する（ステップＳ３５）。画像処理部２２は、ユーザの指示に従い、３次元データを処理し、表示するための２次元画像を作成し、表示装置８に出力し（ステップＳ３６）、処理を終了する。

次に、リセット信号が入力されたときのリセット処理について説明する。図１５は、リセット処理の流れの例を示すフローチャートである。

まず、リセット信号が入ったか否かが判定される（ステップＳ４１）。リセット信号が入っていないと判定された場合、ＮＯとなり、ステップＳ４１に戻り同様の処理を繰り返す。一方、リセット信号が入ったと判定された場合、ＹＥＳとなり、先端位置記憶部２４に記憶されている全てのデータにリセットフラグを立てステップＳ４１に戻り同様の処理を繰り返す。（ステップＳ４２）。

以上のように、内視鏡システム１は、尿管４０、腎盂４１、腎杯４２〜４９により構成される所定の管腔臓器の３次元データ３１を構築するとともに、３次元データ３１に挿入部１１の先端の挿入軌跡５０、挿入部１１の先端の先端位置情報５１、及び、挿入部１１の先端が到達した否かを示す判定情報５２を重畳し、表示装置８に表示するようにした。この結果、ユーザは、内視鏡２を用いて所定の管腔臓器内を全て検査したか否かを容易に認識することができる。

よって、本実施の形態の内視鏡システムによれば、内視鏡で観察したか否かをユーザが容易に判別することができる。

（第２の実施の形態）
次に、第２の実施の形態について説明する。

第２の実施の形態では、３次元データがなく挿入経路が分からない場合に、挿入軌跡を生成する内視鏡システムについて説明する。図１６は、第２の実施の形態に係る内視鏡システムの構成を示す構成図である。

図１６に示すように、内視鏡システム１ａは、図１の内視鏡システム１からＸ線Ｃアーム装置５、サーバ６、ケーブル１５及び術前マルチスライス画像データ１６ａ〜１６ｎが削除されて構成されている。また、内視鏡システム１ａは、図１の画像処理装置７に代わり、画像処理装置７ａを用いて構成されている。

図１７は、画像処理装置７ａの詳細な構成を説明するための構成図である。

画像処理装置７ａは、画像処理部２２ａと、先端位置記憶部２４ａと、閾値判定部６０と、軌跡画像記憶部６１とを有して構成されている。

先端位置記憶部２４ａには、位置検出装置４から出力された挿入部１１の先端の実空間上での位置データがタイムスタンプＴＳとともに記憶される。また、挿入部１１の先端の方向や挿入部１１の挿入形状を表示装置８に表示する場合、位置検出装置４で検出された方向データ及び挿入形状データも先端位置記憶部２４ａに記憶される。

画像処理部２２ａは、先端位置記憶部２４ａに記憶された位置データをそのまま用いて、３次元データ上に座標値をマッピングし、挿入軌跡を生成する。この際、画像処理部２２ａは、閾値判定部６０の判定結果に基づき、一度通った場所には挿入軌跡を表示しないようにする。

閾値判定部６０は、先端位置記憶部２４ａに記憶された挿入部１１の先端の過去の位置と、挿入部１１の先端の現在の位置との距離を算出し、算出した距離のうち最も近い距離の値が、所定の閾値より大きいか否かを判定する。すなわち、閾値判定部６０は、挿入部１１の先端の現在の位置が過去に通った位置から所定の閾値より離れているか否かを判定している。閾値判定部６０は、この判定結果を画像処理部２２ａに出力する。

画像処理部２２ａは、最も近い距離の値が所定の閾値より大きいと閾値判定部６０が判定した場合、一度通った場所でないと判定し、挿入軌跡を表示する。一方、画像処理部２２ａは、最も近い距離の値が所定の閾値以下と閾値判定部６０が判定した場合、一度通った場所であると判定し、挿入軌跡を表示しないようにする。

また、画像処理部２２ａは、挿入軌跡の画像を、より具体的には、一度通った場所でないと判定された位置データ（座標値）を軌跡画像記憶部６１に記憶する。再検査を行う際には、画像処理部２２ａは、軌跡画像記憶部６１に記憶された位置データを読み出し、以前の検査の際に記憶された挿入軌跡を表示装置８に表示する。

これにより、ユーザは、３次元データがない場合においても、以前の検査の際に記憶された挿入軌跡と、現在の検査の際に表示される挿入軌跡とを比較し、検査漏れがないように、管腔臓器内を観察することができる。

なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１２年３月６日に日本国に出願された特願２０１２−４９４６７号公報を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (9)

1. 予め取得した被検体に関する３次元画像情報を構築するための画像情報を記憶する記憶部と、
   前記画像情報から前記３次元画像情報を構築することで、当該３次元画像情報内に存在する所定の管腔臓器を抽出する管腔臓器抽出部と、
   前記被検体内を撮像する撮像部と、
   前記撮像部の位置情報を取得する位置情報取得部と、
   前記所定の管腔臓器の３次元画像座標の位置情報に対して、前記位置情報取得部で取得された位置情報を合わせ込む位置合わせ部と、
   前記撮像部の位置情報から軌跡情報を生成するとともに、前記位置合わせ部の結果に基づき、前記軌跡情報における過去の軌跡情報と、前記撮像部における現在の先端位置情報を含む挿入形状情報と、前記所定の管腔臓器内の管路に対して前記撮像部の通過の有無を判定した判定情報と、を前記所定の管腔臓器の３次元画像情報上に識別可能に重畳した画像を作成する重畳した画像を作成する画像処理部と、
   を有することを特徴とする内視鏡システム。
2. 前記位置合わせ部の結果に基づき、前記所定の管腔臓器内の管路に対して前記撮像部の通過の有無を判定する判定部を更に備えることを特徴とする請求項１に記載の内視鏡システム。
3. 前記所定の管腔臓器を所定の視点から内視鏡的に見た仮想内視鏡画像を生成する仮想内視鏡画像生成部を更に備え、
   前記画像処理部は、前記撮像部の位置情報から軌跡情報を生成し、前記所定の管腔臓器の３次元画像情報、前記仮想内視鏡画像または前記撮像部により撮像された画像に対して前記軌跡情報を重畳して表示させることを特徴とする請求項１に記載の内視鏡システム。
4. 前記画像処理部は、前記判定情報に基づき前記所定の管腔臓器の３次元画像情報または前記撮像部により撮像された画像の表示態様を変更することを特徴とする請求項１に記載の内視鏡システム。
5. 前記画像処理部は、前記所定の管腔臓器内において前記撮像部先端が到達した箇所の判定情報を当該撮像部先端が到達していない箇所の判定情報とは異なる色にて重畳した画像を作成することを特徴とする請求項４に記載の内視鏡システム。
6. 前記判定部は、前記撮像部先端の位置座標の各々について、前記３次元画像情報における所定の管腔臓器の芯線データに最も近い点を軌跡点と判定し、
   前記画像処理部は、前記軌跡点が存在する範囲の芯線データ上に挿入軌跡を重畳することを特徴とする請求項２に記載の内視鏡システム。
7. 前記判定部は、前記撮像部先端の過去の位置と現在の位置との距離情報に基づいて通過の有無を判定することを特徴とする請求項２に記載の内視鏡システム。
8. 前記被検体に対して照射されたＸ線情報を取得するＸ線画像取得部と、
   前記Ｘ線情報から所定の構造物を抽出する抽出部とを更に備え、
   前記位置合わせ部は、前記所定の管腔臓器の３次元画像情報に対して前記所定の構造物を合わせ込み、
   前記画像処理部は、前記所定の管腔臓器の３次元画像情報上に前記所定の構造物を重畳して表示させることを特徴とする請求項１に記載の内視鏡システム。
9. 前記位置合わせ部の結果に基づき、前記所定の構造物に対して前記撮像部の通過の有無を判定する判定部を更に備え、
   前記画像処理部は、前記判定部が前記所定の構造物に対して前記撮像部が通過したと判定した場合、前記３次元画像情報上において前記所定の構造物の表示態様を変更した画像を作成することを特徴とする請求項８に記載の内視鏡システム。

Images