JP4698966B2 - 手技支援システム - Google Patents

Description

本発明は、被検体に関するバーチャル画像データを生成し、該バーチャル画像データに基づき手技の支援を行う手技支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
特開２０００−１３５２１５号公報

従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。

また、例えば実際に手術を行う内視鏡システムに前記画像システムからバーチャル画像を提供して手技を支援する手技支援システムを構築することが考えられるが、リアルな内視鏡画像に支援可能なバーチャル画像を提供する形態が確立できていないために、効果的な手技支援を行うことが困難な状況にある。

本発明は、上記事情に鑑みてなされたものであり、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することのできる手技支援システムを提供することを目的としている。

本発明の第１の手技支援システムは、被検体の体腔内を撮像する内視鏡と、前記内視鏡が撮像した内視鏡画像を生成する内視鏡画像生成手段と、前記被検体に関するバーチャル画像及び前記バーチャル画像に関連する参照画像を格納した記憶部より前記バーチャル画像及び前記参照画像を読み出す画像読み出し手段と、前記バーチャル画像または前記内視鏡画像の少なくとも一方に前記参照画像の重畳を指示する重畳指示手段と、前記重畳指示手段により指示された前記参照画像データの重畳を実行し合成画像を生成する合成画像生成手段と、前記バーチャル画像上で前記被検体の関心部位の切除面領域を指定する切除面領域指定手段と、前記切除面領域指定手段が指定した前記領域の領域画像を前記参照画像として前記バーチャル画像と関連づけて前記記憶部に記憶させる情報記憶制御手段と、前記切除面領域指定手段により前記被検体の関心部位の切除面領域を指定する際に、前記バーチャル画像上に血管バーチャル画像を選択的に重畳可能とする血管バーチャル画像重畳手段と、を具備し、前記切除面領域指定手段は、前記被検体の関心部位の切除面領域を指定する際に、前記血管バーチャル画像重畳手段により血管バーチャル画像が重畳された場合は、当該血管バーチャル画像が重畳されたバーチャル画像上において前記被検体の関心部位の切除面領域を指定可能とし、前記血管バーチャル画像重畳手段による血管バーチャル画像の重畳表示が選択されない場合は、血管バーチャル画像が重畳表示されない状態で前記バーチャル画像上において前記被検体の関心部位の切除面領域を指定可能とすることを特徴とする。
本発明の第２の手技支援システムは、第１の手技支援システムにおいて、前記バーチャル画像上で前記被検体の病変部位領域を指定する病変部位領域指定手段をさらに有し、前記情報記憶制御手段は、前記切除面領域指定手段または前記病変部位領域指定手段が指定した前記領域の領域画像を前記参照画像として前記バーチャル画像と関連づけて前記記憶部に記憶させることを特徴とする。

本発明によれば、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１６は本発明の実施例１に係わり、図１は手技支援システムの構成を示す構成図、図２は図１の内視鏡の構成を示す図、図３は図１の手技支援システムの要部構成を示すブロック図、図４は図１のバーチャル画像生成部の手技前の作用を説明するフローチャート、図５は図４のフローチャートを説明する第１の図、図６は図４のフローチャートを説明する第２の図、図７は図４のフローチャートを説明する第３の図、図８は図４のフローチャートを説明する第４の図、図９は図１のデータベース部に構築されるデータベースを説明する図、図１０は図１のデータベース部に構築されるデータベースの変型例を説明する図、図１１は図１の手技支援システムの手技中の作用を説明するフローチャート、図１２は図１１のフローチャートでのバーチャル画像用モニタに表示される表示画像を示す第１の図、図１３は図１１のフローチャートでのバーチャル画像用モニタに表示される表示画像を示す第２の図、図１４は図１の手技支援システムの手技中の作用の変型例を説明するフローチャート、図１５は図１４のフローチャートでの内視鏡画像用モニタに表示される表示画像を示す第１の図、図１６は図１４のフローチャートでの内視鏡画像用モニタに表示される表示画像を示す第２の図である。

図１に示すように、本実施例の手技支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、被検体の体腔内を観察可能な観察手段としての内視鏡２、ＣＣＵ４、光源５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された内視鏡画像用モニタ１３及びバーチャル画像用モニタ１７ａを有して構成されている。

本実施例では内視鏡２として、図２に示すような腹腔鏡を用いている。この内視鏡（腹腔鏡）２は、被検体の腹腔内に挿入するための挿入部２ｂと、挿入部２ｂの基端側に設けられた把持部２ａとを有して構成される。挿入部２ｂの内部には照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能となっている。

把持部２ａにはライトガイドコネクタ２ｃが設けられ、該ライトガイドコネクタ２ｃには、一端が光源装置５に接続されたライトガイドケーブル２ｆ（図１参照）の他端に接続され、これにより、挿入部２ｂ内の照明光学系を介して光源装置５からの照明光を観察部位に照射できるようになっている。

把持部２ａに設けられた図示しない接眼部には、ＣＣＤ等の撮像手段を有するカメラヘッド２ｄが接続され、このカメラヘッド２ｄには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２ｇが設けられている。また、このカメラヘッド２ｄの基端側にはカメラケーブル２ｅが延設されており、カメラケーブル２ｅの他端にはＣＣＵ４に電気的に接続するための接続コネクタ（図示せず）が設けられている。

図１に戻り、内視鏡２は、手術時、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部を腹部領域に挿入して、ＣＣＤ等の撮像部により腹部領域を撮像し、撮像した撮像信号をカメラヘッド２ｄを介してＣＣＵ４に供給する。

ＣＣＵ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０に供給する。また、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４からＶＴＲ９に選択的に出力される。なお、システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドを介して前記内視鏡２に照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気メスプローブ（図示せず）による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源８は、超音波プローブ（図示せず）で前記異常部を切断あるいは凝固したりする手術処置装置である。

また気腹装置７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。

これらの光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述したＣＣＵ４、ＶＴＲ９、光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８等の各種機器の他にシステムコントローラ１０及び内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが配されている。
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、患者３０に対して図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが設置されるようになっている。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図３に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５，電気メス装置６，気腹装置７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の内視鏡画像用モニタ１３やバーチャル画像表示用のモニタ１７、あるいはバーチャル（仮想）画像用モニタ１７ａに表示される表示画像に対応したホワイトバランスボタン、気腹装置７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を生成する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際の３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。

したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び内視鏡画像用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡画像用モニタ１３に出力する。これにより、内視鏡画像用モニタ１３は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。

また、内視鏡画像用モニタ１３は、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡画像用モニタ１３の表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図３に示すように、ＣＴ画像等を格納するデータベース部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。

データベース部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。また、データベース部２３にはＣＴ画像データの他に該ＣＴ画像データより生成した生体の各部のレンダリング画像であるバーチャル画像も格納される。

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用のモニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用のモニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

また、本実施例では、内視鏡２の視野方向に基づくバーチャル画像を生成し表示するために、図２に示すように、内視鏡２の把持部２ａにセンサ３が設けられており、このセンサ３には、例えばジャイロセンサ等が収容されており、内視鏡２の腹部領域への挿入角度等の情報を検出し、センサ３の検出情報が図３に示すように通信Ｉ／Ｆ２６を介してバーチャル画像生成部１１に供給される。

なお、本実施例では、センサ３は有線にてバーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。

次にこのように構成された本実施例の作用について説明する。本実施例では、バーチャル画像生成部１１において、手技前に被検体のバーチャル画像を元に、例えば臓器切除を行う場合、図４に示すような処理を実行しバーチャル画像に重畳させる切除面のマーキング情報を生成し、該マーキング情報をデータベース部２３に登録する。

詳細には、ステップＳ１にて、キーボード１６等を用いて臓器を指定すると、図５に示すように指定した臓器のバーチャル画像１００を有するマーキング画面１０１がモニタ１７に表示され、マウス１５を用いたポインタ１０２による切除面マーキングボタン１０３の選択を待つ。

そして、切除面マーキングボタン１０２が選択されると、図６に示すような切除面指定画面１０３がモニタ１７に表示され、ステップＳ２にて、切除面指定画面１０３のバーチャル画像１００上で血管の配置を確認するか否かが、ポインタ１０２によるモニタ１７上の血管確認ボタン１０４の選択によりなされたかどうか判断し、血管確認ボタン１０４が選択されると、ステップＳ３にて切除面指定画面１０３のバーチャル画像１００上に血管レンダリング画像１０５が重畳表示され（図６参照）、ステップＳ４に進み、血管確認ボタン１０４が選択されない場合にはそのままステップＳ４に進む。

次に、ステップＳ４にて切除面指定画面１０３のトレース開始ボタン１０６がポインタ１０２により選択されると、切除面指定画面１０３のバーチャル画像１００上での切除面指定がポインタ１０２により可能となり、図７に示すようなマウス１５を用いた切除面の手動によるトレースが開始され、図８に示すような切除面マーキング画像１０７がバーチャル画像１００上に設定される。

そして、ステップＳ５にて切除面指定画面１０３の確定ボタン１０８がポインタ１０２により選択されたか否かを判断し、確定ボタン１０８が選択されない場合にはステップＳ２に戻り、確定ボタン１０８が選択されると、ステップＳ６にて切除面が確定し、切除面を示す切除面マーキング画像１０７をデータベース部２３に登録して処理を終了する。

これにより、データベース部２３には、図９に示すように、３次元画像データ（ＣＴ画像データ）からなるＣＴ画像データベース２３ａ，バーチャル画像１００からなるレンダリング画像データベース２３ｂ，切除面マーキング画像１０７及びバーチャル画像１００に対するマーキング相対情報等のマーキング情報からなるからなるマーキング情報データベース２３ｃが構築されることになる。

なお、図１０に示すように、データベース部２３においては、レンダリング画像データベース２３ｂにマーキング情報を含ませることで、ＣＴ画像データベース２３ａ及びレンダリング画像データベース２３ｂを構築するようにしてもよい。

このように、レンダリング画像データベース２３ｂ及びマーキング情報データベース２３ｃ構築した後に、術者による手技が開始され、カメラヘッド２ｄにより被検体内の観察像が撮像されると、図１１に示すように、ステップＳ１１にて内視鏡画像用モニタ１３に図１２に示すような内視鏡画像２００が表示される。そして、ステップＳ１２にてセンサ３による内視鏡２の腹部領域への挿入角度情報に基づいたバーチャル画像１００を生成し、図１２に示すようなバーチャル画像１００を術者用のバーチャル画像用モニタ１７ａに表示する。したがって、バーチャル画像１００は、リアルタイムに内視鏡画像に対応した支援画像となる。

そして、ステップＳ１３にて手技の進行に応じて術者が「マーキング表示」等の音声を発すると、ステップＳ１４にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識し、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、バーチャル画像１００への切除面マーキング画像１０７の重畳を指示する。

ＣＰＵ２５はステップＳ１５にてマーキング情報データベース２３ｃよりマーキング情報を読み出して、図１３に示すように、バーチャル画像１００との位置調整を行いバーチャル画像１００に切除面マーキング画像１０７を重畳表示する。

このように本実施例で、術中において、内視鏡画像用モニタ１３にはライブの内視鏡画像２００を表示し、バーチャル画像用モニタ１７ａには内視鏡画像に対応したリアルタイムで変遷するバーチャル画像を表示すると共に、手技の進行に応じた術者の指示に基づいて、例えば臓器切除を行う場合に、切除面マーキング画像１０７をバーチャル画像１００上に重畳させることで、術者は予め術前に検討したバーチャル画像を用いた切除面を容易に認識でき、切除面マーキング画像１０７に参照して臓器の切除処置を行うことができるので、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することが可能となる。

なお、本実施例では、切除面マーキング画像１０７をバーチャル画像１００上に重畳するとしたが、これに限らず、例えばトラカール３７に内視鏡２の挿入部の挿入量を検知するポテンションメータ等のエンコーダ（図示せず）を設け、内視鏡２の挿入部の挿入量に基づく内視鏡画像の倍率及びセンサ３による内視鏡２の腹部領域への挿入角度情報に基づき、内視鏡画像２００上に切除面マーキング画像１０７を重畳するようにしてもよい。

すなわち、図１４に示すように、ステップＳ２１にて、ＣＰＵ２５は図１５に示すような内視鏡画像用モニタ１３に表示されたライブの内視鏡画像２００に対して、内視鏡画像の挿入角度及び倍率を取得し、ステップＳ２２にて取得した挿入角度及び倍率に基づき切除面マーキング画像１０７を生成し、ステップＳ２３にて手技の進行に応じた術者の指示に基づいて、図１６に示すように内視鏡画像２００上に切除面マーキング画像１０７を重畳するようにしてもよい。

図１７ないし図２２は本発明の実施例２に係わり、図１７はバーチャル画像生成部の手技前の作用を説明するフローチャート、図１８は図１７のフローチャートを説明する第１の図、図１９は図１７のフローチャートを説明する第２の図、図２０は図１７のフローチャートを説明する第３の図、図２１は図１７のフローチャートを説明する第４の図、図２２は図１７のフローチャートを説明する第５の図である。

実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明する。

本実施例ではＣＰＵ２５は、手技に先立ち、手技前に被検体のバーチャル画像を元に、例えば臓器切除面あるいは腫瘍領域を自動抽出して、切除面及び腫瘍領域を示すマーキング画像及びバーチャル画像１００に対するマーキング相対情報等のマーキング情報をマーキング情報データベース２３ｃに登録する。

詳細には、図１７に示すように、ＣＰＵ２５は、ステップＳ３１にてキーボード１６等を用いて臓器を指定されると、図１８に示すように指定した臓器のバーチャル画像１００を有するマーキング画面１０１をモニタ１７に表示する。

そして、このマーキング画面１０１の切除マーキングボタン３００あるいは腫瘍マーキングボタン３０１がポインタ１０２により選択されたかどうかをステップＳ３２及びステップＳ３３より判断する。

切除マーキングボタン３００が選択されると、図１９に示すような切除面マーキング開始画面３０２をモニタ１７に表示し、ステップＳ３４にて切除面マーキング開始画面３０２において切除面の一端である開始点及び他端である終了点の２点の開始点が指定ボタン２５１及び終了点指定ボタン２５２を用いて入力されると、ステップＳ３５に進む。

ステップＳ３５では、切除面マーキング開始画面３０２の開始ボタン３０３の入力を待ち、開始ボタン３０３が選択されると、ステップＳ３６にて切除面の自動抽出がなされ、切除面マーキング画像の生成処理が開始される。

ステップＳ３６における切除面の自動抽出では、例えば図２０に示すように、バーチャル画像１００の所定の投影面４００上において指定した開始点（ｘ11，ｙ11）及び終了点（ｘ12，ｙ12）に対するバーチャル画像１００の仮想３次元空間上の開始点（ｘ21，ｙ21，ｚ21）及び終了点（ｘ22，ｙ22，ｚ22）を抽出し、臓器内の血管４０１を避けた曲線４０２を含む曲面を算出し、算出した曲面を切除面とした切除面マーキング画像１０７を生成し、図２１に示すようにバーチャル画像１００上に切除面マーキング画像１０７を重畳表示させる。

そして、ステップＳ３７にて切除面マーキング開始画面３０２の確定ボタン１０８がポインタ１０２により選択されたか否かを判断し、確定ボタン１０８が選択されない場合にはステップＳ３２に戻り、確定ボタン１０８が選択されると、ステップＳ３８にて切除面マーキング画像１０７をデータベース部２３に登録して処理を終了する。

一方、腫瘍マーキングボタン３０１が選択されると、ステップＳ３５において腫瘍領域の自動抽出がなされる。腫瘍領域の自動抽出では、ＣＴ画像データの濃淡を画像処理することで腫瘍の輪郭抽出し、図２２に示すように、モニタ１７に抽出した輪郭を腫瘍領域とした腫瘍マーキング画像５００としてバーチャル画像１００に重畳する。その他の処理は切除面マーキング画像１０７の自動生成及び登録と同じである。

このように本実施例では、実施例１の効果に加え、マーキング画像を自動生成することができる。また、切除面に限らず腫瘍領域もマーキングすることが可能であるあるので、腫瘍にアプローチして処置する場合に、このような腫瘍マーキング画像５００が腫瘍へのリアルタイムなナビゲーションとして利用できる。

なお、上記各実施例では、手技の進行に合わせてマーキング画像をバーチャル画像に重畳して手技の支援を行う例を説明したが、これに限らず、例えば臓器移植を行う際に、移植臓器摘出施設に設けたバーチャル画像生成部１１において、図２３に示すように、移植臓器の残存部６０１と移植部６０２とからなるバーチャル画像６０３を生成し、生成したバーチャル画像６０３を移植手技実施施設に通信等を用いて伝送することで、移植手技実施施設でバーチャル画像６０３を参照できるとようにしてもよい。

これにより、図２４に示すように、移植手技実施施設に設けたバーチャル画像生成部１１において、バーチャル画像６０３に基づき、被移植臓器のバーチャル画像６１０における残存部６１１と移植部６１２との境界を切除面マーキング画像１０７により指定し登録することが可能となり、この切除面マーキング画像１０７を用いることで、移植手技を効果的に支援することが可能となる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る手技支援システムの構成を示す構成図 図１の内視鏡の構成を示す図 図１の手技支援システムの要部構成を示すブロック図 図１のバーチャル画像生成部の手技前の作用を説明するフローチャート 図４のフローチャートを説明する第１の図 図４のフローチャートを説明する第２の図 図４のフローチャートを説明する第３の図 図４のフローチャートを説明する第４の 図１のデータベース部に構築されるデータベースを説明する図 図１のデータベース部に構築されるデータベースの変型例を説明する図 図１の手技支援システムの手技中の作用を説明するフローチャート 図１１のフローチャートでのバーチャル画像用モニタに表示される表示画像を示す第１の図 図１１のフローチャートでのバーチャル画像用モニタに表示される表示画像を示す第２の図 図１の手技支援システムの手技中の作用の変型例を説明するフローチャート 図１４のフローチャートでの内視鏡画像用モニタに表示される表示画像を示す第１の図 図１４のフローチャートでの内視鏡画像用モニタに表示される表示画像を示す第２の図 本発明の実施例２に係るバーチャル画像生成部の手技前の作用を説明するフローチャート 図１７のフローチャートを説明する第１の図 図１７のフローチャートを説明する第２の図 図１７のフローチャートを説明する第３の図 図１７のフローチャートを説明する第４の図 図１７のフローチャートを説明する第５の図 本発明が適用可能な移植手技における移植臓器のバーチャル画像の一例を示す図 本発明が適用可能な移植手技における被移植臓器のバーチャル画像の一例を示す図

符号の説明

１…手技支援システム
２…内視鏡、
３…センサ
４…ＣＣＵ
５…光源装置
６…電気メス装置
７…気腹装置
８…超音波駆動電源
９…ＶＴＲ
１０…システムコントローラ
１１…バーチャル画像生成部
代理人 弁理士 伊藤 進

Claims (2)

1. 被検体の体腔内を撮像する内視鏡と、
   前記内視鏡が撮像した内視鏡画像を生成する内視鏡画像生成手段と、
   前記被検体に関するバーチャル画像及び前記バーチャル画像に関連する参照画像を格納した記憶部より前記バーチャル画像及び前記参照画像を読み出す画像読み出し手段と、
   前記バーチャル画像または前記内視鏡画像の少なくとも一方に前記参照画像の重畳を指示する重畳指示手段と、
   前記重畳指示手段により指示された前記参照画像データの重畳を実行し合成画像を生成する合成画像生成手段と、
   前記バーチャル画像上で前記被検体の関心部位の切除面領域を指定する切除面領域指定手段と、
   前記切除面領域指定手段が指定した前記領域の領域画像を前記参照画像として前記バーチャル画像と関連づけて前記記憶部に記憶させる情報記憶制御手段と、
   前記切除面領域指定手段により前記被検体の関心部位の切除面領域を指定する際に、前記バーチャル画像上に血管バーチャル画像を選択的に重畳可能とする血管バーチャル画像重畳手段と、
   を具備し、
   前記切除面領域指定手段は、前記被検体の関心部位の切除面領域を指定する際に、前記血管バーチャル画像重畳手段により血管バーチャル画像が重畳された場合は、当該血管バーチャル画像が重畳されたバーチャル画像上において前記被検体の関心部位の切除面領域を指定可能とし、前記血管バーチャル画像重畳手段による血管バーチャル画像の重畳表示が選択されない場合は、血管バーチャル画像が重畳表示されない状態で前記バーチャル画像上において前記被検体の関心部位の切除面領域を指定可能とする
   ことを特徴とする手技支援システム。
2. 前記バーチャル画像上で前記被検体の病変部位領域を指定する病変部位領域指定手段をさらに有し、
   前記情報記憶制御手段は、前記切除面領域指定手段または前記病変部位領域指定手段が指定した前記領域の領域画像を前記参照画像として前記バーチャル画像と関連づけて前記記憶部に記憶させることを特徴とする請求項１に記載の手技支援システム。

Images