JP4533638B2 - バーチャル画像表示システム - Google Patents

Description

本発明は、内視鏡及び内視鏡処置具等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示することにより術者を支援するためのバーチャル画像表示システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元な３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元画像がある。気管支の３次元画像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているが一般的である。
特開２０００−１３５２１５号公報

従来より、腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や、関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。内視鏡の観察下で行う手術等は、内視鏡を操作する術者、鉗子処置を行う術者及び助手の術者の３人で行う場合があり、このような場合においても前記生体画像情報を必要に応じて全ての術者に対して迅速に提供することが望まれている。

しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の内視鏡システムと併用して実際の手術に使用することはできず、上述したように複数の術者によって手術を行う場合には、複数の術者に対して必要な被検体の情報を提供することはできない。

また、例えば実際に手術を行う内視鏡システムと、前記画像表示システムとを用いてシステムを構築することも考えられるが、手術中の全ての術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムはなく、実際にこのようなシステムを構築しようとすると、３次元画像を作成するのに必要な情報を得るためのセンサの内視鏡への装着によって内視鏡の操作部自体が重くなったり、また、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。

また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、内視鏡視野方向が限定される気管支などの体内の管路への内視鏡挿入時のナビゲーションには使い勝手が良いが、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡観察下においては、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができないといった不都合があった。

本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、内視鏡観察下において内視鏡観察画像の観察領域の被検体の生体画像情報を得て、必要に応じて手術中の複数の術者に対して確実に提供し得るバーチャル画像表示システムを提供することを目的とする。

上記目的を達成するために本発明の第１のバーチャル画像表示システムは、
被検体の体腔内に挿入可能である硬性な挿入部であると共に当該被検体像を観察可能な挿入部を有する内視鏡と、
前記被検体の処置を行うため前記内視鏡の当該体腔内への挿入位置とは異なる位置より当該被検体の体腔内に挿入可能な少なくとも１つの処置具と、
前記内視鏡の挿入部の観察方向を示す情報を検出する第１の検出手段と、
前記処置具の処置方向を示す情報を検出する第２の検出手段と、
予め作成された当該被検体に関する３次元的バーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記第１の検出手段により検出された前記内視鏡挿入部の観察方向を示す情報に基づき前記３次元的バーチャル画像データを処理して前記内視鏡の観察方向に対応する内視鏡対応バーチャル画像データを生成すると共に、前記第２の検出手段により検出された当該処置具の処置方向を示す情報に基づき前記３次元的バーチャル画像データを処理して当該処置具の処置方向に対応する処置具対応バーチャル画像データを生成するバーチャル画像データ処理手段と、
前記内視鏡観察画像をライブ画像として表示可能な第１の内視鏡観察画像用表示手段と、前記内視鏡対応バーチャル画像または前記処置具対応バーチャル画像を表示可能な第１のバーチャル画像表示手段とを並設した内視鏡操作者専用モニタと、
前記内視鏡操作者専用モニタとは異なる表示方向に配設されたモニタであって、前記内視鏡観察画像をライブ画像として表示可能な、前記第１の内視鏡観察画像用表示手段とは異なる第２の内視鏡観察画像用表示手段と、前記処置具対応バーチャル画像または前記内視鏡対応バーチャル画像を表示可能な第２のバーチャル画像表示手段とを並設した、少なくとも１つの処置具操作者専用モニタと、
前記第１の検出手段および前記第２の検出手段にそれぞれ対応して設けられ、前記第１のバーチャル画像表示手段および／または前記第２のバーチャル画像表示手段における表示モードを変更指示するスイッチ部と、
を具備し、
前記第１の検出手段または前記第２の検出手段にそれぞれ対応して設けられた前記スイッチ部のいずれかの変更指示がなされない場合は、前記第１のバーチャル画像表示手段には前記内視鏡対応バーチャル画像が、また、前記第２のバーチャル画像表示手段には、所定の処置具に対応した前記処置具対応バーチャル画像がそれぞれ表示され、前記第１の検出手段または前記第２の検出手段にそれぞれ対応して設けられた前記スイッチ部のうち、一のスイッチ部により同時表示モードへの変更指示がなされた場合は、前記第１のバーチャル画像表示手段および第２のバーチャル画像表示手段のいずれにも変更指示したスイッチ部に対応した内視鏡対応バーチャル画像または処置具対応バーチャル画像が表示される
ことを特徴とする。

本発明の第２のバーチャル画像表示システムは、第１のバーチャル画像表示システムにおいて、前記第１の検出手段または前記第２の検出手段にそれぞれ対応して設けられた前記スイッチ部のうち、一のスイッチ部により別表示モードへの変更指示がなされた場合は、前記第１のバーチャル画像表示手段には前記内視鏡対応バーチャル画像が、また、前記第２のバーチャル画像表示手段には、所定の処置具に対応した前記処置具対応バーチャル画像がそれぞれ表示されることを特徴とする。

本発明の第３のバーチャル画像表示システムは、第１または第２のバーチャル画像表示システムにおいて、前記内視鏡および前記処置具は、それぞれ被検体の対応箇所に装着されたトラカールを介して当該被検体の体腔内に挿入され、前記第１の検出手段は前記内視鏡挿入用のトラカールに、また、前記第２の検出手段は前記処置具挿入用のトラカールにそれぞれ配設されたことを特徴とする。
本発明の第４のバーチャル画像表示システムは、第１−第３のバーチャル画像表示システムにおいて、前記スイッチ部は、前記第１の検出手段および前記第２の検出手段にそれぞれ配設されたことを特徴とする。

本発明のバーチャル画像表示システムは、簡単な構成で且つ低コストで、内視鏡観察下において内視鏡観察画像の観察領域の被検体の生体画像情報を得て、必要に応じて手術中の複数の術者に対して確実に提供することができるといった利点がある。

以下、図面を参照して本発明の実施例を説明する。

図１乃至図９は本発明のバーチャル画像表示装置の第１実施例を示し、図１はバーチャル画像表示装置を備えた内視鏡システムの全体構成を示す概略構成図、図２は図１の内視鏡システムの全体構成を示すブロック図、図３は図１の内視鏡の外観構成を示す斜視図、図４は取付対象部が術者の腕部の場合の構成例を示す斜視図、図５はセンサを装着する取付対象部であるトラカールの外観構成を示す斜視図、図６は取付対象部の第１変形例を示す構成斜視図、図７は取付対象部の第２変形例を示す構成斜視図である。また、図８及び図９は本実施例のバーチャル画像表示装置の表示動作を説明するもので、図８はバーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャート、図９はＣＰＵによる音声制御処理を示すフローチャートをそれぞれ示している。

図１に示すように、本実施例のバーチャル画像表示装置１は、内視鏡システムと組み合わせて構成され、具体的には、観察手段としての内視鏡２、被検体の処置を行う少なくとも２つの第１、第２の処置具３８，３９、各センサ３ａ〜３ｃを前記内視鏡２及び第１、第２の処置具３８，３９にそれぞれ装着するための取付対象部３Ａ（例えばトラカール３７）、ＣＣＵ（カメラコントロールユニット）４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された３つの第１〜第３術者用モニタ３２，３４，３６を有している。

内視鏡２は、図３及び図４に示すような腹腔鏡を用いている。この腹腔鏡は、被検体の体腔内に挿入するための挿入部３７Ａと、挿入部３７Ａの基端側に設けられた把持部３７Ｂと、この把持部３７Ｂに設けられた接眼部３７Ｃとから構成される。また、挿入部３７Ａの内部には、照明観察光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能である。把持部３７Ｂには、ライトガイドコネクタ２ａが設けられている。このライトガイドコネクタ２ａには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置からの照明光により観察部位を照明する。

接眼部３７Ｃには、図４に示すようにＣＣＤを内蔵したカメラヘッド２Ａが接続される。このカメラヘッド２Ａには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２Ｂが設けられている。このカメラヘッド２Ａの後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。

このような内視鏡（腹腔鏡）２は、手術時、後述するセンサ３ａを装着するための取付対象部であるトラカール３７（図５参照）に挿通されて用いられるようになっている。
このトラカール３７は、図５に示すように、被検体の体腔内に挿入するための挿入部３７Ａ１と、挿入部３７Ａ１の基端側に設けられた本体部３７Ｂ１と、この本体部３７Ｂ１の外周上に延設された延設部３７ｂとを有しており、この延設部３７ｂ上に前記センサ３ａが装着されている。本体部３７Ｂ１には、送気用コネクタ７ａが設けられている。この送気用コネクタ７ａには、一端を気腹器７に接続された送気用チューブの他端に設けられたコネクタが接続される。これにより、気腹器７からの送気により腹腔内を膨らませて内視鏡２の視野や処置のための空間領域を確保する。

内視鏡２は、上記構成のトラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部３７Ａを腹部領域に挿入して、観察光学系を介して得られた腹腔内の観察像をカメラヘッド２Ａを介してＣＣＵ４に供給する。

ＣＣＵ４は、図２に示すように、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内の清潔域に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドケーブル内のライトガイドを介して内視鏡２に設けられた照明光学系に対して照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。

また、気腹器７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に空気を送気するものである。

これらの光源装置５，電気メス装置６，気腹器７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び第１〜第３術者用モニタ３２，３４，３６が配されている。
内視鏡の観察下で行う手術等は、図１に示すように、内視鏡２を操作する術者、鉗子処置を行う術者及び助手の術者の３人で行う場合があるが、本実施例のバーチャル画像表示装置１は、このような３人の術者による手術を行う場合に対応可能である。
例えば、鉗子等の第１の処置具３８を用いて患者３０の被検体の鉗子処置を行う術者を第１術者３１、前記内視鏡２を操作する術者を第２術者３３、第２処置具３９を用いて第１術者の補助作業を行う助手の術者を第３術者３５とし、第１〜第３術者３１，３３，３５は、例えば図１に示すような位置で処置を行うものとすると、本実施例では、第１〜第３術者３１，３３，３５の位置に対応した見やすい位置（視野方向）に、第１〜第３術者用モニタ３２，３４，３６が設置されるようになっている。

第１術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有し、第１術者３１の見やすい位置に設置されている。また、第２術者用モニタ３４は、内視鏡画像用モニタ１３ｂとこれに並設されるバーチャル画像用モニタ１７ｂとを有し、第２術者３３の見やすい位置に設置されている。さらに、第３術者用モニタ３６は、内視鏡画像用モニタ１３ｃとこれに並設されるバーチャル画像用モニタ１７ｃとを有し、第３術者３５の見やすい位置に設置されている。

また、本実施例では、内視鏡２及び第１、第２の処置具３８、３９の挿入方向に基づくバーチャル画像表示を生成し表示するために、第１〜第３術者３１，３３，３５の腕部や内視鏡２及び第１、第２処置具３８，３９をそれぞれ挿通するトラカール３７等の取付対象部３Ａにセンサ３ａ〜３ｃが装着されている。

これらのセンサ３ａ〜３ａは、例えばジャイロセンサ等のセンサがユニットに収容されており、トラカール３７などの取付対象部３Ａの腹部領域への挿入角度等の情報を検出し、それぞれ接続線１１ａを介して後述するバーチャル画像生成部１１に供給する。なお、各センサ３ａ〜３ｃは、接続線１１ａを介して前記バーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。

また、センサ３ａ〜３ｃには、術者によってバーチャル画像の表示モードの実行あるいは変更、切替え等の操作を行うための押しボタン式のスイッチ３Ｂが設けられている。なお、前記取付対象部３Ａの具体的な構成については後述する。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の参照用モニタ１３やバーチャル画像表示用のモニタ１７、あるいは第１〜第３術者用モニタ３２，３４，３６に表示される表示画像に対応したホワイトバランスボタン、気腹器７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャルエンドスコピー画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。なお、このリモコン１２Ａの各ボタンによる機能は、上述したセンサ３ａ〜３ｂ（図２参照）にそれぞれ設けられたスイッチ３Ｂを押下操作することにより実行することができるようになっている。
これらの各ボタンを備えたリモコン１２Ａあるいはスイッチ３Ｂを用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを切替部２１Ａを介して参照用モニタ１３及び後述する内視鏡画像用モニタ１３ａ〜１３ｃに出力する。これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。この場合、前記切替部２１Ａは、ＣＰＵ２０による切替え制御によって、内視鏡ライブ画像データの出力を切替えて、指定された前記参照用モニタ１３、内視鏡画像用モニタ１３ａ〜１３ｃに対し出力することが可能である。
また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃは、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

ＣＰＵ２０は、該システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃの表示制御、さらにはリモコン１２Ａあるいはスイッチ３Ｂの操作信号に基づく各種動作制御等を行う。

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。

バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、第１〜第３術者３１，３３，３５の取付対象部３Ａに設けられた各センサ３ａ乃至３ｂ及びスイッチ３Ｂに接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記各センサ３ａ〜３ｃからの各検出信号の受信、及びスイッチ３Ｂからの操作信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａ〜１７ｃに出力する。これにより、バーチャル画像用モニタ１３，１７ａ〜１７ｃは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用モニタ１３，１７ａ〜１７ｃに対し出力することが可能である。

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａ〜１７ｃの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

また、ＣＰＵ２５には、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、前記第１〜第３術者３１，３３，３５毎に設けられた各センサ３ａ〜３ｃからの検出結果に基づき、バーチャル画像をそれぞれ生成する画像処理手段を備えている。ＣＰＵ２５は、この画像処理手段を用いて生成された、各検出結果に応じたバーチャル画像、すなわち、内視鏡リアル画像に対応したバーチャル画像を、切替部２７Ａにより切替えて指定したモニタ１７、１７ａ〜１７ｃに表示させる表示制御を行う。

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

次に、前記取付対象部３Ａによるセンサの装着方法について図５を参照しながら説明する。
本実施例では、図５に示すように、センサ３ａ〜３ｃは、第１〜第３術者３１，３３，３５によりそれぞれ用いられる取付対象部３Ａとしてのトラカール３７に設けられている。このトラカール３７は、内視鏡２の他、第１、第２術者３１，３５によって用いられる第１、第２処置具３８，３９を挿通して装着することができるようになっている。

このようなトラカール３７は、上述したように本体部３７Ｂ１の外周上に延設された延設部３７ｂを有し、この延設部３７ｂ上にスイッチ３Ｂを有するセンサ３ａ（３ｂ，３ｃ）が装着されている。なお、このセンサ３ａ（３ｂ，３ｃ）は、図中に示す波線のように前記本体部３７Ｂ１の外周上に装着しても良く、あるいは図示はしないが本体部３７Ｂ１の外周に着脱自在に嵌合する延設部を設け、この延設部に装着するように構成しても良い。
したがって、このようにセンサ３ａ（３ｂ，３ｃ）をトラカール３７に装着することにより、このトラカール３７に挿通される内視鏡２や第１，第２処置具３８，３９の挿入方向がトラカール３７の挿入方向と略一致することになるので、各センサ３ａ〜３ｃによって内視鏡２及び第１，第２処置具３８，３９の挿入角度等の情報を検出することが可能となる。

また、本実施例では、前記取付対象部３Ａは、前記トラカール３７に替えて、図１及び図４に示すように、第１〜第３術者３１，３３，３５の腕部とし、この腕部に各センサ３ａ〜３ｃをそれぞれ装着しても良い。この場合、センサ３ａ〜３ｃは、袋状に形成された滅菌処理済みのテープ部材３Ｃにそれぞれ収容されて第１〜第３術者３１，３３，３５の腕部にそれぞれ貼着されるようになっている。したがって、この場合も第１〜第３術者３１，３３，３５の腕部の方向は、トラカール３７に挿通される内視鏡２のスコープ方向や第１，第２処置具３８，３９の挿入方向と類似するものであることから、上記同様に一致させることが可能となり、各センサ３ａ〜３ｃによって内視鏡２及び第１，第２処置具３８，３９の挿入角度等の情報を検出することが可能となる。

なお、本実施例では、前記取付対象部３Ａとして、例えば、図６の第１変形例に示すように、滅菌処理可能なワンタッチ式のアームバンド４０を設け、このアームバンド４０の内周面に前記テープ部材３Ｃに収容したセンサ３ａを取付けても良い。また、アームバンド４０自体が滅菌処理済みの袋状に形成されたものである場合には、テープ部材３Ｃに収容せずにセンサ３ａをその袋状のアームバンド４０に収容して動かないように固定すれば良い。
第１変形例では、このようなアームバンド４０は、両端に、着脱自在なマジックテープ（登録商標）状の凸部４０ａ、凹部４０ｂが設けられているので、第１〜第３術者３１，３３，３５によるセンサ３ａ〜３ｃの装着が容易となる。

また、本実施例では、前記取付対象部３Ａとして、例えば、図７の第２変形例に示すように、内視鏡（腹腔鏡）２を手術台４１に保持するとともに、自在に移動可能なスコープホルダ４２を用いても良い。
このスコープホルダ４２は、例えば図７に示すように、手術台４１に固定する固定部４３と、この固定部４３に固定される支持部４４と、この支持部４４に第１の腕部４６を上下方向に移動可能に支持する第１の接続部４５と、前記第１の接続部４５とは反対側に設けられ、スライド支持部４７Ａが回転自在に接続された第２の接続部４７と、前記スライド支持部４７Ａ上をスライド可能なスライド部４８を有し、このスライド部４８に伸縮可能に設けられた第２の腕部４９と、前記スライド部４８とは反対側に設けられ、内視鏡２を保持するための第３の接続部５０とを有している。この第３の接続部５０は、内視鏡２の把持部３７Ｂ（具体的には内視鏡２の挿入部３７Ａと把持部３７Ｂの境付近）を保持固定するための保持部５０Ａを有し、この保持部５０Ａにより内視鏡２を回転自在に保持している。

第２変形例のスコープホルダ４２では、前記第３の接続部５０の例えば側面側にテープ部材３Ｂに収容したセンサ３ａを取付けることにより、上述した図５に示すトラカール３７の構成例と同様に、保持部５０Ａにより保持される内視鏡２の挿入方向が第３の接続部の移動方向と略一致することになるので、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。

ところで、本実施例のバーチャル画像表示装置は、上述したセンサ３ａ（３ｂ，３ｃ）に設けられたスイッチ３Ｂ（あるいはリモコン１２Ａ）によって、バーチャル画像の表示モードの選択、実行、あるいは切替え操作が可能である。
例えば、第１〜第３術者３１，３３，３５のいずれかの術者が、バーチャル表示画像の表示モードの選択操作する場合には、前記スイッチ３Ｂ（図３参照）を適宜押下することにより、選択し実行する。
次に、このようなスイッチ操作により実行される本実施例のバーチャル画像表示装置の制御例を図８を参照しながら説明する。
最初に、本実施例のバーチャル画像表示装置の基本動作を説明する。
図１に示すバーチャル画像表示装置１を有する内視鏡システムを用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、該内視鏡システムの電源が投入されているものとすると、バーチャル画像生成部１１のＣＰＵ２５は、オペレータがマウス１５またはキーボード１６を用いてバーチャル画像表示の指示を受け付けると、図示しない記録部に記録されているバーチャル画像表示用プログラムを起動する。すると、ＣＰＵ２５は、バーチャル画像を表示するのに必要な画面をモニタ１７表示させる。

そして、オペレータは、このモニタ１７上に表示された画面を見ながら、例えば患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。なお、本実施例では、図示はしないが、第１，第２の処置具３８，３９についても同様にそれぞれ必要な情報を画面を見ながら入力する。

図示しない画像処理手段は、入力された情報に基づき、内視鏡２の挿入点及び注目点、第１、第２の処置具３８，３９の挿入点及び注目点に対応するバーチャル画像を生成する。ＣＰＵ２５は、生成されたバーチャル画像データをバーチャル画像用モニタ１７、及び第１〜第３術者用モニタ３２，３４，３６に表示する。この場合、バーチャル画像用モニタ１７には、主に内視鏡２に対応するバーチャル画像が表示されるが、これ以外にも第１、第２処置具３８，３９に対応するバーチャル画像を指定し表示させるようにしても良い。

このとき、手術を行っている第１〜第３術者側の第１〜第３術者用モニタ３２，３４，３６内の内視鏡画像用モニタ１３ａ〜１３ｃには、システムコントローラ１０のＣＰＵ２０の表示制御により、内視鏡ライブ画像が表示され、この表示を見ながら第１〜第３術者３１，３３，３５は手術を行うことになる。この場合、内視鏡２及び第１、第２の処置具３８，３９は、図５に示すようなトラカール３７にセンサ３ａ〜３ｃがセットされた状態にて使用されている。なお、センサ３ａ〜３ｃはトラカール３７に設けずにそれぞれの術者の腕部にテープ部３Ａにより装着するようにしても良い。

手術を行っている場合、本実施例では、バーチャル画像生成部１１のＣＰＵ２５は、内視鏡ライブ画像と一致するように、内視鏡２のセンサ３ａからの検出結果に基づきバーチャル画像をＣＰＵ２５内の画像処理手段によって生成し、生成した画像をモニタ１７及び第２術者用モニタ３４のバーチャル画像用モニタ１７ｂに表示させる。また、同時にＣＰＵ２５は、第１、第２の処置具３８，３９のセンサ３ｂ，３ｃからの検出結果に基づきバーチャル画像をＣＰＵ２５内の画像処理手段によってそれぞれ生成し、生成した画像を第１、第３術者用モニタ３２，３６のバーチャル画像用モニタ１７ａ，１７ｃにそれぞれ表示させる。

例えば、いま、手術中に、第２術者３４によって内視鏡２の挿入部の腹部領域に対する傾きが生じたものとする。この場合、参照用モニタ１３や内視鏡画像用モニタ１３ａ〜１３ｃに内視鏡２の傾きに応じた内視鏡ライブ画像が表示されているとすると、本実施例では、この内視鏡２の傾きがセンサ３ａによって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像をＣＰＵ２５内の画像処理手段によって生成し、生成した画像をモニタ１７及び第２術者用モニタ３４のバーチャル画像用モニタ１７ｂに表示させる。なお、ＣＰＵ２５は、第１，第２の処置具３８．３９についても同様に、各センサ３ａ，３ｃによる各検出結果に基づくバーチャル画像をＣＰＵ２５内の画像処理手段によってそれぞれ生成し、生成した画像を第１、第３術者用モニタ３２，３６のバーチャル画像用モニタ１７ａ，１７ｃにそれぞれ表示させる。
これにより、内視鏡２の挿入部や第１、第２の処置具３８，３９が傾いたときの内視鏡ライブ画像に対応する各バーチャル画像を、それぞれ対応するバーチャル画像用モニタ１７ａ〜１７ｂに表示させることができ、第１〜第３術者３１，３３，３５は内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることが可能となる。

次に、本実施例の制御例を説明すると、ＣＰＵ２５は、上記の如くそれぞれのバーチャル画像の表示中に、図８に示す検出プログラムを起動する。この検出プログラムは、術中に、スイッチ３Ｂによって術者の表示モードの変更指示要求があった場合に、この操作信号を検出し、検出結果に基づくバーチャル画像を表示するためのプログラムである。

ＣＰＵ２５は、ステップＳ１の判断処理にて常時スイッチ３Ｂによるスイッチ操作の有無を検出している。この場合、ＣＰＵ２５は、スイッチ３Ｂによるスイッチ操作があったと判断した場合には、続くステップＳ２の処理にて押下したスイッチ３Ｂ（第１〜第３術者３１，３３，３５のいずれかにより押下されたスイッチ３Ｂ）及びその操作指示内容（コマンド）を認識し、処理をステップＳ３の判断処理に移行する。一方、スイッチ操作がないものと判断した場合には、ＣＰＵ２５は、スイッチ３Ｂによるスイッチ操作があるまで継続して判断処理を行う。

そして、ＣＰＵ２５は、ステップＳ３の判断処理にて認識したスイッチ３Ｂによる操作指示内容（コマンド）が同時表示モードのものであるか否かを判別し、そうでない場合には処理を前記ステップＳ１に戻し、同時表示モードのものである場合にはステップＳ４に移行する。

そして、ＣＰＵ２５は、ステップＳ４の処理にて前記ステップＳ２による操作指示内容（コマンド）基づく表示切り替え処理を行う。つまり、ＣＰＵ２５は、スイッチ３Ｂによる操作指示内容（コマンド）が同時表示モードを示すコマンドであるので、ステップＳ４の処理にて、スイッチ３Ｂを押下した第１乃至第３の術者３１，３３，３５のいずれかの処置具に対応するバーチャル画像を、第１〜第３術者用モニタ３２，３４，３６のバーチャル画像用モニタ１７ａ〜１７ｃに出力表示させるように、図２に示す切替部２７Ａを制御する。これにより、各術者の視野方向に配されたバーチャル画像用モニタ１７ａ〜１７ｃには、スイッチ３Ｂを押下した術者の処置具（例えば内視鏡２と第１、第２の処置具３８，３９のいずれか１つの処置具）に対応するバーチャル画像が同時に表示されることになる。

また、本実施例のバーチャル画像表示装置１は、スイッチ３Ｂだけではなく、術者の音声によってもバーチャル表示モードを選択し実行することも可能である。このような音声入力による制御例を図９を参照しながら説明する。なお、図１及び図２に示す音声入力マイク１２Ｂは、第１〜第３術者３１，３３，３５全員に用いられているものとする。
ＣＰＵ２５は、内視鏡２及び第１、第２の処置具３８，３９の各センサ３ａ〜３ｃからの検出結果に基づくバーチャル画像の表示中に、図８に示す検出プログラムを起動する。この検出プログラムは、術中に、音声入力マイク１２Ｂによって術者の表示モードの変更指示要求があった場合に音声指示内容を検出し、検出結果に基づくバーチャル画像を表示するためのプログラムである。

ＣＰＵ２５は、ステップＳ１１の判断処理にて、システムコントローラ１０の通信Ｉ／Ｆ１８に対して送受信を行い、常時音声入力マイク１２Ｂによる音声入力の有無を検出している。この場合、ＣＰＵ２５は、音声入力マイク１２Ｂによる音声入力指示があったと判断した場合には、続くステップＳ１２の処理にて入力された音声入力マイク１２Ｂ（第１〜第３術者３１，３３，３５のいずれかの音声入力マイク１２Ｂ）及びその音声指示内容（コマンド）を認識し、処理をステップＳ３の判断処理に移行する。一方、音声入力指示がないものと判断した場合には、ＣＰＵ２５は、音声入力マイク１２Ｂによる音声入力指示があるまで継続して判断処理を行う。

そして、ＣＰＵ２５は、ステップＳ１３の判断処理にて認識した音声入力マイク１２Ｂによる音声指示内容（コマンド）が切り替え操作コマンドであるか否かを判別し、そうでない場合には処理を前記ステップＳ１１に戻し、切り替え操作コマンドである場合にはステップＳ１４に移行する。

そして、ＣＰＵ２５は、音声入力マイク１２Ｂによる音声指示内容（コマンド）が切り替え操作コマンドであるので、その音声指示内容に基づくバーチャル画像表示を行う用に制御する。例えば、ＣＰＵ２５は、音声入力マイク１２Ｂを用いて音声指示を与えた第１乃至第３の術者３１，３３，３５のいずれかの処置具に対応するバーチャル画像を、第１〜第３術者用モニタ３２，３４，３６のバーチャル画像用モニタ１７ａ〜１７ｃに出力表示させるように、図２に示す切替部２７Ａを制御する。これにより、各術者の視野方向に配されたバーチャル画像用モニタ１７ａ〜１７ｃには、音声入力マイク１２Ｂを用いて音声指示入力を行った術者の処置具（例えば内視鏡２と第１、第２の処置具３８，３９のいずれか１つの処置具）に対応するバーチャル画像が同時に表示されることになる。

したがって、本実施例によれば、スイッチ３Ｂによるスイッチ操作、あるいは音声入力マイク１２Ｂによる音声入力指示を行うだけで、各術者の視野方向に配されたバーチャル画像用モニタ１７ａ〜１７ｃに、スイッチ３Ｂによるスイッチ操作あるいは音声入力マイク１２Ｂによる音声指示入力を行った術者の処置具（例えば内視鏡２と第１、第２の処置具３８，３９のいずれか１つの処置具）に対応するバーチャル画像を自動的に同時に表示することができるので、術者は、手術をしながらも内視鏡観察画像の観察領域の被検体の生体画像情報（バーチャル画像）を確実に得られて手術を円滑に行うことが可能となり、使い勝手が良く、しかも簡単な構成で且つ低コストでバーチャル表示装置を実現できる。

また、本実施例では、内視鏡２や第１、第２の処置具３８，３９を挿通するトラーカール３７，あるいは第１〜第３術者の腕部にセンサ３ａが設けられているので、内視鏡２や第１、第２の処置具３８，３９の軽量化を図ることができるので、各処置の操作性を向上させることも可能である。

図１０は本発明のバーチャル画像表示装置の第２実施例を示し、バーチャル画像生成部のＣＰＵによる制御例を示すフローチャートである。なお、図１０は、前記第１実施例の図８に示す処理内容と同様なステップＳにおいては同一の符号を付して説明する。
本実施例のバーチャル画像表示装置は、前記第１実施例のバーチャル画像表示装置と略同様に構成されるが、前記ＣＰＵ２５によるバーチャル表示制御処理が異なっている。

本実施例のバーチャル画像表示装置による制御例を図１０を参照しながら説明する。

ＣＰＵ２５は、前記第１実施例と同様に内視鏡２及び第１、第２の処置具３８，３９の各センサ３ａ〜３ｃからの検出結果に基づくバーチャル画像の表示中に、図９に示す処理ルーチンを起動して、ステップＳ１の判断処理にて常時スイッチ３Ｂによるスイッチ操作の有無を検出している。この場合、ＣＰＵ２５は、スイッチ３Ｂによるスイッチ操作があったと判断した場合には、続くステップＳ２の処理にて押下したスイッチ３Ｂ（第１〜第３術者３１，３３，３５のいずれかにより押下されたスイッチ３Ｂ）及びその操作指示内容（コマンド）を認識し、処理をステップＳ２０の判断処理に移行する。一方、スイッチ操作がないものと判断した場合には、ＣＰＵ２５は、スイッチ３Ｂによるスイッチ操作があるまで継続して判断処理を行う。

そして、ＣＰＵ２５は、ステップＳ２０の判断処理にて認識したスイッチ３Ｂによる操作指示内容（コマンド）が別表示モードのものであるか否かを判別し、そうでない場合には処理を前記ステップＳ１に戻し、別表示モードのものである場合にはステップＳ４に移行する。

そして、ＣＰＵ２５は、ステップＳ４の処理にて前記ステップＳ２による操作指示内容（コマンド）基づく表示切り替え処理を行う。つまり、ＣＰＵ２５は、スイッチ３Ｂによる操作指示内容（コマンド）が別表示モードを示すコマンドであるので、ステップＳ４の処理にて、スイッチ３Ｂを押下したいずれかの第１〜第３術者３１，３３，３５に関わらず、第１〜第３術者３１，３３，３５により用いられている処置具に対応するそれぞれのバーチャル画像を、第１〜第３術者用モニタ３２，３４，３６のバーチャル画像用モニタ１７ａ〜１７ｃにそれぞれ出力表示させるように、図２に示す切替部２７Ａを制御する。これにより、各術者の視野方向に配されたバーチャル画像用モニタ１７ａ〜１７ｃには、その視野方向に対応する術者の処置具（例えば内視鏡２、第１、第２の処置具３８，３９）に対応する各バーチャル画像がそれぞれ表示されることになる。

なお、本実施例においても、前記第１実施例と同様に音声入力マイク１２Ｂを用いて上記同様にバーチャル表示制御を行うようにしても良い。

したがって、本実施例によれば、スイッチ３Ｂによるスイッチ操作、あるいは音声入力マイク１２Ｂによる音声入力指示を行うだけで、各術者の視野方向に配されたバーチャル画像用モニタ１７ａ〜１７ｃに、各術者の処置具（内視鏡２、第１、第２の処置具３８，３９）に対応するバーチャル画像を別々に表示することができるため、手術を円滑に行うことが可能となる。その他の効果は前記第１実施例と同様である。

なお、発明に係る第１，第２実施例において、前記内視鏡２は、挿入部の先端部が自在に湾曲可能な湾曲部を有する内視鏡であっても良い。この場合、前記センサ３ａに前記湾曲部の湾曲角度を検出する機能を設ければ、この湾曲部の湾曲角度に応じたバーチャル画像の表示が可能となる。また、センサ３ａを収容するユニットに磁気センサを設けるとともに、この磁気センサに磁気を照射する手段を設ければ、ＣＰＵ２５による演算処理によって内視鏡２の挿入量も検出することができ、すなわち、内視鏡２及び第１，第２の処置具３８，３９の挿入量に基づくバーチャル画像を表示することも可能である。この場合、磁気センサではなく、ロータリーエンコーダを用いて内視鏡２及び第１，第２の処置具３８，３９の挿入量を検出するように構成しても良い。

なお、本発明は、上述した第１，第２実施例及び変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

［付記］
（１）被検体像を観察可能な挿入部を有する内視鏡と、
前記被検体の処置を行う少なくとも１つ以上の処置具と、
前記内視鏡の挿入部の観察方向を示す情報を検出する第１の検出手段と、
前記処置具の処置方向を示す情報を検出する第２の検出手段と、
前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記第１、第２の検出手段により検出された情報に基づき前記バーチャル画像データを処理して前記第１、第２の検出手段に対応する第１、第２のバーチャル画像データを生成するバーチャル画像データ処理手段と、
前記第１、第２のバーチャル画像データに基づく第１、第２のバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能な第１、第２のバーチャル画像表示手段と、
前記バーチャル画像データ処理手段からの第１、第２のバーチャル画像データを選択的に切替えて前記第１、第２のバーチャル画像表示手段に出力可能な切替え手段と、
前記切替え手段を制御する制御手段と、
を具備したことを特徴とするバーチャル画像表示装置。

（２）前記第１、第２の検出手段は、前記第１、第２のバーチャル画像表示手段の表示モードを指示するための操作部を有していることを特徴とする付記（１）に記載のバーチャル画像表示装置。

（３）前記制御手段は、前記操作部による操作に基づいて、前記第１、第２のバーチャル画像データのいずれか１つのバーチャル画像データに基づくバーチャル画像を前記第１、第２のバーチャル画像表示手段に表示するように前記切替え手段を制御することを特徴とする付記（２）に記載のバーチャル画像表示装置。

（４）前記制御手段は、前記操作部による操作に基づいて、前記第１、第２のバーチャル画像データに基づく第１、第２のバーチャル画像を、前記第１、第２のバーチャル画像表示手段にそれぞれ表示するように前記切替え手段を制御することを特徴とする付記（２）に記載のバーチャル画像表示装置。

（５）前記第１、第２の検出手段は、ジャイロセンサと、前記操作部であるスイッチとを有するセンサユニットで構成されたもので、これらのセンサユニットは、前記内視鏡及び処置具を挿通させるそれぞれのトラカールに設けられていることを特徴とする付記（２）に記載のバーチャル画像表示装置。

（６）前記センサユニットは、滅菌処理済みの袋状のテープ部に収容されたもので、このテープ部は、前記内視鏡を操作する術者と、前記第１、第２の処置具を用いて処置を行う術者とのそれぞれ腕部に貼着されたことを特徴とする付記（５）に記載のバーチャル画像表示装置。

（７）前記内視鏡を、術者の操作により上下左右方向に移動可能に保持するスコープホルダを備え、このスコープホルダと内視鏡との接続部分に前記センサユニットを設けたことを特徴とする付記（５）に記載のバーチャル画像表示装置。

（８）前記内視鏡を操作する術者と、前記処置具を用いて処置を行う術者とにより発生した音声を入力するための音声入力マイクを術者毎に設け、前記制御手段は、前記音声入力マイクにより得られた音声指示に基づき、前記切替え手段を制御することを特徴とする付記（１）に記載のバーチャル画像表示装置。

本発明のバーチャル画像表示装置は、簡単な構成で且つ低コストで、内視鏡観察下において内視鏡観察画像の観察領域の被検体の生体画像情報を得て、必要に応じて手術中の複数の術者に対して確実に提供することができるので、内視鏡を操作する術者、第１、第２の処置具を用いて鉗子処置を行う術者及び助手の術者によって手術を行う場合に特に有効である。

本発明のバーチャル画像表示装置の第１実施例を示し、装置を備えた内視鏡システムの全体構成を示す概略構成図。 図１の内視鏡システムの全体構成を示すブロック図。 図１の内視鏡の外観構成を示す斜視図。 取付対象部が術者の腕部の場合の構成例を示す斜視図。 センサを装着する取付対象部であるトラカールの外観構成を示す斜視図 取付対象部の第１変形例を示す構成斜視図。 取付対象部の第２変形例を示す構成斜視図。 本実施例の表示動作を説明するもので、バーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャート。 本実施例の表示動作を説明するもので、ＣＰＵによる音声制御処理を示すフローチャート。 本発明のバーチャル画像表示装置の第１実施例を示し、バーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャート。

符号の説明

１…バーチャル画像表示装置、
２…内視鏡、
２Ａ…カメラヘッド、
２Ｂ…リモートスイッチ、
２ａ…ライトガイドコネクタ、
３Ａ…取付対象部、
３Ｂ…スイッチ、
３Ｃ…テープ部材、
３ａ〜３ｃ…センサ、
４…ＣＣＵ、
５…光源装置、
６…電気メス装置、
７…気腹器、
８…超音波駆動電源、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャル画像生成部、
１１ａ…接続線、
１２Ａ…リモコン、
１２Ｂ…音声入力マイク
１３…参照用モニタ、
１３ａ〜１３ｃ…内視鏡画像用モニタ、
１５…マウス、
１６…キーボード、
１７…モニタ、
１７ａ〜１７ｃ…バーチャル画像用モニタ、
２４…メモリ、
２４、２５…ＣＰＵ、
２７Ａ…切替部、
３０…患者、
３１…第１術者、
３２…第１術者用モニタ、
３３…第２術者、
３４…第２術者用モニタ、
３５…第３術者、
３６…第３術者用モニタ、
３７…トラーカール、
３７Ａ…挿入部、
３７Ｂ…把持部、
３７Ｃ…接眼部、
３７Ａ１…挿入部、
３７Ｂ１…本体部、
３７ｂ…延設部、
３８…第１の処置具、
３９…第２の処置具、
４０…アームバンド、
４１…手術台、
４２…スコープホルダ、
５０Ａ…保持部。

代理人 弁理士 伊藤 進

Claims (4)

1. 被検体の体腔内に挿入可能である硬性な挿入部であると共に当該被検体像を観察可能な挿入部を有する内視鏡と、
   前記被検体の処置を行うため前記内視鏡の当該体腔内への挿入位置とは異なる位置より当該被検体の体腔内に挿入可能な少なくとも１つの処置具と、
   前記内視鏡の挿入部の観察方向を示す情報を検出する第１の検出手段と、
   前記処置具の処置方向を示す情報を検出する第２の検出手段と、
   予め作成された当該被検体に関する３次元的バーチャル画像データを記憶するバーチャル画像データ記憶手段と、
   前記第１の検出手段により検出された前記内視鏡挿入部の観察方向を示す情報に基づき前記３次元的バーチャル画像データを処理して前記内視鏡の観察方向に対応する内視鏡対応バーチャル画像データを生成すると共に、前記第２の検出手段により検出された当該処置具の処置方向を示す情報に基づき前記３次元的バーチャル画像データを処理して当該処置具の処置方向に対応する処置具対応バーチャル画像データを生成するバーチャル画像データ処理手段と、
   前記内視鏡観察画像をライブ画像として表示可能な第１の内視鏡観察画像用表示手段と、前記内視鏡対応バーチャル画像または前記処置具対応バーチャル画像を表示可能な第１のバーチャル画像表示手段とを並設した内視鏡操作者専用モニタと、
   前記内視鏡操作者専用モニタとは異なる表示方向に配設されたモニタであって、前記内視鏡観察画像をライブ画像として表示可能な、前記第１の内視鏡観察画像用表示手段とは異なる第２の内視鏡観察画像用表示手段と、前記処置具対応バーチャル画像または前記内視鏡対応バーチャル画像を表示可能な第２のバーチャル画像表示手段とを並設した、少なくとも１つの処置具操作者専用モニタと、
   前記第１の検出手段および前記第２の検出手段にそれぞれ対応して設けられ、前記第１のバーチャル画像表示手段および／または前記第２のバーチャル画像表示手段における表示モードを変更指示するスイッチ部と、
   を具備し、
   前記第１の検出手段または前記第２の検出手段にそれぞれ対応して設けられた前記スイッチ部のいずれかの変更指示がなされない場合は、前記第１のバーチャル画像表示手段には前記内視鏡対応バーチャル画像が、また、前記第２のバーチャル画像表示手段には、所定の処置具に対応した前記処置具対応バーチャル画像がそれぞれ表示され、前記第１の検出手段または前記第２の検出手段にそれぞれ対応して設けられた前記スイッチ部のうち、一のスイッチ部により同時表示モードへの変更指示がなされた場合は、前記第１のバーチャル画像表示手段および第２のバーチャル画像表示手段のいずれにも変更指示したスイッチ部に対応した内視鏡対応バーチャル画像または処置具対応バーチャル画像が表示される
   ことを特徴とするバーチャル画像表示システム。
2. 前記第１の検出手段または前記第２の検出手段にそれぞれ対応して設けられた前記スイッチ部のうち、一のスイッチ部により別表示モードへの変更指示がなされた場合は、前記第１のバーチャル画像表示手段には前記内視鏡対応バーチャル画像が、また、前記第２のバーチャル画像表示手段には、所定の処置具に対応した前記処置具対応バーチャル画像がそれぞれ表示される
   ことを特徴とする請求項１に記載のバーチャル画像表示システム。
3. 前記内視鏡および前記処置具は、それぞれ被検体の対応箇所に装着されたトラカールを介して当該被検体の体腔内に挿入され、
   前記第１の検出手段は前記内視鏡挿入用のトラカールに、また、前記第２の検出手段は前記処置具挿入用のトラカールにそれぞれ配設された
   ことを特徴とする請求項１または２に記載のバーチャル画像表示システム。
4. 前記スイッチ部は、前記第１の検出手段および前記第２の検出手段にそれぞれ配設された
   ことを特徴とする請求項１−３の何れか一項に記載のバーチャル画像表示システム。

Images