JP4546043B2

JP4546043B2 - バーチャル画像表示装置

Info

Publication number: JP4546043B2
Application number: JP2003139521A
Authority: JP
Inventors: 征哉藤田; 正一五反田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-05-16
Filing date: 2003-05-16
Publication date: 2010-09-15
Anticipated expiration: 2023-05-16
Also published as: JP2004337463A

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡及び内視鏡処置具等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示して術者を援助可能なバーチャル画像表示装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【０００７】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【００１０】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の清潔域である内視鏡システムと併用して実際の手術に使用することはできず、つまり、術者に対して必要な被検体の情報を提供することはできない。
【００１１】
また、例えば実際に手術を行う清潔域の内視鏡システムと、非清潔域の前記画像表示システムをオペレータ側に配置してシステムを構築することも考えられるが、手術中の術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムは未だに提案されてはおらず、実際にこのようなシステムを構築しようとすると、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。
【００１２】
また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、この３次元画像を表示することはできるが、上述したようにこの３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示して、気管支内視鏡を目的部位にナビゲーションする目的のものであって、内視鏡視野方向が限定される気管支などの体内の管路への内視鏡挿入時のナビゲーションには使い勝手が良いが、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡の挿入方向が限定されない体腔内のバーチャル画像を見たい症例には使い勝手が悪く、つまり、腹腔鏡を含む内視鏡支システムには適合してはいないといった不都合があった。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明のバーチャル画像表示装置は、腹部領域の被検体像を観察可能な内視鏡と、前記内視鏡の観察方向を検出する方向情報検出手段と、前記被検体に対する前記内視鏡の挿入状態を検出する挿入情報検出手段と、前記内視鏡で得られた前記腹部領域の被検体像を表示可能な第１の画像表示手段と、前記内視鏡で得られた前記腹部領域の被検体像を前記第１の画像表示手段に表示させるシステムコントローラと、前記腹部領域の被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記システムコントローラと接続され、前記バーチャル画像データ記憶手段に記憶された前記バーチャル画像データに基づきバーチャル画像データを生成するバーチャル画像生成部と、前記バーチャル画像生成部により生成した前記バーチャル画像データを表示可能な第２の画像表示手段と、前記バーチャル画像生成部に接続され、前記内視鏡の観察方向及び挿入状態の情報を入力するための操作手段と、を具備し、前記バーチャル画像生成部は、前記第２の画像表示手段による前記バーチャル画像データの表示中に、前記操作手段により前記内視鏡の観察方向及び挿入状態の情報が入力された場合、入力された前記情報に基づくバーチャル画像データを生成して前記第２の画像表示手段に表示させた後、前記方向情報検出手段及び前記挿入情報検出手段の情報に基づき、前記第１の画像表示手段により表示されている前記腹部領域の被検体像と一致するように前記バーチャル画像データを生成して前記第２の画像表示手段に表示させることを特徴とするものである。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１８】
（構成）
図１乃至図９は本発明のバーチャル画像表示装置の一実施の形態を示し、図１は該装置を備えた内視鏡システムの全体構成を示すブロック図、図２は図１の湾曲内視鏡の構成示すもので、図２（ａ）は外観図、図２（ｂ）は手元操作近傍の外観図、図２（ｃ）は湾曲部近傍の外観図である。また、図３は図１の先端部曲げ角度検出部の具体的な構成を示す構成図、図４は図１の挿入量検出部の具体的な構成を示す構成図、図５は図２に示す湾曲内視鏡の使用時のセット方法を説明するための説明図、図６乃至図９は本実施の形態となるバーチャル画像表示装置の表示動作を説明するためのもので、図６は図１のモニターの表示画面の一例のバーチャル画像表示画面を示す画面表示図、図７は傾きセンサーの検出結果に応じた表示例を示し、図７（ａ）は傾き検出前の内視鏡ライブ画像を示す画面表示図、図７（ｂ）は傾き検出前のバーチャル画像表示画面を示す画面表示図、図７（ｃ）は傾き検出後の内視鏡ライブ画像を示す画面表示図、図７（ｄ）は傾き検出後のバーチャル画像表示画面を示す画面表示図、図８は挿入量検出部の検出結果に応じた表示例を示し、図８（ａ）は内視鏡挿入移動前のバーチャル画像表示画面を示す画面表示図、図８（ｂ）は内視鏡挿入移動後の傾き検出前のバーチャル画像表示画面を示す画面表示図、図９は先端曲げ角度検出部の検出結果に応じた表示例を示し、図９（ａ）は湾曲部先端曲げ前のバーチャル画像表示画面を示す画面表示図、図９（ｂ）は湾曲部先端曲げ後のバーチャル画像表示画面を示す画面表示図をそれぞれ示している。
【００１９】
図１に示すように、本実施の形態のバーチャル画像表示装置１は、内視鏡システムとして構成されたもので、先端部に湾曲部３０ａを備えた湾曲内視鏡２、ＴＶカメラ４、光源５、気腹器６、電気メス７、超音波処置部８、ＶＴＲ９、システムコントローラ１０、バーチャルエンドスコピー画像生成部１１、リモコン１２、内視鏡ライブ画像表示用のモニター１３、マウス１５、キーボード１６及びバーチャル画像表示用のモニター１７を含んで構成されている。
【００２０】
湾曲内視鏡２は、患者の腹部領域内に挿入して該腹部領域内の被検体を撮像するための挿入部先端部３０ｂが湾曲可能な湾曲部３０ａを備えた腹腔鏡として構成されたもので、本実施の形態では、図１に示すように、先端曲げ角度検出部２Ａと、挿入量検出部２Ｂと、撮像部２Ｃと、傾斜角センサー３ａを有するセンサーユニット３とを備えて構成されている。
【００２１】
湾曲内視鏡２の外観構成は、例えば図２（ａ）に示すように、患者の腹部領域内に挿入する挿入部３０と、該挿入部３０の先端部３０ｂが自在に湾曲可能に構成された湾曲部３０ａと、術者の手によって該内視鏡の各種操作するための手元操作部３１と、この手元操作部３１の後端側に延設されるユニバーサルコード３２と、このユニバーサルコード３２内に配されたライトガイド（図示せず）を光源５に電気的に接続するためのコネクタ３３と、前記ユニバーサルコード３２内の信号ケーブル（図示せず）をＴＶカメラ４等及びシステムコントローラ１０に電気的に接続するための接続コネクタ３４等を含んで構成されている。
【００２２】
前記湾曲部３０ａは、図２（ｃ）に示すように、挿入部３０の先端部３０ｂが自在に湾曲可能に構成されている。この先端部３０ｂにはＣＣＤ等の被検体を撮像するための撮像部２Ｃが内装されている。
【００２３】
このような湾曲部３０ａを有する湾曲内視鏡２では、図２（ｂ）に示すように、前記手元操作部３１の中央近傍に回転可能なレバー３１ａが装着されており、該レバー３１ａを適宜回転させることにより、この回転操作に基づき撮像部２Ｃを備えた先端部３０ｂが湾曲部３０ａを介して湾曲するようになっている。
【００２４】
また、前記撮像部２Ｃは、図示はしないが挿入部３０の先端部３０ｂ内に内装されたＣＣＤと、該ＣＣＤからの撮像信号取り込み出力するカメラヘッドとを備えて構成されている。
【００２５】
このような構成の湾曲内視鏡２は、前記挿入部３０を患者体内の腹部領域に挿入して、撮像部２Ｃにより該腹部領域を撮像し、撮像した撮像信号をカメラヘッドを介してＴＶカメラ４に供給する。このＴＶカメラ４は、前記内視鏡２に着脱自在に装着された外付けのＴＶカメラ４であっても良い。
【００２６】
また、このとき、本実施の形態の湾曲内視鏡２では、前記先端曲げ角度検出部２Ａによって、湾曲部３０ａの曲げ角度が検出され、検出結果がバーチャルエンドスコピー画像生成部１１に供給される。また、同時に前記挿入量検出部２Ｂによって、該湾曲内視鏡２の挿入部３０の腹部領域への挿入量が検出され、検出結果が前記同様にバーチャルエンドスコピー画像生成部１１に供給される。さらに、該湾曲内視鏡２とは着脱自在に設けられるセンサーユニット３の傾斜角センサー３ａによって、腹部領域に挿入された該湾曲内視鏡２の挿入部３０の傾斜角を検出し、検出結果が同様にバーチャルエンドスコピー画像生成部１１に供給される。なお、前記先端曲げ角度検出部２Ａ及び前記挿入量検出部２Ｂの具体的な構成については後述する。
【００２７】
ＴＶカメラ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内の清潔域に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡にライブ画像の静止画あるいは動画に基づく画像データがＴＶカメラ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。
【００２８】
ＶＴＲ９は、周知のようにシステムコントローラ１０の制御により、前記ＴＶカメラ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。
【００２９】
光源５は、前記内視鏡２に白色光を供給するための光源装置である。また気腹器６は、図示はしないが送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
【００３０】
電気メス７は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具であり、超音波処置部８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具である。
【００３１】
これらの光源５，電気メス７及び超音波処置部８は、前記システムコントローラ１０と電気的に接続されており、該システムコントローラ１０によってその駆動が制御されるようになっている。
【００３２】
一方、手術室内の清潔域には、上述した内視鏡システムの他にシステムコントローラ１０が配されている。このシステムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図１に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを含んで構成されている。
【００３３】
通信Ｉ／Ｆ１８は、前記ＴＶカメラ４、光源５、気腹器６、電気メス７、超音波処置部８、ＶＴＲ９及び後述するバーチャルエンドスコピー画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２が電気的に接続されており、該リモコン１２の操作指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。
【００３４】
このリモコン１２は、図示はしないが例えば内視鏡ライブ画像用のモニター１３あるいはバーチャル画像表示用のモニタ１７に表示される表示画像に対応したホワイトバランスボタン、気腹器６を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル表示を実行するための表示ボタン、バーチャルエンドスコピー画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャルエンドスコピー画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャルエンドスコピー画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を設けて構成されている。
【００３５】
これらの各ボタンを備えたリモコン１２によって、術者は所望する情報が迅速に得られるように操作することになる。
【００３６】
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。
【００３７】
表示Ｉ／Ｆ２１は、前記ＴＶカメラ４、ＶＴＲ９及びモニター１３に電気的に接続されており、ＴＶカメラ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データをモニター１３に出力することにより、該モニター１３はこの内視鏡ライブ画像を表示させる。
【００３８】
また、前記モニター１３は、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。
【００３９】
ＣＰＵ２０は、該システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、モニタ１３の表示制御、さらにはリモコン１２の操作信号に基づく各種動作制御等を行う。
【００４０】
一方、前記システムコントローラ１０の近傍にはバーチャルエンドスコピー画像生成部１１が配されている。
【００４１】
バーチャルエンドスコピー画像生成部１１は、図１に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７を含んで構成されている。
【００４２】
ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。
【００４３】
メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャルエンドスコピー画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。
【００４４】
通信Ｉ／Ｆ２６は、前記システムコントローラ２６の通信Ｉ／Ｆ１８、前記湾曲内視鏡２の先端曲げ角度検出部２Ａ、挿入量検出部２Ｂ、センサユニット３の傾斜角センサー３ａと電気的に接続されており、該バーチャルエンドスコピー画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記湾曲内視鏡２からの各検出信号の受信を行うもので、ＣＰＵ２５によって制御され、該ＣＰＵ２５内に取り込まれるようになっている。
【００４５】
表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャルエンドスコピー画像をモニター１７に送信するもので、この表示Ｉ／Ｆ２７に接続されたモニター１７は、供給されたバーチャルエンドスコピー画像を表示させる。
【００４６】
前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、後述するバーチャル画像表示方法を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
【００４７】
ＣＰＵ２５は、該バーチャルエンドスコピー画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ−１７の表示制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００４８】
また、ＣＰＵ２５には、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて前記湾曲内視鏡２内の先端折り曲げ角度検出部２Ａ，挿入量検出部２Ｂ及び傾斜角センサー３ａからの検出結果に基づき、バーチャルエンドスコピー画像を生成する画像処理手段を備え、この画像処理手段を用いて生成された、各検出結果に応じたバーチャルエンドスコピー画像、すなわち、内視鏡リアル画像に対応したバーチャルエンドスコピー画像をモニター１７に表示させる表示制御を行う。
【００４９】
次に、本実施の形態の湾曲内視鏡２に搭載された先端折り曲げ検出部２Ａ及び挿入量検出部２Ｂの具体的な構成を図３及び図４を参照しながら詳細に説明する。
【００５０】
まず、前記先端折り曲げ検出部２Ａについて説明すると、該先端折り曲げ検出部２Ａは、図３に示すように、手元操作部３１の外周の一部に装着され、湾曲部３０ａの湾曲動作を操作するためのレバー３１ａと連動する回転角センサ２Ａ１を備えて構成されている。
【００５１】
この回転センサ２Ａ１は、湾曲部３０ａを湾曲動作する際に、レバー３１ａの回転角を検出し、図１に示すように、検出結果をバーチャルエンドスコピー生成部１１の通信Ｉ／Ｆ２６に供給する。すなわち、レバー３１ａの回転角と湾曲部３０ａの折り曲げ角度とは同期（一致）するようになっており、該レバー３１ａの回転角を検出することにより、湾曲部３０ａの先端折り曲げ角度を検出することができる。
【００５２】
また、前記挿入量検出部２Ｂは、図４に示すように、前記湾曲内視鏡２の挿入部３０を挿通可能とする構造に構成されており、具体的には、該挿入部３０の外周面と接触しながら回転可能に設けられた一対のローラ４１と、この一対のローラ４０を回転可能に保持するとともに、このローラ４１の回転量（移動距離）を検出し、検出結果を得るロータリーエンコーダ４０と、このロータリーエンコーダ４０を内周側に固定する筒状のトラカール２ｂとを備えて構成されている。
【００５３】
すなわち、前記挿入量検出部２Ｂは、トラカール２ｂ内に該湾曲内視鏡２の挿入部３０を挿通後、例えば患者５１の腹部領域に挿入した際の数値をゼロとなるようにリセットすれば、図５に示すように、該挿入部３０を徐々に腹部領域内に挿入すると同時に該挿入部３０の挿入量を検出することができる。そして、この検出結果は上述したようにバーチャルエンドスコピー生成部１１の通信Ｉ／Ｆ２６に供給される。
【００５４】
ところで、上記湾曲内視鏡２を実際に腹部領域の手術に使用する際には、該湾曲内視鏡２にセンサユニット３及び挿入量検出部２Ｂを装着する必要がある。また、湾曲部内視鏡２の傾斜角等を高精度に検出するためには、極力術者の手ブレを軽減し固定することが望まれる。
【００５５】
そこで、本実施の形態では、図５に示すように、固定ユニットであり、湾曲内視鏡２のカメラヘッド(図示せず）を挟み込んで固定する一対のユニット部材３５，３６と、これらのユニット部材３５，３６にセンサユニット３（図１参照）を装着するためのユニット部材３７とを用いて湾曲内視鏡２をセットしている。
【００５６】
例えば、湾曲内視鏡２をセットする場合に、先ず、固定ユニットのユニット部材３５に湾曲内視鏡２のカメラヘッド（図示せず）を載せ、その後、ユニット部材３６を前記カメラヘッドを挟み込むように装着する。そして、このユニット部材３６の上側にセンサユニット３（図１参照）を載せ、ユニット部材３７をこのセンサユニット３の上側から前記ユニット部材３５，３６に嵌合することにより、固定される。そして、術者５０は、患者５１の腹部領域内に挿入部３０を挿入する際に、図５に示すように、該挿入部３０を上述した挿入量検出部２Ｂを構成するトラカール２ｂ（図４参照）内に挿通してセットすることで、患者５１の腹部領域に対する手術の準備を完了することになる。
【００５７】
次に、上記構成のバーチャル画像表示装置１の特徴となる表示画面を図６を参照にしながら説明する。
【００５８】
本実施の形態では、バーチャルエンドスコピー画像生成部１１において、オペレータのマウス１５やキーボード１５、あるいは術者のリモコン１２の操作により、操作指示があると、該バーチャルエンドスコピー画像生成部１１のＣＰＵ２５は、前記モニター１７上に、例えば該ＣＰＵ２５内に記憶されたバーチャル画像表示ソフトを駆動させ、図６に示すバーチャル画像表示画面１７Ａを表示させる。
【００５９】
この場合、モニターー１７に表示されたバーチャル画像表示画面１７Ａには、該画面１７Ａの左端に複数の２Ｄ画像を表示するための第１の表示部１７Ｂと、該画面の右端に配され、バーチャル画像表示（３Ｄ表示モードまたは２Ｄ表示モード）を実行した際のバーチャルエンドスコピー画像の視野方向を示し、すなわち、内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点と称す）を入力するための挿入点入力エリアを示す第２の表示部１７Ｆと、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度で注目点と称す）の数値を入力するための注目点入力エリアを示す第３の表示部１７Ｇと、前記第２及び第３の表示部１７Ｆ，１７Ｇにより入力された挿入点及び注目点の各情報に基づくバーチャル画像の表示の有無、あるいは先端折り曲げ角度検出部２Ａ，挿入量検出部２Ｂ及び傾斜角センサー３ａからの各検出結果に基づく内視鏡ライブ画像と一致したバーチャル画像の表示の有無を操作決定するためのトラッキング開始／停止ボタンを示す第４の表示部１７Ｈと、該画面１７Ａの最下端に配され、例えば他の複数の参照画像（サムネイル画像）のいずれかを３Ｄ表示実行するための第５の表示部１７Ｉと、ＣＰＵ２５のより生成されたバーチャルエンドスコピー画像が表示される第６の表示部１７Ｃとが設けられている。
【００６０】
これらの第１〜第６の表示部１７Ｂ〜１７Ｉがバーチャル画像表示画面１７Ａに表示されるが、第１〜第６の表示部の内いずれかの設定内容を変更する場合には、オペレータは前記マウス１５またはキーボード１６を用いて所望する設定内容となるようにいずれかの表示部を選択し、適宜数値を入力して変更する。これを受けてＣＰＵ２５は、入力された設定内容に基づき、バーチャル画像表示画面１７Ａの変更制御を行う。
【００６１】
なお、本実施の形態では、上記構成のバーチャル画像表示装置を起動する場合には、まず、図６に示すバーチャル画像表示画面１７Ａをモニター１７表示させ、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、第２の表示部１７Ｆにマウス１５あるいはキーボード１６を用いて入力し、その後、第３の表示部１７Ｇを選択し、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する必要がある。
【００６２】
すなわち、ＣＰＵ２５は、この内視鏡２の位置情報（挿入点及び注目点）に応じたバーチャルエンドスコピー画像を該ＣＰＵ２５内の画像処理手段を用いて生成し、生成した画像を第６の表示部１７Ｃに表示させる。これにより、図７（ｂ）に示すように、ある所定の内視鏡の位置情報（挿入点及び注目点）を入力した際のバーチャル画像が第６の表示部１７Ｃに表示された表示画面１７Ａとなる。
【００６３】
また、本実施の形態では、ＣＰＵ２５は、湾曲内視鏡２の先端曲げ角度検出部２Ａ，挿入量検出部２Ｂ及び傾斜角センサー３ａからの各検出結果に基づくバーチャル画像を該ＣＰＵ２５内の画像処理手段によって生成し、生成した画像を第６の表示部１７Ｃに表示させる。すなわち、このときモニター１３に表示されている内視鏡ライブ画像（図６（ａ）参照）とバーチャル画像とを一致させることが可能となる。
【００６４】
また、ＣＰＵ２５は、マウス１５やキーボード、あるいは術者のリモコンによって画像変更モードの要求があった場合には、該ＣＰＵ２５内の画像処理手段を制御することにより、例えば表示されたバーチャル画像における臓器部分を削除し、血管走行の状態のみを示すバーチャルエンドスコピー画像を生成し、このバーチャル画像を第６の表示部１７Ｃに表示させる。すなわち、術者が必要な画像情報のみを生成し表示させることも可能である。
【００６５】
なお、本実施の形態では、システムコントローラ１０に接続されたモニター１３には、基本的には湾曲内視鏡２により撮像された内視鏡ライブ画像が、ＣＰＵ２０の制御によって表示されるようになっているが、さらに、術者のリモコン操作によって、例えば内視鏡ライブ画像に切り替えて上記モニター１７に表示されるバーチャル画像表示画面１７Ａを表示させても良く、また、該内視鏡システムにおける機器設定情報を表示させても良い。
【００６６】
この場合の機器設定情報とは、例えば患者氏名、気腹器６の動作状態や気腹圧、温度等の情報、電気メス６の設定や動作状態、超音波処置部８による超音波出力状態、ＶＴＲ９のテープの残存状態、光源の明るさの調整状態、体内へのＣＯ2 の総出力容量（積算容量）、ＴＶカメラの動作状態（フリーズ、リレーズ、ズーム）、ホワイトバランスの設定状態、カメラ明るさ調整状態等である。
【００６７】
（作用）
次に、本実施の形態の特徴となる表示制御動作を図７乃至図９を参照しながら詳細に説明する。なお、湾曲内視鏡２は、予め図５に示すように、固定ユニット３５，３６，３７により、センサユニット３が固定され、同時に挿入量検出部２Ｂについてもセットされているものとする。
【００６８】
いま、図１に示す内視鏡システム１を用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、該内視鏡システム１の電源が投入されているものとすると、まず、オペレータは、マウス１５またはキーボード１６を用いて、ＣＰＵ２５内に格納されている本発明のバーチャル画像表示方法に基づくプログラムを立ち上げる。すると、バーチャルエンドスコピー画像生成部１１のＣＰＵ２５は、上述したように、図６に示すバーチャル画像表示画面１７Ａをモニター１７表示させる。
【００６９】
そして、オペレータは、このモニター１７上に表示されたバーチャル画像表示画面１７Ａを見ながら、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、第２の表示部１７Ｆにマウス１５あるいはキーボード１６を用いて入力し、その後、第３の表示部１７Ｇを選択し、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。
【００７０】
これにより、内視鏡の挿入点及び注目点に対応するバーチャルエンドスコピー画像が、バーチャルエンドスコピー画像生成部１１により作成され、モニター１７に、例えば図７（ｂ）に示すようにバーチャルエンドスコピー画像１７Ｃを表示したバーチャル画像表示画面１７Ａが表示される。
【００７１】
このとき、手術を行っている術者側のモニター１３には、システムコントローラ１０のＣＰＵ２０の表示制御により、例えば図７（ａ）に示すように内視鏡ライブ画像が表示され、この表示を見ながら術者は手術を行うことになる。この場合、湾曲内視鏡２は、図５に示すような固定ユニット３５，３６及び移動量検出部２Ｂによりセットされた状態にて使用されている。
【００７２】
その後、手術を行っている場合、本実施の形態では、エンドスコピー画像生成部１１のＣＰＵ２５は、図７（ｂ）に示すように内視鏡ライブ画像と一致するように、湾曲内視鏡２の先端曲げ角度検出部２Ａ，挿入量検出部２Ｂ及び傾斜角センサー３ａからの各検出結果に基づきバーチャル画像を該ＣＰＵ２５内の画像処理手段によって生成し、生成した画像をモニター１７（バーチャル表示画面１７Ａの第６の表示部１７Ｃ）に表示させる。
【００７３】
例えば、いま、手術中に、術者５０によって湾曲内視鏡２の挿入部３０の腹部領域に対する傾きが生じたものとする。この場合、図７（ｃ）に示すように、モニター１３に湾曲内視鏡２の傾きに応じた内視鏡ライブ画像が表示されているとすると、本実施の形態では、この湾曲内視鏡２の傾きがセンサユニット３の傾きセンサー３ａによって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像を該ＣＰＵ２５内の画像処理手段によって生成し、生成した画像をモニター１７（バーチャル表示画面１７Ａの第６の表示部１７Ｃ）に表示させる。
【００７４】
これにより、図７（ｃ）に示す挿入部３０が傾いたときの内視鏡ライブ画像１３Ａに対応する、バーチャルエンドスコピー画像１７Ｃ１をモニター１７に表示させることができ（図７（ｄ）参照）、術者はより詳細な画像情報を迅速且つ確実に得ることができる。
【００７５】
また、いま、手術中に、術者５０によって湾曲内視鏡２の挿入部３０をさらに腹部領域内に挿入したものとする。この場合、湾曲内視鏡２の挿入部３０の挿入前に、ＣＰＵ２５による表示制御によって、例えば図８（ａ）に示すように、モニター１７にバーチャルエンドスコピー画像１７Ｃを表示したバーチャル表示画面１７がが表示されているとすると、本実施の形態では、この湾曲内視鏡２の挿入量（移動量）が移動量検出部２Ｂ（図４参照）によって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像を該ＣＰＵ２５内の画像処理手段によって生成し、生成した画像をモニター１７（バーチャル表示画面１７Ａの第６の表示部１７Ｃ）に表示させる。
【００７６】
これにより、図８（ａ）に示すようなバーチャルエンドスコピー画像１７Ｃが表示された状態から、挿入部３０の移動量に応じたバーチャルエンドスコピー画像１７Ｃ２をモニター１７に表示させることができ（図８（ｂ）参照）、術者はより詳細な画像情報を迅速且つ確実に得ることができる。
【００７７】
また、いま、手術中に、術者５０の手元操作部３１のレバー３１ａの回転操作により、挿入部先端の湾曲部３０ａを所定の角度に湾曲させたものとする。この場合、湾曲内視鏡２の湾曲部３０ａが湾曲動作する前に、ＣＰＵ２５による表示制御によって、例えば図９（ａ）に示すように、モニター１７にバーチャルエンドスコピー画像１７Ｃを表示したバーチャル表示画面１７が表示されているとすると、本実施の形態では、この湾曲内視鏡２の湾曲部３０ａの曲げ角度が先端曲げ角度検出部２Ａ（図３参照）によって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像を該ＣＰＵ２５内の画像処理手段によって生成し、生成した画像をモニター１７（バーチャル表示画面１７Ａの第６の表示部１７Ｃ）に表示させる。
【００７８】
これにより、図９（ａ）に示すようなバーチャルエンドスコピー画像１７Ｃが表示された状態から、湾曲部３０ａの曲げ角度（湾曲動作角度）に応じたバーチャルエンドスコピー画像１７Ｃ３をモニター１７に表示させることができ（図９（ｂ）参照）、術者はより詳細な画像情報を迅速且つ確実に得ることができる。
なお、本実施の形態では、上記のように、挿入部３０の傾き角度、挿入部３０の挿入量及び湾曲部３０ａの曲げ角度がそれぞれ変化した場合のバーチャル画像表示制御動作例について説明したが、勿論これら３つの検出結果に応じたバーチャルエンドスコピー画像をリアルタイムで表示することができることはいうまでもない。
【００７９】
また、本実施の形態では、必要に応じて術者のリモコン１２による操作によって内視鏡ライブ画像に替えてバーチャルエンドスコピー画像を術者側のモニター１３に表示するように制御したり、あるいは同様にリモコン１２による操作によってライブエンドスコピー画像に表示された臓器等を削除し血管走行状態のみを映出するように表示制御を行うことも可能である。
【００８０】
（効果）
したがって、本実施の形態によれば、モニター１３に表示されている内視鏡ライブ画像と一致するように、湾曲内視鏡２の挿入部３０の傾斜角、挿入量及び湾曲部３０ａの曲げ角度に応じたバーチャルエンドスコピー画像を自動的に表示することができるので、術者は、手術をしながらも必要な情報を迅速且つ確実に得られることが可能となり、使い勝手が良く、しかも簡単な構成で且つ低コストでバーチャル表示装置を実現できる。また、必要に応じてリモコン１２による操作によってライブエンドスコピー画像に表示された臓器等を削除し血管走行状態のみを映出するように表示制御を行うこともできる。これにより、手術の安全性の向上、手術時間の短縮に大きく寄与する。
【００８１】
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００８２】
【発明の効果】
以上説明したように本発明によれば、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置を提供することができる。
【図面の簡単な説明】
【図１】本発明のバーチャル画像表示装置の第１の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図２】図１の湾曲内視鏡の構成示す構成図。
【図３】図１の先端部曲げ角度検出部の具体的な構成を示す構成図。
【図４】図１の挿入量検出部の具体的な構成を示す構成図。
【図５】図２に示す湾曲内視鏡の使用時のセット方法を説明するための説明図。
【図６】本実施の形態となる表示動作を説明するもので、図１のモニターの表示画面の一例のバーチャル画像表示画面を示す画面表示図。
【図７】本実施の形態となる表示動作を説明するもので、傾きセンサーの検出結果に応じた表示例を示す画面表示図。
【図８】本実施の形態となる表示動作を説明するもので、挿入量検出部の検出結果に応じた表示例を示す画面表示図。
【図９】本実施の形態となる表示動作を説明するもので、先端曲げ角度検出部の検出結果に応じた表示例を示す画面表示図。
【符号の説明】
１…バーチャル画像表示装置、
２…湾曲内視鏡、
２Ａ…先端曲げ角度検出部、
２Ａ１…回転角センサー、
２Ｂ…挿入量検出部、
２ｂ…トラカール、
２Ｃ…撮像部、
３…センサユニット、
３ａ…傾斜角センサー、
４…ＴＶカメラ、
５…光源、
６…気腹器、
７…電気メス、
８…超音波処置部、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャルエンドスコピー画像生成部、
１２…リモコン、
１３…モニター、
１４…表示パネル、
１５…マウス、
１６…キーボード、
１７…モニター、
１８，２６…通信Ｉ／Ｆ
１９，２４…メモリ、
２０，２５…ＣＰＵ、
２１，２７…表示Ｉ／Ｆ、
２３…ＣＴ画像ＤＢ部、
３０…挿入部、
３０ａ…湾曲部、
３１…手元操作部、
３１ａ…レバー、
３５，３６，３７…ユニット部材、
４０…ロータリーエンコーダ、
４１…ローラー。

Claims

腹部領域の被検体像を観察可能な内視鏡と、
前記内視鏡の観察方向を検出する方向情報検出手段と、
前記被検体に対する前記内視鏡の挿入状態を検出する挿入情報検出手段と、
前記内視鏡で得られた前記腹部領域の被検体像を表示可能な第１の画像表示手段と、
前記内視鏡で得られた前記腹部領域の被検体像を前記第１の画像表示手段に表示させるシステムコントローラと、
前記腹部領域の被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記システムコントローラと接続され、前記バーチャル画像データ記憶手段に記憶された前記バーチャル画像データに基づきバーチャル画像データを生成するバーチャル画像生成部と、
前記バーチャル画像生成部により生成した前記バーチャル画像データを表示可能な第２の画像表示手段と、
前記バーチャル画像生成部に接続され、前記内視鏡の観察方向及び挿入状態の情報を入力するための操作手段と、を具備し、
前記バーチャル画像生成部は、
前記第２の画像表示手段による前記バーチャル画像データの表示中に、前記操作手段により前記内視鏡の観察方向及び挿入状態の情報が入力された場合、入力された前記情報に基づくバーチャル画像データを生成して前記第２の画像表示手段に表示させた後、前記方向情報検出手段及び前記挿入情報検出手段の情報に基づき、前記第１の画像表示手段により表示されている前記腹部領域の被検体像と一致するように前記バーチャル画像データを生成して前記第２の画像表示手段に表示させることを特徴とするバーチャル画像表示装置。
前記システムコントローラに接続される操作手段を有し、この操作手段による操作があった場合には、前記システムコントローラは、前記第１の画像表示手段により表示されている前記腹部領域の被検体像に替えて、前記第２の画像表示手段に表示されている前記バーチャル画像データを前記第１の画像表示手段に表示させることを特徴とする請求項１に記載のバーチャル画像表示装置。