JP4546042B2

JP4546042B2 - バーチャル画像表示装置

Info

Publication number: JP4546042B2
Application number: JP2003139520A
Authority: JP
Inventors: 征哉藤田; 正一五反田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-05-16
Filing date: 2003-05-16
Publication date: 2010-09-15
Anticipated expiration: 2023-05-16
Also published as: JP2004337462A

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡及び内視鏡処置具等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示して術者を援助可能なバーチャル画像表示装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【０００７】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【００１０】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の清潔域である内視鏡システムと併用して実際の手術に使用することはできず、つまり、術者に対して必要な被検体の情報を提供することはできない。
【００１１】
また、例えば実際に手術を行う清潔域の内視鏡システムと、非清潔域の前記画像表示システムをオペレータ側に配置してシステムを構築することも考えられるが、手術中の術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムは未だに提案されてはおらず、実際にこのようなシステムを構築しようとすると、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。
【００１２】
また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、この３次元画像を表示することはできるが、上述したようにこの３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示して、気管支内視鏡を目的部位にナビゲーションする目的のものであって、腹部領域の被検体の手術を行うシステムには適合してない。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明のバーチャル画像表示装置は、腹部領域の被検体像を観察可能な内視鏡と、前記内視鏡で得られた前記腹部領域の被検体像を内視鏡用画像表示手段に表示させるシステムコントローラと、前記システムコントローラに接続される機器の動作状態に関する情報を表示可能な第１の画像表示手段と、前記システムコントローラに接続される第１の操作手段と、前記腹部領域の被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記システムコントローラと接続され、前記バーチャル画像データ記憶手段に記憶された前記バーチャル画像データに基づきバーチャル画像データを生成するバーチャル画像生成部と、前記バーチャル画像生成部により生成した前記バーチャル画像データを表示可能な第２の画像表示手段と、前記バーチャル画像生成部に接続され、前記内視鏡の挿入情報を入力するための第２の操作手段と、を具備し、前記バーチャル画像生成部は、前記第２の画像表示手段による前記バーチャル画像データの表示中に、前記第２の操作手段により前記内視鏡の挿入情報が入力された場合、入力された前記内視鏡の挿入情報に基づくバーチャル画像データを生成して前記第１の画像表示手段に表示させ、さらに、前記第１の画像表示手段により前記バーチャル画像の表示中に、前記第１の操作手段により操作があった場合には、前記システムコントローラは、前記機器の動作状態に関する情報を前記バーチャル画像データに重畳し、重畳して得たバーチャル画像データを、前記第１の画像表示手段と前記内視鏡用画像表示手段との少なくとも一方に表示させるように切換制御することを特徴とするものである。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１８】
第１の実施の形態：
（構成）
図１乃至図５は本発明のバーチャル画像表示装置の第１の実施の形態を示し、図１は該装置を備えた内視鏡システムの全体構成を示すブロック図、図２は図１の術者用のリモコンの構成を示す構成図、図３は図１の表示パネルの表示画面の一例を示し、図３（ａ）は内視鏡画像を含む機器設定情報を表示した画面表示図、図３（ｂ）は図３（ａ）に示す画面上にエラーメッセージをオンスクリーン表示した場合の画面表示図をそれぞれ示している。また、図４及び図５は本実施の形態の特徴となる表示制御動作を説明するもので、図４（ａ）はオペレータ側のモニターによるバーチャル画像表示画面の一例を示す画面表示図、図４（ｂ）は図１の術者用の内視鏡モニターに表示された内視鏡ライブ画像の画面表示図、図４（ｃ）は図４（ａ）に示す画面に実際にバーチャル画像を表示した場合の画面表示図、図５（ａ）は図１の術者用の内視鏡モニターに表示された内視鏡ライブ画像の画面表示図、図５（ｂ）はシステムコントローラによって切換えられて術者用の表示パネルに表示された倍率調整前のバーチャル画像表示画面の一例を示す画面表示図、図５（ｃ）は図５（ｂ）に示す状態から倍率調整後に術者用の表示パネルに表示されたバーチャル画像表示画面の一例を示す画面表示図、図５（ｄ）は術者によって２Ｄ表示操作された後の表示パネルに表示された２Ｄ表示画面の一例を示す画面表示図をそれぞれ示している。
【００１９】
図１に示すように、本実施の形態のバーチャル画像表示装置１は、内視鏡システムとして構成されたもので、カメラヘッド３を備えた内視鏡２、ＴＶカメラ４、光源５、気腹器６、電気メス７、超音波処置部８、ＶＴＲ９、システムコントローラ１０、バーチャルエンドスコピー画像生成部１１、リモコン１２、内視鏡モニター１３、表示パネル１４、マウス１５、キーボード１６及びモニター１７を含んで構成されている。
【００２０】
内視鏡２は、患者体内の腹部領域に挿入して該腹部領域を撮像し、撮像した撮像信号をカメラヘッド３を介してＴＶカメラ４に供給する。このＴＶカメラ４は、前記内視鏡２に着脱自在に装着された外付けのＴＶカメラ４であっても良い。
【００２１】
ＴＶカメラ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内の清潔域に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ４からの制御により、内視鏡にライブ画像の静止画あるいは動画に基づく画像データがＴＶカメラ４から選択出力されることになる。また、前記システムコントローラ４の詳細な構成ついては後述する。
【００２２】
ＶＴＲ９は、周知のようにシステムコントローラ１０の制御により、前記ＴＶカメラ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。
【００２３】
光源５は、前記内視鏡２に白色光を供給するための光源装置である。また気腹器６は、図示はしないが送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
【００２４】
電気メス７は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具であり、超音波処置部８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具である。
【００２５】
これらの光源５，電気メス７及び超音波処置部８は、前記システムコントローラ１０と電気的に接続されており、該システムコントローラ１０によってその駆動が制御されるようになっている。
【００２６】
一方、手術室内の清潔域には、上述した内視鏡システムの他にシステムコントローラ１０が配されている。このシステムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図１に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０、表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１及びスイッチャー２２とを含んで構成されている。
【００２７】
通信Ｉ／Ｆ１８は、前記ＴＶカメラ４、光源５、気腹器６、電気メス７、超音波処置部８、ＶＴＲ９及び後述するバーチャルエンドスコピー画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２が電気的に接続されており、該リモコン１２の操作指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。
【００２８】
このリモコン１２は、例えば図２に示すように、少なくとも第１〜第５の操作部１２Ａ〜１２Ｅから構成されている。
【００２９】
第１の操作部１２Ａには、内視鏡モニター１２あるいは表示パネル１４に表示される表示画像に対応したホワイトバランスボタン３０ａと、気腹器６を実行するための気腹ボタン３０ｂと、気腹実行の際の圧力を上下に調整するための圧力ボタン３０ｆと、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン３０ｃと、その録画実行の際のフリーズボタン３０ｄ及びレリーズボタン３０ｅが設けられている。
【００３０】
第２の操作部１２Ｂには、表示ボタンが設けられており、第３の操作部１２Ｃには、表示パネル１４に設定情報ではなくバーチャルエンドスコピー画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタンで、各種２Ｄ表示モードに応じたアキシャルボタン３１ａと、コロナルボタン３１ｂと、サジタルボタン３１ｃが設けられている。
【００３１】
また、第４の操作部１２Ｄには、表示パネル１４に設定情報ではなくバーチャルエンドスコピー画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャルエンドスコピー画像の視野方向を示す挿入点ボタン３２ａ（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）と、注目点ボタン３２ｂ（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）とが設けられている。また、これらボタン３２ａ，３２ｂの下側には、３Ｄ表示する際の表示倍率変更を指示するためのボタンで、表示倍率を縮小する縮小ボタン３２ｃと、表示倍率を拡大する拡大ボタン３２ｄとが設けられ、また、表示色を変更するための表示色ボタン３２ｅと、トラッキングを実行するためのトラッキングボタン３２ｆとが設けられている。
【００３２】
さらに、第５の操作部１２Ｅは、前記第１〜第４の各操作部１２Ａ〜１２Ｄで決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタン３３ａや数値等を入力するためのテンキー３３ｂとが設けられている。
【００３３】
これらの第１〜第５の操作部１２Ａ〜１２Ｄを備えたリモコン１２によって、術者は所望する情報が迅速に得られるように操作することになる。
【００３４】
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。
【００３５】
表示Ｉ／Ｆ２１は、前記ＴＶカメラ４、ＶＴＲ９及び内視鏡モニター１３に電気的に接続されており、ＴＶカメラ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡モニター１３に出力することにより、該内視鏡モニター１３はこの内視鏡ライブ画像を表示させる。
【００３６】
表示パネル１４は、スイッチャー２２を介してＣＰＵ２０に電気的に接続され、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報、あるいは本実施の形態の特徴となるバーチャル画像を表示して術者に認識させるための第１の画像表示手段として構成されている。
【００３７】
前記スイッチャー２２は、術者のリモコン１２による遠隔操作に基づき、ＣＰＵ２０による切換制御により、前記設定情報、あるいはバーチャルエンドスコピー画像生成部１１からのバーチャル画像を切換えて前記表示パネル１４に出力する。
【００３８】
ＣＰＵ２０は、該システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡モニタ１３及び表示パネル１４の表示制御、さらにはリモコン１２の操作信号に基づく各種動作制御やスイッチャー２２の出力信号切換制御等を行う。
【００３９】
また、ＣＰＵ２０には、図示はしないが機器の設定情報とバーチャルエンドスコピー画像生成部１１からのバーチャルエンドスコピー画像とを重畳する画像処理手段を備え、この画像処理手段を用いて表示パネル１４の表示制御を行う。
【００４０】
一方、清潔域に配された前記システムコントローラ１０とは他の箇所の非清潔域には、バーチャルエンドスコピー画像生成部１１が配されている。
【００４１】
バーチャルエンドスコピー画像生成部１１は、図１に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、分配器２８を含んで構成されている。
【００４２】
ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。
【００４３】
メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャルエンドスコピー画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。
【００４４】
通信Ｉ／Ｆ２６は、前記システムコントローラ２６の通信Ｉ／Ｆ１８と電気的に接続されており、該バーチャルエンドスコピー画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信、あるいは内視鏡画像データ等の送受信をＣＰＵ２５によって制御される。
【００４５】
表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャルエンドスコピー画像を分配器２８を介してモニター１７またはシステムコントローラ１０側に送信するものである。この分配器２８に接続されたモニター１７は、オペレータ専用のモニタであり、供給されたバーチャルエンドスコピー画像を表示させる。また、このバーチャルエンドスコピー画像は、分配器２８によってシステムコントローラ１０のスイッチャー２２も供給されるようになっている。
【００４６】
前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、後述するバーチャル画像表示方法を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
【００４７】
ＣＰＵ２５は、該バーチャルエンドスコピー画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ−１７の表示制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００４８】
また、ＣＰＵ２５には、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）に基づき、バーチャルエンドスコピー画像を生成する画像処理手段を備え、この画像処理手段を用いて生成されたバーチャルエンドスコピー画像をモニター１７に表示させる表示制御を行う。
【００４９】
次に、上記バーチャル画像表示装置１の特徴となる表示画面を図３及び図４を参照にしながら説明する。
【００５０】
清潔域に配された術者側のシステムコントローラ１０において、術者のリモコン１２の操作により、操作指示があると、該システムコントローラ１９のＣＰＵ２０は、前記表示パネル１４上に、例えば図３（ａ）に示す機器設定情報画面１４Ａを表示させる。
【００５１】
この場合、表示パネル１４に表示された機器設定情報画面１４Ａには、例えば患者氏名を示す第１の表示部１４Ｂと、気腹器６の動作状態や気腹圧、温度等の情報を示す気第２の表示部１４Ｃと、電気メス６の設定や動作状態を示す表示部１４Ｄ１，１４Ｄ２からなる第３の表示部１４Ｄと、超音波処置部８による超音波出力状態を示す第４の表示部１４Ｆと、ＶＴＲ９のテープの残存状態を示す第５の表示部１４Ｇと、カメラヘッド３に対する光源の明るさ調整状態を示す第６の表示部１４Ｈと、体内へのＣＯ2 の総出力容量（積算容量）を示す第７の表示部１４Ｉと、ＴＶカメラの動作状態（フリーズ、リレーズ、ズーム）を示す第８の表示部１４Ｊと、この機器設定情報画面１４Ａの略左側に配され、内視鏡ライブ画像を表示する第９の表示部１４Ｅと、機器設定情報画面１４Ａの最下部に配され、各種設定入力を実行するための第１０の表示部１４Ｋと、ホワイトバランスを実行するための第１１の表示部１４Ｌと、システム記録を実行するための第１２の表示部１４Ｍと、カメラ明るさ調整アップを実行するための第１３の表示部１４Ｎと、カメラ明るさ調整ダウンを実行するための第１４の表示部１４Ｏとが設けられている。
【００５２】
これらの各種機器設定内容の表示部（第１〜第１４の表示部１４Ｂ〜１４Ｏ）が機器設定情報画面１４Ａに表示されるが、この内いずれかの機器設定内容を変更する場合には、術者は前記リモコン１２を用いて所望する機器設定内容となるようにいずれかの表示部を選択し、適宜数値を入力して変更する。これを受けてＣＰＵ２０は、入力された設定内容に基づき、機器設定情報の変更制御を行う。
【００５３】
また、ＣＰＵ２０は、手術中の際に、機器のいずかれの動作状態に異常が発生した場合には、例えば図３（ｂ）に示すように、表示パネル１４に表示されている機器設定情報画面１４Ａ上に、異常が発生したことを示すエラーメッセージ３４をオンスクリーン表示するように制御する。この場合の、エラーメッセージ３４は、“ガスボンベを使用している場合には、交換してください”といった気腹器６によって送気するためのボンベの残容量が少ないことを術者に告知している。
【００５４】
一方、非清潔域に配されたオペレータ側のバーチャルエンドスコピー画像生成部１１において、オペレータのマウス１５やキーボード１５、あるいは術者のリモコン１２の操作により、操作指示があると、該バーチャルエンドスコピー画像生成部１１のＣＰＵ２５は、前記モニター１７上に、例えば該ＣＰＵ２５内に記憶されたバーチャル画像表示ソフトを駆動させ、図４（ａ）に示すバーチャル画像表示画面１７Ａを表示させる。
【００５５】
この場合、モニターー１７に表示されたバーチャル画像表示画面１７Ａには、表示するバーチャルエンドスコピー画像を２Ｄ表示実行のための表示部１７Ｅ２，３Ｄ表示実行のための１７Ｅ１を有する第１の表示部１７Ｅと、この第１の表示部１７Ｅとは関わりなく常に画面１７Ａの左端に複数の２Ｄ画像を表示するための第２の表示部１７Ｂと、前記第１の表示部１７Ｅの下側に配され、バーチャル画像表示（３Ｄ表示モードまたは２Ｄ表示モード）を実行した際のバーチャルエンドスコピー画像の視野方向を示し、すなわち、内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点と称す）を入力するための第３の表示部１７Ｆと、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度で注目点と称す）の数値を入力するための第４の表示部１７Ｇと、表示倍率の調整を行うもので、拡大操作を行う表示部１７Ｈ１，縮小操作を行う表示部１７Ｈ２を有する第５の表示部１７Ｈと、該画面１７Ａの最下端に配され、例えば他の複数の参照画像（サムネイル画像）のいずれかを３Ｄ表示実行するための第６の表示部１７Ｉと、ＣＰＵ２５のより生成されたバーチャルエンドスコピー画像が表示される第６の表示部１７Ｃとが設けられている。
【００５６】
これらの第１〜第６の表示部１７Ｂ〜１７Ｉがバーチャル画像表示画面１７Ａに表示されるが、第１，第３，第４，第５，第６の表示部の内いずれかの設定内容を変更する場合には、オペレータは前記マウス１５またはキーボード１６を用いて所望する設定内容となるようにいずれかの表示部を選択し、適宜数値を入力して変更する。これを受けてＣＰＵ２５は、入力された設定内容に基づき、バーチャル画像表示画面１７Ａの変更制御を行う。
【００５７】
なお、本実施の形態では、上記構成のバーチャル画像表示装置を起動する場合には、まず、図４（ａ）に示すバーチャル画像表示画面１７Ａをモニター１７表示させ、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、第３の表示部１７Ｆにマウス１５あるいはキーボード１６を用いて入力し、その後、第４の表示部１７Ｇを選択し、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する必要がある。
【００５８】
すなわち、ＣＰＵ２５は、この内視鏡２の位置情報（挿入点及び注目点）に応じたバーチャルエンドスコピー画像を生成し、生成した画像を第６の表示部１７Ｃに表示させる。これにより、図４（ｃ）に示すように、ある所定の内視鏡の位置情報（挿入点及び注目点）を入力した際のバーチャル画像が第６の表示部１７Ｃに表示された表示画面１７Ａとなる。また、このとき、術者側の内視鏡モニター１２には、内視鏡ライブ画像が、図４（ｂ）に示すように表示されることになる。
【００５９】
また、本実施の形態では、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供するために、術者のリモコン１２による操作指示に基づき、表示パネル１４に表示された機器設定情報画面１４Ａに代えて上述したバーチャル画像表示画面１７Ａを表示させることも可能である。
【００６０】
このような本実施の形態の特徴となる表示制御動作を図５を参照しながら詳細に説明する。
【００６１】
（作用）
いま、図１に示す内視鏡システム１を用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、該内視鏡システム１の電源が投入されているものとすると、まず、オペレータは、マウス１５またはキーボード１６を用いて、ＣＰＵ２５内に格納されている本発明のバーチャル画像表示方法に基づくプログラムを立ち上げる。すると、バーチャルエンドスコピー画像生成部１１のＣＰＵ２５は、上述したように、図４（ａ）に示すバーチャル画像表示画面１７Ａをモニター１７表示させる。
【００６２】
そして、オペレータは、このモニター１７上に表示されたバーチャル画像表示画面１７Ａを見ながら、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、第３の表示部１７Ｆにマウス１５あるいはキーボード１６を用いて入力し、その後、第４の表示部１７Ｇを選択し、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。
【００６３】
これにより、内視鏡の挿入点及び注目点に対応するバーチャルエンドスコピー画像が、バーチャルエンドスコピー画像生成部１１により作成され、モニター１７に、例えば図４（ｃ）に示すようにバーチャルエンドスコピー画像１７Ｃを表示したバーチャル画像表示画面１７Ａが表示される。
【００６４】
このとき、手術を行っている清潔域の内視鏡モニター１３には、システムコントローラ１０のＣＰＵ２０の表示制御により、例えば図４（ｂ）に示すように内視鏡ライブ画像が表示され、この表示を見ながら術者は手術を行うことになる。
【００６５】
その後、手術を行っている際に、術者が患者の被検体情報を確認、あるいはさらに詳細な被検体情報を見たい要求が生じたものとする。
【００６６】
この場合には、術者は、図２に示すリモコン１２を用いて所望するモードを選択し、例えば術中の腹部領域内の異常部がある臓器及び血管等の状態をさらに３次元的に詳細に見たい場合には、先ず、リモコン１２の例えば第２の操作部１２Ｂの表示ボタン（図２参照）を押下する。すると、システムコントローラ１０のＣＰＵ２０は、スイッチャー２２を切換制御して、表示パネル１４上に表示されていた機器設定情報画面１４Ａに代えて、図５（ｂ）に示すバーチャル画像表示画面１４Ａ１を表示する。
【００６７】
そして、術者がリモコン１２の第４の操作部１２Ｄ内の表示倍率を拡大する拡大ボタン３２ｄを押下して、バーチャル画像表示画面１４Ａの第６の表示部１７Ｃに表示されているバーチャルエンドスコピー画像の表示倍率を拡大させる。
【００６８】
すると、システムコントローラ１０のＣＰＵ２０は、このリモコン１２からの操作信号に基づき、前記バーチャルエンドスコピー画像を信号処理にて表示倍率を拡大させ、その拡大させたバーチャルエンドスコピー画像１７ｃを第６の表示部１７に表示させる。つまり、表示倍率が拡大調整後のバーチャルエンドスコピー画像を表示したバーチャル画像表示画面１４Ａ１が例えば図５（ｃ）に示すように表示パネル１４に表示されることになる。
【００６９】
また、このとき内視鏡モニター１３には、システムコントローラ１０のＣＰＵ２０の表示制御により、例えば図５（ａ）に示すように内視鏡ライブ画像が表示されている。
【００７０】
また、術者が、例えば図５（ｃ）に示すような３Ｄ表示されたバーチャル画像表示画面１４Ａ１を見ている最中（あるいは２Ｄ表示モードを実行した際）に、２Ｄ表示を見て被検体の状態を確認したいものとする。
【００７１】
この場合、術者は、リモコン１２の第２の操作部１２Ｂに設けられた各種２Ｄ表示モードの操作ボタン（アキシャルボタン３１ａ、コロナルボタン３１ｂ、サジタルボタン３１ｃ）を適宜押下することにより、ＣＰＵ２０はこの操作に基づき、例えば図５（ｄ）に示すように、２Ｄ表示画像１７Ｎを表示したバーチャル画像表示画面１４Ａを表示パネル１４上に表示させる。
【００７２】
したがって、術者は、手術をしながらも簡単な操作にて、必要な情報を迅速且つ確実に得られることになる。
【００７３】
なお、本実施の形態では、手術中の術者によって表示モード等の各種モードの切換操作を行うように説明したが、勿論、必要に応じてオペレータ側で操作するようにしても良い。
【００７４】
また、本実施の形態では、術者側の表示パネル１４上に表示されている機器設定情報画面１４Ａ中の第９の表示部１４Ｅに内視鏡ライブ画像を表示するが、術者のリモコン操作に基づき、この内視鏡ライブ画像に代えてバーチャルエンドスコピー画像を表示するように制御することも可能である。
【００７５】
（効果）
したがって、本実施の形態によれば、システムコントローラ１０のスイッチャー２２による切換制御にて、術者側の表示パネル１４上の機器設定情報画面１４Ａからバーチャル画像表示画面１７Ａを切換て表示することができるので、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供するバーチャル画像表示装置を実現できる。これにより、手術の安全性の向上、手術時間の短縮に大きく寄与する。
【００７６】
第２の実施の形態：
図６及び図７は本発明のバーチャル画像表示装置の第２の実施の形態を示し、図６は該装置を備えた内視鏡システムの全体構成を示すブロック図、図７は図６のシステムコントローラ内のＣＰＵによる音声認識切換制御を示すフローチャートである。なお、図６は、前記第１の実施の形態の装置と同様な構成要素については同一の符号を付して説明を省略し、異なる部分のみを説明する。
【００７７】
本実施の形態では、手術中の術者によるリモコン操作を無くし音声にて各種操作モードの選択実行可能な構成することにより、術者の負担を軽減し効率的なバーチャル画像表示を行うように構成したことが特徴である。
【００７８】
具体的には、図６に示すように、本実施の形態のバーチャル画像表示装置１Ａでは、前記第１の実施の形態におけるリモコン１２を削除し、新たに術者の音声を取り込むマイク３５と、このマイクからの音声信号を受信し、システムコントローラ１０内に取り込むためのマイクＩ／Ｆ３６と、このマイクＩ／Ｆ３６により受信した音声信号を取り込み、該音声信号に対し音声認識判定処理を施し、音声認識判定結果をＣＵ２０に出力する音声認識手段３７とを設けて構成している。
【００７９】
音声認識手段３７は、例えば術者が術中にマイク３５に向けて“３Ｄ表示モード”と発生すると、この音声信号がマイク３５，マイクＩ／Ｆ３７を介して取り込まれ、この音声信号に基づき音声認識を行う。その結果、音声認識手段３８は、この音声が“３Ｄ表示モード”といった実行コマンド（切り替え操作コマンドともいう）で有ることを認識し、その結果をＣＰＵ２０に出力する。
【００８０】
ＣＰＵ２０は、この認識結果、つまり、この実行コマンドに基づき、表示パネル１４の表示切り替え制御する。この場合、ＣＰＵ２０は、認識結果が前記第１の実施の形態にて使用されたリモコン１２の第４の操作部１２Ｄによる３Ｄ表示モード実行のコマンドと同様なものと認識し、表示パネル１４にバーチャル画像表示画面１４Ａ１（図５（ｂ）参照）を表示させる。
【００８１】
その他の構成は、前記第１の実施の形態と略同様である。
【００８２】
（作用）
次に、本実施の形態の特徴となる作用について図７を参照しながら詳細に説明する。
【００８３】
本実施の形態の内視鏡システムでは、表示パネル１４及びモニター１７における機器設定情報画面１４Ａやバーチャル画像表示画面１７Ａ，１４Ａ１の表示制御については前記第１の実施の形態と略同様であるが、術者による指示操作の入力方法が異なる。
【００８４】
すなわち、該内視鏡システム１の電源が投入されているものとすると、まず、システムコントローラ１０のＣＰＵ２０は、図７に示す音声認識処理ルーチンを起動し、つまりステップＳ１の判断処理にてマイク３５，マイクＩ／Ｆ３６及び音声認識手段３７を介して、術者による音声の入力の有無を判断し、音声入力があったと判断した場合には、処理をステップＳ２に移行し、ないと判断した場合には該ステップＳ１の判断処理に処理を戻し、音声入力があるまで判断処理を継続する。
【００８５】
そして、ステップＳ２の処理では、ＣＰＵ２０は、マイクＩ／Ｆ３６を介して取り込まれた音声信号に対し音声認識手段３７を用いて音声認識を行い、処理をステップＳ３の判断処理に移行する。
【００８６】
その後、ＣＰＵ２０は、ステップＳ３の判断処理にて、前記ステップＳ２で得られた音声認識手段３７による音声認識結果から、この音声が切り替え操作コマンドであるか否かを判定し、切り替えコマンドでないものと判断した場合には、処理を前記ステップＳ１に戻し、切り替えコマンドであると判断した場合には、処理を続くステップＳ４に移行する。
【００８７】
ステップＳ４の処理では、ＣＰＵ２０は、その切り替えコマンドに基づき、表示パネル１４の表示切り替え制御を行う。
【００８８】
例えば、術者により発した音声が“３Ｄ表示モード”といった実行コマンド（切り替え操作コマンド）で有る場合には、音声認識手段３７はこの音声認識結果をＣＰＵ２０に出力し、これを受けＣＰＵ２０は、この認識結果、つまり、前記第１の実施の形態にて使用されたリモコン１２の第４の操作部１２Ｄによる３Ｄ表示モード実行のコマンドと同様なものと認識し、表示パネル１４にバーチャル画像表示画面１４Ａ１（図５（ｂ）参照）を表示させる。
【００８９】
その他の作用については前記第１の実施の形態と同様である。
【００９０】
（効果）
したがって、本実施の形態によれば、リモコン１２を用いずに音声にて術者が操作指示を与え、且つこの音声による操作指示に基づき表示パネル１４の表示切り替え制御を行うことができるので、前記第１の実施の形態よりも術者の負担を軽減し、被検体の情報を迅速に且つ確実に提供することが可能となる。また、マイク３５，マイクＩ／Ｆ３６及び音声認識手段３７のみを付加すれば良いので低コストでリモコン操作の必要のない内視鏡システムを構築できる。
【００９１】
なお、本実施の形態では、前記第１の実施の形態におけるリモコン１２と併用して構成しても良い。これにより、術者の操作指示方法を拡大することができるので、より使い勝手の良い内視鏡システムを構築できる。
【００９２】
第３の実施の形態：
図８及び図９は本発明のバーチャル画像表示装置の第３の実施の形態を示し、図８は該装置を備えた内視鏡システムの全体構成を示すブロック図、図９は本実施の形態の特徴となる表示制御を説明するためのもので、図９（ａ）は表示パネルに表示された術者用のバーチャル画像表示画面を示す画面表示図、図９（ｂ）はモニターに表示されたオペレータ用のバーチャル画像表示画面を示す画面表示図である。なお、図８及び図９は、前記第１の実施の形態の装置と同様な構成要素については同一の符号を付して説明を省略し、異なる部分のみを説明する。
【００９３】
本実施の形態では、術者用の表示パネル１４に表示するバーチャル画像表示画面を、術者にとって最低限必要な画像情報のみを表示するように構成したことが前記第１の実施の形態とは異なる点である。
【００９４】
具体的な構成としては、図８に示すように、本実施の形態のバーチャル画像表示装置１Ｂでは、バーチャルエンドスコピー画像生成部１１Ａ内において、前記第１の実施の形態における表示Ｉ／Ｆ２７及び分配器２８に（図１参照）に代えて、マルチディスプレイＩ／Ｆ４０を設けて構成している。
【００９５】
このマルチディスプレイＩ／Ｆ４０は、システムコントローラ１０のスイッチャ２２と電気的に接続されており、ＣＰＵ２５による制御により、単にバーチャルエンドスコピー画像を生成して表示したバーチャル画像表示画面１７Ａ（図４（ｃ）参照）の画像データを送信するだけでなく、例えばこのバーチャル画像表示画面１７におけるバーチャルエンドスコピー画像や２Ｄ表示画像のみの画像データを抽出し、あるいは所望する表示形態にて加工して前記スイッチャー２２に送信することが可能である。
【００９６】
その他の構成は、前記第１の実施の形態と同様である。
【００９７】
（作用）
次に、本実施の形態の特徴となる作用について図９を参照しながら詳細に説明する。
【００９８】
本実施の形態のバーチャル画像表示装置１Ｂは、前記第１の実施の形態におけるバーチャル画像表示装置１と略同様に作用するが、例えば手術中に術者のリモコン操作によって３Ｄ表示の実行モードが実行された場合には、バーチャルエンドスコピー画像生成部１１ＡのＣＰＵ２５は、モニター１７に前記第１の実施の形態と同様にバーチャル画像表示画面１７Ａを表示制御すると同時に、マルチディスプレイＩ／Ｆ４０を用いて術者にとって最低限必要な情報、例えばバーチャルエンドスコピー画像と２Ｄ表示画像のみを抽出してシステムコントローラ１０のスイッチャー２２に送信する。これを受けてシステムコントローラ１０のＣＰＵ２０は、表示パネル１４上にこの送信された画像データを表示するように制御する。これにより、術者側の表示パネル１４には、図９（ａ）に示すように、バーチャルエンドスコピー画像が表示された主表示部５２と、画面左端に複数の２Ｄ表示画像５１ａ〜５１ｃからなる２Ｄ表示画像を表示した腹表示部４１との２つの表示部で構成されたバーチャル画像表示画面５０が表示されることになる。
【００９９】
すなわち、表示パネル１４には、手術中の術者にとって最低限必要な画像情報のみが表示されることになる。
【０１００】
その他の作用については、前記第１の実施の形態と同様である。
【０１０１】
したがって、本実施の形態によれば、前記第１の実施の形態と同様の効果が得られる他に、術者にはバーチャル画像表示画面が見やすくなるので、使い勝手が良く、手術の安全性の向上、手術時間の短縮に大きく寄与する。
なお、本発明に係る前記第１乃至第３の実施の形態では、手術者側の表示パネル１４に、表示された機器設定情報画面に切り替えてバーチャル画像表示画面を表示するように表示制御することについて説明したが、これに限定されることはなく、例えば内視鏡モニター１３上に内視鏡ライブ画像とバーチャル画像表示画面とを適宜切り替えるように表示制御を行っても良い。
【０１０２】
また、本発明は、上述した第１乃至第３の実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置を提供することができる。
【図面の簡単な説明】
【図１】本発明のバーチャル画像表示装置の第１の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図２】図１の術者用のリモコンの構成を示す構成図。
【図３】図１の表示パネルの表示画面の一例を示す画面表示図。
【図４】本実施の形態の特徴となる表示制御動作を説明するもので、モニターによるバーチャル画像表示画面の一例を示す画面表示図。
【図５】本実施の形態の特徴となる表示制御動作を説明するもので、術者用の表示パネルに表示されたバーチャル画像表示画面の一例を示す画面表示図。
【図６】本発明のバーチャル画像表示装置の第２の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図７】図６のシステムコントローラ内のＣＰＵによる音声認識切換制御を示すフローチャート。
【図８】本発明のバーチャル画像表示装置の第３の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図９】本実施の形態の特徴となる表示制御を説明するもので、表示パネル及びモニターに表示されたバーチャル画像表示画面の一例を示す画面表示図。
【符号の説明】
１…バーチャル画像表示装置、
２…内視鏡、
３…カメラヘッド、
４…ＴＶカメラ、
５…光源、
６…気腹器、
７…電気メス、
８…超音波処置部、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャルエンドスコピー画像生成部、
１２…リモコン、
１３…内視鏡モニター、
１４…表示パネル、
１５…マウス、
１６…キーボード、
１７…モニター、
１８，２６…通信Ｉ／Ｆ
１９，２４…メモリ、
２０，２５…ＣＰＵ、
２１，２７…表示Ｉ／Ｆ、
２２…スイッチャー、
２３…ＣＴ画像ＤＢ部、
２８…分配器。

Claims

腹部領域の被検体像を観察可能な内視鏡と、
前記内視鏡で得られた前記腹部領域の被検体像を内視鏡用画像表示手段に表示させるシステムコントローラと、
前記システムコントローラに接続される機器の動作状態に関する情報を表示可能な第１の画像表示手段と、
前記システムコントローラに接続される第１の操作手段と、
前記腹部領域の被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記システムコントローラと接続され、前記バーチャル画像データ記憶手段に記憶された前記バーチャル画像データに基づきバーチャル画像データを生成するバーチャル画像生成部と、
前記バーチャル画像生成部により生成した前記バーチャル画像データを表示可能な第２の画像表示手段と、
前記バーチャル画像生成部に接続され、前記内視鏡の挿入情報を入力するための第２の操作手段と、を具備し、
前記バーチャル画像生成部は、前記第２の画像表示手段による前記バーチャル画像データの表示中に、前記第２の操作手段により前記内視鏡の挿入情報が入力された場合、入力された前記内視鏡の挿入情報に基づくバーチャル画像データを生成して前記第１の画像表示手段に表示させ、
さらに、前記第１の画像表示手段により前記バーチャル画像の表示中に、前記第１の操作手段により操作があった場合には、前記システムコントローラは、前記機器の動作状態に関する情報を前記バーチャル画像データに重畳し、重畳して得たバーチャル画像データを、前記第１の画像表示手段と前記内視鏡用画像表示手段との少なくとも一方に表示させるように切換制御することを特徴とするバーチャル画像表示装置。
前記機器の動作状態に関する情報は、気複器の動作状態及び気複圧、温度等の情報と、電気メスの設定及び動作状態を示す情報と、超音波処置部による超音波出力状態を示す情報と、ＶＴＲのテープの残存状態を示す情報と、前記内視鏡に対する光源の明るさ調整状態を示す情報と、前記腹部領域への二酸化炭素の総出力容量を示す情報とを含むものであることを特徴とする請求項１に記載のバーチャル画像表示装置。