JP3707830B2

JP3707830B2 - 術式支援用画像表示装置

Info

Publication number: JP3707830B2
Application number: JP16883395A
Authority: JP
Inventors: 恭二郎南部; 芳彦青地
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-07-04
Filing date: 1995-07-04
Publication date: 2005-10-19
Anticipated expiration: 2015-07-04
Also published as: JPH0919441A

Description

【０００１】
【発明の属する技術分野】
本発明は、手術を支援するための画像を提供する術式支援用画像表示装置に関する。
【０００２】
【従来の技術】
近年における電子内視鏡等の画像撮像装置の技術的発展は、画像提供という側面から術式を支援する機会の増加を促し、術式の精度の向上に貢献している。
手術対象部位をどのように画像として又は情報として医師に提供するかが術式の成否の鍵を握る重要な課題といえる。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、手術を好適に支援することのできる術式支援用画像表示装置を提供することである。
【０００４】
【課題を解決するための手段】
本発明の第１局面による術式支援用画像表示装置は、撮像手段と、前記撮像手段の位置及び向きを測定する手段と、手術用マニピュレータの位置及び向きを計測する手段と、前記手術用マニピュレータの３次元データを記憶する手段と、前記撮像手段の位置及び向きと、前記手術用マニピュレータの位置及び向きとに基づいて、前記撮像手段から見た前記手術用マニピュレータの３次元画像を前記３次元データから生成する手段と、前記撮像手段により撮像された画像に前記３次元画像を合成して表示する手段とを具備したことを特徴とする。
本発明の第２局面による術式支援用画像表示装置は、第１の撮像手段と、前記第１の撮像手段の位置及び向きを計測する手段と、第２の撮像手段と、前記第２の撮像手段の位置と向きとの少なくとも一方を変更する変更手段と、前記第１の撮像手段の位置及び向きに基づいて、前記第１の撮像手段の撮像範囲に対して前記第２の撮像手段の撮像範囲が交差し、かつ前記第２の撮像手段の撮像中心軸が前記第１の撮像手段の撮像範囲内の注目点を通るように前記変更手段を制御する制御手段と、前記第１の撮像手段により撮像された画像と前記第２の撮像手段により撮像された画像とを表示する手段とを具備したことを特徴とする。
【００１６】
【発明の実施の形態】
以下、発明の好ましい実施の形態を図面を参照して説明する。
（第１の実施の形態）
図１に第１の実施の形態に係る術式支援用立体視ビューアーシステムの構成図を示す。図２にビューアー本体１０の使用例を示す。図３にビューアー本体１０の斜視図を示す。図４にビューアー本体１０の断面図を示す。左右眼用の覗き窓１１，１２の付いた暗箱様のビューアー本体１０には、左右眼用小形カメラ１，２が観察者（＝術者）の視線と平行になるように、且つ左右眼視差に応じた距離だけ互いに離間して装着される。左右眼用小形カメラ１，２としては、ＣＣＤカメラ、サーモグラム（温度画像）を得るカメラ又は赤外線カメラ等が採用される。図示しない拡大レンズが左右眼用小形カメラ１，２に対して着脱自在になっている。左右眼用小形カメラ１，２は、同一の光学像をプリズムにより左右眼用の２つの光学像に分配し１つの撮像部の異なるエリアでそれぞれ撮像する単カメラ両眼立体視方式のカメラであってもよい。
【００１７】
またビューアー本体１０の内部であって、覗き窓１１，１２に正対する位置に左右眼用モニタ７，８が収容されている。左右眼用小形カメラ１，２それぞれで撮像された画像はカメラコントローラ３、合成部６を介して、それぞれ対応するモニタ７，８に表示される。これにより観察者は立体視が可能である。
【００１８】
ビューアー本体１０は、観察者、つまり術者の頭部にバンド等により装着され、又は天井から多関節アーム９により懸垂されて、術者の眼前に設けられる。ビューアー本体位置・向き計測部４は、多関節アーム９の各関節の角度に基づいて、ビューアー本体１０の位置及び向きを計測する。この位置及び向きは左右眼用小形カメラ１，２の位置及び撮像方向に相当する。ビューアー本体位置・向き計測部４で計測されたビューアー本体１０の位置及び向きの情報は、術式支援情報作成部５に取り込まれる。術式支援情報作成部５は、ビューアー本体位置・向き計測部４で計測されたビューアー本体１０の位置及び向きに基づいて、術式を支援するための情報を作成する。術式支援情報作成部５で作成された術式支援情報は、合成部６で左右眼用小形カメラ１，２それぞれで撮像された画像に合成され、左右眼用モニタ７，８に表示され、観察者に提示される。
【００１９】
術式支援情報としては、ビューアー本体１０の位置及び向きに基づいた情報であって、例えばビューアー本体１０の位置及び向きをそのまま表す文字又は記号若しくは図形、３次元画像が考えられる。３次元画像は次のように作成される。術式支援情報作成部５は、マルチスライス又はヘリカルスキャン方式のＸ線コンピュータ断層撮影装置、磁気共鳴イメージング装置、スキャン面をそれに垂直な方向に沿って移動又は首振り可能ないわゆる３−Ｄ超音波診断装置等の３次元画像収集装置によって予め患者の術式対象部位を含む３次元領域を撮像し、この術式対象部位を２値化処理により抽出して得られた３次元データが格納されている３次元メモリを有し、この３次元データからビューアー本体１０の位置を視点として、またビューアー本体１０の向きに沿って投影処理することにより得られる術式対象部位の立体形状を表す表面画像やワイヤフレーム等の３次元画像を術式支援情報として作成する。
【００２０】
左右眼用小形カメラ１，２それぞれで撮像された画像（図５（ａ）参照）と、術式支援情報作成部５で作成された３次元画像（図５（ｂ）参照）とは、合成部６で位置整合され合成され、左右眼用モニタ７，８に表示され（図５（ｃ）参照）、観察者に提示される。
【００２１】
このような本実施の形態によれば、術者による位置や向き、また対象部位の立体形状等の術式を支援する情報が各種画像と共に提供され、術者は手操作が容易になる。
（第２の実施の形態）
図６に第２の実施の形態に係る術式支援用立体視ビューアーシステムの構成図を示す。図１と同じ部分には同符号を付して説明は省略する。左右眼用小形カメラ１，２それぞれで撮像された画像は、画像処理部１５で画像処理に供される。画像処理部１５で画像処理に供された画像は、左右眼用小形カメラ１，２で撮像された画像に合成部６で合成され、左右眼用モニタ７，８に表示される。
【００２２】
画像処理部１５による画像処理としては、術式関連分野では特定部位の輪郭を抽出する輪郭抽出処理、左右眼用小形カメラ１，２で撮像された画像間の位置ずれから３次元位置情報（奥行き情報の付加）を認識し、対象部位の立体形状を表す表面画像やワイヤフレーム等の３次元画像を作成する処理等が考えられる。また、適当な画像処理を採用することにより、本実施の形態は道案内や工業生産作業や障害者支援等の様々な分野に応用可能である。例えば、左右眼用小形カメラ１，２で撮像されたカラー画像（図７（ａ）参照）から、色相の相違がハッチングの相違として表現された画像（図７（ｂ）参照）を作成する画像処理を採用することにより、色弱障害者を支援することが可能となる。なおこの場合、赤、青、黄色等の特定の幾つかの色に対してのみ、ハッチング変換することは、物体自体がハッチングにより隠れて見え難くなるという不具合を解消するという観点から好ましい。
（第３の実施の形態）
第３の実施の形態は、手術用マニピュレータ（ロボット腕）を使って穿刺術式や顕微鏡下での微細術式等でブラインドによる腫瘍摘出等を行うケースを想定してなされたものである。
【００２３】
図８に第３の実施の形態に係る術式支援用画像表示装置の構成図を示す。電子顕微鏡、ＣＣＤカメラ、ステレオカメラ、超音波断層診断装置、サーモグラムカメラ、内視鏡、又はその他のイメージング装置である撮像部２２で撮像された画像は、コントローラ２４、合成部２５を介して、モニタ２６に表示される。位置・向き計測部２３は、撮像部２２の位置及び向き（撮像中心軸の方向）を計測する。
【００２４】
手術用マニピュレータ２０はその先端に開閉自在のロボット手２１を装備している。
位置・向き・状態計測部２７は、手術用マニピュレータ２０の図示しないコントローラからの情報により、手術用マニピュレータ２０の先端の位置、先端の向き、さらにロボット手２１の開状態又は閉状態を計測する。
【００２５】
位置・向き計測部２３により計測された撮像部２２の位置及び向きの情報と、位置・向き・状態計測部２７により計測された撮像部２２の位置、向き及び状態の情報とは、レンダリング処理部２８に取り込まれる。レンダリング処理部２８にはマニピュレータ３Ｄデータ記憶部２９が接続される。マニピュレータ３−Ｄデータ記憶部２９には、図９（ａ），（ｂ）に示すように、開状態の手術用マニピュレータ２０の３Ｄデータ（３次元データ）と、閉状態の手術用マニピュレータ２０の３Ｄデータとが予め記憶されている。
【００２６】
レンダリング処理部２８は、位置・向き・状態計測部２７からの状態情報にしたがって開状態又は閉状態の３Ｄデータをマニピュレータ３Ｄデータ記憶部２９からロードする。そして、レンダリング処理部２８は、位置・向き・状態計測部２７からの位置・向き情報にしたがって、ロードした３Ｄデータを実際の手術用マニピュレータ２０の位置及び向きに応じた座標に変換する。次に、図１０に示すように、レンダリング処理部２８は、座標変換後の３Ｄデータを位置・向き計測部２３からの撮像部２２の位置及び向きに基づいて、つまり撮像部２２の位置を視点、その向きを投影方向としてスクリーン内の各画素に投影し、実際には観察不可能な撮像部２２から見た手術用マニピュレータ２０のマニピュレータ像（３次元画像）を作成する。なお、点線で示す円はスクリーン上での撮像部２２の撮像範囲に相当する領域を示す。スクリーンは撮像部２２の撮像範囲より相対的に広範囲に設定される。これは、手術用マニピュレータ２０が撮像部２２の撮像範囲から外れた場合でも、手術用マニピュレータ２０の位置を画像上で観察者が確認できることを可能とするためである。
【００２７】
レンダリング処理部２８で作成されたマニピュレータ像は、撮像部２２により撮像された画像と合成部２５で１フレームに合成され（スーパーインポーズ）、図１１に示すようにモニタ２６に表示される。
【００２８】
上述したように第３の実施の形態によれば、実際には撮像部２２で捕らえられない手術用マニピュレータ２０の位置、向き及び状態を画像上に提供することができる。また、手術用マニピュレータ２０が撮像部２２の撮像範囲外に存在したときでも、手術用マニピュレータ２０の位置、向き及び状態を画像上で確認可能である。
【００２９】
なお、第３の実施の形態による画像表示装置は、第１の実施の形態で説明した立体視ビューアーシステムに適用することができる。この場合、撮像部２２は左右眼用小形カメラ１，２に相当し、それと同様に左右眼用の２系統の撮像部からなる。ただし、撮像部２２はビューアー本体１０に装着されることに限定されない。また、モニタ２６は左右眼用モニタ７，８に相当し、それと同様にビューアー本体１０に収容された左右眼用の２系統のモニタからなる。また、レンダリング処理部２８は左右眼用の２系統の撮像部それぞれから見た左右眼用のマニピュレータ像を作成する。
（第４の実施の形態）
図１２に第４の実施の形態に係る術式支援用画像表示装置の構成図を示す。電子顕微鏡、ＣＣＤカメラ、内視鏡、ステレオ式カメラ、ステレオ式内視鏡、断層像を収集する超音波診断装置、サーモグラムカメラ、又はその他のイメージング装置である第１の撮像部３０で撮像された画像は、コントローラ３１を介して第１の表示部３２に表示される。位置・向き計測部３３は、第１の撮像部３０の位置及び向き（撮像中心軸の方向）を計測する。第１の撮像部３０の位置及び向きの情報は、撮像位置・向きコントローラ３４に送られる。撮像位置・向きコントローラ３４には、観察者が必要に応じて第１の撮像部３０の撮像範囲内に注目点を設定するためのものであり、キーボード、タブレット、マウス等を含む入力部３５が接続される。
【００３０】
電子顕微鏡、ＣＣＤカメラ、内視鏡、ステレオ式カメラ、ステレオ式内視鏡、サーモグラムカメラ、Ｘ線コンピュータ断層撮影装置（ＣＴ）、超音波断層撮影装置（ＵＳ）、Ｘ線テレビジョン装置、磁気共鳴イメージング装置（ＭＲＩ）、ＳＰＥＣＴ(single photon emission computed tomography)、ＰＥＴ(positron emission computed tomography) 、又はその他のイメージング装置である第２の撮像部３６で撮像された画像は、コントローラ３７を介して第２の表示部３８に表示される。
【００３１】
撮像位置・向き変更部３９は、第２の撮像部３６の位置と撮像中心軸の向きとの少なくとも一方を変更することが可能に構成され、第２の撮像部３６のタイプに応じて、例えば図１３に示すような多関節アーム、ガントリ傾斜台、天板スライド式寝台等の適当な組み合わせからなる。
【００３２】
図１３は第１の撮像部３０と第２の撮像部３６がＣＣＤカメラ、ステレオカメラ、サーモグラムカメラの任意の組み合わせである場合の撮像位置・向きコントローラ３４による制御の説明図である。また、図１５は第１の撮像部３０と第２の撮像部３６とがそれぞれ電子内視鏡である場合の撮像位置・向きコントローラ３４による制御の説明図である。また、図１６は第１の撮像部３０が電子内視鏡、第２の撮像部３６がＣＴ、ＵＳ、ＭＲＩ、ＳＰＥＣＴ、ＰＥＴ等の断層像を撮影可能な装置である場合の撮像位置・向きコントローラ３４による制御の説明図である。この場合、第２の撮像部３６の撮像範囲は断面である。また、図１７は第１の撮像部３０が電子内視鏡、第２の撮像部３６がＸ線テレビジョン装置である場合の撮像位置・向きコントローラ３４による制御の説明図である。この場合、第２の撮像部３６の撮像範囲は円錐形である。
【００３３】
撮像位置・向きコントローラ３４は、第１の制御モードでは、第２の撮像部３６の撮像範囲が第１の撮像部３０の撮像範囲に対して少なくとも一部交差するように撮像位置・向き変更部３９を制御する。
【００３４】
また、撮像位置・向きコントローラ３４は、第２の制御モードでは、第２の撮像部３６の撮像中心軸が第１の撮像部３０の撮像中心軸と交差するように撮像位置・向き変更部３９を制御する。
【００３５】
また、撮像位置・向きコントローラ３４は、第３の制御モードでは、第２の撮像部３６の撮像中心軸が第１の撮像部３０の撮像中心軸と直交するように撮像位置・向き変更部３９を制御する。
【００３６】
さらに、撮像位置・向きコントローラ３４は、第４の制御モードでは、第２の撮像部３６の撮像中心軸上が、第１の撮像部３０の撮像範囲内に設定された注目点（注目点については後述する）を通るように撮像位置・向き変更部３９を制御する。第２の制御モード乃至第４の制御モードであれば、図１４（ａ），（ｂ）に示すようにそれぞれの画像中心には同一の対象物が表示されることになる。
【００３７】
第１乃至第４の制御モードの１つを予め選定し固定的にインストールしていてもよいし、第１乃至第４の制御モードの全てをインストールしておき、観察者が適宜選択可能としてもよい。
【００３８】
このような撮像位置・向きコントローラ３４による第２の撮像部３６の位置及び向きの制御により、第１の撮像部３０の撮像対象を常に第２の撮像部３６でも自動的にとらえることが可能となる。
【００３９】
次に注目点について説明する。注目点とは、図１８に示すように第１の撮像部３０の焦点、又は入力部３５を介して第１の撮像部３０の撮像範囲内に設定された指定点のことをいう。指定点は撮像位置・向きコントローラ３４により認識される。ここでは、指定点の指定方法として５つのモードを提案する。
【００４０】
図１９に示すように第１のモードでは、観察者により第１の撮像部３０の例えば対物レンズ中心からの距離Ｌが入力され、この場合、指定点は第１の撮像部３０の撮像中心軸上に存在することになる。図２０に示すように第２、第３のモードでは、観察者により第１の表示部３２に表示された第１の撮像部３０による画像上の任意の点がマーカを使って指定される。さらに第２のモードでは、観察者により第１の撮像部３０の例えば対物レンズ中心からの距離Ｌが入力される。図２１（ａ）に示すように第２のモードでは、第１の撮像部３０の撮像面上でマーカに対応する点から第１の撮像部３０の対物レンズ中心を通る線上であって、第１の撮像部３０の例えば対物レンズ中心から距離Ｌの点が指定点となる。図２１（ｂ）に示すように第３のモードでは、第１の撮像部３０の撮像面上でマーカに対応する点から第１の撮像部３０の対物レンズ中心を通る線と、第１の撮像部３０の焦点を通り撮像中心軸に垂直な面との交点が指定点となる。
【００４１】
第４のモードでは、図２２（ａ）に示すように特定色又は特定形状の球様体としてのポインタが使われ、観察者によりポインタが第１の撮像部３０の撮像範囲内の所望位置に支持される。図２２（ｂ）に示すように第１の撮像部３０の画像内に表れるポインタ像が入力部３５としての画像処理部により特定色又は特定形状に基づいて抽出され、その位置が認識される。この位置に基づいて第２、第３のモードと同様に指定点が特定される。
【００４２】
第５のモードでは、図２３（ａ）に示すように、第１の撮像部３０としてステレオカメラが採用され、特定色又は特定形状のポインタが使われ、観察者によりポインタが第１の撮像部３０の撮像範囲内の所望位置に支持される。第１の撮像部３０の左右眼用の２つの画像内に表れるポインタ像は入力部３５としての画像処理部により特定色又は特定形状に基づいて抽出され、両画像間でのポインタ像の位置ずれに基づいて３次元の位置が認識され、この位置が指定点とされる。
【００４３】
なお、第２の撮像部３６が断層撮像装置であれば、第５のモードは次のように発展可能である。この場合、必要なのは断面の位置及び傾斜である。第５のモードと同様に図２４に示すように、第１の撮像部３０としてステレオカメラが採用され、特定色又は特定形状の第１のポインタの他に、それと画像処理認識技術上で区別可能な異なる色又は形状の第２のポインタとが使われ、観察者によりそれぞれ第１の撮像部３０の撮像範囲内の所望位置に支持される。第５のモードと同様に、第１の撮像部３０の左右眼用の２つの画像内に表れる第１、第２のポインタ像が抽出され、両画像間でのポインタ像の位置ずれに基づいて、第１のポインタに対応する３次元の第１の位置と、第２のポインタに対応する３次元の第２の位置とが認識される。そして、第１のポインタを通り、且つ第１のポインタと第２のポインタとの結線に垂直な面が、第１、第２の位置に基づいて認識される。この垂直な面が、第２の撮像部３６が撮像する断面とされる。
（第５の実施の形態）
図２５に第５の実施の形態に係る術式支援用画像表示装置の構成図を示す。電子顕微鏡、ＣＣＤカメラ、内視鏡、ステレオ式カメラ、ステレオ式内視鏡、断層像を収集する超音波診断装置、サーモグラムカメラ、又はその他のイメージング装置である第１の撮像部４１で撮像された画像は、コントローラ４２、合成部４３を介して表示部４４に表示される。位置・向き計測部４５は、第１の撮像部４１の位置及び向き（撮像中心軸の方向）を計測する。第１の撮像部３０の位置及び向きの情報は、画像プロセッサ４７に送られる。
【００４４】
ステレオ式カメラ、ステレオ式電子内視鏡、Ｘ線コンピュータ断層撮影装置（ＣＴ）、超音波断層撮影装置（ＵＳ）、磁気共鳴イメージング装置（ＭＲＩ）、ＳＰＥＣＴ、ＰＥＴ等の３次元データを収集可能なイメージング装置である第２の撮像部４６で収集された患者の３次元領域の３次元データは、画像プロセッサ４７に送られる。第２の撮像部４６の３次元撮像範囲は、第１の撮像部４１の撮像範囲を含むように第４の実施の形態と同様に制御される。位置・向き計測部４５は、第２の撮像部４１の位置及び向き（撮像中心軸の方向）を計測する。第２の撮像部４５の位置及び向きの情報は、画像プロセッサ４７に送られる。
【００４５】
画像プロセッサ４７は、第１の撮像部４１の位置及び向きと、第２の撮像部４６の位置及び向きとに基づいて、第２の撮像部４６で収集された３次元データを画像処理に供し、画像を作成する。この画像の作成方法については後述する。画像プロセッサ４７で作成された画像は、合成部４３で第１の撮像部４１により撮像された画像と合成（スーパーインポーズ）され、表示部４４に表示される。
【００４６】
第２の撮像部４６が断層撮影装置である場合の画像処理について説明する。図２６は特定部位の３次元データの作成手順について示す図である。ここではマルチスライスのＣＴを例に説明する。マルチスライスの断層像（同図（ａ）参照）をスライス毎に特定部位の領域を抽出し（同図（ｂ）参照）、必要に応じてスライス間の補間を行いながらスライス方向に積み上げ、同図（ｃ）に示す３次元データが作成される。この３次元データはワイヤフレームデータ、多面体近似データでってもよい。
【００４７】
画像プロセッサ４７は、３次元データを使って術式を支援することの可能な画像を作成する。画像プロセッサ４７は、図２７に示すように、第１の撮像部４１の位置を視点として、また第１の撮像部４１の向きに沿って３次元データをスクリーンに投影することにより、第１の撮像部４１から見たような特定部位の３次元画像をレンダリングする。なお、注目点を中心とした局所内の３次元データだけを投影対象としてもよい。この３次元画像は、合成部４３で第１の撮像部４１により撮像された画像と合成され、図２８に示すように表示部４４に表示される。
【００４８】
また、画像プロセッサ４７は、３次元画像に代えて、図２９に示すような断面の断層像を３次元データから再編成してもよい。断面は、第１の撮像部４１の撮像中心軸に垂直であって、第４の実施の形態で説明した第１の撮像部４１の撮像範囲内の注目点を通る面として決定される。
【００４９】
また、画像プロセッサ４７は、図３０（ａ），（ｂ）に示すように、第２の撮像部４６で撮像されたオリジナルの断面に対する第１の撮像部４１の撮像中心軸の角度に基づいて、第２の撮像部４６で撮像されたオリジナルの断層像を幾何学的に変形し、この幾何学的に変形したオリジナルの断層像を第１の撮像部４１の画像に合成して表示してもよい。
【００５０】
次に第２の撮像部４６が図３１に示すようにステレオ式カメラである場合の画像処理について説明する。図３２はこの手順の説明図である。第２の撮像部４６の右眼用カメラと左眼用カメラとで撮像された画像間での同一部位の位置ずれに基づいて奥行きを計算することによい３次元データを作成する。ただし、３次元データは、カメラ側から見た対象の一側面の表面に関するデータに過ぎない。第１の撮像部４１の位置を視点として、また第１の撮像部４１の向きに沿って３次元データをスクリーンに投影することにより、第１の撮像部４１から見たような対象表面の立体的形状を表現する３次元画像を作成する。この３次元画像は第１の撮像部４１の画像に合成して表示される。
【００５１】
このような画像処理は、図３３に示すように第１の撮像部４１が電子内視鏡であって、第２の撮像部４６がステレオ式電子内視鏡である場合にも有用である。図３４を画像処理手順の説明図である。ここでは血管外壁に発生した腫瘍を手術用マニピュレータで摘出する場合を想定する。第１の撮像部４１が腫瘍の頭頂側から撮像するとき、その画像では切除すべき腫瘍根の位置及び大きさが確認できない。第２の撮像部４６は腫瘍を側面から撮像するように設置される。図３２で説明したと同様にステレオ式電子内視鏡による左右眼用の画像から３次元データを作成する。第１の撮像部４１の位置を視点として、また第１の撮像部４１の向きに沿って３次元データをスクリーンに、腫瘍の後方が見えるように累積加算投影することにより、腫瘍根の輪郭が描画された３次元画像が作成され、第１の撮像部４１の画像に合成して表示される。
（第６の実施の形態）
図３５は第６の実施の形態による画像表示装置の構成図である。電子内視鏡５０は、対物レンズ５１と、一般にＣＣＤが用いられる固体撮像素子５２と、固体撮像素子５２からの映像信号を伝送する伝送路５３と、固体撮像素子５２の撮像動作を制御するコントローラ５４と、映像信号をビジュアルな画像として表示する表示部５５とから基本的に構成される。対物レンズ５１、固体撮像素子５２及び伝送路５３は細管に収容される。
【００５２】
位置・向き計測部５６は、電子内視鏡５０の先端の位置及び向き（撮像方向）を計測し、位置及び向きの情報を３Ｄプロセッサ５９に出力する。例えば、電子内視鏡５０の細管の先端に磁石を装着し、患者周辺に離散的に設置された少なくとも３つの磁力線センサで磁石からの磁力線強度を検出し、各磁力線センサの検出値の比較結果に基づいて電子内視鏡５０の先端の位置を計測することが可能である。向きは、電子内視鏡５０の先端の位置の変位に基づいて計測することが可能である。また、例えば、電子内視鏡５０の細管の先端に送信用の超音波トランスデューサを装着し、患者周辺に複数の受信用の超音波トランスデューサを離散的に設置し、各受信用の超音波トランスデューサの検出値の比較結果に基づいて電子内視鏡５０の先端の位置を計測することが可能である。向きは、電子内視鏡５０の先端の位置の変位に基づいて計測することが可能である。勿論、位置・向き計測の手法としてはこれらに限定されない。
【００５３】
Ｘ線コンピュータ断層撮影装置（ＣＴ）５７としては、患者の３次元領域の３次元データを収集可能なマルチスライスタイプ、又はヘリカルスキャンタイプのものが採用される。図３７に一点鎖線で示す検査又は術式対象領域の３次元データがＣＴ５７で収集され、記憶部５８に記憶される。この３次元データの収集は、検査又は術式の実施の事前に行われ、このデータ収集のときの患者の位置及び姿勢を維持した状態で電子内視鏡５０による画像表示作業に移行する。
【００５４】
３Ｄプロセッサ５９は、記憶部５８の３次元データを使って、電子内視鏡５０の先端の位置及び向きに応じた画像を作成する。作成される画像としては、２種類提案する。第１種の画像としては、図３８（ａ）に示すように、電子内視鏡５０の先端の位置又は先端位置から向きに沿って所定距離遠方の位置を通り、且つ向きに垂直な断面の断層像であり、この断面の断層像を３次元データから必要に応じて補間を行いながら再編成する。第２種の画像としては、図３８（ｂ）に示すように、電子内視鏡５０の先端の位置又は先端位置から向きに沿って所定距離遠方の位置を通り、且つ向きに垂直な断面を定義し、この断面より遠方の領域内の３次元データをレンダリング処理に供した３次元画像である。
【００５５】
いずれかの画像を表示部６０に表示し、又は電子内視鏡５０の画像と合成（スーパーインポーズ）して表示する。
これにより電子内視鏡５０だけでは得られない情報を観察者に提供可能である。
本発明は上述した実施の形態に限定されることなく種々変形して実施可能である。
【００５６】
【発明の効果】
本発明の第１局面によると、手術用マニピュレータの３次元画像が、撮像手段により撮像された画像に合成され表示されるので、手術用マニピュレータを撮像手段でとらえられなくても、その位置を確認できる。したがって術式を支援可能である。
本発明の第２局面によると、第１の撮像手段の撮像範囲に対して第２の撮像手段の撮像範囲が交差するように制御されるので、常に同一対象を２方向からとらえることができる。したがって術式を支援可能である。
【図面の簡単な説明】
【図１】第１の実施の形態による立体視ビューアーシステムの構成部。
【図２】立体視ビューアーシステムの適用例を示す図。
【図３】ビューアー本体の斜視図。
【図４】ビューアー本体の断面図。
【図５】小形カメラによる画像、術式支援情報作成部による画像、合成部による画像の一例を示す図。
【図６】第２の実施の形態による立体視ビューアーシステムの構成部。
【図７】画像表示例を示す図。
【図８】第３の実施の形態による術式支援用画像表示装置の構成部。
【図９】記憶部に記憶されるデータの模式図。
【図１０】投影処理の説明図。
【図１１】画像表示例を示す図。
【図１２】第４の実施の形態による術式支援用画像表示装置の構成部。
【図１３】撮像位置・向きコントローラによる制御説明図。
【図１４】画像表示例を示す図。
【図１５】撮像位置・向きコントローラによる他の制御説明図。
【図１６】撮像位置・向きコントローラによる他の制御説明図。
【図１７】撮像位置・向きコントローラによる他の制御説明図。
【図１８】第１の注目点の説明図。
【図１９】第２の注目点の指定方法の説明図。
【図２０】注目点を指定するためのマーカを示す図。
【図２１】第３、第４の注目点の指定方法の説明図。
【図２２】注目点の他の指定方法の説明図。
【図２３】注目点のさらに他の指定方法の説明図。
【図２４】断面の指定方法の説明図。
【図２５】第５の実施の形態による術式支援用画像表示装置の構成図。
【図２６】３次元データ作成手順の説明図。
【図２７】画像プロセッサによる３次元画像作成処理の説明図。
【図２８】画像表示例を示す図。
【図２９】画像プロセッサによる断層像再編成処理の説明図。
【図３０】画像プロセッサによる幾何学的変形処理の説明図。
【図３１】第２の撮像部としてのステレオ式カメラを示す図。
【図３２】図３１に対応する画像プロセッサによる３次元画像作成から画像表示に至る処理手順の説明図。
【図３３】第２の撮像部としてのステレオ式電子内視鏡を示す図。
【図３４】図３３に対応する画像プロセッサによる３次元画像作成から画像表示に至る処理手順の説明図。
【図３５】第６の実施の形態による術式支援用画像表示装置の構成図。
【図３６】第６の実施の形態の適用例を示す図。
【図３７】ＣＴのデータ収集領域を示す図。
【図３８】３Ｄプロセッサにより作成される画像の説明図。
【符号の説明】
１…右眼用小形カメラ、２…左眼用小形カメラ、
３…カメラコントローラ、４…ビューアー本体位置・向き計測部、
５…術式支援情報作成部、６…合成部、
７…右眼用モニタ、８…左眼用モニタ。

Claims

撮像手段と、
前記撮像手段の位置及び向きを測定する手段と、
手術用マニピュレータの位置及び向きを計測する手段と、
前記手術用マニピュレータの３次元データを記憶する手段と、
前記撮像手段の位置及び向きと、前記手術用マニピュレータの位置及び向きとに基づいて、前記撮像手段から見た前記手術用マニピュレータの３次元画像を前記３次元データから生成する手段と、
前記撮像手段により撮像された画像に前記３次元画像を合成して表示する手段とを具備したことを特徴とする術式支援用画像表示装置。
第１の撮像手段と、
前記第１の撮像手段の位置及び向きを計測する手段と、
第２の撮像手段と、
前記第２の撮像手段の位置と向きとの少なくとも一方を変更する変更手段と、
前記第１の撮像手段の位置及び向きに基づいて、前記第１の撮像手段の撮像範囲に対して前記第２の撮像手段の撮像範囲が交差し、かつ前記第２の撮像手段の撮像中心軸が前記第１の撮像手段の撮像範囲内の注目点を通るように前記変更手段を制御する制御手段と、
前記第１の撮像手段により撮像された画像と前記第２の撮像手段により撮像された画像とを表示する手段とを具備したことを特徴とする術式支援用画像表示装置。
前記制御手段は、前記第２の撮像手段の撮像中心軸が前記第１の撮像手段の撮像中心軸と交差するように前記変更手段を制御することを特徴とする請求項２記載の術式支援用画像表示装置。