JPH0919441A - 術式支援用画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明の目的は、手術を好適に支援することの
できる術式支援用画像表示装置を提供することである。 【解決手段】本発明による立体視ビューアーシステム
は、ビューアー本体１０と、撮像中心軸が観察者の視線
に略平行になるようにビューアー本体１０に装着された
左右眼用の小形カメラ１，２と、ビューアー本体１０の
位置及び向きを測定する計測部４と、計測部４で計測さ
れた位置及び向きに応じた術式を支援する情報を作成す
る術式支援情報作成部５と、ビューアー本体１０に収容
され、左右眼用の小形カメラ１，２により撮像された画
像を術式支援情報と共に表示する左右眼用のモニタ７，
８とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手術を支援するた
めの画像を提供する術式支援用画像表示装置に関する。

【０００２】

【従来の技術】近年における電子内視鏡等の画像撮像装
置の技術的発展は、画像提供という側面から術式を支援
する機会の増加を促し、術式の精度の向上に貢献してい
る。手術対象部位をどのように画像として又は情報とし
て医師に提供するかが術式の成否の鍵を握る重要な課題
といえる。

【０００３】

【発明が解決しようとする課題】本発明の目的は、手術
を好適に支援することのできる術式支援用画像表示装置
を提供することである。

【０００４】

【問題点を解決するための手段】第１の発明に係る立体
視ビューアーシステムは、ビューアー本体と、撮像中心
軸が観察者の視線に略平行になるように前記ビューアー
本体に装着された左右眼用の撮像手段と、前記ビューア
ー本体の位置及び向きを測定する手段と、前記位置及び
向きに応じた術式を支援する情報を作成する作成手段
と、前記ビューアー本体に収容され、前記撮像手段によ
り撮像された画像を前記情報と共に表示する左右眼用の
モニタとを具備したことを特徴とする。

【０００５】第２の発明に係る立体視ビューアーシステ
ムは、ビューアー本体と、撮像中心軸が観察者の視線に
略平行になるように前記ビューアー本体に装着された左
右眼用の撮像手段と、前記撮像手段により撮像された画
像を画像処理に供する画像処理手段と、前記ビューアー
本体に収容され、前記撮像手段により撮像された画像を
前記画像処理に供された画像と共に表示する左右眼用の
モニタとを具備したことを特徴とする。

【０００６】第３の発明に係る術式支援用画像表示装置
は、撮像手段と、前記撮像手段の位置及び向きを測定す
る手段と、手術用マニピュレータの位置及び向きを計測
する手段と、前記手術用マニピュレータの３次元データ
を記憶する手段と、前記撮像手段の位置及び向きと、前
記手術用マニピュレータの位置及び向きとに基づいて、
前記撮像手段から見た前記手術用マニピュレータの３次
元画像を前記３次元データから生成する手段と、前記撮
像手段により撮像された画像に前記３次元画像を合成し
て表示する手段とを具備したことを特徴とする。

【０００７】第４の発明に係る術式支援用画像表示装置
は、第１の撮像手段と、前記第１の撮像手段の位置及び
向きを計測する手段と、第２の撮像手段と、前記第２の
撮像手段の位置と向きとの少なくとも一方を変更する変
更手段と、前記第１の撮像手段の位置及び向きに基づい
て、前記第１の撮像手段の撮像範囲に対して前記第２の
撮像手段の撮像範囲が交差するように前記変更手段を制
御する制御手段と、前記第１の撮像手段により撮像され
た画像と前記第２の撮像手段により撮像された画像とを
表示する手段とを具備したことを特徴とする。

【０００８】第５の発明に係る術式支援用画像表示装置
は、第１の撮像手段と、前記第１の撮像手段の位置及び
向きを測定する手段と、第２の撮像手段と、前記第２の
撮像手段の位置及び向きを測定する手段と、前記第１の
撮像手段の位置及び向きと、前記第２の撮像手段の位置
及び向きとに基づいて、前記第２の撮像手段で撮像され
た画像を画像処理に供する画像処理手段と、前記第１の
撮像手段により撮像された画像と前記画像処理に供され
た画像とを表示する手段とを具備したことを特徴とす
る。

【０００９】第６の発明に係る画像表示装置は、内視鏡
と、前記内視鏡の先端の位置及び向きを測定する手段
と、前記内視鏡の先端を含む被検体の３次元領域の３次
元データを記憶する手段と、前記内視鏡の先端の位置及
び向きに応じた画像を前記３次元データから作成する作
成手段と、前記作成手段により作成された画像を表示す
る手段とを具備することを特徴とする。

【００１０】第１の発明によると、ビューアー本体の位
置及び向きに応じた術式を支援する情報が撮像手段によ
り撮像された画像と共に左右眼用のモニタに表示され、
立体視及び支援情報の提供により術式を支援することが
可能である。

【００１１】第２の発明によると、撮像手段により撮像
された画像と、その画像の画像処理後の画像とが表示さ
れ、立体視及び処理済画像の提供により術式を支援する
ことが可能である。

【００１２】第３の発明によると、手術用マニピュレー
タの３次元画像が、撮像手段により撮像された画像に合
成され表示されるので、手術用マニピュレータを撮像手
段でとらえられなくても、その位置を確認できる。した
がって術式を支援可能である。

【００１３】第４の発明によると、第１の撮像手段の撮
像範囲に対して第２の撮像手段の撮像範囲が交差するよ
うに制御されるので、常に同一対象を２方向からとらえ
ることができる。したがって術式を支援可能である。

【００１４】第５の発明によると、第２の撮像手段で撮
像された画像は、第１の撮像手段の位置及び向きと第２
の撮像手段の位置及び向きとに基づいて、画像処理に供
される。第１の撮像手段による画像と、この処理済画像
との提供により術式を支援することが可能である。

【００１５】第６の発明によると、内視鏡の先端の位置
及び向きに応じた画像が３次元データから作成され、表
示される。したがって、内視鏡だけでは得られない画像
を提供でき、術式を支援することが可能である。

【００１６】

【発明の実施の形態】以下、発明の好ましい実施の形態
を図面を参照して説明する。 （第１の実施の形態）図１に第１の実施の形態に係る術
式支援用立体視ビューアーシステムの構成図を示す。図
２にビューアー本体１０の使用例を示す。図３にビュー
アー本体１０の斜視図を示す。図４にビューアー本体１
０の断面図を示す。左右眼用の覗き窓１１，１２の付い
た暗箱様のビューアー本体１０には、左右眼用小形カメ
ラ１，２が観察者（＝術者）の視線と平行になるよう
に、且つ左右眼視差に応じた距離だけ互いに離間して装
着される。左右眼用小形カメラ１，２としては、ＣＣＤ
カメラ、サーモグラム（温度画像）を得るカメラ又は赤
外線カメラ等が採用される。図示しない拡大レンズが左
右眼用小形カメラ１，２に対して着脱自在になってい
る。左右眼用小形カメラ１，２は、同一の光学像をプリ
ズムにより左右眼用の２つの光学像に分配し１つの撮像
部の異なるエリアでそれぞれ撮像する単カメラ両眼立体
視方式のカメラであってもよい。

【００１７】またビューアー本体１０の内部であって、
覗き窓１１，１２に正対する位置に左右眼用モニタ７，
８が収容されている。左右眼用小形カメラ１，２それぞ
れで撮像された画像はカメラコントローラ３、合成部６
を介して、それぞれ対応するモニタ７，８に表示され
る。これにより観察者は立体視が可能である。

【００１８】ビューアー本体１０は、観察者、つまり術
者の頭部にバンド等により装着され、又は天井から多関
節アーム９により懸垂されて、術者の眼前に設けられ
る。ビューアー本体位置・向き計測部４は、多関節アー
ム９の各関節の角度に基づいて、ビューアー本体１０の
位置及び向きを計測する。この位置及び向きは左右眼用
小形カメラ１，２の位置及び撮像方向に相当する。ビュ
ーアー本体位置・向き計測部４で計測されたビューアー
本体１０の位置及び向きの情報は、術式支援情報作成部
５に取り込まれる。術式支援情報作成部５は、ビューア
ー本体位置・向き計測部４で計測されたビューアー本体
１０の位置及び向きに基づいて、術式を支援するための
情報を作成する。術式支援情報作成部５で作成された術
式支援情報は、合成部６で左右眼用小形カメラ１，２そ
れぞれで撮像された画像に合成され、左右眼用モニタ
７，８に表示され、観察者に提示される。

【００１９】術式支援情報としては、ビューアー本体１
０の位置及び向きに基づいた情報であって、例えばビュ
ーアー本体１０の位置及び向きをそのまま表す文字又は
記号若しくは図形、３次元画像が考えられる。３次元画
像は次のように作成される。術式支援情報作成部５は、
マルチスライス又はヘリカルスキャン方式のＸ線コンピ
ュータ断層撮影装置、磁気共鳴イメージング装置、スキ
ャン面をそれに垂直な方向に沿って移動又は首振り可能
ないわゆる３−Ｄ超音波診断装置等の３次元画像収集装
置によって予め患者の術式対象部位を含む３次元領域を
撮像し、この術式対象部位を２値化処理により抽出して
得られた３次元データが格納されている３次元メモリを
有し、この３次元データからビューアー本体１０の位置
を視点として、またビューアー本体１０の向きに沿って
投影処理することにより得られる術式対象部位の立体形
状を表す表面画像やワイヤフレーム等の３次元画像を術
式支援情報として作成する。

【００２０】左右眼用小形カメラ１，２それぞれで撮像
された画像（図５（ａ）参照）と、術式支援情報作成部
５で作成された３次元画像（図５（ｂ）参照）とは、合
成部６で位置整合され合成され、左右眼用モニタ７，８
に表示され（図５（ｃ）参照）、観察者に提示される。

【００２１】このような本実施の形態によれば、術者に
よる位置や向き、また対象部位の立体形状等の術式を支
援する情報が各種画像と共に提供され、術者は手操作が
容易になる。 （第２の実施の形態）図６に第２の実施の形態に係る術
式支援用立体視ビューアーシステムの構成図を示す。図
１と同じ部分には同符号を付して説明は省略する。左右
眼用小形カメラ１，２それぞれで撮像された画像は、画
像処理部１５で画像処理に供される。画像処理部１５で
画像処理に供された画像は、左右眼用小形カメラ１，２
で撮像された画像に合成部６で合成され、左右眼用モニ
タ７，８に表示される。

【００２２】画像処理部１５による画像処理としては、
術式関連分野では特定部位の輪郭を抽出する輪郭抽出処
理、左右眼用小形カメラ１，２で撮像された画像間の位
置ずれから３次元位置情報（奥行き情報の付加）を認識
し、対象部位の立体形状を表す表面画像やワイヤフレー
ム等の３次元画像を作成する処理等が考えられる。ま
た、適当な画像処理を採用することにより、本実施の形
態は道案内や工業生産作業や障害者支援等の様々な分野
に応用可能である。例えば、左右眼用小形カメラ１，２
で撮像されたカラー画像（図７（ａ）参照）から、色相
の相違がハッチングの相違として表現された画像（図７
（ｂ）参照）を作成する画像処理を採用することによ
り、色弱障害者を支援することが可能となる。なおこの
場合、赤、青、黄色等の特定の幾つかの色に対しての
み、ハッチング変換することは、物体自体がハッチング
により隠れて見え難くなるという不具合を解消するとい
う観点から好ましい。 （第３の実施の形態）第３の実施の形態は、手術用マニ
ピュレータ（ロボット腕）を使って穿刺術式や顕微鏡下
での微細術式等でブラインドによる腫瘍摘出等を行うケ
ースを想定してなされたものである。

【００２３】図８に第３の実施の形態に係る術式支援用
画像表示装置の構成図を示す。電子顕微鏡、ＣＣＤカメ
ラ、ステレオカメラ、超音波断層診断装置、サーモグラ
ムカメラ、内視鏡、又はその他のイメージング装置であ
る撮像部２２で撮像された画像は、コントローラ２４、
合成部２５を介して、モニタ２６に表示される。位置・
向き計測部２３は、撮像部２２の位置及び向き（撮像中
心軸の方向）を計測する。

【００２４】手術用マニピュレータ２０はその先端に開
閉自在のロボット手２１を装備している。位置・向き・
状態計測部２７は、手術用マニピュレータ２０の図示し
ないコントローラからの情報により、手術用マニピュレ
ータ２０の先端の位置、先端の向き、さらにロボット手
２１の開状態又は閉状態を計測する。

【００２５】位置・向き計測部２３により計測された撮
像部２２の位置及び向きの情報と、位置・向き・状態計
測部２７により計測された撮像部２２の位置、向き及び
状態の情報とは、レンダリング処理部２８に取り込まれ
る。レンダリング処理部２８にはマニピュレータ３Ｄデ
ータ記憶部２９が接続される。マニピュレータ３−Ｄデ
ータ記憶部２９には、図９（ａ），（ｂ）に示すよう
に、開状態の手術用マニピュレータ２０の３Ｄデータ
（３次元データ）と、閉状態の手術用マニピュレータ２
０の３Ｄデータとが予め記憶されている。

【００２６】レンダリング処理部２８は、位置・向き・
状態計測部２７からの状態情報にしたがって開状態又は
閉状態の３Ｄデータをマニピュレータ３Ｄデータ記憶部
２９からロードする。そして、レンダリング処理部２８
は、位置・向き・状態計測部２７からの位置・向き情報
にしたがって、ロードした３Ｄデータを実際の手術用マ
ニピュレータ２０の位置及び向きに応じた座標に変換す
る。次に、図１０に示すように、レンダリング処理部２
８は、座標変換後の３Ｄデータを位置・向き計測部２３
からの撮像部２２の位置及び向きに基づいて、つまり撮
像部２２の位置を視点、その向きを投影方向としてスク
リーン内の各画素に投影し、実際には観察不可能な撮像
部２２から見た手術用マニピュレータ２０のマニピュレ
ータ像（３次元画像）を作成する。なお、点線で示す円
はスクリーン上での撮像部２２の撮像範囲に相当する領
域を示す。スクリーンは撮像部２２の撮像範囲より相対
的に広範囲に設定される。これは、手術用マニピュレー
タ２０が撮像部２２の撮像範囲から外れた場合でも、手
術用マニピュレータ２０の位置を画像上で観察者が確認
できることを可能とするためである。

【００２７】レンダリング処理部２８で作成されたマニ
ピュレータ像は、撮像部２２により撮像された画像と合
成部２５で１フレームに合成され（スーパーインポー
ズ）、図１１に示すようにモニタ２６に表示される。

【００２８】上述したように第３の実施の形態によれ
ば、実際には撮像部２２で捕らえられない手術用マニピ
ュレータ２０の位置、向き及び状態を画像上に提供する
ことができる。また、手術用マニピュレータ２０が撮像
部２２の撮像範囲外に存在したときでも、手術用マニピ
ュレータ２０の位置、向き及び状態を画像上で確認可能
である。

【００２９】なお、第３の実施の形態による画像表示装
置は、第１の実施の形態で説明した立体視ビューアーシ
ステムに適用することができる。この場合、撮像部２２
は左右眼用小形カメラ１，２に相当し、それと同様に左
右眼用の２系統の撮像部からなる。ただし、撮像部２２
はビューアー本体１０に装着されることに限定されな
い。また、モニタ２６は左右眼用モニタ７，８に相当
し、それと同様にビューアー本体１０に収容された左右
眼用の２系統のモニタからなる。また、レンダリング処
理部２８は左右眼用の２系統の撮像部それぞれから見た
左右眼用のマニピュレータ像を作成する。 （第４の実施の形態）図１２に第４の実施の形態に係る
術式支援用画像表示装置の構成図を示す。電子顕微鏡、
ＣＣＤカメラ、内視鏡、ステレオ式カメラ、ステレオ式
内視鏡、断層像を収集する超音波診断装置、サーモグラ
ムカメラ、又はその他のイメージング装置である第１の
撮像部３０で撮像された画像は、コントローラ３１を介
して第１の表示部３２に表示される。位置・向き計測部
３３は、第１の撮像部３０の位置及び向き（撮像中心軸
の方向）を計測する。第１の撮像部３０の位置及び向き
の情報は、撮像位置・向きコントローラ３４に送られ
る。撮像位置・向きコントローラ３４には、観察者が必
要に応じて第１の撮像部３０の撮像範囲内に注目点を設
定するためのものであり、キーボード、タブレット、マ
ウス等を含む入力部３５が接続される。

【００３０】電子顕微鏡、ＣＣＤカメラ、内視鏡、ステ
レオ式カメラ、ステレオ式内視鏡、サーモグラムカメ
ラ、Ｘ線コンピュータ断層撮影装置（ＣＴ）、超音波断
層撮影装置（ＵＳ）、Ｘ線テレビジョン装置、磁気共鳴
イメージング装置（ＭＲＩ）、ＳＰＥＣＴ(single phot
on emission computed tomography)、ＰＥＴ(positrone
mission computed tomography) 、又はその他のイメー
ジング装置である第２の撮像部３６で撮像された画像
は、コントローラ３７を介して第２の表示部３８に表示
される。

【００３１】撮像位置・向き変更部３９は、第２の撮像
部３６の位置と撮像中心軸の向きとの少なくとも一方を
変更することが可能に構成され、第２の撮像部３６のタ
イプに応じて、例えば図１３に示すような多関節アー
ム、ガントリ傾斜台、天板スライド式寝台等の適当な組
み合わせからなる。

【００３２】図１３は第１の撮像部３０と第２の撮像部
３６がＣＣＤカメラ、ステレオカメラ、サーモグラムカ
メラの任意の組み合わせである場合の撮像位置・向きコ
ントローラ３４による制御の説明図である。また、図１
５は第１の撮像部３０と第２の撮像部３６とがそれぞれ
電子内視鏡である場合の撮像位置・向きコントローラ３
４による制御の説明図である。また、図１６は第１の撮
像部３０が電子内視鏡、第２の撮像部３６がＣＴ、Ｕ
Ｓ、ＭＲＩ、ＳＰＥＣＴ、ＰＥＴ等の断層像を撮影可能
な装置である場合の撮像位置・向きコントローラ３４に
よる制御の説明図である。この場合、第２の撮像部３６
の撮像範囲は断面である。また、図１７は第１の撮像部
３０が電子内視鏡、第２の撮像部３６がＸ線テレビジョ
ン装置である場合の撮像位置・向きコントローラ３４に
よる制御の説明図である。この場合、第２の撮像部３６
の撮像範囲は円錐形である。

【００３３】撮像位置・向きコントローラ３４は、第１
の制御モードでは、第２の撮像部３６の撮像範囲が第１
の撮像部３０の撮像範囲に対して少なくとも一部交差す
るように撮像位置・向き変更部３９を制御する。

【００３４】また、撮像位置・向きコントローラ３４
は、第２の制御モードでは、第２の撮像部３６の撮像中
心軸が第１の撮像部３０の撮像中心軸と交差するように
撮像位置・向き変更部３９を制御する。

【００３５】また、撮像位置・向きコントローラ３４
は、第３の制御モードでは、第２の撮像部３６の撮像中
心軸が第１の撮像部３０の撮像中心軸と直交するように
撮像位置・向き変更部３９を制御する。

【００３６】さらに、撮像位置・向きコントローラ３４
は、第４の制御モードでは、第２の撮像部３６の撮像中
心軸上が、第１の撮像部３０の撮像範囲内に設定された
注目点（注目点については後述する）を通るように撮像
位置・向き変更部３９を制御する。第２の制御モード乃
至第４の制御モードであれば、図１４（ａ），（ｂ）に
示すようにそれぞれの画像中心には同一の対象物が表示
されることになる。

【００３７】第１乃至第４の制御モードの１つを予め選
定し固定的にインストールしていてもよいし、第１乃至
第４の制御モードの全てをインストールしておき、観察
者が適宜選択可能としてもよい。

【００３８】このような撮像位置・向きコントローラ３
４による第２の撮像部３６の位置及び向きの制御によ
り、第１の撮像部３０の撮像対象を常に第２の撮像部３
６でも自動的にとらえることが可能となる。

【００３９】次に注目点について説明する。注目点と
は、図１８に示すように第１の撮像部３０の焦点、又は
入力部３５を介して第１の撮像部３０の撮像範囲内に設
定された指定点のことをいう。指定点は撮像位置・向き
コントローラ３４により認識される。ここでは、指定点
の指定方法として５つのモードを提案する。

【００４０】図１９に示すように第１のモードでは、観
察者により第１の撮像部３０の例えば対物レンズ中心か
らの距離Ｌが入力され、この場合、指定点は第１の撮像
部３０の撮像中心軸上に存在することになる。図２０に
示すように第２、第３のモードでは、観察者により第１
の表示部３２に表示された第１の撮像部３０による画像
上の任意の点がマーカを使って指定される。さらに第２
のモードでは、観察者により第１の撮像部３０の例えば
対物レンズ中心からの距離Ｌが入力される。図２１
（ａ）に示すように第２のモードでは、第１の撮像部３
０の撮像面上でマーカに対応する点から第１の撮像部３
０の対物レンズ中心を通る線上であって、第１の撮像部
３０の例えば対物レンズ中心から距離Ｌの点が指定点と
なる。図２１（ｂ）に示すように第３のモードでは、第
１の撮像部３０の撮像面上でマーカに対応する点から第
１の撮像部３０の対物レンズ中心を通る線と、第１の撮
像部３０の焦点を通り撮像中心軸に垂直な面との交点が
指定点となる。

【００４１】第４のモードでは、図２２（ａ）に示すよ
うに特定色又は特定形状の球様体としてのポインタが使
われ、観察者によりポインタが第１の撮像部３０の撮像
範囲内の所望位置に支持される。図２２（ｂ）に示すよ
うに第１の撮像部３０の画像内に表れるポインタ像が入
力部３５としての画像処理部により特定色又は特定形状
に基づいて抽出され、その位置が認識される。この位置
に基づいて第２、第３のモードと同様に指定点が特定さ
れる。

【００４２】第５のモードでは、図２３（ａ）に示すよ
うに、第１の撮像部３０としてステレオカメラが採用さ
れ、特定色又は特定形状のポインタが使われ、観察者に
よりポインタが第１の撮像部３０の撮像範囲内の所望位
置に支持される。第１の撮像部３０の左右眼用の２つの
画像内に表れるポインタ像は入力部３５としての画像処
理部により特定色又は特定形状に基づいて抽出され、両
画像間でのポインタ像の位置ずれに基づいて３次元の位
置が認識され、この位置が指定点とされる。

【００４３】なお、第２の撮像部３６が断層撮像装置で
あれば、第５のモードは次のように発展可能である。こ
の場合、必要なのは断面の位置及び傾斜である。第５の
モードと同様に図２４に示すように、第１の撮像部３０
としてステレオカメラが採用され、特定色又は特定形状
の第１のポインタの他に、それと画像処理認識技術上で
区別可能な異なる色又は形状の第２のポインタとが使わ
れ、観察者によりそれぞれ第１の撮像部３０の撮像範囲
内の所望位置に支持される。第５のモードと同様に、第
１の撮像部３０の左右眼用の２つの画像内に表れる第
１、第２のポインタ像が抽出され、両画像間でのポイン
タ像の位置ずれに基づいて、第１のポインタに対応する
３次元の第１の位置と、第２のポインタに対応する３次
元の第２の位置とが認識される。そして、第１のポイン
タを通り、且つ第１のポインタと第２のポインタとの結
線に垂直な面が、第１、第２の位置に基づいて認識され
る。この垂直な面が、第２の撮像部３６が撮像する断面
とされる。 （第５の実施の形態）図２５に第５の実施の形態に係る
術式支援用画像表示装置の構成図を示す。電子顕微鏡、
ＣＣＤカメラ、内視鏡、ステレオ式カメラ、ステレオ式
内視鏡、断層像を収集する超音波診断装置、サーモグラ
ムカメラ、又はその他のイメージング装置である第１の
撮像部４１で撮像された画像は、コントローラ４２、合
成部４３を介して表示部４４に表示される。位置・向き
計測部４５は、第１の撮像部４１の位置及び向き（撮像
中心軸の方向）を計測する。第１の撮像部３０の位置及
び向きの情報は、画像プロセッサ４７に送られる。

【００４４】ステレオ式カメラ、ステレオ式電子内視
鏡、Ｘ線コンピュータ断層撮影装置（ＣＴ）、超音波断
層撮影装置（ＵＳ）、磁気共鳴イメージング装置（ＭＲ
Ｉ）、ＳＰＥＣＴ、ＰＥＴ等の３次元データを収集可能
なイメージング装置である第２の撮像部４６で収集され
た患者の３次元領域の３次元データは、画像プロセッサ
４７に送られる。第２の撮像部４６の３次元撮像範囲
は、第１の撮像部４１の撮像範囲を含むように第４の実
施の形態と同様に制御される。位置・向き計測部４５
は、第２の撮像部４１の位置及び向き（撮像中心軸の方
向）を計測する。第２の撮像部４５の位置及び向きの情
報は、画像プロセッサ４７に送られる。

【００４５】画像プロセッサ４７は、第１の撮像部４１
の位置及び向きと、第２の撮像部４６の位置及び向きと
に基づいて、第２の撮像部４６で収集された３次元デー
タを画像処理に供し、画像を作成する。この画像の作成
方法については後述する。画像プロセッサ４７で作成さ
れた画像は、合成部４３で第１の撮像部４１により撮像
された画像と合成（スーパーインポーズ）され、表示部
４４に表示される。

【００４６】第２の撮像部４６が断層撮影装置である場
合の画像処理について説明する。図２６は特定部位の３
次元データの作成手順について示す図である。ここでは
マルチスライスのＣＴを例に説明する。マルチスライス
の断層像（同図（ａ）参照）をスライス毎に特定部位の
領域を抽出し（同図（ｂ）参照）、必要に応じてスライ
ス間の補間を行いながらスライス方向に積み上げ、同図
（ｃ）に示す３次元データが作成される。この３次元デ
ータはワイヤフレームデータ、多面体近似データでって
もよい。

【００４７】画像プロセッサ４７は、３次元データを使
って術式を支援することの可能な画像を作成する。画像
プロセッサ４７は、図２７に示すように、第１の撮像部
４１の位置を視点として、また第１の撮像部４１の向き
に沿って３次元データをスクリーンに投影することによ
り、第１の撮像部４１から見たような特定部位の３次元
画像をレンダリングする。なお、注目点を中心とした局
所内の３次元データだけを投影対象としてもよい。この
３次元画像は、合成部４３で第１の撮像部４１により撮
像された画像と合成され、図２８に示すように表示部４
４に表示される。

【００４８】また、画像プロセッサ４７は、３次元画像
に代えて、図２９に示すような断面の断層像を３次元デ
ータから再編成してもよい。断面は、第１の撮像部４１
の撮像中心軸に垂直であって、第４の実施の形態で説明
した第１の撮像部４１の撮像範囲内の注目点を通る面と
して決定される。

【００４９】また、画像プロセッサ４７は、図３０
（ａ），（ｂ）に示すように、第２の撮像部４６で撮像
されたオリジナルの断面に対する第１の撮像部４１の撮
像中心軸の角度に基づいて、第２の撮像部４６で撮像さ
れたオリジナルの断層像を幾何学的に変形し、この幾何
学的に変形したオリジナルの断層像を第１の撮像部４１
の画像に合成して表示してもよい。

【００５０】次に第２の撮像部４６が図３１に示すよう
にステレオ式カメラである場合の画像処理について説明
する。図３２はこの手順の説明図である。第２の撮像部
４６の右眼用カメラと左眼用カメラとで撮像された画像
間での同一部位の位置ずれに基づいて奥行きを計算する
ことによい３次元データを作成する。ただし、３次元デ
ータは、カメラ側から見た対象の一側面の表面に関する
データに過ぎない。第１の撮像部４１の位置を視点とし
て、また第１の撮像部４１の向きに沿って３次元データ
をスクリーンに投影することにより、第１の撮像部４１
から見たような対象表面の立体的形状を表現する３次元
画像を作成する。この３次元画像は第１の撮像部４１の
画像に合成して表示される。

【００５１】このような画像処理は、図３３に示すよう
に第１の撮像部４１が電子内視鏡であって、第２の撮像
部４６がステレオ式電子内視鏡である場合にも有用であ
る。図３４を画像処理手順の説明図である。ここでは血
管外壁に発生した腫瘍を手術用マニピュレータで摘出す
る場合を想定する。第１の撮像部４１が腫瘍の頭頂側か
ら撮像するとき、その画像では切除すべき腫瘍根の位置
及び大きさが確認できない。第２の撮像部４６は腫瘍を
側面から撮像するように設置される。図３２で説明した
と同様にステレオ式電子内視鏡による左右眼用の画像か
ら３次元データを作成する。第１の撮像部４１の位置を
視点として、また第１の撮像部４１の向きに沿って３次
元データをスクリーンに、腫瘍の後方が見えるように累
積加算投影することにより、腫瘍根の輪郭が描画された
３次元画像が作成され、第１の撮像部４１の画像に合成
して表示される。 （第６の実施の形態）図３５は第６の実施の形態による
画像表示装置の構成図である。電子内視鏡５０は、対物
レンズ５１と、一般にＣＣＤが用いられる固体撮像素子
５２と、固体撮像素子５２からの映像信号を伝送する伝
送路５３と、固体撮像素子５２の撮像動作を制御するコ
ントローラ５４と、映像信号をビジュアルな画像として
表示する表示部５５とから基本的に構成される。対物レ
ンズ５１、固体撮像素子５２及び伝送路５３は細管に収
容される。

【００５２】位置・向き計測部５６は、電子内視鏡５０
の先端の位置及び向き（撮像方向）を計測し、位置及び
向きの情報を３Ｄプロセッサ５９に出力する。例えば、
電子内視鏡５０の細管の先端に磁石を装着し、患者周辺
に離散的に設置された少なくとも３つの磁力線センサで
磁石からの磁力線強度を検出し、各磁力線センサの検出
値の比較結果に基づいて電子内視鏡５０の先端の位置を
計測することが可能である。向きは、電子内視鏡５０の
先端の位置の変位に基づいて計測することが可能であ
る。また、例えば、電子内視鏡５０の細管の先端に送信
用の超音波トランスデューサを装着し、患者周辺に複数
の受信用の超音波トランスデューサを離散的に設置し、
各受信用の超音波トランスデューサの検出値の比較結果
に基づいて電子内視鏡５０の先端の位置を計測すること
が可能である。向きは、電子内視鏡５０の先端の位置の
変位に基づいて計測することが可能である。勿論、位置
・向き計測の手法としてはこれらに限定されない。

【００５３】Ｘ線コンピュータ断層撮影装置（ＣＴ）５
７としては、患者の３次元領域の３次元データを収集可
能なマルチスライスタイプ、又はヘリカルスキャンタイ
プのものが採用される。図３７に一点鎖線で示す検査又
は術式対象領域の３次元データがＣＴ５７で収集され、
記憶部５８に記憶される。この３次元データの収集は、
検査又は術式の実施の事前に行われ、このデータ収集の
ときの患者の位置及び姿勢を維持した状態で電子内視鏡
５０による画像表示作業に移行する。

【００５４】３Ｄプロセッサ５９は、記憶部５８の３次
元データを使って、電子内視鏡５０の先端の位置及び向
きに応じた画像を作成する。作成される画像としては、
２種類提案する。第１種の画像としては、図３８（ａ）
に示すように、電子内視鏡５０の先端の位置又は先端位
置から向きに沿って所定距離遠方の位置を通り、且つ向
きに垂直な断面の断層像であり、この断面の断層像を３
次元データから必要に応じて補間を行いながら再編成す
る。第２種の画像としては、図３８（ｂ）に示すよう
に、電子内視鏡５０の先端の位置又は先端位置から向き
に沿って所定距離遠方の位置を通り、且つ向きに垂直な
断面を定義し、この断面より遠方の領域内の３次元デー
タをレンダリング処理に供した３次元画像である。

【００５５】いずれかの画像を表示部６０に表示し、又
は電子内視鏡５０の画像と合成（スーパーインポーズ）
して表示する。これにより電子内視鏡５０だけでは得ら
れない情報を観察者に提供可能である。本発明は上述し
た実施の形態に限定されることなく種々変形して実施可
能である。

【００５６】

【発明の効果】第１の発明に係る立体視ビューアーシス
テムは、ビューアー本体と、撮像中心軸が観察者の視線
に略平行になるように前記ビューアー本体に装着された
左右眼用の撮像手段と、前記ビューアー本体の位置及び
向きを測定する手段と、前記位置及び向きに応じた術式
を支援する情報を作成する作成手段と、前記ビューアー
本体に収容され、前記撮像手段により撮像された画像を
前記情報と共に表示する左右眼用のモニタとを具備した
ことを特徴とする。

【００５７】第２の発明に係る立体視ビューアーシステ
ムは、ビューアー本体と、撮像中心軸が観察者の視線に
略平行になるように前記ビューアー本体に装着された左
右眼用の撮像手段と、前記撮像手段により撮像された画
像を画像処理に供する画像処理手段と、前記ビューアー
本体に収容され、前記撮像手段により撮像された画像を
前記画像処理に供された画像と共に表示する左右眼用の
モニタとを具備したことを特徴とする。

【００５８】第３の発明に係る術式支援用画像表示装置
は、撮像手段と、前記撮像手段の位置及び向きを測定す
る手段と、手術用マニピュレータの位置及び向きを計測
する手段と、前記手術用マニピュレータの３次元データ
を記憶する手段と、前記撮像手段の位置及び向きと、前
記手術用マニピュレータの位置及び向きとに基づいて、
前記撮像手段から見た前記手術用マニピュレータの３次
元画像を前記３次元データから生成する手段と、前記撮
像手段により撮像された画像に前記３次元画像を合成し
て表示する手段とを具備したことを特徴とする。

【００５９】第４の発明に係る術式支援用画像表示装置
は、第１の撮像手段と、前記第１の撮像手段の位置及び
向きを計測する手段と、第２の撮像手段と、前記第２の
撮像手段の位置と向きとの少なくとも一方を変更する変
更手段と、前記第１の撮像手段の位置及び向きに基づい
て、前記第１の撮像手段の撮像範囲に対して前記第２の
撮像手段の撮像範囲が交差するように前記変更手段を制
御する制御手段と、前記第１の撮像手段により撮像され
た画像と前記第２の撮像手段により撮像された画像とを
表示する手段とを具備したことを特徴とする。

【００６０】第５の発明に係る術式支援用画像表示装置
は、第１の撮像手段と、前記第１の撮像手段の位置及び
向きを測定する手段と、第２の撮像手段と、前記第２の
撮像手段の位置及び向きを測定する手段と、前記第１の
撮像手段の位置及び向きと、前記第２の撮像手段の位置
及び向きとに基づいて、前記第２の撮像手段で撮像され
た画像を画像処理に供する画像処理手段と、前記第１の
撮像手段により撮像された画像と前記画像処理に供され
た画像とを表示する手段とを具備したことを特徴とす
る。

【００６１】第６の発明に係る画像表示装置は、内視鏡
と、前記内視鏡の先端の位置及び向きを測定する手段
と、前記内視鏡の先端を含む被検体の３次元領域の３次
元データを記憶する手段と、前記内視鏡の先端の位置及
び向きに応じた画像を前記３次元データから作成する作
成手段と、前記作成手段により作成された画像を表示す
る手段とを具備することを特徴とする。

【００６２】第１の発明によると、ビューアー本体の位
置及び向きに応じた術式を支援する情報が撮像手段によ
り撮像された画像と共に左右眼用のモニタに表示され、
立体視及び支援情報の提供により術式を支援することが
可能である。

【００６３】第２の発明によると、撮像手段により撮像
された画像と、その画像の画像処理後の画像とが表示さ
れ、立体視及び処理済画像の提供により術式を支援する
ことが可能である。

【００６４】第３の発明によると、手術用マニピュレー
タの３次元画像が、撮像手段により撮像された画像に合
成され表示されるので、手術用マニピュレータを撮像手
段でとらえられなくても、その位置を確認できる。した
がって術式を支援可能である。

【００６５】第４の発明によると、第１の撮像手段の撮
像範囲に対して第２の撮像手段の撮像範囲が交差するよ
うに制御されるので、常に同一対象を２方向からとらえ
ることができる。したがって術式を支援可能である。

【００６６】第５の発明によると、第２の撮像手段で撮
像された画像は、第１の撮像手段の位置及び向きと第２
の撮像手段の位置及び向きとに基づいて、画像処理に供
される。第１の撮像手段による画像と、この処理済画像
との提供により術式を支援することが可能である。

【００６７】第６の発明によると、内視鏡の先端の位置
及び向きに応じた画像が３次元データから作成され、表
示される。したがって、内視鏡だけでは得られない画像
を提供でき、術式を支援することが可能である。

【図面の簡単な説明】

【図１】第１の実施の形態による立体視ビューアーシス
テムの構成部。

【図２】立体視ビューアーシステムの適用例を示す図。

【図３】ビューアー本体の斜視図。

【図４】ビューアー本体の断面図。

【図５】小形カメラによる画像、術式支援情報作成部に
よる画像、合成部による画像の一例を示す図。

【図６】第２の実施の形態による立体視ビューアーシス
テムの構成部。

【図７】画像表示例を示す図。

【図８】第３の実施の形態による術式支援用画像表示装
置の構成部。

【図９】記憶部に記憶されるデータの模式図。

【図１０】投影処理の説明図。

【図１１】画像表示例を示す図。

【図１２】第４の実施の形態による術式支援用画像表示
装置の構成部。

【図１３】撮像位置・向きコントローラによる制御説明
図。

【図１４】画像表示例を示す図。

【図１５】撮像位置・向きコントローラによる他の制御
説明図。

【図１６】撮像位置・向きコントローラによる他の制御
説明図。

【図１７】撮像位置・向きコントローラによる他の制御
説明図。

【図１８】第１の注目点の説明図。

【図１９】第２の注目点の指定方法の説明図。

【図２０】注目点を指定するためのマーカを示す図。

【図２１】第３、第４の注目点の指定方法の説明図。

【図２２】注目点の他の指定方法の説明図。

【図２３】注目点のさらに他の指定方法の説明図。

【図２４】断面の指定方法の説明図。

【図２５】第５の実施の形態による術式支援用画像表示
装置の構成図。

【図２６】３次元データ作成手順の説明図。

【図２７】画像プロセッサによる３次元画像作成処理の
説明図。

【図２８】画像表示例を示す図。

【図２９】画像プロセッサによる断層像再編成処理の説
明図。

【図３０】画像プロセッサによる幾何学的変形処理の説
明図。

【図３１】第２の撮像部としてのステレオ式カメラを示
す図。

【図３２】図３１に対応する画像プロセッサによる３次
元画像作成から画像表示に至る処理手順の説明図。

【図３３】第２の撮像部としてのステレオ式電子内視鏡
を示す図。

【図３４】図３３に対応する画像プロセッサによる３次
元画像作成から画像表示に至る処理手順の説明図。

【図３５】第６の実施の形態による術式支援用画像表示
装置の構成図。

【図３６】第６の実施の形態の適用例を示す図。

【図３７】ＣＴのデータ収集領域を示す図。

【図３８】３Ｄプロセッサにより作成される画像の説明
図。

【符号の説明】

１…右眼用小形カメラ、 ２…左眼用小形カメラ、
３…カメラコントローラ、 ４…ビューアー本体位置
・向き計測部、５…術式支援情報作成部、 ６…合成
部、７…右眼用モニタ、 ８…左眼用モニタ。

Claims (20)

【特許請求の範囲】
1. 【請求項１】 ビューアー本体と、 撮像中心軸が観察者の視線に略平行になるように前記ビ
   ューアー本体に装着された左右眼用の撮像手段と、 前記ビューアー本体の位置及び向きを測定する手段と、 前記位置及び向きに応じた術式を支援する情報を作成す
   る作成手段と、 前記ビューアー本体に収容され、前記撮像手段により撮
   像された画像を前記情報と共に表示する左右眼用のモニ
   タとを具備したことを特徴とする立体視ビューアーシス
   テム。
2. 【請求項２】 前記撮像手段は撮像中心軸が前記観察者
   の視線に略一致するように前記ビューアー本体に装着さ
   れていることを特徴とする請求項１記載の立体視ビュー
   アーシステム。
3. 【請求項３】 前記作成手段は、被検体の注目部位の３
   次元データを記憶する手段と、前記ビューアー本体の位
   置及び向きに応じた前記注目部位の３次元画像を前記術
   式を支援する情報として前記３次元データから作成する
   手段とを有することを特徴とする請求項１記載の立体視
   ビューアーシステム。
4. 【請求項４】 前記撮像手段に対して着脱自在の拡大レ
   ンズをさらに備えることを特徴とする請求項１記載の立
   体視ビューアーシステム。
5. 【請求項５】 ビューアー本体と、 撮像中心軸が観察者の視線に略平行になるように前記ビ
   ューアー本体に装着された左右眼用の撮像手段と、 前記撮像手段により撮像された画像を画像処理に供する
   画像処理手段と、 前記ビューアー本体に収容され、前記撮像手段により撮
   像された画像を前記画像処理に供された画像と共に表示
   する左右眼用のモニタとを具備したことを特徴とする立
   体視ビューアーシステム。
6. 【請求項６】 前記画像処理手段は前記撮像手段により
   撮像された画像から特定部位の輪郭画像を作成すること
   を特徴とする請求項５記載の立体視ビューアーシステ
   ム。
7. 【請求項７】 前記画像処理手段は前記撮像手段により
   撮像された画像から色相の相違がハッチングの相違とし
   て表現された画像を作成することを特徴とする請求項５
   記載の立体視ビューアーシステム。
8. 【請求項８】 撮像手段と、 前記撮像手段の位置及び向きを測定する手段と、 手術用マニピュレータの位置及び向きを計測する手段
   と、 前記手術用マニピュレータの３次元データを記憶する手
   段と、 前記撮像手段の位置及び向きと、前記手術用マニピュレ
   ータの位置及び向きとに基づいて、前記撮像手段から見
   た前記手術用マニピュレータの３次元画像を前記３次元
   データから生成する手段と、 前記撮像手段により撮像された画像に前記３次元画像を
   合成して表示する手段とを具備したことを特徴とする術
   式支援用画像表示装置。
9. 【請求項９】 第１の撮像手段と、 前記第１の撮像手段の位置及び向きを計測する手段と、 第２の撮像手段と、 前記第２の撮像手段の位置と向きとの少なくとも一方を
   変更する変更手段と、 前記第１の撮像手段の位置及び向きに基づいて、前記第
   １の撮像手段の撮像範囲に対して前記第２の撮像手段の
   撮像範囲が交差するように前記変更手段を制御する制御
   手段と、 前記第１の撮像手段により撮像された画像と前記第２の
   撮像手段により撮像された画像とを表示する手段とを具
   備したことを特徴とする術式支援用画像表示装置。
10. 【請求項１０】 前記制御手段は、前記第２の撮像手段
    の撮像中心軸が前記第１の撮像手段の撮像中心軸と交差
    するように前記変更手段を制御することを特徴とする請
    求項９記載の術式支援用画像表示装置。
11. 【請求項１１】 前記制御手段は、前記第２の撮像手段
    の撮像中心軸が前記第１の撮像手段の撮像範囲内の注目
    点を通るように前記変更手段を制御することを特徴とす
    る請求項９記載の術式支援用画像表示装置。
12. 【請求項１２】 第１の撮像手段と、 前記第１の撮像手段の位置及び向きを測定する手段と、 第２の撮像手段と、 前記第２の撮像手段の位置及び向きを測定する手段と、 前記第１の撮像手段の位置及び向きと、前記第２の撮像
    手段の位置及び向きとに基づいて、前記第２の撮像手段
    で撮像された画像を画像処理に供する画像処理手段と、 前記第１の撮像手段により撮像された画像と前記画像処
    理に供された画像とを表示する手段とを具備したことを
    特徴とする術式支援用画像表示装置。
13. 【請求項１３】 前記第２の撮像手段は前記第１の撮像
    手段の撮像範囲の少なくとも一部を含む３次元領域の３
    次元データを収集し、 前記画像処理手段は前記第１の撮像手段の位置及び向き
    に基づいて、前記第１の撮像手段から見た３次元画像を
    前記３次元データから作成し、 前記表示部は前記第１の撮像手段により撮像された画像
    と前記３次元画像とを合成して表示することを特徴とす
    る請求項１２記載の術式支援用画像表示装置。
14. 【請求項１４】 前記第２の撮像手段は前記第１の撮像
    手段の撮像範囲の少なくとも一部を含む３次元領域の３
    次元データを収集し、 前記画像処理手段は前記第１の撮像手段の位置及び向き
    に基づいて、前記第１の撮像手段の撮像範囲内の注目点
    を通る断面の断層像を前記３次元データから作成し、 前記表示部は前記第１の撮像手段により撮像された画像
    と前記断層像とを合成して表示することを特徴とする請
    求項１２記載の術式支援用画像表示装置。
15. 【請求項１５】 前記第２の撮像手段は前記第１の撮像
    手段の撮像範囲内の注目点を通る断面の断層像を撮影
    し、 前記画像処理手段は前記第１の撮像手段の位置及び向き
    に基づいて、前記断層像に幾何学的に変形し、 前記表示部は前記第１の撮像手段により撮像された画像
    と前記幾何学的に変形された断層像とを合成して表示す
    ることを特徴とする請求項１２記載の術式支援用画像表
    示装置。
16. 【請求項１６】 前記画像処理手段は、前記第１の撮像
    手段による画像と前記第２の撮像手段による画像各々に
    実空間内での位置関係を表すマーカを合成することを特
    徴とする請求項１２記載の術式支援用画像表示装置。
17. 【請求項１７】 内視鏡と、 前記内視鏡の先端の位置及び向きを測定する手段と、 前記内視鏡の先端を含む被検体の３次元領域の３次元デ
    ータを記憶する手段と、 前記内視鏡の先端の位置及び向きに応じた画像を前記３
    次元データから作成する作成手段と、 前記作成手段により作成された画像を表示する手段とを
    具備することを特徴とする画像表示装置。
18. 【請求項１８】 前記作成手段は、前記３次元データに
    対して前記内視鏡の先端の位置から前記向きに沿って投
    影することにより３次元画像を作成することを特徴とす
    る請求項１７記載の画像表示装置。
19. 【請求項１９】 前記作成手段は、前記内視鏡の先端の
    位置を通り、且つ前記向きに直交する断面の断層像を前
    記３次元データから再構成することを特徴とする請求項
    １７記載の画像表示装置。
20. 【請求項２０】 前記作成手段は、前記内視鏡の先端の
    位置から前記向きに沿って所定距離遠方の位置を通り、
    且つ前記向きに直交する断面の断層像を前記３次元デー
    タから再構成することを特徴とする請求項１７記載の画
    像表示装置。