以下、図面を参照して本発明の実施形態を説明する。
図1から図19は、本発明の実施形態に係るものである。図1は、本発明の第1の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図である。図2は、第1の実施形態の医用ガイドシステムにより生成される立体ガイド画像の一例を示す図である。図3Aは、第1の実施形態の医用ガイドシステムにより描画される被検者モデル画像の正面側の外観を示す図である。図3Bは、第1の実施形態の医用ガイドシステムにより描画される被検者モデル画像の背面側の外観を示す図である。図4は、第1の実施形態の医用ガイドシステムにより生成される断面ガイド画像の一例を示す図である。図5は、第1の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図である。
図6は、第1の実施形態の医用ガイドシステムにより生成される合成画像の、図5とは異なる例を示す図である。図7は、図6の立体ガイド画像における肝臓の3次元モデルを非表示にした場合の例を示す図である。図8は、図7の立体ガイド画像における胃及び十二指腸の3次元モデルを非表示にした場合の例を示す図である。図9は、図8の立体ガイド画像の視線方向を変更した場合の一例を示す図である。図10は、図9の立体ガイド画像における腎臓の3次元モデルを非表示にした場合の例を示す図である。
図11は、図8に示す合成画像の状態から、超音波振動子による走査位置を変更した場合の例を示す図である。図12は、図11の立体ガイド画像の視線方向を変更した場合の一例を示す図である。図13は、図12の立体ガイド画像における腎臓の3次元モデルを非表示にした場合の例を示す図である。図14は、立体ガイド画像の視線方向の変更に応じた所定の処理が行われる前における、3次元生体組織モデルの各臓器の表示状態の一例を示す図である。図15は、立体ガイド画像の視線方向の変更に応じた所定の処理が行われた後における、3次元生体組織モデルの表示状態の一例を示す図である。
図16は、第1の実施形態の医用ガイドシステムにより生成される合成画像の、図5及び図6とは異なる例を示す図である。図17は、図16の超音波画像の表示レンジを狭めた場合の例を示す図である。図18は、図16の超音波画像の表示レンジを拡げた場合の例を示す図である。図19は、図16の断面ガイド画像のスケールを変更した場合の例を示す図である。
医用ガイドシステム1は、図1に示すように、医用装置としての超音波内視鏡2と、アンテナユニット3Aと、検出部としての機能を有する位置検出装置3Bと、超音波診断装置4と、画像処理装置5と、医用ガイドシステム1の操作に係る種々の指示を行うことが可能な操作指示部6と、モニタ7と、複数の体表検出用コイル10と、を要部として有して構成されている。
超音波内視鏡2は、被検者100の体腔内へ挿入可能な先端部21と、先端部21の後端側に連設された細長の挿入部22と、挿入部22の後端側に連設された操作部23と、種々の信号の入出力を行うための複数の信号線が内部に配設されたケーブル24と、を具備している。
先端部21は、コンベックス走査式(またはラジアル走査式)の超音波振動子21aと、外部から印加された磁界に応じて電気信号を出力するコイル21bと、を具備している。
超音波振動子21aは、超音波診断装置4からの駆動信号に基づいて駆動し、生体の内部へ超音波ビームを出射する。また、超音波振動子21aは、生体の内部の生体組織において超音波ビームが反射した反射波を受波し、該反射波に応じたエコー信号を超音波診断装置4へ出力する。
挿入部22には、外部から印加された磁界に応じて電気信号を出力するコイル22aが、長手方向に沿って複数配置されている。
操作部23は、医用ガイドシステム1の操作に係る種々の指示を行うことが可能な、図示しないスイッチ等を有している。
ケーブル24は、一端側が操作部23から延出されているとともに、超音波診断装置4に接続可能なコネクタ24aが他端側に設けられている。また、コネクタ24aの内部には、超音波内視鏡2に関する種々の情報が格納された、例えばメモリ等からなるスコープID格納部24bが設けられている。
なお、本実施形態のスコープID格納部24bには、超音波内視鏡2に関する種々の情報として、例えば、超音波振動子21aに設けられた超音波アレイの配列の形状情報、及び、該超音波アレイの挿入部22に対する実装位置配向情報等の情報が格納されているとする。そして、スコープID格納部24bは、コネクタ24aが超音波診断装置4に接続された際に、前述した、超音波内視鏡2に関する種々の情報(以降、超音波走査情報と称する)を、超音波診断装置4へ出力する。
複数の体表検出用コイル10は、被検者100の体表上において、1つずつ異なる箇所に配置される。具体的には、体表検出用コイル10は、例えば、被検者100の体表上の4つの箇所である、剣状突起、左上前腸骨棘、右上前腸骨棘、及び、腰椎椎体棘突起に相当する箇所に夫々1つずつ配置される。また、複数の体表検出用コイル10は、コイル21bまたはコイル22aと同様の構成を夫々有しており、外部から印加された磁界に応じて電気信号を出力する。
アンテナユニット3Aは、外部へ向けて磁界を放射する磁界放射アンテナ31と、磁界放射アンテナ31を駆動させるアンテナ駆動部32と、を具備している。
位置検出装置3Bは、コイル21bからの電気信号に基づき、コイル21bが存在する位置、及び、コイル21bの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、位置検出装置3Bは、各コイル22aからの電気信号に基づき、各コイル22aが存在する位置、及び、各コイル22aの配向を特定するための演算を行うことにより、演算結果に応じた挿入部位置・配向データを順次生成する。さらに、位置検出装置3Bは、各体表検出用コイル10からの電気信号に基づき、各体表検出用コイル10が存在する位置を特定するための演算を行うことにより、演算結果に応じた被検者位置・配向データを順次生成する。
そして、位置検出装置3Bは、生成した先端部位置・配向データと、挿入部位置・配向データと、被検者位置データとを併せて画像処理装置5へ出力する。さらに、位置検出装置3Bは、電源がオンされた際に、アンテナユニット3Aの駆動に要する電力をアンテナ駆動部32へ供給する。
超音波診断装置4は、超音波振動子21aを駆動させるための駆動信号を生成及び出力する。また、超音波診断装置4は、超音波振動子21aからのエコー信号に基づき、生体の断層像としての超音波画像を、スコープID格納部24bの超音波走査情報に応じたフレームレートにより順次生成する。そして、超音波診断装置4は、生成した超音波画像を画像処理装置5へ順次出力する。
超音波診断装置4は、スコープID格納部24bから出力される超音波走査情報に基づき、超音波振動子21aに設けられた超音波アレイの挿入部22に対する実装位置配向情報、超音波振動子21aから出射される超音波ビームの出射方向の情報、超音波振動子21aから出射される超音波ビームによる走査範囲形状情報(画角情報)、超音波振動子21aから同時に出射され得る超音波ビームの本数の情報、超音波振動子21aから出射される超音波ビームのフォーカス個数及び位置の情報、及び、超音波振動子21aから出射される超音波ビームに応じたフレームレートの情報からなる走査状態データを検出する。
一方、超音波診断装置4は、各種の指示に係る指示信号が操作指示部6から入力された場合に、超音波振動子21aから出射される超音波ビームの出射方向、超音波振動子21aから出射される超音波ビームによる走査範囲形状(画角)、及び、超音波振動子21aから同時に出射される超音波ビームの本数を適宜変更するための制御を超音波振動子21aに対して行う。そして、超音波診断装置4は、前述した制御の内容を走査状態データに反映させつつ、変更後の走査状態データを画像処理装置5へ出力する。
また、超音波診断装置4は、モニタ7への画像出力(モニタ7における画像表示)に係る指示信号が操作指示部6から入力された場合に、該指示信号を画像処理装置5へ出力する。
画像処理装置5は、制御部51と、データ保持部としての機能を有する記憶部52と、ガイド画像生成部53と、表示画像生成部54と、を具備している。
制御部51は、超音波診断装置4から出力される走査状態データに基づき、超音波振動子21aの走査状態が可視化された超音波断層像マーカを生成させるための制御をガイド画像生成部53に対して行う。
制御部51は、超音波診断装置4を介して入力される操作指示部6からの指示信号に基づき、モニタ7への画像出力(モニタ7における画像表示)状態を変更するための制御をガイド画像生成部53及び表示画像生成部54に対して行う。
ハードディスクドライブ等からなる記憶部52は、画像処理装置5以外の他の装置と通信を行うための通信回線としてのネットワーク回線8を介し、例えば、X線3次元ヘリカルCT装置または3次元MRI装置等からなる3次元断層画像生成装置9と接続されている。これにより、記憶部52には、3次元断層画像生成装置9を用いた走査を超音波内視鏡2の観察対象となる被検者100に対して予め行うことにより得られた3次元断層画像が、ネットワーク回線8を介して各々入力及び蓄積される。また、記憶部52には、3次元断層画像の取得対象となった被検者100の頭足方向及び背腹方向を示すための体軸方向データが、該3次元断層画像に関連付けられた状態として入力される。
ガイド画像生成部53は、位置検出装置3Bから出力される先端部位置・配向データと、挿入部位置・配向データとに基づき、超音波内視鏡2の挿入形状を示すための挿入形状データを生成する。
ガイド画像生成部53は、制御部51の制御と、位置検出装置3Bから出力される先端部位置・配向データとに基づき、超音波振動子21aの走査状態を可視化するための超音波断層像マーカ、及び、超音波振動子21aを含む先端部21の構成を画像化したスコープ先端部マーカを生成する。
ガイド画像生成部53は、記憶部52に蓄積された3次元断層画像に基づき、被検者100の内部に存在する臓器群等の組織構造の3次元生体組織モデルデータを生成する。
ガイド画像生成部53は、指標生成部としての機能を有し、記憶部52から読み込んだ体軸方向データに基づき、前記3次元生体組織モデルデータに対応する被検者モデル画像データを生成する。
そして、ガイド画像生成部53は、制御部51の制御に基づき、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカと、3次元生体組織モデルデータと、被検者モデル画像データとを組み合わせることにより、各種ガイド画像を生成して表示画像生成部54へ出力する。
表示画像生成部54は、制御部51の制御に基づき、超音波診断装置4から出力される超音波画像と、ガイド画像生成部53から出力されるガイド画像とを合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ7へ出力する。
操作指示部6は、文字入力の指示、及び、(例えば超音波画像の左右反転等の)所定の機能の実行の指示に係る指示信号を出力するキーボード6aと、モニタ7の画面上に表示されるポインタの操作等の指示に係る指示信号を出力するマウス6bと、を具備している。
モニタ7は、画像処理装置5からの映像信号に応じた種々の画像を画面上に表示する。
次に、医用ガイドシステム1の作用について説明を行う。なお、以降においては、超音波振動子21aがコンベックス走査式である場合についての説明を主に行うものとする。
まず、術者等は、医用ガイドシステム1の各部の電源を投入することにより、該各部を起動状態とする。また、術者等は、3次元断層画像生成装置9からの3次元断層画像が画像処理装置5に入力される事前に、該3次元断層画像を参照しながら、該3次元断層画像における頭足方向及び背腹方向を指定する。そして、3次元断層画像における頭足方向及び背腹方向の指定結果は、該3次元断層画像に関連付けられた体軸方向データとして画像処理装置5に入力される。
なお、前記体軸方向データは、術者等の指定により設定されるものに限らず、3次元断層画像生成装置9における3次元断層画像の取得時に埋め込まれたものであってもよい。
さらに、術者等は、3次元断層画像生成装置9からの3次元断層画像が画像処理装置5に入力される事前に、該3次元断層画像を参照しながら、被検者100に4個の体表検出用コイル10を取り付けた位置に相当する該3次元断層画像の位置を夫々指定する。そして、3次元断層画像における体表検出用コイル10を取り付けた位置の指定結果は、3次元断層画像上体表検出用コイル座標として画像処理装置5に入力される。
超音波振動子21aは、超音波診断装置4の起動に伴って駆動し、生体の内部へ超音波ビームを出射した後、該生体の内部の生体組織において超音波ビームが反射した反射波を受波し、該反射波に応じたエコー信号を出力する。
超音波診断装置4は、超音波振動子21aからのエコー信号に基づき、生体の断層像としての超音波画像を、スコープID格納部24bの超音波走査情報に応じたフレームレートにより順次生成する。そして、超音波診断装置4は、生成した超音波画像を画像処理装置5へ順次出力する。
一方、コイル21b、各コイル22a及び各体表検出用コイル10は、アンテナユニット3Aの起動に伴って印加された磁界を検知し、検知した磁界に応じた電気信号を夫々位置検出装置3Bへ出力する。
位置検出装置3Bは、超音波内視鏡2からの電気信号に基づいてコイル21b及び各コイル22aが存在する位置、及び、コイル21b及び各コイル22aの配向を特定するための演算を行う。そして、位置検出装置3Bは、前述の演算により得られた先端部位置・配向データ及び挿入部位置・配向データを画像処理装置5へ出力する。また、位置検出装置3Bは、各体表検出用コイル10からの電気信号に基づき、各体表検出用コイル10が存在する位置を特定するための演算を行うことにより、演算結果に応じた被検者位置データを画像処理装置5へ出力する。
ガイド画像生成部53は、記憶部52に蓄積された3次元断層画像に基づき、被検者100の内部における臓器及び血管等の3次元生体組織モデルデータを生成するとともに、体軸方向データを記憶部52から読み出す。
一方、ガイド画像生成部53は、前述の3次元断層画像上体表検出用コイル座標と、位置検出装置3Bにより算出された各体表検出用コイル10の位置とに基づき、3次元生体組織モデルデータと、被検者100の位置及び配向との対応付けを行う。
そして、ガイド画像生成部53は、前述の対応付けの結果と、位置検出装置3Bにより算出された先端部位置・配向データ及び挿入部位置・配向データとに基づき、3次元生体組織モデルデータにおける先端部21の位置及び配向と、該3次元生体組織モデルデータにおける挿入部22の位置及び配向とを決定するための演算を行う。さらに、ガイド画像生成部53は、この演算結果に基づき、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカとを3次元生体組織モデルデータ上に合成した、3次元合成データを生成する。
その後、ガイド画像生成部53は、生成した3次元合成データを制御部51の制御に応じた視線方向に合わせるとともに、該視線方向及び体軸方向データに基づき、3次元生体組織モデルデータの配向状態に対応する方向の被検者モデル画像を生成して重畳することにより、例えば図2に示すような立体ガイド画像101を生成する。なお、図2に示す立体ガイド画像101は、左側臥位をとっている被検者100を正面から見た視線方向における例を示すものである。
図2の立体ガイド画像101によれば、現在の視線方向における立体ガイド画像101の配向状態が、被検者モデル画像101aとして示されている。
被検者モデル画像101aは、例えば図3A及び図3Bに示すように、頭足方向及び背腹方向の区別が可能な、人型を模した形状を具備している。また、図3Aに示すように、被検者モデル画像101aの正面側(腹側)には、人体の頭に相当する部分に目が描画されている。一方、図3Bに示すように、被検者モデル画像101aの背面側(背中側)には、人体の頭に相当する部分に目が描画されていない。
図2の立体ガイド画像101によれば、臓器等の生体組織が、夫々別々の色になるように色分けされ、かつ、被検者100の配向状態と相対的に一致するような3次元生体組織モデル101bとして示されている。
図2の立体ガイド画像101によれば、3次元生体組織モデル101bとして示された臓器等に対する先端部21及び挿入部22の位置関係(及び挿入部22の湾曲状態)が、挿入形状画像101cとして示されている。
図2の立体ガイド画像101によれば、3次元生体組織モデル101bとして示された臓器等において、超音波振動子21aからの超音波ビームによる走査がリアルタイムに行われている部位が、超音波断層像マーカ101dにより示されている。
一方、ガイド画像生成部53は、3次元生体組織モデルデータと被検者100の位置及び配向との対応付けの結果と、位置検出装置3Bにより算出された先端部位置・配向データとに基づき、超音波振動子21aからの超音波ビームによる走査が行われている面(超音波断層像マーカ101dとして示す面)に沿って3次元生体組織モデル101bを切断した切断面を、超音波診断装置4から出力される超音波画像と同一の配向状態として示した断面ガイド画像102を生成する。また、ガイド画像生成部53は、体軸方向データに基づき、断面ガイド画像102における3次元生体組織モデルに対応する方向の被検者モデル画像102cを生成する。
なお、被検者モデル画像102cの外観は、図3A及び図3Bに示したように、被検者モデル画像101aと同様のものである。
図4の断面ガイド画像102によれば、超音波振動子21aを含む先端部21の位置がスコープ先端部マーカ102aにより示されている。なお、本実施形態のスコープ先端部マーカ102aは、断面ガイド画像102における上部中央付近に位置が固定された状態として示される(描画される)。
図4の断面ガイド画像102によれば、超音波画像103の表示範囲に比べて広い範囲が描画されている。また、図4の断面ガイド画像102によれば、超音波画像103の表示範囲内の領域を示す超音波描出範囲と、超音波画像103の表示範囲外の領域を示す周辺範囲とが、矩形形状(例えば正方形)の平面として生成された超音波描出範囲枠102bにより夫々区別された状態として示されている。
超音波描出範囲枠102bの内側の領域に相当する「超音波描出範囲」は、モニタ7における超音波画像の表示部分を示している。
超音波描出範囲枠102bの内側の領域に相当する「超音波描出範囲」においては、超音波振動子21aからの超音波ビームによる走査が行われている面に沿って立体ガイド画像101を切断した切断面が示されている。
超音波描出範囲枠102bの外側の領域に相当する「周辺範囲」は、モニタ7に表示されている超音波画像よりも外側の領域を示している。
超音波描出範囲枠102bの外側の領域に相当する「周辺範囲」の各部は、陰影を伴い、かつ、超音波描出範囲枠102bの内側の領域に相当する「超音波描出範囲」の各部に比べて低い明度(または彩度)を具備するように示されている。
すなわち、「超音波描出範囲」の各部は、「周辺範囲」の各部とは異なる表示態様(明度または彩度)により描画される。
また、前述の「超音波描出範囲」及び「周辺範囲」においては、超音波振動子21aからの超音波ビームによる走査が行われている面に垂直な方向に関しては、立体ガイド画像101を切断した切断面より奥側の各部が、陰影を伴い、かつ、透けて見えるように示されている。
ガイド画像生成部53は、立体ガイド画像101及び断面ガイド画像102と、後述する操作パネルと、を表示画像生成部54へ出力する。
表示画像生成部54は、制御部51の制御に基づき、超音波画像と、立体ガイド画像101と、断面ガイド画像102と、後述する操作パネルと、を合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ7へ出力する。これにより、モニタ7には、例えば図5に示すような合成画像が表示される。
図5に一例として示す合成画像によれば、略同一のサイズを具備する立体ガイド画像101及び断面ガイド画像102が画面の左側の領域に配置され、また、超音波画像103が画面の右側の領域に配置されつつ表示される。
また、図5に一例として示す合成画像によれば、立体ガイド画像101内の3次元生体組織モデル101bの配向状態に対応する方向の被検者モデル画像101aと、断面ガイド画像102内の3次元生体組織モデルの配向状態に対応する方向の被検者モデル画像102cと、が表示されている。
なお、被検者モデル画像102cの方向は、断面ガイド画像102内の3次元生体組織モデルと略同一の方向である超音波画像103における臓器の配向を示している、ということもできる。
超音波画像103においては、断面ガイド画像102におけるスコープ先端部マーカ102aと略同様に、超音波振動子21aを含む先端部21の位置がスコープ先端部マーカ103aにより示されている。また、超音波画像103の周囲には、自身の表示範囲を示す超音波画像枠103bが描画されている。なお、本実施形態の超音波画像枠103bは、前述の超音波描出範囲枠102bと同一の表示態様により描画される。
なお、本実施形態のスコープ先端部マーカ103aは、超音波画像103における上部中央付近に位置が固定された状態として示される(描画される)。また、本実施形態においては、超音波内視鏡2が通常の観察光学系を具備する場合に、対物レンズが配置された位置がスコープ先端部マーカ103aに併せて示される(描画される)ものであっても良い。
図5に一例として示す合成画像によれば、画像表示の状態の確認及び変更が可能な操作パネル104が画面の最下部に配置されている。
操作パネル104は、例えば図示しないマウスカーソルにより操作可能な複数のボタン等を具備して構成されている。具体的には、操作パネル104には、例えば、3次元生体組織モデル101bとして描画された臓器等の表示状態(透明度)及び表示色を変更するためのボタン、画面の表示モード(分割表示状態)を切り替えるためのボタン、及び、超音波画像103の表示レンジを拡大または縮小するためのボタン等が設けられている。
なお、本実施形態においては、操作パネル104の操作により、立体ガイド画像101内の3次元生体組織モデル101bとして描画された一の臓器の表示状態(透明度)と、断面ガイド画像102として描画された該一の臓器の表示状態(透明度)とを別個に切り替え可能であるとする。また、本実施形態においては、操作パネル104の操作により、立体ガイド画像101内の3次元生体組織モデル101bとして描画された一の臓器の表示色と、断面ガイド画像102として描画された該一の臓器の表示色とが連動しつつ同じ色に切り替わるものとする。
具体的には、例えば、立体ガイド画像101内の肝臓の3次元モデルの表示状態を非表示に設定する(透明度を100%に設定する)指示が操作パネル104においてなされた場合、該指示が制御部51に入力される。その後、ガイド画像生成部53は、前記指示に応じた制御部51の制御に基づき、立体ガイド画像101内の肝臓の3次元モデルを不可視状態にしつつ、断面ガイド画像102内の肝臓の3次元モデルを可視状態のままに保つ。そして、表示態様変更部としての機能を有するガイド画像生成部53は、臓器等の表示状態(透明度)を変更するための指示が操作パネル104において行われる毎に、前述した処理を行う。
なお、本実施形態のキーボード6aは、操作パネル104の操作により実現可能な各種機能と同様の機能を実現するためのキーまたはスイッチ等を夫々具備するものであってもよい。
ここで、医用ガイドシステム1の使用状況に応じて適宜操作を行うことにより、モニタ7における画像の表示状態がどのように遷移するかについて、具体例を挙げながら説明する。
図6の合成画像によれば、左側臥位をとっている被検者100の正面から見た場合の立体ガイド画像101と、超音波振動子21aからの超音波ビームによる走査が行われている面(超音波断層像マーカ101dとして示す面)に沿って立体ガイド画像101(3次元生体組織モデル101b)を切断した切断面を、超音波診断装置4から出力される超音波画像と同一の配向状態として示した断面ガイド画像102とが示されている。
また、図6の被検者モデル画像101aは、立体ガイド画像101の視線方向が、左側臥位をとっている被検者100の正面側であることを示すように描画されている。また、図6の被検者モデル画像102cは、断面ガイド画像102の切断面が、被検者100の正面から見た方向であり、断面の右側が被検者100の頭側であることを示すように描画されている。
一方、術者は、図6の立体ガイド画像101を見ながら、挿入形状画像101cが肝臓の裏側に隠れて見えなくなってしまっていることを確認しつつ、例えば操作パネル104を操作することにより、立体ガイド画像101内の肝臓の3次元モデルの表示状態を非表示に設定する(透明度を100%に設定する)。このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図6に示すものから図7に示すものへ遷移する。
さらに、術者は、図7の立体ガイド画像101を見ながら、挿入形状画像101cが胃及び十二指腸の裏側に隠れて見えなくなってしまっていることを確認しつつ、例えば操作パネル104を操作することにより、立体ガイド画像101内の胃及び十二指腸の3次元モデルの表示状態を非表示に設定する(透明度を100%に設定する)。このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図7に示すものから図8に示すものへ遷移する。
術者は、図8の立体ガイド画像101の挿入形状画像101cを見ながら、挿入部22の位置を確認する。その後、術者は、例えばキーボード6aまたはマウス6bを操作することにより、図8の立体ガイド画像101の視線方向を変更する。このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図8に示すものから図9に示すものへ遷移する。
図9の立体ガイド画像101は、左側臥位をとっている被検者100の右側面側から見た場合であって、かつ、3次元生体組織モデル101bの向きを斜めに傾けた場合のものである。また、図9の立体ガイド画像101によれば、立体ガイド画像101における視線方向の変更に応じて配向状態が変更された被検者モデル画像101aが示されている。さらに、図9の立体ガイド画像101によれば、挿入形状画像101c及び超音波断層像マーカ101dの見え方も、立体ガイド画像101における視線方向の変更に応じて変更されつつ描画されている。
なお、図9の合成画像においては、立体ガイド画像101における視線方向が変更されたのみであり、超音波振動子21aによる走査位置については変更されていない。そのため、図9の合成画像における断面ガイド画像102、被検者モデル画像102c、及び、超音波画像103は、図8に示す合成画像と同一のものである。
一方、術者は、図9の立体ガイド画像101の超音波断層像マーカ101dを見ながら、超音波振動子21aによる走査位置がどの位置であるかを把握する。また、術者は、図9の立体ガイド画像101を見ながら、挿入形状画像101cの先端部の位置が判りにくくなっていることを確認しつつ、例えば操作パネル104を操作することにより、立体ガイド画像101内の腎臓の3次元モデルの表示状態を非表示に設定する(透明度を100%に設定する)。このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図9に示すものから図10に示すものへ遷移する。そして、術者は、図10の立体ガイド画像101の挿入形状画像101cを見ながら、先端部21の位置を確認する。
ところで、医用ガイドシステム1においては、超音波振動子21aによる走査位置を適宜変更しながら観察を行う。そのため、術者は、図6の立体ガイド画像101及び断面ガイド画像102を見ながら、先端部21を変移させることにより、超音波振動子21aによる走査位置を変更する。そして、このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図8に示すものから図11に示すものへ遷移する。
図11の合成画像によれば、超音波振動子21aによる走査位置の変更に伴い、立体ガイド画像101における超音波断層像マーカ101dの描画位置、及び、断面ガイド画像102として描画される切断面の範囲が夫々変更されている。
また、図11の被検者モデル画像102cは、断面ガイド画像102の切断面が、被検者100の背中側かつ右側から見た方向であり、断面の右側が被検者の頭側であることを示すように描画されている。
術者は、図11の立体ガイド画像101の超音波断層像マーカ101dを見ながら、超音波振動子21aによる走査位置が胆嚢に対してどの位置であるかを把握する。その後、術者は、例えばキーボード6aまたはマウス6bを操作することにより、図11の立体ガイド画像101の視線方向を変更する。このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図11に示すものから図12に示すものへ遷移する。
図12の立体ガイド画像101は、左側臥位をとっている被検者100の右側面側から見た場合であって、かつ、3次元生体組織モデル101bの向きを若干斜めに傾けた場合のものである。また、図12の立体ガイド画像101によれば、立体ガイド画像101における視線方向の変更に応じて配向状態が変更された被検者モデル画像101aが示されている。さらに、図12の立体ガイド画像101によれば、超音波断層像マーカ101dの見え方も、立体ガイド画像101における視線方向の変更に応じて変更されつつ描画されている。
なお、図12の合成画像においては、立体ガイド画像101における視線方向が変更されたのみであり、超音波振動子21aによる走査位置については変更されていない。そのため、図12の合成画像における断面ガイド画像102、被検者モデル画像102c、及び、超音波画像103は、図11に示す合成画像と同一のものである。
一方、術者は、図12の立体ガイド画像101を見ながら、腎臓の裏側に隠れている部分があることを確認しつつ、例えば操作パネル104を操作することにより、立体ガイド画像101内の腎臓の3次元モデルの表示状態を非表示に設定する(透明度を100%に設定する)。このような術者の操作に応じ、モニタ7に表示される立体ガイド画像101が、図12に示すものから図13に示すものへ遷移する。
なお、本実施形態の医用ガイドシステム1においては、以上に述べた具体例のように、3次元生体組織モデル101bとして描画されている臓器または器官の3次元モデルの表示状態(透明度)が、手動操作により適宜変更されるものに限らず、画像処理装置5の処理により適宜変更されるものであってもよい。
この場合、画像処理装置5のガイド画像生成部53は、先端部位置・配向データと、立体ガイド画像101の視線方向として設定された方向とに基づき、3次元生体組織モデル101b、挿入形状画像101c及び超音波断層像マーカ101dを立体ガイド画像101として描画する際の投影面を決定する。
そして、ガイド画像生成部53は、例えば図14に示すように、スコープ先端部マーカの位置Sを通り、かつ、前記投影面に対して垂直な直線Lを設定する。この場合、図14に示すように、直線Lに沿って視線方向と順方向に見た場合のスコープ先端部マーカの位置Sは、3次元生体組織モデル101bにおいて、臓器A、臓器B及び臓器Cの各臓器の3次元モデルの裏側にあるといえる。
一方、ガイド画像生成部53は、直線Lに沿って存在する各ボクセルデータのボクセル値を、スコープ先端部マーカの位置Sを始点としつつ、視線方向と逆方向に順次検出する。
その後、ガイド画像生成部53は、前述のボクセル値の検出結果に基づき、スコープ先端部マーカの位置Sに最も近い一の臓器としての、例えば図14における臓器Cの3次元モデルの表示状態を半透明表示に設定する(透明度を50%に設定する)。また、ガイド画像生成部53は、前述のボクセル値の検出結果に基づき、スコープ先端部マーカの位置Sに最も近い一の臓器以外の他の臓器として、例えば図14における臓器A及び臓器Bが存在する場合、該臓器A及び該臓器Bの3次元モデルの表示状態を各々非表示に設定する(透明度を100%に設定する)。
なお、図14に示す3次元生体組織モデル101bのうち、直線L上にボクセルデータが存在し、かつ、スコープ先端部マーカの位置Sに対して視線方向と順方向側の位置に描画される臓器Dの3次元モデルについては、表示するものとして設定される(透明度0%として設定される)。また、図14に示す3次元生体組織モデル101bのうち、直線L上におけるボクセルデータが全く存在しない臓器Eの3次元モデルについても、表示するものとして設定される(透明度0%として設定される)。
そして、ガイド画像生成部53は、以上に述べた処理を行うことにより、臓器A及び臓器Bの3次元モデルが夫々不可視状態(透明度100%)であり、臓器Cの3次元モデルが半透明状態(透明度50%)であり、かつ、臓器D及び臓器Eの3次元モデルが夫々可視状態(透明度0%)であるような、図15に示す表示状態を具備するものとして3次元生体組織モデル101bの描画を行う。
このような処理を行うことにより、ガイド画像生成部53は、3次元生体組織モデル101bに含まれる臓器または器官の3次元モデルの表示状態(透明度)を、設定された視線方向に応じて適宜変更することができる。このようなガイド画像生成部53の構成及び作用によれば、立体ガイド画像101の視線方向が変更された場合であっても、挿入形状画像101cの先端部に相当する部分が見つけやすくなるように、3次元生体組織モデル101bとして描画されている臓器または器官の3次元モデルの表示状態(透明度)を適宜変更することができるため、結果的に、被検者に対する処置に費やされる時間を短縮することができる。
また、前述の処理を行うことにより、ガイド画像生成部53は、3次元生体組織モデル101bに含まれる臓器または器官の3次元モデルの表示状態(透明度)を、スコープ先端部マーカ102aの位置に応じて適宜変更することができる。このようなガイド画像生成部53の構成及び作用によれば、先端部21の位置を変移させることにより超音波振動子21aの走査位置を変更した場合であっても、挿入形状画像101cの先端部に相当する部分が見えるように、3次元生体組織モデル101bとして描画されている臓器または器官の3次元モデルの表示状態(透明度)を適宜変更することができるため、結果的に、被検者に対する処置に費やされる時間を短縮することができる。
以上に述べた医用ガイドシステム1によれば、立体ガイド画像101における視線方向の変更に伴って被検者モデル画像101aが回転する。これにより、以上に述べた医用ガイドシステム1は、立体ガイド画像101に描画される3次元生体組織モデル101bに含まれる臓器または器官の3次元モデルが被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
以上に述べた医用ガイドシステム1によれば、先端部21の位置を変移させることによる超音波振動子21aの走査位置の変更に伴い、超音波画像103と断面ガイド画像102内の3次元生体組織モデルとの方向が変更され、かつ、被検者モデル画像102cが回転する。これにより、以上に述べた医用ガイドシステム1は、超音波画像103及び断面ガイド画像102が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことが可能である。
以上に述べた医用ガイドシステム1を用いた場合、術者は、例えば、被検者に対する処置を行っている最中において、ガイド画像に描画される臓器または器官の立体形状が該被検者の配向状態に対してどの方向から見たものであるかを一目で認識することができる。また、術者は、以上に述べた医用ガイドシステム1を用いた場合、例えば、ガイド画像に描画される臓器または器官が該被検者の配向状態に対してどの方向から見たものであるかを、例えば処置後の被検者等に対して分かりやすく説明することができる。
なお、本実施形態の画像処理装置5(のガイド画像生成部53)により描画される被検者モデル画像101a及び被検者モデル画像102cは、図3A及び図3Bに示すような、人型を模した形状を具備するものに限らない。具体的には、本実施形態の画像処理装置5(のガイド画像生成部53)は、例えば、被検者100の右側から左側の方向を示す第1の矢印と、被検者100の足側から頭側の方向を示す第2の矢印と、からなる2つ1組の矢印を各被検者モデル画像の代わりに描画するものであってもよい。
以上に述べた医用ガイドシステム1によれば、3次元生体組織モデル101bに含まれる臓器または器官の3次元モデルの表示状態(透明度)を適宜変更することができる。これにより、術者は、被検者の体腔内に挿入された超音波内視鏡と、該体腔内に存在する臓器または器官との位置関係を容易に把握することができる。
具体的には、以上に述べた医用ガイドシステム1によれば、例えば、胃の内部に超音波内視鏡の先端部が存在する場合において、該胃の3次元モデルの表示状態を半透明にする(透明度を50%に設定する)ことにより、該先端部の位置を容易に把握することが可能となる。また、以上に述べた医用ガイドシステム1によれば、例えば、処置または手技等に応じて変形した胃の形状と、3次元モデルとして描画された胃の形状とが異なっていた場合において、該胃の3次元モデルを非表示にする(透明度を100%に設定する)ことにより、以降の処置または手技をスムーズに進めることが可能となる。さらに、以上に述べた医用ガイドシステム1によれば、例えば、所定の臓器または器官を摘出することにより、観察により確認された各臓器等の配置状態と、3次元モデルとして描画された各臓器等の配置状態とが異なっていた場合において、該所定の臓器または器官の3次元モデルを非表示にする(透明度を100%に設定する)ことにより、被検者に対して正確な処置を行うことが可能となる。
以上に述べた医用ガイドシステム1によれば、3次元生体組織モデル101bに含まれる臓器または器官の3次元モデルの表示色を適宜変更することができる。これにより、例えば色弱者が3次元生体組織モデル101bを見る場合においても、臓器毎の色の違いを認識できるように設定することができる。
また、以上に述べた医用ガイドシステム1によれば、超音波画像103における超音波画像枠103bと、断面ガイド画像102における超音波描出範囲枠102bとの表示態様が同一となるような構成を有している。その結果、術者は、本実施形態の医用ガイドシステム1を用いた場合、超音波画像103と断面ガイド画像102との対応関係を一目で認識することができる。
ところで、本実施形態の医用ガイドシステム1は、以下に記すような機能を具備するものとしても構成されている。
図16に示すような第1の表示レンジの合成画像がモニタ7に表示されている際に、超音波画像103の表示レンジを第2の表示レンジに狭めるための操作(拡大操作)が操作パネル104において行われると、制御部51は、該操作がなされた旨を(操作指示部6からの指示信号として)検知する。
そして、制御部51は、立体ガイド画像101における超音波断層像マーカ101dのサイズ、断面ガイド画像102の表示状態、及び、スコープ先端部マーカ102a及び103aの大きさを、第2の表示レンジに合わせるための制御をガイド画像生成部53に対して行う。
ガイド画像生成部53は、制御部51の制御に基づき、超音波断層像マーカ101dのサイズが第2の表示レンジに合うように縮小するとともに、超音波描出範囲枠102bの「超音波描出範囲」及び「周辺範囲」が第2の表示レンジに合うように断面ガイド画像を生成しなおす。これに併せ、ガイド画像生成部53は、第2の表示レンジに合うように、スコープ先端部マーカ102a及び103aの大きさを拡大する。
また、図16に示すような第1の表示レンジの合成画像がモニタ7に表示されている際に、表示レンジを第2の表示レンジに狭めるための操作(拡大操作)が操作パネル104において行われると、表示レンジが第1の表示レンジから第2の表示レンジに変更された状態の超音波画像が超音波診断装置4から出力される。
そして、超音波断層像マーカ101dのサイズが第2の表示レンジに合うように縮小された立体ガイド画像101と、超音波描出範囲枠102bの「超音波描出範囲」及び「周辺範囲」が第2の表示レンジに合うように拡大された断面ガイド画像102と、第2の表示レンジに変更された状態の超音波画像103と、操作パネル104と、が表示画像生成部54において合成されることにより、図17に示すような合成画像が生成される。
なお、本実施形態の医用ガイドシステム1においては、超音波描出範囲枠102bの位置及び大きさが変更されないまま、図16の合成画像から図17の合成画像への遷移が行われるものとする。
一方、図16に示すような第1の表示レンジの合成画像がモニタ7表示されている際に、超音波画像103の表示レンジを第3の表示レンジに拡げるための操作(縮小操作)が操作パネル104において行われると、制御部51は、該操作がなされた旨をを(操作指示部6からの指示信号として)検知する。
そして、制御部51は、立体ガイド画像101における超音波断層像マーカ101dのサイズ、断面ガイド画像102の表示状態、及び、及び、スコープ先端部マーカ102a及び103aの大きさを第3の表示レンジに合わせるための制御をガイド画像生成部53に対して行う。
ガイド画像生成部53は、制御部51の制御に基づき、超音波断層像マーカ101dのサイズが第3の表示レンジに合うように拡大するとともに、超音波描出範囲枠102bの「超音波描出範囲」及び「周辺範囲」が第3の表示レンジに合うように断面ガイド画像を生成しなおす。これに併せ、ガイド画像生成部53は、第3の表示レンジに合うように、スコープ先端部マーカ102a及び103aの大きさを縮小する。
また、図16に示すような第1の表示レンジの合成画像がモニタ7に表示されている際に、表示レンジを第3の表示レンジに拡げるための操作(縮小操作)が操作パネル104において行われると、表示レンジが第1の表示レンジから第3の表示レンジに変更された状態の超音波画像が超音波診断装置4から出力される。
そして、超音波断層像マーカ101dのサイズが第3の表示レンジに合うように拡大された立体ガイド画像101と、超音波描出範囲枠102bの「超音波描出範囲」及び「周辺範囲」が第3の表示レンジに合うように縮小された断面ガイド画像102と、第3の表示レンジに変更された状態の超音波画像103と、操作パネル104と、が表示画像生成部54において合成されることにより、図18に示すような合成画像が生成される。
なお、本実施形態の医用ガイドシステム1においては、超音波描出範囲枠102bの位置及び大きさが変更されないまま、図16の合成画像から図18の合成画像への遷移が行われるものとする。
また、本実施形態の医用ガイドシステム1によれば、断面ガイド画像102のスケールを、超音波画像103の表示レンジを同一としたまま変更することができる。
具体的には、例えば、図16に示すような第1のスケールの断面ガイド画像102がモニタ7表示されている際に、断面ガイド画像102のスケールを変更するための操作が操作パネル104において行われると、制御部51は、該操作がなされた旨を(操作指示部6からの指示信号として)検知する。なお、以降においては、図16に示すような第1のスケールの断面ガイド画像102がモニタ7表示されている際に、該第1のスケールに比べて広範囲を確認可能な第2のスケールに変更するための操作がなされた場合を例に挙げつつ説明を行う。
その後、制御部51は、断面ガイド画像102の表示状態を変更後の第2のスケールに合わせるための制御をガイド画像生成部53に対して行う。
ガイド画像生成部53は、制御部51の制御に基づき、断面ガイド画像102における3次元生体組織モデルのスケールと、スコープ先端部マーカ102aのスケールと、超音波描出範囲枠102bのスケールとを、夫々第2のスケールに合わせるように縮小しつつ、断面ガイド画像を生成しなおす。
そして、図16と同様の表示状態の立体ガイド画像101と、第1のスケールから第2のスケールへ表示状態が変更された断面ガイド画像102と、図16と同様の表示状態の超音波画像103と、操作パネル104と、が表示画像生成部54において合成されることにより、図19に示すような合成画像が生成される。
図19の断面ガイド画像102によれば、超音波描出範囲枠102bの「周辺範囲」が、図16の断面ガイド画像102に比べて拡がっている。すなわち、図19の断面ガイド画像102によれば、現在走査を行っている部位と、周辺の臓器または器官との位置関係が判りやすく示されている。その結果、本実施形態の医用ガイドシステム1によれば、所望の部位の超音波画像を取得する際に、超音波内視鏡2をどのように動かせばよいかが判りやすくなるため、被検者に対する処置時間を短縮することができる。
(第2の実施形態)
図20及び図21は、本発明の第2の実施形態に係るものである。図20は、本発明の第2の実施形態に係る医用ガイドシステムの要部の構成の一例を示す図である。図21は、第2の実施形態の医用ガイドシステムにより生成される合成画像の一例を示す図である。
なお、以降の説明において、第1の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態における医用ガイドシステムの構成は、第1の実施形態における医用ガイドシステムと類似の構成を有している。そのため、本実施形態においては、第1の実施形態における医用ガイドシステムと異なる部分について主に説明を行うものとする。
医用ガイドシステム201は、図20に示すように、医用装置としての腹腔鏡202と、アンテナユニット3Aと、位置検出装置3Bと、光学観察装置204と、画像処理装置5と、医用ガイドシステム201の操作に係る種々の指示を行うことが可能な操作指示部6と、モニタ7と、複数の体表検出用コイル10と、術者または補助者により用いられる処置具301及び302と、を要部として有して構成されている。
腹腔鏡202は、被検者100の体腔内へ挿入可能な先端部221と、術者の操作に応じて先端部221の向きを変更可能な湾曲部222と、湾曲部222の後端側に連設された硬性の挿入部223と、湾曲部222の操作を行うための図示しないノブ等が設けられた操作部224と、光学観察装置204に対して着脱可能なケーブル225と、を具備している。
先端部221は、例えばCCD等からなる撮像素子221aと、外部から印加された磁界に応じて電気信号を出力するコイル221bと、を具備している。また、先端部221には、腹腔鏡202に供給される照明光を被写体に対して出射するための図示しない照明光学系が設けられている。
撮像素子221aは、図示しない対物光学系により結像された被写体の像を撮像し、該被写体の像に応じた撮像信号を光学観察装置204へ出力する。
ケーブル225は、一端側が操作部224から延出されているとともに、光学観察装置204に接続可能なコネクタ225aが他端側に設けられている。また、コネクタ225aの内部には、腹腔鏡202に関する種々の情報が格納された、例えばメモリ等からなるスコープID格納部225bが設けられている。
スコープID格納部225bは、コネクタ225aが光学観察装置204に接続された際に、前述した、腹腔鏡202に関する種々の情報(以降、腹腔鏡情報と称する)を光学観察装置204へ出力する。
処置具301は、例えば、術者または補助者の操作により対象物を挟んで掴むことが可能な構成の鉗子301aを先端部に具備している。また、処置具301は、外部から印加された磁界に応じて電気信号を出力するコイル301bを具備している。
処置具302は、鉗子301aと同様の構成を有する鉗子302aと、コイル301bと同様の構成を有するコイル302bと、を具備している。
医用ガイドシステム201の位置検出装置3Bは、コイル221bからの電気信号に基づき、コイル221bが存在する位置、及び、コイル221bの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、医用ガイドシステム201の位置検出装置3Bは、コイル301bからの電気信号と、例えば既知の値として事前に入力された処置具301の長さに関する情報とに基づき、鉗子301aが存在する位置、及び、鉗子301aの配向を特定するための演算を行うことにより、演算結果に応じた第1の鉗子位置・配向データを順次生成する。さらに、医用ガイドシステム201の位置検出装置3Bは、コイル302bからの電気信号と、例えば既知の値として事前に入力された処置具302の長さに関する情報とに基づき、鉗子302aが存在する位置、及び、鉗子302aの配向を特定するための演算を行うことにより、演算結果に応じた第2の鉗子位置・配向データを順次生成する。
さらに、医用ガイドシステム201の位置検出装置3Bは、各体表検出用コイル10からの電気信号に基づき、各体表検出用コイル10が存在する位置、及び、各体表検出用コイル10の配向を特定するための演算を行うことにより、演算結果に応じた被検者位置・配向データを順次生成する。
そして、医用ガイドシステム201の位置検出装置3Bは、生成した先端部位置・配向データと、第1の鉗子位置・配向データと、第2の鉗子位置・配向データと、被検者位置・配向データとを併せて画像処理装置5へ出力する。
光学観察装置204は、腹腔鏡202からの撮像信号に基づいて光学画像を順次生成し、生成した光学画像を画像処理装置5へ順次出力する。
光学観察装置204は、スコープID格納部225bから出力される腹腔鏡情報に基づき、腹腔鏡202の(図示しない)対物光学系による視野範囲を検出し、視野範囲データとして画像処理装置5へ出力する。
また、光学観察装置204は、モニタ7への画像出力(モニタ7における画像表示)に係る指示信号が操作指示部6から入力された場合に、該指示信号を画像処理装置5へ出力する。
医用ガイドシステム201の制御部51は、光学観察装置204から出力される視野範囲データに基づき、腹腔鏡202の視野範囲が可視化された視野範囲マーカを生成させるための制御をガイド画像生成部53に対して行う。
医用ガイドシステム201の制御部51は、超音波診断装置4を介して入力される操作指示部6からの指示信号に基づき、モニタ7への画像出力(モニタ7における画像表示)状態を変更するための制御をガイド画像生成部53及び表示画像生成部54に対して行う。
医用ガイドシステム201のガイド画像生成部53は、位置検出装置3Bから出力される先端部位置・配向データに基づき、先端部221の配置状態を示すための腹腔鏡マーカを生成する。
医用ガイドシステム201のガイド画像生成部53は、第1の鉗子位置・配向データに基づき、鉗子301aの配置状態を示すための第1の処置具マーカを生成する。また、医用ガイドシステム201のガイド画像生成部53は、第2の鉗子位置・配向データに基づき、鉗子302aの配置状態を示すための第2の処置具マーカを生成する。
医用ガイドシステム201のガイド画像生成部53は、記憶部52に蓄積された3次元断層画像に基づき、被検者100の内部に存在する臓器群等の組織構造の3次元生体組織モデルデータを生成する。
医用ガイドシステム201のガイド画像生成部53は、指標生成部としての機能を有し、記憶部52から読み込んだ体軸方向データに基づき、前記3次元生体組織モデルデータに対応する被検者モデル画像データを生成する。
医用ガイドシステム201のガイド画像生成部53は、制御部51の制御と、位置検出装置3Bから出力される先端部位置・配向データとに基づき、腹腔鏡202の視野範囲を可視化するための視野範囲マーカを生成する。
そして、医用ガイドシステム201のガイド画像生成部53は、制御部51の制御に基づき、腹腔鏡マーカと、第1の処置具マーカと、第2の処置具マーカと、3次元生体組織モデルデータと、被検者モデル画像データと、視野範囲マーカとを組み合わせることにより、各種ガイド画像を生成して表示画像生成部54へ出力する。
医用ガイドシステム201の表示画像生成部54は、制御部51の制御に基づき、光学観察装置204から出力される光学画像と、ガイド画像生成部53から出力されるガイド画像とを合成した合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ7へ出力する。
次に、医用ガイドシステム201の作用について説明を行う。
まず、術者等は、医用ガイドシステム201の各部の電源を投入することにより、該各部を起動状態とする。また、術者等は、3次元断層画像生成装置9からの3次元断層画像が画像処理装置5に入力される事前に、該3次元断層画像を参照しながら、被検者100における頭足方向及び背腹方向を指定する。そして、被検者100における頭足方向及び背腹方向の指定結果は、3次元断層画像に関連付けられた体軸方向データとして画像処理装置5に入力される。
光学観察装置204は、腹腔鏡202からの撮像信号に基づいて光学画像を順次生成し、生成した光学画像を画像処理装置5へ順次出力する。
一方、コイル221b、コイル301b、コイル302b及び各体表検出用コイル10は、アンテナユニット3Aの起動に伴って印加された磁界を検知し、検知した磁界に応じた電気信号を夫々位置検出装置3Bへ出力する。
医用ガイドシステム201の位置検出装置3Bは、コイル221bからの電気信号に基づき、コイル221bが存在する位置、及び、コイル221bの配向を特定するための演算を行うことにより、演算結果に応じた先端部位置・配向データを順次生成する。また、医用ガイドシステム201の位置検出装置3Bは、コイル301bからの電気信号と、例えば既知の値として事前に入力された処置具301の長さに関する情報とに基づき、鉗子301aが存在する位置、及び、鉗子301aの配向を特定するための演算を行うことにより、演算結果に応じた第1の鉗子位置・配向データを順次生成する。さらに、医用ガイドシステム201の位置検出装置3Bは、コイル302bからの電気信号と、例えば既知の値として事前に入力された処置具302の長さに関する情報とに基づき、鉗子302aが存在する位置、及び、鉗子302aの配向を特定するための演算を行うことにより、演算結果に応じた第2の鉗子位置・配向データを順次生成する。
医用ガイドシステム201のガイド画像生成部53は、記憶部52に蓄積された3次元断層画像に基づき、被検者100の内部における臓器及び血管等の3次元生体組織モデルデータを生成するとともに、該3次元生体組織モデルデータに対応する体軸方向データを記憶部52から読み出す。
一方、医用ガイドシステム201のガイド画像生成部53は、入力される各データ及び制御部51の制御に基づき、腹腔鏡マーカと、第1の処置具マーカと、第2の処置具マーカと、視野範囲マーカとを夫々生成する。また、医用ガイドシステム201のガイド画像生成部53は、体軸方向データに基づき、生成した3次元生体組織モデルデータの配向状態に対応する方向の被検者モデル画像データを生成する。
そして、ガイド画像生成部53は、第1の実施形態と同様に、3次元生体組織モデルデータと被検者100の位置及び配向との対応付けを行うとともに、自身において生成した3次元生体組織モデルデータと、腹腔鏡マーカと、第1の処置具マーカと、第2の処置具マーカと、視野範囲マーカと、該3次元生体組織モデルデータに対応する方向の被検者モデル画像データとを夫々組み合わせることにより、後述の立体ガイド画像401を生成する。
医用ガイドシステム201の表示画像生成部54は、制御部51の制御に基づき、ガイド画像生成部53から出力される立体ガイド画像401と、光学観察装置204から出力される光学画像402とを合成することにより、例えば図21に示す合成画像を生成した後、該合成画像に基づく映像信号を生成してモニタ7へ出力する。
図21に一例として示す合成画像によれば、立体ガイド画像401が画面の左側の領域に配置され、また、光学画像402が画面の右側の領域に配置されつつ表示される。
図21の立体ガイド画像401によれば、現在の視線方向における立体ガイド画像401の配向状態が、被検者100の配向状態に対応する被検者モデル画像101aとして示されている。
図21の立体ガイド画像401によれば、臓器等の生体組織が、夫々別々の色になるように色分けされ、かつ、被検者100の配向状態と相対的に一致するような3次元生体組織モデル101bとして示されている。
図21の立体ガイド画像401によれば、3次元生体組織モデル101bとして示された臓器等に対する先端部221の位置関係が、腹腔鏡マーカ401aとして示されている。
図21の立体ガイド画像401によれば、3次元生体組織モデル101bとして示された臓器等において、腹腔鏡202により観察することが可能な視野範囲が視野範囲マーカ401bとして示されている。具体的には、視野範囲マーカ401bは、図21に示すように、立体ガイド画像401内において、腹腔鏡マーカ401aの先端部221に相当する部分に一の頂点が配置された、半透明の三角形形状を具備する画像として描画される。
図21の立体ガイド画像401によれば、3次元生体組織モデル101bとして示された臓器等に対する鉗子301aの位置関係が、第1の処置具マーカ401cとして示されている。また、図21の立体ガイド画像401によれば、3次元生体組織モデル101bとして示された臓器等に対する鉗子302aの位置関係が、第2の処置具マーカ401dとして示されている。
図21の光学画像402によれば、腹腔鏡202の撮像素子221aにより撮像された被写体の像として、処置具301及び処置具302を用いつつ膵臓の血管に対する処置を行っている様子が示されている。
以上に述べた構成及び作用を有する医用ガイドシステム201によれば、第1の実施形態において既述の処理と略同様の処理がガイド画像生成部53等において行われることにより、立体ガイド画像401の視線方向の変更に伴って被検者モデル画像101aを回転させることができる。
そのため、以上に述べた構成及び作用を有する医用ガイドシステム201によれば、ガイド画像に描画される臓器または器官の立体形状が被検者の配向状態に対してどの方向から見たものであるかを判りやすく示すことができる。
なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。