JP5191167B2 - 医用ガイドシステム - Google Patents

Description

本発明は、人体の臓器及び器官の少なくとも一方の解剖学的な位置情報を有する参照画像データ中において医用器具の位置を示し、医用器具のガイドを行う医用ガイドシステムに関する。

従来より、内視鏡、超音波内視鏡、細径超音波プローブ等に代表されるような、消化管、胆膵管、血管などの体腔内へ挿入して、診断、治療、手術等に用いる医用器具が周知である。内視鏡には、気管支鏡、消化管内視鏡、腹腔鏡等が含まれる。また、超音波診断装置に代表されるような、体表から体腔内の臓器や器官を診断、治療する医用器具も周知である。

このような医用器具を生体に対して用い検査や手術を行う際に、術者は、予め生体内の各器官、各組織の既知の解剖学的な位置関係を念頭に置きながら、現在観察している解剖学上の位置を推定して、診断や手術を行う。

このような診断や手術を支援するために、検査時や手術時に観察している位置を案内するガイド画像を、事前に取得したＣＴ画像やＭＲＩ画像をもとに合成して表示する技術が提案されている。

このような医用ガイド装置として、例えば特開２００６−１４９４８１号公報には、超音波内視鏡の先端位置を検出して、超音波内視鏡の解剖学的な位置に対応したガイド画像を解剖学的画像データに基づき構築し表示する技術が記載されている。

特開２００６−１４９４８１号公報に開示の技術では、生体の標本点の位置を検出する標本点位置検出手段を設け、標本点位置検出手段で検出された標本点の位置と、画像情報保持手段に保持された参照画像データ上の特徴点の位置とを照合してガイド画像を作成している。また、生体の位置もしくは体位を検出する体位検出手段が設けられ、被検体に装着される。この前記体位検出手段により検出された被検体の位置もしくは向きを元に、前記標本点位置検出手段により検出された前記標本点の位置を補正することで、被検体の体位変化を補正しながら前記ガイド画像を作成している。
特開２００６−１４９４８１号公報

しかしながら、特開２００６−１４９４８１号公報に開示の技術では、生体の標本点の位置を４点取得する必要があり、この４点の標本点を、体表の点と体腔内の点とを組み合わせて取得した場合、以下の理由で、ガイド画像と超音波画像（実際の医用器具の位置）に誤差が生じてしまうという問題がある。

画像情報保持手段にある参照画像データと超音波検査時の被検体が異なる場合には、骨格と内臓の位置関係や骨格に対する内臓の大きさ（縮尺）には個人差があるため、被検体上で取得した４標本点と参照画像データ上で指定した４特徴点が相似形でなくなり、ガイド画像と超音波画像に誤差が生じる。

画像情報保持手段にある参照画像データと超音波検査時の被検体が同じ場合でも、参照画像データを取得した時と超音波内視鏡検査の時で体位や呼吸状態の違いにより、骨格と内臓の位置関係や形状に違いが発生し、被検体上で取得した４標本点と参照画像データ上で指定した４特徴点が相似形でなくなり、ガイド画像と超音波画像に誤差が生じる。

具体的には、参照画像データとしてＣＴを使用する場合、ＣＴ撮影時には基本的に仰向け（仰臥位）で撮影をする。一方、超音波内視鏡検査では基本的に左半身を下に向けた体位（左側臥位）で検査を行う。この時、体位が異なると、体に対する重力方向が変化する。すると、硬質の骨格はほとんど変形しないのに対し、内臓は腹腔内のスペースで全体的に重力方向に大きく動き、各臓器の形状も変化する。これにより、骨格に対する内臓の位置が変化する。また、ＣＴ撮影時には大きく息を吸った（深吸気）状態で撮影をするが、超音波内視鏡検査では通常呼吸状態で検査を行う。深吸気状態では、横隔膜が足側に下がり、その下にある内臓も上下方向に圧縮される。これにより、骨格に対する内臓の位置や縮尺が変化する。

次に、４標本点をすべて体表の点で取得した場合には、被検体上で取得した４標本点と参照画像データ上で指定した４特徴点は相似形になるが、参照画像データと被検体とで、体表（骨格）に対する体腔内（内臓）の位置や縮尺が上記と同じ理由で異なるため、ガイド画像と超音波画像との間で内臓の位置に誤差が生じる。

最後に、４標本点をすべて体腔内の点で取得した場合には、被検体上で取得した４標本点と参照画像データ上で指定した４特徴点が相似形でなくなり、ガイド画像と超音波画像に誤差が生じる。理由は、内臓は骨格に対し、変形しやすく、個人差も大きい。そのため体腔内で取得した４標本点の位置関係に誤差が生じやすい。また、体腔内で取得できる４標本点は体表で取得する４標本点に比べ、範囲が狭く、４標本点で作成される四面体が小さくなる。そのため、４標本点の位置関係の誤差が、４標本点と４特徴点との相似性に与える影響は大きく、ガイド画像と超音波画像に誤差が生じる。

本発明は上記事情に鑑みてなされたものであり、被検体と参照画像データとの間に、骨格と内臓の位置関係の違いが発生しても、ガイド画像上の医用器具の位置を実際の医用器具の位置に高い精度で一致させることができる医用ガイドシステムを提供することを目的としている。

本発明に係る医用ガイドシステムは、実空間において、医用器具の位置及び配向の少なくとも一方と、被検体における複数の特徴点の位置及び配向の少なくとも一方とを検出する検出部と、人体の臓器及び器官の少なくとも一方の解剖学的な位置情報を有する参照画像データを記憶する記憶部と、前記実空間における前記被検体の複数の特徴点の位置及び配向の少なくとも一方と、前記参照画像データにおける前記複数の特徴点に解剖学的に対応する複数の参照画像特徴点の位置及び配向の少なくとも一方と、の情報に基づいて、前記実空間における医用器具の位置及び配向の少なくとも一方を、前記参照画像データにおける位置及び配向に変換した写像を生成し、前記写像と前記参照画像データから、前記被検体に対する前記医用器具位置又は前記医用器具の観察位置を前記参照画像との対比によって示すガイド画像を作成するガイド画像作成部と、を具備する医用ガイドシステムであって、前記ガイド画像作成部は、前記実空間における前記被検体の体腔内の複数の体腔内特徴点の位置及び配向の少なくとも一方と、前記参照画像データにおける前記体腔内特徴点に解剖学的に対応する１つ又は複数の補正特徴点の位置及び配向の少なくとも一方と、の情報に基づいて前記ガイド画像が示す前記医用器具位置又は前記医用器具の観察位置を補正可能に構成されており、当該補正は、複数の前記体腔内特徴点間の距離と、複数の前記補正特徴点間の距離との比較に基づいて前記写像を伸縮する縮尺補正を含むものであって、かつ前記ガイド画像作成部は、前記補正の実施の有無を前記医用器具位置又は前記医用器具の観察位置の近傍である部位に応じて切替可能に構成されている。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態においては、医用器具として超音波内視鏡を使用し、医用ガイドシステムは該超音波内視鏡の操作の支援を行うガイド画像を生成するものとして、説明を行う。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は医用ガイドシステムの構成を示すブロック図である。図２は姿勢検出用コイルの構成を示す図である。図３は、画像処理装置の構成を示すブロック図である。図４は、参照画像記憶部に記憶されている参照画像データを概念的に示す図である。図５は、特徴点リストを示す表である。図６は、ボクセル空間の構成を示す図である。図７は、補正条件テーブルを示す表である。図８は、送信アンテナ上に定義された原点および直交座標系等を示す図である。図９は、超音波断層像マーカの様子を示す図である。図１０は、３次元人体画像データを示す図である。図１１及び図１２は、３次元ガイド画像データを示す図である。図１３は、表示装置に表示される３次元ガイド画像を示す図である。

本実施形態の医用ガイドシステム１は、医用器具としての超音波内視鏡２の体腔内への挿入を支援するためのガイドを行うシステムである。本実施形態の医用ガイドシステム１は、超音波内視鏡２と、超音波観測装置３と、位置データ算出装置４と、画像処理装置５と、表示装置８と、光学観察装置１０と、入力装置１１とを備えてなり、各装置は有線又は無線の通信手段により接続されている。

また、医用ガイドシステム１は、該医用ガイドシステム１の外部に設けられた光ファイバ、電気ケーブル、無線通信等を用いたネットワーク１４に接続されている。該ネットワーク１４には、Ｘ線３次元ヘリカルＣＴ装置（Ｘ−ｒａｙ ３−ｄｉｍｅｎｓｉｏｎａｌ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ｓｙｓｔｅｍ）１６、３次元ＭＲＩ装置（３−ｄｉｍｅｎｓｉｏｎａｌ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）１５、外部記憶装置１７が接続されている。医用ガイドシステム１は、ネットワーク１７を介して、３次元ＭＲＩ装置１５、Ｘ線３次元ヘリカルＣＴ装置１６及び外部記憶装置１７とデータの授受が可能である。

医用器具としての超音波内視鏡２は、食道、胃、十二指腸などの体腔内に挿入されて用いられる挿入部の先端に配設されステンレス等の硬質な材料で構成された硬性部２１と、硬性部２１の基端側に配設され可撓性のある材料で構成された長尺の可撓部２２と、可撓部２２の基端側に配設された硬質な材料で構成された操作部２３とからなる。術者は、該操作部２３を把持して超音波内視鏡２の操作を行う。また、超音波内視鏡２は、超音波観測装置３、光学観察装置１０、及び位置配向算出装置４に図示しない接続コネクタを介して電気的に接続されている。

硬性部２１は、撮像装置２７と、超音波振動子アレイ３１と、画像位置配向検出用コイル４４を具備して構成されている。撮像装置２７は、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２６と、該ＣＣＤ２６の受光面上に被写体像を結像するレンズ２５等を具備してなり、ガラス製の光学観察窓２４を介して体腔内を光学的に撮像する装置である。硬性部２１には、該撮像装置２７の視野方向に照明光を照射する図示しない照明装置が配設されており、撮像装置２７は、照明装置により照明された体腔内の光学的な画像を取得し、ＣＣＤ信号として光学観察装置１０へ出力する。

超音波振動子アレイ３１は、いわゆる電子ラジアル走査型の超音波振動子アレイであり、硬性部２１を体腔内に挿入する方向に沿う挿入軸周りに環状に配設された、複数の超音波振動子により構成されている。超音波振動子アレイ３１は、挿入軸に直交する平面上において超音波ビームを放射方向に走査しながら送受することにより、超音波断層像を得るために必要なエコー信号を取得し、超音波観測装置３へ出力する。

超音波振動子アレイ３１は、超音波観測装置３に電気的に接続されている。超音波観測装置３は、超音波振動子アレイ３１が送信する超音波ビームの強度、角度、フォーカス等を制御すると共に、超音波振動子アレイ３１により取得されたエコー信号から走査面における超音波断層像データを生成し、出力する。

なお、以下において、超音波振動子アレイ３１が走査を行う面を、走査面と称するものとする。また、硬性部２１に固定した正規直交基底（各方向の単位ベクトル）Ｖ、Ｖ３、Ｖ１２を図１に示すように定義する。つまり、基底ベクトルＶは硬性部２１の挿入軸方向と平行、すなわち走査面の法線方向ベクトルとし、超音波振動子２１の所定の走査方向を１２時方向とした場合に、３時方向に向く基底ベクトルをＶ３、１２時方向に向く基底ベクトルをＶ１２とする。なお、ベクトルについては太字のイタリック体で表記するのが一般的であるが、本実施形態においては通常の英数字を用いて標記するものとする。

画像位置配向検出用コイル４４は、環状の超音波振動子アレイ３１の中心近傍に、超音波振動子アレイ３１との位置関係が固定されて硬性部２１内に配設されている。画像位置配向検出用コイル４４は、基底ベクトルＶ及びＶ３と平行な軸周りにそれぞれ巻かれた２つのコイルが一体に組み合わされて構成されている。

また、光学観察窓２４と、画像位置配向検出用コイル４４との位置関係も固定されおり、後述する方法により取得された画像位置配向検出用コイル４４の位置及び配向から、正規直交基底Ｖ、Ｖ３、Ｖ１２のそれぞれの方向に所定の値ｅ、ｆ、ｇだけ移動させることで、光学観察窓２４の位置を算出することが可能である。

位置検出部である位置配向算出装置４は、超音波内視鏡２の硬性部２１に配設された画像位置配向検出用コイル４４とＡ／Ｄ変換装置４７を介して接続されているとともに、送信アンテナ４１に電気的に接続されている。位置配向算出装置４は、体表検出用コイル４２及び姿勢検出用コイル４３と、それぞれＡ／Ｄ変換装置４５及び４６を介して接続されている。また、位置配向算出装置４は、例えばＲＳ−２３２Ｃ規格のケーブル等を介して画像処理装置５に電気的に接続されている。

送信アンテナ４１は、図示しないそれぞれ巻線軸の配向が異なる複数個の磁場発生用コイルを具備して構成されており、位置配向算出装置４からの出力に応じて交番磁場を発生する装置である。

Ａ／Ｄ変換装置４５〜４７は、入力された信号を増幅する図示しないアンプと、増幅された信号をサンプリングしてデジタルデータへ変換する図示しないアナログデジタル変換回路とを具備して構成されている。

超音波内視鏡２の硬性部２１に配設された画像位置配向検出用コイル４４は、送信アンテナ４１により発生された交番磁場を検出し、位置電気信号に変換してＡ／Ｄ変換装置４７へ出力する。

また、詳しくは後述するが、体表検出用コイル４２及び姿勢検出用コイル４３は、送信アンテナ４１により発生された交番磁場を検出するためのコイルを具備して構成されおり、コイルが検出した交番磁場を位置電気信号に変換してＡ／Ｄ変換装置４５及び４６へ出力する。

位置配向算出装置４は、画像位置配向検出用コイル４４、体表検出用コイル４２及び姿勢検出用コイル４３からそれぞれ出力されＡ／Ｄ変換装置４５〜４７によりデジタルデータに変換された、位置電気信号に基づいて、画像位置配向検出用コイル４４、体表検出用コイル４２及び姿勢検出用コイル４３の、送信アンテナ４１に対するそれぞれの位置及び配向を算出する構成を有するものである。

図２に示すように、姿勢検出用コイル４３は、巻線軸が単軸となっている２個のコイルが、同一平面上において互いの巻線軸が直交するように配設されて構成されている。ここで、姿勢検出用コイル４３上に原点Ｓを固定した正規直交基底（各方向の単位ベクトル）Ｗ、Ｗ３、Ｗ１２を図２に示すように定義する。すなわち、姿勢検出用コイル４３に配設された２つのコイルのそれぞれの巻線軸と平行な基底ベクトルをＷ１２及びＷ３と定義する。姿勢検出用コイル４３は、被検体１００の体表における超音波内視鏡２で検査する臓器に近い位置に図示しないテープ、ベルト、バンド、接着剤、負圧吸引等により装着され固定されている。

体表検出用コイル４２は、棒状の外形を有し、内部に巻線軸が単軸となっている一個のコイルを具備して構成されている。棒状の体表検出用コイル４２の先端と、コイルとの位置関係は固定されている。体表検出用コイル４２は、詳しくは後述するが、術者が被検体１００の体表の特徴のある点（以下、被検体体表の特徴のある点を、単に体表特徴点と称する）に先端を当接させる様にして用いられる。

なお、本実施形態では体表特徴点を、骨格上の特徴のある箇所である、「剣状突起」(xiphoid process)、骨盤(pelvis)の左側の「左上前腸骨棘」(left anterior superior iliac spine)、骨盤の右側の「右上前腸骨棘」(right anterior superior iliac spine)、左右の上前腸骨棘の中間で脊椎上の「腰椎椎体棘突起」(spinous process of vertebral body)の４点として説明する。

本実施形態では、４点の体表特徴点は、術者が触診により位置を特定可能な位置としている。また、この４点の体表特徴点は同一平面上には存在しないため、剣状突起を原点として他の特徴点へ向かう３本のベクトルを基本ベクトルとした斜交座標系(un-orthogonal reference frame)を形成する事が可能である。なお、４点の体表特徴点は、本実施形態で示したものに限られるものではなく、使用する医用器具及び該医用器具を使用する部位に応じて、適宜に変更されるものである。

画像処理装置５は、図３に示すように、マッチング回路６１と、画像指標作成回路６２と、通信回路５１と、参照画像記憶部５２と、補間回路５３と、３次元人体画像作成回路５４と、合成回路６３と、回転変換回路６４と、２つの３次元ガイド画像作成回路（以下、３次元ガイド画像作成回路Ａ６５と３次元ガイド画像作成回路Ｂ６６と称する）と、混合回路６７と、表示回路６８と、制御回路６０とを具備して構成されている。

制御部である制御回路６０は、演算装置、記憶装置、入出力装置等を具備して構成され、画像処理装置５の動作を制御するものであり、画像処理装置５内の各部や各回路と図示しない信号線を介して電気的に接続されている。また、本実施形態においては、制御回路６０は、超音波観測装置３及び位置配向算出手段４の動作の制御も行うものである。

制御回路６０には、指示部である入力装置１１が電気的に接続されている。本実施形態の入力装置１１は、キーボード１２およびマウス１３により構成されている。制御回路６０は、入力装置１１を介して入力される術者からの指示に基づいて、医用ガイドシステム１の動作を制御する。本実施形態においては、キーボード１２には、表示切替キー１２α、１２β及び１２γ、操作制御キー１２ｄ、体表点取得キー１２ｅ、体腔内点取得キー１２ｆ、走査部位選択キー１２ｇからなるスイッチ群が配設されている。

なお、入力装置１１は、本実施形態においてはキーボード１２及びマウス１３により構成されるものとしているが、これは入力装置の一例として挙げたものであり、本実施形態に限られるものではない。入力装置１１は、例えばトラックボール、タッチパネル等のポインティングデバイスや、プッシュスイッチ、ロータリースイッチ等のスイッチにより構成されるものであってもよい。また、入力装置１１は、音声やジェスチャーにより術者が操作指示の入力を行うことが可能なものであってもよい。

参照画像記憶部５２は、大容量のデータを記憶することが可能な例えばハードディスクドライブ、テープドライブ等からなる。参照画像記憶部５２には、人体の断面の画像情報である複数の参照画像データＲＤが記憶されている。また、参照画像記憶部５２には、図５に示す、人体の体表特徴点と体腔内特徴点の名称が記述された特徴点リスト１０１が記憶されている。

参照画像データＲＤは、Ｘ線３次元ヘリカルＣＴ装置１６、３次元ＭＲＩ装置１５等によりある所定の人体から取得され、データセンタ１７に記憶されていた人体の断層像のデータが、ネットワーク１４を介して画像処理装置５に入力されたものである。参照画像データＲＤは、人体の体軸（頭から足に抜ける直線軸）に略直交する断面の一辺数十ｃｍの正方形の領域における断層像のデータであり、該断層像は、体軸に沿って０．５ｍｍ〜数ｍｍピッチで取得されたものである。

なお、参照画像データＲＤは、被検体１００本人から取得されるものであってもよいし、異なる人体から取得されるものであってもよい。また、参照画像データＲＤは、身長や体格等の人体の身体的特徴や性別等の条件ごとに、あらかじめ異なる人体から取得されるものであってもよい。また、参照画像データＲＤは、Ｘ線３次元ヘリカルＣＴ装置１６、３次元ＭＲＩ装置１５から、直接ネットワーク１４経由で画像処理装置５に入力され、参照画像記憶部５２に記憶されるものであってもよい。

本実施形態では、図４に示すように、参照画像記憶部５２に記憶された、ある所定の人体の体軸に沿って所定のピッチで取得された複数の参照画像データ群ＧＲＤについて、個々の参照画像データＲＤに脚部方向から順に１番からＮ番までの番号を付す。ここで、図４に示した参照画像データにおいて、図面に正対して図面の下方向が人体の背方向であり、図面の手前から奥方向が人体の頭部方向である。

また、図４に示すように、参照画像データ群ＧＲＤに対して固定された直交座標軸Ｏ’−ｘ’ｙ’ｚ’と、その正規直交基底（各軸方向の単位ベクトル）ｉ’、ｊ’、ｋ’を定義する。ここで、原点Ｏ’を１番の番号が付された参照画像データＲＤの最も左下に定義し、ｘ’軸を横辺に平行、ｙ’軸を縦辺に平行に定義する。すなわち、ｚ’軸は体軸と平行となる。

図４に示した本実施形態の参照画像データ群ＧＲＤは、Ｘ線３次元ヘリカルＣＴ装置１６により取得された、被検体１００本人の腹部の断層像のデータから構成されており、Ｘ線造影剤の作用により、大動脈１１１、上腸間膜静脈１１２等の血管は高輝度に、膵臓(pancreas)１１３等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)１１４等は低輝度に造影されている。

補間回路５３及び合成回路６３は、それぞれボリュームメモリを具備している。説明の都合上、以下、補間回路５３に設けられたボリュームメモリを補間メモリ５３ａ、合成回路６３に設けられたボリュームメモリを合成メモリ６３ａと称する。ボリュームメモリである補完メモリ５３ａ及び合成メモリ６３ａは、大容量のデータを格納することができるよう構成されたメモリである。補完メモリ５３ａ及び合成メモリ６３ａの記憶領域の一部には、ボクセル空間が割り当てられている。ボクセル空間は、図６に示すように、直交座標軸Ｏ’−ｘ’ｙ’ｚ’に対応するアドレスを持つメモリセル（以下、ボクセルと称する）から構成されている。

マッチング回路６１は、図７に示すような、超音波内視鏡２により走査を行う走査部位毎に、後述する補正を行う場合の補正条件を定めた補正条件テーブル１０２を記憶している。

３次元人体画像作成回路５４及び回転変換回路６４は、輝度によるボクセルや画素の抽出、回転変換、相似変換、平行移動等の画像処理を高速に行う図示しない高速プロセッサを具備している。

表示回路６８は、入力先を切り替えるスイッチ６９を具備している。スイッチ６９は、入力端子６９α、６９β及び６９γと、１個の出力端子６９ｄを具備して構成されている。入力端子６９αは、参照画像記憶部５２と電気的に接続されている。入力端子６９βは、光学観察装置１０の図示しない出力端子と電気的に接続されている。入力端子６９γは、混合回路６７と電気的に接続されている。出力端子６９ｄは、表示装置８と電気的に接続されている。

キーボード１２の表示切換キー１２αもしくは１２βもしくは１２γのいずれかが術者により押下されると、制御回路６０は表示回路６８へ、スイッチ６９を入力端子６９αもしくは６９βもしくは６９γへ切り換えるよう指令を出力する。スイッチ６９は、表示切換キー１２αが押下されたときには入力端子６９αへ、表示切換キー１２βが押されたときには入力端子６９βへ、表示切換キー１２γが押されたときには入力端子６９γへ切り換えられる。

表示装置８は、ブラウン管モニタ、液晶モニタ等の画像表示部を具備し、該画像表示部にビデオ信号に基づいた画像を表示する構成を有するものである。

次に、上述した構成を有する本実施形態の医用ガイドシステム１の作用について説明する。

ここで、図１及び図４において、各矢印線は、下記のようなａ）からｆ）までの符号を付した信号もしくはデータ（以下、信号もしくはデータを総称して、情報と称する）の流れを示すものである。
ａ）図中、点線で示した光学像に関わる情報の流れ
ｂ）図中、破線で示した超音波断層像に関わる情報の流れ
ｃ）図中、実線で示した、位置及び配向に関わる情報の流れ
ｄ）図中、一点鎖線で示した、参照画像データに関わる情報の流れ
ｅ）図中、太線で示した、最終的な画面表示に関わる情報の流れ
ｆ）図中、流曲線で示した、上記以外の制御に関わる情報の流れ
なお、各矢印線で示した上記の情報の流れは、あくまでも動作の概略を説明するためのものであり、同じ線種が同一のデータを示すものではない。すなわち、図中において同一の線種の矢印線であっても、互いに異なる位置の矢印線であれば、手前の回路により変換や処理が施された後の互いに内容が異なる情報を示すものである。

以下では、まず、上記ａ）〜ｆ）に示した６つの情報の流れに着目し、それぞれの情報の流れに沿って医用ガイドシステム１の作用を説明する。そして、その後に、術者の実際の使用形態に沿って、医用ガイドシステム１全体の作用を説明するものとする。

まず、ａ）の光学像に関わる情報の流れ沿って、本実施形態の作用を説明する。
硬性部２１に配設された図示しない照明装置により、撮像装置２７の視野に照明光が照射され、撮像装置２７は、視野内の光学的画像を取得し、ＣＣＤ信号として光学観察装置１０へ出力する。光学観察装置１０は、ＣＣＤ信号に基づいて画像データを作成し、この画像データを光学像データとして画像処理装置５の表示回路６８のスイッチ６９の入力端子６９βへ出力する。

次に、ｂ）の超音波断層像に関わる情報の流れに沿って、本実施形態の作用を説明する。

まず、術者により走査制御キー１２ｄが押下されると、制御回路６０は、後述するラジアル走査の開始又は停止を指令するための走査制御信号を超音波観測装置３へ出力する。超音波観測装置３は超音波振動子アレイ３１を構成する超音波振動子のうち、一部かつ複数の超音波振動子を選択して、パルス電圧状の励起信号を送信する。この一部かつ複数の超音波振動子は、励起信号を受け取って媒体の疎密波である超音波に変換する。この際、超音波観測装置３は各励起信号が各超音波振動子に到着する時刻が異なるよう、各励起信号に遅延をかけている。この遅延は、各超音波振動子が励起する超音波が被検体内で重ね合わせられたときに一本の超音波ビームを形成するようにかけられる。超音波ビームは超音波内視鏡２外部へと照射され、被検体１００内からの反射波が超音波ビームとは逆の経路を辿って各超音波振動子へ戻る。各超音波振動子は反射波を電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置３へ出力する。

超音波観測装置３は、超音波ビームが、超音波振動子アレイ３１の環の中心を含み、硬性部２１の挿入軸に直交する平面（以下、ラジアル走査面）内で旋回するよう、超音波ビームの形成に関与する複数の超音波振動子を選択し直し、再び励起信号を送信する。このようにして超音波ビームの送信角度が変わっていく。これを反復的に繰り返すことにより、いわゆるラジアル走査が実現する。

この際、超音波観測装置３は、超音波振動子が反射波から変換したエコー信号から、超音波振動子アレイ３１の１回のラジアル走査に対し、硬性部２１の挿入軸に直交する１枚のデジタル化した超音波断層像データを作成し、画像処理装置５の混合回路６７へ出力する。この際、超音波観測装置３は、超音波断層像データを正方形に加工して作成する。

このように本実施形態では、超音波観測装置３が超音波ビームの形成に関与する複数の超音波振動子を選択し直し、再び励起信号を送信するため、正方形の超音波断層像の例えば１２時方向は、超音波観測装置３が１２時方向としてどの超音波振動子を選択して励起信号を送信するかで決定される。こうして、超音波断層像の法線方向ベクトルＶ、３時方向ベクトルＶ３、１２時方向ベクトルＶ１２が定義される。また、超音波観測装置３は、超音波断層像データを、法線ベクトルＶの反対方向−Ｖに観察した方向で作成する。

超音波振動子アレイ３１によるラジアル走査と、超音波観測装置３による超音波断層像データの作成と、該超音波断層像データの混合回路６７への出力は、術者の走査制御キー１２ｄの押下による走査開始指示が入力されてから終了指示が入力されるまでの期間中に、リアルタイムに行われものである。すなわち、本実施形態では、超音波内視鏡２により取得される超音波断層像は、リアルタイム画像として生成される。

次に、ｃ）の位置及び配向に関わる情報の流れに沿って、本実施形態の作用を説明する。

位置配向算出装置４は、空間に交番磁場が生成されるように、送信アンテナ４１に配設された図示しない送信コイルを励磁する。画像位置配向検出用コイル４４に配設された２個のコイルと、姿勢検出用コイル４３に配設された２個のコイルと、体表検出用コイル４２に配設されたコイルとは、それぞれ送信アンテナ４１により生成された交番磁場を検出し、該交番磁場をそれぞれの位置電気信号に変換して出力する。

次に、位置配向算出装置４は、画像位置配向検出用コイル４４から出力され、Ａ／Ｄ変換装置４７によりデジタルデータに変換された位置電気信号に基づいて、画像位置配向検出用コイル４４の位置と基底ベクトルＶ及びＶ３の方向を算出する。位置配向算出装置４は、直交する基底ベクトルＶ及びＶ３の外積を算出することで、残りの基底ベクトルＶ１２の方向を算出する。これにより、画像位置配向検出用コイル４４の、送信アンテナ４１に対する位置と配向が算出される。

同様に、位置配向算出装置４は、姿勢検出用コイル４３から出力され、Ａ／Ｄ変換装置４６によりデジタルデータに変換された位置電気信号に基づいて、姿勢検出用コイル４３の位置と基底ベクトルＷ１２及びＷ３の方向を算出する。位置配向算出装置４は、直交する基底ベクトルＷ１２及びＷ３の外積を算出することで、残りの基底ベクトルＷの方向を算出する。これにより、姿勢検出用コイル４３の、送信アンテナ４１に対する位置と配向が算出される。

また、位置配向算出装置４は、体表検出用コイル４２から出力され、Ａ／Ｄ変換装置４５によりデジタルデータに変換された位置電気信号に基づいて、送信アンテナ４１に対する体表検出用コイル４２の位置と配向を算出する。

次に、位置配向算出装置４は、画像位置配向検出用コイル４４、姿勢検出用コイル４３及び体表検出用コイル４２の、それぞれの送信アンテナ４１に対する位置及び配向を、位置配向データとして画像処理装置５のマッチング回路６１へ出力する。

ここで、位置配向データの詳細について以下に説明する。本実施形態においては、図８に示すように、原点Ｏを送信アンテナ４１上に定義し、術者が被検体１００を検査する実際の空間上に直交座標軸Ｏ−ｘｙｚとその正規直交基底（各軸方向の単位ベクトル）ｉ、ｊ、ｋを定義する。

そして、直交座標軸Ｏ−ｘｙｚ上における画像位置配向検出用コイル４４の位置をＯ”とする。画像位置配向検出用コイル４４は、環状の超音波振動子アレイ３１の中心の近傍に固定されているため、Ｏ”はラジアル走査の中心、つまり超音波断層像の中心に一致する。また、直交座標軸Ｏ−ｘｙｚ上における姿勢検出用コイル４３の位置をＳとし、直交座標軸Ｏ−ｘｙｚ上における体表検出用コイル４２の位置をＡとする。

すなわち、位置配向データは、直交座標軸Ｏ−ｘｙｚ上における、画像位置配向検出用コイル４４の位置Ｏ”と、姿勢検出用コイル４３の位置Ｓと、体表検出用コイル４２の位置Ａとからなる位置情報を含むものである。また、位置配向データは、直交座標軸Ｏ−ｘｙｚに対する、画像位置配向検出用コイル４４の配向を表す単位ベクトルＶ，Ｖ３，Ｖ１２と、姿勢検出用コイルの配向を表す単位ベクトルＷ，Ｗ３，Ｗ１２とからなる配向情報を含む。

次に、位置配向算出装置４から出力された、上述した位置配向データ及び参照画像データ群ＧＲＤに基づいて、マッチング回路６１は、直交座標軸Ｏ−ｘｙｚ上で表現された位置及び配向を、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上で表現されたボクセル空間内の位置及び配向へ写像する第１の変換式及び第２の変換式を算出する。

具体的には、以下の第１から第５のデータ群に基づいて、マッチング回路６１は、直交座標軸Ｏ−ｘｙｚ上で表現された位置及び配向を、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上で表現されたボクセル空間内の位置及び配向へ写像する第１の変換式及び第２の変換式を算出する。

ここで、第１のデータ群は、被検体１００の４点の体表特徴点Ａ１、Ａ２、Ａ３、Ａ４の、直交座標軸Ｏ−ｘｙｚにおけるそれぞれの位置ベクトルＯＡ１、ＯＡ２、ＯＡ３、ＯＡ４である。本実施形態では、４点の体表特徴点のうち、Ａ１を剣状突起、Ａ２を左上前腸骨棘、Ａ３を右上前腸骨棘、Ａ４を腰椎椎体棘突起とする。

これら４点の体表特徴点Ａ１、Ａ２、Ａ３、Ａ４の位置情報は、検査開始時に術者が触診で位置を特定し、被検体１００の体表に体表検出用コイル４２を順番に当てながら、キーボード１２の体表点取得キー１２ｅを押下することで、位置配向算出装置４により算出される。

第２のデータ群は、直交座標軸Ｏ−ｘｙｚにおける姿勢検出用コイル４３の位置ベクトルＯＳと、配向を表す単位ベクトルＷ、Ｗ３、Ｗ１２である。

第３のデータ群は、被検体１００の体腔内における３点の特徴点（以下、単に体腔内特徴点と称する）Ｐ、Ｑ、Ｒに、それぞれ超音波内視鏡２の光学観察窓２４を当接させたときの、直交座標軸Ｏ−ｘｙｚにおける画像位置配向検出用コイル４４の位置ベクトルＯＯ”と配向を表す単位ベクトルＶ、Ｖ３、Ｖ１２である。本実施形態では、体腔内特徴点は、図５に示した特徴点リスト１０１に記述されたものであり、体腔内特徴点Ｐを十二指腸乳頭、Ｑを噴門、Ｒを幽門とする。

第４のデータ群は、１〜Ｎ番までの複数の参照画像データＲＤからなる参照画像データ群ＧＲＤにおける、４点の体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’のボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）でのそれぞれの位置ベクトルＯ’Ａ１’、Ｏ’Ａ２’、Ｏ’Ａ３’、Ｏ’Ａ４’である。

ここで、参照画像データ群ＧＲＤにおける体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’は、それぞれ上述した被検体１００の体表特徴点Ａ１、Ａ２、Ａ３、Ａ４と解剖学的に同等な部位である。すなわち、本実施形態では、参照画像データ群ＧＲＤにおける剣状突起を体表特徴点Ａ１’とし、左上前腸骨棘をＡ２’、右上前腸骨棘をＡ３’、腰椎椎体棘突起をＡ４’とする。

以下の説明では、この参照画像データ群ＧＲＤにおける４点の体表特徴点は、記号にプライム（ダッシュとも称する）を付し、さらに被検体１００の４点の体表特徴点Ａ１〜Ａ４と明確に区別するため、参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’と称するものとする。

本実施形態では、これら４点の参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’は、検査開始前に術者が参照画像データ群ＧＲＤ上から該当する画素を指定することにより取得される。

第５のデータ群は、１〜Ｎ番までの複数の参照画像データＲＤからなる参照画像データ群ＧＲＤにおける、３点の体腔内特徴点Ｐ”、Ｑ”、Ｒ”のボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）でのそれぞれの位置ベクトルＯ’Ｐ”、Ｏ’Ｑ”、Ｏ’Ｒ”である。

ここで、参照画像データ群ＧＲＤにおける体腔内特徴点Ｐ”、Ｑ”、Ｒ”は、それぞれ上述した被検体１００の体腔内特徴点Ｐ、Ｑ、Ｒと解剖学的に同等な部位である。すなわち、本実施形態では、参照画像データ群ＧＲＤにおける十二指腸乳頭を体腔内特徴点Ｐ”とし、噴門をＱ”、幽門をＲ”とする。

以下の説明では、この参照画像データ群ＧＲＤにおける３点の体腔内特徴点は、記号に二点プライム（ツーダッシュとも称する）を付し、さらに被検体１００の３点の体腔内特徴点Ｐ、Ｑ、Ｒと明確に区別するため、参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”と称するものとする。

本実施形態では、これら３点の参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”は、検査開始前に術者が参照画像データ群ＧＲＤ上から該当する画素を指定することにより取得される。

なお、参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”は、参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’と同様に参照画像データ群ＧＲＤから取得されるものであるが、参照画像体腔内特徴点は二点プライムが付されるものであり、参照画像体表特徴点はプライムが付されるものであることに注意されたい。

次に、マッチング回路６１は、直交座標軸Ｏ−ｘｙｚにおいて算出された位置配向データを、第１の変換式及び第２の変換式によって写像し、直交座標軸Ｏ’−ｘ’ｙ’ｚ’における新たな位置配向データを算出する。

次に、マッチング回路６１は、この新たな位置配向データを、位置配向写像データとして、画像指標作成回路６２へ出力する。

画像指標作成回路６２は、図９に示すように、直交座標軸Ｏ−ｘｙｚにおける画像位置配向検出用コイル４４の位置Ｏ”の位置ベクトルＯＯ”と、直交座標軸Ｏ−ｘｙｚに対する画像位置配向検出用コイル４４の配向表す単位ベクトルＶ、Ｖ３、Ｖ１２との計６自由度の位置配向写像データから画像指標データ１２０を作成し、合成回路６３へ出力する。

画像指標データ１２０は、平行四辺形の超音波断層像マーカ１２１に青色の先端方向マーカ１２２と黄緑色の矢印状の６時方向マーカ１２３とを合成した直交座標軸Ｏ’−ｘ’ｙ’ｚ’上における画像データである。画像指標データ１２０は、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上におけるラジアル走査面の位置及び配向を表す指標であり、超音波断層像マーカ１２１がラジアル走査面を、先端方向マーカ１２２が硬性部２１の挿入方向を、６時方向マーカ１２３がラジアル走査の６時方向をそれぞれ示すものである。

次に、ｄ）の参照画像データに関わる情報の流れに沿って、本実施形態の作用を説明する。

まず、術者によりキーボード１２の所定のキーが押下される、もしくはマウス１３により表示装置８に表示されたメニューが選択されることにより、参照画像データ群ＧＲＤの取得の指示が制御回路６０へ入力される。このとき同時に術者は、参照画像データ群ＧＲＤの入手先も指示する。この指示により、制御回路６０は通信回路５１に参照画像データ群ＧＲＤの取り込みとその入手先を指令する。

例えば、入手先がＸ線３次元ヘリカルＣＴ装置１６であった場合には、通信回路５１は、参照画像データ群ＧＲＤとしてネットワーク１４を介して複数枚の２次元ＣＴ画像（参照画像データＲＤ）を取り込み、参照画像記憶部５２へ記憶させる。入手先が３次元ＭＲＩ装置１５やデータセンタ１７であった場合も同様に、通信回路５１は、ネットワーク１４を介して複数枚の参照画像データＲＤを取り込み、参照画像データ群ＧＲＤとして参照画像記憶部５２へ記憶させる。

以下、本実施形態においては、術者が入手先としてＸ線３次元ヘリカルＣＴ装置１６を選択した場合と、３次元ＭＲＩ装置１５又はデータセンタ１７を選択した場合とで、作用は同様であるので、入手先としてＸ線３次元ヘリカルＣＴ装置１６が選択された場合についてのみ説明する。

図４に示すように、参照画像データＧＲＤは、Ｘ線造影剤の作用により、大動脈１１１、上腸間膜静脈１１２等の血管は高輝度に、膵臓１１３等の末梢血管を多く含む器官は中輝度に、十二指腸１１４等は低輝度に造影されている。

補間回路５３は、参照画像記憶部５２より１番からＮ番までの全ての参照画像データＲＤからなる参照画像データ群ＧＲＤを読み出し、参照画像データを補間メモリ５３ａのボクセル空間へ埋める。具体的には、補間回路５３は、参照画像データＲＤの各画素の輝度を、画素に対応するアドレスを持つボクセルへ出力していく。

次に補間回路５３は、隣接する参照画像データＲＤ間に相当するボクセルの輝度を、隣接する参照画像データＲＤの輝度を基に算出して補間し、空いているボクセルをデータで埋める。このようにして、ボクセル空間内の全てのボクセルが参照画像データ群ＧＲＤを基にしたデータ（以下、ボクセルデータ）で満たされる。

３次元人体画像作成回路５４は、補間回路５３から高輝度値のボクセル（主に血管）、中輝度値のボクセル（主に膵臓など末梢血管を多く含む器官）をそれぞれ輝度値域別に抽出し、輝度別に分類して着色する。次に、３次元人体画像作成回路５４は、抽出したボクセルを３次元人体画像データとして合成回路６３の合成メモリ６３ａのボクセル空間へ埋める。このとき、３次元人体画像作成回路５４は、抽出したボクセルの補間メモリ５３ａ内のボクセル空間のアドレスと、合成メモリ６３ａ内のボクセル空間のアドレスとが同じになるように埋める。

３次元人体画像データを図１０に示す。３次元人体画像データにおいては、高輝度の血管である大動脈１１１及び上腸間膜静脈１１２と、中輝度の器官である膵臓１１３とが抽出されており、血管である大動脈１１１及び上腸間膜静脈１１２は赤に、膵臓１１３は緑に着色されている。また、３次元人体画像データは、被検体１００の頭部を右側に脚部を左側にして腹側から観察した３次元データである。

そして、合成回路６３は、画像指標データ１２０を合成メモリ６３ａのボクセル空間に埋める。このようにして、合成回路６３は、同じ合成メモリ６３ａのボクセル空間内に３次元人体画像データと、画像指標データ１２０とを埋めることにより、これらを一組のデータとして合成する。以下、合成回路６３により、生成される３次元人体画像データと画像指標データ１２０との合成データを、合成３次元データと称する。

回転変換回路６４は、合成３次元データを読み出し、位置配向写像データに基づいて、超音波断層像マーカ１２１の法線が、術者の観察視線すなわち表示装置８の画面の法線と一致し、かつ６時方向マーカが表示装置の画面の下方向に向くように、合成３次元データに回転処理を施す。

３次元ガイド画像作成回路Ａ６５は、合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、表示装置８へ出力可能な画像データ（以下、３次元ガイド画像データ８１と称する）を作成する。ここで、３次元ガイド画像データ８１が作成された時点における３次元ガイド画像データ８１の初期の向きは、腹側から観察するように視点を置いた状態とする。すなわち、３次元ガイド画像作成回路Ａ６５は、図１１に示すような、被検体１００の腹側から観察した３次元ガイド画像データ８１を作成し、混合回路６７へ出力する。図１１において、図面に正対して右が被検体１００の頭部側、左側が脚部側である。

３次元ガイド画像作成回路Ｂ６６は、回転処理を加えられた合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、表示装置８へ出力可能な３次元ガイド画像データ８２を作成する。本実施形態では例として、図１２に示すような、超音波断層像マーカ１２１の法線が術者の観察視線、すなわち表示装置８の画面の法線と一致し、かつ６時方向マーカ１２３が表示装置８の画面の下方向に向くように設定された３次元ガイド画像データ８２を作成する。３次元ガイド画像作成回路Ｂ６６は、超音波断層像マーカ１２１を画面に正対させた３次元ガイド画像データ８２を、混合回路６７へ出力する。

なお、図１３に示した３次元ガイド画像データ８２においては、超音波断層像マーカ１２１よりも手前側となる３次元人体画像データは表示せず、超音波断層像マーカ１２１上にある３次元人体画像データの断面が表示されるようにしている。また、画像指標データ１２０のうちの超音波断層像マーカ１２１を半透明にし、超音波断層像マーカ１２１の裏側にある３次元人体画像データが透けて見えるようにしている。

次に、ｅ）の最終的な画面表示に関わる情報の流れに沿って、本実施形態の作用を説明する。

混合回路６７は、超音波観測装置３からの超音波断層像データ８３と、３次元ガイド画像作成回路Ａ６５からの被検体を腹側から観察した３次元ガイド画像データ６１と、３次元ガイド画像作成回路Ｂからの超音波断層像マーカ１２１を画面に正対させた３次元ガイド画像データ８２とを並べて表示用の混合データを作成する。

表示回路６８は、この混合データをアナログビデオ信号に変換する。

表示装置８は、表示回路６８から出力されたアナログビデオ信号を基に、図１３に示すように、画面に超音波断層像８３と被検体を足側から観察した３次元ガイド画像８２と腹側から観察した３次元ガイド画像８１とを並べて表示する。表示装置８の表示において、３次元ガイド画像８１及び８２上で表現される各器官は、色分けされて表示される。

次に、ｆ）の制御に関わる情報の流れに沿って、本実施形態の作用を説明する。

画像処理装置５内のマッチング回路６１と、画像指標作成回路６２と、通信回路５１と、参照画像記憶部５２と、補間回路５３と、３次元人体画像作成回路５４と、合成回路６３と、回転変換回路６４と、３次元ガイド画像作成回路Ａ６５と、３次元ガイド画像作成回路Ｂ６６と、混合回路６７と、表示回路６８とは、詳しくは後述するフローチャートに従って、制御回路６０からの指令により、制御される。

以下、本実施形態の医用ガイドシステム１の作用を説明する。なお、以下の作用の説明においては、術者の実際の使用形態に沿って説明を行う。図１４は、医用ガイドシステムの全体の動作を表すメインルーチンのフローチャートである。

まず、制御回路６０は、術者による指示入力により、または自動的な算出により、参照画像データ群ＧＲＤにおける複数の参照画像体表特徴点及び参照画像体腔内特徴点を設定し、参照画像体表特徴点及び参照画像体腔内特徴点のボクセル空間、すなわち直交座標軸Ｏ’−ｘ’ｙ’ｚ’上の座標を取得する処理を実行する（ステップＳ０１）。詳しくは図１５のフローチャートを参照して後述するが、該ステップＳ０１においては、上述した第４のデータ群及び第５のデータ群が取得される。

本実施形態では、上述の通り参照画像データ群ＧＲＤにおける参照画像体表特徴点は剣状突起（Ａ１’）、左上前腸骨棘（Ａ２’）、右上前腸骨棘（Ａ３’）、腰椎椎体棘突起（Ａ４’）の４点であり、参照画像体腔内特徴点は十二指腸乳頭（Ｐ”）、噴門（Ｑ”）、幽門（Ｒ”）の３点である。

次に、制御回路６０は、表示装置８に、姿勢検出用コイル４３の被検体１００への装着を術者に促す表示を行う（ステップＳ０２）。術者は、被検体１００の検査部位近傍の体表上に、姿勢検出用コイル４３を装着し固定する。すなわち、ステップＳ０２において、上述した第２のデータ群を取得することが可能な状態となる。

次に、制御回路６０は、実空間、すなわち直交座標軸Ｏ−ｘｙｚ上における体表特徴点及び体腔内特徴点の位置配向データを取得する処理を実行する（ステップＳ０３）。詳しくは図１６のフローチャートを参照して後述するが、ステップＳ０３において、上述した第１のデータ群、第２のデータ群及び第３のデータ群が取得される。

次に、制御回路６０は、直交座標軸Ｏ−ｘｙｚ上で表現された任意の点の位置配向データを、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上で表現されたボクセル空間内の位置配向写像データへ写像する第１の変換式を算出する。そして、制御回路６０は、上記第１の変換式により、直交座標軸Ｏ−ｘｙｚ上で表現された体腔内特徴点の位置データを、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上で表現されたボクセル空間内へ写像した体腔内特徴点位置写像データを取得する（ステップＳ０４）。ステップＳ０４の処理工程は、詳しくは図１７のフローチャートを参照して後述する。

次に、制御回路６０は、術者による超音波内視鏡２の操作を支援するための、３次元ガイド画像８１及び８２を生成し、図１３に示すように、超音波断層像８３と、３次元ガイド画像８１及び８２を並べて表示装置８の画面に表示する３次元ガイド画像作成表示処理を実行する（ステップＳ０５）。ステップＳ０５の処理工程は、詳しくは図１８のフローチャートを参照して後述する。

次に、図１４に示したフローチャートのステップＳ０１における、参照画像データ群ＧＲＤにおける複数の参照画像体表特徴点及び参照画像体腔内特徴点の取得処理の詳細について、図１５のフローチャートを参照して以下に説明する。

まず、術者により、キーボード１２の表示切替キー１２αが押下されることにより、制御回路６０は、表示回路６８のスイッチ６９を入力端子６９αに切換える（ステップＳ１１）。これにより、参照画像記憶部５２に記憶されている参照画像データ群ＧＲＤの一部又は全部が表示装置８の画面に表示可能となる。

次に、制御回路６０は、参照画像記憶部５２に記憶された参照画像データ群ＧＲＤの中から、術者からの入力指示がなされた１番〜Ｎ番までのいずれかの参照画像データＲＤを表示回路６８に読み出させ、該参照画像データＲＤを表示装置８に表示するようにアナログビデオ信号を出力させる（ステップＳ１２）。これにより、表示装置８の画面には、術者により選択された参照画像データＲＤが表示される。

次に、制御回路６０は、表示装置８に表示されている参照画像データＲＤ上において、図５に示した特徴点リスト１０１内の４点の体表特徴点のうちのいずれか一つに対応する画素を選択する旨を術者に対して促す表示を行う。そして、制御回路６０は、所定の参照画像データＲＤにおける術者により選択された所定の画素の座標と、該所定の画素に対応する体表特徴点の名称を取得し記憶する（ステップＳ１３）。

なお、ここで取得される体表特徴点の名称は、必ずしも「剣状突起」の様に具体的な名称である必要性はなく、該体表特徴点の名称に紐付けられた固有の数字や文字等からなるＩＤであってもよいことは言うまでもない。

次に、制御回路６０は、特徴点リスト１０１内の４点の体表特徴点の全てに対応する参照画像データＲＤ上の画素の座標が取得されたか否かを判断する（ステップＳ１４）。ここで、特徴点リスト１０１中の全ての体表特徴点について対応する画素の座標が取得されていればステップＳ１５へ移行し、全ての体表特徴点について対応する画素の座標が取得されていなければステップＳ１２へ戻る。

ステップＳ１４において、全ての体表特徴点について対応する画素の座標が取得されていると判定した場合、次に、制御回路６０は、参照画像記憶部５２に記憶された参照画像データ群ＧＲＤの中から、術者からの入力指示がなされた１番〜Ｎ番までのいずれかの参照画像データＲＤを表示回路６８に読み出させ、該参照画像データＲＤを表示装置８に表示するようにアナログビデオ信号を出力させる（ステップＳ１５）。これにより、表示装置８の画面には、術者により選択された参照画像データＲＤが表示される。

次に、制御回路６０は、表示装置８に表示されている参照画像データＲＤ上において、図５に示した特徴点リスト１０１内の３点の体腔内特徴点のうちのいずれか一つに対応する画素を選択する旨を術者に対して促す表示を行う。そして、制御回路６０は、所定の参照画像データＲＤにおける術者により選択された所定の画素の座標と、該所定の画素に対応する体腔内特徴点の名称を取得し記憶する（ステップＳ１６）。

次に、制御回路６０は、特徴点リスト１０１内の３点の体腔内特徴点の全てに対応する参照画像データＲＤ上の画素の座標が取得されたか否かを判断する（ステップＳ１７）。ここで、特徴点リスト１０１中の全ての体腔内特徴点について対応する画素の座標が取得されていればステップＳ１８へ移行し、全ての体腔内特徴点について対応する画素の座標が取得されていなければステップＳ１５へ戻る。

ステップＳ１７において、全ての体腔内特徴点について対応する画素の座標が取得されていると判定した場合、次に、制御回路６０は、ステップＳ１３で取得した各体表特徴点に相当する各画素の座標と、ステップＳ１６で取得した各体腔内特徴点に相当する各画素の座標とについてのボクセル空間、すなわち直交座標軸Ｏ’−ｘ’ｙ’ｚ’上の座標を算出し、マッチング回路６１に記憶させる（ステップＳ１８）。

以上により、第４のデータ群である参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’のボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）における座標と、第５のデータ群である参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”のボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）における座標と、が取得されマッチング回路に記憶される。そして、図１４のフローチャートで示したメインルーチンへ復帰する。

本実施形態の医用ガイドシステム１の、図１５のフローチャートによる処理による術者の具体的な使用形態は以下の通りである。

まず、ステップＳ１１において、術者は、キーボード１２の表示切替キー１２αを押下する。この操作により、表示回路６８のスイッチ６９が切換えられる。

次に、ステップＳ１２において、術者は、キーボード１２又はマウス１３を用いて、参照画像データ群ＧＲＤの中から、一つの参照画像データＲＤを選択する。この操作により、術者により選択された参照画像データＲＤが、表示装置８の画面に表示される。ここで、術者は、表示装置８に表示された参照画像データＲＤに４点の体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起のいずれかが写っていなければ、他の参照画像データＲＤを選択し直し、４点の体表特徴点のいずれかが写っている参照画像データＲＤが表示されるまで、異なる参照画像データＲＤの選択を繰り返す。

次に、ステップＳ１３において、術者は、キーボード１２又はマウス１３を用いて、表示装置８に表示された参照画像データＲＤ上における、４点の体表特徴点のいずれかに最も近い体表上の点に相当する画素を指定する。術者により体表特徴点に対応する画素の指定操作が行われると、制御回路６０は、表示回路８の画面に図５に示した特徴点リスト１０１を表示させる。

そして、術者は、表示装置８に表示された特徴点リスト１０１から、先ほど指定した画素に対応する体表特徴点の名称を、キーボード１２又はマウス１３を用いて選択する。この操作により、指定した体表特徴点に対応する画素が、参照画像データ群ＧＲＤを構成するＮ枚の参照画像データＲＤのうちの何枚目の参照画像データＲＤ上のどの座標あたるのかが、制御装置６０によって取得される。

そして、上記ステップＳ１２及びステップＳ１３を、４点全ての体表特徴点について繰り返す。以上で、術者による、４点全ての参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’に対応する、参照画像データＲＤ上の画素の指定が終了する（ステップＳ１４のＹＥＳ）。

図１９に、参照画像データ群ＧＲＤにおける参照画像体表特徴点の概念を示す模式図を示す。本実施形態では、図１９に示すように、説明の都合上、剣状突起（Ａ１’）がｎ１番目の参照画像データＲＤ上に写っており、左上前腸骨棘（Ａ２’）、右上前腸骨棘（Ａ３’）、腰椎椎体棘突起（Ａ４’）がｎ２番目の参照画像データＲＤ上に写っているものとして説明する。ここで、ｎ１及びｎ２は、Ｎ以下の自然数である。

次に、ステップＳ１５において、術者は、キーボード１２又はマウス１３を用いて、参照画像データ群ＧＲＤの中から、一つの参照画像データＲＤを選択する。この操作により、術者により選択された参照画像データＲＤが、表示装置８の画面に表示される。ここで、術者は、表示装置８に表示された参照画像データＲＤに３点の体腔内特徴点である十二指腸乳頭、噴門、幽門のいずれかが写っていなければ、他の参照画像データＲＤを選択し直し、３点の体腔内特徴点のいずれかが写っている参照画像データＲＤが表示されるまで、異なる参照画像データＲＤの選択を繰り返す。

次に、ステップＳ１６において、術者は、キーボード１２又はマウス１３を用いて、表示装置８に表示された参照画像データＲＤ上における３点の体腔内特徴点のいずれかに最も近い画素を指定する。術者により体腔内特徴点に対応する画素の指定操作が行われると、制御回路６０は、表示回路８の画面に図５に示した特徴点リスト１０１を表示させる。

そして、術者は、表示装置８に表示された特徴点リスト１０１から、先ほど指定した画素に対応する体腔内特徴点の名称を、キーボード１２又はマウス１３を用いて選択する。この操作により、指定した体腔内特徴点に対応する画素が、参照画像データ群ＧＲＤを構成するＮ枚の参照画像データＲＤのうちの何枚目の参照画像データＲＤ上のどの座標あたるのかが、制御装置６０によって取得される。

そして、上記ステップＳ１５及びステップＳ１６を、３点全ての体腔内特徴点について繰り返す。以上で、術者による、３点全ての参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”に対応する、参照画像データＲＤ上の画素の指定が終了する（ステップＳ１７のＹＥＳ）。

次に、ステップＳ１８において、制御回路６０が、４点の参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’と、３点の参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”のそれぞれに対応する画素の直交座標軸Ｏ’−ｘ’ｙ’ｚ’上の座標を算出する。

以上により、上述した第４のデータ群及び第５のデータ群が医用ガイドシステム１により取得される。

次に、図１４に示したフローチャートのステップＳ０３における、実空間における複数の体表特徴点及び体腔内特徴点の位置情報の取得処理の詳細について、図１６のフローチャートを参照して以下に説明する。

まず、制御回路６０は、表示装置８に、体表検出用コイル４２を被検体１００の４点の体表特徴点のうちいずれか一つに接触させるよう術者に促す表示を行う（ステップＳ３１）。本実施形態では、上述の通り、４点の体表特徴点とは、剣状突起（Ａ１）、左上前腸骨棘（Ａ２）、右上前腸骨棘（Ａ３）、腰椎椎体棘突起（Ａ４）の４点である。

次に、制御回路６０は、マッチング回路６１に指令を出し、術者により体表点取得キー１２ｅが押下されたタイミングにおける、体表検出用コイル４２及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向を算出する（ステップＳ３２）。

次に、制御回路６０は、表示装置８に図５に示した特徴点リスト１０１を表示し、該特徴点リスト１０１から、直前のステップＳ３２において体表検出用コイル４２を接触させた部位を選択するよう術者に促す表示を行う。そして、制御回路６０は、術者により選択された体表特徴点の名称を取得し記憶する（ステップＳ３３）。なお、ここで取得される体表特徴点の名称は、必ずしも「剣状突起」の様に具体的な名称である必要性はなく、該体表特徴点の名称に紐付けられた固有の数字や文字等からなるＩＤであってもよいことは言うまでもない。

次に、制御回路６０は、ステップＳ３２で取得した体表検出用コイル４２及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向と、ステップＳ３３で取得した取得した体表特徴点の名称とを関連付け、マッチング回路６１に記憶させる（ステップＳ３４）。

次に、制御回路６０は、特徴点リスト１０１中の全ての体表特徴点の全てについて、体表検出用コイル４２及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向の情報が取得されたか否かを判断する（ステップＳ３５）。ここで、特徴点リスト１０１中の全ての体表特徴点について対応する体表検出用コイル４２及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向の情報が取得されていればステップＳ３６へ移行し、取得されていなければステップＳ３１へ戻る。

ステップＳ３５において、全ての体表特徴点について対応する体表検出用コイル４２及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向の情報が取得されたと判定した場合、次に制御回路６０は、表示回路６８のスイッチ６９を入力端子６９ｂに切換える。これにより、表示回路８には、撮像装置２７により取得された光学観察像が表示される。また、制御回路６０は、超音波内視鏡２の硬性部２１及び可撓部２２を被検体１００の体腔内に挿入するよう術者に促す表示を行う（ステップＳ３６）。

次に、制御回路６０は、表示装置８に、硬性部２１の光学観察窓２４を、被検体１００の３点の体腔内特徴点のうちいずれか一つに接触させるよう術者に促す表示を行う（ステップＳ３７）。本実施形態では、上述の通り、３点の体腔内特徴点とは、十二指腸乳頭（Ｐ）、噴門（Ｑ）、幽門（Ｒ）の３点である。

次に、制御回路６０は、マッチング回路６１に指令を出し、術者により体腔内点取得キー１２ｆが押下されたタイミングにおける、画像位置配向検出用コイル４４及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向を算出する（ステップＳ３８）。

次に、制御回路６０は、表示装置８に図５に示した特徴点リスト１０１を表示し、該特徴点リスト１０１から、直前のステップＳ３８において光学観察窓２４を接触させた部位を選択するよう術者に促す表示を行う。そして、制御回路６０は、術者により選択された体腔内特徴点の名称を取得し記憶する（ステップＳ３９）。

次に、制御回路６０は、ステップＳ３８で取得した画像位置配向検出用コイル４４及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向と、ステップＳ３９で取得した取得した体腔内特徴点の名称とを関連付け、マッチング回路６１に記憶させる（ステップＳ４０）。

次に、制御回路６０は、特徴点リスト１０１中の３点の体腔内特徴点の全てについて、画像位置配向検出用コイル４４及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向の情報が取得されたか否かを判断する（ステップＳ４１）。ここで、特徴点リスト１０１中の全ての体腔内特徴点について対応する画像位置配向検出用コイル４４及び姿勢検出用コイル４３の送信アンテナ４１に対する位置及び配向の情報が取得されていれば図１４のフローチャートで示したメインルーチンへ復帰し、取得されていなければステップＳ３７へ戻る。

以上の、図１６のフローチャートに示した処理においては、医用ガイドシステム１により、まずステップＳ３１からステップＳ３５において第１のデータ群が取得され、ステップＳ３６からステップＳ４１において第３のデータ群が取得される。

本実施形態の医用ガイドシステム１の、図１６のフローチャートによる処理による術者の具体的な使用形態は以下の通りである。

まず、ステップ３１において、術者は、被検体１００を触診し、４点の体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起のうちの一つに最も近い体表上の位置に体表検出用コイル４２を当接させる。

次に、ステップＳ３２において、術者は、体表検出用コイル４２を被検体１００の体表特徴点に当接させたままの状態で、体表点取得キー１２ｅを押下する。この操作により、体表検出用コイル４２及び姿勢検出用コイル４３の位置及び配向が、マッチング回路６１により算出され、制御回路６０に取得される。

次に、ステップＳ３３において、術者は、表示装置８に表示された特徴点リスト１０１から、先ほど体表検出用コイル４２を当接させた体表特徴点の名称を、キーボード１２又はマウス１３を用いて選択する。この操作により、術者により選択された体表特徴点の名称が制御回路６０により取得される。

次に、ステップＳ３４において、術者によりステップＳ３３で選択された体表特徴点の名称と、ステップＳ３２で取得された体表検出用コイル４２及び姿勢検出用コイル４３の位置及び配向の情報とが関連付けられて、マッチング回路６１に記憶される。

そして、上記ステップＳ３１からステップＳ３４を、４点全ての体表特徴点Ａ１、Ａ２、Ａ３、Ａ４について繰り返す。以上で、体表特徴点Ａ１、Ａ２、Ａ３、Ａ４の実空間（直交座標軸Ｏ−ｘｙｚ）における位置の取得が終了する。

次に、ステップＳ３６において、術者は表示装置８に表示される光学観察像を参照しながら、被検体１００の体腔内に超音波内視鏡２の硬性部２１及び可撓部２２を挿入する。

次にステップＳ３７において、術者は、表示装置８に表示される被検体１００の体腔内の光学観察像を参照しながら、３点の体腔内特徴点である十二指腸乳頭、噴門、幽門のうちの一つの近傍に、光学観察窓２４を接触させる。

次に、ステップＳ３８において、術者は、光学観察窓２４を被検体１００の体腔内特徴点に当接させたままの状態で、体腔内点取得キー１２ｆを押下する。この操作により、画像位置配向検出用コイル４４及び姿勢検出用コイル４３の位置及び配向が、マッチング回路６１により算出され、制御回路６０に取得される。

次に、ステップＳ３９において、術者は、表示装置８に表示された特徴点リスト１０１から、先ほど光学観察窓２４を接触させた体腔内特徴点の名称を、キーボード１２又はマウス１３を用いて選択する。この操作により、術者により選択された体腔内特徴点の名称が制御回路６０により取得される。

次に、ステップＳ４０において、術者によりステップＳ３９で選択された体腔内特徴点の名称と、ステップＳ３８で取得された画像位置配向検出用コイル４４及び姿勢検出用コイル４３の位置及び配向の情報とが関連付けられて、マッチング回路６１に記憶される。

そして、上記ステップＳ３６からステップＳ４０を、３点全ての体腔内特徴点Ｐ、Ｑ、Ｒについて繰り返す。以上で、体腔内特徴点Ｐ、Ｑ、Ｒの実空間（直交座標軸Ｏ−ｘｙｚ）における位置の取得が終了する。

以上により、上述した第１のデータ群、第２のデータ群及び第３のデータ群が医用ガイドシステム１により取得される。

次に、図１４に示したフローチャートのステップＳ０４における、写像体腔内特徴点算出処理の詳細について、図１７のフローチャートを参照して以下に説明する。

まず、制御回路６０は、マッチング回路６１に指令を出し、直交座標軸Ｏ−ｘｙｚ上で表現された実空間における位置及び配向を、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上、すなわちボクセル空間において記述する、第１の写像を得るための第１の変換式を算出する（ステップＳ５１）。

ここで、第１の写像及び第１の変換式は、具体的には以下の通りに定義される。図２０は、第１の写像を説明するための図である。

図２０に示すように、まず、実空間（直交座標軸Ｏ−ｘｙｚ）において、体表特徴点Ａ１、Ａ２、Ａ３、Ａ４を用いて、剣状突起（Ａ１）から他の体表特徴点（Ａ２、Ａ３、Ａ４）へ向かう３本のベクトルを基本ベクトルとした斜交座標系Ａ１−Ａ２Ａ３Ａ４を定義する。同様に、ボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）において、参照画像体表特徴点Ａ１’、Ａ２’、Ａ３’、Ａ４’を用いて、剣状突起（Ａ１’）から他の体表特徴点（Ａ２’、Ａ３’、Ａ４’）へ向かう３本のベクトルを基本ベクトルとした斜交座標系Ａ１’−Ａ２’Ａ３’Ａ４’を定義する。

斜交座標系Ａ１−Ａ２Ａ３Ａ４は実空間、すなわち被検体１００上に定義され、斜交座標系Ａ１’−Ａ２’Ａ３’Ａ４’はボクセル空間内に定義されるものである。なお、ボクセル空間とは、前述の通り、参照画像データ群ＧＲＤを補間して得たデータ空間のことである。

そして、第１の写像とは、「直交座標軸Ｏ−ｘｙｚにおける任意点の、被検体１００（実空間）上の斜交座標系Ａ１−Ａ２Ａ３Ａ４で表現される座標」と、「直交座標軸Ｏ’−ｘ’ｙ’ｚ’におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系Ａ１’−Ａ２’Ａ３’Ａ４’で表現される座標」と、が同じになるような、実空間からボクセル空間への写像である。また、第１の変換式とは「実空間の任意点の直交座標軸Ｏ−ｘｙｚにおける座標」を「ボクセル空間内の第１の写像後の点の直交座標軸Ｏ’−ｘ’ｙ’ｚ’における座標」へ変換する式である。

例えば、図２０に示すように、画像位置配向検出用コイル４４の位置、すなわちラジアル走査の中心かつ超音波断層像の中心Ｏ”の第１の写像による写像後の点を写像ラジアル走査面中心Ｃ’とする。また、写像ラジアル走査面中心Ｃ’の直交座標軸Ｏ’−ｘ’ｙ’ｚ’における位置ベクトルをＯＣ’とする。この場合、第１変換式を用いると、点Ｏ”の直交座標軸Ｏ−ｘｙｚにおける位置ベクトルＯＯ”は、写像ラジアル走査面中心Ｃ’の直交座標軸Ｏ’−ｘ’ｙ’ｚ’における座標Ｏ’Ｃ’へ変換される。

ただし、本実施形態においては、実空間において取得される被検体１００上の体表特徴点Ａ１、Ａ２、Ａ３、Ａ４の位置と、超音波断層像の位置Ｏ”及び配向とは異なる時間に取得される。したがって、これらの位置及び配向を取得する間に被検体１００が動いている可能性がある。

そのため、本実施形態においては、各体表特徴点Ａ１、Ａ２、Ａ３、Ａ４のそれぞれと、超音波断層像の位置Ｏ”及び配向の全てと略同時に取得される姿勢検出用コイル４３の位置及び配向の情報に基づいて、被検体１００の姿勢の変化を補正する。例えば、超音波断層像の中心Ｏ”を取得した時刻ｔの各体表特徴点Ａ１、Ａ２、Ａ３、Ａ４の位置ベクトルＯＡ１（ｔ）、ＯＡ２（ｔ）、ＯＡ３（ｔ）、ＯＡ４（ｔ）を、超音波断層像の中心Ｏ”を取得した時刻ｔの姿勢検出用検出コイル４３の位置ベクトルＯＳ（ｔ）と配向を示す単位ベクトルＷ（ｔ）、Ｗ３（ｔ）、Ｗ１２（ｔ）とから推定する。その方法を以下に示す。

剣状突起の位置ベクトルＯＡ１を取得した時刻ｔ１の姿勢検出用コイル４３の位置はＯＳ（ｔ１）であり、配向はＷ（ｔ１）、Ｗ３（ｔ１）、Ｗ１２（ｔ１）であるので、剣状突起の位置ベクトルＯＡ１は、
ＯＡ１＝ＯＳ（ｔ１）＋ａ１×Ｗ（ｔ１）＋ ｂ１×Ｗ３（ｔ１）＋ ｃ１×Ｗ１２（ｔ１）
と表される。この式により、ａ１、ｂ１、ｃ１は定数（スカラー量）として算出される。ここで、姿勢検出用コイル４３に対する剣状突起位置Ａ１の相対的な位置は略一定なものと仮定し、時刻ｔでの剣状突起の位置ベクトルＯＡ１（ｔ）を、
ＯＡ１（ｔ）＝ＯＳ（ｔ）＋ａ１×Ｗ（ｔ）＋ ｂ１×Ｗ３（ｔ）＋ ｃ１×Ｗ１２（ｔ）
と推定する。同様にＯＡ２（ｔ）、ＯＡ３（ｔ）、ＯＡ４（ｔ）も推定する。

本実施形態では、この時刻ｔにおける体表特徴点の位置ベクトルＯＡ１（ｔ）、ＯＡ２（ｔ）、ＯＡ３（ｔ）、ＯＡ４（ｔ）を用い、剣状突起から他の点へ向かう３本のベクトルを基本ベクトルとした斜交座標系を定義し、時刻ｔにおける第１の変換式を作成する。すなわち、第１の変換式は、姿勢検出用コイル４３の位置及び配向の変化、つまり被検体１００の姿勢の変化に応じて、随時変更される。第１の変換式の被検体１００の姿勢の変化に応じた変更は、超音波断層像の位置Ｏ”及び配向の検出周期に同期して実施される。

ステップＳ５１における、第１の変換式の算出後、制御回路６０は、マッチング回路６１に指令を出し、実空間（直交座標軸Ｏ−ｘｙｚ）における体腔内特徴点Ｐ、Ｑ、Ｒを、ボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）内へ写像した第１の写像を取得する（ステップＳ５２）。ここで、第１の変換式により得られた体腔内特徴点Ｐ、Ｑ、Ｒのボクセル空間内における写像をそれぞれ写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’とする。

この写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’の算出方法を詳細に述べる。各体腔内特徴点Ｐ、Ｑ、Ｒを取得した時刻をそれぞれｔｐ、ｔｑ、ｔｒとすると、ステップＳ０２において取得された第３のデータ群は、ＯＯ”（ｔｐ）、Ｖ（ｔｐ）、Ｖ３（ｔｐ）、Ｖ１２（ｔｐ）、ＯＯ”（ｔｑ）、Ｖ（ｔｑ）、Ｖ３（ｔｑ）、Ｖ１２（ｔｑ）、ＯＯ”（ｔｒ）、Ｖ（ｔｒ）、Ｖ３（ｔｒ）、Ｖ１２（ｔｒ）と表される。

これらを用いると、体腔内特徴点Ｐの位置ベクトルＯＰは、
ＯＰ＝ＯＯ”（ｔｐ）＋ｅ×Ｖ（ｔｐ）＋ ｆ×Ｖ３（ｔｐ）＋ ｇ×Ｖ１２（ｔｐ）
と表せる。ここで、ｅ、ｆ、ｇは光学観察窓２４と画像位置配向検出用コイル４４との位置関係（設計値）から決まる既知の定数である。同様にして、体腔内特徴点Ｑの位置ベクトルＯＱ、体腔内特徴点Ｒの位置ベクトルＯＲも算出される。

上記で算出した、直交座標軸Ｏ−ｘｙｚにおける各体腔内特徴点Ｐ、Ｑ、Ｒの位置ベクトルＯＰ、ＯＱ、ＯＲを、それぞれ時刻ｔｐ、ｔｑ、ｔｒにおける第１の変換式により、直交座標軸Ｏ’−ｘ’ｙ’ｚ’上に写像することにより、各写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’の位置ベクトルＯ’Ｐ’、Ｏ’Ｑ’、Ｏ’Ｒ’が算出される。

次に、制御回路６０は、ボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）における写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’の位置ベクトルＯ’Ｐ’、Ｏ’Ｑ’、Ｏ’Ｒ’をマッチング回路６１に記憶させる（ステップＳ５３）。

以上の、図１７のフローチャートに示した処理においては、医用ガイドシステム１により、予めステップＳ０１において取得された第４のデータ群及び第５のデータ群と、ステップＳ０２において取得された第１のデータ群、第２のデータ群及び第３のデータ群とから、第１の変換式が算出され、該第１の変換式により、実空間（直交座標軸Ｏ−ｘｙｚ）における体腔内特徴点Ｐ、Ｑ、Ｒの第１の写像である、写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’が取得されるのである。そして、図１４のフローチャートで示したメインルーチンへ復帰する。

次に、図１４に示したフローチャートのステップＳ０５における、３次元ガイド画像作成表示処理の詳細について、図１８のフローチャートを参照して以下に説明する。なお、 以下においては、説明の都合上、超音波内視鏡２により走査を行う部位が十二指腸球部である場合を例にし、説明を行う。

まず、術者により、キーボード１２の表示切替キー１２γが押下されることにより、制御回路６０は、表示回路６８のスイッチ６９を入力端子６９γに切換える（ステップＳ６１）。これにより、図１３に示すように、混合回路６７から出力される混合データが表示装置８の画面に表示可能となる。

次に、制御回路６０は、図７に示した補正条件テーブル１０２に記述された走査部位のリストを表示装置に表示し、今から超音波内視鏡２により操作を行う部位をリストから選択するよう術者に促す表示を行う。そして、制御回路６０は、術者によるキーボード１２の走査部位選択キー１２ｇの押下により選択された走査部位名を、操作部位情報として記憶する（ステップＳ６２）。本実施形態においては、補正条件テーブル１０２に記述された走査部位は、胃、十二指腸球部、十二指腸下降脚の３箇所であり、十二指腸球部が術者により選択される。

次に、術者により、キーボード１２の走査制御キー１２ｄが押下されることにより、制御回路６０は、走査制御信号を超音波観測装置３へ出力し、超音波振動子アレイ３１によるラジアル走査を開始する（ステップＳ６３）。

次に、制御回路６０は、混合回路６７へ指令を出し、混合回路６７は超音波観測装置３から出力される超音波断層像データを取得する（ステップＳ６４）。

次に、マッチング回路６１は、位置配向算出装置４から出力される位置配向データを取得し記憶する（ステップＳ６５）。なお、該ステップＳ６４における位置配向データの取得は、ステップＳ６３において混合回路６７が超音波断層像データを取得するタイミングに同期して行われる。

ステップＳ６５において取得される位置配向データは、直交座標軸Ｏ−ｘｙｚにおける
画像位置配向検出用コイル４４および姿勢検出用コイル４３の位置及び配向の情報を有するものである。すなわち、ステップＳ６４において取得される位置配向データは、超音波断層像の中心Ｏ”の位置ベクトルＯＯ”と、超音波断層像の配向を示す単位ベクトルＶ、Ｖ３、Ｖ１２と、姿勢検出用コイル４３の位置ベクトルＯＳと、配向を表す単位ベクトルＷ、Ｗ３、Ｗ１２の情報を有する。

次に、マッチング回路６１は、補正条件テーブル１０２から、記憶した操作部位情報に対応した、各補正の実行の有無と、各補正に使用する補正特徴点の情報を参照し記憶する（ステップＳ６６）。

ここで補正とは、詳しくは後述するが、ステップＳ６５で取得した実空間上における画像位置配向検出用コイル４４の位置及び配向をボクセル空間へ写像した場合に生じる、「実際の被検体１００内における画像位置検出用コイル４４の解剖学的な位置及び配向」と「写像後のボクセル空間における画像位置検出用コイル４４の解剖学的な位置及び配向」とのずれを解消するためのものである。言い換えれば、補正とは、被検体１００の体腔内におけるラジアル走査面の走査部位に対する位置及び配向と、図１３に示した３次元ガイド画像データ８２における超音波断層像マーカ１２１の解剖学的な位置及び配向とのずれを解消するものである。

本実施形態においては、図７に示すように、平行移動補正と縮尺補正の２種類の補正方法が定義されている。本実施形態では、走査部位情報が十二指腸球部であるため、ステップＳ６６においては、補正条件テーブル１０２の走査部位の値が十二指腸球部の行が参照される。すなわち、平行移動補正の使用の有無は使用（ＯＮ）であり、平行移動補正に使用する特徴点である平行移動補正特徴点Ｄは幽門である。また、縮尺補正の使用の有無は使用（ＯＮ）であり、縮尺補正に使用する２点の特徴点である第１縮尺補正特徴点Ｅ及び第２縮尺補正特徴点Ｆは、それぞれ十二指腸乳頭及び噴門である。

次に、マッチング回路６１は、ステップＳ６５で取得した位置配向データのうち、姿勢検出用コイル４３の位置ベクトルＯＳ（ｔ）と配向を示す単位ベクトルＷ（ｔ）、Ｗ３（ｔ）、Ｗ１２（ｔ）を用いて、該位置配向データを取得した時間ｔにおける各体表特徴点Ａ１、Ａ２、Ａ３、Ａ４の位置ベクトルＯＡ１（ｔ）、ＯＡ２（ｔ）、ＯＡ３（ｔ）、ＯＡ４（ｔ）を算出推定する。そしてマッチング回路６１は、この新たに算出された位置ベクトルＯＡ１（ｔ）、ＯＡ２（ｔ）、ＯＡ３（ｔ）、ＯＡ４（ｔ）を用いてステップＳ０４と同様に時刻ｔにおける第１の変換式を算出し、ステップＳ０４で記憶した第１の変換式を更新する。

そして、マッチング回路６１は、更新された第１の変換式に、ステップＳ６６で使用するとされた補正を加え、第２の写像を表現する第２の変換式を新たに作成する（ステップＳ６７）。

ここで、第２の写像とは、実空間（直交座標軸Ｏ−ｘｙｚ）における画像位置配向検出用コイル４４の位置及び配向を、ボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）へ写像する上述した第１の変換式による第１の写像に対し、さらに補正条件テーブル１０２により定められた補正を施した状態のものである。

そして、平行移動補正とは、参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”のうちの１点を平行移動補正特徴点Ｄと定義し、この平行移動補正特徴点Ｄに対応する被検体１００の体腔内特徴点Ｐ、Ｑ、Ｒの第１の写像である写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’のうちの１点（以下この点を点Ｄ’と称する）が、前記平行移動補正特徴点Ｄに一致するように、第１の写像全体をボクセル空間内において平行移動させるものである。

また、縮尺補正は以下の通りである。まず、参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”のうちの２点を第１の縮尺補正特徴点Ｅ及び第２の縮尺補正特徴点Ｆと定義し、第１の縮尺補正特徴点Ｅから第２の縮尺補正特徴点Ｆへのベクトルを参照ベクトルＥＦと定義する。そして、被検体１００の体腔内特徴点Ｐ、Ｑ、Ｒの第１の写像である写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’のうちの、第１の縮尺補正特徴点Ｅ及び第２の縮尺補正特徴点Ｆに対応する２点を点Ｅ’及び点Ｆ’と定義し、この点Ｅ’から点Ｆ’へのベクトルを写像参照ベクトルＥ’Ｆ’と定義する。

そして、参照ベクトルＥＦに対する写像参照ベクトルＥ’Ｆ’の３軸（ｘ’軸，ｙ’軸，ｚ’軸）の方向成分毎のスカラー量の比を算出し、この３軸方向についての比を縮尺補正値Ｇとする。すなわち、参照ベクトルＥＦのｘ’軸，ｙ’軸，ｚ’軸の方向成分をそれぞれｅ１，ｅ２，ｅ３と定義し、写像参照ベクトルＥ’Ｆ’のｘ’軸，ｙ’軸，ｚ’軸の方向成分をそれぞれｅ１’，ｅ２’，ｅ３’と定義した場合、縮尺補正値Ｇは以下のように表される３つのスカラー量の集合となる。
Ｇｘ’＝ｅ１／ｅ１’
Ｇｙ’＝ｅ２／ｅ２’
Ｇｚ’＝ｅ３／ｅ３’
一方、上述した平行移動補正時に定めた点Ｄ’から、画像位置配向検出用コイル４４の位置Ｏ”の第１の写像である写像ラジアル走査面中心Ｃ’へのベクトルＤ’Ｃ’と定義する。

そして、該ベクトルＤ’Ｃ’の３軸（ｘ’軸，ｙ’軸，ｚ’軸）の方向成分のスカラー量に対し、それぞれ上記縮尺補正値Ｇ（Ｇｘ’，Ｇｙ’，Ｇｚ’）を乗じた結果のベクトルを補正ベクトルＤ’Ｃ”と定義する。

すなわち、ベクトルＤ’Ｃ’のｘ’軸，ｙ’軸，ｚ’軸の方向成分をそれぞれｅ１，ｅ２，ｅ３と定義し、ベクトルＤ’Ｃ’を以下のように表記した場合、
ベクトルＤ’Ｃ’＝（ｄ１・ｉ’ ｄ２・ｊ’ ｄ３・ｋ’）
補正ベクトルＤ’Ｃ”は、以下のように表現される。
補正ベクトルＤ’Ｃ”＝（Ｇｘ’・ｄ１・ｉ’ Ｇｙ’・ｄ２・ｊ’ Ｇｚ’・ｄ３・ｋ’）
そして、上述した平行移動補正特徴点Ｄの位置ベクトルＯ’Ｄと、補正ベクトルＤ’Ｃ”の和を求めることにより、位置ベクトルＯＣ”が算出される。この位置ベクトルＯＣ”により表されるボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）上の点Ｃ”を、縮尺補正後の画像位置配向検出用コイル４４の位置とする。すなわち、点Ｃ”が、実空間（直交座標軸Ｏ−ｘｙｚ）における画像位置配向検出用コイル４４の位置の第２の写像である。

以下に、本実施形態における第２の写像について、図２１を参照して具体的に説明する。図２１は、ボクセル空間（直交座標軸Ｏ’−ｘ’ｙ’ｚ’）における第２の写像を求める方法を概略的に説明する図である。

図２１の上段は、第１の変換式により得られた第１の写像と、参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”との位置関係を示している。図２１の上段において、ステップＳ０１で取得した３点の参照画像体腔内特徴点Ｐ”、Ｑ”、Ｒ”を白抜きの丸印で示す。また、ステップＳ０４により得られた第１の写像である写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’と、写像ラジアル走査面中心Ｃ’とを白抜きの四角印で示す。

ここで、平行移動補正特徴点Ｄは幽門（Ｒ”）である。したがって、写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’のうち、幽門にあたるＲ’がボクセル空間において平行移動補正特徴点Ｄに一致するように、第１の写像である写像体腔内特徴点Ｐ’、Ｑ’、Ｒ’と、写像ラジアル走査面中心Ｃ’全体を平行移動する。図２１の中段に、上段の状態のボクセル空間に対し、平行移動補正を実施した後の状態を示す。

次に、縮尺補正に使用する２点の特徴点である第１縮尺補正特徴点Ｅ及び第２縮尺補正特徴点Ｆは、それぞれ十二指腸乳頭（Ｐ”）及び噴門（Ｑ”）である。したがって、参照ベクトルＥＦは十二指腸乳頭（Ｐ”）から噴門（Ｑ”）へのベクトルであり、写像参照ベクトルＥ’Ｆ’は、第１の写像の十二指腸乳頭（Ｐ’）から噴門（Ｑ’）へのベクトルである。

次に、この参照ベクトルＥＦ及び写像参照ベクトルＥ’Ｆ’のそれぞれの３軸方向成分の比から縮尺補正値Ｇを算出し、第１の写像におけるベクトルＤ’Ｃ’に該縮尺補正値Ｇを乗ずることにより、補正ベクトルＤ’Ｃ”を求める。

次に、補正ベクトルＤ’Ｃ”と平行移動補正特徴点Ｄの位置ベクトルＯ’Ｄとの和を求め、点Ｃ”の位置座標を、縮尺補正後の画像位置配向検出用コイル４４の位置として取得する。図２１の下段に、中段の状態のボクセル空間に対し、縮尺移動補正を実施した後の状態、すなわち第２の写像を示す。

本実施形態においては、以上のようにして第１の写像から第２の写像を求めるものであり、この第１の写像から第２の写像を得るための変換式が、ステップＳ６７において作成される第２の変換式である。

次に、マッチング回路６１は、ステップＳ６５で取得した位置配向データのうち、実空間（直交座標軸Ｏ−ｘｙｚ）における超音波断層像の中心Ｏ”の位置ベクトルＯＯ”と、直交座標軸Ｏ−ｘｙｚに対する画像位置配向検出用コイルの配向を示す単位ベクトルＶ、Ｖ３、Ｖ１２とを、上述した第１の変換式と第２の変換式とを用いて、位置配向写像データへ変換する（ステップＳ６８）。

図２１に示すように、第１変換式では超音波断層像の中心Ｏ”はボクセル空間上の点Ｃ’へ写像されるが、第２の変換式を用いることにより、図２１に示すように超音波断層像の中心Ｃ’はボクセル空間上の点Ｃ”へ写像される。

次に、画像指標作成回路６２は、マッチング回路６１により作成された位置配向写像データに基づいて、画像指標データを作成する。そして、合成回路６３は、３次元人体画像データと、画像指標データとを合成し、合成３次元データを作成する。そして、回転変換回路６４は合成３次元データに回転処理を施す。

次に、３次元ガイド画像作成回路Ａ６５と３次元ガイド画像作成回路Ｂ６６とは、それぞれ３次元ガイド画像データを作成する（ステップＳ６９）。

次に、混合回路６７は、超音波断層像データと３次元ガイド画像データとを並べて表示するための混合データを作成する。表示回路６８はこの混合データをアナログビデオ信号に変換する。表示装置８は、図１３に示すように、アナログビデオ信号を基に、超音波断層像と被検体１００を腹側から観察した３次元ガイド画像と超音波断層像マーカを画面に正対させた３次元ガイド画像とを並べて表示する（ステップＳ７０）。

次に、制御回路６０は、術者による走査部位選択キー１２ｇの押下により、走査部位情報の変更がなされたか否かを判定する（ステップＳ７１）。ここで、術者からの指示により走査部位の変更がなされたと判定した場合、ステップＳ７２へ移行し、制御回路６０は、新たな操作部位情報を取得し、ステップＳ７３へ移行する。一方、走査部位の変更がなされていないと判定した場合は、ステップＳ７２をスキップし、ステップＳ７３へ移行する。

次に、制御回路６０は、ステップＳ６４からＳ７２の間に、術者により走査制御キー１２ｄが押下されたか否かを判定する。ここで、術者により走査制御キー１２ｄが押下されたと判定した場合は、ステップＳ７４へ移行し、超音波振動子アレイ３１によるラジアル走査を終了した後にメインルーチンへ移行する。

一方、術者により走査制御キー１２ｄが押下されていないと判定した場合は、ステップＳ６４へ移行し、ステップＳ６４以降の処理を繰り返す。このようにして、ステップＳ６４からステップＳ７３の処理を繰り返すことで、超音波振動子アレイ３１が１回のラジアル走査をして超音波観測装置３が超音波断層像データを作成し、超音波断層像データが超音波観測装置３から混合回路６７に入力されるたびに新たな３次元ガイド画像が作成され、表示装置８に表示される３次元ガイド画像がリアルタイムに更新されるのである。

すなわち、図１３に示すように、術者による可撓部２２、硬性部２１の用手的な操作に伴うラジアル走査面の移動に連動して、画像指標データ上の超音波断層像マーカ１２１と先端方向マーカ１２２と６時方向マーカ１２３とが３次元人体画像データ上を移動もしくは変形していく。

これにより、本実施形態に係る医用ガイドシステム１を用いることで、術者は、超音波内視鏡２を操作しながら、超音波断層像で現在観察しているのが、解剖学的に被検体１００のどの位置であるのかを、例えば器官別に色分けされた３次元ガイド画像上において認識することができるのである。

以上のような構成を有する本実施形態の医用ガイドシステム１は、予め取得された参照画像データ上において、医用器具である超音波内視鏡２の位置及び配向をリアルタイムに表示するガイド画像を作成する構成を有するものであって、特に、ステップＳ６４からステップＳ６８で述べた処理を繰り返し、混合回路６１が超音波断層像データを取り込んだ瞬間の、位置配向データを第１の変換式で第１の写像に変換した後、平行移動補正と縮尺補正を合わせた第２の写像を表現する第２の変換式を新たに作成し、直交座標軸Ｏ−ｘｙｚにおける超音波断層像の中心Ｏ”の位置ベクトルＯＯ”と、画像位置配向検出用コイル４４の配向を示す単位ベクトルＶ，Ｖ３，Ｖ１２とを、位置配向写像データへ変換するものである。

ここで、平行移動補正には以下に示す効果がある。本実施形態では、第１の写像を「直交座標軸Ｏ−ｘｙｚにおける任意点の、被検体１００上の斜交座標系で表現される座標」と、「直交座標軸Ｏ’−ｘ’ｙ’ｚ’におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体１００からボクセル空間への写像とした。

理想的には、体腔内特徴点Ｒのボクセル空間内への第１の写像である写像体腔内特徴点Ｒ’と、ステップＳ０１で指定した参照画像体腔内特徴点Ｒ”とは一致することが望ましい。しかし、実際には正確に一致させることが難しい。

この理由は、「直交座標軸Ｏ−ｘｙｚにおける任意点と、被検体１００上の斜交座標系との空間的な位置関係」と「任意点に解剖学的に相当する直交座標軸Ｏ’−ｘ’ｙ’ｚ’における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。本実施形態で説明すると、第１の写像を骨格上の特徴のある体表特徴点の各座標から求めたが、体腔内特徴点である幽門（Ｒ）は骨格上の体表特徴点と常に同じ位置関係にあるとは限らないためである。

この原因は従来技術の項で述べたとおりであるが、例えば、Ｘ線３次元ヘリカルＣＴ装置１６や３次元ＭＲＩ装置１５による参照画像データ群ＧＲＤの取得は、一般に仰臥位で撮像されるものであり、左側臥位で行われる超音波内視鏡検査時とは体位が異なる。このため、被検体１００内の諸器官は重力に従って変位する。

したがって、本実施形態の医用ガイドシステム１においては、超音波内視鏡２で走査している器官の近傍にある体腔内特徴点位置を一致させるように、上述した平行移動補正を行い、第２の写像とすることにより、体腔内特徴点位置の近傍にある超音波内視鏡での画像位置配向検出用コイル４４の位置Ｏ”とその写像点Ｃ”を解剖学的により精度よく一致させることが可能となるのである。

また、縮尺補正には以下に示す効果がある。第１の写像に対し平行移動補正のみを実施した場合（縮尺補正を行わない場合）では、平行移動補正に使用した平行移動補正特徴点Ｄ（本実施形態では体腔内特徴点Ｒ）は一致する。しかし、平行移動補正特徴点Ｄから走査部位が離れるほど、画像位置配向検出用コイル４４の位置Ｏ”とその写像点Ｃ”を一致させることが困難となる。

この理由は、「直交座標軸Ｏ−ｘｙｚにおける任意点と、被検体１００上の斜交座標系との空間的な位置関係」と「任意点に解剖学的に相当する直交座標軸Ｏ’−ｘ’ｙ’ｚ’における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。本実施形態で説明すると、第１の写像を骨格上の特徴のある体表特徴点の各座標から求め、幽門（Ｒ）で平行移動補正したが、例えば超音波画像上胆嚢の近傍にある画像位置配向検出用コイル４４の位置と幽門との距離が骨格上の各体表特徴点間の距離と相関があるとは限らないためである。

この原因は従来技術の項で述べたとおりであるが、、例えば、Ｘ線３次元ヘリカルＣＴ装置１６や３次元ＭＲＩ装置１５による参照画像データ群ＧＲＤの取得は、一般に仰臥位で撮像されるものであり、左側臥位で行われる超音波内視鏡検査時とは体位が異なる。左側臥位では仰臥位よりも背骨が曲がりやすく、両者間において、剣状突起とその他の３点の体表特徴点との位置関係は変化する（縮尺変化する）傾向にある。

一方、超音波内視鏡検査時における内臓、特に後腹膜腔内にある膵臓は背骨側にあるため、背骨が曲がっても骨格ほど大きく縮尺変化はしない。逆にＸ線３次元ヘリカルＣＴ装置や３次元ＭＲＩ装置での撮影時には深吸気状態であるため、横隔膜が下がり内臓が圧縮され、内臓間の距離が短くなる傾向にある。

そのため、本実施形態の医用ガイドシステム１においては、２つの体腔内特徴点間の距離を、参照画像と被検体とで一致させるように、縮尺補正を行い、第２の写像とすることにより、平行移動補正特徴点Ｄ（本実施形態では体腔内特徴点Ｒ）から離れた位置での画像位置配向検出用コイル４４の位置Ｏ”とその写像点Ｃ”を解剖学的により精度よく一致させることが可能となるのである。

以上のように、本実施形態の医用ガイドシステム１は、体表特徴点（骨格）と体腔内特徴点（内臓）の縮尺が超音波内視鏡検査時の被検体の体位と参照画像データを取得した時の人体の体位が異なる場合でも、ガイド画像上の医用器具である超音波内視鏡の位置を実際の被検体の体腔内の位置に高い精度で一致させることができるという効果を有する。

また、参照画像データ群ＧＲＤを取得した人体と、超音波内視鏡検査の被検体が異なる人物である場合、骨格に対する内臓の縮尺も個人差があり異なるものである。しかしながら、本実施形態の医用ガイドシステム１によれば、マッチング回路６１が、第１変換式で第１の写像に変換した後、平行移動補正と縮尺補正を合わせて第２の写像を表現する第２変換式を新たに作成するよう構成、作用させたため、参照画像データと被検体とで骨格に対する内臓の縮尺に違いがあっても、ガイド画像上の超音波内視鏡の位置を実際の被検体の体腔内の位置に高い精度で一致させることができる。

また、本実施形態によれば、走査部位に変更が生じた場合、術者が走査部位選択キー１２ｇを押下し、走査部位を胃、十二指腸球部、十二指腸下降脚の３種類から選択すると、マッチング回路６１は、記憶している補正条件テーブル１０２に基づき、選択された走査部位にあわせ、各補正に使用する特徴点を決定するよう構成、作用させた。そのため、走査部位に近い特徴点を使用し、平行移動補正及び縮尺補正を行うことができ、３次元ガイド画像により超音波断層像を一層正確にガイドすることができる。

また、本実施形態によれば、走査部位に変更が生じた場合、術者が走査部位選択キー１２ｇを押下し、走査部位を胃、十二指腸球部、十二指腸下降脚の３種類から選択すると、マッチング回路６１は、記憶している補正条件テーブル１０２に基づき、選択された走査部位にあわせ、各補正の有無と各補正に使用する特徴点を決定するよう構成、作用させた。そのため、通常呼吸状態の超音波内視鏡検査の時に比してＸ線３次元ヘリカルＣＴ装置１６と３次元ＭＲＩ装置１５での撮影時には被検体の横隔膜が下がり、内臓が体軸方向（頭足方向）に圧縮され、骨格に対する内臓の縮尺が変化した場合でも、内臓の各部位の圧縮率に合わせて、縮尺補正の使用の有無を切り替え、最適な特徴点を選択が可能であり、３次元ガイド画像が超音波断層像をより一層正確にガイドすることができる。

なお、上述した本実施形態では、体腔内特徴点の位置を超音波内視鏡の観察窓を当てて取得したが、構成はこれに限らない。鉗子チャンネルを備えた超音波内視鏡と、鉗子チャンネルに挿通する体腔内接触プローブを設けて、体腔内接触プローブ先端を体腔内特徴点に当てて取得してもよい。また、体腔内特徴点を超音波画像上や光学画像上で選択することで体腔内特徴点を取得してもよい。

また、本実施形態では、超音波プローブとして電子ラジアル走査型超音波内視鏡を用いたが、特開２００４−１１３６２９号公報で開示されている超音波診断装置のように、機械走査型超音波内視鏡でも、挿入軸の一方に超音波振動子群を扇状に設けた電子コンベックス走査型超音波内視鏡でも、カプセル型の超音波ゾンデでも良く、超音波の走査方式は限定されるものではない。また光学観察窓の無い超音波プローブでもあってもよい。

また、本実施形態では、超音波内視鏡の硬性部において超音波振動子を短冊状に細かく切断し、挿入軸の周囲に環状のアレイとして配列させたが、超音波振動子のアレイは３６０°全周に設けても、それより欠けても良い。例えば２７０°や１８０°等でも良い。

また、本実施形態では、医用器具として超音波内視鏡を使用するよう構成、作用させたが、医用器具は、気管支鏡や消化器内視鏡や腹腔鏡であってもよい。また、医用器具は、内視鏡に限らず、体外から超音波を照射する方式の、いわゆる体外式の超音波診断装置であってもよい。

また、本実施形態では位置検出手段として送信アンテナと受信コイルとを用い、磁場で位置と配向とを検出するよう構成、作用させたが、磁場の送受は逆でも良く、また、磁場ではなく加速度や他の手段で位置と配向とを検出するよう構成、作用させても良い。

また、本実施形態では、原点Ｏを送信アンテナ上の特定の位置に設定するよう構成したが、送信アンテナと位置関係の変わらない他の場所に設定するよう構成しても良い。

また、本実施形態では、画像位置配向検出用コイルを硬性部に固定して設けたが、硬性部との位置が固定されていればよく、必ずしも硬性部の内部に配設されるものでなくともよい。

また、本実施形態では、３次元ガイド画像データ上の各器官を、器官別に色分けして表示させるよう構成したが、色分けの態様に限らず、輝度、明度、彩度等、他の態様でも良い。

また、本実施形態では、参照画像データとして、Ｘ線３次元ヘリカルＣＴ装置、３次元ＭＲＩ装置で撮像された複数枚の２次元ＣＴ画像や２次元ＭＲＩ画像を用いるよう構成、作用したが、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）のような他のモダリティーを用いて事前に取得した３次元画像データを用いても良い。また、体外から超音波を照射する方式の所謂、体外式の超音波診断装置で事前に取得した３次元画像データを用いても良い。

また、参照画像データは、被検体本人から取得されるものであってもよいし、あらかじめ取得された体格の似た性別の同じ他人の画像データを用いてもよい。

また、本実施形態では、姿勢検出用コイルを被検体体表に固定し、位置配向データを得るよう構成したが、１軸に巻かれた４個のコイルからなる体表検出用コイルを設け、各々を被検体体表にテープ、ベルト、バンドなどで、複数の体表特徴点に着脱可能に固定し、体表特徴点の位置配向データを同時に得るよう構成しても良い。このような構成によれば、医用ガイドシステム１の使用時に被検体の姿勢が変化し、４点の体表特徴点間の位置関係が変化してしまった場合でも、正確にガイド画像を生成することが可能となる。

また、姿勢検出用コイルを使用せず、事前に１度だけ体表検出用コイルを複数の体表特徴点に順次接触させて体表特徴点の位置・配向データを順次に得るような構成、作用にしても良い。

（第２の実施形態）
以下に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態に対して、縮尺補正の方法のみが異なり、装置構成は同一である、よって以下ではこの相違点のみを説明するものとする。

本実施形態の医用ガイドシステム１においては、ステップＳ６８において実施する縮尺補正を、縮尺補正値Ｇの被検体１００の体軸方向（ｚ’軸方向）の成分Ｇｚ’のみを使用して行う。

ここで、被検体１００の背骨の曲がりや、呼吸により内臓が圧縮される方向は、主に体軸方向である。したがって、本実施形態によれば、第１の実施形態に比して縮尺補正に必要な計算量を減らすことが可能となり、よりリアルタイム性の高いガイド画像の表示を行うことが可能となる。

また、３点の体腔内特徴点Ｐ、Ｑ、Ｒは、体軸方向には広く取ることができるが、体軸に直交する方向（ｘ’軸方向、ｙ’軸方向）に広く取ることができない。そのため、体軸に直交する方向については、体腔内特徴点の取得時の誤差が補正精度に大きく影響してしまい、３次元ガイド画像と超音波断層像との一致度が下がってしまう可能性がある。しかしながら、本実施形態によれば、体軸に直交する方向（ｘ’軸方向及びｙ’軸方向）には縮尺補正を実施しないことにより、より正確な３次元ガイド画像を表示することが可能となるのである。

上述した実施形態に基づいて、以下の構成を提案することができる。すなわち、
（付記１）
被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段に対して位置を固定された画像位置配向検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記体表検出用素子の位置もしくは配向を検出し、検出値として出力する検出手段と、
人体の３次元データから前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を設けたことを特徴とする医用ガイドシステムにおいて、
前記ガイド画像作成手段が、前記検出手段が出力した前記画像位置配向検出用素子の位置と配向と、前記体表検出用素子の位置もしくは配向の検出値を基に前記ガイド画像を作成する際、前記画像位置配向検出用素子で検出した複数の位置の検出値により前記ガイド画像に補正処理を施す補正手段と、
を設けたことを特徴とする医用ガイドシステム。

（付記２）
前記補正処理が、前記体腔内検出用素子で検出した複数の位置の間の距離と、前記人体の３次元データにおける同一位置の間の距離と、の関係を利用した補正であることを特徴とする付記１に記載の医用ガイドシステム。

（付記３）
前記体腔内プローブの前記先端部位の体腔内での位置に応じて、前記補正処理の有無を切り替えたこと、を特徴とする付記１又は２に記載の医用ガイドシステム。

（付記４）
前記体腔内プローブの前記先端部位の体腔内での位置に応じて、前記補正処理ので使用する前記検出値を切り替えたことを特徴とする付記１から３のいずれか一項に記載の医用ガイドシステム。

（付記５）
平行移動補正のみの(単数の位置の検出値により前記ガイド画像に補正処理を施す)場合に、付記４のように切り替えたことを特徴とする医用ガイド装置。

（付記６）
医用器具の位置及び配向と、被検体体表における複数の体表特徴点の位置と、被検体体腔内における少なくとも一つの体腔内特徴点の位置を検出する検出部と、
前記医用器具を前記被検体に対して使用する以前に取得された、人体の臓器及び器官の少なくとも一方の解剖学的な位置情報を有する参照画像データを記憶する記憶部と、
前記複数の体表特徴点のそれぞれに解剖学的に対応した、前記参照画像データにおける複数の参照画像体表特徴点と、前記体腔内特徴点に解剖学的に対応した、前記参照画像データにおける参照画像体腔内特徴点と、の位置を取得する参照画像特徴点取得部と、
前記複数の体表特徴点により定義される座標系で表された前記医用器具の位置及び配向を、前記複数の参照画像体表特徴点により定義される参照画像座標系に写像した第１の写像を作成することにより、前記参照画像データ中における前記医用機器の位置及び配向をリアルタイムに示すガイド画像を作成するガイド画像作成部と、
を具備する医用ガイドシステムであって、
前記ガイド画像作成部は、前記第１の写像を作成後に、前記参照画像データ中において、前記体腔内特徴点を前記参照画像体腔内特徴点に一致させるよう前記第１の写像を平行移動させる平行移動補正を実施した後に、ガイド画像を作成することを特徴とする医用ガイドシステム。

（付記７）
前記体腔内特徴点及び前記参照画像体腔内特徴点は互いに複数であって、
前記ガイド画像作成部は、前記第１の写像に対して前記平行移動補正を実施した後に、前記複数の体腔内特徴点間の距離と、前記複数の参照画像体腔内特徴点間の距離との比に応じて、前記第１の写像の縮尺を変更する縮尺補正を実施することを特徴とする付記６に記載の医用ガイドシステム。

なお、本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う医用ガイドしすてむもまた本発明の技術的範囲に含まれるものである。

例えば気管支内視鏡や腹腔鏡等の内視鏡による診断や手術、さらには体外式の超音波診断装置にも本発明を適用することが可能である。

第１の実施形態の医用ガイドシステムの構成を示す図である。 姿勢検出用コイルの構成を示す図である。 画像処理装置の構成を示すブロック図である。 参照画像記憶部に記憶されている参照画像データを概念的に示す図である。 特徴点リストを示す表である。 ボクセル空間の構成を示す図である。 補正条件テーブルを示す表である。 送信アンテナ上に定義された原点および直交座標系等を示す図である。 超音波断層像マーカの様子を示す図である。 ３次元人体画像データを示す図である。 ３次元ガイド画像データを示す図である。 ３次元ガイド画像データを示す図である。 表示装置に表示される３次元ガイド画像を示す図である。 医用ガイドシステムの全体の動作を表すメインルーチンのフローチャートである。 参照画像データ上の特徴点の座標取得処理のフローチャートである。 実空間上の特徴点の座標取得処理のフローチャートである。 写像体内特徴点算出処理のフローチャートである。 ３次元ガイド画像作成表示処理のフローチャートである。 参照画像データ群における参照画像体表特徴点の概念を示す模式図である。 第１の写像を説明するための図である。 ボクセル空間における第２の写像を求める方法を概略的に説明する図である。

符号の説明

１ 医用ガイドシステム、 ２ 超音波内視鏡、 ３ 超音波観測装置、 ４ 位置配向算出装置、 ５ 画像処理装置、 ８ 表示装置、 １０ 光学観察装置、 １１ 入力装置、 １４ ネットワーク、 １５ ３次元ＭＲＩ装置、 １６ Ｘ線３次元ヘリカルＣＴ装置、 ３１ 超音波振動子アレイ、 ２２ 受信コイル、 撮像装置 ２７、 ４１ 送信アンテナ、 ４２ 体表検出用コイル、 ４３ 姿勢検出用コイル、 ４４ 画像位置配向検出用コイル

Claims (2)

1. 実空間において、医用器具の位置及び配向の少なくとも一方と、被検体における複数の特徴点の位置及び配向の少なくとも一方とを検出する検出部と、
   人体の臓器及び器官の少なくとも一方の解剖学的な位置情報を有する参照画像データを記憶する記憶部と、
   前記実空間における前記被検体の複数の特徴点の位置及び配向の少なくとも一方と、前記参照画像データにおける前記複数の特徴点に解剖学的に対応する複数の参照画像特徴点の位置及び配向の少なくとも一方と、の情報に基づいて、前記実空間における医用器具の位置及び配向の少なくとも一方を、前記参照画像データにおける位置及び配向に変換した写像を生成し、前記写像と前記参照画像データから、前記被検体に対する前記医用器具位置又は前記医用器具の観察位置を前記参照画像との対比によって示すガイド画像を作成するガイド画像作成部と、
   を具備する医用ガイドシステムであって、
   前記ガイド画像作成部は、前記実空間における前記被検体の体腔内の複数の体腔内特徴点の位置及び配向の少なくとも一方と、前記参照画像データにおける前記体腔内特徴点に解剖学的に対応する１つ又は複数の補正特徴点の位置及び配向の少なくとも一方と、の情報に基づいて前記ガイド画像が示す前記医用器具位置又は前記医用器具の観察位置を補正可能に構成されており、当該補正は、複数の前記体腔内特徴点間の距離と、複数の前記補正特徴点間の距離との比較に基づいて前記写像を伸縮する縮尺補正を含むものであって、かつ前記ガイド画像作成部は、前記補正の実施の有無を前記医用器具位置又は前記医用器具の観察位置の近傍である部位に応じて切替可能に構成されている
   ことを特徴とする医用ガイドシステム。
2. 前記医用器具位置又は前記医用器具の観察位置の近傍である部位に応じて、前記補正に使用する前記体腔内特徴点の解剖学的な位置を変更することを特徴とする請求項１に記載の医用ガイドシステム。

Images