JP3772151B2 - Insertion position detection device - Google Patents

Insertion position detection device Download PDF

Info

Publication number
JP3772151B2
JP3772151B2 JP2003046500A JP2003046500A JP3772151B2 JP 3772151 B2 JP3772151 B2 JP 3772151B2 JP 2003046500 A JP2003046500 A JP 2003046500A JP 2003046500 A JP2003046500 A JP 2003046500A JP 3772151 B2 JP3772151 B2 JP 3772151B2
Authority
JP
Japan
Prior art keywords
magnetic field
coil
detection
image
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003046500A
Other languages
Japanese (ja)
Other versions
JP2003275164A (en
Inventor
明 谷口
澄洋 内村
司 石井
雅直 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003046500A priority Critical patent/JP3772151B2/en
Publication of JP2003275164A publication Critical patent/JP2003275164A/en
Application granted granted Critical
Publication of JP3772151B2 publication Critical patent/JP3772151B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は磁界発生素子と磁界検出素子とを用いて挿入部の位置を検出する挿入部位置検出装置に関する。
【0002】
【従来の技術】
近年、内視鏡は医療用分野及び工業用分野で広く用いられるようになった。この内視鏡は特に挿入部が軟性のものは、屈曲した体腔内に挿入することにより、切開することなく体腔内深部の臓器を診断したり、必要に応じてチャンネル内に処置具を挿通してポリープ等を切除するなどの治療処置を行うことができる。
【0003】
この場合、例えば肛門側から下部消化管内を検査する場合のように、屈曲した体腔内に挿入部を円滑に挿入するためにはある程度の熟練を必要とする場合がある。
【0004】
つまり、挿入作業を行っている場合、管路の屈曲に応じて挿入部に設けた湾曲部を湾曲させる等の作業が円滑な挿入を行うのに必要になり、そのためには挿入部の先端位置等が、体腔内のどの位置にあるかとか、現在の挿入部の屈曲状態等を知ることができると便利である。
【0005】
このため、例えば特開平3ー295530号公報には挿入部に設けた受信用空中線(コイル)に対し、挿入部の外部に設けた送信用空中線(アンテナコイル)を走査して挿入部の挿入状態を検出するものがある。
【0006】
また、特開平5ー177000号公報のカテーテルガイド装置では発信手段をカテーテルの先端等に取り付け、その信号を受信して発信手段の位置を求めるものが開示されている。
【0007】
また、USパテント4,176,662では内視鏡の先端のトランスジューサからバースト波を出し、周囲の複数のアンテナ又はトランスジューサで検出して先端部の位置をCRTにプロット等するものが開示されている。
【0008】
さらにUSパテント4,821,731では体外の直交コイルを回転し、体内のカテーテルに設けたセンサの出力からカテーテルの先端位置を検出するものを開示している。
【0009】
また、PCT出願GB91/01431号公開公報では内視鏡が挿入される対象物の周囲にX−Y方向にダイポールアンテナを格子状に多数並べてAC駆動し、一方、内視鏡側に内蔵したコイルで得られる信号より、内視鏡の位置を導出する従来例を開示している。
【0010】
【発明が解決しようとする課題】
しかしながら、挿入部の位置検出については更なる精度の向上が望まれている。
【0011】
本発明の目的は、精度の高い挿入部の位置検出を可能とする挿入部位置検出装置を提供することにある。
【0012】
【課題を解決するための手段】
本発明の挿入部位置検出装置は、被検体内に挿入可能な可撓性の挿入部を有し、該挿入部内に磁界を発生する磁界発生素子及び発生した磁界を検出する磁界検出素子のうちの一方が設けられてなる挿入具と、前記被検体が載置可能になされ、前記磁界発生素子及び前記磁界検出素子のうちの他方が少なくとも3つ設けられてなる載置台と、前記磁界発生素子と前記磁界検出素子との磁気結合によって得られる情報に基づいて、前記挿入部内に設けられた前記磁界発生素子及び前記磁界検出素子のうちの一方の素子の、前記載置台に設けられた前記磁界発生素子及び前記磁界検出素子のうちの他方の素子に対する位置を推定する位置推定手段と、を備え、前記載置台は、前記磁界発生素子の駆動により発生する磁界に対して影響を及ぼさない部材で形成され、前記被検体が載置される部位に検出対象領域が形成されるように前記少なくとも3つの磁界発生素子又は磁界検出素子が配置され、前記磁界検出素子は、直交する3つの軸方向にそれぞれ指向性を有するように巻回された3つのコイルを有する3軸コイルで構成され、前記位置推定手段は、前記3軸コイルの各軸に固有の、当該コイルの径の違いによる補正係数を用いて、前記挿入具の挿入部内に設けられた前記磁界発生素子又は前記磁界検出素子の位置を推定する際に得られる、当該各3軸コイルの各出力における位相の違いを補正する補正手段を有する、ことを特徴とする。
【0014】
【発明の実施の形態】
以下、本発明の実施形態を図に基づいて説明する。
【0015】
図1ないし図43は本発明の第1実施形態に係るものを示す。
図1に示すように内視鏡システム1は内視鏡6を用いて検査等を行う内視鏡装置2と、この内視鏡装置2と共に使用され、内視鏡6の挿入部7の位置を検出する第1実施形態の機能を備え、さらに挿入部7の形状を推定してその形状に対応する画像を表示する内視鏡形状検出装置3とを有して構成される。
【0016】
(内視鏡検査用)ベッド4には、被検体としての患者5が載置され、この患者5の体腔内に、図3に示す内視鏡6の挿入部7が挿入される。
この内視鏡6は細長で可撓性を有する挿入部7とその後端に形成された太幅の操作部8と、この操作部8の側部から延出されたユニバーサルケーブル9とを有し、このユニバーサルケーブル9の末端にはコネクタ9Aが設けてあり、このコネクタ9Aはビデオプロセッサ11内の光源部36に着脱自在で接続できる。
【0017】
このコネクタ9Aからさらに信号ケーブル9Bが延出され、この信号ケーブル9Bの末端に設けた信号用コネクタ9Cをビデオプロセッサ11内の信号処理部37に着脱自在で接続できる。
【0018】
挿入部7には図4に示すように照明光を伝送するライトガイド38が挿通され、このライトガイド38はさらに操作部8から延出されたユニバーサルケーブル9内を挿通され、末端のコネクタ9Aに至る。このコネクタ9Aの端面には光源部36内のランプ36Aから照明光が供給され、このライトガイド38のよって伝送され、挿入部7の先端部の(照明光出射手段を形成する)照明窓に取り付けられた先端面から伝送した照明光を前方に出射する。
【0019】
この照明窓から出射された照明光により照明された体腔内の内壁或は患部等の被写体は先端部の照明窓に隣接して形成された観察窓に取り付けた対物レンズ39によってその焦点面に配置された固体撮像素子としてのCCD29に像を結ぶ。
【0020】
このCCD29は信号処理部37内のCCDドライブ回路37Aから出力されるCCDドライブ信号が印加されることにより、(CCD29で)光電変換された画像信号が読み出され、挿入部7内等を挿通された信号線を経て信号処理回路37Bで信号処理されて標準的な映像信号に変換され、カラーモニタ12に出力され、対物レンズ39でCCD29の光電変換面に結像した内視鏡像をカラー表示する。
【0021】
また、操作部8には湾曲操作ノブ8Aが設けてあり、このノブ8Aを回動する操作を行うことにより挿入部7の先端付近に形成した湾曲自在の湾曲部7Aを湾曲できるようにして屈曲した体腔内経路にもその屈曲に沿うように先端側を湾曲させることによりスムーズに挿入できるようにしている。
【0022】
また、図4に示すようにこの内視鏡6には挿入部7内に中空のチャンネル13が形成されており、このチャンネル13の基端の挿入口13aから鉗子等の処置具を挿通することにより、処置具の先端側を挿入部7の先端面のチャンネル出口から突出させて患部等に対して生検とか治療処置等を行うことができる。
【0023】
また、このチャンネル13に(体腔内に挿入された挿入部7の)位置及び形状検出のためのプローブ15を挿入し、このプローブ15の先端側をチャンネル13内の所定の位置に設定することができる。図5はチャンネル13内にプローブ15を固定した場合のプローブ15の先端側の1例を示す。
【0024】
図5に示すようにこのプローブ15には磁界を発生する磁界発生素子としての複数のソースコイル16a,16b,…(符号16iで代表する)が、絶縁性で可撓性を有する円形断面のチューブ19内に例えば一定間隔dとなる状態で、チューブ19内壁に絶縁性の接着剤20で固定されている。
【0025】
各ソースコイル16iは例えば絶縁性で硬質の円柱状のコア10に絶縁被覆された導線が巻回されたソレノイド状コイルで構成され、さらにコイルの外周面に絶縁性の接着剤20で塗布されてコイルをコア10に絶縁被覆した状態で固定すると共に、チューブ19の内壁にも固定している。
【0026】
そして、チューブ19が屈曲されて変形した場合でも、各ソースコイル16iは、硬質のコア10に導線が巻回して、接着剤20で固定されているので、ソースコイル16i自身はその形状が変形しない構造にしてあり、磁界発生の機能はチューブ19が変形した場合でも不変となるようにしている。
【0027】
また、例えば末端(先端)のソースコイル16aの位置はチャンネル13の出口の面と(その先端面が)一致するように設置され、従って最も先端のソースコイル16aの位置を検出することにより、内視鏡6の挿入部7の先端面の位置(より正確には先端面よりソースコイル16aの(挿入部7の軸方向の)長さの1/2だけ後方位置)を検出できるようにしている。
【0028】
先端のソースコイル16aの位置は内視鏡6の既知の位置であると共に、一定間隔dでそれぞれソースコイル16iは設けてあるので、各ソースコイル16iの位置は内視鏡6の挿入部7内の既知の位置に設定されていることになり、各ソースコイル16iの位置を検出することにより、内視鏡6の挿入部7の離散的な位置(より厳密には各ソースコイル16iの位置)が検出できる。
【0029】
これらの離散的な位置を検出することにより、それらの間の位置もほぼ推定でき、従って離散的な位置の検出により、体腔内に挿入された内視鏡6の挿入部7の形状を求めることが可能になる。
【0030】
なお、プローブ15の先端付近の外径を他の部分より僅かに大きくして、チャンネル13の出口付近の内壁に密着して位置決め設置できるようにしても良い。そして、内視鏡形状を表示する必要が無くなったら(例えば、体腔内深部側の目的とする部位付近まで挿入部6の先端側を挿入する作業を円滑に行えるように、内視鏡形状の表示を利用する)、プローブ15の手元側を引っ張って、プローブ15を手元側に外し、チャンネル13を処置具等を挿通できるようにしても良い。
【0031】
各ソースコイル16iに接続されたリード線17はプローブ15の後端に設けた、或はプローブ15の後端から延出されたケーブルの後端に設けたコネクタ18に接続され、このコネクタ18は(内視鏡)形状検出装置本体21のコネクタ受けに接続される。そして、後述するように各ソースコイル16iには駆動信号が印加され、位置検出に利用される磁界を発生する。
【0032】
図6は、変形例のプローブ15′の構造を示す。このプローブ15′は絶縁部材でかつ可撓性を有するシースチューブ19′内に可撓性を有する支持部材46に一定の距離d毎にソースコイル16iが取り付けられる。この支持部材46はその長手方向(挿入部7内に配置された場合には挿入部7の軸方向)に対して伸縮性を有しない部材で構成され、シースチューブ19′が屈曲された場合にもソースコイル16iの間隔は一定となるようにしている。
【0033】
各ソースコイル16iは磁性材47に銅線48を巻回したコイルで形成され、巻回した2つの端子の一方の銅線は共通にされ、例えば支持部材46に沿って延出され、他方の端子から延出された銅線48はそれぞれのソースコイル16iから後方に延出され、シースチューブ19′の基端のコネクタ49(図3参照)の接点に接続されている。
なお、各ソースコイル16iを構成する各コイルの2つの端子の一方を共通にしないで、それぞれ2本の銅線で後方側に延出するようにしても良い。
【0034】
各ソースコイル16iの磁性材47には貫通孔が設けられ、その貫通孔に支持部材46を通し、絶縁性の接着剤20で一定間隔dの状態で固定されている。 このシースチューブ19′は薄肉にした場合には外部からの力でつぶれてしまい、座屈して挿入が困難になる可能性があるので、シースチューブ19′内部におけるソースコイル16i周囲にはシリコン等のボンディング材50が充填されている。
【0035】
このシースチューブ19′の先端にはほぼ球形状の先端チップ55が取り付けてあり、チャンネル13内に挿入時における滑りを向上している。また、チューブ19′の後端とコネクタ49との間には折れ止め56が設けてある。
また、コネクタ49には術者の扱いを容易にするためと消毒、滅菌処理を考慮してコネクタキャップ57に覆われている。
【0036】
図3ではこのプローブ15′をチャンネル13に装着した様子を示す。図3ではプローブ15′の他にさらに挿入口14から鉗子などを挿入できる構造にしている。
【0037】
ソースコイル16iは図5又は図6のように1軸のコイルで構成されていても良いし、図7に示すように3軸のセンスコイル22j(後述)と同様な構造の3軸のソースコイル16iで構成しても良い。
【0038】
3軸のソースコイル16iで形成した場合には、非磁性体或は磁性体で形成した例えば立方体形状の硬質のコア10に3つのコイルを巻回して構成される。非磁性体のコア10を用いることにより、隣接等する他のソースコイルで発生する磁界分布に影響を及ぼさないようにしても良いし、隣接するソースコイルとあまり接近していない場合には磁性体のコア10にして導線を巻回したコイルで磁界発生素子としてのソースコイルを構成しても良い。
【0039】
また、図7に示すようにコア10におけるコイルが巻回されていない部分に穴を設けて、各コイルの両端に接続されるリード線17を通すようにしている(各コイルの一端は共通にできる)。なお、コア10を有しないで例えば3つのコイルの中空部分も含めて3つのコイルを絶縁性の接着剤で接着固定した構造にしても良い。
また、図1に示すようにベッド4の既知の位置、例えば3つの隅にはそれぞれ磁界を検出する磁界検出素子としての3軸センスコイル22a,22b,22c(22jで代表する)が取り付けてあり、これらの3軸センスコイル22jはベッド4から延出されたケーブルを介して形状検出装置本体21に接続される。
【0040】
3軸センスコイル22jは図7に示すようにそれぞれのコイル面が直交するように3方向にそれぞれ巻回され、各コイルはそのコイル面に直交する軸方向成分の磁界の強度に比例した信号を検出する。
【0041】
上記形状検出装置本体21は、3軸センスコイル22jの出力に基づいて各ソースコイル16iの位置を検出して、患者5内に挿入された内視鏡6の挿入部7の形状を推定し、推定した形状に対応したコンピュータグラフィック画像をモニタ23に表示する。
【0042】
内視鏡形状検出装置3は磁気を利用しているので、磁気に対して透明でない金属が存在すると鉄損などにより、影響を受けてしまい、磁界発生用のソースコイル16iと検出用の3軸センスコイル22jの間の相互インダクタンスに影響を与える。一般に、相互インダクタンスをR+jXで表すと、(磁気に対して透明でない金属は)このR,X両者に影響を及ぼすことになる。
【0043】
この場合、微少磁界の検出で一般に用いられている直交検波で測定される信号の、振幅、位相が変化することになる。そのため、精度よく信号を検出するためには、発生する磁界が影響を受けない環境を設定することが望ましい。
【0044】
これを実現するためには、磁気的に透明な材料(換言すると磁界に影響を及ぼさない材料)でベッド4を作ればよい。
この磁気的に透明な材料としては例えば、デルリン等の樹脂、木材、非磁性材金属であればよい。
【0045】
実際にはソースコイル16iの位置検出には交流磁界を用いるため、駆動信号の周波数において磁気的に影響のない材料で形成しても良い。
そこで、本内視鏡形状検出装置3とともに使用する図1に示す内視鏡検査用ベッド4は、少なくとも、発生する磁界の周波数において磁気的に透明な非磁性材で構成されている。
【0046】
図2は内視鏡形状検出装置3の概略の構成をブロック図で示す。内視鏡6のチャンネル13内に設定されたプローブ15内のソースコイル16iにソースコイル駆動部24からの駆動信号が供給され、この駆動信号が印加されたソースコイル16i周辺に磁界が発生する。
【0047】
このソースコイル駆動部24は、(磁界発生用)発振部25から供給される交流信号を増幅して、必要な磁界を発生するための駆動信号を出力する。
発振部25の交流信号は、ベッド4に設けられた3軸センスコイル22jで検出される微少な磁界を検出するための(相互インダクタンス)検出部26に参照信号として送出される。
【0048】
3軸センスコイル22jで検出される微少な磁界検出信号は(センスコイル)出力増幅器27で増幅された後、検出部26に入力される。
検出部26では、参照信号を基準として、増幅、直交検波(同期検波)を行い、コイル間の相互インダクタンスに関連した信号を得る。
【0049】
複数のソースコイル16iが存在するので、各ソースコイル16iに接続されたリード線へ駆動信号を順次供給するように切り換える切り換え手段となる(ソースコイル駆動電流)分配器28がソースコイル駆動部24とソースコイル16iの間に存在する。
【0050】
上記検出部26で得られた信号は、形状算出部30を構成する(ソースコイル)位置検出部(又は位置推定部)31に入力され、入力されたアナログ信号をデジタル信号に変換して位置検出の計算或は位置推定の演算を行い、各ソースコイル16iに対して推定された位置情報を得る。
この位置情報は形状画像生成部32に送られ、得られた離散的な各位置情報から間を補間する補間処理等のグラフィック処理して内視鏡6(の挿入部7)の形状を推定し、推定された形状に対応する画像を生成し、モニタ信号生成部33に送る。
【0051】
モニタ信号生成部33は形状に対応する画像を表すRGB或はNTSC或はPAL方式の映像信号を生成し、モニタ23に出力し、モニタ23の表示面に内視鏡6の挿入部形状に対応する画像を表示する。
【0052】
なお、位置検出部31は1つの位置検出の計算を終了した後に、分配器28に切り換えの信号を送り、次のソースコイル16iに駆動電流を供給してその位置検出の計算を行う(各位置検出の計算を終了する前に、分配器28に切り換えの信号を送り、センスコイル22jで検出した信号をメモリに順次記憶させるようにしても良い)。
【0053】
また、システム制御部34はCPU等で構成され、位置検出部31、形状画像生成部32、モニタ信号生成部33の動作等を制御する。また、このシステム制御部34には操作パネル35が接続され、この操作パネル35のキーボードとかスイッチ等を操作することにより、内視鏡形状の描画モデルの選択とか、モニタ23に表示される内視鏡形状を選択された視野方向に対する表示状態に変更させることなどができる。
【0054】
なお、図2の点線で示す形状算出部30はソフトウェアを含む。また、図2の内視鏡形状検出装置3は第1実施形態の内視鏡位置検出装置を含み、この内視鏡位置検出装置は図6では符号16i,22j,24〜28,31で構成される。
【0055】
この内視鏡形状検出装置3の構成はより具体的に表すと図8のようになる。つまり、発振部25は発振器25aで構成され、この発振出力は駆動部24を構成するアンプ24aで増幅され、分配器28を構成するソースコイル切換回路28aで切換えられて複数のソースコイル16iに順次印加され、印加されたソースコイル16iの周囲に磁界を発生する。
【0056】
各磁界は各センスコイル22jで検出され、増幅器27でそれぞれ増幅された後、インダクタンス検出部26を構成するバンドパスフィルタ26a、位相検波回路26b、ローパスフィルタ26cを有する同期検波回路26dで磁界強度と共に発振出力との位相差を含む信号が検出される。
【0057】
位相検波回路26bは発振器25aの出力信号を参照して位相検波(直交検波)する。同期検波回路26dの出力信号は形状算出部30を構成するA/Dコンバータ30aの各チャンネルを経てデジタル信号に変換された後、RAM30bの検出データの格納部30b′に一旦格納され、この格納部30b′のデータはCPU30cに転送され、このCPU30cで位置推定及び形状算出等の計算が行われる。A/Dコンバータ30aの各チャンネルの切換えはタイミング制御回路30dにより行われる。
【0058】
この場合、例えば1つのソースコイル16iに対する計算が終了すると、CPU30cはタイミング制御回路30dに終了信号を送り、タイミング制御回路30dはこの終了信号を受けると、ソースコイル切換回路28aに切換えの制御信号を送り、次のソースコイル16iに駆動信号を印加する。
【0059】
CPU30cは例えばRAM30bの基準情報格納部30b″に格納されている基準情報を参照してソースコイル16iの位置を推定し、さらに推定により得た各位置の情報を用いて間を補間し、内視鏡形状の推定を行う。この推定された形状に対応する画像も生成し、図6と同様にモニタ信号生成部33を経てモニタ23に出力され、推定された内視鏡形状に対応する画像が表示される。なお、基準情報格納部30b″には後述する図16の2つの曲線Cu,Cdのデータが格納される。
【0060】
図9は形状検出のためのソースコイルの駆動動作とセンスコイルによる信号検出のフローを示す。まずパラメータiを1に設定した後(ステップS1)、ソースコイル切換信号によりi番目のソースコイル16iを選択してそのソースコイル16iに駆動電流を流す(ステップS2)。
【0061】
次に、過渡応答の時間Δt待ち(ステップS3)、この時間Δt後にセンスコイル22jで検出した検出信号をサンプリングする(ステップS4)。そして、次に駆動されたi番目のソースコイルが最後のソースコイルか否かの判断を行い(ステップS5)、最後のものでないと、iをi+1にインクリメントして(ステップS6)再びi番目のソースコイル16iに駆動電流を流すステップに戻り、一方最後のソースコイルの場合には終了する。
【0062】
上記過渡応答の時間Δt後にセンスコイル22jによる検出信号をサンプリングする理由の説明図を図10に示す。図10(a)に示すソースコイル切換信号によりソースコイル16iを選択してそのソースコイル16iに駆動電流を流すと、そのソースコイル16iの抵抗成分及びインダクタンス成分に応じて、駆動電流の周波数に対し、実際にはそのソースコイル16iに流れる駆動電流は図10(b)に示すように時間Δtの間で過渡応答特性を示す。
【0063】
このため、センスコイル22jで検出される検出信号は図10(c)のように過渡応答特性の影響を受けた信号になる。このため、タイミング制御回路30dはこの時間Δtの後にA/Dコンバータ30aに対して読込みを行うように制御する。このようにして過渡応答の影響のない検出信号を用いるようにしている。図7はソースコイル16iとして3軸のソースコイルを用い、あるソースコイル16iの位置を3軸センスコイル22jで検出する場合の様子を示す。
【0064】
3軸のソースコイル16iにおける互いに直交する3つのコイルそれぞれを16x,16y,16zで、3軸センスコイル22jの3つのコイルを22X,22Y,22Zとして考える。また、それぞれのコイルのばらつきはないとする。そして3軸のソースコイル16iの各コイル16x,16y,16zをそれぞれ駆動した時の3軸センスコイル22j(の3つのコイル22X,22Y,22Z)で検出される信号出力を以下のように定義する。
【0065】
3軸のソースコイル16iのうち、
コイル16xを駆動したときのセンスコイル出力を、Xx,Yx,Zx
コイル16yを駆動したときのセンスコイル出力を、Xy,Yy,Zy
コイル16zを駆動したときのセンスコイル出力を、Xz,Yz,Zz
とする。
【0066】
3つのコイル16x,16y,16zでそれぞれ形成される磁界強度の2乗に対応する検出信号出力Xx^2+Yx^2+Zx^2、Xy^2+Yy^2+Zy^2、Xz^2+Yz^2+Zz^2の値で確定される8個の位置がソースコイル16iの検出位置の候補として得られる。
【0067】
また、検出部26の同期検波で得られるXx,Yx,Zx、Xy,Yy,Zy、Xz,Yz,Zzの位相情報からセンサ(3軸センスコイル22j)を原点にした座標におけるソースコイル16iの存在する(8個の象現の内の)1つの象現が確定する。
これにより、ソースコイル16iの存在位置が確定する(この実施形態では、後述するようにソースコイル16iの存在位置を検出された磁界強度に対応する信号を用いて直接計算で求めることを行わないで、予め測定により得た基準となるデータを参照して存在位置を算出(推定)する)。
【0068】
このように、3軸のソースコイル16iと、3軸センスコイル22jを用いれば、離散的なソースコイル16iの位置を検出できる。
また、図1に示すようにベッド4の複数箇所に3軸センスコイル22jを配置すれば、より正確に各ソースコイル16iの位置を検出できることになる。
【0069】
また、図11は(無芯ソレノイドと表現される)1軸のソースコイル16iを用いて3軸センスコイル22jで位置検出を行う様子を示す。
内視鏡検査の場合には、患者5はベッド4の上にいるため、内視鏡6の位置は必ずベッド4の上になる。
【0070】
つまり、ベッド4の4隅にセンサとなる3軸センスコイル22jを設ければ、このセンサ群に囲まれた領域の中に内視鏡6(内のソースコイル16i)が存在することになるので、設置した3軸センスコイル22jごとにソースコイル16iの存在する象現が限定される。
【0071】
ソースコイル16iを駆動したときの1つの3軸センスコイル22の出力をXi,Yi,Ziとすると、Xi^2+Yi^2+Zi^2で関連づけられる磁界強度となる3軸センスコイル22からの距離にソースコイル16iが存在することになる。
【0072】
しかし、1軸コイルは一般にダイポールとして表現され、その等磁界面は球にならないで図12に示すように楕円状になる。
そのため、どの方向を向いているかが未知のソースコイル16iの位置を一つの3軸センスコイル22による等磁界面Xi^2+Yi^2+Zi^2のみからは同定できない。
【0073】
そのため、ベッド4に複数設けた3軸センスコイル22jそれぞれに関して測定されるXj^2+Yj^2+Zj^2で関連づけられる距離を用いる。この場合、各3軸センスコイル22jの設置位置は既知であるので、例えばベッド4に固定した1つの座標系で表すことができる。
ソースコイル16iで発生する等磁界面がXs^2+Ys^2+Zs^2と表される磁界強度をセンスコイル22jで検出してその間の距離を推定することを考える。
【0074】
すると、センスコイル22jで検出された磁界強度からその磁界強度を含むような等磁界面を想定すると、中心のソースコイル16iに対してその等磁界面上にセンスコイル22jが存在することになり、中心から等磁界面までの距離の最大値及び最小値をそれぞれRmaxj、Rminjと、それらの間の距離にセンスコイル22j及びソースコイル16iが存在することになる。
【0075】
つまり既知の位置のセンスコイル22jを基準にすると、図11に示すように最大距離Rmaxjの距離の内側、最小距離Rminjの外側にソースコイル16iが存在することになる。
【0076】
各3軸センスコイル22jで測定され、各3軸センスコイル22jごとに異なるXj、Yj、Zjに対応するRmaxj、Rminjで表される球殻の重なり(volume)の中にソースコイル16iが存在することになるのでその領域の重心をコイル位置として検出することができる。
【0077】
これで、位置が求められるが、Rmax、Rminの差が大きい場合には誤差が生じる可能性がある。
【0078】
そこでXj、Yj、Zjに含まれる位相情報にソースコイル16iの傾きが表されていることを利用して先に求めたvolumeのなかでの傾きを求める。
これにより、さらに正確な位置となるよう、先の位置を補正する。
また、ソースコイル16iの相互の間隔は既知であるので、さらにこの値で補正してもよい。
【0079】
この場合、図13に示すように、内視鏡6は連続しているので、求めた離散的なソースコイル16i位置(×印で示す)の傾き(dx/dl、dy/dl、dz/dl)は、ソースコイル位置を元に補間した曲線lのソースコイル位置での接線方向と等しく、もしくは近似値になるはずなのでさらに位置の補正を行ってもよい。
【0080】
この様にして検出された複数の位置情報により推定された内視鏡6の挿入部7の形状を後述するようにモデル化した画像100で、モニタ23の表示面に例えば図14のように左側のグラフィックス出力領域に表示される。右側の領域はユーザが操作パネル35からのキー入力等により、視点(位置と原点との距離)、回転角、視点位置とz軸とのなす仰角等を設定するユーザインタフェース領域である。
【0081】
図15はスコープ内のソースコイル16iの作る磁界を外部の3軸センスコイル22jによって検出し、磁界強度と2点間の距離との関係からソースコイル16iの位置を得、複数のソースコイル16iの各位置検出に基づいて挿入状態にある挿入部形状(簡単にスコープ形状とも記す)をモニタ(CRTとも記す)上に表示するフローを示す。
このフローの全体構成は、その処理内容別に、以下のB1〜B4の4ブロックに分けることが出来る。
【0082】
B1:初期化ブロック(Initialize Block)
このブロックで、本プログラムの全機能に関する初期化作業が完了する。具体的には、スコープ形状をCRT上に出力する手法に基づく初期パラメータの設定、ハードウェアが検出する磁界強度から得られた位相情報と振幅情報とから、ソースコイル16iの存在位置を算出する際に使用する基本データのメモリ読み込み、ハードウェアを制御するための各種ボードの初期化等が実施される。尚、詳細な処理内容に関しては、後にブロックごとの説明項目で行う。
【0083】
B2:ハードウェア制御ブコック(Hardware Control Block)
本システムでは、内視鏡6の挿入部7内に配置固定されたソースコイル16iの位置座標をソースコイル16iの発生する磁界強度から算出し、これを基に挿入状態にある内視鏡6の挿入部7の形状を推定する。
このブロックでは、ソースコイル16iの駆動を切換えて磁界を発生させ、その発生磁界強度をセンスコイル22jで検出し、この検出出力をソースコイル位置座標が計算できる形に変換して出力するまでを担う。
【0084】
ソースコイル16iの駆動切換えは、内視鏡6のどこに位置するソースコイルかが分かるようになっており、ソースコイル16iの磁界強度を検出するセンスコイル22jは、図6に示したように直交する3つ軸にそれぞれのコイルの面が平行となるように製作され、1個のセンスコイル22jにつき直交する3軸方向の磁界強度成分が検出できるように構成されている。検出された磁界強度のデータは、ソースコイル位置を計算する際に必要となる振幅データと位相データとに分離されて出力される。
【0085】
B3:ソース位置算出ブロック(Sourcr Position Calculate Block)
前ブロックでの磁界検出によって得られた振幅データと位相データを基に、磁界強度と2点間の距離との関係を利用して、ソースコイル16iの位置座標を算出するまでを担う。まず、振幅データと位相データに対して、センスコイル22jの各軸方向の径の大ききの違いやソースコイル16iとセンスコイル22jとの位置の関係の捕正を施して、各センスコイル22jの設置位置で検出されると考えられる磁界強度を算出する。
【0086】
こうして算出された磁界強度から、ソースコイル16iとセンスコイル22j間の距離を求める。但し、挿入状態にあるソースコイル16iの姿勢(ソレノイド状コイルの方位)が分からないため、ソースコイル16iの存在位置はある球殻の範囲内までの限定しかできない。そこで、センスコイル22jを3個以上用意し、ソースコイル16iの存在可能な領域の重なりを求め、その領域の重心位置をソースコイル16iの位置座標として出力する。
【0087】
B4:画像表示ブロック(Image Display Block )
ソースコイル位置座標として得られたデータを基にスコープ形状を構築して、その描像をCRT上に出力するまでを担う。ソースコイル位置座標として得られた1個以上の座標をデータを基に、全体として滑らかな連続座標を構築する。この連続座標によりスコープ形状らしく見せるためのモデリング処理を行う(多角形柱、色階調、彩度、輝度の利用、陰線処理、パースペクティブ等)。
【0088】
更に、CRT表示されたスコープイメージモデルは、任意の方向に回転、拡大縮小が可能であり、現表示の視点位置や患者の頭方向が一目で分かるボディーマーカも表示できる。終了時の視点位置は自動的に保存され、次回の初期視点位置となる。術者が見易いと考える視点方向を記憶するホットキーも存在する。
次に各ブロックごとの詳細な内容を説明する。
【0089】
B1:初期化ブロック
最初のステップS11ではグラフィック頁の初期化(VRAMの初期化)を行う。また、CRT表示したスコープイメージ像を更新する際、新しい像を上書きすると、観察者に対し、書き換えがちらつく画像の印象を与え、スムーズな画像で無くなってしまう。そこで、複数のグラフィック頁を絶えず切換えてイメージを表示することで、動画像的な滑らかさを実現している。
また、以下のように使用する色、階調の設定を行う。
【0090】
使用できる色数はハードウェアごとに制限があり、パレット番号という形で割り当てがなされている。しかし、デフォルトのままでは2階調しかない。そこで、利用可能な色数の範囲でより豊かな階調を実現するため、パレットの設定を行った。例えば図14において枠F1、マーカm1,m2、(図示しない)表示モデル名の部分に3色、残りを全て挿入部7のモデル化した画像100の階調表示に用いる。
【0091】
これにより、視点に近いほど明るく、遠いほど暗く表示することが可能になり、挿入部7を2次元で表示した画像100に立体感や奥行きを持たせて表現することを可能にした。もちろん、階調数を増減することは任意である。また、階調以外に採用している色もR,G,Bの構成より作られており、微妙な彩度や輝度を表現することを可能にした。
【0092】
次のステップS12で初期視点位置の自動読み込み等のイメージパラメータの初期化を行う。
スコープ像をどのように見ることが見易いと感じるかは、術者の好みによるところが大きい。もし、初期視点位置を固定してしまうと、術者はスコープ像が見やすいと感じる視点位置にわざわざ再設定しなければならず、使い勝手が低下する。
【0093】
そこで、希望とする視点位置をファイル(パラメータファイル)の形で保存しておき、プログラム起動時にそのファイルを読み込むことで、プログラム開始直後から術者の見やすい視点位置からスコープ像を見ることが出来る手段を設けた。
【0094】
また、この実施形態ではスコープ像とテキスト画面の分割表示する。
スコープ像とテキスト画面を分割したことにより、スコープ像の回転や拡大縮小の程度を視覚的、数値的の両面から確認できるようにした。
次のステップS13でソースコイル位置導出のための原理を格納した原理元データをロードする。このデータは次の関係の基準データ或は基準情報である。
【0095】
磁界強度と2点間の距離との関係
測定原理は、1軸のソースコイル16iの出力を直交3軸で製作されたセンスコイル22jで検出し、その磁界強度よりソースコイル16iとセンスコイル22jの間隔を得ることである。両コイルの間隔を得るにあたり、1軸ソースコイル16iの作り出す磁界分布を示す超函数から直接解くのではなく、ソースコイル16iの姿勢(軸方向の方位)の違いによる最大となる磁界強度出力と最小となる磁界強度出力とを利用する新しい距離算出法を導入した。
【0096】
図16に示されるグラフは、この距離導出原理の基本となるデータである。これは、シールドルーム内で実測されたデータをグラフにしたものである。つまり、1軸ソースコイル16iと3軸センスコイル22jとの距離を様々な値に設定したときに、各距離値でソースコイル16iの軸方向を変えた場合に3軸センスコイル22jの位置で検出される最も大きい磁界強度の値(最大磁界強度値)と、最も小さい磁界強度の値(最小磁界強度値)を測定したものを、それぞれプロットしてグラフ化にしたものであり、上側の曲線Cuが最大磁界強度曲線、下側の曲線Cdが最小磁界強度曲線を表している。
【0097】
2つの曲線Cu,Cdは、両コイル間の距離が小きい場合は、ソースコイル16iの向きによって検出される値に差が生じるが、ソースコイル16iの大ききに比べコイル間の距離が十分大きくなるに従って検出される値に差がなくなる。これは、ダイポールによって形成される磁界は距離が小さいと、その等磁界面は球面にならないが、ダイポールの大きさに対して十分大きな距離ではダイポールの大きさに殆ど依存しないでほぼ球面になるという定性的な物理現象と矛盾しない結果である。
【0098】
更に、ある磁界強度Hが検出された場合、最小半径r_minと最大半径r_maxとに挟まれる球殻内にしかソースコイル16iは存在し得ないとの限定を加えることが可能になる。そして図16の測定範囲では、この球殻内の距離(=r_max−r_min)は、磁界強度Hの値にあまり依存しないでほぼ60mm程であることが2つの曲線Cu,Cdより分かる。
【0099】
図17(a)は図16のデータを得るための測定法を示す。図17(a)に示すように例えば原点に配置した3軸センスコイル22(立方体の中心を原点に一致させる)に対し、例えば既知の距離r1に1軸ソースコイル16を配置し、このこの位置でソースコイル16の方向(その軸方向)を変えて、原点に配置した3軸センスコイル22でその磁界強度を測定し、その最大値H1及び最小値H1′を測定する。
【0100】
つまり、ソースコイル16の方向を変えると、それに応じて3軸センスコイル22で検出される磁界強度は変化し、それらの測定値における最大値H1及び最小値H1′を求める。
【0101】
なお、一般的にはソースコイル16の軸方向がセンスコイル22(の中心)とソースコイル16(の中心)とを結ぶ線上に一致した状態(図17(a)の実線で示すソースコイル16の向き)の場合にほぼ最大値H1、この実線で示すソースコイル16と直交する2点鎖線で示す状態の場合にほぼ最小値H1′が得られる。
【0102】
同様に距離r1の値を、r2に変えて、その距離r2で3軸センスコイル22で同様に測定しその最大値H2及び最小値H2′を求める。さらに距離を変えて同様の測定を行い、それぞれの距離で得られた最大値及び最小値をプロットし、最大値同士及び最小値同士を補間するようにそれぞれ線で結ぶと図17(b)に示す最大磁界強度の曲線Cuと最小磁界強度の曲線Cdが得られる。これら曲線Cu,Cdのデータはハードディスク等のデータ格納手段に格納されており、内視鏡形状表示の動作が開始すると、例えば図8のRAM30の基準情報格納部30b″に転送されて格納され、CPU30cは必要に応じて参照する。
【0103】
なお、3軸センスコイル22で検出される磁界強度に比例した実際の測定値は、この3軸センスコイル22を構成する3つのコイルでそれぞれ検出された信号22X,22Y,22Zをそれぞれ2乗して総和した値、22X・22X+22Y・22Y+22Z・22Zの平方根を求めた値であり、この求めた値を標準の磁界測定装置(例えばガウスメータ)で校正(キャリブレイション)することにより、正確な磁界強度の測定値を得ることができる。
図16に示したデータは、磁気シールドされたシールドルーム内でこのような測定を詳細に行ったものである。
【0104】
図17(b)の2つの曲線Cu,Cdを参照することにより、3軸センスコイル22で検出された磁界強度から、その3軸センスコイル22に対してソースコイル16が存在する3次元領域を推定することができる。
【0105】
例えば、ある磁界強度Haが測定で得られた場合には、この磁界強度Haに対応する距離は図17(b)から、磁界強度Haの値が曲線Cd,Cuとそれぞれ交わる距離raとra′の間の距離範囲にソースコイル16が存在する3次元領域であることが推定できる。つまり、ある磁界強度が得られた場合には、その値が最小磁界強度の曲線Cd及び最大磁界強度の曲線Cuとそれぞれ交わる最小距離r_minと最大距離r_maxとの間であると推定できる。
【0106】
また、図18はr_maxの場合(最大磁界強度)に対して、シールドルーム内での測定値と、その他の場所(具体的には居室)での磁界強度の測定値を比較したものであり、シールドルーム内での測定値と居室内での測定値とは殆ど一致する。つまり、居室内での測定値はシールドルーム内での測定値と殆ど一致する値が得られると共に、その測定値の距離に対する磁界強度の特性もシールドルーム内での測定値による特性と殆ど一致する(図示しないが、最小磁界強度の場合も同様の特性を示した)。
【0107】
従って、シールドルーム内での測定値の曲線の関数の形を予め求めておけば、他の環境においてもその関数を用いて精度良くその環境での最大磁界強度曲線及び最小磁界強度曲線を決定できる。
【0108】
つまり、内視鏡検査の環境が変化する状況でも、その環境で数カ所のmax及びminの方向の磁界強度を測定をすることが可能な測定装置によって、予め磁界を測定することにより、その環境での最大磁界強度及び最小磁界強度の曲線データを得ることが可能になり、環境ごとに詳しいデータを測定により求める手間を省ける。このように図18はたいへん普遍的なデータであることを表している。
【0109】
上記最大磁界強度及び最小磁界強度のデータを記録したファイル(max_minデータファイル)をロードすると共に、補正用データファイルから補正用データもロードし、以下の補正を行う。
【0110】
センスコイルの径の補正
センスコイル22jの設置位置での磁界強度がどのくらい正確に得られるかは、たいへん重要な問題である。直交3軸で制作されたセンスコイル22jは、同芯かつ同じ直径で製作することは殆ど不可能であり、直径の違いにより出力検出値に違いがある。また、ソースコイル16iの向きや方向によっても出力値に変化が見られる。
【0111】
そこで、実際に磁界検出を行い、ソースコイル16i及びセンスコイル22jの配置と磁界検出値の変化を調べた。その結果、それぞれの大きさの直径について、磁界検出の際に得られる位相データの符号別に2組の補正係数を掛け合わせるだけで、直径の大きさの違いや、両コイル16i,22jの配置の関係を補正することができることを見出した。
【0112】
そこで、あらかじめ測定された各軸ごとについての位相データの符号別の補正係数を初期化ブロックB1で取り込む。この結果を磁界強度算出を行うソース位置算出ブロックB3で記述する。
【0113】
上述のデータのロードの後、次のステップS14でハードウェアの初期化を行う。このステップS14では図8に示す例えばソースコイル切換回路28aの設定内容をリセットして初期状態にする。また、A/Dコンバータ30aの設定内容をリセットし、使用環境に対応した設定状態にする。このようにしてハードウェアを形状算出の使用可能な状態に設定し、次のブロックB2を動作させる。
【0114】
B2:ハードウェア制御ブロック
まず、ステップS21では図8で説明したようにソースコイル切換回路28aに切換信号を印加してソースコイル16iを選択し、そのソースコイル16iをドライブする。そのソースコイル16iで発生した磁界はセンスコイル22jで検出される。
【0115】
従って、ステップS22に示すようにセンスコイル22jで検出された検出信号を位相検波回路26を経てA/Dコンバータ30aでサンプリングする。サンプリングされたデータは一旦、RAM30bに書き込まれる。
ステップS23に示すように(CPU30cはタイミング制御回路30dはプローブ15に内蔵された)全てのソースコイル16iに対する駆動が終了したか否かを判断し、終了していない場合には次のソースコイル16iを駆動するようにタイミング制御回路30dを制御する。
【0116】
そして、全てのソースコイル16iを駆動した場合には、RAM30bのデータ(つまり位相検波回路26dを通したPSDデータ)から振幅データ、位相データを算出する(図15のステップS24のPSD算出、ステップS25の振幅データ、位相データ参照)。
【0117】
上記振幅データ、位相データから次のブロックB3の処理に移る。まず、ステップS31の磁界強度算出を、補正係数を用いて行う。この磁界強度算出に関するフローの具体的内容は図19に示す。ここで、そのフローの説明を加える。 (a1)まずステップS31_1で位相データの符号判断を行う。
【0118】
センスコイル22jは、直径の異なる1軸コイルを3個保有している。そのため、それぞれの1軸コイルに対して位相データの符号を分類すると、8通りの場合に分類される。これは、次のようにして行う。
【0119】
a1_1.符号を高速判断するために、+なら1、−なら0を出力する条件演算子を作成する(SIG(x)→(x<0)?0:1)。
a1_2.最小の直径の位相データの符号を調べ、その結果をパラメータxに代入(x+=SIG(phi))。
【0120】
a1_3.xのビットを左シフトする。
a1_4.次の直径の位相データの符号を調べ、その結果をパラメータxに加える。
a1_5.xのビットを左シフトする。
【0121】
a1_6.最大の直径の位相データの符号を調べ、その結果をパラメータxに加える。 このようにすると、それぞれの直径に対する位相データの符号の組を8種類のxの値に置き換えることができ、個別に符号の判定をするよりも高速に処理が可能になる。
【0122】
(a2)次のステップS31_2で振幅データに含まれる、直径や配置の違いの影響を補正する。
(a1)で、位相データの組み合わせがパラメータxの値に置き換えられているので、xの値に応じて8通りの変換式を書き下す。これで、高速に各振幅データに適切な補正係数を掛け合わせることが可能になる。
【0123】
ここまでの処理で、直径の違いや配置の違いに対するデータの補正が完了する。
(a3)次のステップS31_3で磁界強度を算出する。
【0124】
(a2)で、各方向成分の直径の大きさやコイルの配置の違いが出力に与える影響を補正できているので、それぞれの成分の2乗和の平方根を算出することで、磁界強度が算出できる。
以上の手続きによって、直交3軸で製作されたセンスコイル22jの出力から、磁界強度をより正確に、高速に算出できる。
【0125】
次に図15のステップS32の(ソースコイル16iとセンスコイル22j間の)最大距離と最小距離の算出を最大及び最小距離データ(図16のデータ)を用いて行う。 このステップS32は前のステップS31で得られた磁界強度を用いて、センスコイル22jとソースコイル16iとの最大の距離と最小の距離とを算出するまでの処理を行う。
【0126】
2点間の距離と磁界強度とに比例関係が存在することは、ごく一般に広く知られた物理現象である。しかし、ある空間上の一点にl軸のソースコイル16iが作り出す磁界強度は一般に超函数で表されるため、たとえソースコイル16iの向きが分かり、磁界強度が測定されても、ソースコイル16iの存在する方向や距離を算出するのは容易ではない。
【0127】
そこで、ある磁界強度が検出できた場合、その出力が最も強く取れる方向にソースコイル16iが向いていると仮定した場合の距離をR_max、最も弱く取れる方向にソースコイル16iが向いていると仮定した場合の距離をR_minとすれば、真のソースコイル16iとセンスコイル22j間の距離R_trueは、R_min≦R_true≦R_maxという範囲内に限定することが出来る。
【0128】
前のステップS31で得られた磁界強度Mと、既に読み込まれているR_max曲線の磁界強度データmを比較し、mb≦M≦mtとなる点をピックアップする。mbとmt間は直線的に変化しているとして、その中途の点の磁界強度Mに対応する距離をR_maxとする。
【0129】
R_minについても同様に行う。ここで、mbとmt間を直線的に変化しているとしたのは計算を簡単化したためであり、曲線近似でも何等問題はない。また、R_max曲線の函数形f(x)を導き出し、R_max=f(M)として算出しても、もちろん良い。
【0130】
ここで採用した距離の算出手段或は方法は、距離R_trueの値が確実には求まらないものの、複雑な超函数を解くということを要求されない極めて簡便な手段或は方法である上、1軸のソースコイル16iの向きが分からない場合でも、ソースコイル16iの存在範囲を限定できる応用範囲の広い手段或は方法となる。
【0131】
次にステップS33のソースコイル16iの位置座標算出を行う。このステップS33ではセンスコイル22jとソースコイル16iとの距離から、ソースコイル16iの座標を算出するまでの処理を行う。
あるセンスコイル22jから見たときのソースコイル16iの存在しうる範囲は、前のステプS32で得られたR_maxとR_minとによって囲まれる球殻内である。
このようなソーズコイル16iの存在しうる範囲をより微小な空間に限定するため、複数個のセンスコイル22jから見いだされたソースコイル16iの存在可能領域の重ね合わせを利用する。各々のセンスコイル22jに対し、同一のソースコイル16iから得られたソースコイル16iの存在領域は、ソースコイル16iの位置が動いていない限り、すべてが重なり合う領域が必ず存在する。
【0132】
このような領域の境界は、各々のセンスコイル22j位置を中心とする半径R_max,R_minの球の交点に他ならない。球の交点であることから、少なくともセンスコイル22jが3個あれば、ソースコイル16iは各センスコイル22jのR_max,R_minを半径とする球の8交点によって囲まれる微小領域にその存在が限定できる。
【0133】
3つのセンスコイル22jをSa、Sb、Scとし、それぞれRa_max,Ra_min,Rb_max,Rb_min,Rc_max,Rc_minと距離が得られているとすると、ソースコイル16iは次の8点を頂点とする微小空間内にその存在が制限される。
【0134】
Ra一max,Rb_max,Rc_maxをそれぞれ半径とする球の交点
Ra一min,Rb_max,Rc_maxをそれぞれ半径とする球の交点
Ra_max,Rb_min,Rc_maxをそれぞれ半径とする球の交点
Ra_max,Rb_max,Rc_minをそれぞれ半径とする球の交点
Ra_min,Rb_min,Rc_maxをそれぞれ半径とする球の交点
Ra_min,Rb_max,Rc_minをそれぞれ半径とする球の交点
Ra一max,Rb_min,Rc_minをそれぞれ半径とする球の交点
Ra_min,Rb_min,Rc_minをそれぞれ半径とする球の交点
そして、これら8点の囲む微小領域の重心点をソースコイル16iの位置座標として出力する。さらに、センスコイル22jの数が多くなるほど、ソースコイル16iの存在可能領域はさらに小さく限定でき、ソースコイル16iの位置をより正確に得ることが出来る。
【0135】
このソースコイル位置限定方法は、3個の球の交点を算出するという単純な算術計算であるので、その処理時間がかからない上、ソースコイル16iの存在領域をごく微小な領域内に限定することを可能にした極めて優れた方法である。
【0136】
このようにして各ソースコイル16iの位置座標の算出を行い、ステップS34のソースコイル16iの位置座標データを得る。これらのデータを用いて次のブロックB4の処理に移る。
【0137】
B4:画像表示ブロック
このブロックB4は、ソースコイル16iの位置座標データを基に、挿入状態にあるスコープ形状イメージをCRT上に描写するまでの処理を担う。
ソースコイル16iの位置座標は、挿入されたスコープの通過した軌跡である。そこで、これを基に挿入状態にあるスコープ形状を推定する。スコープの挿入形状が推定できたら、結果をCRT上に描写する。そのとき3次元のスコープ形状を2次元のCRT画面で表示しなければならないため、その描像がより3次元的に表されるような工夫が必要となる。
【0138】
又、スコープイメージが任意の方向に回転させられたり、今どのような方向からスコープイメージを眺めているのかが瞬時に判断できるようであれば、その使い勝手はさらに向上する。
このようなことを鑑み、このシステムにおいては以下のように機能別に分類し、それぞれのモジュールごとの特徴を加え合わせた表示方法を実現した。
【0139】
S41キーボード入力処理
S42スコープイメージ描写処理
S43基準面表示処理
S44マーカ表示処理
スコープイメージの描写には、これらすべてが必要なわけではないので、必要に応じて機能を取捨選択できる。
【0140】
この方法は、取捨選択可能なスコープ形状表示の補助手段を取り入れることで、より3次元的なスコープ形状イメージをCRT上で再現できる、という点で優れている。
そこで各モジュール毎の特徴を以下で説明する。
【0141】
S41:キーボード入力処理
ここでは、与えられたユーザコマンドに対応するキー入力がなされた場合、その内容に応じて設定パラメータ等を変更するまでを担う。
【0142】
ユーザからの要求が高いと考えられる付加機能が装備されていることは、そのシステムの使い勝手を左右する。又、機能選択は平易な作業であり、ユーザが望む際には常に操作が可能で、ユーザの要求内容が速やかに実現される必要がある。
【0143】
このステップS41は具体的には図20に示す処理を行う。
まずステップS41_1に示すようにキーボードからの入力取得を行う。
キー入力がなされているときには、入力キー変数KBにその入力内容が代入される。
【0144】
次にステップS41_2でコマンド誤入力のチェックを行う。ここで、入力されたキーが誤ったものでないかを判断する。具体的にはコマンド誤入力フラッグのチェックにより行う。このフラッグがONのとき、さらに次の判断処理のステップS41_4で入力キーが誤りでないかどうかの判定を行う。一方、OFFであれば、次のコマンド処理のステップS41_3に進む。
ステップS41_4では、入力キーが本当に正しいのかの確認を行う。3通りの判断結果を処理する。
【0145】
Yesの場合:キー入力に従ってコマンドを処理する。
キー入力の内容を一時的に保存した変数dumyの内容を入力キー変数KBに代入(S41_5)した後、コマンド処理のステップS41_3に進む。
Noの場合:キー入力の内容は破棄される。入力キー変数KBの内容を破棄し、コマンド誤入力フラッグをOFFに設定する(S41_6)。
【0146】
未入力の場合:誤入力にユーザが気付くのが遅れる場合がある。しかし、そのようなときでもスコープイメージは、更新される必要がある。ここは、これに対応するための処理であり、コマンドが正しいのかの判断がなされるまで何も処理を行わず、他のコマンド処理を禁止する。
【0147】
この手続きによって、ユーザがキー操作を誤ったとしても、安全にコマンドキャンセルが可能になる。
次にコマンド処理のステップS41_3の内容を説明する。
【0148】
ここでの処理は、入力されたコマンドを処理し、スコープイメージの作成に反映する。このコマンド処理の具体的内容は図21に示すように13個の処理3_1ないし3_13を行う。
【0149】
3_1.x軸回りのイメージ像の回転
x軸回りに視点位置を回転したときに得られるイメージ像を出力する。
例えば、xキーが入力されるとx軸方向に視点が回転する。こうして移動した視点位置座標より、回転角を算出する。この回転角を変数pitchに代入する。この変数は、スコープイメージを作成する際のアフィン変換で参照され、x軸回りに回転した出力像が得られる。
【0150】
3_2.y軸回りのイメージ像の回転
y軸回りに視点位置を回転したときに得られるイメージ像を出力する。
例えば、yキーが入力されるとy軸方向に視点が回転する。こうして移動した視点位置座標より、回転角を算出する。この回転角を変数headに代入する。この変数は、スコープイメージを作成する際のアフィン変換で参照され、y軸回りに回転した出力像が得られる。
【0151】
3_3.z軸回りのイメージ像の回転
z軸回りに視点位置を回転したときに得られるイメージ像を出力する。
例えば、zキーが入力されるとz軸方向に視点が回転する。こうして移動した視点位置座標より、回転角を算出する。この回転角を変換bankに代入する。この変数は、スコープイメージを作成する際のアフィン変換で参照され、z軸回りに回転した出力像が得られる。
【0152】
3_4.イメージ像の拡大&縮小
原点と視点位置との間隔を遠ざけたり接近させたりした場合のイメージ像を出力する。
例えば、Eの表記で識別されるEキーが入力されると、方向を変えずに視点位置と原点との距離を像かする。このときの新しい視点位置と原点との距離が、変数viewpointに代入される。
【0153】
また、この視点位置の変化に対応して、3次元像を2次元像に投影する面(プロジェクトスクリーン)の位置も変化させ、変数screenに代入する。これは、視点位置の変化に伴うパースペクティブを調節するためである。これらの変数が、3次元ー2次元投影(3D→2D投影と略記)変換の際に参照され、イメージを拡大縮小した出力像が得られる。
【0154】
3_5.初期視点位置からイメージ像表示
回転、拡大或は縮小によって変更された視点位置を装置側で規定する初期視点位置に戻し、そこから見たイメージ像を出力する。
【0155】
例えば、初期視点位置を(0,0,100)に設定しておき、Rの表記で識別されるRキーが押されたとき視点位置をセットすることにすると、Rキー入力で、変数pitch、head、bank、viewpoint、screenの各変数に初期視点位置から計算される値がまとめて代入される。これらの変数は、3_1〜4と同様にして参照され、初期視点位置からの出力像が得られる。 これにより、視点をどの方向に回したかが分からなくても、視点位置をリセットすることが可能になる。
【0156】
3_6.ユーザ登録視点位置からのイメージ像表示
この機能は、3_5と同様である。大きな違いは、視点位置が装置側で規定する初期値でなく、ユーザ登録された視点位置、ということである。ある視点位置のユーザ登録法は、次の3_7に示される。登録できる視点位置は、幾つでも良い。 この機能により、視点位置をどのように変化させた後でも、瞬時にユーザの好む視点位置からの出力像を得ることが可能になる。
【0157】
3_7.視点位置のユーザ登録
ある視点位置から出力されたイメージ像を任意の時に見られるように、ユーザはこの視点位置を登録することができる。ここで、視点位置を登録すると、3_6の機能を使用することができる。
【0158】
例えば、Uの表記で識別されるUキーを押すと、その時点での視点位置座標をデータとして保存する。或いは、視点位置座標から計算した、変数pitch、head、bank、viewpoint、screen等を保存しても良い。この登録キーは複数用意されていて、複数の視点位置を保存することができる。また、一度保存した視点位置座標のデータを更新することも可能である。
【0159】
3_8.イメージ出力の画面の複数分割
イメージ出力は、通常1画面であるが、これを複数に分割して、複数の視点位置からのスコープイメージの同時出力を可能にする。
【0160】
例えば、2或は4の表記で識別される2又は4キーを押すと画面が2或は4分割される。このとき、画面分割量に応じ、分割された画面にスコープイメージ像が収まるように座標変換が行われる。0の表記で識別される0キーを押すことにより、複数に分割された画面のアクティブ画面を選択できる。
【0161】
3_9.コメント入力の画面表示
テキスト出力画面を患者のリストやシステムの使用状況に関するコメント入力画面に切り換える。
例えば、Tの表記で識別されるTキーを入力すると視点位置座標等を出力している画面にコメント入力テキスト画面をオーバーラップさせ、カーソルを出力してコメント入力を促す。
【0162】
3_10.背景色の変更
周囲の影響等のためスコープイメージが見にくいとき、パレット変更により背景色の色合いを変更できる。
例えば、Bの表記で識別されるBキーを入力すると、背景色を決定しているRGBパレットのBに関するパラメータ値を変化させることができ、微妙な色合いを変更できる。
【0163】
3_11.マーカ表示のON/OFF
このシステムでは、挿入状態にあるスコープイメージと独立して、指等に付けた単独コイル(以下、マーカ)の位置を表示する機能を有している。術中にマーカを使うことになった場合、例えば、Mの表記で識別されるMキーを押すことにより、マーカの位置がCRT上に表示される。
【0164】
これは、Mキーを入力すると、マーカをCRT上に出力するためのステータスフラッグが設定される。設定されていると、マーカを表示するプログラムルーチンを実行され、マーカが表示される。マーカ使用後は、再びMキーを押す。ステータスフラッグが解除され、マーカを出力するためのルーチンを通過することを禁止して、マーカの表示を取り消す。
【0165】
この機能により、マーカとイメージ出力像を比較することができ、イメージされたスコープ像の位置を知るための補助手段としてマーカが提供できる。
【0166】
3_12.ソースコイル座標の数値表示ON/OFF
通常出力されるイメージ像はその形状のみであるが、例えばNの表記で識別されるNキーを入力すると、イメージ像と同時に検出されたソースコイル座標の数値が出力できる。
ON、OFFの手段は、3_11の場合と同様である。例えば、Nキーを入力することにより、数値表示のためのステータスフラッグが設定される。数値表示が不要になれば、再びNキーを入力することで、ステータスフラッグを解除し、数値表示を取り消す。
【0167】
これより、視覚的な位置関係に加え、数値的な位置関係も得ることができる。3_13.プログラム終了
プログラムをより安全に終了させる。
【0168】
例えば、Qキーを押すとプログラムが終了できる。但し、誤ってQキーが入力されたときにプログラムが終了してしまうことを避けるため、次のような対応がなされている。
【0169】
(3_a)コマンド誤入力フラッグを確認する。
(3_b)フラッグがOFFであれば、フラッグをONにし、入力キー変数KBの内容を、変数dumyに代入する。
【0170】
(3_c)フラッグがONであれば、入力キー変数KBに従い、コマンドを実行する。
この手続きにより、システム使用中に、プログラムを誤って終了してしまう危険を回避できる。
【0171】
上述したように各コマンドーつ一つに対して、一つのキーが割り当てられている為、操作はきわめて平易である。
そして、あるキーが押された場合、その機能の変更を実現するために必要なパラメータを設定するだけであるため、プログラムの流れを妨げることはない。
【0172】
さらに、これらのコマンドの機能を実現させるためのパラメータは、1回の処理(ソースコイルが駆動され、磁界が検出され、ソースコイル位置が検出され、それからスコープ形状がCRT出力されるまで)の間のどこかで必ず参照されているため、コマンド要求通りに機能が実現されるまでのタイムラグも、きわめて小さい。
【0173】
この方法は、ユーザのキー入力に対して瞬時に対応できるにもかかわらず、スコープ形状描画へ与える影響はきわめて小さいという優れた手段である。
このステップS41_3の処理の後に次のステップS42のスコープイメージ描写処理に進む。
【0174】
S42:スコープイメージ描写処理
ここでは、磁界検出から得られたソースコイル位置座標から、スコープ形状を作成し、そのイメージ像を3次元的にCRTに表示するまでを担う。得られるソースコイルの位置座標は、スコープに挿入されたソースコイルの数の飛び飛びのデータである。そこで、これらのデータを基に、挿入状態にあるスコープ形状を推定しなければならない。さらに、このようにして得られたスコープ形状データを、いかに3次元的な形状としてCRT上に出力できるかが、このシステムの最大のポイントとなる。
【0175】
このスコープイメージ描写処理の処理フローは、図22の通りである。各々の詳細な処理内容は、各ブロック毎に触れることとし、より現実的な表示を実現するために、なぜ必須であるのかを順を追って触れていく。
【0176】
S42_a:算出されたソースコイル間の3次元補間
ステップS42_aの算出ソースコイル間の3次元補間の処理では、磁界強度検出によって算出されたソースコイル位置座標は離散的であるため、この算出データのみをつないでも軌跡が角張ってしまい、連続的に位置が変化するスコープ形状に対応しない。滑らかな全体のスコープ形状を作成するために、ソースコイル位置座標データに対して3次元補間を実施する。
【0177】
S42_b:3次元モデルの構築
現実のスコープは太さを持っているため、いくら滑らかなデータ点が得られているとしても、太さを持たない直線等で結び合わせたのでは現実のスコープを描写したとは言えない。そこで、ステップS42_bの3次元モデルの構築の処理では捕間データ間の連結を円柱またはn多角柱モデルで行い、太さの点においても実際のスコープ形状に対応して表示できるようにする。
【0178】
S42_c:アフィン変換
スコープ形状は、指定された視点位置から見た像として出力する。そこで、ステップS42_cのアフィン変換の処理では、ソースコイル位置導出の基準座標系としての世界座標系で得られているスコープ形状モデルデータを、画面表示用の視点座標系に変換する。なお視点位置は、ユーザが変更することが可能である。変更された内容は、ここで参照される。
【0179】
S42_d:3D→2D投影
本来スコープ形状は3次元であるが、その像をCRT画面上に出力するためには2次元に変換しなければならない。そこで、ステップS42_dの3次元像から2次元像への投影変換を行う。このとき、パースペクティブなどで、遠近を強調しても良い。
【0180】
S42_e:レンダリング
これまでの処理によって得られたスコープ形状イメージをCRT上に描写する。描写を行うにあたり、ステップS42_eのレンダリングの処理では、n多角形の側面処理、スコープのループの前後を表現するための陰線処理を行う。遠近によるシェーディング処理での階調表示、スコープの曲率等によりスコープモデル側面の輝度や彩度の調整を行う、等の処理を実施して、立体間をより強調しても良い。
【0181】
なお、上で述べたいくつかの項目は、必ずしも実施することが必要ではない。もちろん、実施すればその改良項目が持つ効果を含めた形でCRT上に描像が再現できる。また、図22に示す順序で行うことが必要というものでなく、挿入部形状を表示するモデルに応じてその順序を変更することにより、より短時間で同等の処理を行うことができる場合がある。
【0182】
これらの処理を通じて、数個のソースコイルの位置座標のみから、挿入状態にある3次元スコープ形状をCRT上に再現することが出来る。
また、この実施形態では、スコープの表示として以下のようにn角形柱モデルと、n角形連結モデルとを選択できるようにしている。従って、以下の具体例に沿って、3次元モデル構築等を説明する。
【0183】
まず、n角形柱モデルの場合を説明する。このモデルでは例えば図14に示すように挿入部の横断面を正n角形にモデル化してn角形柱として表示する(図14ではn=5としている)。nの数を大きくすると殆ど円となり、この場合には円柱として表示することになる。
【0184】
このモデルでの表示の処理内容のフローは図23となる。
図23(a)で、ステップS42_1の補間&3次元モデルの構築の処理は、図23(b)に示す処理を行う。
【0185】
ここでは、まずステップS42_1の3次元のBスプライン補間を実施している。この補間は、内挿点を必ず通るタイプの補間ではなく、その内挿点の近傍を通りながら滑らかな曲線を作成するものであり、内挿点を必ず通過する自然スプラインに比ベ、その計算処理が平易である。もちろん、自然スプラインを用いても、他の補間法を用いても、近似函数による補間でも良い。
【0186】
計算処理が比較的平易なBスプラインは、3次元捕間を実施しても処理速度が早いという点で優れている。
次にステップS42_12の3次元モデル構築としてn角柱モデル構築を行う。
【0187】
ここでは、ソースコイル位置座標の捕間データから、n多角柱モデル(以降、円柱も含んでいる、とする)によって、立体的なスコープイメージを構築する。実際の処理は図24に示すフローのようになる。
ソースコイル位置座標を補間したi番目とi+1番目のデータに関するn多角中モデルを作成する場合を考える。
【0188】
まず、ステップS51のようにiからi+1の点に向かう方向ベクトルPとその大きさ|P|を求める。
次に、ステップS52のように原点が始点となるように上記ベクトルPを平行移動する。平行移動したベクトルをKとし、その大きさを|K|とする。このベクトルKを図25(a)に示す。
【0189】
次に、ステップS53のようにベクトルKを座標軸の軸方向、例えばy軸に一致させる(ここでは、まずy軸回りに回転させ(図25(b))、次にx軸回りに回転させる(図25(c))ことでベクトルKをy軸方向に一致させる)。
【0190】
次に、ステップS54のようにy軸方向を向くベクトルK上の2点y1,y2を決定する。但し、a≦y1<y2≦|K|−a,2a<|K|とする(図26(a))。
次に、ステップS55のように2点y1,y2からベクトルKに垂直で大きさがaのベクトルA1,A2を作成する(図26(b))。
【0191】
次に、ステップS56のようにベクトルA1とA2を(360/n)°刻みで回転させ、A1,A2の座標を得て、これをn多角柱の基本データとする(図26(c))。
次に、ステップS57のように求めたデータの上面、底面のy軸の値をプラス、マイナスすることにより、基本モデルデータを作成する。
【0192】
次にステップS58のように得られた基本モデルデータ対し、ベクトルPをy軸方向に揃えた場合に行った変換の逆を行うと、ベクトルPの周りにn角柱モデルデータが作成できる(図27(a))。
次にステップS59の判断で再びステップS51に戻って同様な処理を全補間データに実施すると、スコープ形状のn多角柱モデルデータが出来上がる(図27(b))。
【0193】
ここで、上述したa≦y1<y2≦|K|−a,2a<|K|の条件におけるaについて説明する。もし、この条件を考慮しないで、ベクトルKに対するモデルデータを点iの周りに作成してしまうと、モデルデータが図28(a)のような重なり合いを起こし、スコープ形状が滑らかに表示できない。上記の条件があれば、n多角柱モデルデータは重なり合うことがないため、各モデルデータ間を図28(b)の点線のように結ぶことによって、滑らかなn角柱モデルを作成できる。
【0194】
モデルデータ算出に対して、ベクトルPをある軸の向きに揃え、もう一度逆変換するという作業は手間がかかるように思われるが、各軸回りの単純な回転で表されるため、その計算はきわめて容易である。
この方法は、軸回りの回転のみでn角柱モデルデータが算出できるという点で優れた手段である。
【0195】
もちろん、ベクトルPの回りで角柱モデルを作成するための変換式を算出することは、ベクトルPの向きが一定ではないため、難解な式となるが、これを使って角柱モデルを作成しても良い。
【0196】
次に図23(b)のステップS42_13のアフィン変換を行う。このアフィン変換はコンピュータグラフィックスで図形の座標変換を行う時に用いられる方法の1つで、座標変換を扱う場合に一般的に行われる。平行移動、回転、拡大、縮小等の単純な1次の座標変換は全てアフィン変換に含まれる。図29はx軸の回りの回転角(ピッチ角)、y軸の回りの回転角(ヘッド角)、z軸の回りの回転角(バンク角)によるアフィン変換の様子を示す。
この処理では、前述の世界座標で表されているスコープモデルデータを、ある視点位置から見たモデルデータに変換する。
【0197】
視点位置は、任意の方向に設定できるようにしている。そのため、視点位置がどの方向に移動したかを追跡し、その方向に追従する形でモデルデータを移動させることは、きわめて難解な処理を必要とする。そこで、視点は固定しているものと仮定し、本来動くことはないはずの世界座標系を便宜的に回転させる。これは、図30に見られるように、視点を移動させた像を得ることと同様の結果を与える。
【0198】
この方法は、視点がどの方向に移動した場合でも、世界座標系を便宜的に回すことで対応できるため、視点の移動に対するタイムラグをきわめて小さくできるという点で優れた手段である。
【0199】
次に図23(b)のステップS42_14の3次元−2次元投影(3D→2D投影)の処理を行う。
3次元像から2次元像への投影変換を行うこの3D→2D投影の処理では、以下に示す投影法を行うことで、目的に応じて遠近法的等で表示が実現できる。
【0200】
a)パースペクティブをつける場合、
3次元形状は、視点に近いものほど大きく、遠いものほど小さく見える。これは、3次元モデルデータを2次元データに変換する処理で実現できる。
【0201】
3次元座標を2次元平面に投影するために、仮想的にスクリーンを視点に対して垂直に、かつ3次元画像(S42_13までで得られた3D像)の反対側に配置する(図31(a)参照)。このような状態で視点から見た物体の投影面は、図31(b)のように、視点に近い側の投影像P1が、遠い側の投影像P2より大きくなる。投影スクリーンの位置を前後させ、パースペクティブの強調の度合いを変化させることも容易である。
【0202】
この方法は、2次元投影描像に対し、3次元的な奥行きを容易に付けることが出来ると共に、その強調の度合いを変化させることも容易であるという点で優れている。
【0203】
投影スクリーンを視点に対して対向する位置に設ける場合、角度を付けても良い。これは、スクリーンの傾け方で投影描像がどのように変化するかを見ることが可能になるため、パースペクティブの強調度合いを確認できる。
【0204】
b)パースペクティブをつけない場合、
また、パースペクティブを付ける代わりに、図31(c)のような投影方法も考えられる。このときの投影描像は、視点位置によらず全て等しい太さP3の像で表される。パースペクティブがないため、奥行き感はやや乏しくなるが、パースペクティブの影響で視点を接近させたときに描像が極端に大きくなりすぎたり、遠ざけたとき小さくなりすぎたりしないという点で、優れている。
【0205】
次にステップS42_15のレンダリングの処理を行う。この実施形態では図23(b)に示すようにペーストモデル表示PMとワイヤフレームモデル表示WMとの処理から選択できる。
【0206】
これらのモデルでの表示の説明に移る前に上述した世界座標系等の座標系を図32に示す。図32(a)はベッド4に固定された世界座標系を示し、図32(b)はユーザにより設定される視野座標系を示し、その原点は世界座標系の原点に一致する。また、図32(c)はスコープ形状の表示に使用されるモデル座標系を示し、世界座標系に一致する。
【0207】
また、図33はスコープ形状の表示を行う処理の途中で、各処理に適した座標系が採用されることを示す。例えば、ソースコイル座標は世界座標系であり、ソースコイル座標に対し、回転処理を行って、「視点」から見たソースコイル座標(つまり視野座標系)を求めた後、離散的なソースコイル座標に対し、データ補間を行ってデータ補間済みの「視点」から見たソースコイル座標を求める。
【0208】
次に3次元モデル構築処理で、ワイヤフレーム等によるスコープモデルを生成した後、2次元画面に表示するために、3次元ー2次元変換(透視投影変換)処理を行って、2次元データ、3次元データを生成し、擬似の立体画像をレンダリング処理して表示する。
【0209】
次に図23(b)のペーストモデル表示PMを説明する。このモデルはn多角柱の各面を塗り潰すのでペーストモデルと呼ぶ。
スコープ形状イメージをCRT上に描写する際の、n多角形の側面処理、スコープがループ状になった場合におけるその前後を表現するための以下に述べる1_aの陰線或は隠れ面処理を説明し、次にそのほかの立体感を強調するための処理を説明する。
【0210】
1_a:陰線或は隠れ面処理
スコープモデルをn多角柱で表示する場合、n個の側面を持つことになる。そのうち、実際に見えるものは、視点方向側の側面のみであり、従って視点方向側の側面のみ見えるように表示し、見えない側面或は辺等を隠すように表示する処理、つまり陰線或は隠れ面処理(以下、単に陰線処理とも記す)を行う。
【0211】
そこで、各側面が視点位置にどれだけ近いかを表すパラメータ(zバッファと記す。これは物体のz値(視点からの距離)をバッファメモリに記憶したものに由来する)をソートし、zバッファが小さい(つまり、視点から遠い)側面より書き始める。側面の張り付け方は上書きとする。
この方法は、zバッファの小さい面の上から、zバッファの大きい面を上書きしつつ書き換える領域を求めて書き換える領域のみ描画するので、処理速度が向上する。
【0212】
さらにこの方法は、スコープモデルがねじれの位置にあるようなとき、どちらが上側になるかを判断する際にも利用できる。一般にスコープモデルがねじれの位置にあるようなとき、どちらが上なのかを調べ、上書きして良いのか、下をくぐる形になるのかを判断しなければならない。
【0213】
この方法は、確実ではあるが、やや処理時間がかかる。そこで、モデル全体のzバッファをすべてソートしてしまい、小さいものからレンダリングしていくとすると、たとえねじれの位置にある場合でも、上側にあるモデルが必ず後から描かれるため、条件判断をする必要がなくなる。実際にzバッファ法ではポリゴンの処理の内部で画素を単位とする前後判断を行っている。
これは、スコープモデルの全体形状をより短時間で作成できるという点で優れた手法である。
【0214】
具体的には図34に示すようなフローで陰線処理を行う。まずスコープ形状座標データ等の立体画像データを取り込み、ステップS61で各側面が視点視点位置にどれだけ近いかを表すパラメータ(各物体を構成するポリゴン毎に処理を行うzバッファ法のzバッファ値)をソートし、zバッファ値の小さい順にする。次のステップS62でポリゴンデータからその面を規定する2方向ベクトルを求め、その面の法線ベクトルNを求める。
【0215】
次のステップS63で光線ベクトルIをセットし、次のステップS64で法線ベクトルNと光線ベクトルIとのなす角度を求めるために、法線ベクトルN、光線ベクトルIのそれぞれの大きさに0.0005プラスした値をそれぞれの値の拡散反射光値とする。
【0216】
次のステップS65で、法線ベクトルN、光線ベクトルI、拡散反射光値よりランバート(Lambert)の法則(入射した光は全ての方向に等しく拡散する)により光の強度tを求める。
【0217】
次のステップS66で、光の強度値が0以上か判断し、0以上の場合には次のステップS67で視点から遠いポリゴンの面にペイントし、次の判断のステップS68に進むする。一方、0未満の場合には光が当たっていないことになるのでステップS68に移り、全ての面データが終了したか否か判断し、全ての面データに対して上述の処理を行って、終了する。
【0218】
本装置において表示装置にスコープ形状の1画面分を作画するのに必要な時間が長くなっているため、同一の画面上で作画・消去を繰り返すと表示されたスコープの動画像はちらついて見えてしまう。そこで、図35(a)に示すように表示している画面(以降、表画面という。)とは別に表示されない画面(以降、裏画面という。)を設け、現在の表画面の次の画面を裏画面上で作画したのち表画面と入れ換えるようにする。
図35(b)に示すフローを参照して以下にちらつきを防止する裏画面を使用した表示方法について説明する。
【0219】
まずステップS71に示すように作画対象画面を裏画面に指定し、さらにステップS72でその裏画面上の図形を消去する。つまり、表示に用いるビデオ表示用メモリとしてのVRAMに、表画面用と裏画面用を用意し、表画面が表示されている間に作画の対象画面をその時点で表示されていない裏画面のVRAMに指定し、さらにその裏画面のVRAMにかかれた図形を消去する。
【0220】
次のステップS73で消去の済んだ裏画面にスコープ、基準面、マーカ等の必要な画像を作画する。この作画が終了したら、ステップS74に示すようにこの時点まで表示していた表画面と最新の画像の描かれた裏画面とを入れ替え、作画が終了した画像を表示する。この表示の間に、表画面から入れ替えられた裏画面は次の作画に使用される。
【0221】
この作業によって1枚の画面が作画されていく課程がユーザに見えず、瞬間的に次の画面と入れ替わるためにユーザからみた動画像にちらつきが生じなくなる。
【0222】
1_b:立体感強調処理
ここでは、挿入状態にあるスコープ形状モデルとして構築されたn角柱モデルによるイメージ像に、立体感や奥行きをより強調する為の処理を担う。
挿入状態にあるスコープ形状は、3次元形状である。しかしながら、イメージを表示する媒体(CRT)は2次元であるため、3次元的なイメージ像をCRTにいかにして表示するかは、そのシステムの使い勝手に大きく影響する。以下は、立体感や奥行きを強調する処理の例である。
【0223】
1_c:シェーディング処理
スコープ形状は3次元であるため、光線の当たり方によって明暗が出来る。これは、このような明暗を階調表示することによって再現する手段である。
スコープの曲率によって明暗は多様である。利用できる色数は、ハードウェア毎に例えば4096色中16色というような制限が存在し、利用可能な色数が少ない場合は、デフォルトの階調も少ない。そこで、この階調を有効に利用できるように、パレット変更を実施する。色合いは、光源ベクトルと各スコープモデリングの側面に対する法線ベクトルのなす角度により設定した。
【0224】
この処理は、図36のように行われる。スコープイメージは、n多角柱表示されている。まずステップS81でパラメータiを1にセットし、次のステップS82でn角柱のi番目の側面の法線ベクトルNを求める。
【0225】
次のステップS83でその側面を構成する4角形に対する法線ベクトルNと、光源ベクトルIとの内積をとる。光源ベクトルIは、視点位置から原点を向くものとする。
【0226】
次のステップS84で内積の値に応じた明るさで側面に色を付ける。この場合、内積が0であるときは、最も暗い色で、内積=1の時は最も明るい色で表示する。それ以外は、利用できる階調の量で均等分する。もちろん、幅広い階調を設定できるほど、立体感を滑らかに表現できる。
【0227】
次にパラメータiを1つインクリメントし(ステップS85)、iがnと等しいか否かの判断を行い(ステップS86)、n番目の側面まで同様の処理を繰り返す。
【0228】
この方法は、光源方向と視点方向が一致しているため、視点方向が常に最も明るく表示される上、階調表示によって、スコープ描像の立体感がより強調できるという点で優れている。もちろん、光源位置と視点位置とを別にしても良い。このときには、光源の位置によっては視点の正面方向であっても暗い表示になり得るため、スコープ描像の奥行きを強調したい場合に特に優れた手段である。尚、最も暗い階調色とバックグランドカラーとをはっきり区別するため、バックグランドカラーを色づけしても良い。
【0229】
1_d:色の輝度や彩度の利用
利用できる色数が、例えば16384色中256色のように特に豊富な場合には、シェーディング処理を色彩で行うことが出来る。
処理内容を図37に示す。基本的にシェーディング処理と同様であり、図35のステップS84での“明るさ”がこのフローではステップS84′で“色彩”に変更されていることのみ異なる。従ってそのフローの説明を省略する。
【0230】
色が豊富に使用できるため、例えば光源方向に面したスコープモデルの側面を暖色で、反対方向の側面を寒色で表示させることが可能になる。もちろん色の設定はこれに限られるのではない。
【0231】
これは、スコープの明暗を色彩豊かに表示できるため、単に明暗を表示する場合に比べ、スコープの立体感を強調できる。また、CRTの設置環境等の影響でCRTのコントラストを抑えなければならないような場合でも、スコープ描像が見づらくなることはない、という点で優れている。
【0232】
更に、輝度の利用と組み合わせることで、より多彩な表示も可能になる。例えば、光線方向を彩度で、視点からの距離を輝度で表示する。こうすることにより、スコープの立体感が色彩の違いで、視点方向からの奥行きを輝度の違い表示することが可能になり、より3次元的な描像を実現できる。もちろん、立体感を輝度で、奥行きを彩度で表現しても良く、奥行きも視点方向からだけではなく、任意の方向からの奥行きを表現しても良い。たとえば、ベット面からの高さ方向に色合いの違いを付ければ、その色合いでスコープの挿入状態が順調であるかを確認できる。
【0233】
この彩度と輝度を用いた処理を図38のフローで示す。このフローは図37のフローとステップS83までは同じであり、次のステップS84の代わりにステップS84aで始点から側面までの距離を算出する処理を行い、さらに次のステップS84bで距離に応じた輝度と、内積の値に応じた彩度で側面に色を付ける処理を行うようにしている。
【0234】
この方法では、スコープイメージの立体感や奥行きをより3次元描像で実現できると共に、ある位置からの相対位置の予測が可能になるという点で、優れた手段である。
【0235】
次にワイヤフレームモデル表示WMの処理について説明する。
n角柱モデルの辺をのぞいた部分をバックグランドカラーで塗りつぶした場合と同じ結果となるが、これは、n角柱モデルの面を張る(ペイント)ための処理時間短縮のため、選択使用できるようにしている。
【0236】
なお、このモデルでは、zバッファの小さい順に書くと、スコープモデル奥側のワイヤが見えてしまう。そこで、それを取り除く陰線処理を適宜実施するか、zバッファの大きい順に(n/2)番目のモデルデータまでワイヤフレームを描くことで、陰線処理したモデルが構築できる。
【0237】
この表示のフローを図39に示す。まずステップS91でn角形モデリングを行い、次のステップS92でモデリングで得られた頂点を直線で結ぶ。この状態では、スコープモデル奥側のワイヤが見えてしまうので、次のステップS93で陰線処理を行うことでワイヤフレームモデル表示WMによるスコープ像を得られる。
【0238】
次には図23(a)では基準面表示のステップS42_2と、2点マーカ表示S42_3を行う。これらのステップS42_2、S42_3の処理は付加的な処理である。
基準面表示の処理は、ベット面等の基準面を表示することで、スコープ形状の3次元表示を視覚的に分かり易くする補助的な役目を担う。
【0239】
この実施形態ではCRTに表示される描像は、スコープ形状のイメージのみであり、そのイメージと体内の臓器との位置関係は分からない。すると、視点位置を回転させてしまうと、どの方向からスコープ形状を眺めているのか、頭の方向がどの向きを向いているのか等に関する情報は、テキスト表示される角度の数値情報だけである。これは、感覚的な判断には不向きである。そこで、このような判断を感覚的に行えるような補助手段を設けた。
【0240】
ここでは、図23(c)に示すようにして実現される。
まずステップS42_21のアフィン変換を行う。この処理では世界座標系の基準表示シンボルを視点座標系に変換する。
次にステップS42_22の3D→−2D投影を行う。
視点座標系に移された基準表示シンボルをCRT表示出来るように、2次元に投影する変換処理を行う。
【0241】
次にステップS42_23の基準面となるベッド等のシンボル表示を行う。 スコープイメージの3次元描像を補助するようなシンボルを表示する。シンボルの具体例については、以下で触れる。
【0242】
このようにすることにより、基準面位置や基準面からのスコープ形状の離れ具合、患者の頭方向が視覚的に判断でき、スコープ形状の位置等の判断基準を提供したという点で優れている。
次に、基準表示シンボルの具体例として2_aのベッド面表示等について説明する。
【0243】
2_a:ベット面表示
世界座標系のx−y平面に平行で、z軸に垂直な基準面を表示する。z座標はベット面(z=0)でも、その基準となり得るような位置であれば、どの位置でも良い。この面は、視点座標と共に移動しない。つまり視点位置が、x軸方向y方向に回転すると、ベット面は線で表示される。頭方向が分かるように、枕のような長方形や、右肩、左肩或いは両方の方向にマーカを付けても良い。
これは、単純な一枚板で表されるため、スコープ描像の邪魔にならず、視点の回転も認識できるという点で優れている。
【0244】
2_b:基準マーカ表示
図40(a)に代表される表示である。ここでは、両肩方向に2つのマーカm3、m4と、足方向にマーカm5が存在する。肩のマーカm3,m4はz座標に垂直な向き、足方向のマーカm5はx座標に対して垂直方向を向くため、z方向から見たときにはこの図40(a)のように線分で表示される。
【0245】
そのため、視点位置がx軸方向に回転すると両肩のマーカm3、m4が線分で表示されるように変化し、足方向のマーカm5が正面を向き、円形のマーカになるので、方向が分かる。上下でマーカ数が違うのは、頭方向を識別し易いように記述するためである。マーカの数や形は任意で良く、どのマーカをどの軸に対応付けるかも任意である。マーカを立体にして、グラデーションや輝度彩度等を付けても良い。
この方法は、スコープ形状とマーカとが重ならないため、スコープ形状が見やすいという点で優れている。
【0246】
2_c:直方体表示.
2_aのベット表示にz方向のフレームを加え、直方体として表示したシンボルである。直方体の大きさは任意であるが、システムの検出範囲或いはそれ以上であるとスコープ形状が直方体内で表示されることになり、スコープが挿入状態にある、という感覚が増加する。さらに、z方向にも箱の高さがあることで、モデルのz座標を推定することが容易となる。
【0247】
この方法は、スコープが挿入状態にあるという臨場感を引き起こすことで、スコープ形状を実際に挿入状態にあるスコープとを結び付けやすい、という点で優れている。
逆に、スコープイメージの一角に、ブロックを表示し、視点の移動に連動して回転しても良い。
【0248】
2_d:混合表示
これまでに挙げた基準シンボルを組み合わせても良い。図40(b)は、2_aのベッド面表示と2_bの基準マーカ表示とを組み合わせた場合である。このようにすると、z軸に対する基準が面表示で、回転や回転したときの頭方向の情報がマークによって認識できる。そのほか表示をどのように組み合わせても良い。
【0249】
このような手段は、それぞれのシンボルの効果を共用できるという点で優れている。
次に図23(a)のステップS42_3のマーカ表示の処理を行う。
【0250】
このマーカ表示の処理では、スコープに挿入されているソースコイル16iとは別に、単独のソースコイル位置を算出し、表示するまでを担う。スコープ内に挿入された位置がどのような位置にあるのかを確認する手段として、スコープ内のソースコイル16iとは別個に動きうるマーカ1個以上を表示する手段を設けた。
【0251】
実際の装置上では、位置算出手段はスコープに挿入されているソースコイル16iに用いるものと全く同じであり、表示手段もこれまで同様で、図23(d)に示すようにステップS42_31のアフィン変換→ステップS42_32の3D→2D投影→ステップS42_33のマーカ表示という処理になる。
従って、ここでは、マーカ形状出力の具体例として
n角形(円も含む)による表示
を説明する。マーカの表示をこのような形で表示すると、色が多数使えず、スコープ形状と同色を使わざるを得ない装置構成の場合、スコープ形状と重なりあっても区別することが出来る。
【0252】
このマーカ表示は、視点の回転に応じて形が変化させることで、どの方向から見ているかを認識できる。また、視点に対して常に正面となるように対応付けしていても良い。このときは、マーカからは視点方向が認識できないが、常に一定の大きさのマーカが出力されるという点で、優れている。
【0253】
これは、また、マーカが球形であるとした場合と同様な表現となる。尚、もしマーカが球形である場合は、グラデーションや、彩度輝度等の情報を与えることによって、視点の方向や奥行きを表示することも可能である。
【0254】
このような手段を用い、体外でマーカを移動させることで、挿入状態のスコープ形状の位置をマーカと関連させて確認する等が可能になり、スコープ挿入位置を実際の患者の位置と関連付けて知る捕助手段を提供できる。
これまでではn角柱モデルでの表示を説明したが、次にn角形連結モデルでの表示を説明する。
【0255】
n角柱モデルは、そのスコープ形状がリアルに表示できるものの、処理時間が幾分かかる。そこで、モデル構成をより簡略し、高速表示を可能にしたn角形連結モデルを構築し、選択して使用(表示)できるようにした。
その処理フローは図41の通りである。ここに挙げられている処理で基本的な処理内容は、n角柱モデルで用いた場合と同じである。そこで、違いについて説明する。
【0256】
図41(a)のステップS42_1′の補間&3次元モデルの構築の処理の内容を図41(b)に示す。このモデルでは先にまずステップS42_11′でアフィン変換を行う。
【0257】
世界座標系から、視点座標系への変換であり、n角柱モデルでの処理(図23(b)のステップS42_13参照)と同様である。但し、n角柱モデルでは、補間データに対して変換を実施したが、ここでは、ソースコイル位置データに対して先に変換を実施している。
こうすることで、アフィン変換量が少なくて済み、プログラムの処理速度を向上させる。
【0258】
次のステップS42_12′で3次元補間を行う。
この処理も前述と同様である。違いは、n角柱モデルでは、世界座標系のデータであるが、ここでは視点座標系のデータである。
【0259】
次のステップS42_13′で3D→2D投影を行う。この処理も前述と同様である。しかし、今回は大きさのない点の投影となる。
次のステップS42_14′でn角形連結モデルの構築を行う。
【0260】
このn角形連結モデルの処理内容を図42に示す。この図42では図41(b)におけるレンダリングのステップS42_15′も含めて示している。
【0261】
まずステップS101で対象点から視点及び光源までの距離を算出する。次のステップS102でシェーディング処理を行うか否かの判断をする。シェーディング処理を行う場合には次のステップS103で光源までの距離に応じて、明るさを決定する処理を行った後、次のステップS104のパースペクティブ処理を行うか否かの判断に進み、またシェーディング処理を行わない場合にもこの判断の処理に移る。
【0262】
パースペクティブ処理を行う場合には次のステップS105で視点までの距離に応じて大きさを決定する処理を行った後、次のステップS106でn角形描画の処理に進み、このn角形描画の処理で各点をn角形の中心と一致させて各n角形を単に連結した描画を行い、n角形を連結した形の画像にする。またパースペクティブ処理を行わない場合にもこの描画の処理に移る。
【0263】
さらに次のステップS107でワイヤフレーム表示WMを行うか否かの選択判断を行い(つまり、ペーストモデル表示PMを行うかワイヤフレーム表示WMを行うかの選択を行い)、ワイヤフレーム表示WMでない場合には、次のステップS108のペーストモデルでの表示の処理に進み、ステップS103で決定した明るさで内部を塗り潰す。一方、ワイヤフレーム表示を行う場合には、次のステップS109で陰線処理を行ってワイヤフレームモデルで表示する。
【0264】
ここまでで、n角形を連結した形で、スコープ像を作成する。また、得られた点をn角形モデル形状の中心と一致させ、補間データ点の周りに‘肉付け’がなされた格好でイメージを出力しても良い。
以上の処理で、判断の処理でNOを選択した場合には最小限の機能をもつn角形連結モデルが出力される。
【0265】
この方法は、n角柱モデルの処理時間のかかるところを極力排除したモデルとなっており、非常に高速(n角柱モデルの処理時間1/2以下)で表示が可能であるといる点で優れている。
【0266】
尚、図42のフローにおいて判断の処理でYESを選択して、n多角柱モデルの時と同様な付加処理を加え、立体感をより強調しても良い。基本的な処理は同じであるので、違いのみが分かるような簡略な説明とする。
n角形連結モデルに対する付加機能として以下のような4_aのパースペクティブの処理等がある。
【0267】
4_a:パースペクティブ
これがつかないのは、3D→2D変換を行う対象が、大きさのない点であるためである。そして、変換の対象を点でなく、大きさを有する形状を対象にすれば、前記したものと同じ効果が得られる。この形状は、任意の形でよいが、このモデルが高速表示を実現するために考案されたものであるため、本来変換を行う点を中心とする対称形を有することが望ましい。
【0268】
4_b:陰線処理
n角形内を塗りつぶすバージョンに対しては、そのモデリング自体が陰線処理を兼ねるため、特別な処理が不要であるという点で優れている。ワイヤフレームバージョンで陰線処理を実施する場合は、重なり部分を消していく処理を入れるか、n角形内をバックグランドカラーでいったん塗りづぶしたのち、ワイヤフレームを上書きすることで、達成できる。
【0269】
4_c:シェーディング処理
このモデルでは、スコープの面が存在しないため、シェーディング処理により、スコープモデルの奥行きを表しても良い。具体的には、光源に最も近い側を明るく、最も遠い側を暗く表示し、そのあいだを利用できる色の数に応じた階調表示する。
【0270】
このときは、モデルの奥行きを表現できる。
【0271】
応用として、モデルの中央部と端部とで僅かな階調差を持たせることも可能である。こうすると、全体の奥行きを示すための階調は減少するが、ズコープモデルが階調差で膨らんだように表示されるため、スコープの立体感を強調させることが出来る。
【0272】
4_d:色の彩度と輝度を利用する
これは、n角柱モデルと同様で、同様の効果が期待される。
4_e:ワイヤフレーム表示
ここでは、ワイヤフレーム表示に対して、簡便かつ陰線処理機能を含めた表示方法を提供する。
【0273】
まず、全てのワイヤフレームをn角形で表すのではなく、根元のデータのみをn角形で表示し、そこから先端に向かって、半n角形をつけ加えていく方法である(図43(a)参照)。
この方法は、陰線処理を実施することなしに、陰線処理を実施した場合と同じワイヤフレーム形状を作成できるという点で優れた手段である。
【0274】
更に、同形の半n角形を重ねるのではなく、スコープの向きの曲率に応じて設定した角度歪を含んだ形状を重ねても良い(図43(b)参照)。
この方法は、上記の手段の効果に加え、曲率情報が強調され、より現実のスコープイメージに近づくという点で優れている。
【0275】
以上述べたようにこの第1実施形態によれば、内視鏡6の可撓性を有する挿入部7内に、磁界を発生する磁界発生素子としてのソースコイル16iを、各ソースコイル16iの形状が変化しないように絶縁性の接着剤20等を介してプローブ15の内壁に固定したものを配置し、前記挿入部7が挿入される被検体の周囲の既知の位置にソースコイル16iで発生した磁界を検出する磁界検出素子としての3軸センスコイル22jを配置し、各ソースコイル16iで発生される磁界をそれぞれ3軸センスコイル22jにより検出した検出信号から前記既知の位置に配置された3軸センスコイル22jに対する前記挿入部7内の各ソースコイル16iの位置を位置算出部31により算出するようにしているので、挿入部7を被検体の内部に挿入する場合に、この挿入部7が屈曲されても、この挿入部7の内部の各ソースコイル16iは固定手段により形状が変化しないように固定されているので、各ソースコイル16iの位置の算出から内視鏡6の挿入部7の位置を精度良く検出できる。
また、位置算出部31の出力に対し、挿入部6の形状推定を行うように形状推定手段を設けることにより、精度の高い挿入部6の形状推定を行うことができ、推定された形状に対応する画像を表示することにより、視覚的に挿入部の形状を判断し易くできる。
【0276】
また、上記既知の位置にそれぞれ配置した磁界検出手段を構成する複数の3軸のセンスコイル22jにより、磁界発生手段を構成する1軸或は3軸のソースコイル16iで発生した磁界の強度と、交流駆動した場合の位相情報と、磁界発生手段による等磁界面の形状とを考慮して各磁界発生手段の存在する領域を検出或は推定して、その3次元位置を算出或は推定するようにしているので、磁界検出手段をベッド4の隅等の既知の位置に設置すれば、そのベッド4上の患者等の被検体に対し、必要とされる位置検出範囲に対し、精度良く位置の算出或は推定が可能になる。
【0277】
つまり、3軸センスコイル22jをベッド4等に数個(3つ或は4つ)配置することにより、各3軸センスコイル22jにより検出される磁界強度により、ソースコイル16iの存在する3次元領域が推定され、それぞれの3軸センスコイル22jにより推定された3次元領域の重なり部分からソースコイル16iの存在領域が推定される。この場合、位相情報を利用すると、検出範囲の外等の領域を排除できる。
【0278】
また、第1実施形態では、検出された磁界強度に対応する信号から基準となる参照情報を用いて、ソースコイル16iの存在する領域を推定するようにしているので、計算で距離算出を行うよりも領域算出を非常に短時間に行うことができる。
【0279】
また、3軸のセンスコイル22jの配置する数を増やすとさらに精度良くソースコイル16iの位置検出を行うことができるし、内視鏡形状も精度良く推定できる。
【0280】
また、求めた内視鏡形状をユーザが望む視点方向から見た場合の形状で表示させることもでき、挿入の操作を行う視点に設定することにより挿入の作業が容易になる等、第1実施形態内で述べている多くの利点を有する。
【0281】
次に第1実施形態の第1変形例を図44を参照して説明する。第1実施形態では例えば図10に示すように、ソースコイル16iによる過渡特性を考慮してセンスコイル22jで検出された信号を取り込むタイミングを遅延させた。
【0282】
これに対し、この変形例では図44に示すように発振器25aと増幅器24aとの間に、参照電圧発生器58からの基準となる参照電圧と比較することにより発振器25aの信号が各ソースコイル16iを駆動するのに適した位相角であることを検出する位相検出器59を配置している。参照電圧発生器58は各ソースコイル16iの力率角に対応した正弦波の電圧値を参照電圧として位相検出器59に出力し、位相検出器59は発振器25aの正弦波が参照電圧に一致した時に位相検出信号を出力すると共に、発振器25aの正弦波を増幅器24a側に通す。
【0283】
各ソースコイル16iには正弦波を発生する発振器25aから位相検出器59を経て電力増幅されたのち、切換回路28aによって選択された接点を経て駆動電流が供給される。この駆動電流を供給するタイミングは位相検出器59からタイミング制御回路30dに伝送される位相検出信号の立ち上がりに同期して行われる。またセンスコイル22jの両端に励起された電圧を増幅して同期検波した検出信号のA/Dコンバータ30aを介してCPU30c側へ読み込まれるタイミングもこの位相検出信号の立ち上がりに同期して行われる。
【0284】
ここで位相検出信号は次のように生成される。
駆動信号の発生源となる正弦波を発生する発振器25aからの信号eを
e=Em sin (ωt+θ) [V]
と表すことができる。ここで、Em:最大振幅電圧[V],θ:初期位相[rad],ω=2πf,f:駆動周波数[Hz],t:時間[s]である。
【0285】
それぞれのソースコイル16i毎に持った純抵抗成分Ri [Ω]とLi [H]から求めた力率角φiを
φi= arc tan (ωLi/Ri)
とすると、参照電圧
Vref=Em sin φi [V]
と発信源の信号e[V]をコンパレータで比較することによって一致した時に位相検出信号が得られる。
【0286】
供給された駆動電流i[A]は、
i=Asin(ωt+θ−φ) −Asin(θ−φ)・exp(−at)
ここで、A=Em/(R・R+ωL・ωL),a=R/L
となる。この駆動電流iを表す上式において、θ=φとしたときは右辺の第2項が0となることを示しているので過渡直流成分が発生しないことになる。つまり、切り換えた瞬間から定常状態のコイル駆動ができることになる。
【0287】
したがって、コイル切換と同時にセンスコイル22jの検出信号のCPU側への読み込みを行うことが可能になる。実際にはセンスコイル22jに励起された電圧が同期検波器26dの出力となるまでの遅延時間を考慮して読み込むようにする。
【0288】
このようにしてソースコイル16iを駆動することによって多数のソースコイルの切り換えが行われても駆動開始から検出信号の取り込み開始までの時間が大輻に短縮されたために、システム全体の動作時間を高速化できる。
【0289】
図45はこの変形例によるソースコイルの駆動とセンスコイルによる検出信号の読み込みの動作のタイミング説明図を示す。図9との比較から分かるようにソースコイルを駆動後の短い時間Δt′で読込みを行うことができる。
【0290】
またこの変形例では精密測定のための信号中継線をシールドする手段を設けている。図46に示すようにソースコイル16iに駆動電流を供給するための信号線とセンスコイルの検出信号を伝達するための信号線は、各コイル毎に接続された2本をツイストすることにより信号線からの輻射や外乱の重畳を減少させている。
【0291】
しかしこのツイストした信号線においても前記の影響はある程度存在しているために、ソースコイルの駆動信号ケーブルがセンスコイルに近づくとケーブルから輻射される微弱な電磁波の影響によってそのセンスコイルの検出信号が2〜3倍程度に振られてしまったり、またセンスコイルの検出信号ケーブルに人体などの浮遊容量が近づくとその浮遊容量を介して信号線に外乱が重畳してしまったりして正確な計測ができなくなる現象が起きてしまう。
このような問題を解決し、安定かつ正確な計測を行えるようにする。具体的な方法を次に説明する。
【0292】
まずソースコイル16iの駆動信号ケーブル60aについて説明する。このケーブル60aは複数のソースコイル16iが内蔵されたプローブ15(図46では簡単化のため2つのソースコイルで示している)に接続され、各々のソースコイル16iを順次に駆動するための正弦波電流が流される。
【0293】
このとき各ソースコイル16iに接続される各信号線から輻射される電磁波のうち駆動電流と同じ周波数の成分が他のソースコイル16iの信号線に重畳してしまい駆動したくないコイルにまで電流を流れて不要な磁場を発生してしまうので、そのような不要な電磁波を吸収するためにツイストした各ケーブル毎にできるだけコイルの根元までシールド60bで覆い、駆動手段(例えば切換回路28及び増幅回路24等を含む)側との接続端部をその駆動手段の基準電位に接続するようにする。
【0294】
次にセンスコイル22jの検出信号ケーブル40aについて説明する。このケーブル40aは3軸センスコイル22jを構成する3個のコイルにそれぞれ一方の端部が接続され(図46では簡単化のため1対のケーブルのみ示す)、各センスコイル22jの他方の端部は同期検波手段(図8の増幅器27及び同期検波回路26d)の入力端子に接続している。
【0295】
このケーブル40aで伝送される電圧は、数十μV〜1mV程度の微弱な信号であり、ソースコイル16iからの交流磁界が人体等の浮遊容量を介してケーブル40aに重畳する変動分に埋もれてしまう場合もある。そこでそのような不要な重畳ノイズを吸収するためにツイス卜した各ケーブル毎にできるだけ各コイルの根元までシールド40bで覆い、同期検波手段側の接続端子を同期検波手段の基準電位に接続するようにする。
【0296】
さらに前記の駆動手段と前記同期検波手段のそれぞれの基準電位点同士を接続して、同電位の状態にする。このような構成にすることにより、ソースコイル16iの駆動信号線間の干渉および輻射による漏れ信号のセンスコイル22jヘの影響がほとんど無くなる上、センスコイル22jの人体等による検出信号への影響も極わずかになる。
【0297】
従って、センスコイル22jの検出する信号に含まれるノイズがほとんど無くすことができるので、ソースコイル16iの発生する交流磁界によってセンスコイル22jに励起される信号成分が安定かつ正確に計測できるようになる。
【0298】
次に第1実施形態の第2の変形例について説明する。この第2の変形例は位置導出の確度を向上するためのものである。
ソースコイルからある距離に位置するセンスコイルで得られる磁界強度からそのソースコイルの存在する領域を精度良く限定してその3次元位置を算出する場合、狭い閉空間(閉領域)を求めるためには最低3個(あるいは3組)のセンスコイル22jが必要である。
【0299】
しかし、実際にはセンスコイル22jが3組だけの場合では、ソースコイル16iとセンスコイル22jの距離が近すぎたり、遠すぎたりするときには3組の中1組でも確実に検出信号が得られなくなる可能性があり、その場合にはソースコイル16iが存在する閉空間を狭い範囲に限定することができなくなるため、ソースコイル16iの位置導出が実質的に不可能となってしまう。
【0300】
そこで、この変形例では検出信号のレベルによらず常に安定した状態でソースコイルの位置導出が行えるようにする。そのため、図47に示すように4組の3軸センスコイル22jを用いるようにした。
【0301】
仮に、センスコイル22jの検出可能範囲を半径30〜100cmであるとし、必要とする検出領域幅を(x,y,z)=(40,60,40)[cm]であり、サイズが(200×70cm)の内視鏡検査ベッド4に4個の3軸センスコイル22jを、各座標がQa(0,0,0),Qb(60,0,0),Qc(60,100,0),Qd(0,100,0)の位置[単位はcm]にそれぞれ設置したとする。
すると、この4点を頂点とする長方形が底面となる四角柱の中に必要とする検出領域幅が含まれることになる。この設定においては検出領域内にソースコイル16iが移動する場合、4組のセンスコイル22jとの距離がそれぞれ30〜100cm以内であれば確実に位置導出できる。
また4組の中、1組のセンスコイル22jとの距離が30cm未満のときは、その他の3組のセンスコイル22jの検出信号を用いて位置導出を行うようにする。
【0302】
上記のような設定の場合1組のセンスコイル22jまでの距離が30cm未満のときは他の3組は必ず30cm以上の距離があるようになっているため、この確実に3組の検出信号を得ることが可能になり、精度良く位置検出(或は位置推定)を行うことができる。さらにソースコイル16iとセンスコイル22jの距離が100cmより大きくなる組み合わせが1組のときも上記の30cm未満の距離のときと同様である。
【0303】
しかしソースコイル16iとセンスコイル22jの距離が100cmより大きくなる組み合わせは2組以上になることもあり、このときにはソースコイル16iの駆動電流を増やすか、センスコイル22jの出力の感度を上げるかして検出可能距離が長くなるようにして再び計測を行い、3組以上が検出可能範囲内にはいるまでこの処理を繰り返すようにする。これによりソースコイル22jの位置導出が行えるようになる。
【0304】
なおベッド4のサイズ或はセンスコイル22jの検出範囲が上記の値或は範囲と異なる条件のために4組の内で2組が位置検出に利用できない状況の場合においても、ほぼ同様の方法で対処できる。
例えば、検出領域福をより広く確保したい場合にはセンスコイル22j同士の間隔を広げ、前述したソースコイル16iの駆動電流増加や、センスコイル22j出力の感度アップと組み合わせれば可能となるが、ベッド4の輻方向(y方向)にはベッド幅以上はそのままでは広げられない。
【0305】
そこで3組以上が検出可能範囲内に入るようにソースコイル16iの駆動電流減少やセンスコイル22j出力の感度ダウンにより検出可能範囲を、センスコイル22jに近い方にずらすことによってソースコイル16iの位置導出を行えるようにすることができる。
【0306】
以上のような方法により、検出信号のレベルによらず常に安定した状態でソースコイルの位置導出が行うことができる。また上述した全ての場合におけるソースコイルの位置導出において、センスコイルの組数が3組より増える毎に閉空間の大きさがより小さくなっていくので位置導出の精度は向上していく。このため検出可能領域内にソースコイルが存在するセンスコイルの検出信号は全て位置導出のために利用することで求める精度を得ることができる。
【0307】
図48は上述の方法の説明図を示す。図48における曲線C1は図16で説明した相対距離を算出するための相対距離に対する磁界強度の測定データの例えば最大磁界強度側のグラフを示す。実際にセンスコイル22jによる検出信号からある磁界強度値が検出された場合、その磁界強度値からソースコイル16iとセンスコイル22jとの距離はその強度値と交差する曲線C1と図示しない最小磁界強度側のグラフとの間の範囲に存在する。
センスコイル22jで検出される信号は増幅器等のダイナミックレンジ等により、精度よく検出できる範囲は制約される。
【0308】
このため、通常の(感度等の)設定状態では曲線C1に対して縦軸方向に示す測定可能帯域MRの出力値に対応して横軸方向に示す通常状態の検出範囲D1が検出可能な距離範囲となる(センスコイル22jによる半径30〜100cmに該当する)。この場合、増幅器のゲインを下げれば(つまり感度を下げれば)、検出可能範囲を小さい範囲側にシフトすることができるし、ソースコイル16iを駆動する駆動電流値を下げても小さい半径側にシフトすることができる。
つまり、駆動電流ダウン或は増幅器のゲインダウンを行うと、センスコイル22jによる出力値で検出できる範囲は曲線C1の縦軸方向の値を相対的に下げた曲線C2のようになり、この場合には検出範囲はD2となり、小さい距離側での検出が可能になる。
【0309】
逆に駆動電流アップ或は感度アップを行うとセンスコイル22jによる出力値で検出できる範囲は曲線C1の縦軸方向の値を相対的に上げた曲線C3のようになり、この場合には検出範囲はD3となり、大きい距離側での検出が可能になる。
【0310】
次に本発明の第2実施形態を図49を参照して説明する。図49の内視鏡形状検出装置41は駆動信号の周波数を変えることで、図2の分配器28を省略した構成になっている。
【0311】
従って、ソースコイル駆動部24はソースコイル16i毎に異なる周波数fiの駆動信号を出力する。ソースコイル16i毎に異なる周波数fiの駆動信号を印加することにより、複数のソースコイル16iを同時に駆動して高速処理を実現可能にしている。
【0312】
第1実施形態の内視鏡形状検出装置3においては、複数のソースコイル16iはある特定の周波数の正弦波電流により先端側に配置されたもの等から順次駆動され、そのときのセンスコイル22jの検出信号レベルによって1個ずつソースコイル16iの位置座標を検出するための検出信号を得るようにしている。
しかしこの方式ではソースコイル16iの個数が増えていくと1回の形状検出にかかる時間も増大していくので、リアルタイムに形状データを取り込むことが困難になってしまう。
【0313】
そこで、この実施形態ではソースコイル16iの数に殆ど影響されることなく、リアルタイムに形状算出のデータを取り込むことができるようにする。次に具体的な構成を図50に示す。
【0314】
例えば12個のソースコイル16iを内蔵したプローブの形状を検出する場合について説明する。図50に示すように発振部25はそれぞれ異なる周波数で発振する発振器25a,25b,…25lを有し、駆動部24を構成する増幅器24a,24b,…24lでそれぞれ電流増幅された後、それぞれソースコイル16a,16b,…16lに同時に印加され、それぞれ異なる周波数の磁界を発生する。
【0315】
一方、各センスコイル22jはこれらの磁界強度に比例した検出信号を発生し、それぞれ増幅器27で増幅した後、検出部26を構成する同期検波回路26diにより、発振器25iの信号を参照して同期検波を行い、ソースコイル16iによるセンスコイル22jの位置の磁界強度に比例した信号成分のみを抽出する。なお、各同期検波回路26diのバンドパスフィルタ26aiは発振器25iの周波数の信号のみを通す帯域に設定されている。
【0316】
各同期検波回路26diでそれぞれ同期検波された各信号は例えば12チャンネルのA/Dコンバータ30ajで高速にサンプリングされ、そのA/Dコンバータ30ajに接続されたRAM30bに一旦記憶され、さらにRAM30bのデータはCPU30c側に読込まれ、位置算出及び形状推定の処理が行われる。その他の構成は図8と同様であり、その説明を省略する。
【0317】
この実施形態でのソースコイル16iの駆動及びセンスコイルでのデータ取り込の処理内容を示すフローを図51に示す。ステップS111で各発振器25iをそれぞれ異なる周波数で駆動し、それぞれのソースコイル16iに駆動電流を流す。次に各センスコイル22jの検出信号をサンプリングする。この場合、各ソースコイル16iに駆動電流を流した状態(流しっぱなしの状態)にできるので、過渡応答の時間だけ遅延することなく各センスコイル22jの検出信号をサンプリングできる。勿論、最初に駆動電流を流したすぐ後では、その過渡応答を考慮する。
【0318】
図9との比較から分かるように短時間で位置検出或は形状検出のためのデータの取り込みを行うことができる。
また、この実施形態では短時間で位置検出或は形状検出のためのデータの取り込を行うことができるので、挿入部の動きが速い場合にも、精度の高い形状推定等を行うことが可能になる。
【0319】
なお、例えば12個のソースコイル16iはそれぞれ整数倍でない異なる周波数(例えば、10.0,10.5,11.0,11.5,12.0,12.5,13.0,13.5,14.0,14.5,15.0,15.5[KHz])の駆動電流で、同時に交流磁界を発生させる。
【0320】
この構成によれば、第1実施形態の構成のソースコイル1個分にかかる時間で、複数(例えば12個)のソースコイルの位置を導出することができる。また、この実施形態ではモニタ画面に内視鏡形状を表示する場合、図52に示すように患者のモデルパターンに重畳して内視鏡形状を出力する。図52において、左側の領域がグラフィックス出力領域で、右側がユーザが操作パネル35からキー入力等により視点、回転角、視点位置とz軸とのなす仰角等を設定するユーザインタフェース領域である。その他の効果は第1実施形態とほぼ同様である。
【0321】
図53は本発明の第3実施形態を備えた内視鏡システム70を示す。このシステム70は図1に示すシステム1において、3軸センスコイル22jの代わりに図55(a)に示すように磁気抵抗素子(MR素子と略記)76a,76b,76cで形成したセンサ75jを用いており、センサ75jはベッド4の隅の3箇所(又は4箇所)のそれぞれ既知の位置に取り付けてある。
【0322】
また、このシステム70における内視鏡形状検出装置3′の構成を図54に示す。この装置3′は図2において、3軸センスコイル22jの代わりにMR素子76a,76b,76cによるセンサ75jが用いてある。また、センスコイル出力増幅器27はセンサ出力増幅器27′となり、相互インダクタンス検出部26の代わりに磁界強度検出部26′が用いてある。
また、ソースコイル位置検出部31は基準データを格納したテーブル31bのデータを参照して位置検出又は位置推定を行う。
【0323】
各センサ75jは図55(a)に示すように磁界強度に応じて抵抗値が変化する3つのMR素子76a,76b,76cを立方体の互いに垂直で隣合う3つの面にそれぞれ取り付け、これら3つのMR素子76a,76b,76cを直列に接続して形成したセンサ75の2端子を磁界強度の検出信号の出力端子としている。
この場合、MR素子76a,76b,76cはそれぞれX,Y,Z方向の磁界強度成分により各抵抗値が基準値から変化するように設けらてある。
【0324】
各MR素子76qの抵抗変化分ΔRqは図55(c)に示すように磁界Hqの2乗に比例して変化するので、センサ75jの2端子の抵抗変化分ΔRは、図55(b)に示すようにx,y,z方向の磁界成分Hx,Hy,Hzそれぞれの2乗の総和になる。
【0325】
この実施形態ではセンサ75jの出力から磁界強度の2乗和に比例する信号が直接検出できるメリットがある。この信号は、磁界強度検出部26′で平方根の算出により磁界強度が検出される。
さらにソースコイル位置検出部31でテーブル31bのデータを参照して各ソースコイル16iの位置算出を行う。
【0326】
このテーブル31bのデータは第1実施形態と同様にして得られる。つまり、図17(a)において、3軸センスコイル22の代わりにセンサ75jを配置して、図17(b)に示すような最大磁界強度の曲線Cu及び最小磁界強度の曲線Cdの基準データをテーブル化したものである。
【0327】
図56は既知となる3つの位置にセンサA,B,C(75a,75b,75cに相当する)を配置し、複数のソース(具体的には例えばソースコイル16i)の一つを駆動させると、センサA,B,Cにはソースとの位置関係に対応した出力が発生する。
【0328】
その時のセンサA,B,Cの各出力をそれぞれνa、νb、νcとする。
また、予め各センサについて、そのセンサ出力と、その出力となるはずの空間座標群のデータをメモリ等に確保しておく。
【0329】
図57は例えばセンサAについてのデータテーブルを示している。今、ある位置にソースが一つ存在し、磁界を発生しているときに得られるセンサ出力νaを図57のテーブルのνa1〜νaLまで比較しνal≦νa<νak(k=l+1)となる整数lを求める。
同様に、他のセンサ出力νb、νcに対しても条件を満たす整数m,nを求める。
【0330】
このとき、条件を満たす出力データνal、νbm、νcnに対応した空間座標群Pai、Pbj、Pckが存在し、それらの関係は図58のようになっている。したがって、これらの共通領域となる3次元領域がソースの空間座標領域となる。さらにその領域の重心位置を求めてソースの3次元位置としても良い。
【0331】
このようにして求めた複数のソースの空間座標領域(或はその重心から求めた空間座標位置)を接続する処理等を行い、さらに形状推定により内視鏡の挿入形状を求めることができる。
図58によりそれぞれ得られた3次元位置又は領域を、各領域の重心位置等を通る線等で接続し、挿入部の形状を推定してモニタ画面に挿入部形状のモデル表示を行う。より簡略化して表示する場合には図59に示すように図58のようにして推定されたソースコイルの3次元領域又は3次元位置のみを3Dー2D投影等してモニタ画面に表示して挿入部形状のモデル表示を省くようにしても良い(図59の点線は補間した場合の線を示し、この補間を省略して表示しても良い)。
【0332】
この第3実施形態は、第1実施形態とほぼ同様にテーブルを用いて位置検出を行うので、位置検出或は位置推定の処理時間を短縮できる。また、MR素子により3方向の磁界強度の平方に比例した信号の和を直接検出できるようにしているので、磁界強度算出の処理を高速に行うことができるメリットもある。さらに挿入部形状をモデル的に描画する処理を省いて表示を行うことにより、非常に高速に挿入部の挿入形状の概略を表示できる。
また、図59のようにまず表示した後に、より視覚的に分かり易いモデル(上述のn角柱モデル等)で描画するようにしても良い。
【0333】
図60(a)は第4実施形態の内視鏡形状検出装置42を示す。この第3実施形態は図2において、プローブ15側に複数のセンサ、つまり複数のセンスコイル43iを内蔵し、ベッド側に磁界発生源、つまり複数の3軸ソースコイル44jを配置した構成である。第1実施形態と同様に内視鏡内及びベッド4に、それぞれが既知となる位置に設置される。
【0334】
従って、分配器28を経た駆動信号は各3軸ソースコイル44jに順次印加され、プローブ15側のセンスコイル43iで検出された信号は増幅器27で増幅され、検出部26を経て形状算出部30を構成する(センスコイル)位置検出部31′に入力される。
【0335】
この位置検出部31′は3軸ソースコイル44jを基準としてセンスコイル43iの位置を相対的に検出する。
その他の構成は第1実施形態と同様である。また、この変形例の効果も第1実施形態とほぼ同様である。
【0336】
図60(b)は第4実施形態の変形例の内視鏡形状検出装置42′を示す。この変形例は図53(a)において、3軸センスコイル43iが1軸センスコイル43i′に、1軸ソースコイル44jが3軸ソースコイル44j′に変更したものであり、その他は第3実施形態と同様の構成である。又、その効果もほぼ同様である。
【0337】
図61(a)は本発明の第5実施形態の内視鏡形状検出装置45を示す。この第5実施形態は図60(a)において、駆動信号の周波数を変えることで、図60(a)の分配器28を省略した構成になっている。
【0338】
従って、駆動部24はソースコイル44j毎に異なる周波数fjの駆動信号を出力する。その他は第4実施形態と同様の構成である。この第5実施形態の効果も第2実施形態とほぼ同様である。
【0339】
なお、第1ないし第5実施形態或は変形例において、センスコイルからの信号を増幅後に、デジタル変換しその後の検波等をすべてデジタル信号処理してもよい。
【0340】
また、最大の関心位置である内視鏡の先端部のみに、1つのソースコイル或はセンスコイルを内蔵してもよい。この場合には内視鏡の先端部の位置を検出する内視鏡先端部位置検出装置として機能することになる。
次に本発明の第6実施形態を図62を参照して説明する。図62は第6実施形態を含む内視鏡システム51を示す。
【0341】
上述の実施形態及び変形例では、推定された内視鏡形状は専用の表示装置としてのモニタ23に描出されていたが、この実施形態ではモニタ23に出力される映像信号を内視鏡画像を表示するモニタ12で切り換えて表示するようにしている。 このため、検出装置本体21の出力は接続ケーブル52を介してビデオプロセッサ11の外部映像信号入力端に入力され、切り換えスイッチ53を操作することによって、カラーモニタ12の表示面に内視鏡像及び内視鏡形状を選択表示することができるようにしている。
【0342】
さらにこの実施形態ではビデオプロセッサ11側の(CCD読み出しのドライブ信号のタイミングを決定する)基準信号がケーブル54を介して形状検出装置本体21に送るようにしている。そして、内視鏡形状の検出のために、ソースコイル16iに駆動信号を印加するタイミングは、ドライブ信号が出力されていない期間に行うようにタイミング調整を行うようにしている。
【0343】
図63はこのシステム51における動作期間の様子を示す。ビデオプロセッサ11内の光源部は図63(a)に示すようにR、G、Bの面順次光で順次照明する。そして、内視鏡6に内蔵された図示しないCCDには図63(b)に示すように照明が行われていない期間に、CCDドライブ期間が設定され、このCCDドライブ期間内にCCDをドライブするCCDドライブ信号が印加され、このCCDで光電変換された画像信号(撮像信号)が読み出される。
【0344】
一方、駆動信号が出力される駆動信号期間はCCDドライブ信号が出力されるCCDドライブ期間以外の期間、つまり照明(露光)期間内となるようにして、駆動信号が撮像信号に影響を及ぼさないようにすると共に、CCDドライブ信号がセンスコイルによる検出信号に影響を及ぼすことも防止できるようにしている。つまり、それぞれの機能の相互の干渉を解消する手段を構築している。
その他の構成は図1に示す第1実施形態と同様の構成である。
【0345】
この実施形態によれば、内視鏡形状の検出のための駆動信号が内視鏡画像信号にノイズとなることを防止できると共に、CCDドライブ信号がセンスコイルによる検出信号のノイズとなることを防止できる。その他の作用及び効果は第1実施形態とほぼ同様である。
【0346】
なお、この第6実施形態において、ピクチャインピクチャ方式で、内視鏡像に内視鏡形状を、或は内視鏡形状に内視鏡像を表示するようにしてもよい。
また、第6実施形態において、撮像信号と干渉することがないように内視鏡形状を検出する場合には、内視鏡観察画像をフリーズし、画像にノイズが混入しないようにしてもよい。(図1の操作パネル35に設定用の機能をいれる)。
【0347】
また、画像の取込みのフィールドごと、フレームごと、数フレームごと、数フィールドごと、内視鏡形状描出の処理完了ごとに、観察画像取込みを自動的に中断して形状検出のための磁界発生、磁界強度取込みを行ってもよい。
【0348】
次に本発明の第7実施形態を備えた内視鏡システム61を図64を参照して説明する。このシステム61は、図62の内視鏡システム51において、さらにヘッドマウントディスプレイ(以下、HMDと略記)62と、患者5の位置確認用のTVカメラ63と、このTVカメラ63から患者5の体の輪郭を抽出するコンピュータ64と、バーチャルリアリティ用の画像処理を行う画像処理装置65を有する。
【0349】
画像処理装置65は形状検出装置本体21の例えば形状画像生成部32(図2参照)と接続され、形状画像生成部32で生成される形状画像を画像処理して視点を少し変えた位置での右眼(又は左眼)観察用の形状画像生成し、形状画像生成部32で生成される形状画像を左眼用形状画像として共に、モニタ信号生成部33を経てHMD62の(右眼観察用及び左眼観察用)液晶ディスプレイに出力し、HMD62をヘッドに装着した術者はバーチャルリアリティで内視鏡形状を立体観察することができるようにしている。
【0350】
また、この実施形態ではTVカメラ63により、ベッド4上の患者5の位置を検出し、患者5の体の形状の映像信号を生成することによって、この体の形状にオーバラップして内視鏡形状をバーチャルリアリティで観察できるようにしている。このように体の形状にオーバラップ表示することにより、内視鏡6の挿入部7が実際にどの部分まで挿入されているかが分かるようにしている。
なお、カラーモニタ12には図62の場合と同様に内視鏡画像と、HMD62の一方の液晶ディスプレイに表示される(体の形状にオーバラップ表示される)内視鏡形状との一方を選択して表示することができる。
【0351】
図65はTVカメラ63により、ベッド4上の患者5の位置を検出する方法の説明図を示している。図65において、TVカメラ63で撮像された画像はケーブルの下に点線で示した矢印の画像であり、内視鏡形状検出装置3による画像はその下に示した画像であり、コンピュータ64で輪郭抽出を行い、(モニタ信号生成部33等を経て)図のように重ねて表示する。
患者5の体には、位置、方向を検出するための、ボディマーカ67が装着されている。これは、単数でも複数でもよい。
【0352】
ボディマーカ67には、位置検出用のコイルが内蔵されている。このボディマーカの設置位置を患者5の骨盤の横位置など基準点に設けて、内視鏡形状の表示の際、基準的な体形のグラフィックモデルと重ねて表示してもよい。
【0353】
患者が内視鏡検査用ベッド4に寝た場合に、ベッド4の上方に設けられた位置確認用のTVカメラ63で、ボディマーカ67も含めて、コンピュータ64に画像を取り込む。患者5の体に装着されたボディマーカ67は患者5の輪郭線の部分であるので、これを基準に、患者5の輪郭画像のみを抽出して形状表示と重ね合わせてカラーモニタ12等に描出する。
【0354】
重ね合わせの画像は、内視鏡検査の前に、あらかじめ取り込んだ患者5の体の全周画像をもとに画像、もしくは磁気的に求めたボディマーカ67の位置から、患者5の方向を導出し、コンピュータ64で合成形成して表示してもよい。
実際にTVカメラ63等で取り込んだ画像上の色(ベッド等)が、形状検出装置で合成して表示する内視鏡の色と類似の場合には、形状がカラーモニタ12上で判別しづらくなる。
【0355】
そこで、使用者が、表示される内視鏡形状の色を変えられるようにしてもよい。また、カラーモニタ12上に表示される内視鏡の太さも変えられるようにしてもよい。
【0356】
患者5の体の方向を検出することで、カラーモニタ12に表示する画像は、常に患者5の体の正面方向からの画像とするようにしてもよい。
当然、得られた画像を、回転させられるようにしてもよい。このようにすれば、使用者の視点と同じ所からの画像に変換が可能であるので、使用者が内視鏡形状を誤って認識することを無くすことができる。
【0357】
上記の例では、使用者が、自分の視点に合わせて得られた画像を回転させていたが、使用者にもボディマーカ67と同様に位置検出用のセンサを装着すれば、自動的に画像を回転等変形させることができる。
使用者の場合には、内視鏡6の挿入操作があるので、位置移動が大きく、使用者の動きを妨げない所に、装着することになる。また、センサの位置は使用者の視点と同じには物理的にできない。(頭蓋内にセンサを設置しなければならなくなる)
そこで、使用する際に、センサ位置と視点を合わせ込むための調整手段を設けてもよい。
【0358】
例えば、内視鏡検査用ベッド4の上に形状検出用のプローブを置いて、表示されるプローブ形状が実際の見え方と同様になるように、回転、拡大縮小し、その状態で、視点補正用のスイッチを押すことで、視点とセンサ位置のオフセット調整を行う。
【0359】
これは、先に述べたHMD62利用の場合も同じように行う必要がある。HMD62にセンサ68を固定してもよい。こうすれば、目線とセンサ位置があまり差がないため、ほとんど補正なしに使用することが可能である。
磁気的なセンサを用いて使用者の位置を検出する場合には、内視鏡形状と同様に磁気結合を利用するが、内視鏡形状検出用プローブ15内のソースコイル16iの位置の検出と同時に駆動するのではなく、時分割で駆動することで、相互の磁気干渉を低減するようにしてもよい。図66はこの時分割で駆動する場合の説明図を示す。
【0360】
幅の狭いパルス期間がHMD62の固定された磁気的なセンサを駆動する期間を示し、幅の長いパルス期間が内視鏡形状検出のためのソースコイル16iを駆動する期間を示す。
【0361】
この実施形態によれば、バーチャルリアリティで内視鏡形状を立体観察することができるので、内視鏡6による検査とか内視鏡6を用いた処置等を行う場合、内視鏡6の挿入部7の先端部を目的とする対象部位付近にまで導入する作業等がより容易かつ短時間にできる等のメリットがある。
その他は第1実施形態と同様の効果を有する。
【0362】
なお、HMD62に固定された磁気的なセンサと内視鏡形状検出のソースコイルとを駆動する場合、時分割で駆動する代わりに、それぞれの周波数を変えて、検波することで完全に同時駆動してもよい。この場合には、すべてのセンサ位置が同時に得られるので、内視鏡挿入でその位置、形状、使用者位置が早く変化してもそれに追随して、すばやく位置、形状が得られる。
これらの処理は、よく知られた直交検波を用いることができるが、アナログでも、A/D変換してデジタル的に処理を行ってもよい。
【0363】
これらの位置検出に用いる磁界発生用のコイル、磁界検出用のコイルは、それぞれのコアの特性のばらつき、巻き線のばらつき、周囲温度の差等で、同じ電流を供給しても発生する磁界強度のばらつき、同じ磁界強度の場にあっても、得られる検出信号強度のばらつきが生じてしまう。
【0364】
そこで、あらかじめ、そのばらつきを同じ磁界強度を発生するための電流値を測定し、ばらつき補正できるようにする。
例えば、ソースコイルから軸方向30cmの所で2ガウスの強度が得られるようにするための電流値を測定し、基準の電流値との比をテーブル値として記憶し、その比で駆動するようにする。センスコイルも同様に2ガウスの磁界強度での信号出力をあらかじめ測定し、基準値との比をテーブルとし、検出信号にかけることで補正を行う。
【0365】
この補正係数はコイルごとに設定する必要があるので、装置に設けられたキーボードから設定できるようにしてもよい。
また、プローブ15のコネクタ内に設けられたROMに値を、記憶させておき自動的に読み込まれるようにしてもよい。また、記憶させる値とか設定する値は、圧縮してコード化してもよい。
内視鏡検査用ベッド4に設置するコイルは、故障時以外は装置との組み合わせは変化しないため、装置組立時にばらつきの補正量を設定しておけばよい。
【0366】
ベッド側のコイルはこのように、基本的には常に同じ装置と組み合わされている。また、形状検出用のプローブ15における各コイルの間隔は、あらかじめ既知の値にて組立られている。そこで、ベッド中央に直線上にプローブ15を置いて、ばらつき補正用のスイッチを押すことでプローブ15内の各コイルのばらつきを補正するようにしてもよい。また、検出された位置が直線上に並ぶように、或は間隔が既知の値になるように、補正係数を設定したり、駆動電流を調整したりしても良い。
このようにすれば、プローブ15内に高価なROMを内蔵する必要もなくなる(これらは、形状検出用の特殊内視鏡の場合も同様)。
【0367】
次に本発明の第8実施形態を説明する。一般に位置検出に用いられるセンスコイルの検出可能な範囲は、装置のダイナミックレンジに依存する。そのため、検出信号のレベルが大きくなるソースコイルとセンスコイルが接近している場合の小さい距離がから、検出できる信号レベルが微小となる両者の矩離が遠い場合まで、充分にカバーできるダイナミックレンジが要求される。
【0368】
しかし、実際の内視鏡検査では、検査用のベッドが用いられ、患者はベッドの上に存在しているので、ベッドの上の領域のみが検出でされば良く、また一般的な体格の患者であれば、内視鏡挿入で考えられる内視鏡の位置は、ごく限定された領域となる。
【0369】
つまり、実用上限定されたダィナミックレンジを有していればよい。
一方、表示される画像を考えると、内視鏡画像のみが表示されると、一般には、どちらの方向の視点から描画されているのかを判断しにくい。
そこで、この実施形態では検出しうる領域の表示を、視点方向を術者に確認させるためのものとして用意する。
【0370】
この領域の内部であれば、充分な検出精度が得られるので、内視鏡の形状表示はこの領域の内部に存在する物に対してのみ実施する。この処理のフローを図67に示す。
【0371】
予め基準となる直方体等の値を検出範囲(検出領域)に設定しておき、ステップS121でこの検出範囲を取得する。つまり、実際に視野座標系からの検出範囲を基準データとして取り込む。次のステップS122でスコープイメージ描画の構築を開始する。この場合、コイル位置を補間する事で得られる内視鏡の位置座標を、検出領域を囲む面と比較し、検出領域内か否かを判断する(ステップS123)。
【0372】
比較して、領域内部と判断された場合のみその画像データをビデオRAMに格納し(ステップS124)、範囲の外の場合にはそのデータを破棄する(ステップS125)。ビデオRAMに格納した画像データをCRTに表示し(ステップS126)、イメージ構築の処理が終了かを判断し(ステップS126)、この処理が終了するまで行う。
【0373】
この実施形態では検出範囲内の場合には表示し、検出範囲外の場合には表示を行わないで終了する。
この検出領域の外に存在する内視鏡形状は、その位置精度が充分ではないので表示しないようにしている。
【0374】
しかし、領域の外に存在する形状を全く表示しないとすると、患者の移動などで内視鏡のほとんどが、領域外になってしまう場合には、殆ど形状が表示されなくなってしまう場合も考えられる。
そこで、例えば図68に示すように領域の内と外とで異なる表示方法で表示するようにしても良い。図68では検出範囲内か否かの判断の処理(ステップS123)において、範囲内の場合には第1RAMに格納し(ステップS124a)、範囲外の場合には第2RAMに格納する(ステップS125a)。これら第1RAM及び第2RAMに格納された画像データを異なる表示濃度等、表示方法を変えてCRTに表示する(ステップS126a)。その他は図66と同じ処理内容である。
【0375】
検出範囲の内と外で表示濃度の濃淡等を変更するものに限定されるものでなく、例えば領域の外に対しては(領域の内とは)別の色系統(内視鏡が暖色系なら寒色)で表示するようにしても良い(例えばそのようなLUTを用意する)。さらに描画に使用するピクセルを間引いて表示画像を粗くする。(表示マスクを用意しEXORをとる、ORをとるなどする)ようにしてもよい。
連続した内視鏡形状が検出精度と併せて表示されるので、内視鏡形状が確実に得られる。
【0376】
つまり、ソースコイルの位置を補間する事で得られる内視鏡の位置座標を、領域を囲む面と比較し、この比較により、領域内部と判断された場合のみ通常描画するようにした内視鏡形状検出装置の描画方法によれば、精度の良い形状表示を行うことができる。なお、この図67又は図68の処理を第1実施形態の図15のステップS42内で行うようにしても良い。
【0377】
次に本発明の第9実施形態を説明する。上述の実施形態等では内視鏡形状を表示する場合には、コンピュータグラフィックとして表示するようにしているのに対し、この実施形態では例えば内視鏡実画像で表示するものである。
【0378】
検出された或は推定された内視鏡形状は、コンピュータ内部でワイヤフレーム等で描画したり、光源を設定し、設定した面の陰影処理をしたりして表示する事等を説明した。
【0379】
しかしながら、一般にこの画像処理は、高速な演算、描画能力が要求されコンピュータの処理速度や、内蔵しているメモリの容量により、待ち時間の少ない快適な描画速度を得ることが困難になる場合も在り得る。この場合には描画速度を向上するために、処理が簡単なモデルが望まれる。しかし、あまり簡単化したモデルでは実際の内視鏡の画像とは大きく異なり、内視鏡を描出しても、内視鏡そのものを想起させるものになりにくくなる恐れがある。
【0380】
このような場合にはこの実施形態を採用することにより、処理能力の小さいコンピュータ等でも高速に且つ内視鏡の形状をより把握しやすい形状で表示することが可能になる。
このため、この実施形態では、テクスチャを張り付けて内視鏡形状を表示する手段を構成し、張り付けるテクスチャとして実際の内視鏡の画像を予めスキャナで取り込んでROMの中に格納し、さまざまなテクスチャを画像パターンとして用意する。つまり、テクスチャとして、あらかじめパターンを高速な半導体メモリの上に用意しておく。
そして図69に示すように検出された内視鏡の位置に対応する座標と対応するテクスチャのパターン中心の座標が一致するようにテクスチャを貼り付けを行う。
【0381】
貼り付けるテクスチャがこの図69に示すように四角を基本とする場合には、内視鏡形状の状態によって、表示される画像に段差が発生してしまうので、ペジェ曲線やスプライン曲線で外郭を接続してもよい。また公知のアンチェイリアスを施すようにしてもよい。
【0382】
使用するテクスチャは図70(a)に示すようにAからHの光源方向に対応し内視鏡挿入部7の画像を取り込んで用意しておく。
光源の方向は、記憶領域の大ききに応じて、また表示される画像の品質にあわせて適宜増減してテクスチャを用意できる事はいうまでもない。
【0383】
また、内視鏡挿入部7が傾いている場合の画像7aを図70(b),(c)を別に用意しておく事も可能である。
内視鏡挿入部7自身の傾きと光源方向に合わせたテクスチャを数多く記憶させておけばおくほど、画像表示のための演算が減り、より高速な描画が可能となる。
【0384】
内視鏡の画像と、背景とを際だたせるために、公知のエッジ強調をおこなってもよい。
この実施形態によれば内視鏡のイメージを構成するための表示用メモリとしてのビデオRAMに、画像パターンを予め書き込んだROMの画像を書き込むことになる。
【0385】
これは、内視鏡が存在する座標が求められた後では、単に、対応じたパターンをソートして書き込むという、メモリ間のデータ転送を行えばよいことになり、複雑な演算処理は不要となり、描画を行う速度を非常に高速に行うことが可能になる。
【0386】
また、使用するテクスチャが、実際の内視鏡を用いた物であるので、直感的に内視鏡形状のイメージがし易くなる。
また、既存の内視鏡と同じ色で、表示できるため、実際の内視鏡の形状を術者の頭の中で再構成する事が非常に容易にできる。
【0387】
次に本発明の第10実施形態を説明する。この実施形態は表示色を一定の長さ毎に切り替えるようにしたものである。
挿入されている内視鏡挿入部の形状は、コンピューターグラフィックにて、モニタ上に表示されるが、実際の内視鏡挿入部の外装とは違い、挿入長を示す表示がされていなかった。
【0388】
そのため、内蔵されているコイルの位置を内視鏡形状とは別の色を用いて、表示する等していたが、実際に患者の体内にどの程度の長さが挿入されているかを確認するには、モニタ上の画像から術者が判断する必要があった。
【0389】
特に位置検出用のコイルの設置間隔を一定にしておき、コイルの位置を他の疑似的内視鏡鏡表示と区別し(たとえば、内視鏡はグレースケールで、コイル位置は赤い点で表す)ておけば、何個分のコイルが表示されているかで、挿入長を得る事ができる。しかし、実際に内視鏡検査を行う場合には、内視鏡の挿入が目的ではなく、体内組織の観察、処置が目的であるため、余計な計数作業は、術者の負担となる。
【0390】
そこで、コンピューターグラフィックで表示される内視鏡形状を、一定の長さ毎に基本色を変えて表示するようにする。
たとえば、装置で表示可能な色によるカラーチャート上で引いた直線上で、ある程度離れた色を、基本色として設定する。
【0391】
これを、描画長に応じて、繰り返すことで、一定距離毎に色が変化させられる。
この一定距離は、使用者が設定できるようにしてもよい。
【0392】
コイル位置のみを別の色で表現するよりも、多くの描画面積をとれるので、視覚的に簡単に挿入長を理解できる。
グラデーションの変化の繰り返しで表現するようにしてもよい。
白黒2値画面では貼り付けるパターンを変えるようにしてもよい。
【0393】
簡単のため、内視鏡挿入部が直線であった場合の画像を図71(a)に示す。先端から一定の長さ毎にCa,Cb,Cc,Cd,Ceと色が変化して表示されるようにしている。
【0394】
このような表示は図71(b)に示すように貼り付ける色Ca,…,Chのデータをテクスチャエリア内の所定のアドレス位置にそれぞれ格納して、順次読み出すことで実現可能である。
各パターンは使用者が、自由に設定できるようにしてもよい。
【0395】
描画の基本的な流れを図72に示す。まず、ステップS131でパラメータnを0に初期化する。
次のステップS132で、挿入は先端部から行われるので先端の位置を検出し、この位置をPsn(ここではn=0)とし、この位置Psnから使用者が設定した距離lとなる内視鏡位置上の位置Psn+1を探索する。
【0396】
次のステップS133で、パラメータnが検出された挿入部長さ/lに等しい或はより小さいか否かを判断し(つまりn≦検出された挿入部長さ/l)、この条件を満足する場合にはnをn+1にして(ステップS134)、再びステップS132に戻り、同様の処理を繰り返す。
【0397】
一方、条件を満足しない場合には、次のステップS135に進み、先端側から探索された距離lごとに異なる色で表示する、つまり図71(a)のように表示してこの処理を終了する。
【0398】
次に本発明の第11実施形態を図73を参照して説明する。この実施形態は周辺画像を取り込んで表示するものである。
磁気で検出された内視鏡の形状表示をコンピュータグラフィックで行う場合に、生体組織等は、検出困難であるので、内視鏡のみしか表示されない。そのため、生体と内視鏡の位置関係が直感的にはわかりにくい。
【0399】
これを解決するために、第1実施形態では、ベッドの平面等の基準面を表示するようにした。この場合、コンピュータで作成したテクスチャであるので、実際の内視鏡室の光景とは異なり、すぐに、実際の内視鏡と対応付けて形状を認識しづらい場合もあり得る。これを防ぐためにこの実施形態のように周辺画像を取り込んで表示するようにしても良い。
【0400】
図73に示す第11実施形態の内視鏡形状検出装置101では、形状検出装置本体21にはビデオ入力装置としてのビデオカメラ102が接続され、このビデオカメラ102で内視鏡検査室103を撮像する。
【0401】
この内視鏡検査室103にはベッド4等が配置され、ベッド4等の画像がビデオカメラ102で撮像され、撮像された画像信号として形状検出装置本体21に出力される。この形状検出装置本体21は入力される画像信号を、画像処理部21a内のA/Dコンバータでデジタル信号に変換してメモリに格納する。このメモリの画像はモニタ信号生成部を経てモニタ23に再生する。
【0402】
術者はモニタ23に表示された画像に対し、キーボード35a及びマウス35bを操作して図74に示す処理を行わせて、内視鏡形状の表示の際に背景画像として表示させることができるようにしている。
【0403】
次に図74のフロ−を説明する。まず、ステップS141でビデオカメラ102による画像の取り込を行う。つまりビデオカメラ102からの画像信号を、A/D変換して、メモリに記憶する。
【0404】
次のステップS142で記憶された画像を、モニタ上に再生し、再生された画像を修正する処理を行う。つまり、フォトレタッチソフト等で不要な画像部分やノイズの部分を修正し、修正した画像のうち必要なエリアをマウス35bで選択し、張り付け用画像としてメモリに記憶しておく。
【0405】
次のステップS143で、内視鏡形状検出制御プログラムを呼び出し、かつメモリに記憶した張り付け用画像も読み込み、背景画面として貼り付ける領域を指定する。
【0406】
次のステップS144で、変形や拡大、縮小を行って、形状検出装置の形状表示画像との合わせ込み(混合)を行った後に、ステップS145で貼り込みデータを確定させることにより背景画像が確定する。
これにより、実際の内視鏡室の背景の中に検出された内視鏡の形状が表現されるので、患者の体内の内視鏡の形状が理解しやすい。
【0407】
次に本発明の第12実施形態を説明する。この実施形態はソースコイルを駆動するケーブルを用いないで無線で駆動するようにした。
第1実施形態等ではソースコイルの位置を検出するために、センスコイルで磁界強度に対応した検出信号を得るようにしている。この場合、微少な信号を検出するために、同期検波を行っている。そして、ソースコイルの駆動信号と同じ周波数の信号を抜き出すために、駆動信号に基づく参照信号を用いて検波部で、受信信号に対して直交検波を行い、受信信号の振幅と、駆動信号に対する位相を得るようにしている。
【0408】
この場合、駆動信号はケーブルを経由して形状検出装置側の検波部に伝送しているが、そのケーブルが術者の自由な動きを制限したり、患者にマーカとしてソースコイルを設けた場合には、患者の自由な体の動きを制限してしまう可能性がある。
そこで、この実施形態では参照信号を生成する信号を無線で伝送できるようにして無線で位置検出を行うことのできる装置を説明する。
【0409】
図75はソースコイルを設けたプローブ131側の構成を示す。電池、又は外部からの電磁界により交流信号を発生するアンテナコイル等で構成される電力供給手段132は電源手段133に電力を供給し、この電源手段133は安定化した直流電源を生成し、発振手段134等に動作に必要な電圧を供給する。
【0410】
発振手段134は所定の周波数で発振し、この発振信号を放射手段135に印加し、放射手段135は一定のレベルの駆動信号となるように増幅して内部のソースコイル136iに印加し、その周囲に磁界を発生させる。
【0411】
また、外部同期のための基準パルスを生成する基準信号発生手段137は発振手段134の発振信号から基準となる基準パルスを生成し、放射手段138に供給して放射手段138から放射する。
【0412】
この放射手段138は、駆動信号の振幅を一定にするためのAGC回路を備え、外部同期の為の基準パルスを拡散スペクトラム法を用いて送出する。
図76は図75をより具体的に構成したものを示す。電力供給手段132を構成するアンテナコイル132aで発生した交流信号は電源手段133を構成する整流器及びコンデンサによる直流化回路133aで整流されて直流に変換され、さらに安定化回路133bにより一定の直流電源電圧にされる。
【0413】
この直流電源電圧は発振手段134を構成する発振器134aに印加され、所定の周波数で発振し、放射手段135を構成するAGC回路135aにより一定のレベルまで増幅され、さらに切換スイッチ135bを介して順次ソースコイル136iに印加される。
【0414】
また、基準信号発生手段137を構成する拡散符号発生器137aは、発振器134aの出力がゼロになったところで0、次のゼロクロス点で1となるように発振信号出力レベルをモニタし、パルス信号を形成する。このパルス信号は変調器138aでたとえば、FSK変調され、さらに拡散変調器138bでPN符号を用いて拡散変調される。拡散変調された信号は必要に応じて増幅され、基準パルス送信用コイル138cから放射する。この信号スペクトルはブロードになる。
【0415】
なお、切換スイッチ135bは拡散符号発生器137aの出力をカウントするカウンタ等を用いて形成した切換制御器135cにより切換えが行われる。
一方、センスコイル22jを設けた形状検出装置本体側の参照信号生成回路141の構成を図77(a)に示す。
【0416】
形状検出装置本体は参照信号生成回路141を有し、上記コイル138cから放射された信号をアンテナコイル142で受信する。受信された信号は、送信側と同様の拡散符号発生器143のPN符号を参照して、逆拡散回路144で逆拡散され、BPF145でフィルタリングされた後、復調回路146で元の信号に戻される。
【0417】
従って、この復調された信号は基準駆動信号としてのパルス信号にするため、PLLループを形成し、このPLLループで基準周波数に位相ロックを行う。 位相ロックがかけられて、基準周波数に同調された信号が、基準位相が揃った参照波(参照信号)となり、この参照波は同期検波回路に出力され、センスコイルで検出した検出信号に対して同期検波に使用される。
【0418】
なお、受信側のPN符号は送信側と一致しないと、拡散を行う事になり、信号は再生されない。
つまり、位置を検出すべきコイルすべてのPN符号を変えておけば混信はなく、同時に多数の参照波を接続ケーブルなしに得る事ができる。つまり、図50に適用すれば、同時にソースコイルの駆動及びセンスコイルによる検出を無線で行うことができる。なお、変調及び復調は公知のどのような方式を採用しても良い。
【0419】
なお、電力供給手段132として図76のようにアンテナコイル132aを採用した場合には形状検出装置側或はこの装置とも別体で電磁界等を発生してそのエネルギをアンテナコイル132aに供給するエネルギ供給手段が必要となり、このエネルギ供給手段は147は例えば図77(b)に示すように発振器148とその発振出力を放射するコイル149と、直流電源150とから構成され、この直流電源150は電池でも商用電源から整流等で生成した電源を利用しても良い。
【0420】
発振器149は例えば上記発振器134aの周波数よりもはるかに高い周波数(例えば数10MHz〜数100)に設定され、発振器134aの周波数で発生される磁界に殆ど影響を及ぼさない。
なお、送信側の被変調波は、駆動信号(発振信号)そのものでもよい。
【0421】
また、この実施形態をマーカの表示に利用することもできる。図78(a)はこの第12実施形態の変形例の無線式の磁界発生ユニット159を示す。この無線式磁界発生ユニット159はコイルユニット152と駆動ユニット156とから構成される。
【0422】
例えば、図78(a)に示すように位置を知りたい対象物に装着され、その位置検出のための磁界発生に使用されるソースコイル151を内蔵したコイルユニット152にコネクタ153を設け、このソースコイル151を駆動する駆動回路154及び電池155を内蔵した駆動ユニット156のコネクタ受け157で接続することにより、マーカ用の位置検出に使用される無線式の磁界発生手段を構成している。
【0423】
上記駆動回路154及び電池155は、図76において、AGC回路135aの出力端にコネクタ受け157を接続し、このコネクタ受け157にコネクタ153を介して接続される1つのソースコイル151のみを駆動する構成にしたものとなる。
【0424】
また、図78(b)に示すように駆動ユニット156を無理なく設置できる位置までケーブル158で離してコイルユニット152と駆動ユニット156とを接続するようにしても良い。このケーブル158の両端にはコネクタ153及びコネクタ受け157に接続できるコネクタ手段が設けてある。なお、コネクタ153等を設けないでケーブル158でコイルユニット152と駆動ユニット156とを接続するようにしても良い。
【0425】
このような構造にすると、形状検出装置側とマーカに用いるコイル側との間のケーブルを省くことができるので、患者に取り付ける場合には患者の動きに殆ど制約されないし、術者が使用する場合には術者の動きに殆ど制約されない。
【0426】
次に本発明の第13実施形態を説明する。この実施形態は視覚的に分かり易いマーカ表示として例えば掌の位置を表示するようにしたものである。
これを、実現するために、ソースコイルもしくはセンスコイルの少なくとも一方を着脱可能に、掌等の任意の場所に固定できる手段を設ける。
【0427】
この第12実施形態は例えば第1実施形態の図2において、さらに図79(a)に示す掌位置検出用デバイス111をマーカ表示のための磁界発生手段として備えている。
【0428】
このデバイス111は図79(b)の分解図に示すように掌の位置を検出するための2つのソースコイル116a,116bを有し、これらをフレキシブルな薄い板112a,112b(例えばスチロール樹脂等の高分子体の柔軟な材質)の間に接着剤で固定され、また一方の板112aの外側の面(表面)には図79(a)のように固定の際の方向性を指示する指標114が設けてあり、さらに他方の板112bの裏面には着脱自在の固定手段として接着剤113が塗布されている。
【0429】
そして図79(c)に示すようにこの接着剤113により、術者或は介助者の掌(又は手袋)115に張り付けられるようにしている。上記接着剤113は使用前は剥離紙に覆われて、直前に剥離紙をはがして、所望の場所に張り付け固定することができる。接着剤を塗布しなくても、サージカルテープなどで固定しても良い。また、これは、患者の体の位置を確認するための、ボディマーカとして使用しても良い。
【0430】
また、上記指標114は例えば図79(a)のように指先側と手首側と表示してあり、術者等は固定方向を確認することができる。
検出に用いるソースコイル116a,116bは、ケーブル117により有線式に形状検出装置に接続されていても、図78(b)等のように駆動ユニットに接続して(形状検出装置とは接続されない)無線式で交流磁界を発生できるようにしてもよい。勿論、図78(a)等のように単体で交流磁界を発生するようにしても良い。
【0431】
形状検出装置で検出されたソースコイル116a,116bの位置をそれぞれP0(x0,y0,z0)、P1(x1,y1,z1)とする。
P01=(P1−P0)とすると、一つのベクトルが設定できる。このベクトルが、掌で手首から指先方向に重なるように、術者が掌に張り付ける。
【0432】
図80(a)に示すように検出された掌の位置は、モニタ画面上で内視鏡形状の画像118と共に、掌を模したグラフィック119で表示しても良いし、図80(b)に示すように矢印120で表示するようにしてもいい。
また、実際には、内視鏡を体外から確認するための手段であるので、内視鏡と術者の掌の距離を、補助情報として表示するようにしてもよい。
【0433】
図81は第13実施形態の変形例の内視鏡形状検出装置121を示す。この装置121は例えば図2の第1実施形態において、さらにマーカ表示等に使用できるソースコイルをそれぞれ内蔵したコイルユニット122a,122b,122c(122qで代表する)が設けている。また、形状検出装置本体21にはキーボード35b,マウス35cが接続されている。
【0434】
また、操作パネル35には拡大図に示すようにユーザ定義マーカスイッチ123a,ボディマーカスイッチ123b,マーカ設定モードON/OFFスイッチ123c,器具マーカスイッチ123d,ハンドマーカスイッチ123e,マーカ設定スイッチ123f(123kで代表する)等が設けてあり、これらのスイッチ123kを操作してコイルユニット122qにおける任意で使用するコイルを術者が指定できるようにしている。
【0435】
それぞれのコイルユニット122qは図79と同様に、術者に貼り付け固定するための手段が設けられている。また、操作パネル35にはカーソルキー124と共に、表示/コイル切換えキー125が設けてある。
【0436】
次に操作パネル35の操作により任意の所望のコイルユニットをユーザ定義マーカ、ボディマーカ、器具マーカ等に設定する処理を図82のフローを参照して説明する。この処理は例えば図15のステップS42のスコープイメージ描写の処理に組み込まれる。
【0437】
このステップS42の動作時(図82ではメインと記す)にCPUはマーカ設定モードスイッチ123cのON/OFFを監視しており(ステップS151)、マーカ設定モードスイッチ123cをONして、設定モードにすると、マーカとして設定可能なコイルユニット122qに対応した表示部が点滅、もしくは他のコイルユニットとは異なる色でモニタ23の画面に表示される。
【0438】
ステップS152のように、コイルユニット123qに対応した例えばユニットナンバNの表示部が点滅する。
従って、点滅したコイルユニット123qとしてボディマーカスイッチ123b等の設定したいマーカスイッチをONする(ステップS153)。
【0439】
点滅したコイルユニット122qが操作者が設定したいコイルユニット123p(p=a,b,c)か否かを知るには、コイルユニット123pを保持して、位置検出装置の上方等で動かすと、そのコイルユニット123pに対応した表示マークがモニタ画面上で移動する。
【0440】
従って、所望のコイルユニット123pが選択されていない場合には、たとえばマウスカーソル等のポインティングデバイス等で選択、或はカーソルキーで選択する等して、所望のコイルユニットを選択(選択で反転表示する)し(ステップS154)、ユニットナンバMに対応したコイルユニット123pをセットし、また、表示形式をセットする(ステップS155)。
【0441】
次にマーカ設定スイッチ123fをONしてマーカの設定を行い、所望のコイルユニット123pのマーカ登録する。(ステップS156、157)。
このようにして操作者は、順次必要なマーカを設定していく(例えば患者の右体側の位置を示すボディマーカ、左体側を示すボディマーカ、肛門の位置を示すボディマーカ等として登録する)。
【0442】
なお、モニタ画面にはマーカ表示のパターン候補も表示されるので、コイルユニットの選択と同じ様に表示のマウスやカーソルで選択する。コイルユニット選択と表示選択の機能の切換えはカーソル中央の表示/コイル切換えキーで行い、上記表示形式を切換えることができる。
【0443】
ここでは、位置のみしか検出できない場合について記述したが、検出される信号にはソースコイル、センスコイル相互の傾きによる変化の影響も含まれている。そこで、傾きを検出する事も可能となる。
なお、傾きまで検出できる位置導出手法を用いている場合には、掌に設置するソースコイル又はセンスコイルは一つでよい。
【0444】
設置するコイルユニットには、上述のように指先に対応する方向と、手首に対応する方向にそれぞれを現す表示がされている。(複数のコイルを一体化して構成する物にも適用できる。)
ソースコイル或はセンスコイルの位置のみを導出する方式で、例えばソースコイルを2つ用いる場合、或はソースコイルの方向まで導出する方式で、ソースコイルを1つ用いる場合には掌の向いている方向は規定できない。方向を決定するには、パラメータが3つ必要であり、掌の方向も含めて検出、描画する場合に使用される掌位置検出用デバイス161を図83に示す。
【0445】
図83に示す掌位置検出用デバイス161は、図79のデバイス111に1つのソースコイル116cを追加した構成になっている。このように1つソースコイル116cを追加することで、3つのソースコイル116a,116b,116cが含まれる一つの平面が定義できるので、掌の向きを決定することができる。
【0446】
これにより、掌の向きが変化する事を検出して、表示するマーカの描画パターンを変える事ができ、立体的な位置関係が、術者に把握しやすくなる。
図84に示すように、3つのソースコイル116a,116b,116cの位置P0,P1,P2の位置ベクトルをvP0,vP1,vP2とする。
原点Oは、ベッドの中央と設定する。
【0447】
このときP1P0=vP1−vP0 (1)
P2P0=vP2−vP0 (2)
で表される。ここで、例えばP1P0は位置P0から位置P1の長さを有し、位置P0から位置P1の方向を向くベクトルを表す。
【0448】
今、表示したい掌を、検出するための3点を含む平面は、この平面上の位置ベクトルをrとすると、一般に、
r=vP0+s(vP1−vP0)+t(vP2−vP0) (3)
と表される。
【0449】
r=vP0、vP1,vP2を代入して(3)を解くと、
x,y,z各軸方向の単位ベクトルをa.b.cとして、(3)式は
la+mb+nc=0 (4)
と書き直せる(l,m,nは少なくとも1つは0でない整数)。
【0450】
この時のu=(l、m、n)がP0、P1、P2の3点を含む平面に垂直な方向ベクトルを決めることになる。
そして、視点の位置ベクトルをqとすると、uとqの内積は、その角度が鈍角か鋭角か、直角かで負、正、0の値をとる(鋭角の場合は正、鈍角は負)。
この値の符号で掌が視点方向を向いているのか、手の甲が視点方向を向いているかが判断可能である。
【0451】
そこで、掌と甲では、画面に表示する色を変えるようにする。このデバイス161を内視鏡形状検出装置(例えば図81の装置121でコイルユニット122a,122b,122cとしてこのデバイス161を3つ用いる)に採用してマーカ表示を行う場合のマーカ表示処理を図85に示す。
【0452】
メインの状態からマーカが設定されているか否かの判断が行われる(ステップS161)。設定されていると、設定されている各コイルユニットの3つのソースコイルの位置検出が行われ、マーカの描画位置取得がされる(ステップS161)。
【0453】
次にマーカ設定モードに対応したパターンで、検出された位置にそのマーカの画像が、掌と甲では異なる色で表示され(ステップS163)、この表示の処理の後にメインに戻る。
【0454】
このようにマーカを表示する場合、掌或は甲の面からの傾き角等に応じて徐々に色が変化していくように(例えば、暖色から寒色へ変化するようにカラーテーブルから表示色を選択する)してもよい。また、表示される形が角度、位置にあわせて変形していくようにしても良い。
【0455】
図86は2つのソースコイルを用いて掌の位置と方向とを検出することを可能にする掌位置検出デバイス171を示す。
このデバイス171は、図79のデバイス111において、2つのソースコイル116a,116bが同方向とならないように、それぞれ位置P0,P1に設けられており、これを掌に貼り付けることができる。
【0456】
図87に示すようにソースコイル116a,116bの方向ベクトルをa,bとすると、a.bに平行な平面を表すベクトルcは、
c=ga+hb(g,hは少なくとも一つは0でない整数)
となり、この平面の垂線はa,bの外積となる。
【0457】
つまりi=a×bで決定されるベクトルを求め、さらに図83の場合の説明と同様に、iと視点方向を示すベクトルの内積の値wの正負、0により掌の方向が判別できる。
【0458】
図88はマーカ表示の処理内容をフローで示す。ステップS162までは図85と同様である。次のステップS173で平面に平行なベクトルcを算出し、さらにこのベクトルcに垂直なベクトルiを算出する。
【0459】
次にこのベクトルiと視点方向ベクトルqとの内積の値wを算出する(ステップS174)。そして、この値wの符号を判断し(ステップS175)、正の場合にはこのマーカのグラフィックの甲側パターンを描画し(ステップS176a)、負の場合にはこのマーカのグラフィックの掌側パターンを描画し(ステップS176b)、0の場合にはこのマーカのグラフィックの側面パターンを描画する(ステップS176c)。
【0460】
さらに、付加的な描画を行うとする場合には、甲側パターンを描画した場合には、ベクトルiとqとのなす角度(wの値から分かる)に応じて側面パターンを回転処理してメインに戻る(ステップS177a)。また、掌側パターンを描画した場合にもその角度に応じて側面パターンを回転処理してメインに戻る(ステップS177b)。
【0461】
図53の実施形態では3方向の磁界強度を検出するセンサ75jとして3つのMR素子を(直列接続して)用いているが、図89に示すように例えば90度をなす2つの面に検出軸が各々直交する2つのMR素子71、72を設置し、これらのMR素子71、72をステップモータ74やソレノイドで90度回転の往復運動をさせ、その90度の回転ごとに磁界強度を測定することで、その場所での磁界強度を測定するようにしても良い。また、MR素子の代わりにホール素子を用いても良い。
【0462】
複数のコイルとかMR素子等を位置検出センサとして用いる場合には、コア材に穴をあけて連結することで細長のプローブ15、もしくは内視鏡6でそれぞれの間隔を既知の長さに規制して、得られたセンサ位置の精度の向上を図ることができる。
【0463】
内視鏡6のチャンネル13等の狭い管状空間内に挿入するプローブ15の場合には、径をなるべく細くしたいためセンサの外側に位置規制の部材を設けるのは困難になることがある。
【0464】
そのため、連結しようとする面の検出部に連結用の穴をあけ、例えばMR素子をこの穴を避けて形成するようにしてもよい。図90(a)はこのようにしたセンサを示す。
各センサ80は立方体のセンサ支持部材81の3つの面にそれぞれMR素子82a,82b,82cを接着等で固定され、連結コード83に一定間隔毎に固定される。
【0465】
この場合、MR素子82aの中央には図90(b)に示すようにコード挿通用の穴84が形成され、連結コード83はこの穴84を通すことができるようにしている。なお、立方体のセンサ支持部材81にもコード挿通用の穴84′(図91参照)が形成されている。
一方、MR素子82aに連結用の穴84をあけるのではなく、図91に示すような構造にしても良い。
【0466】
図91に示すセンサ80′では、図90(a)のMR素子82aとMR素子82cとを一体化してMR素子82c′としたものである。このMR素子82c′は検出方向が直交するMR素子部85a,85cを同一平面上に形成して2方向検出用のMR素子センサを形成している。
【0467】
尚、このMR素子82c′を設けた面に隣接し、穴84′が形成されていない面には図89(a)と同様に、1方向の検出用のMR素子82bが取り付けてある。このようにセンサ支持部材81における連結に必要な面にはMR素子を設けないようにしてもよい。
【0468】
また、図91において、MR素子82c′として検出方向が直交するMR素子を同一平面上に一体構成したが、MR素子を2つ取り付けるようにしても良いことは明らかである。
【0469】
このような構造のセンサを位置決めするためには、図92(a)に示すように間隔uを決めてコード83等の固定部材に各センサ(80等)を接着剤で接着すれば良い。そして、固定部材の全長より短い長さのチューブ87内に挿入し、例えば固定部材にテンションをかけて位置決めを確実に行った状態で、図92(b)に示すようにチューブ87内に軟性の熱硬化性樹脂88や弾性を有した状態まで硬化した樹脂を充填して固めれば良い。
【0470】
また、位置決めを行うために図93に示すように円筒形の割型91、92にセンサ80を所定の間隔の各位置に置いて割型を閉じ、図示しない絶縁性の樹脂を流し込んで硬化させるようにしても良い。この場合、コード83にリード線を固定し、コード83を少し弛ませた状態で、樹脂を流し込んで硬化させるようにして、屈曲させてもリード線が断線しにくい構造となるようにしても良い。
【0471】
硬化したら伸展させた外套部材または熱収縮性の外套部材に挿入する。このように、外套部材に挿入することで、プローブとしての強度を確保するとともに、チャンネル内に挿入する場合の滑りを、外套部材の表面処理で確保できる。
また内部が樹脂で充填されているので、座屈を起こすことがない。
【0472】
なお、上述した実施形態等では内視鏡のチャンネル内にプローブを挿入して内視鏡内の既知の位置に磁界発生源或は磁界検出センサを配置するように説明したが、本発明はこれに限定されるものでなく、内視鏡内(例えば先端部内)に磁界発生源或は磁界検出センサを内蔵或は外周面に取り付ける等して設けるようにしても良い。
【0473】
また、内視鏡はCCD等の撮像素子を内蔵したものに限定されるものでなく、光学式の内視鏡(例えばファイバスコープ)でも良い。
また、ベッド4の隅等に磁界発生源或は磁界検出センサを配置するものに限定されるものでなく、ベッド4の周囲とかベッド4の上方側の位置等に配置しても良い。
【0474】
また、1軸或は3軸のコイルを用いてソースコイル或はセンスコイルを形成するものに限定されるものでなく、2軸のコイル(3軸のコイルから1つのコイルを除去したもの)を用いるようにしても良い。
【0475】
また、フレキシブル基板等にコイルを印刷形成したものをチューブ状にしてチャンネル内に設置できるようにしたものを位置検出或は形状検出用のプローブとして使用しても良い。また、このようにコイルを印刷形成したものをチューブ状にしてチャンネルを形成するチューブに適用しても良い。
【0476】
また、フレキシブル基板等にコイルを印刷形成したものを内視鏡の挿入部にスパイラル状に巻き付ける等して挿入部に取り付け、位置及び形状検出に利用するようにしても良い。
【0477】
なお、上述した実施形態等では可撓性を有し、被検体内に挿入される内視鏡挿入部内に、磁界発生素子としてのソースコイルを配置してその形状が変化しないように固定したもの、或は磁界発生素子側を被検体の外の既知の位置に配置し、磁界検出素子としてのセンスコイルとか磁気抵抗素子等を挿入部内に配置して、その形状が変化しないように固定したものについて説明した。
本発明はこれらに限定されるものでなく、以下のように硬性の挿入部を有する硬性内視鏡に対しても適用できる。
【0478】
腹腔鏡手術のような複数の硬性内視鏡を用いて手術又は検査を行う場合、それぞれの硬性内視鏡の先端の位置関係を正確に知ることは作業を円滑に行うために重要な役割を果たす。そこで、位置検出範囲内に存在する硬性内視鏡の接眼部付近にソースコイル1個のプローブを既知の部分の2箇所に固定するか、又はソースコイル2個を既知の距離で配置させたプローブを硬性内視鏡の中心軸に平行に固定する。
【0479】
硬性内視鏡は先端の向きを変える場合には接眼部付近がかなり動くためにプローブの固定部分は屈曲に対して耐性を持たせる必要があり、ソースコイルは絶縁部材で固める必要があるが、その他の部分は硬性内視鏡を動かす際に不用なテンションがかからないように柔軟な材質にしておく。
【0480】
このように配置されたソースコイルの位置から硬性内視鏡の先端までの距離は予め分かっているので、2つのソースコイルの位置が検出されると、その2つのソースコイルを結ぶ直線上に前記既知の距離の位置に先端部分があることが分かる。この場合、硬性内視鏡の内部にソースコイルを設けなくても良いので、どんな太さの硬性内視鏡に対しても使用できる。
【0481】
さらに本発明は人体等の生体内に挿入されるものに限定されるものでなく、生体以外の管腔内に挿入され、検査されるべき被検部(対象物)に対して、可撓性を有するプローブ内に磁界発生素子及び磁界検出素子のうちの一方を配置し、その形状が変形しないように絶縁部材等で固定し、前記磁界発生素子及び磁界検出素子のうちの他方を、被検部の外の既知の位置に配置したものにも適用できる。また、医療用の器具或はデバイス等の挿入具又は工業用でプラント内部等の管腔内に検査等で挿入される挿入具の内部等の既知の位置に、磁界発生素子及び磁界検出素子のうちの一方を絶縁部材等で固定或は取り付け、管腔内に挿入された可撓性の挿入部或は硬性の挿入部の位置とか挿入具の手元側の位置等を検出或は推定できるようにしても良い。
【0482】
これらの場合にも前記磁界発生素子で発生した磁界を前記磁界検出素子で検出して、既知の位置に配置した前記磁界発生素子又は磁界検出素子を基準にして被検部とか管腔内に挿入されるプローブとか挿入具内の前記磁界発生素子又は磁界検出素子の位置を検出し、さらにプローブ或は挿入具の少なくとも1箇所以上の位置を検出したり、プローブ或は挿入部の形状を推定し、推定した形状を表示したりすることができる。
上述の実施形態等では測定により磁界強度に対応する信号を得て、予め測定等で求めた基準データを参照するなどして、挿入部7内等に配置されたソースコイル16i等の存在する領域或は位置を算出するようにしているが、計算によって、挿入部6内等に配置したソースコイル16i等の位置及び傾きを導出するようにしても良い。
【0483】
また第1実施形態では、3軸のセンスコイル22jとして3軸に直交するコイルを用いてそれらのサイズ等のバラツキを補正するようにしているが、ソースコイル16i等に対しても行うようにしても良い。
なお、内視鏡の形状全体を表示してもよいが、関心の高い(例えば先端部のみ)部分を選択して表示できるようにしてもよい。
また、先端の方向のみを、矢印などで表現してもよい。
検出用のコイル位置のみ、他の補間して表現している内視鏡形状と色で区別して表現してもよい。その部分のみ×などの記号を付けてもよい。
ベッドからの距離で閾値を設定し、その位置より遠いときは暖色、近いときは寒色、もしくはその逆、彩度、明度、色相を変える等で表してもよい。
【0484】
また、この形状検出装置で検出される形状は、内視鏡挿入の過程を表すので、その時系列データをディスク等に記憶するようにしてもよい。
なお、内視鏡の可撓性を有する挿入部に磁界発生素子又は磁界検出素子の一方を固定する場合、挿入部の先端の硬質の先端硬質部材に固定しても良いし、湾曲自在の湾曲部を構成する硬質の湾曲駒に絶縁部材等でその形状が変形しないように固定しても良い。
また、挿入部内に配置される磁界検出素子又は前記磁界発生素子は少なくとも外表面の一部が曲面をなすように形成されるようにしても良い。
【0485】
なお、磁界発生素子がその周辺付近の空間では、1つの軸方向に強い指向性を持つ磁界を発生する素子の場合には、磁界検出素子としては、直交する3つの軸方向の磁界強度成分を検出できるものを用いることが望ましい。これは1つ或は2つの軸方向の磁界強度成分しか検出できない場合には、磁界発生素子と磁界検出素子との相対的な向きに大きく依存して、検出される磁界強度が非常に小さくなる場合と、大きくなる場合とのレベル差が大きくなる。このため、検出された信号から2つの素子間の距離の範囲を狭い範囲に限定することは殆どできないためである。
【0486】
一方、直交する3つの軸方向の磁界強度成分を検出できるものであると、指向性の強い磁界の場合でも、その向きの依存性は上記の場合より小さく、検出された磁界強度から2つの素子間の距離の範囲を比較的狭い範囲に限定できる。
【0487】
また、磁界検出素子として直交する3つの方向の磁界強度成分を検出できる素子の場合、各方向に対する検出感度は出来るだけ等しいものが望ましい。この場合には、各磁界強度成分の2乗の総和の平方根で磁界強度を得ることができるからである。一方、各方向に対する検出感度が異なると、磁界強度を算出するために補正を必要とするが、補正を行えば使用できる。
なお、上述した実施形態等を部分的に組み合わせて形成した実施形態等も本発明に属する。
又、本発明は上述した実施形態等の他に下記の付記の内容(クレーム、目的、作用、効果等)も含む。
【0488】
[付記]
1.被検部内に挿入可能な可撓性の挿入部と、
前記被検部の外部の既知の位置に配置され、駆動信号の印加により周囲に磁界を発生する磁界発生素子及び磁界を検出する磁界検出素子のうちの一方と組み合わされて使用され、前記挿入部内に配置され、前記磁界発生素子及び前記磁界検出素子のうちの他方と、
前記挿入部内に配置される前記他方を、該挿入部での位置が既知となるように前記磁界発生素子又は前記磁界検出素子の形状が変形しないように絶縁部材で固定する固定手段と、
を有する挿入部位置検出用プローブ。
請求項1は内視鏡の挿入部の位置を検出するための装置であるのに対し、この付記のクレーム1(以下、単に1と略記)は内視鏡に限定されるものでなく、被検部に挿入される可撓性の挿入部の位置を精度良く検出することを目的とするものである。挿入部の位置を検出するため、挿入部内に磁界発生素子又は磁界検出素子を絶縁部材で固定しているので、屈曲されて挿入されても、磁界発生素子又は磁界検出素子が変形することは防止される。そして、被検部の外部の既知の位置に配置された磁界検出素子又は磁界発生素子とにより、挿入部内の磁界発生素子又は磁界検出素子の位置を精度良く検出でき、この検出により挿入部の位置も精度良く検出(推定)できる。
【0489】
2.可撓性のチューブと、
前記チューブ内に配置され、駆動信号の印加により周囲に磁界を発生する磁界発生素子及び磁界を検出する磁界検出素子と、
前記磁界発生素子又は前記磁界検出素子の形状が変形しないように絶縁部材で固定する固定手段と、
を有する位置検出用プローブ。
1は被検部内に挿入される挿入部を有していたのに対し、このプローブは被検部内に挿入されても良いし、被検部等に挿入される器具その他のデバイスに取り付ける等して、その器具その他のデバイスの位置を精度良く検出することを目的とする。可撓性を有するチューブであるので、器具その他のデバイスへの取付も簡単にできる。1と同様に器具その他のデバイスの位置を精度良く検出することができる。また、チューブ内に磁界発生素子又は磁界検出素子を固定しているので、使用後に洗浄、消毒等も容易である。
【0490】
3.クレーム2の位置検出用プローブであって、前記磁界発生素子及び前記磁界検出素子の少なくとも前記磁界発生素子はコイルで構成される。
4.クレーム2の位置検出用プローブであって、前記チューブは人体に挿入可能である。
【0491】
5.被検部内に挿入可能な可撓性の挿入部を有する挿入具と、
駆動信号の印加により、周囲に磁界を発生する磁界発生素子を有する磁界発生手段と、
前記磁界発生素子で発生した磁界を検出する磁界検出素子を有する磁界検出手段と、
前記挿入部内に配置される前記磁界発生素子及び前記磁界検出素子のうちの一方を絶縁部材を介して、前記磁界発生素子又は前記磁界検出素子の形状が変形しないように固定する固定手段と、
前記磁界発生素子及び前記磁界検出素子のうちの他方を前記被検部外の既知の位置に設定する設置手段と、
前記被検部外又は前記挿入部内の前記磁界検出素子で検出された検出信号から前記被検部外の既知の位置に対する前記挿入部内に配置された前記磁界発生素子又は前記磁界検出素子の位置を推定する位置推定手段と、
を具備した挿入部位置検出装置。
請求項1が内視鏡の挿入部の位置を検出する装置であるのに対し、この装置は被検部に挿入される内視鏡を含む挿入具の挿入部の位置を検出することを目的とする。その作用及び効果は請求項1に対する内視鏡を挿入具に置換したものとほぼ同様となる。
【0492】
6.クレーム5の挿入部位置検出装置であって、前記磁界発生手段は複数の前記磁界発生素子を有する。
7.クレーム5の挿入部位置検出装置であって、前記磁界検出手段は複数の前記磁界検出素子を有する。
8.クレーム5の挿入部位置検出装置であって、前記一方は前記磁界発生素子又は前記磁界検出素子を複数有する。
9.クレーム8の挿入部位置検出装置であって、前記位置推定手段は前記位置を複数推定し、さらに推定された複数の位置から前記被検体内に挿入される前記挿入部の形状を推定する挿入部形状推定手段を有する。
10.クレーム9の挿入部位置検出装置であって、さらに推定された挿入部の形状に対応する画像を表示する表示手段を有する。
【0493】
11.クレーム7の挿入部位置検出装置であって、前記磁界発生素子は導線を巻回したコイルで構成される。
12.クレーム7の挿入部位置検出装置であって、前記磁界検出素子は導線を巻回したコイル又は磁界強度で抵抗値が変化する磁気抵抗素子で構成される。
13.クレーム7の挿入部位置検出装置であって、前記磁界発生素子は硬質のコア部材に導線を巻回したコイルで構成される。
14.クレーム7の挿入部位置検出装置であって、前記磁界検出素子は硬質のコア部材に導線を巻回したコイルで構成される。
15.クレーム7の挿入部位置検出装置であって、前記固定手段は前記磁界発生素子又は磁界検出素子を固定する絶縁性の接着剤である。
【0494】
16.クレーム7の挿入部位置検出装置であって、前記挿入部内に配置される前記磁界検出素子又は前記磁界発生素子は前記挿入部の軸方向に対して伸縮性を有しない固定部材によって連結される。
17.クレーム7の挿入部位置検出装置であって、前記挿入部内に配置される前記磁界検出素子又は前記磁界発生素子は少なくとも外表面の一部が曲面をなすように形成される。
18.クレーム7の挿入部位置検出装置であって、前記磁界検出素子又は前記磁界発生素子はシールドが施されたケーブルを介して信号の伝送を行う。
19.クレーム6の挿入部位置検出装置であって、複数の前記磁界発生素子はそれぞれ異なるタイミングで駆動される。
20.クレーム6の挿入部位置検出装置であって、複数の前記磁界発生素子はそれぞれ異なる周波数で駆動される。
【0495】
21.クレーム6の挿入部位置検出装置であって、複数の前記磁界発生素子はそれぞれ同時に駆動される。
22.クレーム20の挿入部位置検出装置であって、前記周波数はそれぞれが整数倍の関係にならない周波数に設定される。
23.クレーム7の挿入部位置検出装置であって、前記磁界発生素子を前記駆動信号で駆動した時、過渡応答を示す場合には、前記磁界検出素子で検出された検出信号を取り込むタイミングを前記過渡応答の時間程度遅延して取り込む。
24.クレーム7の挿入部位置検出装置であって、前記磁界発生素子を駆動する場合、該磁界発生素子の駆動信号に対する過渡応答特性を軽減する位相角の駆動信号で駆動する。
25.クレーム7の挿入部位置検出装置であって、前記磁界発生素子及び前記磁界検出素子の少なくとも前記磁界検出素子は直交する3つの軸方向にそれぞれ指向性を有するようにそれぞれ巻回された3つのコイルからなる3軸コイルである。
【0496】
26.クレーム25の挿入部位置検出装置であって、前記位置推定手段は前記3軸コイルの各コイルの径を考慮して、前記挿入部内の前記磁界発生素子又は前記磁界検出素子の位置を演算する補正手段を有する。
27.クレーム7の挿入部位置検出装置であって、前記位置推定手段は前記被検体外の既知の位置に設置された少なくとも3つ以上の磁界検出素子又は3つ以上の磁界発生素子の位置情報を用いて、前記挿入部内の各磁界発生素子又は磁界検出素子を存在が予測される3次元領域を算出する。
28.クレーム25の挿入部位置検出装置であって、前記位置推定手段は前記磁界検出素子の検出信号に対し、基準となる基準情報を参照して、前記磁界発生素子及び前記磁界検出素子との距離が存在する距離範囲を推定するための基準となる基準情報を有する。
29.クレーム28の挿入部位置検出装置であって、前記位置推定手段は前記磁界発生素子の向きを考慮して前記磁界発生素子から既知の距離の前記磁界検出素子で検出され得る磁界強度に対応する信号の最大値及び最小値を前記既知の距離の値を変えて得たデータを前記基準情報に設定する。
30.クレーム7の挿入部位置検出装置であって、前記挿入部内の前記磁界発生素子又は前記磁界検出素子は前記位置推定手段側と有線で接続される。
【0497】
31.クレーム7の挿入部位置検出装置であって、前記磁界発生素子又は前記磁界検出素子は前記位置推定手段側と無線で接続される。
32.クレーム7の挿入部位置検出装置であって、前記挿入部内の前記磁界検出素子又は前記磁界発生素子は前記位置推定手段側と無線で接続され、外部から無線で供給されるエネルギから直流電力を生成する手段を有する。
33.クレーム10の挿入部位置検出装置であって、さらに前記表示手段に基準位置を含むマーカを表示させるためのマーカ表示手段を有する。
34.クレーム33の挿入部位置検出装置であって、前記マーカ表示手段は、前記被検体外の任意位置に設置可能にされ、前記挿入部内に設けた前記一方を形成する前記磁界発生素子又は前記磁界検出素子と同じ種類の磁界発生素子又は磁界検出素子を有する。
35.クレーム34の挿入部位置検出装置であって、前記マーカ表示手段は、術者の手に設置可能な前記磁界発生素子又は前記磁界検出素子を有し、前記手の移動で設定された設定点に応じて前記表示手段に前記設定点に対応するマークを表示する。
【0498】
36.クレーム10の挿入部位置検出装置であって、前記表示手段は前記挿入部形状を表示するための第1及び第2の画像メモリを有し、前記第1の画像メモリに格納されている画像データを前記表示手段に出力している間に前記挿入部形状推定手段が前記挿入部の形状を推定する演算途中の画像データを前記第2の画像メモリに格納する。
37.クレーム10の挿入部位置検出装置であって、前記表示手段は前記挿入部に対応する画像を表示するためにそれぞれ異なる複数の画像パターンを格納した画像パターン格納手段を有し、前記表示手段は前記挿入部形状推定手段で推定された前記挿入部の形状に対応する画像パターンを前記画像パターン格納手段から読み出して表示する。
38.クレーム6の挿入部位置検出装置であって、前記表示手段は前記被検体の概略の形状を、前記画像にスーパインポーズして表示する。
39.クレーム7の挿入部位置検出装置であって、前記磁界検出手段は前記磁界検出素子で検出される検出信号から前記駆動信号を基にした参照信号を用いて同期検波によって求められた信号成分を抽出する。
40.クレーム7の挿入部位置検出装置であって、前記挿入部は前記磁界発生素子の駆動により発生する磁界に影響を及ぼさない部材で形成される。
41.クレーム7の挿入部位置検出装置であって、前記被検体が載置される載置台を有し、前記載置台は前記磁界発生素子の駆動により発生する磁界に対して影響を及ぼさない部材で形成される。
【0499】
42.管腔内に挿入可能な可撓性の挿入部を有する挿入具と、
駆動信号の印加により、周囲に磁界を発生する磁界発生素子を有する磁界発生手段と、
前記磁界発生素子で発生した磁界を検出する磁界検出素子を有する磁界検出手段と、
前記挿入具内に配置される前記磁界発生素子及び前記磁界検出素子のうちの一方を絶縁部材を介して、前記磁界発生素子又は前記磁界検出素子の形状が変形しないように固定する固定手段と、
前記磁界発生素子及び前記磁界検出素子のうちの他方を前記管腔外の既知の位置に設定する設置手段と、
前記管腔外又は前記挿入具内の前記磁界検出素子で検出された検出信号から前記管腔外の既知の位置に対する前記挿入具内に配置された前記磁界発生素子又は前記磁界検出素子の位置を推定する位置推定手段と、
を具備した位置検出装置。
管腔内に挿入される挿入部を有する挿入具の位置を精度良く検出することを目的とする。挿入具内の磁界発生素子又は磁界検出素子の位置を精度良く検出することにより、挿入具の位置を精度良く検出或は推定できる。
【0500】
43.被検体内に挿入可能な可撓性の挿入部を有し、前記挿入部の先端側に照明光を出射する照明光出射手段及び照明された被写体を観察する対物光学系を有する内視鏡と、
駆動信号の印加により、周囲に磁界を発生する磁界発生素子を有する磁界発生手段と、
前記磁界発生素子で発生した磁界を検出する磁界検出素子を有する磁界検出手段と、
前記挿入部内に配置される前記磁界発生素子及び前記磁界検出素子のうちの一方を絶縁部材で、前記磁界発生素子又は前記磁界検出素子の形状が変形しないように固定する固定手段と、
前記磁界発生素子及び前記磁界検出素子のうちの他方を前記被検体外の既知の位置に設定する設置手段と、
前記被検体外又は前記挿入部内の前記磁界検出素子で検出された検出信号から前記被検体外の既知の位置に対する前記挿入部内に配置された前記磁界発生素子又は前記磁界検出素子の位置を推定する位置推定手段と、
を具備した内視鏡位置検出装置。
内視鏡の構成をより具体的に記載しているが、請求項1とほぼ同様の目的、作用、効果を有する。
【0501】
44.クレーム43の内視鏡挿入部位置検出装置であって、前記一方は前記磁界発生素子又は磁界検出素子を複数有し、前記位置推定手段で推定された複数の位置から前記被検体内に挿入される前記挿入部の形状を推定する挿入部形状推定手段を有する。
45.クレーム44の内視鏡挿入部位置検出装置であって、さらに前記挿入部形状推定手段によって推定された挿入部の形状に対応する画像を表示する表示手段を有する。
46.クレーム43の内視鏡挿入部位置検出装置であって、前記磁界発生素子又は磁界検出素子は前記挿入部の先端に設けた硬質の先端硬質部材に固定される。47.クレーム43の内視鏡挿入部位置検出装置であって、前記挿入部は、湾曲自在の湾曲部を有し、前記磁界発生素子又は磁界検出素子は、前記湾曲部を構成する硬質の湾曲駒に固定される。
48.クレーム43の内視鏡挿入部位置検出装置であって、前記内視鏡は光電変換する機能を有する撮像素子を備え、前記撮像素子を駆動していない非撮像素子駆動期間内に前記磁界発生素子を駆動する。
49.クレーム43の内視鏡挿入部位置検出装置であって、前記内視鏡は光電変換する機能を有する撮像素子を備え、前記撮像素子を露光している露光期間内に前記磁界発生素子を駆動する。
50.クレーム43の内視鏡挿入部位置検出装置であって、前記内視鏡は処置具を挿通可能とするチャンネルを有し、前記磁界発生素子及び前記磁界検出素子の内の一方は前記チャンネル内に設置される。
【0502】
51.被検体内に挿入可能な可撓性の挿入部内に設置された又は被検体外の既知の位置に設置された磁界発生素子に、前記磁界発生素子を駆動する駆動信号を印加して前記磁界発生素子の周囲に磁界を発生させる駆動ステップと、
前記被検体外の既知の位置に設置された又は前記挿入部内に設置された磁界検出素子で、前記磁界発生素子からの距離に応じて強度が変化する磁界に対応する検出信号を検出する磁界検出ステップと、
前記検出信号から前記被検体外の前記磁界発生素子又は前記磁界検出素子の各既知の位置から前記挿入部内に設置された前記磁界発生素子又は前記磁界検出素子の存在する3次元位置を推定する位置推定ステップと、
を有する挿入部位置検出方法。
被検体に挿入される挿入部の位置を検出する方法をクレーム化している。
52.クレーム51の挿入部位置検出方法であって、前記挿入部内には前記磁界発生素子又は磁界検出素子が複数配置され、前記位置推定ステップで推定された各3次元位置を参照して前記被検体内に挿入された前記挿入部の形状を推定する形状推定ステップと、
推定された挿入部形状に対応する画像を表示する表示ステップとを有する。 被検体に挿入される挿入部の形状に対応する画像を表示することを目的とする。位置推定ステップで推定された各3次元位置を参照して被検体内に挿入された挿入部の形状を推定し、さらに推定された挿入部形状に対応する画像を表示する。このため、使用者は挿入部の状態を視覚的に把握でき、挿入部の挿入等の作業その他の処置を容易にできる。
【0503】
53.クレーム51の挿入部位置検出方法であって、前記磁界検出素子が複数配置された場合、前記駆動ステップは各磁界発生素子にそれぞれ異なるタイミングで前記駆動信号を印加する。
54.クレーム51の挿入部位置検出方法であって、前記磁界検出素子が複数配置されている場合、前記磁界検出ステップは各磁界検出素子でそれぞれ検出された磁界の強度に対応した検出信号をそれぞれ異なるタイミングで取り込む。
55.クレーム51の挿入部位置検出方法であって、前記磁界検出素子は直交する3つの軸方向の磁界強度成分を検出する機能を有し、前記位置推定ステップは前記検出信号に対応して予め用意した基準データを参照して最小距離及び最大距離との間の3次元領域内の3次元位置に前記挿入部内の前記磁界検出素子又は前記磁界発生素子が存在することを算出する。
【0504】
56.クレーム55の挿入部位置検出方法であって、前記基準データは前記磁界発生素子の向きを考慮して、前記磁界発生素子で発生した磁界に対して前記磁界発生素子から既知の距離で検出され得る前記磁界検出素子の検出信号の最大値及び最小値を前記既知の距離を変えて得たデータである。
57.クレーム55の挿入部位置検出方法であって、前記位置推定ステップは前記挿入部内の磁界検出素子又は前記磁界発生素子が存在する3次元領域を前記被検体外の既知の位置に配置された前記磁界検出素子又は前記磁界発生素子それぞれに対して行うことにより、複数の3次元領域の共通領域内の3次元位置に存在することを算出する。
58.クレーム51の挿入部位置検出方法であって、前記形状推定ステップは前記挿入部内の各磁界検出素子又は各磁界発生素子に対応する各3次元位置を連結する連結ステップを有する。
59.クレーム58の挿入部位置検出方法であって、前記形状推定ステップは前記各3次元位置の間を補間して連結する。
60.クレーム51の挿入部位置検出方法であって、前記表示ステップは前記挿入部の形状を視点に対向する仮想的なスクリーンに擬似的に投影した投影形状に対応する画像で表示する。
【0505】
61.クレーム60の挿入部位置検出方法であって、前記表示ステップは前記視点の位置を任意に設定可能である。
62.クレーム60の挿入部位置検出方法であって、前記表示ステップは前記スクリーンに擬似的に投影した投影形状に対応する画像における前記視点側から見えない部分を表示しない隠れ面或は隠れ線処理を行う。
63.クレーム60の挿入部位置検出方法であって、前記表示ステップは視点からの距離値に応じて遠近法的に前記画像を表示する。
64.クレーム60の挿入部位置検出方法であって、前記表示ステップは前記投影形状で表示する場合、立体感を強調する立体感強調処理を行う。
65.クレーム64の挿入部位置検出方法であって、前記立体感強調処理は擬似的な光線による反射モデルに応じて色の階調、輝度の階調、彩度、色相の少なくとも1つを変えて立体感を強調する。
【0506】
66.クレーム51の挿入部位置検出方法であって、前記表示ステップは前記挿入部の形状に対応する画像を表示する場合、前記挿入部の横断面を多角形とする多角柱として擬似的に表示する。
67.クレーム66の挿入部位置検出方法であって、前記表示ステップは前記多角柱の面をペイント処理する。
68.クレーム66の挿入部位置検出方法であって、前記表示ステップは前記多角柱をワイヤフレームで表示する。
69.クレーム51の挿入部位置検出方法であって、前記表示ステップは前記挿入部の形状に対応する画像を表示する場合、前記挿入部を多角形を連結した連結多角形として擬似的に表示する。
70.クレーム51の挿入部位置検出方法であって、前記表示ステップは前記画像を、指定されたコマンドに対応する処理を行って表示する。
【0507】
71.クレーム70の挿入部位置検出方法であって、前記コマンドはアフィン変換の処理を行う。
72.クレーム71の挿入部位置検出方法であって、前記アフィン変換を用いたコマンドは前記画像を3次元直交座標の少なくとも1つの座標軸の回りで回転するか、前記画像を拡大又は縮小するものである。
73.クレーム72の挿入部位置検出方法であって、前記コマンドは、前記画像を予め規定された視点位置から見た場合に対応する状態で表示する、ユーザにより登録された視点位置から見た場合に対応する状態で表示する、複数に分割された各画面にそれぞれ指定された視点位置から見た場合に対応する状態で表示する、コメント入力画面の表示、前記画像の背景色を変更する、前記画像と共にマーカの表示のON/OFF、前記3次元位置の数値表示のON/OFF、表示させるプログラムを終了する、の少なくとも1つの処理を行う指示に該当する。
74.クレーム52の挿入部位置検出方法であって、前記表示ステップは前記画像を表示する場合、前記挿入部の所定の長さ毎に前記画像の表示色を変更する。75.クレーム52の挿入部位置検出方法であって、前記表示ステップは前記被検体が載置されるベッドの上面等の基準面を表示する。
【0508】
76.被検体内に挿入可能な可撓性の挿入部を有する挿入具と、
前記挿入部内に設けられ、絶縁部材で形状が固定された第1のコイル素子と、
前記被検体外の既知の位置に配置された第2のコイル素子と、
前記第1及び第2のコイル素子のうちの一方に駆動信号を印加して、前記一方の周囲に磁界を発生させる駆動信号発生手段と、
前記第1及び第2のコイル素子のうちの他方で、前記他方の位置に形成される磁界に対応する検出信号を検出する磁界検出手段と、
前記検出信号から前記被検体外の既知の位置を基準として前記挿入部内の前記第1のコイル素子の存在する3次元位置ないしは3次元領域を算出する位置算出手段と、
を具備する挿入部位置検出装置。
1をより具体化した構成であり、その目的、作用、効果も1とほぼ同様である。
77.クレーム76の挿入部位置検出装置であって、前記3次元位置ないしは3次元領域の情報を用いて前記挿入部の形状を推定する形状推定手段と、推定された前記挿入部の形状に対応する画像を表示する画像表示手段とを有する。
【0509】
【発明の効果】
以上説明したように本発明によれば、載置台上は発生する磁界が影響を受けない環境に設定でき、且つ、この載置台上に3つの磁界発生素子又は磁界検出素子により形成される検出対象領域を設定でき、より精度の高い挿入部の位置検出を行なうことができる。また、3軸コイルの各コイルの径の違いによる各出力特性の違いを補正して、より精度の高い挿入部の位置検出を行なうことができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態を有する内視鏡システムの概略の構成図。
【図2】内視鏡形状検出装置の構成を示すブロック図。
【図3】内視鏡の外観図。
【図4】内視鏡装置の全体構成図。
【図5】プローブの先端側の構成を示す断面図。
【図6】プローブの構成を示す断面図。
【図7】プローブのソースコイルの位置をセンスコイルを用いて検出する様子を示す説明図。
【図8】内視鏡形状検出装置の具体的構成を示すブロック図。
【図9】ソースコイルの駆動及びセンスコイルによる信号検出の動作説明用フロー図。
【図10】ソースコイルの駆動及びセンスコイルによる信号検出の動作説明用タイミング図。
【図11】ベッド周辺に設けた複数のセンスコイルで内視鏡内の1つのソースコイルの存在範囲を検出する様子を示す説明図。
【図12】1軸コイルによる等磁界面の形状を示す説明図。
【図13】傾きから位置補正を行う様子を示す説明図。
【図14】モニタ画面に表示される内視鏡形状の出力画像を示す説明図。
【図15】内視鏡形状検出装置の処理内容を示すフロー図。
【図16】シールドルーム内でセンスコイルとソースコイルの既知の距離でセンスコイルで検出される最大磁界強度と最小磁界強度の値を距離を変えて測定されたグラフを示す特性図。
【図17】図16のデータを得る測定法等の説明図。
【図18】シールドルーム内と居室内での測定値は殆ど一致することを示す比較図。
【図19】磁界強度算出処理のフロー図。
【図20】キーボード入力処理のフロー図。
【図21】コマンド処理のフロー図。
【図22】スコープイメージ描写処理のフロー図。
【図23】n角柱モデルでのスコープイメージ描写処理のフロー図。
【図24】n角柱モデル構築のフロー図。
【図25】n角柱モデル構築における原点移動等の説明図。
【図26】n角柱モデル構築におけるy軸に平行なベクトルに垂直なベクトルを一定角度刻みで回転してn角柱データを作る処理の説明図。
【図27】元のベクトルに逆変換してn角柱モデルデータを生成する様子を示す説明図。
【図28】n角柱モデルデータを生成する場合の制限を示す説明図。
【図29】アフィン変換による軸の回転を示す説明図。
【図30】視点変更を世界座表系の回転に変更することの説明図。
【図31】3次元座標から2次元座標に投影変換する様子の説明図。
【図32】世界座標系等の説明図。
【図33】立体画像を表示する処理と採用される座標系との説明図。
【図34】n角柱モデルにおける陰線処理のフロー図。
【図35】ちらつき防止の処理の説明図。
【図36】色を用いてシェーディング処理するフロー図。
【図37】色彩を用いてシェーディング処理するフロー図。
【図38】輝度と彩度を用いてシェーディング処理するフロー図。
【図39】ワイヤフレームによるn角柱モデルのフロー図。
【図40】内視鏡形状の表示例を示す説明図。
【図41】n角形連結モデルで表示する場合のフロー図。
【図42】n角形連結モデルでの描画処理のフロー図。
【図43】ワイヤフレーム表示による表示の例を示す説明図。
【図44】第1実施形態の第1変形例の内視鏡形状検出装置の全体構成を示すブロック図。
【図45】動作説明用のタイミング図。
【図46】ソースコイル及びセンスコイルの各ケーブルをシールドした説明図。
【図47】ベッドの4箇所にセンスコイルを配置した様子を示す説明図。
【図48】第1実施形態の第2変形例における駆動電流のアップ或はダウン等で検出範囲を変更する作用の説明図。
【図49】本発明の第2実施形態の内視鏡形状検出装置の全体構成を示すブロック図。
【図50】第2実施形態の内視鏡形状検出装置のより具体的な構成を示すブロック図。
【図51】第2実施形態の磁界発生及び磁界検出の処理を示すフロー図。
【図52】内視鏡形状等を表示するモニタ画面を示す説明図。
【図53】本発明の第3実施形態を備えた内視鏡システムの全体構成図。
【図54】第3実施形態の内視鏡形状検出装置の構成を示すブロック図。
【図55】磁気抵抗素子で形成したサンサとその等価回路及び特性を示す図。
【図56】本発明の第3実施形態におけるセンサとソースとの関係を示す説明図。
【図57】センサAのデータテーブルを示す説明図。
【図58】出力データに対応した空間座標群からソース位置が決定されることを示す説明図。
【図59】図58で決定されたソース位置を表示した様子を示す説明図。
【図60】本発明の第4実施形態の内視鏡形状検出装置の構成を示すブロック図。
【図61】本発明の第5実施形態の内視鏡形状検出装置の構成を示すブロック図。
【図62】本発明の第6実施形態を備えた内視鏡システムの全体構成図。
【図63】CCDドライブ信号期間と駆動信号期間とが重ならないようにした説明図。
【図64】本発明の第7実施形態を備えた内視鏡システムの全体構成図。
【図65】患者の位置を検出する説明図。
【図66】時分割で位置検出及び形状検出の駆動を行う説明図。
【図67】本発明の第8実施形態における処理の内容を示すフロー図。
【図68】第8実施形態の変形例における処理の内容を示すフロー図。
【図69】本発明の第9実施形態における処理動作の説明図。
【図70】張り付けるテクスチャの説明図。
【図71】本発明の第10実施形態により表示される画像等の説明図。
【図72】第10実施形態により一定長さごとに色を変えて表示する処理のフロー図。
【図73】本発明の第11実施形態の内視鏡形状検出装置の構成図。
【図74】第11実施形態により背景画像を生成する処理内容を示すフロー図。
【図75】本発明の第12実施形態におけるプローブ側の構成を示すブロック図。
【図76】図75のより具体的な構成図。
【図77】参照信号生成回路等の構成図。
【図78】第12実施形態の変形例における磁界発生ユニットの構成図。
【図79】本発明の第13実施形態における掌位置検出用デバイスを示す図。
【図80】モニタ画面の表示例を示す説明図。
【図81】第13実施形態の第1変形例の内視鏡形状検出装置の構成図。
【図82】第1変形例の操作パネルの操作によるマーカ設定の処理内容を示すフロー図。
【図83】第13実施形態の第2変形例における掌位置検出用デバイスを示す図。
【図84】第2変形例の3つのソースコイルにより形成される平面等を示す説明図。
【図85】第2変形例におけるマーカ表示の動作のフロー図。
【図86】第13実施形態の第3変形例における掌位置検出用デバイスを示す図。
【図87】第3変形例の2つのソースコイルにより形成される平面等を示す説明図。
【図88】第3変形例におけるマーカ表示の動作のフロー図。
【図89】磁気抵抗素子とステップモータで3軸方向の磁界検出を行う手段を形成した例を示す斜視図。
【図90】磁気抵抗素子を連結したセンサ及び連結用の穴が形成された磁気抵抗素子を示す図。
【図91】検出方向が異なる磁気抵抗素子部を同一面に設けたセンサを示す図。
【図92】センサの位置決めの方法等を示す説明図。
【図93】円筒形の割型を用いて位置決めを行う様子を示す説明図。
【符号の説明】
1…内視鏡システム
2…内視鏡装置
3…内視鏡形状検出装置
4…ベッド
5…患者
6…内視鏡
7…挿入部
11…ビデオプロセッサ
12…カラーモニタ
13…チャンネル
15…プローブ
16i…ソースコイル
20…接着剤
21…形状検出装置本体
22j…3軸センスコイル
23…モニタ
24…ソースコイル駆動部
26…検出部
30…形状算出部
31…位置検出部
32…形状画像生成部
33…モニタ信号生成部
34…システム制御部
35…操作パネル
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an insertion portion position detection device that detects the position of an insertion portion using a magnetic field generating element and a magnetic field detection element.
[0002]
[Prior art]
In recent years, endoscopes have been widely used in the medical field and the industrial field. This endoscope, especially with a soft insertion section, can be inserted into a bent body cavity to diagnose deep internal organs without incision, and if necessary, a treatment instrument can be inserted into the channel. Treatment such as excision of polyps and the like can be performed.
[0003]
In this case, for example, when the inside of the lower digestive tract is inspected from the anal side, a certain level of skill may be required to smoothly insert the insertion portion into the bent body cavity.
[0004]
In other words, when performing an insertion operation, it is necessary to perform a smooth insertion operation such as bending the bending portion provided in the insertion portion in accordance with the bending of the pipe line. It is convenient to be able to know the position in the body cavity, the current bending state of the insertion portion, and the like.
[0005]
For this reason, for example, in Japanese Patent Laid-Open No. 3-295530, a receiving antenna (coil) provided in the insertion portion is scanned with a transmission antenna (antenna coil) provided outside the insertion portion, and the insertion state of the insertion portion is determined. There is something to detect.
[0006]
Japanese Patent Laid-Open No. 5-177000 discloses a catheter guide device in which a transmitting means is attached to the distal end of a catheter and the signal is received to determine the position of the transmitting means.
[0007]
US Patent 4,176,662 discloses that a burst wave is emitted from a transducer at the tip of an endoscope, detected by a plurality of surrounding antennas or transducers, and the position of the tip is plotted on a CRT. .
[0008]
Further, US Pat. No. 4,821,731 discloses a technique in which an orthogonal coil outside the body is rotated to detect the tip position of the catheter from the output of a sensor provided on the catheter inside the body.
[0009]
Also, in PCT application GB91 / 01431, a coil built in a large number of dipole antennas arranged in a grid in the XY direction around an object into which an endoscope is inserted, while being a coil built in the endoscope side The conventional example which derives | leads-out the position of an endoscope from the signal obtained by is disclosed.
[0010]
[Problems to be solved by the invention]
However, further improvement in accuracy is desired for the position detection of the insertion portion.
[0011]
The objective of this invention is providing the insertion part position detection apparatus which enables the position detection of an insertion part with high precision.
[0012]
[Means for Solving the Problems]
An insertion portion position detection apparatus according to the present invention includes a flexible insertion portion that can be inserted into a subject, a magnetic field generation element that generates a magnetic field in the insertion portion, and a magnetic field detection element that detects a generated magnetic field. An insertion tool provided with one of the above, a placing table on which the subject can be placed, and the other of the magnetic field generating element and the magnetic field detecting element provided, and the magnetic field generating element The magnetic field provided on the mounting table of one of the magnetic field generating element and the magnetic field detecting element provided in the insertion portion based on information obtained by magnetic coupling between the magnetic field detecting element and the magnetic field detecting element A position estimating means for estimating a position of the generating element and the other one of the magnetic field detecting elements, wherein the mounting table is a part that does not affect the magnetic field generated by driving the magnetic field generating element The at least three magnetic field generating elements or magnetic field detecting elements are arranged so that a detection target region is formed at a site where the subject is placed, and the magnetic field detecting elements are arranged in three orthogonal axial directions. Each of which has three coils wound so as to have directivity, and the position estimating means is a correction coefficient due to a difference in diameter of the coil, which is unique to each axis of the three-axis coil. Correction means for correcting a difference in phase at each output of each of the three-axis coils obtained when estimating the position of the magnetic field generating element or the magnetic field detecting element provided in the insertion portion of the insertion tool It is characterized by having.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0015]
1 to 43 show the structure according to the first embodiment of the present invention.
As shown in FIG. 1, an endoscope system 1 is used together with an endoscope apparatus 2 that performs an inspection or the like using an endoscope 6, and the position of an insertion portion 7 of the endoscope 6. And an endoscope shape detection device 3 that estimates the shape of the insertion portion 7 and displays an image corresponding to the shape.
[0016]
A patient 5 as a subject is placed on the bed 4 (for endoscopy), and the insertion portion 7 of the endoscope 6 shown in FIG. 3 is inserted into the body cavity of the patient 5.
The endoscope 6 has an elongated and flexible insertion portion 7, a thick operation portion 8 formed at the rear end thereof, and a universal cable 9 extending from a side portion of the operation portion 8. A connector 9A is provided at the end of the universal cable 9, and this connector 9A can be detachably connected to the light source section 36 in the video processor 11.
[0017]
A signal cable 9B is further extended from the connector 9A, and a signal connector 9C provided at the end of the signal cable 9B can be detachably connected to the signal processing unit 37 in the video processor 11.
[0018]
As shown in FIG. 4, a light guide 38 for transmitting illumination light is inserted into the insertion portion 7, and this light guide 38 is further inserted through the universal cable 9 extending from the operation portion 8, and is inserted into the connector 9A at the end. It reaches. Illumination light is supplied to the end face of the connector 9A from the lamp 36A in the light source section 36, transmitted by the light guide 38, and attached to the illumination window (forming the illumination light emitting means) at the distal end of the insertion section 7. Illumination light transmitted from the tip surface is emitted forward.
[0019]
An object such as an inner wall in a body cavity or an affected part illuminated by illumination light emitted from the illumination window is placed on the focal plane by an objective lens 39 attached to an observation window formed adjacent to the illumination window at the distal end. An image is formed on the CCD 29 as the solid-state imaging device.
[0020]
When the CCD drive signal output from the CCD drive circuit 37A in the signal processing unit 37 is applied to the CCD 29, the image signal photoelectrically converted (by the CCD 29) is read out and inserted into the insertion unit 7 and the like. The signal processing circuit 37B performs signal processing through the signal line, converts it into a standard video signal, outputs it to the color monitor 12, and displays the endoscopic image formed on the photoelectric conversion surface of the CCD 29 by the objective lens 39 in color. .
[0021]
Further, the operation portion 8 is provided with a bending operation knob 8A. The bending portion 7A formed near the tip of the insertion portion 7 can be bent by bending the knob 8A. It is possible to smoothly insert into the body cavity route by bending the distal end side along the bending.
[0022]
As shown in FIG. 4, the endoscope 6 has a hollow channel 13 formed in the insertion portion 7, and a treatment tool such as forceps is inserted through the insertion port 13 a at the base end of the channel 13. Thus, the distal end side of the treatment tool can be projected from the channel outlet on the distal end surface of the insertion portion 7 to perform biopsy or treatment treatment on the affected area.
[0023]
Further, a probe 15 for detecting the position and shape (of the insertion portion 7 inserted into the body cavity) is inserted into the channel 13, and the distal end side of the probe 15 is set to a predetermined position in the channel 13. it can. FIG. 5 shows an example of the distal end side of the probe 15 when the probe 15 is fixed in the channel 13.
[0024]
As shown in FIG. 5, the probe 15 has a plurality of source coils 16a, 16b,... (Represented by reference numeral 16i) as magnetic field generating elements for generating a magnetic field. For example, the inner wall 19 is fixed to the inner wall of the tube 19 with an insulating adhesive 20 in a state where the distance d is constant.
[0025]
Each source coil 16i is composed of, for example, a solenoidal coil in which a conductive wire covered with an insulating hard columnar core 10 is wound, and is further coated with an insulating adhesive 20 on the outer peripheral surface of the coil. The coil is fixed to the core 10 in an insulating coating and is also fixed to the inner wall of the tube 19.
[0026]
Even when the tube 19 is bent and deformed, the source coil 16i is fixed by the adhesive 20 with the conductive wire wound around the hard core 10, and thus the shape of the source coil 16i itself is not deformed. The structure is such that the function of generating a magnetic field remains unchanged even when the tube 19 is deformed.
[0027]
Further, for example, the position of the end (tip) source coil 16a is set so as to coincide with the exit surface of the channel 13 (the tip surface thereof), so that by detecting the position of the most distal source coil 16a, The position of the distal end surface of the insertion portion 7 of the endoscope 6 (more precisely, the position behind the length (in the axial direction of the insertion portion 7) of the source coil 16a from the distal end surface) can be detected. .
[0028]
The position of the source coil 16a at the tip is a known position of the endoscope 6, and the source coil 16i is provided at a constant interval d, so that the position of each source coil 16i is within the insertion portion 7 of the endoscope 6. The known position is set, and by detecting the position of each source coil 16i, the discrete position of the insertion portion 7 of the endoscope 6 (more precisely, the position of each source coil 16i). Can be detected.
[0029]
By detecting these discrete positions, the position between them can also be estimated approximately. Therefore, the shape of the insertion portion 7 of the endoscope 6 inserted into the body cavity is obtained by detecting the discrete positions. Is possible.
[0030]
It should be noted that the outer diameter near the tip of the probe 15 may be slightly larger than the other parts so that it can be positioned and installed in close contact with the inner wall near the outlet of the channel 13. Then, when it is no longer necessary to display the endoscope shape (for example, the endoscope shape is displayed so that the operation of inserting the distal end side of the insertion portion 6 to the vicinity of the target site on the deep side of the body cavity can be smoothly performed. The probe 15 may be pulled to the proximal side, and the treatment instrument or the like may be inserted through the channel 13 by pulling the proximal side of the probe 15.
[0031]
The lead wire 17 connected to each source coil 16i is connected to a connector 18 provided at the rear end of the probe 15 or provided at the rear end of the cable extending from the rear end of the probe 15. (Endoscope) Connected to the connector receiver of the shape detection device main body 21. As will be described later, a drive signal is applied to each source coil 16i to generate a magnetic field used for position detection.
[0032]
FIG. 6 shows a structure of a probe 15 'according to a modification. The probe 15 'is an insulating member, and a source coil 16i is attached to a flexible support member 46 at a certain distance d in a flexible sheath tube 19'. The support member 46 is formed of a member that does not have elasticity in the longitudinal direction (the axial direction of the insertion portion 7 when arranged in the insertion portion 7), and when the sheath tube 19 'is bent. Also, the interval between the source coils 16i is made constant.
[0033]
Each source coil 16i is formed of a coil in which a copper wire 48 is wound around a magnetic material 47, and one copper wire of the two wound terminals is made common, for example, extended along the support member 46, and the other The copper wire 48 extended from the terminal extends backward from each source coil 16i and is connected to the contact of the connector 49 (see FIG. 3) at the base end of the sheath tube 19 ′.
Note that one of the two terminals of each coil constituting each source coil 16i may be extended to the rear side by two copper wires without being common.
[0034]
A through hole is provided in the magnetic material 47 of each source coil 16 i, a support member 46 is passed through the through hole, and is fixed with an insulating adhesive 20 at a constant interval d. When the sheath tube 19 'is thin, it may be crushed by an external force and may be buckled and difficult to insert. Therefore, the sheath tube 19' may be made of silicon or the like around the source coil 16i inside the sheath tube 19 '. The bonding material 50 is filled.
[0035]
A substantially spherical tip 55 is attached to the distal end of the sheath tube 19 ′ to improve slippage when inserted into the channel 13. Further, a bend stop 56 is provided between the rear end of the tube 19 ′ and the connector 49.
The connector 49 is covered with a connector cap 57 for easy handling by the operator and in consideration of disinfection and sterilization.
[0036]
FIG. 3 shows a state where the probe 15 ′ is attached to the channel 13. In FIG. 3, a forceps or the like can be inserted from the insertion port 14 in addition to the probe 15 '.
[0037]
The source coil 16i may be composed of a uniaxial coil as shown in FIG. 5 or FIG. 6, or a triaxial source coil having the same structure as a triaxial sense coil 22j (described later) as shown in FIG. 16i may be used.
[0038]
When the triaxial source coil 16i is formed, the coil is configured by winding three coils around a hard core 10 having a cubic shape formed of a nonmagnetic material or a magnetic material, for example. By using the non-magnetic core 10, the magnetic field distribution generated in other adjacent source coils may not be affected, and when the adjacent source coils are not very close to each other, the magnetic body is not affected. A source coil as a magnetic field generating element may be constituted by a coil having a conductive wire wound around the core 10.
[0039]
Further, as shown in FIG. 7, a hole is provided in a portion of the core 10 where the coil is not wound, and lead wires 17 connected to both ends of each coil are passed (one end of each coil is commonly used). it can). In addition, you may make it the structure which did not have the core 10 but bonded and fixed three coils with the insulating adhesive agent including the hollow part of three coils, for example.
As shown in FIG. 1, triaxial sense coils 22a, 22b, and 22c (represented by 22j) as magnetic field detecting elements for detecting a magnetic field are attached to known positions of the bed 4, for example, three corners. These three-axis sense coils 22j are connected to the shape detection device main body 21 via a cable extending from the bed 4.
[0040]
As shown in FIG. 7, the triaxial sense coil 22j is wound in three directions so that the coil surfaces are orthogonal to each other, and each coil outputs a signal proportional to the intensity of the magnetic field of the axial component orthogonal to the coil surface. To detect.
[0041]
The shape detection device body 21 detects the position of each source coil 16i based on the output of the triaxial sense coil 22j, estimates the shape of the insertion portion 7 of the endoscope 6 inserted into the patient 5, A computer graphic image corresponding to the estimated shape is displayed on the monitor 23.
[0042]
Since the endoscope shape detection device 3 uses magnetism, if there is a metal that is not transparent to magnetism, the endoscope shape detection device 3 is affected by iron loss and the like, and the source coil 16i for magnetic field generation and the three axes for detection. The mutual inductance between the sense coils 22j is affected. In general, when the mutual inductance is represented by R + jX, (a metal that is not transparent to magnetism) affects both R and X.
[0043]
In this case, the amplitude and phase of the signal measured by the quadrature detection generally used for detecting a minute magnetic field change. Therefore, in order to detect signals with high accuracy, it is desirable to set an environment in which the generated magnetic field is not affected.
[0044]
In order to realize this, the bed 4 may be made of a magnetically transparent material (in other words, a material that does not affect the magnetic field).
The magnetically transparent material may be, for example, a resin such as delrin, wood, or a nonmagnetic metal.
[0045]
Actually, an AC magnetic field is used to detect the position of the source coil 16i, and therefore, the source coil 16i may be formed of a material that has no magnetic influence on the frequency of the drive signal.
Therefore, the endoscope inspection bed 4 shown in FIG. 1 used together with the endoscope shape detection device 3 is made of a nonmagnetic material that is magnetically transparent at least at the frequency of the generated magnetic field.
[0046]
FIG. 2 is a block diagram showing a schematic configuration of the endoscope shape detection device 3. A drive signal from the source coil drive unit 24 is supplied to the source coil 16i in the probe 15 set in the channel 13 of the endoscope 6, and a magnetic field is generated around the source coil 16i to which the drive signal is applied.
[0047]
The source coil driving unit 24 amplifies the AC signal supplied from the oscillation unit 25 (for generating a magnetic field) and outputs a driving signal for generating a necessary magnetic field.
The AC signal of the oscillating unit 25 is sent as a reference signal to the (mutual inductance) detecting unit 26 for detecting a minute magnetic field detected by the triaxial sense coil 22j provided in the bed 4.
[0048]
A minute magnetic field detection signal detected by the three-axis sense coil 22 j is amplified by the (sense coil) output amplifier 27 and then input to the detection unit 26.
The detection unit 26 performs amplification and quadrature detection (synchronous detection) using the reference signal as a reference to obtain a signal related to the mutual inductance between the coils.
[0049]
Since there are a plurality of source coils 16i, a distributor (source coil drive current) distributor 28 serving as switching means for switching to sequentially supply drive signals to the lead wires connected to each source coil 16i is connected to the source coil drive unit 24. Present between the source coils 16i.
[0050]
The signal obtained by the detection unit 26 is input to a (source coil) position detection unit (or position estimation unit) 31 constituting the shape calculation unit 30, and the input analog signal is converted into a digital signal for position detection. The position information estimated for each source coil 16i is obtained.
The position information is sent to the shape image generation unit 32, and the shape of the endoscope 6 (the insertion unit 7) is estimated by performing graphic processing such as interpolation processing for interpolating between the obtained discrete position information. Then, an image corresponding to the estimated shape is generated and sent to the monitor signal generation unit 33.
[0051]
The monitor signal generation unit 33 generates an RGB, NTSC, or PAL video signal representing an image corresponding to the shape, outputs it to the monitor 23, and corresponds to the shape of the insertion portion of the endoscope 6 on the display surface of the monitor 23. Display the image to be played.
[0052]
The position detector 31 sends a switching signal to the distributor 28 after completing the calculation of one position detection, and supplies the drive current to the next source coil 16i to calculate the position detection (each position Before the detection calculation is completed, a switching signal may be sent to the distributor 28, and the signals detected by the sense coil 22j may be sequentially stored in the memory).
[0053]
The system control unit 34 includes a CPU and the like, and controls operations of the position detection unit 31, the shape image generation unit 32, and the monitor signal generation unit 33. An operation panel 35 is connected to the system control unit 34. By operating a keyboard or a switch of the operation panel 35, an endoscope-shaped drawing model is selected or an endoscope displayed on the monitor 23 is displayed. The mirror shape can be changed to the display state for the selected viewing direction.
[0054]
Note that the shape calculation unit 30 indicated by a dotted line in FIG. 2 includes software. 2 includes the endoscope position detection device according to the first embodiment, and this endoscope position detection device is configured by reference numerals 16i, 22j, 24-28, and 31 in FIG. Is done.
[0055]
More specifically, the configuration of the endoscope shape detecting device 3 is as shown in FIG. That is, the oscillating unit 25 includes an oscillator 25a, and the oscillation output is amplified by the amplifier 24a that configures the driving unit 24, and is switched by the source coil switching circuit 28a that configures the distributor 28 to be sequentially supplied to the plurality of source coils 16i. A magnetic field is generated around the applied source coil 16i.
[0056]
Each magnetic field is detected by each sense coil 22j and amplified by an amplifier 27, and then, together with the magnetic field strength, by a synchronous detection circuit 26d having a band-pass filter 26a, a phase detection circuit 26b, and a low-pass filter 26c constituting the inductance detection unit 26. A signal including a phase difference from the oscillation output is detected.
[0057]
The phase detection circuit 26b refers to the output signal of the oscillator 25a and performs phase detection (orthogonal detection). The output signal of the synchronous detection circuit 26d is converted into a digital signal through each channel of the A / D converter 30a constituting the shape calculation unit 30, and then temporarily stored in the detection data storage unit 30b 'of the RAM 30b. The data 30b 'is transferred to the CPU 30c, and the CPU 30c performs calculations such as position estimation and shape calculation. Switching of each channel of the A / D converter 30a is performed by a timing control circuit 30d.
[0058]
In this case, for example, when the calculation for one source coil 16i is completed, the CPU 30c sends an end signal to the timing control circuit 30d, and when the timing control circuit 30d receives this end signal, a switching control signal is sent to the source coil switching circuit 28a. The drive signal is applied to the next source coil 16i.
[0059]
For example, the CPU 30c estimates the position of the source coil 16i with reference to the reference information stored in the reference information storage unit 30b ″ of the RAM 30b, and further interpolates between the positions using the information on the respective positions obtained by the estimation. An image corresponding to the estimated shape is also generated and output to the monitor 23 through the monitor signal generation unit 33 as in FIG. The reference information storage section 30b ″ stores data of two curves Cu and Cd shown in FIG.
[0060]
FIG. 9 shows a source coil driving operation for shape detection and a signal detection flow by the sense coil. First, after setting the parameter i to 1 (step S1), the i-th source coil 16i is selected by the source coil switching signal, and a drive current is passed through the source coil 16i (step S2).
[0061]
Next, the system waits for a transient response time Δt (step S3), and samples the detection signal detected by the sense coil 22j after this time Δt (step S4). Then, it is determined whether or not the i th source coil that is driven next is the last source coil (step S5). If it is not the last one, i is incremented to i + 1 (step S6) and the i th source coil is again reached. Returning to the step of passing the drive current to the source coil 16i, the process ends in the case of the last source coil.
[0062]
FIG. 10 is an explanatory diagram showing the reason why the detection signal from the sense coil 22j is sampled after the transient response time Δt. When the source coil 16i is selected by the source coil switching signal shown in FIG. 10A and a drive current is passed through the source coil 16i, the frequency of the drive current is increased according to the resistance component and inductance component of the source coil 16i. Actually, the drive current flowing through the source coil 16i exhibits a transient response characteristic during the time Δt as shown in FIG.
[0063]
For this reason, the detection signal detected by the sense coil 22j is a signal affected by the transient response characteristic as shown in FIG. For this reason, the timing control circuit 30d controls the A / D converter 30a to read after this time Δt. In this way, a detection signal that is not affected by the transient response is used. FIG. 7 shows a state where a triaxial source coil is used as the source coil 16i and the position of a certain source coil 16i is detected by the triaxial sense coil 22j.
[0064]
Assume that the three coils orthogonal to each other in the triaxial source coil 16i are 16x, 16y, and 16z, and the three coils of the triaxial sense coil 22j are 22X, 22Y, and 22Z. Also, it is assumed that there is no variation in each coil. The signal output detected by the three-axis sense coil 22j (three coils 22X, 22Y, and 22Z) when the respective coils 16x, 16y, and 16z of the three-axis source coil 16i are driven is defined as follows. .
[0065]
Of the three-axis source coil 16i,
The sense coil output when the coil 16x is driven is expressed as Xx, Yx, Zx.
The sense coil output when the coil 16y is driven is expressed as Xy, Yy, Zy.
The sense coil output when the coil 16z is driven is expressed as Xz, Yz, Zz.
And
[0066]
Detection signal outputs Xx ^ 2 + Yx ^ 2 + Zx ^ 2, Xy ^ 2 + Yy ^ 2 + Zy ^ 2, Xz ^ 2 + Yz ^ 2 + Zz ^ 2 corresponding to the square of the magnetic field strength formed by the three coils 16x, 16y, and 16z, respectively. Eight positions to be determined are obtained as detection position candidates of the source coil 16i.
[0067]
Further, the source coil 16i at the coordinates with the sensor (three-axis sense coil 22j) as the origin from the phase information of Xx, Yx, Zx, Xy, Yy, Zy, Xz, Yz, and Zz obtained by the synchronous detection of the detection unit 26. One quadrant that exists (among eight quadrants) is determined.
As a result, the position of the source coil 16i is determined (in this embodiment, as will be described later, the position of the source coil 16i is not directly calculated by using a signal corresponding to the detected magnetic field strength. The presence position is calculated (estimated) with reference to the reference data obtained by measurement in advance).
[0068]
Thus, the position of the discrete source coil 16i can be detected by using the three-axis source coil 16i and the three-axis sense coil 22j.
Further, if the triaxial sense coils 22j are arranged at a plurality of locations on the bed 4 as shown in FIG. 1, the position of each source coil 16i can be detected more accurately.
[0069]
FIG. 11 shows a state in which position detection is performed by a three-axis sense coil 22j using a one-axis source coil 16i (expressed as a coreless solenoid).
In the case of endoscopy, since the patient 5 is on the bed 4, the position of the endoscope 6 is always on the bed 4.
[0070]
That is, if the three-axis sense coils 22j serving as sensors are provided at the four corners of the bed 4, the endoscope 6 (internal source coil 16i) is present in the region surrounded by the sensor group. The quadrant in which the source coil 16i exists is limited for each installed three-axis sense coil 22j.
[0071]
When the output of one triaxial sense coil 22 when the source coil 16i is driven is Xi, Yi, Zi, the source is located at a distance from the triaxial sense coil 22 that has a magnetic field strength associated with Xi ^ 2 + Yi ^ 2 + Zi ^ 2. There will be a coil 16i.
[0072]
However, the uniaxial coil is generally expressed as a dipole, and its isomagnetic field surface does not become a sphere but has an elliptical shape as shown in FIG.
For this reason, the position of the source coil 16i whose direction is unknown cannot be identified only from the isomagnetic field plane Xi ^ 2 + Yi ^ 2 + Zi ^ 2 by one triaxial sense coil 22.
[0073]
Therefore, a distance associated with Xj ^ 2 + Yj ^ 2 + Zj ^ 2 measured for each of the three-axis sense coils 22j provided in the bed 4 is used. In this case, since the installation position of each triaxial sense coil 22j is known, it can be represented by, for example, one coordinate system fixed to the bed 4.
Consider a case where the sense coil 22j detects the magnetic field intensity at which the isomagnetic field generated in the source coil 16i is expressed as Xs ^ 2 + Ys ^ 2 + Zs ^ 2, and estimates the distance therebetween.
[0074]
Then, assuming an isomagnetic field surface including the magnetic field intensity from the magnetic field intensity detected by the sense coil 22j, the sense coil 22j exists on the isomagnetic field surface with respect to the central source coil 16i. The maximum value and the minimum value of the distance from the center to the isomagnetic field surface are Rmaxj and Rminj, respectively, and the sense coil 22j and the source coil 16i exist at the distance therebetween.
[0075]
That is, when the sense coil 22j at a known position is used as a reference, the source coil 16i exists inside the maximum distance Rmaxj and outside the minimum distance Rminj as shown in FIG.
[0076]
The source coil 16i exists in a spherical shell volume represented by Rmaxj and Rminj corresponding to Xj, Yj, and Zj, which is measured by each triaxial sense coil 22j and is different for each triaxial sense coil 22j. Therefore, the center of gravity of the region can be detected as the coil position.
[0077]
Thus, the position is obtained, but if the difference between Rmax and Rmin is large, an error may occur.
[0078]
Therefore, the inclination in the volume obtained previously is obtained using the fact that the inclination of the source coil 16i is represented in the phase information included in Xj, Yj, and Zj.
As a result, the previous position is corrected so that the position becomes more accurate.
Moreover, since the mutual space | interval of the source coil 16i is known, you may correct | amend with this value further.
[0079]
In this case, as shown in FIG. 13, since the endoscope 6 is continuous, the slopes (dx / dl, dy / dl, dz / dl) of the obtained discrete source coil 16i positions (indicated by x marks) are obtained. ) Should be equal to or close to the tangential direction at the source coil position of the curve l interpolated based on the source coil position, and the position may be further corrected.
[0080]
An image 100 in which the shape of the insertion portion 7 of the endoscope 6 estimated from the plurality of position information detected in this manner is modeled as will be described later is displayed on the display surface of the monitor 23 as shown in FIG. Displayed in the graphics output area. The right area is a user interface area in which the user sets the viewpoint (distance between the position and the origin), the rotation angle, the elevation angle between the viewpoint position and the z axis, and the like by key input from the operation panel 35 or the like.
[0081]
In FIG. 15, the magnetic field generated by the source coil 16i in the scope is detected by the external three-axis sense coil 22j, and the position of the source coil 16i is obtained from the relationship between the magnetic field strength and the distance between the two points. The flow which displays on the monitor (it also describes as CRT) the insertion part shape (it also describes as a scope shape simply) based on each position detection is shown.
The overall configuration of this flow can be divided into the following four blocks B1 to B4 according to the processing contents.
[0082]
B1: Initialize Block
In this block, the initialization work for all functions of the program is completed. Specifically, when the position of the source coil 16i is calculated from the initial parameter setting based on the method of outputting the scope shape on the CRT and the phase information and amplitude information obtained from the magnetic field strength detected by the hardware. The basic data used for the memory is read, the various boards for controlling the hardware are initialized, and the like. Detailed processing contents will be described later for each block.
[0083]
B2: Hardware Control Block
In this system, the position coordinates of the source coil 16i arranged and fixed in the insertion portion 7 of the endoscope 6 are calculated from the magnetic field intensity generated by the source coil 16i, and based on this, the endoscope 6 in the inserted state is calculated. The shape of the insertion part 7 is estimated.
In this block, the driving of the source coil 16i is switched to generate a magnetic field, the generated magnetic field strength is detected by the sense coil 22j, and this detection output is converted into a form in which the source coil position coordinates can be calculated and output. .
[0084]
The drive switching of the source coil 16i is made to know where the source coil is located in the endoscope 6, and the sense coil 22j for detecting the magnetic field strength of the source coil 16i is orthogonal as shown in FIG. Each of the three axes is manufactured so that the surfaces of the coils are parallel to each other, and the magnetic field strength components in the three axial directions orthogonal to each sense coil 22j can be detected. The detected magnetic field strength data is output after being separated into amplitude data and phase data necessary for calculating the source coil position.
[0085]
B3: Source position calculation block
Based on the amplitude data and the phase data obtained by the magnetic field detection in the previous block, the position coordinates of the source coil 16i are calculated using the relationship between the magnetic field strength and the distance between the two points. First, the amplitude data and the phase data are corrected for the difference in the diameter of the sense coil 22j in each axial direction and the positional relationship between the source coil 16i and the sense coil 22j. Calculate the magnetic field strength considered to be detected at the installation position.
[0086]
The distance between the source coil 16i and the sense coil 22j is obtained from the magnetic field strength thus calculated. However, since the orientation of the source coil 16i in the inserted state (the orientation of the solenoid coil) is not known, the location of the source coil 16i can only be limited to a certain spherical shell. Therefore, three or more sense coils 22j are prepared, the overlap of the regions where the source coil 16i can exist is obtained, and the barycentric position of the region is output as the position coordinates of the source coil 16i.
[0087]
B4: Image Display Block
The scope shape is constructed based on the data obtained as the source coil position coordinates, and the image is output on the CRT. Based on the data of one or more coordinates obtained as the source coil position coordinates, a smooth continuous coordinate as a whole is constructed. A modeling process is performed to make it look like a scope by using the continuous coordinates (polygonal column, color gradation, saturation, use of luminance, hidden line processing, perspective, etc.).
[0088]
Further, the scope image model displayed on the CRT can be rotated and enlarged / reduced in an arbitrary direction, and a body marker that can be seen at a glance can be displayed at a glance the current viewpoint position and the patient's head direction. The viewpoint position at the end is automatically saved and becomes the next initial viewpoint position. There is also a hot key for memorizing the viewpoint direction that the operator thinks is easy to see.
Next, detailed contents for each block will be described.
[0089]
B1: Initialization block
In the first step S11, the graphic page is initialized (VRAM is initialized). In addition, when a scope image displayed on a CRT is updated, if a new image is overwritten, the viewer gives an impression of an image that flickers, and the smooth image disappears. Therefore, smoothness like a moving image is realized by continuously switching a plurality of graphic pages and displaying an image.
In addition, the color and gradation to be used are set as follows.
[0090]
The number of colors that can be used is limited by hardware, and is assigned in the form of palette numbers. However, there are only two gradations as default. Therefore, in order to realize richer gradations within the range of the number of colors that can be used, a palette was set. For example, in FIG. 14, the frame F1, the markers m1 and m2, and the display model name (not shown) are displayed in three colors, and the rest are used for gradation display of the image 100 modeled by the insertion unit 7.
[0091]
As a result, the closer to the viewpoint, the brighter it is, and the farther it is, the darker it is possible to display, and it is possible to express the image 100 in which the insertion unit 7 is displayed in two dimensions with a stereoscopic effect and depth. Of course, increasing or decreasing the number of gradations is arbitrary. In addition to the gradations, the colors used are also made up of R, G, and B, making it possible to express subtle saturation and brightness.
[0092]
In the next step S12, initialization of image parameters such as automatic reading of the initial viewpoint position is performed.
How the scope image is easy to see depends largely on the preference of the surgeon. If the initial viewpoint position is fixed, the surgeon must bother to reset the viewpoint position at which the scope image feels easy to see, which reduces usability.
[0093]
Therefore, by saving the desired viewpoint position in the form of a file (parameter file) and reading that file when starting the program, the scope image can be viewed from the viewpoint position that is easy for the surgeon to see immediately after the program starts. Was provided.
[0094]
In this embodiment, the scope image and the text screen are displayed separately.
By dividing the scope image from the text screen, the scope image can be visually and numerically checked for the degree of rotation and scaling.
In next step S13, the principle source data storing the principle for deriving the source coil position is loaded. This data is reference data or reference information of the following relationship.
[0095]
Relationship between magnetic field strength and distance between two points
The measurement principle is that the output of the uniaxial source coil 16i is detected by a sense coil 22j manufactured with three orthogonal axes, and the distance between the source coil 16i and the sense coil 22j is obtained from the magnetic field strength. When obtaining the distance between the two coils, the maximum magnetic field strength output and the minimum are not determined directly from the superfunction indicating the magnetic field distribution generated by the uniaxial source coil 16i, but by the difference in the orientation (axial direction) of the source coil 16i. A new distance calculation method using magnetic field strength output is introduced.
[0096]
The graph shown in FIG. 16 is data that is the basis of this distance derivation principle. This is a graph of data actually measured in the shield room. That is, when the distance between the uniaxial source coil 16i and the triaxial sense coil 22j is set to various values, detection is performed at the position of the triaxial sense coil 22j when the axial direction of the source coil 16i is changed by each distance value. The maximum magnetic field strength value (maximum magnetic field strength value) and the smallest magnetic field strength value (minimum magnetic field strength value) measured are plotted and graphed, and the upper curve Cu Represents the maximum magnetic field strength curve, and the lower curve Cd represents the minimum magnetic field strength curve.
[0097]
When the distance between the two coils Cu and Cd is small, there is a difference in the value detected depending on the direction of the source coil 16i, but the distance between the coils is sufficiently large compared to the large source coil 16i. As a result, there is no difference in detected values. This is because if the magnetic field formed by a dipole has a small distance, its isomagnetic surface does not become a spherical surface, but if the distance is sufficiently large relative to the size of the dipole, it is almost spherical without depending on the size of the dipole. This result is consistent with qualitative physical phenomena.
[0098]
Further, when a certain magnetic field strength H is detected, it is possible to add a limitation that the source coil 16i can exist only in a spherical shell sandwiched between the minimum radius r_min and the maximum radius r_max. In the measurement range of FIG. 16, it can be seen from the two curves Cu and Cd that the distance in the spherical shell (= r_max−r_min) is about 60 mm without much depending on the value of the magnetic field strength H.
[0099]
FIG. 17A shows a measurement method for obtaining the data of FIG. As shown in FIG. 17A, for example, a uniaxial source coil 16 is arranged at a known distance r1 with respect to the triaxial sense coil 22 (for example, the center of the cube coincides with the origin) arranged at the origin. Then, the direction of the source coil 16 (its axial direction) is changed, the magnetic field strength is measured with the triaxial sense coil 22 arranged at the origin, and the maximum value H1 and the minimum value H1 ′ are measured.
[0100]
That is, when the direction of the source coil 16 is changed, the magnetic field intensity detected by the three-axis sense coil 22 changes accordingly, and the maximum value H1 and the minimum value H1 ′ of those measured values are obtained.
[0101]
In general, the axial direction of the source coil 16 coincides with the line connecting the sense coil 22 (center) and the source coil 16 (center) (the source coil 16 indicated by the solid line in FIG. 17A). Direction), the maximum value H1 is obtained, and in the state indicated by the two-dot chain line orthogonal to the source coil 16 indicated by the solid line, a substantially minimum value H1 'is obtained.
[0102]
Similarly, the value of the distance r1 is changed to r2, the same measurement is performed with the triaxial sense coil 22 at the distance r2, and the maximum value H2 and the minimum value H2 ′ are obtained. Further, the same measurement is performed by changing the distance, the maximum value and the minimum value obtained at each distance are plotted, and the maximum values and the minimum values are connected with lines so as to interpolate each other as shown in FIG. A maximum magnetic field strength curve Cu and a minimum magnetic field strength curve Cd are obtained. The data of the curves Cu and Cd are stored in data storage means such as a hard disk. When the endoscope shape display operation is started, the data is transferred to and stored in the reference information storage unit 30b ″ of the RAM 30 in FIG. The CPU 30c refers to it as necessary.
[0103]
The actual measurement value proportional to the magnetic field intensity detected by the triaxial sense coil 22 is obtained by squaring the signals 22X, 22Y, and 22Z detected by the three coils constituting the triaxial sense coil 22, respectively. The value obtained by calculating the square root of 22X, 22X + 22Y, 22Y + 22Z, and 22Z, and calibrating this calculated value with a standard magnetic field measuring device (for example, a gauss meter) Measurements can be obtained.
The data shown in FIG. 16 is obtained by performing such a measurement in a magnetically shielded shield room in detail.
[0104]
By referring to the two curves Cu and Cd in FIG. 17B, a three-dimensional region where the source coil 16 exists with respect to the three-axis sense coil 22 is determined from the magnetic field intensity detected by the three-axis sense coil 22. Can be estimated.
[0105]
For example, when a certain magnetic field strength Ha is obtained by measurement, the distance corresponding to the magnetic field strength Ha is from distances ra and ra ′ at which the value of the magnetic field strength Ha intersects the curves Cd and Cu from FIG. It can be estimated that this is a three-dimensional region where the source coil 16 exists in the distance range between the two. That is, when a certain magnetic field strength is obtained, it can be estimated that the value is between the minimum distance r_min and the maximum distance r_max at which the minimum magnetic field strength curve Cd and the maximum magnetic field strength curve Cu intersect.
[0106]
FIG. 18 compares the measured value in the shield room with the measured value of the magnetic field strength in another place (specifically, the room) for r_max (maximum magnetic field strength). The measured value in the shield room and the measured value in the room almost coincide. In other words, the measured value in the living room is almost the same as the measured value in the shielded room, and the magnetic field strength characteristic with respect to the distance of the measured value is almost the same as the measured value in the shielded room. (Although not shown, the same characteristics were exhibited in the case of the minimum magnetic field strength).
[0107]
Therefore, if the shape of the function of the curve of the measured value in the shield room is obtained in advance, the maximum magnetic field strength curve and the minimum magnetic field strength curve in the environment can be accurately determined using the function in other environments. .
[0108]
In other words, even in a situation where the environment of the endoscopy changes, by measuring the magnetic field in advance by using a measuring device capable of measuring the magnetic field strength in several max and min directions in that environment, Thus, it is possible to obtain curve data of the maximum magnetic field strength and the minimum magnetic field strength, thereby saving the trouble of obtaining detailed data by measurement for each environment. Thus, FIG. 18 shows that the data is very universal.
[0109]
The file (max_min data file) in which the data of the maximum magnetic field strength and the minimum magnetic field strength is recorded is loaded, and the correction data is loaded from the correction data file, and the following correction is performed.
[0110]
Sense coil diameter correction
How accurately the magnetic field intensity at the position where the sense coil 22j is installed is a very important problem. The sense coil 22j produced with three orthogonal axes can hardly be produced with the same core and the same diameter, and the output detection value differs depending on the difference in diameter. In addition, the output value also changes depending on the direction and direction of the source coil 16i.
[0111]
Therefore, the magnetic field was actually detected, and the arrangement of the source coil 16i and the sense coil 22j and the change in the detected magnetic field were examined. As a result, the difference in diameter and the arrangement of the coils 16i and 22j can be determined by simply multiplying the respective sizes of the diameters by two sets of correction coefficients according to the signs of the phase data obtained at the time of magnetic field detection. We found that the relationship could be corrected.
[0112]
In view of this, the correction coefficient for each sign of the phase data for each axis measured in advance is captured by the initialization block B1. This result is described in a source position calculation block B3 for calculating the magnetic field strength.
[0113]
After loading the data, the hardware is initialized in the next step S14. In step S14, for example, the setting content of the source coil switching circuit 28a shown in FIG. 8 is reset to an initial state. Also, the setting contents of the A / D converter 30a are reset to a setting state corresponding to the use environment. In this way, the hardware is set in a usable state for shape calculation, and the next block B2 is operated.
[0114]
B2: Hardware control block
First, in step S21, as described with reference to FIG. 8, a switching signal is applied to the source coil switching circuit 28a to select the source coil 16i, and the source coil 16i is driven. The magnetic field generated by the source coil 16i is detected by the sense coil 22j.
[0115]
Therefore, as shown in step S22, the detection signal detected by the sense coil 22j is sampled by the A / D converter 30a via the phase detection circuit 26. The sampled data is once written in the RAM 30b.
As shown in step S23, the CPU 30c determines whether or not the driving of all the source coils 16i is completed (the timing control circuit 30d is built in the probe 15). If not, the next source coil 16i is determined. The timing control circuit 30d is controlled so as to drive.
[0116]
When all the source coils 16i are driven, amplitude data and phase data are calculated from the data in the RAM 30b (that is, PSD data passed through the phase detection circuit 26d) (PSD calculation in step S24 in FIG. 15, step S25). Amplitude data and phase data).
[0117]
The process proceeds to the next block B3 from the amplitude data and phase data. First, the magnetic field strength calculation in step S31 is performed using the correction coefficient. The specific contents of the flow relating to the calculation of the magnetic field strength are shown in FIG. Here, a description of the flow is added. (A1) First, in step S31_1, phase data sign determination is performed.
[0118]
The sense coil 22j has three uniaxial coils with different diameters. Therefore, when the codes of the phase data are classified for each uniaxial coil, they are classified into eight cases. This is done as follows.
[0119]
a1_1. In order to determine the sign at high speed, a conditional operator is generated that outputs 1 if + and 0 if-(SIG (x) → (x <0)? 0: 1).
a1_2. The sign of the phase data of the smallest diameter is checked, and the result is substituted for the parameter x (x + = SIG (phi)).
[0120]
a1_3. Shift x bits to the left.
a1_4. The sign of the phase data of the next diameter is checked, and the result is added to the parameter x.
a1_5. Shift x bits to the left.
[0121]
a1_6. Check the sign of the maximum diameter phase data and add the result to the parameter x. In this way, the set of codes of the phase data for each diameter can be replaced with eight types of x values, and processing can be performed at a higher speed than when the codes are individually determined.
[0122]
(A2) In the next step S31_2, the influence of the difference in diameter and arrangement included in the amplitude data is corrected.
In (a1), since the combination of the phase data is replaced with the value of the parameter x, eight conversion formulas are written according to the value of x. This makes it possible to multiply each amplitude data by an appropriate correction coefficient at high speed.
[0123]
With the processing so far, the correction of data for the difference in diameter and the difference in arrangement is completed.
(A3) The magnetic field strength is calculated in the next step S31_3.
[0124]
In (a2), the influence of the difference in the diameter of each directional component and the arrangement of the coils on the output can be corrected. Therefore, the magnetic field strength can be calculated by calculating the square root of the square sum of each component. .
By the above procedure, the magnetic field strength can be calculated more accurately and at high speed from the output of the sense coil 22j manufactured with three orthogonal axes.
[0125]
Next, calculation of the maximum distance and the minimum distance (between the source coil 16i and the sense coil 22j) in step S32 in FIG. 15 is performed using the maximum and minimum distance data (data in FIG. 16). This step S32 performs processing until the maximum distance and the minimum distance between the sense coil 22j and the source coil 16i are calculated using the magnetic field intensity obtained in the previous step S31.
[0126]
The existence of a proportional relationship between the distance between two points and the magnetic field strength is a very common physical phenomenon. However, since the magnetic field strength created by the l-axis source coil 16i at a point in a certain space is generally expressed by a superfunction, even if the orientation of the source coil 16i is known and the magnetic field strength is measured, the presence of the source coil 16i is present. It is not easy to calculate the direction and distance to perform.
[0127]
Therefore, when a certain magnetic field intensity can be detected, it is assumed that the distance when assuming that the source coil 16i is oriented in the direction in which the output is the strongest is R_max, and the source coil 16i is oriented in the direction in which the output is the weakest. If the distance in this case is R_min, the distance R_true between the true source coil 16i and the sense coil 22j can be limited to a range of R_min ≦ R_true ≦ R_max.
[0128]
The magnetic field strength M obtained in the previous step S31 is compared with the magnetic field strength data m of the already read R_max curve, and a point where mb ≦ M ≦ mt is picked up. Assume that the distance between mb and mt changes linearly, and the distance corresponding to the magnetic field strength M at the midway point is R_max.
[0129]
The same applies to R_min. Here, the reason that the distance between mb and mt is linearly changed is that the calculation is simplified, and there is no problem in the curve approximation. Of course, the function form f (x) of the R_max curve may be derived and calculated as R_max = f (M).
[0130]
The distance calculation means or method employed here is an extremely simple means or method that does not require solving the complex superfunction, although the value of the distance R_true cannot be obtained reliably. Even when the direction of the axis of the source coil 16i is unknown, it is a means or method with a wide application range that can limit the existence range of the source coil 16i.
[0131]
Next, the position coordinates of the source coil 16i are calculated in step S33. In step S33, processing is performed until the coordinates of the source coil 16i are calculated from the distance between the sense coil 22j and the source coil 16i.
The range in which the source coil 16i can exist when viewed from a certain sense coil 22j is in a spherical shell surrounded by R_max and R_min obtained in the previous step S32.
In order to limit the range in which such a source coil 16i can exist to a more minute space, the overlapping of the possible areas of the source coil 16i found from the plurality of sense coils 22j is used. For each sense coil 22j, the source coil 16i obtained from the same source coil 16i always has an overlapping region unless the position of the source coil 16i is moved.
[0132]
The boundary of such a region is nothing but the intersection of spheres with radii R_max and R_min centering on the position of each sense coil 22j. Since there are at least three sense coils 22j, the existence of the source coil 16i can be limited to a minute region surrounded by the eight intersections of the spheres having R_max and R_min of each sense coil 22j as radii.
[0133]
Assuming that the three sense coils 22j are Sa, Sb, and Sc, and the distances Ra_max, Ra_min, Rb_max, Rb_min, Rc_max, and Rc_min are obtained, the source coil 16i is in a minute space having the following eight points as vertices. Its presence is limited.
[0134]
Intersections of spheres with radii Ra 1 max, Rb_max, and Rc_max, respectively
Intersection points of spheres with radii Ra 1 min, Rb_max, Rc_max, respectively
Sphere intersections with radii of Ra_max, Rb_min, and Rc_max, respectively
Sphere intersections with radii Ra_max, Rb_max, and Rc_min, respectively
Sphere intersections with radii Ra_min, Rb_min, and Rc_max, respectively
Sphere intersections with radii Ra_min, Rb_max, and Rc_min, respectively
Intersection of spheres with radius Ra 1 max, Rb_min, Rc_min respectively
Intersections of spheres with radii Ra_min, Rb_min, and Rc_min, respectively
Then, the barycentric point of the minute region surrounded by these eight points is output as the position coordinates of the source coil 16i. Furthermore, as the number of the sense coils 22j increases, the possible area of the source coil 16i can be further limited and the position of the source coil 16i can be obtained more accurately.
[0135]
Since this source coil position limiting method is a simple arithmetic calculation of calculating the intersection of three spheres, the processing time is not required, and the region where the source coil 16i exists is limited to a very small region. It is an extremely good method that has been made possible.
[0136]
In this way, the position coordinates of each source coil 16i are calculated, and the position coordinate data of the source coil 16i in step S34 is obtained. Using these data, the process proceeds to the next block B4.
[0137]
B4: Image display block
This block B4 is responsible for processing until the scope shape image in the inserted state is drawn on the CRT based on the position coordinate data of the source coil 16i.
The position coordinate of the source coil 16i is a trajectory through which the inserted scope has passed. Therefore, the scope shape in the insertion state is estimated based on this. Once the scope insertion shape has been estimated, the result is depicted on the CRT. At that time, since the three-dimensional scope shape must be displayed on the two-dimensional CRT screen, it is necessary to devise such that the image is more three-dimensionally represented.
[0138]
Further, if the scope image can be rotated in an arbitrary direction or it can be instantaneously determined from what direction the scope image is viewed, the usability is further improved.
In view of the above, in this system, a display method is realized that is classified by function as follows and adds the features of each module.
[0139]
S41 keyboard input processing
S42 Scope image rendering process
S43 reference plane display processing
S44 marker display processing
Not all of these are required to describe the scope image, so you can choose the function as needed.
[0140]
This method is superior in that a three-dimensional scope shape image can be reproduced on the CRT by incorporating a selectable scope shape display auxiliary means.
Therefore, the characteristics of each module will be described below.
[0141]
S41: Keyboard input processing
Here, when a key input corresponding to a given user command is made, the setting parameters and the like are changed according to the contents.
[0142]
Equipped with an additional function that is considered to be highly demanded by users affects the usability of the system. In addition, function selection is a simple task, and can be performed whenever the user desires, and the user's request content needs to be realized quickly.
[0143]
This step S41 specifically performs the process shown in FIG.
First, as shown in step S41_1, input acquisition from the keyboard is performed.
When a key is input, the input content is substituted into the input key variable KB.
[0144]
Next, in step S41_2, a command error input check is performed. Here, it is determined whether the input key is incorrect. Specifically, it is performed by checking a command error input flag. When this flag is ON, it is further determined in step S41_4 of the next determination process whether the input key is not an error. On the other hand, if it is OFF, the process proceeds to step S41_3 of the next command processing.
In step S41_4, it is confirmed whether the input key is really correct. Three kinds of judgment results are processed.
[0145]
In the case of Yes: The command is processed according to the key input.
After substituting the content of the variable duty that temporarily stores the contents of the key input into the input key variable KB (S41_5), the process proceeds to step S41_3 of the command processing.
In the case of No: The contents of the key input are discarded. The contents of the input key variable KB are discarded, and the command error input flag is set to OFF (S41_6).
[0146]
When not input: The user may be delayed in noticing an incorrect input. However, the scope image needs to be updated even in such a case. This is processing for dealing with this, and no processing is performed until it is determined whether the command is correct, and other command processing is prohibited.
[0147]
By this procedure, even if the user makes a key operation mistake, the command can be safely canceled.
Next, the content of step S41_3 of the command processing will be described.
[0148]
In this process, the input command is processed and reflected in the creation of the scope image. The specific contents of this command processing are 13 processes 3_1 to 3_13 as shown in FIG.
[0149]
3_1. Rotation of the image around the x axis
An image obtained when the viewpoint position is rotated around the x axis is output.
For example, when the x key is input, the viewpoint rotates in the x-axis direction. The rotation angle is calculated from the viewpoint position coordinates thus moved. This rotation angle is substituted into the variable pitch. This variable is referred to by affine transformation when creating a scope image, and an output image rotated around the x axis is obtained.
[0150]
3_2. Rotate image around y-axis
An image obtained when the viewpoint position is rotated around the y-axis is output.
For example, when the y key is input, the viewpoint rotates in the y-axis direction. The rotation angle is calculated from the viewpoint position coordinates thus moved. This rotation angle is substituted into the variable head. This variable is referred to by affine transformation when creating a scope image, and an output image rotated around the y axis is obtained.
[0151]
3_3. Rotation of the image around the z axis
An image obtained when the viewpoint position is rotated around the z axis is output.
For example, when the z key is input, the viewpoint rotates in the z-axis direction. The rotation angle is calculated from the viewpoint position coordinates thus moved. This rotation angle is substituted into the conversion bank. This variable is referred to by affine transformation when creating a scope image, and an output image rotated around the z axis is obtained.
[0152]
3_4. Enlargement and reduction of image
An image is output when the distance between the origin and the viewpoint position is increased or decreased.
For example, when an E key identified by E is input, the distance between the viewpoint position and the origin is imaged without changing the direction. The distance between the new viewpoint position and the origin at this time is substituted into the variable viewpoint.
[0153]
Corresponding to the change in the viewpoint position, the position of the plane (project screen) on which the three-dimensional image is projected onto the two-dimensional image is also changed and substituted into the variable screen. This is to adjust the perspective accompanying the change in the viewpoint position. These variables are referred to at the time of three-dimensional to two-dimensional projection (3D → 2D projection) conversion, and an output image obtained by enlarging or reducing the image is obtained.
[0154]
3_5. Image display from initial viewpoint position
The viewpoint position changed by the rotation, enlargement, or reduction is returned to the initial viewpoint position defined on the apparatus side, and the image viewed from there is output.
[0155]
For example, if the initial viewpoint position is set to (0, 0, 100) and the viewpoint position is set when the R key identified by the notation of R is pressed, the variable pitch, Values calculated from the initial viewpoint position are collectively substituted for the head, bank, viewpoint, and screen variables. These variables are referred to in the same manner as 3_1 to 4 to obtain an output image from the initial viewpoint position. This makes it possible to reset the viewpoint position without knowing in which direction the viewpoint has been turned.
[0156]
3_6. Display image from user registered viewpoint
This function is the same as 3_5. The major difference is that the viewpoint position is not the initial value defined on the device side, but the viewpoint position registered by the user. A user registration method for a certain viewpoint position is shown in the following 3_7. Any number of viewpoint positions can be registered. This function makes it possible to instantaneously obtain an output image from the viewpoint position preferred by the user, even after changing the viewpoint position.
[0157]
3_7. User registration of viewpoint position
The user can register this viewpoint position so that an image output from a certain viewpoint position can be viewed at any time. Here, if the viewpoint position is registered, the function 3_6 can be used.
[0158]
For example, when the U key identified by U is pressed, the viewpoint position coordinates at that time are stored as data. Alternatively, variables such as pitch, head, bank, viewpoint, and screen calculated from the viewpoint position coordinates may be stored. A plurality of registration keys are prepared, and a plurality of viewpoint positions can be stored. It is also possible to update the viewpoint position coordinate data once stored.
[0159]
3_8. Multiple image output screens
The image output is usually one screen, but it is divided into a plurality of images, and scope images can be simultaneously output from a plurality of viewpoint positions.
[0160]
For example, when the 2 or 4 key identified by the notation of 2 or 4 is pressed, the screen is divided into 2 or 4 parts. At this time, coordinate conversion is performed according to the screen division amount so that the scope image image fits on the divided screen. By pressing the 0 key identified by the notation of 0, the active screen divided into a plurality of screens can be selected.
[0161]
3_9. Comment input screen display
Switch the text output screen to a comment input screen for patient lists and system usage.
For example, when a T key identified by the notation of T is input, a comment input text screen is overlapped with a screen that outputs viewpoint position coordinates and the like, and a cursor is output to prompt a comment input.
[0162]
3_10. Change the background color
When the scope image is difficult to see due to the influence of surroundings, the background color can be changed by changing the palette.
For example, when the B key identified by the notation of B is input, the parameter value relating to B of the RGB palette that determines the background color can be changed, and the subtle hue can be changed.
[0163]
3_11. ON / OFF of marker display
This system has a function of displaying the position of a single coil (hereinafter referred to as a marker) attached to a finger or the like independently of the scope image in the inserted state. When a marker is to be used during the operation, the position of the marker is displayed on the CRT by, for example, pressing the M key identified by the notation of M.
[0164]
When the M key is input, a status flag for setting a marker on the CRT is set. If set, the program routine for displaying the marker is executed and the marker is displayed. After using the marker, press the M key again. The status flag is canceled and the display of the marker is canceled by prohibiting the passage of the routine for outputting the marker.
[0165]
With this function, the marker and the image output image can be compared, and the marker can be provided as auxiliary means for knowing the position of the imaged scope image.
[0166]
3_12. Numerical display ON / OFF of source coil coordinates
The image image that is normally output is only its shape. For example, when the N key identified by the notation of N is input, the numerical value of the source coil coordinates detected simultaneously with the image image can be output.
The ON / OFF means is the same as in 3_11. For example, by inputting the N key, a status flag for displaying numerical values is set. If the numerical display is no longer necessary, the N flag is input again to cancel the status flag and cancel the numerical display.
[0167]
Thus, in addition to the visual positional relationship, a numerical positional relationship can also be obtained. 3_13. The end of the program
Terminate the program more safely.
[0168]
For example, pressing the Q key can terminate the program. However, in order to prevent the program from ending when the Q key is input by mistake, the following measures are taken.
[0169]
(3_a) Check for erroneous command input flag.
(3_b) If the flag is OFF, the flag is turned ON and the content of the input key variable KB is substituted into the variable duty.
[0170]
(3_c) If the flag is ON, the command is executed according to the input key variable KB.
By this procedure, it is possible to avoid the risk of accidentally terminating the program while using the system.
[0171]
As described above, since one key is assigned to each command, the operation is very simple.
When a certain key is pressed, only the parameters necessary for realizing the change of the function are set, so that the program flow is not hindered.
[0172]
Furthermore, the parameters for realizing the functions of these commands are one processing (from the time when the source coil is driven, the magnetic field is detected, the source coil position is detected, and then the scope shape is output to the CRT). Therefore, the time lag until the function is realized according to the command request is extremely small.
[0173]
This method is an excellent means that it has an extremely small influence on the scope shape drawing although it can respond to the user's key input instantaneously.
After the process of step S41_3, the process proceeds to the scope image drawing process of the next step S42.
[0174]
S42: Scope image rendering process
Here, the scope shape is created from the source coil position coordinates obtained from the magnetic field detection, and the image image is three-dimensionally displayed on the CRT. The obtained position coordinates of the source coil are data of the number of source coils inserted into the scope. Therefore, it is necessary to estimate the scope shape in the inserted state based on these data. Furthermore, the most important point of this system is how the scope shape data obtained in this way can be output as a three-dimensional shape on the CRT.
[0175]
The processing flow of this scope image drawing process is as shown in FIG. Each detailed processing content is touched for each block, and in order to realize a more realistic display, why it is essential is touched in order.
[0176]
S42_a: Three-dimensional interpolation between the calculated source coils
In the process of three-dimensional interpolation between the calculated source coils in step S42_a, the source coil position coordinates calculated by the magnetic field strength detection are discrete. It does not correspond to the scope shape that changes. In order to create a smooth overall scope shape, three-dimensional interpolation is performed on the source coil position coordinate data.
[0177]
S42_b: Construction of a three-dimensional model
Since the actual scope has a thickness, even if smooth data points are obtained, it cannot be said that the actual scope is depicted by connecting with a straight line having no thickness. Therefore, in the process of constructing the three-dimensional model in step S42_b, the intervals between the catch data are performed using a cylinder or an n-polygon model so that the thickness can be displayed corresponding to the actual scope shape.
[0178]
S42_c: Affine transformation
The scope shape is output as an image viewed from the designated viewpoint position. Therefore, in the affine transformation process in step S42_c, the scope shape model data obtained in the world coordinate system as the reference coordinate system for derivation of the source coil position is transformed into the viewpoint coordinate system for screen display. The viewpoint position can be changed by the user. The changed contents are referred to here.
[0179]
S42_d: 3D → 2D projection
Although the scope shape is originally three-dimensional, in order to output the image on the CRT screen, it must be converted into two dimensions. Therefore, projection conversion from the three-dimensional image to the two-dimensional image in step S42_d is performed. At this time, perspective may be emphasized by a perspective or the like.
[0180]
S42_e: Rendering
The scope shape image obtained by the above processing is drawn on the CRT. In rendering, the rendering processing in step S42_e performs n-polygon side surface processing and hidden line processing for expressing before and after the scope loop. It is also possible to further emphasize the space between solids by performing processing such as gradation display in perspective shading processing, adjustment of luminance and saturation on the side of the scope model based on the curvature of the scope, and the like.
[0181]
It should be noted that some items described above are not necessarily implemented. Of course, if implemented, the image can be reproduced on the CRT in a form including the effects of the improved items. Moreover, it is not necessary to perform in the order shown in FIG. 22, and by changing the order in accordance with the model for displaying the insertion portion shape, the same process may be performed in a shorter time. .
[0182]
Through these processes, the three-dimensional scope shape in the inserted state can be reproduced on the CRT from only the position coordinates of several source coils.
Further, in this embodiment, the n-sided prism model and the n-sided connected model can be selected as the scope display as follows. Accordingly, the construction of a three-dimensional model will be described along the following specific example.
[0183]
First, the case of an n-square column model will be described. In this model, for example, as shown in FIG. 14, the cross section of the insertion portion is modeled as a regular n-gon and displayed as an n-gonal column (n = 5 in FIG. 14). When the number of n is increased, it becomes almost a circle, and in this case, it is displayed as a cylinder.
[0184]
The flow of display processing contents in this model is shown in FIG.
In FIG. 23A, the process of interpolation & three-dimensional model construction in step S42_1 performs the process shown in FIG.
[0185]
Here, first, the three-dimensional B-spline interpolation in step S42_1 is performed. This interpolation is not a type of interpolation that always passes through the interpolation point, but creates a smooth curve while passing through the vicinity of the interpolation point. Processing is easy. Of course, natural splines, other interpolation methods, or interpolation using approximate functions may be used.
[0186]
The B-spline, which is relatively simple in calculation processing, is excellent in that the processing speed is high even when three-dimensional trapping is performed.
Next, n-prism model construction is performed as a three-dimensional model construction in step S42_12.
[0187]
Here, a three-dimensional scope image is constructed from the gap data of the source coil position coordinates by an n-polygonal cylinder model (hereinafter, also including a cylinder). The actual processing is as shown in the flow in FIG.
Consider a case where an n-polygonal model for the i-th and i + 1-th data interpolating the source coil position coordinates is created.
[0188]
First, as in step S51, a directional vector P and its magnitude | P |
Next, as in step S52, the vector P is translated so that the origin is the starting point. Let K be the translated vector and | K | This vector K is shown in FIG.
[0189]
Next, as in step S53, the vector K is made to coincide with the axial direction of the coordinate axis, for example, the y axis (here, first rotated around the y axis (FIG. 25 (b)), and then rotated around the x axis ( FIG. 25 (c)) makes the vector K coincide with the y-axis direction).
[0190]
Next, two points y1 and y2 on the vector K facing the y-axis direction are determined as in step S54. However, it is assumed that a ≦ y1 <y2 ≦ | K | −a, 2a <| K | (FIG. 26A).
Next, vectors A1 and A2 that are perpendicular to the vector K and have the size a are created from the two points y1 and y2 as shown in step S55 (FIG. 26B).
[0191]
Next, as in step S56, the vectors A1 and A2 are rotated in increments of (360 / n) ° to obtain the coordinates of A1 and A2, and this is used as the basic data of the n polygon cylinder (FIG. 26 (c)). .
Next, basic model data is created by adding or subtracting the y-axis values of the top and bottom surfaces of the data obtained in step S57.
[0192]
Next, when the basic model data obtained in step S58 is subjected to the reverse of the conversion performed when the vector P is aligned in the y-axis direction, n-prism model data can be created around the vector P (FIG. 27). (A)).
Next, if it returns to step S51 again by determination of step S59, and the same process is implemented with respect to all the interpolation data, n polygon cylinder model data of a scope shape will be completed (FIG.27 (b)).
[0193]
Here, a in the condition of a ≦ y1 <y2 ≦ | K | −a, 2a <| K | described above will be described. If model data for the vector K is created around the point i without taking this condition into consideration, the model data will overlap as shown in FIG. 28A, and the scope shape cannot be displayed smoothly. If the above conditions are satisfied, the n polygonal cylinder model data will not overlap, and a smooth n prismatic model can be created by connecting the model data as shown by the dotted line in FIG.
[0194]
For model data calculation, it seems that the work of aligning the vector P in the direction of a certain axis and performing inverse transformation once again takes time, but it is represented by simple rotation around each axis, so the calculation is extremely Easy.
This method is excellent in that the n-prism model data can be calculated only by rotation around the axis.
[0195]
Of course, calculating a conversion formula for creating a prism model around the vector P is difficult because the direction of the vector P is not constant, but even if a prism model is created using this formula, good.
[0196]
Next, the affine transformation of step S42_13 in FIG. This affine transformation is one of the methods used when performing coordinate transformation of figures in computer graphics, and is generally performed when dealing with coordinate transformation. Simple primary coordinate transformations such as translation, rotation, enlargement and reduction are all included in the affine transformation. FIG. 29 shows the state of affine transformation by the rotation angle (pitch angle) around the x axis, the rotation angle (head angle) around the y axis, and the rotation angle (bank angle) around the z axis.
In this process, the scope model data represented by the above world coordinates is converted into model data viewed from a certain viewpoint position.
[0197]
The viewpoint position can be set in any direction. Therefore, tracking the direction in which the viewpoint position has moved and moving the model data so as to follow the direction requires extremely difficult processing. Therefore, assuming that the viewpoint is fixed, the world coordinate system that should not move is rotated for convenience. This gives the same result as obtaining an image with the viewpoint moved, as seen in FIG.
[0198]
This method is excellent in that the time lag with respect to the movement of the viewpoint can be made extremely small because the world coordinate system can be conveniently rotated regardless of the direction of movement of the viewpoint.
[0199]
Next, the process of 3D-2D projection (3D → 2D projection) in step S42_14 of FIG. 23B is performed.
In this 3D → 2D projection processing in which projection conversion from a three-dimensional image to a two-dimensional image is performed, display can be realized in a perspective manner according to the purpose by performing the following projection method.
[0200]
a) When attaching perspectives:
The three-dimensional shape appears larger as it is closer to the viewpoint and smaller as it is farther away. This can be realized by a process of converting the three-dimensional model data into two-dimensional data.
[0201]
In order to project the three-dimensional coordinates onto the two-dimensional plane, the screen is virtually arranged perpendicular to the viewpoint and on the opposite side of the three-dimensional image (the 3D image obtained up to S42_13) (FIG. 31A )reference). In such a state, the projection surface of the object viewed from the viewpoint, as shown in FIG. 31B, has a larger projection image P1 on the side closer to the viewpoint than the projection image P2 on the far side. It is also easy to change the degree of perspective enhancement by moving the position of the projection screen back and forth.
[0202]
This method is excellent in that it can easily add a three-dimensional depth to a two-dimensional projection image and can easily change the degree of enhancement.
[0203]
When the projection screen is provided at a position facing the viewpoint, an angle may be added. This makes it possible to see how the projected image changes depending on how the screen is tilted, so that the degree of perspective emphasis can be confirmed.
[0204]
b) If the perspective is not attached,
Moreover, instead of adding a perspective, a projection method as shown in FIG. The projected images at this time are all represented by images of the same thickness P3 regardless of the viewpoint position. Since there is no perspective, the sense of depth is slightly poor, but it is excellent in that the image does not become too large when approaching the viewpoint due to the influence of the perspective, and does not become too small when moved away.
[0205]
Next, the rendering process of step S42_15 is performed. In this embodiment, as shown in FIG. 23B, selection can be made from processing of the paste model display PM and the wire frame model display WM.
[0206]
FIG. 32 shows a coordinate system such as the above-described world coordinate system before the description of display in these models. FIG. 32A shows a world coordinate system fixed to the bed 4, FIG. 32B shows a visual field coordinate system set by the user, and its origin coincides with the origin of the world coordinate system. FIG. 32C shows a model coordinate system used for display of the scope shape, which matches the world coordinate system.
[0207]
FIG. 33 shows that a coordinate system suitable for each process is adopted during the process of displaying the scope shape. For example, the source coil coordinates are in the world coordinate system, and the source coil coordinates are rotated to obtain the source coil coordinates viewed from the “viewpoint” (that is, the visual field coordinate system), and then the discrete source coil coordinates. On the other hand, data interpolation is performed to determine the source coil coordinates viewed from the “viewpoint” after data interpolation.
[0208]
Next, in the 3D model construction process, after generating a scope model using a wire frame or the like, a 3D-2D conversion (perspective projection conversion) process is performed in order to display the 2D screen. Dimension data is generated, and a pseudo stereoscopic image is rendered and displayed.
[0209]
Next, the paste model display PM in FIG. This model is called a paste model because it fills each surface of the n polygonal column.
Explain the side processing of n-polygon when drawing a scope shape image on a CRT, the 1_a hidden line or hidden surface processing described below to express the front and back of the scope when it is looped, Next, other processes for enhancing the three-dimensional effect will be described.
[0210]
1_a: hidden line or hidden surface processing
When the scope model is displayed with n polygonal columns, it has n side surfaces. Among them, what is actually visible is only the side surface on the viewpoint direction side, and therefore, only the side surface on the viewpoint direction side is displayed and the invisible side surface or side is hidden, that is, hidden line or hidden. Surface processing (hereinafter also simply referred to as hidden line processing) is performed.
[0211]
Therefore, a parameter indicating how close each side surface is to the viewpoint position (denoted as z buffer. This is derived from the object z value (distance from the viewpoint) stored in the buffer memory), and the z buffer is sorted. Start writing from the side that is small (ie far from the viewpoint). The method of attaching the side is overwritten.
In this method, since only the area to be rewritten is obtained by overwriting the large surface of the z buffer over the small surface of the z buffer, the processing speed is improved.
[0212]
Furthermore, this method can also be used to determine which is on the upper side when the scope model is in a twisted position. In general, when the scope model is in a twisted position, it is necessary to check which one is above and determine whether it can be overwritten or whether it will be under the shape.
[0213]
Although this method is reliable, it takes some processing time. So, if you sort all z-buffers of the entire model and render from a small one, even if it is in a twisted position, the model on the upper side is always drawn later, so it is necessary to judge the condition Disappears. Actually, in the z buffer method, before and after determination is performed in units of pixels within the polygon processing.
This is an excellent method in that the entire shape of the scope model can be created in a shorter time.
[0214]
Specifically, hidden line processing is performed in a flow as shown in FIG. First, stereoscopic image data such as scope shape coordinate data is fetched, and parameters indicating how close each side surface is to the viewpoint viewpoint position in step S61 (z buffer value of the z buffer method for performing processing for each polygon constituting each object). Are sorted in ascending order of z-buffer value. In the next step S62, a two-direction vector defining the surface is obtained from the polygon data, and a normal vector N of the surface is obtained.
[0215]
In the next step S63, the light vector I is set, and in the next step S64, the angles of the normal vector N and the light vector I are set to 0. The value plus 0005 is used as the diffuse reflection value of each value.
[0216]
In the next step S65, the light intensity t is obtained from the normal vector N, the light vector I, and the diffuse reflection light value according to Lambert's law (incident light diffuses equally in all directions).
[0217]
In the next step S66, it is determined whether the light intensity value is 0 or more. If it is 0 or more, the paint is applied to the surface of the polygon far from the viewpoint in the next step S67, and the process proceeds to the next determination step S68. On the other hand, if it is less than 0, it means that the light has not been hit. Therefore, the process proceeds to step S68, where it is determined whether or not all the surface data has been completed. To do.
[0218]
In this device, the time required to draw one screen of the scope shape on the display device is long, so if you repeat drawing and erasing on the same screen, the displayed moving image of the scope will flicker. End up. Therefore, a screen (hereinafter referred to as the back screen) that is not displayed separately from the screen (hereinafter referred to as the front screen) as shown in FIG. 35A is provided, and the screen next to the current front screen is displayed. After drawing on the back screen, replace it with the front screen.
A display method using a back screen for preventing flicker will be described below with reference to the flow shown in FIG.
[0219]
First, as shown in step S71, the drawing target screen is designated as the back screen, and the graphic on the back screen is erased in step S72. In other words, the VRAM as the video display memory used for display is prepared for the front screen and the back screen, and the screen to be drawn is not displayed at that time while the front screen is displayed. And the figure written in the VRAM on the back screen is erased.
[0220]
In step S73, necessary images such as a scope, a reference plane, and a marker are drawn on the back screen that has been erased. When this drawing is completed, as shown in step S74, the front screen that has been displayed up to this point is replaced with the back screen on which the latest image is drawn, and the image that has been drawn is displayed. During this display, the back screen replaced from the front screen is used for the next drawing.
[0221]
The process in which one screen is drawn by this operation is not visible to the user, and the next screen is instantaneously replaced, so that the moving image viewed from the user does not flicker.
[0222]
1_b: stereoscopic effect enhancement processing
Here, it is responsible for processing for further emphasizing the three-dimensional effect and depth on the image image of the n-prism model constructed as the scope shape model in the inserted state.
The scope shape in the inserted state is a three-dimensional shape. However, since a medium (CRT) for displaying an image is two-dimensional, how to display a three-dimensional image on the CRT greatly affects the usability of the system. The following is an example of processing for emphasizing the stereoscopic effect and depth.
[0223]
1_c: Shading process
Since the scope shape is three-dimensional, light and dark can be made depending on how the light strikes. This is a means for reproducing such light and dark by gradation display.
Light and dark vary depending on the curvature of the scope. The number of colors that can be used is limited, for example, 16 out of 4096 colors for each hardware. When the number of colors that can be used is small, the default gradation is also small. Therefore, the palette is changed so that this gradation can be used effectively. The hue was set by the angle between the light source vector and the normal vector with respect to each scope modeling aspect.
[0224]
This process is performed as shown in FIG. The scope image is displayed in n polygonal columns. First, in step S81, the parameter i is set to 1, and in the next step S82, the normal vector N of the i-th side surface of the n prism is obtained.
[0225]
In the next step S83, the inner product of the normal vector N and the light source vector I for the quadrangle constituting the side surface is taken. The light source vector I is assumed to face the origin from the viewpoint position.
[0226]
In the next step S84, the side surface is colored with brightness according to the inner product value. In this case, when the inner product is 0, the darkest color is displayed, and when the inner product = 1, the brightest color is displayed. Other than that, it is equally divided by the amount of available gradation. Of course, the more the gradation can be set, the smoother the stereoscopic effect can be expressed.
[0227]
Next, the parameter i is incremented by 1 (step S85), it is determined whether i is equal to n (step S86), and the same processing is repeated up to the n-th side.
[0228]
This method is excellent in that since the light source direction and the viewpoint direction coincide with each other, the viewpoint direction is always displayed brightest, and the stereoscopic effect of the scope image can be more emphasized by gradation display. Of course, the light source position and the viewpoint position may be separated. At this time, depending on the position of the light source, the display can be dark even in the front direction of the viewpoint, which is an especially excellent means for enhancing the depth of the scope image. The background color may be colored in order to clearly distinguish the darkest gradation color from the background color.
[0229]
1_d: Use of color brightness and saturation
When the number of colors that can be used is particularly abundant, for example, 256 out of 16384 colors, shading processing can be performed with colors.
The processing content is shown in FIG. This is basically the same as the shading process, except that “brightness” in step S84 in FIG. 35 is changed to “color” in step S84 ′ in this flow. Therefore, the description of the flow is omitted.
[0230]
Since abundant colors can be used, for example, the side surface of the scope model facing the light source direction can be displayed in a warm color, and the side surface in the opposite direction can be displayed in a cool color. Of course, the color setting is not limited to this.
[0231]
Since the light and darkness of the scope can be displayed in rich colors, the stereoscopic effect of the scope can be emphasized as compared to the case where the light and dark are simply displayed. Further, even when the contrast of the CRT has to be suppressed due to the influence of the installation environment of the CRT or the like, the scope image is not difficult to see.
[0232]
Furthermore, by combining with the use of luminance, more diverse displays are possible. For example, the light direction is displayed with saturation and the distance from the viewpoint is displayed with luminance. By doing so, it is possible to display the depth from the viewpoint direction with a difference in luminance due to the difference in the stereoscopic effect of the scope, thereby realizing a more three-dimensional image. Of course, the stereoscopic effect may be expressed by luminance and the depth may be expressed by saturation, and the depth may be expressed not only from the viewpoint direction but also from any direction. For example, if a difference in hue is added in the height direction from the betting surface, it can be confirmed whether the insertion state of the scope is smooth with the hue.
[0233]
The processing using this saturation and luminance is shown in the flow of FIG. This flow is the same as the flow of FIG. 37 up to step S83. Instead of the next step S84, a process for calculating the distance from the start point to the side surface is performed at step S84a, and the brightness corresponding to the distance is further obtained at the next step S84b. Then, a process for coloring the side surface with saturation according to the value of the inner product is performed.
[0234]
This method is an excellent means in that the stereoscopic effect and depth of the scope image can be realized by a three-dimensional image, and the relative position from a certain position can be predicted.
[0235]
Next, processing of the wire frame model display WM will be described.
The result is the same as when the part other than the side of the n-prism model is filled with the background color, but this can be used to reduce the processing time for painting the n-prism model. ing.
[0236]
In this model, if the z buffer is written in ascending order, the wire behind the scope model can be seen. Therefore, a hidden line processing model can be constructed by appropriately performing hidden line processing for removing it or by drawing a wire frame up to the (n / 2) th model data in order of increasing z buffer.
[0237]
The display flow is shown in FIG. First, n-gonal modeling is performed in step S91, and vertices obtained by modeling in the next step S92 are connected by straight lines. In this state, since the wire behind the scope model can be seen, the scope image by the wire frame model display WM can be obtained by performing hidden line processing in the next step S93.
[0238]
Next, in FIG. 23A, reference plane display step S42_2 and two-point marker display S42_3 are performed. These processes of steps S42_2 and S42_3 are additional processes.
The reference plane display process has an auxiliary function of making it easy to visually understand the three-dimensional display of the scope shape by displaying a reference plane such as a bet plane.
[0239]
In this embodiment, the image displayed on the CRT is only a scope-shaped image, and the positional relationship between the image and an internal organ is not known. Then, if the viewpoint position is rotated, the information regarding the direction from which the scope shape is viewed, the direction of the head direction, and the like is only the numerical information of the angle displayed in text. This is not suitable for sensory judgment. Therefore, an auxiliary means for making such a determination sensuously is provided.
[0240]
Here, it is realized as shown in FIG.
First, affine transformation in step S42_21 is performed. In this process, the reference display symbol in the world coordinate system is converted into the viewpoint coordinate system.
Next, 3D → -2D projection is performed in step S42_22.
A conversion process for projecting the reference display symbol moved to the viewpoint coordinate system in two dimensions so as to be CRT-displayed is performed.
[0241]
Next, a symbol such as a bed serving as a reference plane in step S42_23 is displayed. A symbol that assists the three-dimensional image of the scope image is displayed. Specific examples of symbols are mentioned below.
[0242]
By doing in this way, it is excellent in the point that the reference plane position, the extent of the scope shape from the reference plane, the patient's head direction can be visually judged, and the judgment criteria such as the scope shape position are provided.
Next, 2_a bed surface display and the like will be described as a specific example of the reference display symbol.
[0243]
2_a: Bet surface display
A reference plane parallel to the xy plane of the world coordinate system and perpendicular to the z-axis is displayed. The z coordinate may be any position on the bet plane (z = 0) as long as it can serve as a reference. This plane does not move with the viewpoint coordinates. That is, when the viewpoint position rotates in the x-axis direction y direction, the bet surface is displayed as a line. Markers may be attached to a rectangular shape like a pillow, right shoulder, left shoulder or both directions so that the head direction can be understood.
Since this is represented by a simple single plate, it is excellent in that it does not interfere with the scope image and can recognize the rotation of the viewpoint.
[0244]
2_b: Reference marker display
It is a display represented by Fig.40 (a). Here, there are two markers m3 and m4 in both shoulder directions and a marker m5 in the foot direction. Since the shoulder markers m3 and m4 are oriented perpendicular to the z-coordinate and the foot marker m5 is oriented perpendicular to the x-coordinate, when viewed from the z-direction, they are displayed as line segments as shown in FIG. 40 (a). Is done.
[0245]
Therefore, when the viewpoint position rotates in the x-axis direction, the markers m3 and m4 on both shoulders change so as to be displayed as line segments, and the foot-direction marker m5 faces the front and becomes a circular marker, so the direction is known. . The reason why the number of markers is different between the top and bottom is to describe the head direction so that it can be easily identified. The number and shape of the markers may be arbitrary, and which marker is associated with which axis is also arbitrary. The marker may be three-dimensional, and gradation, luminance saturation, etc. may be added.
This method is excellent in that the scope shape is easy to see because the scope shape and the marker do not overlap.
[0246]
2_c: cuboid display.
This is a symbol displayed as a rectangular parallelepiped by adding a z-direction frame to the 2_a bet display. Although the size of the rectangular parallelepiped is arbitrary, the scope shape is displayed in the rectangular parallelepiped when it is within the detection range of the system or more, and the feeling that the scope is in an inserted state increases. Further, since the height of the box is also in the z direction, it is easy to estimate the z coordinate of the model.
[0247]
This method is excellent in that it makes it easy to connect the scope shape to the scope that is actually in the inserted state by causing the presence of the scope in the inserted state.
Conversely, a block may be displayed at one corner of the scope image and rotated in conjunction with the movement of the viewpoint.
[0248]
2_d: Mixed display
The reference symbols listed so far may be combined. FIG. 40B shows a case where 2_a bed surface display and 2_b reference marker display are combined. In this way, the reference with respect to the z-axis is the surface display, and the information on the head direction when rotated or rotated can be recognized by the mark. In addition, the display may be combined in any way.
[0249]
Such a means is excellent in that the effect of each symbol can be shared.
Next, the marker display process in step S42_3 in FIG.
[0250]
In this marker display process, a single source coil position is calculated and displayed separately from the source coil 16i inserted in the scope. As means for confirming what position the position inserted in the scope is, means for displaying one or more markers that can move separately from the source coil 16i in the scope is provided.
[0251]
On the actual apparatus, the position calculation means is exactly the same as that used for the source coil 16i inserted in the scope, and the display means is the same as before, and the affine transformation in step S42_31 as shown in FIG. 23 (d). → 3D → 2D projection in step S42_32 → Marker display in step S42_33.
Therefore, here, as a specific example of marker shape output
Display with n-gon (including circle)
Will be explained. When the marker display is displayed in such a form, in the case of an apparatus configuration that cannot use many colors and must use the same color as the scope shape, it can be distinguished even if it overlaps the scope shape.
[0252]
In this marker display, it is possible to recognize from which direction the image is viewed by changing the shape according to the rotation of the viewpoint. Moreover, you may match so that it may always become a front with respect to a viewpoint. In this case, the viewpoint direction cannot be recognized from the marker, but it is excellent in that a marker having a constant size is always output.
[0253]
This is also the same expression as when the marker is spherical. If the marker is spherical, it is possible to display the direction and depth of the viewpoint by giving information such as gradation and saturation luminance.
[0254]
By using such means and moving the marker outside the body, it becomes possible to confirm the position of the scope shape in the inserted state in relation to the marker, etc., and know the scope insertion position in association with the actual patient position. Capturing means can be provided.
So far, the display with the n-prism model has been described, but the display with the n-square connection model will be described next.
[0255]
Although the scope shape of the n-prism model can be displayed realistically, it takes some processing time. In view of this, an n-square connected model that has a simplified model configuration and enables high-speed display is constructed, and can be selected and used (displayed).
The processing flow is as shown in FIG. The basic processing contents in the processing listed here are the same as those used in the n-prism model. Therefore, the difference will be described.
[0256]
FIG. 41B shows the contents of the interpolation & three-dimensional model construction processing in step S42_1 ′ of FIG. In this model, affine transformation is first performed in step S42_11 ′.
[0257]
The conversion from the world coordinate system to the viewpoint coordinate system is the same as the processing in the n-prism model (see step S42_13 in FIG. 23B). However, in the n-prism model, the conversion is performed on the interpolation data, but here the conversion is performed on the source coil position data first.
By doing so, the amount of affine transformation is small, and the processing speed of the program is improved.
[0258]
In the next step S42_12 ', three-dimensional interpolation is performed.
This process is the same as described above. The difference is that in the n-prism model, the data is in the world coordinate system, but here is the data in the viewpoint coordinate system.
[0259]
In the next step S42_13 ′, 3D → 2D projection is performed. This process is the same as described above. However, this time it is a projection of a point with no size.
In the next step S42_14 ', an n-square connected model is constructed.
[0260]
The processing content of this n-square connection model is shown in FIG. FIG. 42 also includes the rendering step S42_15 ′ in FIG.
[0261]
First, in step S101, the distance from the target point to the viewpoint and the light source is calculated. In the next step S102, it is determined whether or not to perform the shading process. When the shading process is performed, the brightness is determined according to the distance to the light source in the next step S103, and then the process proceeds to the determination of whether or not the perspective process is performed in the next step S104. Even when the process is not performed, the process proceeds to this determination process.
[0262]
When performing the perspective processing, the size is determined according to the distance to the viewpoint in the next step S105, and then the process proceeds to the n-gon drawing process in the next step S106. Each point is made to coincide with the center of the n-gon, and drawing is performed by simply connecting the n-gons to form an image of the n-gons connected. The drawing process is also performed when the perspective process is not performed.
[0263]
Further, in the next step S107, it is determined whether or not the wire frame display WM is to be performed (that is, whether the paste model display PM is to be performed or the wire frame display WM is to be performed). Advances to display processing with the paste model in the next step S108, and the interior is filled with the brightness determined in step S103. On the other hand, when performing wire frame display, hidden line processing is performed in the next step S109 to display the wire frame model.
[0264]
Up to this point, a scope image is created in a form in which n-gons are connected. Further, the obtained point may be made to coincide with the center of the n-gon model shape, and the image may be output in a form in which 'filling' is made around the interpolation data point.
In the above processing, when NO is selected in the determination processing, an n-square connected model having a minimum function is output.
[0265]
This method is a model that eliminates the processing time of the n-prism model as much as possible, and is excellent in that it can be displayed at a very high speed (the processing time of the n-prism model is 1/2 or less). Yes.
[0266]
Note that YES may be selected in the determination process in the flow of FIG. 42, and an additional process similar to that in the case of the n polygon cylinder model may be added to further enhance the stereoscopic effect. Since the basic processing is the same, a simple description is given so that only the difference can be understood.
As an additional function to the n-square connected model, there is the following 4_a perspective processing and the like.
[0267]
4_a: Perspective
This is not possible because the object to be converted from 3D to 2D has no size. If the object to be converted is not a point but a shape having a size, the same effect as described above can be obtained. This shape may be any shape, but since this model has been devised in order to realize high-speed display, it is desirable to have a symmetric shape centered on the point where conversion is originally performed.
[0268]
4_b: hidden line processing
For the version that fills the inside of the n-gon, the modeling itself also serves as hidden line processing, which is excellent in that no special processing is required. When the hidden line processing is performed in the wire frame version, it can be achieved by adding a process for eliminating the overlapping portion or by painting the inside of the n-gon with a background color and then overwriting the wire frame.
[0269]
4_c: Shading process
In this model, since there is no scope surface, the depth of the scope model may be represented by shading processing. Specifically, the side closest to the light source is displayed brightly and the side farthest is displayed darkly, and gradation is displayed according to the number of colors that can be used between them.
[0270]
At this time, the depth of the model can be expressed.
[0271]
As an application, it is possible to give a slight gradation difference between the center and the end of the model. In this way, the gradation for indicating the entire depth is reduced, but the scope model is displayed as if it is swollen by the gradation difference, so that the stereoscopic effect of the scope can be emphasized.
[0272]
4_d: Use color saturation and brightness
This is the same as the n-prism model, and the same effect is expected.
4_e: Wire frame display
Here, a display method including a simple and hidden line processing function is provided for wire frame display.
[0273]
First, not all wireframes are represented by n-gons, but only the root data is displayed in n-gons, and a semi-n-gon is added from there to the tip (see FIG. 43 (a)). ).
This method is an excellent means in that the same wire frame shape as that obtained when the hidden line processing is performed can be created without performing the hidden line processing.
[0274]
Furthermore, instead of overlapping the same half n-gon, a shape including angular distortion set according to the curvature of the scope may be overlapped (see FIG. 43B).
This method is excellent in that the curvature information is emphasized in addition to the effects of the above-described means, and the actual scope image is closer.
[0275]
As described above, according to the first embodiment, the source coil 16i as a magnetic field generating element that generates a magnetic field is inserted into the flexible insertion portion 7 of the endoscope 6, and the shape of each source coil 16i. In order not to change, an object fixed to the inner wall of the probe 15 through an insulating adhesive 20 or the like is arranged, and the source coil 16i is generated at a known position around the subject into which the insertion portion 7 is inserted. A triaxial sense coil 22j as a magnetic field detecting element for detecting a magnetic field is arranged, and a triaxial arranged at the known position from a detection signal detected by the triaxial sense coil 22j for the magnetic field generated by each source coil 16i. Since the position calculation unit 31 calculates the position of each source coil 16i in the insertion unit 7 with respect to the sense coil 22j, the insertion unit 7 is inserted into the subject. In this case, even if the insertion portion 7 is bent, each source coil 16i in the insertion portion 7 is fixed by the fixing means so that the shape does not change. The position of the insertion portion 7 of the endoscope 6 can be detected with high accuracy.
In addition, by providing a shape estimation unit for estimating the shape of the insertion unit 6 with respect to the output of the position calculation unit 31, the shape of the insertion unit 6 can be estimated with high accuracy, and the estimated shape can be handled. By displaying the image to be displayed, it is possible to easily determine the shape of the insertion portion visually.
[0276]
Further, the intensity of the magnetic field generated by the uniaxial or triaxial source coil 16i constituting the magnetic field generating means by the plurality of triaxial sense coils 22j constituting the magnetic field detecting means respectively arranged at the known positions, Detect or estimate the area where each magnetic field generating means is present in consideration of the phase information in the case of AC driving and the shape of the isomagnetic field surface by the magnetic field generating means, and calculate or estimate its three-dimensional position. Therefore, if the magnetic field detection means is installed at a known position such as a corner of the bed 4, the position of the subject such as a patient on the bed 4 can be accurately detected with respect to the required position detection range. Calculation or estimation is possible.
[0277]
That is, by arranging several (three or four) three-axis sense coils 22j on the bed 4 or the like, the three-dimensional region where the source coil 16i exists is determined by the magnetic field strength detected by each three-axis sense coil 22j. And the existence region of the source coil 16i is estimated from the overlapping portion of the three-dimensional regions estimated by the respective three-axis sense coils 22j. In this case, if the phase information is used, a region outside the detection range can be excluded.
[0278]
In the first embodiment, since the region where the source coil 16i exists is estimated from the signal corresponding to the detected magnetic field intensity using the reference information serving as a reference, the distance is calculated by calculation. Also, the area calculation can be performed in a very short time.
[0279]
Further, when the number of the three-axis sense coils 22j is increased, the position of the source coil 16i can be detected with higher accuracy, and the endoscope shape can be estimated with higher accuracy.
[0280]
Further, the obtained endoscope shape can be displayed in a shape when viewed from the viewpoint direction desired by the user, and the insertion operation is facilitated by setting the viewpoint to perform the insertion operation. It has many advantages mentioned in the form.
[0281]
Next, a first modification of the first embodiment will be described with reference to FIG. In the first embodiment, for example, as shown in FIG. 10, the timing for taking in the signal detected by the sense coil 22j is delayed in consideration of the transient characteristics of the source coil 16i.
[0282]
On the other hand, in this modification, as shown in FIG. 44, the signal of the oscillator 25a is compared between the reference voltage from the reference voltage generator 58 between the oscillator 25a and the amplifier 24a, so that the signal of the oscillator 25a is supplied to each source coil 16i. A phase detector 59 for detecting that the phase angle is suitable for driving is disposed. The reference voltage generator 58 outputs a voltage value of a sine wave corresponding to the power factor angle of each source coil 16i to the phase detector 59 as a reference voltage, and the phase detector 59 matches the sine wave of the oscillator 25a with the reference voltage. Sometimes the phase detection signal is output and the sine wave of the oscillator 25a is passed to the amplifier 24a side.
[0283]
Each source coil 16i is amplified in power from an oscillator 25a that generates a sine wave through a phase detector 59, and then supplied with a drive current through a contact selected by the switching circuit 28a. The drive current is supplied in synchronization with the rising edge of the phase detection signal transmitted from the phase detector 59 to the timing control circuit 30d. The timing at which the detection signal obtained by amplifying the voltage excited at both ends of the sense coil 22j and synchronously detecting it is read into the CPU 30c via the A / D converter 30a is also synchronized with the rise of the phase detection signal.
[0284]
Here, the phase detection signal is generated as follows.
A signal e from an oscillator 25a that generates a sine wave that is a generation source of a drive signal.
e = Em sin (ωt + θ) [V]
It can be expressed as. Here, Em: maximum amplitude voltage [V], θ: initial phase [rad], ω = 2πf, f: drive frequency [Hz], t: time [s].
[0285]
The power factor angle φi obtained from the pure resistance component Ri [Ω] and Li [H] for each source coil 16i
φi = arc tan (ωLi / Ri)
The reference voltage
Vref = Em sin φi [V]
And the source signal e [V] are compared by a comparator to obtain a phase detection signal.
[0286]
The supplied drive current i [A] is
i = Asin (ωt + θ−φ) −Asin (θ−φ) · exp (−at)
Here, A = Em / (R · R + ωL · ωL), a = R / L
It becomes. In the above equation representing the drive current i, when θ = φ, it indicates that the second term on the right side is 0, so no transient DC component is generated. That is, a steady state coil drive can be performed from the moment of switching.
[0287]
Therefore, it becomes possible to read the detection signal of the sense coil 22j to the CPU simultaneously with the coil switching. Actually, it is read in consideration of the delay time until the voltage excited in the sense coil 22j becomes the output of the synchronous detector 26d.
[0288]
By driving the source coil 16i in this way, even if a number of source coils are switched, the time from the start of driving to the start of capturing the detection signal is greatly reduced. Can be
[0289]
FIG. 45 is an explanatory timing chart of the operation of driving the source coil and reading the detection signal by the sense coil according to this modification. As can be seen from the comparison with FIG. 9, reading can be performed in a short time Δt ′ after driving the source coil.
[0290]
In this modification, means for shielding the signal relay line for precise measurement is provided. As shown in FIG. 46, the signal line for supplying the drive current to the source coil 16i and the signal line for transmitting the detection signal of the sense coil are signal lines by twisting two connected for each coil. Radiation and disturbance superimposition is reduced.
[0291]
However, since the above-mentioned influence exists to some extent also in the twisted signal line, when the drive signal cable of the source coil approaches the sense coil, the detection signal of the sense coil is affected by the weak electromagnetic wave radiated from the cable. It is shaken about 2 to 3 times, and when a stray capacitance such as a human body approaches the detection signal cable of the sense coil, disturbances are superimposed on the signal line through the stray capacitance and accurate measurement is possible. The phenomenon that cannot be done occurs.
To solve these problems and enable stable and accurate measurement. A specific method will be described next.
[0292]
First, the drive signal cable 60a for the source coil 16i will be described. This cable 60a is connected to a probe 15 (indicated by two source coils in FIG. 46 for simplification) in which a plurality of source coils 16i are incorporated, and a sine wave for sequentially driving each source coil 16i. A current flows.
[0293]
At this time, a component having the same frequency as the drive current in the electromagnetic wave radiated from each signal line connected to each source coil 16i is superimposed on the signal line of the other source coil 16i, and the current is supplied to the coil that is not to be driven. Since an unnecessary magnetic field is generated by flowing, each cable twisted to absorb such an unnecessary electromagnetic wave is covered with a shield 60b as much as possible at the base of the coil, and driving means (for example, the switching circuit 28 and the amplification circuit 24). And the other end of the connection means are connected to the reference potential of the driving means.
[0294]
Next, the detection signal cable 40a of the sense coil 22j will be described. The cable 40a has one end connected to each of the three coils constituting the triaxial sense coil 22j (only one pair of cables is shown in FIG. 46 for the sake of simplicity), and the other end of each sense coil 22j. Is connected to the input terminal of the synchronous detection means (the amplifier 27 and the synchronous detection circuit 26d in FIG. 8).
[0295]
The voltage transmitted through the cable 40a is a weak signal of about several tens of μV to 1 mV, and the AC magnetic field from the source coil 16i is buried in the fluctuation component superimposed on the cable 40a via a stray capacitance such as a human body. In some cases. Therefore, in order to absorb such unnecessary superposition noise, each cable twisted is covered with the shield 40b as much as possible to the base of each coil, and the connection terminal on the synchronous detection means side is connected to the reference potential of the synchronous detection means. To do.
[0296]
Further, the reference potential points of the driving means and the synchronous detection means are connected to be in the same potential state. With such a configuration, the influence of the leakage signal due to interference and radiation between the drive signal lines of the source coil 16i on the sense coil 22j is almost eliminated, and the influence of the sense coil 22j on the detection signal by the human body or the like is extremely small. Slightly.
[0297]
Therefore, since the noise included in the signal detected by the sense coil 22j can be almost eliminated, the signal component excited in the sense coil 22j by the alternating magnetic field generated by the source coil 16i can be measured stably and accurately.
[0298]
Next, a second modification of the first embodiment will be described. This second modification is intended to improve the accuracy of position derivation.
In order to obtain a narrow closed space (closed region) when the region where the source coil exists is accurately defined from the magnetic field intensity obtained by the sense coil located at a certain distance from the source coil and the three-dimensional position is calculated. At least three (or three sets) of sense coils 22j are required.
[0299]
However, in reality, when there are only three sense coils 22j, when the distance between the source coil 16i and the sense coil 22j is too close or too far, even one of the 3 sets cannot reliably detect a detection signal. In this case, the closed space where the source coil 16i exists cannot be limited to a narrow range, so that the position of the source coil 16i cannot be derived.
[0300]
Therefore, in this modification, the position of the source coil can be derived in a stable state regardless of the level of the detection signal. Therefore, four sets of three-axis sense coils 22j are used as shown in FIG.
[0301]
Suppose that the detectable range of the sense coil 22j is a radius of 30 to 100 cm, the required detection area width is (x, y, z) = (40, 60, 40) [cm], and the size is (200 × 70 cm) endoscopic examination bed 4 with four triaxial sense coils 22j, each coordinate being Qa (0,0,0), Qb (60,0,0), Qc (60,100,0) , Qd (0, 100, 0) at positions [unit: cm].
Then, the required detection area width is included in the quadrangular prism whose bottom surface is a rectangle having the four points as vertices. In this setting, when the source coil 16i moves within the detection region, the position can be reliably derived if the distance from each of the four sets of sense coils 22j is within 30 to 100 cm.
When the distance from one set of sense coils 22j is less than 30 cm among the four sets, position derivation is performed using the detection signals of the other three sets of sense coils 22j.
[0302]
In the case of the above setting, when the distance to one set of sense coils 22j is less than 30 cm, the other three sets always have a distance of 30 cm or more. Thus, position detection (or position estimation) can be performed with high accuracy. Further, when the number of combinations in which the distance between the source coil 16i and the sense coil 22j is greater than 100 cm is one set, the distance is less than 30 cm.
[0303]
However, there may be two or more combinations in which the distance between the source coil 16i and the sense coil 22j is greater than 100 cm. At this time, increase the drive current of the source coil 16i or increase the output sensitivity of the sense coil 22j. The measurement is performed again so that the detectable distance becomes longer, and this process is repeated until three or more sets are within the detectable range. As a result, the position of the source coil 22j can be derived.
[0304]
Even when the size of the bed 4 or the detection range of the sense coil 22j is different from the above value or range and 2 of the 4 sets cannot be used for position detection, the same method is used. I can deal with it.
For example, when it is desired to secure a wider detection area, the interval between the sense coils 22j can be widened and combined with the increase in the drive current of the source coil 16i and the increase in sensitivity of the output of the sense coil 22j described above. In the radial direction (y direction) of 4, the bed width or more cannot be expanded as it is.
[0305]
Therefore, the position of the source coil 16i is derived by shifting the detectable range to a position closer to the sense coil 22j by reducing the drive current of the source coil 16i or reducing the sensitivity of the output of the sense coil 22j so that three or more sets fall within the detectable range. Can be performed.
[0306]
By the above method, the position of the source coil can be derived in a stable state regardless of the level of the detection signal. Further, in the derivation of the position of the source coil in all the cases described above, the accuracy of position derivation is improved because the size of the closed space becomes smaller as the number of sense coil groups increases from three. For this reason, the detection accuracy can be obtained by using all the detection signals of the sense coil in which the source coil is present in the detectable region for position derivation.
[0307]
FIG. 48 is an explanatory diagram of the above-described method. A curve C1 in FIG. 48 shows, for example, a graph on the maximum magnetic field strength side of the measurement data of the magnetic field strength with respect to the relative distance for calculating the relative distance described in FIG. When a certain magnetic field strength value is actually detected from the detection signal from the sense coil 22j, the distance between the source coil 16i and the sense coil 22j from the magnetic field strength value is the curve C1 intersecting the strength value and the minimum magnetic field strength side (not shown). It exists in the range between the graphs.
The range in which the signal detected by the sense coil 22j can be accurately detected is limited by the dynamic range of an amplifier or the like.
[0308]
For this reason, in the normal setting state (such as sensitivity), the distance in which the normal state detection range D1 indicated in the horizontal axis direction can be detected corresponding to the output value of the measurable band MR indicated in the vertical axis direction with respect to the curve C1. The range (corresponding to a radius of 30 to 100 cm by the sense coil 22j). In this case, if the gain of the amplifier is lowered (that is, if the sensitivity is lowered), the detectable range can be shifted to the smaller range side, and even if the drive current value for driving the source coil 16i is lowered, it is shifted to the smaller radius side. can do.
That is, when the drive current is reduced or the gain of the amplifier is reduced, the range that can be detected by the output value from the sense coil 22j is a curve C2 in which the value in the vertical axis direction of the curve C1 is relatively lowered. The detection range is D2, and detection on a small distance side is possible.
[0309]
Conversely, when the drive current is increased or the sensitivity is increased, the range that can be detected by the output value from the sense coil 22j is a curve C3 in which the value in the vertical axis direction of the curve C1 is relatively increased, and in this case, the detection range. Becomes D3, and detection on the large distance side becomes possible.
[0310]
Next, a second embodiment of the present invention will be described with reference to FIG. The endoscope shape detection device 41 in FIG. 49 has a configuration in which the distributor 28 in FIG. 2 is omitted by changing the frequency of the drive signal.
[0311]
Accordingly, the source coil drive unit 24 outputs a drive signal having a different frequency fi for each source coil 16i. By applying a drive signal having a different frequency fi to each source coil 16i, a plurality of source coils 16i can be simultaneously driven to realize high-speed processing.
[0312]
In the endoscope shape detection device 3 of the first embodiment, the plurality of source coils 16i are sequentially driven from those arranged on the distal end side by a sine wave current of a specific frequency, and the sense coil 22j at that time A detection signal for detecting the position coordinates of the source coil 16i one by one is obtained according to the detection signal level.
However, in this method, as the number of source coils 16i increases, the time required for one shape detection also increases, so that it becomes difficult to capture shape data in real time.
[0313]
Therefore, in this embodiment, shape calculation data can be captured in real time without being substantially affected by the number of source coils 16i. Next, a specific configuration is shown in FIG.
[0314]
For example, a case where the shape of a probe incorporating 12 source coils 16i is detected will be described. As shown in FIG. 50, the oscillating unit 25 has oscillators 25a, 25b,... 25l that oscillate at different frequencies, and is amplified by the amplifiers 24a, 24b,. Applied simultaneously to the coils 16a, 16b,..., 16l to generate magnetic fields having different frequencies.
[0315]
On the other hand, each sense coil 22j generates a detection signal proportional to these magnetic field strengths, amplifies the signal by an amplifier 27, and then synchronizes detection with reference to the signal of the oscillator 25i by a synchronous detection circuit 26di constituting the detection unit 26. And only the signal component proportional to the magnetic field intensity at the position of the sense coil 22j by the source coil 16i is extracted. Note that the band-pass filter 26ai of each synchronous detection circuit 26di is set to a band through which only the signal of the frequency of the oscillator 25i passes.
[0316]
Each signal synchronously detected by each synchronous detection circuit 26di is sampled at a high speed by, for example, a 12-channel A / D converter 30aj, temporarily stored in the RAM 30b connected to the A / D converter 30aj, and the data in the RAM 30b is further stored. The data is read into the CPU 30c, and position calculation and shape estimation processing are performed. Other configurations are the same as those in FIG. 8, and the description thereof is omitted.
[0317]
FIG. 51 shows a flow showing the processing contents of the driving of the source coil 16i and the data acquisition in the sense coil in this embodiment. In step S111, each oscillator 25i is driven at a different frequency, and a drive current is passed through each source coil 16i. Next, the detection signal of each sense coil 22j is sampled. In this case, since the drive current can be made to flow through each source coil 16i (the state in which the drive current is kept flowing), the detection signal of each sense coil 22j can be sampled without being delayed by the transient response time. Of course, the transient response is taken into consideration immediately after the drive current is first supplied.
[0318]
As can be seen from comparison with FIG. 9, data for position detection or shape detection can be taken in a short time.
Further, in this embodiment, data for position detection or shape detection can be taken in a short time, so that it is possible to perform highly accurate shape estimation even when the insertion portion moves quickly. become.
[0319]
For example, the twelve source coils 16i have different frequencies (eg, 10.0, 10.5, 11.0, 11.5, 12.0, 12.5, 13.0, 13.5). , 14.0, 14.5, 15.0, 15.5 [KHz]) at the same time, an alternating magnetic field is generated.
[0320]
According to this configuration, the positions of a plurality of (for example, 12) source coils can be derived in the time required for one source coil of the configuration of the first embodiment. In this embodiment, when the endoscope shape is displayed on the monitor screen, the endoscope shape is output by being superimposed on the patient model pattern as shown in FIG. In FIG. 52, the left area is a graphics output area, and the right area is a user interface area in which the user sets a viewpoint, a rotation angle, an elevation angle formed by the viewpoint position and the z axis by key input or the like from the operation panel 35. Other effects are almost the same as those of the first embodiment.
[0321]
FIG. 53 shows an endoscope system 70 including a third embodiment of the present invention. This system 70 uses a sensor 75j formed by magnetoresistive elements (abbreviated as MR elements) 76a, 76b, 76c as shown in FIG. 55A in place of the triaxial sense coil 22j in the system 1 shown in FIG. The sensor 75j is attached at three known positions (or four positions) at the corners of the bed 4.
[0322]
Further, FIG. 54 shows the configuration of the endoscope shape detection device 3 ′ in this system 70. In FIG. 2, this device 3 'uses a sensor 75j by MR elements 76a, 76b, 76c instead of the triaxial sense coil 22j. The sense coil output amplifier 27 is a sensor output amplifier 27 ′, and a magnetic field intensity detection unit 26 ′ is used instead of the mutual inductance detection unit 26.
The source coil position detector 31 performs position detection or position estimation with reference to data in the table 31b storing the reference data.
[0323]
As shown in FIG. 55A, each sensor 75j has three MR elements 76a, 76b, and 76c whose resistance values change in accordance with the magnetic field strength, respectively attached to three surfaces of the cube that are perpendicular to each other. Two terminals of a sensor 75 formed by connecting MR elements 76a, 76b and 76c in series are used as output terminals for detection signals of magnetic field strength.
In this case, the MR elements 76a, 76b, and 76c are provided such that each resistance value varies from the reference value due to magnetic field strength components in the X, Y, and Z directions, respectively.
[0324]
Since the resistance change ΔRq of each MR element 76q changes in proportion to the square of the magnetic field Hq as shown in FIG. 55 (c), the resistance change ΔR of the two terminals of the sensor 75j is shown in FIG. 55 (b). As shown, the sum of the squares of the magnetic field components Hx, Hy, and Hz in the x, y, and z directions is obtained.
[0325]
This embodiment has an advantage that a signal proportional to the square sum of the magnetic field strength can be directly detected from the output of the sensor 75j. The magnetic field strength of this signal is detected by calculating the square root in the magnetic field strength detector 26 '.
Further, the source coil position detector 31 calculates the position of each source coil 16i with reference to the data in the table 31b.
[0326]
The data of this table 31b is obtained in the same manner as in the first embodiment. That is, in FIG. 17A, the sensor 75j is arranged instead of the triaxial sense coil 22, and the reference data of the maximum magnetic field strength curve Cu and the minimum magnetic field strength curve Cd as shown in FIG. It is a table.
[0327]
56, when sensors A, B, and C (corresponding to 75a, 75b, and 75c) are arranged at three known positions, and one of a plurality of sources (specifically, for example, the source coil 16i) is driven. The sensors A, B, and C generate outputs corresponding to the positional relationship with the source.
[0328]
The outputs of sensors A, B, and C at that time are denoted by νa, νb, and νc, respectively.
For each sensor, the sensor output and the data of the spatial coordinate group that should be the output are secured in a memory or the like in advance.
[0329]
FIG. 57 shows a data table for the sensor A, for example. Now, when one source exists at a certain position and a magnetic field is generated, the sensor output νa is compared from νa1 to νaL in the table of FIG. 57, and an integer satisfying νal ≦ νa <νak (k = 1 + 1) Find l.
Similarly, integers m and n satisfying the conditions for other sensor outputs νb and νc are obtained.
[0330]
At this time, there are spatial coordinate groups Pai, Pbj, Pck corresponding to the output data νal, νbm, νcn that satisfy the conditions, and their relationship is as shown in FIG. Therefore, the three-dimensional area serving as the common area is the spatial coordinate area of the source. Further, the position of the center of gravity of the area may be obtained and set as the three-dimensional position of the source.
[0331]
A process of connecting the spatial coordinate regions (or spatial coordinate positions obtained from the center of gravity) of the plurality of sources thus obtained is performed, and the insertion shape of the endoscope can be obtained by shape estimation.
The three-dimensional positions or regions obtained in FIG. 58 are connected by lines that pass through the center of gravity of each region, etc., and the shape of the insertion portion is estimated to display a model of the insertion portion shape on the monitor screen. In the case of displaying in a simplified manner, as shown in FIG. 59, only the three-dimensional region or the three-dimensional position of the source coil estimated as shown in FIG. 58 is displayed on the monitor screen by 3D-2D projection or the like and inserted. The model display of the part shape may be omitted (the dotted line in FIG. 59 indicates a line when interpolation is performed, and this interpolation may be omitted).
[0332]
In the third embodiment, since position detection is performed using a table in substantially the same manner as in the first embodiment, processing time for position detection or position estimation can be shortened. In addition, since the sum of signals proportional to the square of the magnetic field strength in the three directions can be directly detected by the MR element, there is an advantage that the processing for calculating the magnetic field strength can be performed at high speed. Further, by displaying without inserting the model for drawing the shape of the insertion portion, an outline of the insertion shape of the insertion portion can be displayed very quickly.
Further, after first displaying as shown in FIG. 59, it may be drawn with a more visually understandable model (such as the above-described n-prism model).
[0333]
FIG. 60A shows an endoscope shape detection device 42 according to the fourth embodiment. In FIG. 2, the third embodiment has a configuration in which a plurality of sensors, that is, a plurality of sense coils 43i are built in on the probe 15 side, and a magnetic field generation source, that is, a plurality of three-axis source coils 44j are arranged on the bed side. As in the first embodiment, they are installed in the endoscope and the bed 4 at known positions.
[0334]
Accordingly, the drive signal that has passed through the distributor 28 is sequentially applied to each of the three-axis source coils 44j, and the signal detected by the sense coil 43i on the probe 15 side is amplified by the amplifier 27 and passed through the detector 26 to the shape calculator 30. The signal is input to the constituent (sense coil) position detector 31 '.
[0335]
The position detector 31 ′ relatively detects the position of the sense coil 43i with reference to the three-axis source coil 44j.
Other configurations are the same as those of the first embodiment. The effect of this modification is almost the same as that of the first embodiment.
[0336]
FIG. 60B shows an endoscope shape detection device 42 ′ according to a modification of the fourth embodiment. In this modification, in FIG. 53A, the three-axis sense coil 43i is changed to the one-axis sense coil 43i ', and the one-axis source coil 44j is changed to the three-axis source coil 44j'. It is the same composition as. The effect is almost the same.
[0337]
FIG. 61 (a) shows an endoscope shape detecting device 45 according to a fifth embodiment of the present invention. The fifth embodiment has a configuration in which the distributor 28 in FIG. 60A is omitted by changing the frequency of the drive signal in FIG.
[0338]
Therefore, the drive unit 24 outputs a drive signal having a different frequency fj for each source coil 44j. Other configurations are the same as those of the fourth embodiment. The effect of the fifth embodiment is almost the same as that of the second embodiment.
[0339]
In the first to fifth embodiments or modifications, after the signal from the sense coil is amplified, it may be digitally converted and all subsequent detections and the like may be subjected to digital signal processing.
[0340]
Further, only one source coil or sense coil may be built in only the distal end portion of the endoscope which is the maximum position of interest. In this case, it functions as an endoscope tip position detecting device that detects the position of the tip of the endoscope.
Next, a sixth embodiment of the present invention will be described with reference to FIG. FIG. 62 shows an endoscope system 51 including the sixth embodiment.
[0341]
In the above-described embodiment and modification, the estimated endoscope shape is depicted on the monitor 23 as a dedicated display device. However, in this embodiment, the video signal output to the monitor 23 is converted into an endoscopic image. The display is switched on the monitor 12 to be displayed. Therefore, the output of the detection device main body 21 is input to the external video signal input terminal of the video processor 11 via the connection cable 52, and the endoscopic image and the internal image are displayed on the display surface of the color monitor 12 by operating the changeover switch 53. The endoscope shape can be selected and displayed.
[0342]
Further, in this embodiment, a reference signal (determining the timing of the drive signal for CCD reading) on the video processor 11 side is sent to the shape detection device main body 21 via the cable 54. In order to detect the endoscope shape, the timing of applying the drive signal to the source coil 16i is adjusted so as to be performed during a period in which the drive signal is not output.
[0343]
FIG. 63 shows the operation period in the system 51. The light source section in the video processor 11 sequentially illuminates with R, G, B frame sequential light as shown in FIG. Then, as shown in FIG. 63 (b), a CCD drive period is set for a CCD (not shown) built in the endoscope 6 during a period when illumination is not performed, and the CCD is driven within this CCD drive period. A CCD drive signal is applied, and an image signal (imaging signal) photoelectrically converted by the CCD is read out.
[0344]
On the other hand, the drive signal period in which the drive signal is output is within a period other than the CCD drive period in which the CCD drive signal is output, that is, in the illumination (exposure) period, so that the drive signal does not affect the imaging signal. In addition, the CCD drive signal can be prevented from affecting the detection signal from the sense coil. That is, a means for eliminating the mutual interference of the respective functions is constructed.
Other configurations are the same as those of the first embodiment shown in FIG.
[0345]
According to this embodiment, it is possible to prevent the drive signal for detecting the endoscope shape from becoming noise in the endoscope image signal and to prevent the CCD drive signal from becoming noise of the detection signal by the sense coil. it can. Other operations and effects are substantially the same as those of the first embodiment.
[0346]
In the sixth embodiment, an endoscope shape may be displayed as an endoscope image or an endoscope image as an endoscope shape by a picture-in-picture method.
In the sixth embodiment, when detecting the endoscope shape so as not to interfere with the imaging signal, the endoscope observation image may be frozen so that noise is not mixed in the image. (A setting function is entered in the operation panel 35 in FIG. 1).
[0347]
In addition, every time the image capture field, every frame, every few frames, every few fields, or every time the endoscope shape rendering process is completed, the observation image capture is automatically interrupted to generate a magnetic field for shape detection. Strength uptake may be performed.
[0348]
Next, an endoscope system 61 including a seventh embodiment of the present invention will be described with reference to FIG. This system 61 is different from the endoscope system 51 of FIG. 62 in that it further includes a head mounted display (hereinafter abbreviated as HMD) 62, a TV camera 63 for confirming the position of the patient 5, and the body of the patient 5 from the TV camera 63. A computer 64 for extracting the contour of the image, and an image processing device 65 for performing image processing for virtual reality.
[0349]
The image processing device 65 is connected to, for example, the shape image generation unit 32 (see FIG. 2) of the shape detection device main body 21, and performs image processing on the shape image generated by the shape image generation unit 32 to change the viewpoint slightly. A shape image for right eye (or left eye) observation is generated, and the shape image generated by the shape image generation unit 32 is used as a left eye shape image, through the monitor signal generation unit 33 (for right eye observation and (For left-eye observation) An operator who outputs to a liquid crystal display and wears the HMD 62 on the head can perform stereoscopic observation of the endoscope shape with virtual reality.
[0350]
In this embodiment, the TV camera 63 detects the position of the patient 5 on the bed 4 and generates a video signal of the body shape of the patient 5, thereby overlapping the body shape and the endoscope. The shape can be observed with virtual reality. In this way, by displaying overlapped on the shape of the body, it is possible to know to which part the insertion portion 7 of the endoscope 6 is actually inserted.
As in the case of FIG. 62, the color monitor 12 selects one of the endoscopic image and the endoscope shape displayed on one liquid crystal display of the HMD 62 (displayed overlapping the body shape). Can be displayed.
[0351]
FIG. 65 shows an explanatory diagram of a method for detecting the position of the patient 5 on the bed 4 by the TV camera 63. In FIG. 65, an image captured by the TV camera 63 is an arrow image indicated by a dotted line below the cable, and an image obtained by the endoscope shape detection device 3 is an image illustrated below the contour. Extraction is performed, and the images are overlapped and displayed as shown in the drawing (via the monitor signal generator 33 and the like).
A body marker 67 for detecting the position and direction is attached to the body of the patient 5. This may be singular or plural.
[0352]
The body marker 67 incorporates a position detection coil. The installation position of the body marker may be provided at a reference point such as the lateral position of the pelvis of the patient 5 and displayed in an overlapping manner with the graphic model of the standard body shape when displaying the endoscope shape.
[0353]
When the patient lies on the endoscopic examination bed 4, the TV camera 63 for position confirmation provided above the bed 4 captures an image including the body marker 67 into the computer 64. Since the body marker 67 attached to the body of the patient 5 is a portion of the contour line of the patient 5, only the contour image of the patient 5 is extracted and superimposed on the shape display and drawn on the color monitor 12 or the like. To do.
[0354]
For the superimposed image, the direction of the patient 5 is derived from the image of the whole body circumference of the patient 5 captured in advance or the position of the body marker 67 obtained magnetically before the endoscopy. However, it may be displayed by being synthesized by the computer 64.
If the color (bed or the like) on the image actually captured by the TV camera 63 or the like is similar to the color of the endoscope that is synthesized and displayed by the shape detection device, the shape is difficult to discriminate on the color monitor 12. Become.
[0355]
Therefore, the user may be allowed to change the color of the displayed endoscope shape. Further, the thickness of the endoscope displayed on the color monitor 12 may be changed.
[0356]
By detecting the direction of the body of the patient 5, the image displayed on the color monitor 12 may always be an image from the front direction of the body of the patient 5.
Of course, the obtained image may be rotated. In this way, the image can be converted from the same place as the user's viewpoint, so that the user can be prevented from erroneously recognizing the endoscope shape.
[0357]
In the above example, the user rotates the image obtained in accordance with his / her own viewpoint. However, if the user wears a position detection sensor in the same manner as the body marker 67, the image is automatically displayed. Can be rotated or deformed.
In the case of the user, since there is an insertion operation of the endoscope 6, the position movement is large, and the user wears the endoscope 6 in a place where the movement of the user is not hindered. Also, the sensor position cannot be physically the same as the user's viewpoint. (Sensors must be installed in the skull)
Therefore, an adjusting means for aligning the sensor position and the viewpoint when used may be provided.
[0358]
For example, a probe for shape detection is placed on the endoscopic examination bed 4 and rotated, enlarged or reduced so that the displayed probe shape is the same as the actual appearance, and in that state, the viewpoint is corrected. The offset of the viewpoint and sensor position is adjusted by pressing the switch.
[0359]
This must be done in the same way when using the HMD 62 described above. The sensor 68 may be fixed to the HMD 62. By doing so, since there is not much difference between the line of sight and the sensor position, it can be used with almost no correction.
When the position of the user is detected using a magnetic sensor, magnetic coupling is used in the same manner as the endoscope shape, but the detection of the position of the source coil 16i in the endoscope shape detection probe 15 is performed. Mutual magnetic interference may be reduced by time-division driving instead of simultaneous driving. FIG. 66 shows an explanatory diagram in the case of driving in this time division.
[0360]
A narrow pulse period indicates a period for driving the magnetic sensor fixed to the HMD 62, and a long pulse period indicates a period for driving the source coil 16i for endoscope shape detection.
[0361]
According to this embodiment, since the endoscope shape can be stereoscopically observed with virtual reality, the insertion portion of the endoscope 6 is used when performing an examination using the endoscope 6 or a treatment using the endoscope 6. There is an advantage that the operation of introducing the tip portion of 7 to the vicinity of the target site can be performed easily and in a short time.
The other effects are the same as those of the first embodiment.
[0362]
When driving the magnetic sensor fixed to the HMD 62 and the source coil for detecting the endoscope shape, instead of driving in time division, each frequency is changed and detection is performed at the same time. May be. In this case, since all sensor positions can be obtained simultaneously, even if the position, shape, and user position change quickly due to insertion of an endoscope, the position and shape can be quickly obtained following the change.
For these processes, well-known quadrature detection can be used, but analog or A / D conversion may be performed digitally.
[0363]
These magnetic field generating coils and magnetic field detecting coils used for position detection are generated even when the same current is supplied due to variations in core characteristics, winding variations, ambient temperature differences, etc. Even in the same magnetic field strength field, the obtained detection signal intensity varies.
[0364]
Therefore, a current value for generating the same magnetic field strength is measured in advance so that the variation can be corrected.
For example, a current value for obtaining an intensity of 2 Gauss at a position 30 cm in the axial direction from the source coil is measured, a ratio with a reference current value is stored as a table value, and driving is performed with the ratio. To do. Similarly, the sense coil is also corrected by measuring the signal output at a magnetic field intensity of 2 gauss in advance, using the ratio with the reference value as a table, and applying it to the detection signal.
[0365]
Since this correction coefficient needs to be set for each coil, it may be set from a keyboard provided in the apparatus.
Alternatively, the value may be stored in a ROM provided in the connector of the probe 15 and automatically read. The stored value or the set value may be compressed and coded.
Since the coil installed in the endoscopic examination bed 4 does not change in combination with the apparatus except when it is out of order, a correction amount of variation may be set when the apparatus is assembled.
[0366]
In this way, the coil on the bed side is basically always combined with the same device. In addition, the interval between the coils in the shape detection probe 15 is assembled in advance with a known value. Therefore, the probe 15 may be placed on a straight line in the center of the bed, and a variation correction switch may be pushed to correct variations in each coil in the probe 15. Further, the correction coefficient may be set or the drive current may be adjusted so that the detected positions are arranged on a straight line or the interval becomes a known value.
In this way, it is not necessary to incorporate an expensive ROM in the probe 15 (the same applies to a special endoscope for shape detection).
[0367]
Next, an eighth embodiment of the present invention will be described. In general, the detectable range of a sense coil used for position detection depends on the dynamic range of the apparatus. Therefore, there is a dynamic range that can be sufficiently covered from a small distance when the source coil and the sense coil where the detection signal level is large are close to each other, to a case where the distance between the two where the signal level that can be detected is small is far away. Required.
[0368]
However, in actual endoscopy, an examination bed is used, and the patient exists on the bed, so only the area on the bed needs to be detected, and a patient with a general physique If so, the position of the endoscope considered for insertion of the endoscope is a very limited region.
[0369]
That is, it is only necessary to have a practically limited dynamic range.
On the other hand, considering an image to be displayed, if only an endoscopic image is displayed, it is generally difficult to determine from which viewpoint the image is drawn.
In view of this, in this embodiment, a display of a region that can be detected is prepared for the operator to confirm the viewpoint direction.
[0370]
Since sufficient detection accuracy can be obtained within this area, the shape display of the endoscope is performed only for objects existing within this area. The flow of this process is shown in FIG.
[0371]
A reference value such as a rectangular parallelepiped is set in advance in the detection range (detection region), and the detection range is acquired in step S121. That is, the detection range from the visual field coordinate system is actually taken as reference data. In the next step S122, construction of scope image drawing is started. In this case, the position coordinates of the endoscope obtained by interpolating the coil position are compared with the surface surrounding the detection area, and it is determined whether or not it is within the detection area (step S123).
[0372]
In comparison, the image data is stored in the video RAM only when it is determined to be inside the area (step S124), and when it is outside the range, the data is discarded (step S125). The image data stored in the video RAM is displayed on the CRT (step S126), and it is determined whether the image construction process is completed (step S126), and the process is continued until this process is completed.
[0373]
In this embodiment, display is performed when the detection range is outside the detection range, and the display ends when the detection range is not reached.
The endoscope shape that exists outside the detection area is not displayed because its positional accuracy is not sufficient.
[0374]
However, if the shape that exists outside the region is not displayed at all, when the patient moves, etc., most of the endoscopes are outside the region, the shape may be hardly displayed. .
Therefore, for example, as shown in FIG. 68, the display may be performed with different display methods in and out of the area. In FIG. 68, in the process of determining whether or not it is within the detection range (step S123), if it is within the range, it is stored in the first RAM (step S124a), and if it is outside the range, it is stored in the second RAM (step S125a). . The image data stored in the first RAM and the second RAM is displayed on the CRT with different display methods such as different display densities (step S126a). The other processing contents are the same as those in FIG.
[0375]
It is not limited to the one that changes the density of the display density in and out of the detection range. For example, for the outside of the area, a different color system (inside the area) (the endoscope is a warm color system) May be displayed in a cool color (for example, such an LUT is prepared). Further, the pixels used for drawing are thinned to roughen the display image. (A display mask is prepared and EXOR is taken or OR is taken).
Since the continuous endoscope shape is displayed together with the detection accuracy, the endoscope shape can be reliably obtained.
[0376]
That is, the endoscope position coordinates obtained by interpolating the position of the source coil are compared with the surface surrounding the area, and the endoscope is normally drawn only when it is determined that the area is inside by this comparison. According to the drawing method of the shape detection apparatus, accurate shape display can be performed. The process of FIG. 67 or 68 may be performed in step S42 of FIG. 15 of the first embodiment.
[0377]
Next, a ninth embodiment of the present invention will be described. In the above-described embodiment and the like, when the endoscope shape is displayed, it is displayed as a computer graphic. In this embodiment, for example, an endoscope actual image is displayed.
[0378]
As described above, the detected or estimated endoscope shape is displayed by drawing with a wire frame or the like inside the computer, setting the light source, and performing the shading process on the set surface.
[0379]
However, in general, this image processing requires high-speed calculation and drawing capability, and it may be difficult to obtain a comfortable drawing speed with a low waiting time due to the processing speed of the computer and the capacity of the built-in memory. obtain. In this case, a model that can be easily processed is desired in order to improve the drawing speed. However, a model that is too simplified differs greatly from an actual endoscope image, and even if the endoscope is rendered, it may be difficult to recall the endoscope itself.
[0380]
In such a case, by adopting this embodiment, it becomes possible to display the endoscope in a shape that makes it easier to grasp the shape of the endoscope at a high speed even with a computer having a small processing capability.
For this reason, in this embodiment, a unit for displaying an endoscope shape by pasting a texture is configured, an actual endoscope image is captured in advance by a scanner as a pasting texture, and stored in a ROM. A texture is prepared as an image pattern. That is, a pattern is prepared in advance on a high-speed semiconductor memory as a texture.
Then, as shown in FIG. 69, the texture is pasted so that the coordinates corresponding to the detected position of the endoscope coincide with the coordinates of the pattern center of the corresponding texture.
[0381]
If the texture to be pasted is based on a square as shown in FIG. 69, a step will occur in the displayed image depending on the shape of the endoscope, so the outline is connected with a Pezier curve or a spline curve. May be. Moreover, you may make it give a well-known uncarried.
[0382]
As shown in FIG. 70 (a), the texture to be used corresponds to the light source direction from A to H and is prepared by taking in the image of the endoscope insertion unit 7.
Needless to say, the direction of the light source can be appropriately increased or decreased according to the size of the storage area and according to the quality of the displayed image.
[0383]
It is also possible to prepare images 7a when the endoscope insertion portion 7 is inclined as shown in FIGS. 70 (b) and 70 (c).
The more textures matched to the inclination and the light source direction of the endoscope insertion section 7 are stored, the fewer the calculations for image display and the faster the drawing becomes.
[0384]
In order to make the image of the endoscope and the background stand out, known edge enhancement may be performed.
According to this embodiment, an image of a ROM in which an image pattern is written in advance is written in a video RAM as a display memory for constituting an endoscope image.
[0385]
This is because, after the coordinates where the endoscope exists are obtained, it is only necessary to perform data transfer between the memories by sorting and writing the corresponding patterns, and complicated arithmetic processing is not required. It is possible to perform drawing at a very high speed.
[0386]
Further, since the texture to be used is an object using an actual endoscope, it is easy to intuitively form an endoscope-shaped image.
In addition, since it can be displayed in the same color as the existing endoscope, it is very easy to reconstruct the actual endoscope shape in the operator's head.
[0387]
Next, a tenth embodiment of the present invention will be described. In this embodiment, the display color is switched every certain length.
The shape of the inserted endoscope insertion part is displayed on the monitor by computer graphics, but unlike the exterior of the actual endoscope insertion part, the display indicating the insertion length was not displayed.
[0388]
Therefore, the position of the built-in coil is displayed using a color different from the endoscope shape, but it is confirmed how much length is actually inserted in the patient's body. Therefore, it was necessary for the surgeon to judge from the image on the monitor.
[0389]
In particular, the coil for position detection is kept at a fixed interval, and the position of the coil is distinguished from other pseudo-endoscopic displays (for example, the endoscope is represented by a gray scale and the coil position is represented by a red dot). If so, the insertion length can be obtained by how many coils are displayed. However, when an endoscopic examination is actually performed, the insertion of the endoscope is not the purpose, but the purpose is to observe and treat the body tissue, so that the extra counting work becomes a burden on the operator.
[0390]
Therefore, an endoscope shape displayed by computer graphics is displayed by changing the basic color for each fixed length.
For example, a color that is separated to some extent on a straight line drawn on a color chart that can be displayed by the apparatus is set as a basic color.
[0390]
By repeating this in accordance with the drawing length, the color can be changed at regular intervals.
This fixed distance may be set by the user.
[0392]
The drawing length can be easily understood visually because a larger drawing area can be taken than when only the coil position is expressed by another color.
You may make it express by repeating the change of a gradation.
In the monochrome binary screen, the pattern to be pasted may be changed.
[0393]
For simplicity, an image when the endoscope insertion portion is a straight line is shown in FIG. The colors are changed and displayed as Ca, Cb, Cc, Cd, and Ce for every certain length from the tip.
[0394]
Such display can be realized by storing the data of the colors Ca,..., Ch to be pasted at predetermined address positions in the texture area and sequentially reading them as shown in FIG.
Each pattern may be freely set by the user.
[0395]
The basic flow of drawing is shown in FIG. First, in step S131, the parameter n is initialized to 0.
In the next step S132, since the insertion is performed from the distal end portion, the position of the distal end is detected, this position is set to Psn (here, n = 0), and the endoscope having the distance l set by the user from this position Psn. A position Psn + 1 on the position is searched.
[0396]
In the next step S133, it is determined whether or not the parameter n is equal to or smaller than the detected insertion length / l (that is, n ≦ detected insertion length / l), and this condition is satisfied. Sets n to n + 1 (step S134), returns to step S132 again, and repeats the same processing.
[0397]
On the other hand, if the condition is not satisfied, the process proceeds to the next step S135, and displays in a different color for each distance l searched from the front end side, that is, as shown in FIG. .
[0398]
Next, an eleventh embodiment of the present invention will be described with reference to FIG. In this embodiment, peripheral images are captured and displayed.
When the shape of the endoscope detected by magnetism is displayed by computer graphics, since it is difficult to detect a living tissue or the like, only the endoscope is displayed. Therefore, it is difficult to intuitively understand the positional relationship between the living body and the endoscope.
[0399]
In order to solve this, in the first embodiment, a reference plane such as a plane of a bed is displayed. In this case, since it is a texture created by a computer, it may be difficult to recognize the shape immediately in association with an actual endoscope, unlike an actual endoscope room scene. In order to prevent this, peripheral images may be captured and displayed as in this embodiment.
[0400]
In the endoscope shape detection device 101 of the eleventh embodiment shown in FIG. 73, a video camera 102 as a video input device is connected to the shape detection device main body 21, and the endoscope inspection room 103 is imaged by this video camera 102. To do.
[0401]
The bed 4 and the like are disposed in the endoscopic examination room 103, and an image of the bed 4 and the like is captured by the video camera 102 and output to the shape detection apparatus main body 21 as a captured image signal. The shape detection device main body 21 converts an input image signal into a digital signal by an A / D converter in the image processing unit 21a and stores it in a memory. The image in the memory is reproduced on the monitor 23 through the monitor signal generation unit.
[0402]
The surgeon can operate the keyboard 35a and the mouse 35b on the image displayed on the monitor 23 to perform the processing shown in FIG. 74 so that the image can be displayed as a background image when displaying the endoscope shape. I have to.
[0403]
Next, the flow of FIG. 74 will be described. First, in step S141, the video camera 102 captures an image. That is, the image signal from the video camera 102 is A / D converted and stored in the memory.
[0404]
The image stored in the next step S142 is reproduced on the monitor, and the reproduced image is corrected. That is, unnecessary image portions and noise portions are corrected by photo retouching software, etc., and a necessary area of the corrected images is selected with the mouse 35b and stored in the memory as a pasting image.
[0405]
In the next step S143, the endoscope shape detection control program is called, the pasting image stored in the memory is also read, and the region to be pasted as the background screen is designated.
[0406]
In the next step S144, deformation, enlargement, and reduction are performed, and alignment (mixing) with the shape display image of the shape detection device is performed. Then, in step S145, the pasted data is determined to determine the background image. .
Thereby, since the shape of the detected endoscope is expressed in the background of the actual endoscope room, the shape of the endoscope in the patient's body is easy to understand.
[0407]
Next, a twelfth embodiment of the present invention will be described. In this embodiment, driving is performed wirelessly without using a cable for driving the source coil.
In the first embodiment and the like, in order to detect the position of the source coil, a detection signal corresponding to the magnetic field strength is obtained by the sense coil. In this case, synchronous detection is performed in order to detect a minute signal. Then, in order to extract a signal having the same frequency as the drive signal of the source coil, the detection unit performs quadrature detection on the received signal using the reference signal based on the drive signal, and the amplitude of the received signal and the phase with respect to the drive signal Like to get.
[0408]
In this case, the drive signal is transmitted to the detection unit on the shape detection device side via a cable. However, when the cable restricts the operator's free movement or the patient is provided with a source coil as a marker. May limit the free movement of the patient's body.
Therefore, in this embodiment, an apparatus capable of wirelessly detecting a position so that a signal for generating a reference signal can be transmitted wirelessly will be described.
[0409]
FIG. 75 shows a configuration on the probe 131 side provided with a source coil. The power supply means 132 composed of a battery or an antenna coil that generates an AC signal by an external electromagnetic field supplies power to the power supply means 133, and this power supply means 133 generates a stabilized DC power supply and oscillates. A voltage necessary for the operation is supplied to the means 134 and the like.
[0410]
The oscillating means 134 oscillates at a predetermined frequency, and this oscillating signal is applied to the radiating means 135. The radiating means 135 is amplified so as to be a constant level driving signal and applied to the internal source coil 136i. To generate a magnetic field.
[0411]
A reference signal generating unit 137 that generates a reference pulse for external synchronization generates a reference pulse as a reference from the oscillation signal of the oscillating unit 134, supplies the reference pulse to the radiating unit 138, and radiates it from the radiating unit 138.
[0412]
The radiating means 138 includes an AGC circuit for making the amplitude of the drive signal constant, and transmits a reference pulse for external synchronization using a spread spectrum method.
FIG. 76 shows a more specific configuration of FIG. The AC signal generated by the antenna coil 132a constituting the power supply means 132 is rectified and converted into direct current by the DC circuit 133a by the rectifier and capacitor constituting the power supply means 133, and further, a constant DC power supply voltage is obtained by the stabilization circuit 133b. To be.
[0413]
This DC power supply voltage is applied to an oscillator 134a constituting the oscillating means 134, oscillates at a predetermined frequency, amplified to a certain level by the AGC circuit 135a constituting the radiating means 135, and further sequentially supplied via the changeover switch 135b. Applied to the coil 136i.
[0414]
Further, the spread code generator 137a constituting the reference signal generating means 137 monitors the oscillation signal output level so that it becomes 0 when the output of the oscillator 134a becomes zero, and becomes 1 at the next zero cross point, and outputs a pulse signal. Form. This pulse signal is, for example, FSK modulated by the modulator 138a, and further spread-modulated by the spread modulator 138b using a PN code. The spread-modulated signal is amplified as necessary and radiated from the reference pulse transmitting coil 138c. This signal spectrum is broad.
[0415]
The changeover switch 135b is changed over by a changeover controller 135c formed using a counter or the like that counts the output of the spread code generator 137a.
On the other hand, FIG. 77A shows the configuration of the reference signal generation circuit 141 on the shape detection apparatus main body side provided with the sense coil 22j.
[0416]
The main body of the shape detection apparatus has a reference signal generation circuit 141, and the antenna coil 142 receives the signal radiated from the coil 138c. The received signal is despread by the despreading circuit 144 with reference to the PN code of the spread code generator 143 similar to that on the transmission side, filtered by the BPF 145, and then returned to the original signal by the demodulation circuit 146. .
[0417]
Therefore, in order to use the demodulated signal as a pulse signal as a reference drive signal, a PLL loop is formed, and phase lock is performed on the reference frequency by this PLL loop. The signal that is phase-locked and tuned to the reference frequency becomes a reference wave (reference signal) with the same reference phase, and this reference wave is output to the synchronous detection circuit, and the detected signal detected by the sense coil Used for synchronous detection.
[0418]
If the PN code on the receiving side does not match that on the transmitting side, spreading is performed and the signal is not reproduced.
In other words, if the PN codes of all the coils whose positions are to be detected are changed, there will be no interference, and at the same time, a large number of reference waves can be obtained without connecting cables. That is, when applied to FIG. 50, the driving of the source coil and the detection by the sense coil can be simultaneously performed wirelessly. Any known method may be used for modulation and demodulation.
[0419]
When the antenna coil 132a is employed as the power supply means 132 as shown in FIG. 76, the energy supplied to the antenna coil 132a by generating an electromagnetic field or the like on the shape detection device side or separately from this device. For example, as shown in FIG. 77 (b), the energy supply means 147 includes an oscillator 148, a coil 149 that radiates the oscillation output, and a DC power supply 150. The DC power supply 150 is a battery. However, a power source generated by rectification or the like from a commercial power source may be used.
[0420]
The oscillator 149 is set to a frequency much higher than the frequency of the oscillator 134a (for example, several tens of MHz to several hundreds), and hardly affects the magnetic field generated at the frequency of the oscillator 134a.
The modulated wave on the transmission side may be a drive signal (oscillation signal) itself.
[0421]
In addition, this embodiment can be used for displaying a marker. FIG. 78 (a) shows a wireless magnetic field generating unit 159 of a modification of the twelfth embodiment. The wireless magnetic field generation unit 159 includes a coil unit 152 and a drive unit 156.
[0422]
For example, as shown in FIG. 78 (a), a connector 153 is provided in a coil unit 152 that is mounted on an object whose position is to be known and that includes a source coil 151 used for generating a magnetic field for detecting the position. By connecting the drive circuit 154 for driving the coil 151 and the connector receiver 157 of the drive unit 156 incorporating the battery 155, a wireless magnetic field generating means used for detecting the position of the marker is formed.
[0423]
76, the drive circuit 154 and the battery 155 are configured such that a connector receiver 157 is connected to the output end of the AGC circuit 135a and only one source coil 151 connected to the connector receiver 157 via the connector 153 is driven. It will be the one.
[0424]
Further, as shown in FIG. 78 (b), the coil unit 152 and the drive unit 156 may be connected by being separated by the cable 158 to a position where the drive unit 156 can be installed without difficulty. Connector means that can be connected to the connector 153 and the connector receiver 157 are provided at both ends of the cable 158. The coil unit 152 and the drive unit 156 may be connected by the cable 158 without providing the connector 153 or the like.
[0425]
With such a structure, the cable between the shape detection device side and the coil side used for the marker can be omitted, so when attached to the patient, the movement of the patient is hardly restricted and the operator uses it. There are almost no restrictions on the movement of the surgeon.
[0426]
Next, a thirteenth embodiment of the present invention will be described. In this embodiment, for example, the position of the palm is displayed as a marker display that is visually easy to understand.
In order to realize this, there is provided means capable of detachably fixing at least one of the source coil and the sense coil to an arbitrary place such as a palm.
[0427]
In the twelfth embodiment, for example, in FIG. 2 of the first embodiment, a palm position detecting device 111 shown in FIG. 79A is further provided as a magnetic field generating means for displaying a marker.
[0428]
As shown in the exploded view of FIG. 79 (b), the device 111 has two source coils 116a and 116b for detecting the position of the palm, and these are made of flexible thin plates 112a and 112b (for example, styrene resin or the like). An index 114 that indicates the direction of fixing as shown in FIG. 79 (a) on the outer surface (front surface) of one plate 112a. Further, an adhesive 113 is applied to the back surface of the other plate 112b as a detachable fixing means.
[0429]
Then, as shown in FIG. 79 (c), the adhesive 113 is attached to the operator's or assistant's palm (or gloves) 115. The adhesive 113 is covered with a release paper before use, and the release paper can be peeled off immediately before use and fixed to a desired place. You may fix with surgical tape etc., without apply | coating an adhesive agent. It may also be used as a body marker for confirming the position of the patient's body.
[0430]
Further, the index 114 is displayed on the fingertip side and the wrist side as shown in FIG. 79A, for example, and the operator can confirm the fixing direction.
Even if the source coils 116a and 116b used for the detection are connected to the shape detection device in a wired manner by the cable 117, they are connected to the drive unit as shown in FIG. 78B (not connected to the shape detection device). The AC magnetic field may be generated wirelessly. Of course, an AC magnetic field may be generated alone as shown in FIG.
[0431]
The positions of the source coils 116a and 116b detected by the shape detection device are P0 (x0, y0, z0) and P1 (x1, y1, z1), respectively.
If P01 = (P1-P0), one vector can be set. The operator attaches this vector to the palm so that the vector overlaps from the wrist to the fingertip.
[0432]
The detected palm position as shown in FIG. 80 (a) may be displayed on the monitor screen together with the endoscope-shaped image 118 as a graphic 119 simulating the palm, or FIG. 80 (b). You may make it display with the arrow 120 as shown.
Further, since it is actually a means for confirming the endoscope from outside the body, the distance between the endoscope and the operator's palm may be displayed as auxiliary information.
[0433]
FIG. 81 shows an endoscope shape detecting device 121 according to a modification of the thirteenth embodiment. This device 121 is provided with coil units 122a, 122b, 122c (represented by 122q) each incorporating a source coil that can be used for marker display, for example, in the first embodiment of FIG. In addition, a keyboard 35 b and a mouse 35 c are connected to the shape detection device main body 21.
[0434]
Further, as shown in the enlarged view, the operation panel 35 has a user-defined marker switch 123a, a body marker switch 123b, a marker setting mode ON / OFF switch 123c, an instrument marker switch 123d, a hand marker switch 123e, and a marker setting switch 123f (at 123k). The switch 123k is operated so that an operator can designate a coil to be arbitrarily used in the coil unit 122q.
[0435]
Each coil unit 122q is provided with means for attaching and fixing to the surgeon, as in FIG. The operation panel 35 is provided with a display / coil switching key 125 together with the cursor key 124.
[0436]
Next, processing for setting an arbitrary desired coil unit as a user-defined marker, body marker, instrument marker, etc. by operating the operation panel 35 will be described with reference to the flow of FIG. This process is incorporated in the scope image rendering process in step S42 of FIG.
[0437]
During the operation of step S42 (referred to as main in FIG. 82), the CPU monitors ON / OFF of the marker setting mode switch 123c (step S151), and when the marker setting mode switch 123c is turned ON to enter the setting mode. The display unit corresponding to the coil unit 122q that can be set as a marker blinks or is displayed on the screen of the monitor 23 in a color different from that of the other coil units.
[0438]
As in step S152, for example, the display unit of the unit number N corresponding to the coil unit 123q blinks.
Accordingly, the marker switch to be set, such as the body marker switch 123b, is turned on as the blinking coil unit 123q (step S153).
[0439]
To know whether or not the blinking coil unit 122q is the coil unit 123p (p = a, b, c) that the operator wants to set, hold the coil unit 123p and move it over the position detection device, etc. A display mark corresponding to the coil unit 123p moves on the monitor screen.
[0440]
Accordingly, when the desired coil unit 123p is not selected, the desired coil unit is selected (selected and highlighted) by selecting with a pointing device such as a mouse cursor or selecting with a cursor key. (Step S154), the coil unit 123p corresponding to the unit number M is set, and the display format is set (step S155).
[0441]
Next, the marker setting switch 123f is turned on to set the marker and register the marker of the desired coil unit 123p. (Steps S156, 157).
In this way, the operator sequentially sets necessary markers (for example, register as a body marker indicating the position on the right body side of the patient, a body marker indicating the left body side, a body marker indicating the position of the anus, etc.).
[0442]
Since the marker display pattern candidates are also displayed on the monitor screen, selection is performed with the displayed mouse or cursor in the same manner as the selection of the coil unit. Switching between the coil unit selection and display selection functions is performed with the display / coil switching key at the center of the cursor, and the display format can be switched.
[0443]
Here, the case where only the position can be detected is described, but the detected signal includes the influence of the change due to the inclination between the source coil and the sense coil. Therefore, it is possible to detect the inclination.
In addition, when the position deriving method that can detect the tilt is used, only one source coil or sense coil is installed on the palm.
[0444]
As described above, the coil unit to be installed is displayed in a direction corresponding to the fingertip and a direction corresponding to the wrist. (It can also be applied to an object in which a plurality of coils are integrated.)
This method derives only the position of the source coil or sense coil. For example, when two source coils are used, or when the source coil is led to the direction of the source coil and one source coil is used, the palm is suitable. The direction cannot be specified. In order to determine the direction, three parameters are required. FIG. 83 shows a palm position detecting device 161 used when detecting and drawing including the direction of the palm.
[0445]
A palm position detecting device 161 shown in FIG. 83 has a configuration in which one source coil 116c is added to the device 111 of FIG. By adding one source coil 116c in this way, one plane including the three source coils 116a, 116b, and 116c can be defined, so that the orientation of the palm can be determined.
[0446]
Thereby, it is possible to detect a change in the orientation of the palm and change the drawing pattern of the marker to be displayed, and the operator can easily grasp the three-dimensional positional relationship.
As shown in FIG. 84, the position vectors of the positions P0, P1, and P2 of the three source coils 116a, 116b, and 116c are vP0, vP1, and vP2.
The origin O is set to the center of the bed.
[0447]
At this time, P1P0 = vP1-vP0 (1)
P2P0 = vP2-vP0 (2)
It is represented by Here, for example, P1P0 represents a vector having a length from the position P0 to the position P1 and pointing in the direction from the position P0 to the position P1.
[0448]
Now, a plane including three points for detecting a palm to be displayed is generally given by assuming that a position vector on this plane is r,
r = vP0 + s (vP1-vP0) + t (vP2-vP0) (3)
It is expressed.
[0449]
Substituting r = vP0, vP1, vP2 and solving (3),
The unit vectors in the x, y and z axis directions are a. b. As c, the equation (3) is
la + mb + nc = 0 (4)
(L, m, n are at least one non-zero integer).
[0450]
At this time, u = (l, m, n) determines a direction vector perpendicular to a plane including three points P0, P1, and P2.
If the position vector of the viewpoint is q, the inner product of u and q takes a negative, positive, or zero value when the angle is an obtuse or acute angle or a right angle (positive for an acute angle, negative for an obtuse angle).
With the sign of this value, it can be determined whether the palm is facing the viewpoint or whether the back of the hand is facing the viewpoint.
[0451]
Therefore, the color displayed on the screen is changed between the palm and the back. FIG. 85 shows marker display processing when this device 161 is employed in an endoscope shape detection device (for example, three devices 161 are used as the coil units 122a, 122b, and 122c in the device 121 of FIG. 81) to perform marker display. Shown in
[0452]
It is determined whether or not the marker is set from the main state (step S161). If set, the positions of the three source coils of each set coil unit are detected, and the drawing position of the marker is acquired (step S161).
[0453]
Next, in the pattern corresponding to the marker setting mode, the image of the marker is displayed in a different color between the palm and the back at the detected position (step S163), and the process returns to the main after this display processing.
[0454]
When displaying the marker in this way, the display color is changed from the color table so that the color gradually changes according to the inclination angle from the palm or the back of the palm or the like (for example, the color is changed from warm to cold). May be selected). Further, the displayed shape may be deformed according to the angle and position.
[0455]
FIG. 86 shows a palm position detection device 171 that allows detection of the position and orientation of the palm using two source coils.
This device 171 is provided at positions P0 and P1 in the device 111 of FIG. 79 so that the two source coils 116a and 116b are not in the same direction, and can be attached to the palm.
[0456]
If the direction vectors of the source coils 116a and 116b are a and b as shown in FIG. A vector c representing a plane parallel to b is
c = ga + hb (g and h are at least one integer which is not 0)
The perpendicular of this plane is the outer product of a and b.
[0457]
That is, a vector determined by i = a × b is obtained, and the palm direction can be determined by the sign of the inner product value w of i and the vector indicating the viewpoint direction, and 0, as in the case of FIG.
[0458]
FIG. 88 is a flowchart showing the processing contents of marker display. The process up to step S162 is the same as in FIG. In the next step S173, a vector c parallel to the plane is calculated, and a vector i perpendicular to the vector c is calculated.
[0459]
Next, an inner product value w of the vector i and the viewpoint direction vector q is calculated (step S174). Then, the sign of this value w is determined (step S175). If it is positive, the back side pattern of this marker graphic is drawn (step S176a). If it is negative, the palm side pattern of this marker graphic is drawn. Drawing is performed (step S176b), and in the case of 0, a graphic side pattern of this marker is drawn (step S176c).
[0460]
Further, when additional drawing is performed, when the upper side pattern is drawn, the side pattern is rotated according to the angle (known from the value of w) between the vectors i and q, and the main pattern is rotated. (Step S177a). Also, when the palm side pattern is drawn, the side pattern is rotated according to the angle and the process returns to the main (step S177b).
[0461]
In the embodiment of FIG. 53, three MR elements (connected in series) are used as the sensor 75j for detecting the magnetic field strength in three directions. However, as shown in FIG. The two MR elements 71 and 72 that are orthogonal to each other are installed, and the MR elements 71 and 72 are reciprocated by 90 degrees with a step motor 74 or a solenoid, and the magnetic field strength is measured for each 90 degrees of rotation. Thus, the magnetic field strength at that location may be measured. A Hall element may be used instead of the MR element.
[0462]
When a plurality of coils or MR elements are used as position detection sensors, the gaps between the core members are connected to each other with a narrow probe 15 or an endoscope 6 to regulate the distance to a known length. Thus, the accuracy of the obtained sensor position can be improved.
[0463]
In the case of the probe 15 inserted into a narrow tubular space such as the channel 13 of the endoscope 6, it may be difficult to provide a position regulating member outside the sensor because it is desired to make the diameter as small as possible.
[0464]
Therefore, a connecting hole may be formed in the detection portion of the surface to be connected, and for example, the MR element may be formed avoiding this hole. FIG. 90 (a) shows such a sensor.
Each sensor 80 has MR elements 82a, 82b, and 82c fixed to three surfaces of a cubic sensor support member 81 by bonding or the like, and fixed to a connecting cord 83 at regular intervals.
[0465]
In this case, a cord insertion hole 84 is formed in the center of the MR element 82a as shown in FIG. 90 (b), and the connection cord 83 allows the hole 84 to pass therethrough. The cubic sensor support member 81 is also provided with a hole 84 '(see FIG. 91) for inserting a cord.
On the other hand, instead of making the connecting hole 84 in the MR element 82a, a structure as shown in FIG. 91 may be used.
[0466]
In the sensor 80 ′ shown in FIG. 91, the MR element 82a and the MR element 82c of FIG. 90A are integrated to form an MR element 82c ′. This MR element 82c 'forms MR element sensors for two-direction detection by forming MR element portions 85a and 85c whose detection directions are orthogonal to each other on the same plane.
[0467]
Incidentally, a MR element 82b for detecting in one direction is attached to a surface adjacent to the surface on which the MR element 82c 'is provided and where the hole 84' is not formed, as in FIG. 89 (a). As described above, the MR element may not be provided on a surface necessary for connection in the sensor support member 81.
[0468]
In FIG. 91, MR elements whose detection directions are orthogonal to each other are integrally configured on the same plane as the MR element 82c '. However, it is obvious that two MR elements may be attached.
[0469]
In order to position the sensor having such a structure, as shown in FIG. 92A, the distance u is determined and each sensor (80, etc.) is bonded to a fixing member such as the cord 83 with an adhesive. Then, the tube 87 is inserted into a tube 87 having a length shorter than the entire length of the fixing member, and, for example, in a state where positioning is performed by applying tension to the fixing member, as shown in FIG. What is necessary is just to fill and harden the thermosetting resin 88 or the resin cured to a state having elasticity.
[0470]
In order to perform positioning, as shown in FIG. 93, sensors 80 are placed in cylindrical split molds 91 and 92 at respective positions at predetermined intervals, and the split mold is closed, and an insulating resin (not shown) is poured and cured. You may do it. In this case, the lead wire may be fixed to the cord 83, and the cord 83 may be slightly loosened, and the resin may be poured and cured, so that the lead wire is not easily broken even when bent. .
[0471]
Once cured, it is inserted into the extended outer shell member or heat shrinkable outer shell member. Thus, by inserting into the outer cover member, the strength as a probe can be ensured, and slipping when inserted into the channel can be ensured by the surface treatment of the outer cover member.
Moreover, since the inside is filled with resin, buckling does not occur.
[0472]
In the above-described embodiments, etc., the probe has been inserted into the channel of the endoscope and the magnetic field generation source or the magnetic field detection sensor is disposed at a known position in the endoscope. However, the present invention is not limited thereto, and a magnetic field generation source or a magnetic field detection sensor may be provided in the endoscope (for example, in the distal end portion) or attached to the outer peripheral surface.
[0473]
The endoscope is not limited to a built-in image sensor such as a CCD, but may be an optical endoscope (for example, a fiber scope).
Further, the present invention is not limited to the one in which the magnetic field generation source or the magnetic field detection sensor is arranged at the corner of the bed 4, and may be arranged around the bed 4 or at a position above the bed 4.
[0474]
In addition, the present invention is not limited to forming a source coil or a sense coil by using a 1-axis or 3-axis coil, but a 2-axis coil (one coil is removed from a 3-axis coil). It may be used.
[0475]
Further, a flexible substrate or the like on which a coil is printed may be formed into a tube shape so that it can be installed in a channel, and may be used as a probe for position detection or shape detection. Moreover, you may apply to the tube which forms what formed the coil in this way in the shape of a tube, and forms a channel.
[0476]
Alternatively, a coil printed on a flexible substrate or the like may be attached to the insertion portion by spirally winding the insertion portion of the endoscope or the like and used for position and shape detection.
[0477]
In the above-described embodiments, etc., a flexible coil is provided so that the source coil as a magnetic field generating element is arranged in the endoscope insertion portion to be inserted into the subject and the shape thereof is fixed so as not to change. Or, the magnetic field generating element side is arranged at a known position outside the subject, and a sense coil or a magnetoresistive element as a magnetic field detecting element is arranged in the insertion portion and fixed so as not to change its shape. Explained.
The present invention is not limited to these, and can also be applied to a rigid endoscope having a rigid insertion portion as follows.
[0478]
When performing surgery or examination using multiple rigid endoscopes such as laparoscopic surgery, knowing the positional relationship between the tips of each rigid endoscope plays an important role in smoothly performing the work. Fulfill. Therefore, the probe with one source coil is fixed at two known portions in the vicinity of the eyepiece portion of the rigid endoscope existing in the position detection range, or the two source coils are arranged at a known distance. The probe is fixed parallel to the central axis of the rigid endoscope.
[0479]
When the orientation of the rigid endoscope is changed, the vicinity of the eyepiece moves considerably, so the fixed part of the probe must be resistant to bending, and the source coil must be hardened with an insulating member. The other parts are made of a flexible material so that unnecessary tension is not applied when the rigid endoscope is moved.
[0480]
Since the distance from the position of the source coil arranged in this way to the distal end of the rigid endoscope is known in advance, when the position of the two source coils is detected, the distance between the two source coils is It can be seen that the tip is located at a known distance. In this case, since it is not necessary to provide a source coil inside the rigid endoscope, it can be used for rigid endoscopes of any thickness.
[0481]
Furthermore, the present invention is not limited to those inserted into a living body such as a human body, but is flexible with respect to a portion to be examined (object) to be inserted into a lumen other than the living body and to be examined. One of the magnetic field generating element and the magnetic field detecting element is disposed in a probe having a structure, and is fixed with an insulating member or the like so that the shape thereof is not deformed, and the other of the magnetic field generating element and the magnetic field detecting element is The present invention can also be applied to a device arranged at a known position outside the section. In addition, the magnetic field generating element and the magnetic field detecting element are placed at a known position such as the inside of a medical instrument or device insertion tool or an industrial insertion tool inserted into a lumen of a plant or the like. One of them is fixed or attached with an insulating member, etc., so that the position of the flexible insertion part or the rigid insertion part inserted in the lumen or the position of the proximal side of the insertion tool can be detected or estimated. Anyway.
[0482]
Also in these cases, the magnetic field generated by the magnetic field generating element is detected by the magnetic field detecting element, and the magnetic field generating element or the magnetic field detecting element arranged at a known position is used as a reference and inserted into the test portion or the lumen. The position of the magnetic field generating element or the magnetic field detecting element in the probe or the insertion tool to be detected, and at least one position of the probe or the insertion tool is detected, or the shape of the probe or the insertion part is estimated. The estimated shape can be displayed.
In the above-described embodiment or the like, a signal corresponding to the magnetic field strength is obtained by measurement and the reference data obtained by measurement or the like is referred to in advance so that the region where the source coil 16i or the like arranged in the insertion portion 7 or the like is present. Alternatively, the position is calculated, but the position and inclination of the source coil 16i and the like disposed in the insertion portion 6 may be derived by calculation.
[0483]
In the first embodiment, a coil orthogonal to the three axes is used as the three-axis sense coil 22j to correct variations in size and the like, but the same is performed for the source coil 16i and the like. Also good.
Although the entire shape of the endoscope may be displayed, a portion of high interest (for example, only the distal end portion) may be selected and displayed.
Further, only the direction of the tip may be expressed by an arrow or the like.
Only the coil position for detection may be expressed separately from other endoscope shapes and colors expressed by interpolation. Only that part may be attached with a symbol such as x.
The threshold value may be set by the distance from the bed, and may be expressed by changing the color, such as warm color when it is far from the position, cold color when it is close, or the reverse, saturation, lightness, hue, etc.
[0484]
In addition, since the shape detected by this shape detection device represents the process of inserting an endoscope, the time series data may be stored in a disk or the like.
When one of the magnetic field generating element or the magnetic field detecting element is fixed to the flexible insertion portion of the endoscope, it may be fixed to a hard tip hard member at the tip of the insertion portion or bend freely. It may be fixed to a hard bending piece constituting the part by an insulating member or the like so that its shape is not deformed.
Further, the magnetic field detecting element or the magnetic field generating element arranged in the insertion portion may be formed so that at least a part of the outer surface forms a curved surface.
[0485]
In the case where the magnetic field generating element is an element that generates a magnetic field having strong directivity in one axial direction in a space near its periphery, the magnetic field detecting element includes magnetic field strength components in three orthogonal axial directions. It is desirable to use something that can be detected. In the case where only one or two axial magnetic field strength components can be detected, the detected magnetic field strength is very small depending on the relative orientation of the magnetic field generating element and the magnetic field detecting element. The level difference between the case and the case where the case becomes large becomes large. For this reason, it is almost impossible to limit the range of the distance between the two elements from the detected signal to a narrow range.
[0486]
On the other hand, if it is possible to detect magnetic field strength components in three axial directions orthogonal to each other, even in the case of a highly directional magnetic field, the dependence of the direction is smaller than in the above case, and two elements are detected from the detected magnetic field strength. The range of the distance between them can be limited to a relatively narrow range.
[0487]
In the case of an element that can detect magnetic field strength components in three orthogonal directions as the magnetic field detection element, it is desirable that the detection sensitivities in each direction are as equal as possible. In this case, the magnetic field strength can be obtained by the square root of the sum of the squares of the respective magnetic field strength components. On the other hand, if the detection sensitivity in each direction is different, correction is required to calculate the magnetic field strength, but it can be used if correction is performed.
Note that embodiments formed by partially combining the above-described embodiments and the like also belong to the present invention.
Further, the present invention includes the following supplementary contents (claims, objects, actions, effects, etc.) in addition to the above-described embodiments.
[0488]
[Appendix]
1. A flexible insertion part that can be inserted into the test part;
It is arranged at a known position outside the test part, and is used in combination with one of a magnetic field generating element that generates a magnetic field around the application of a drive signal and a magnetic field detecting element that detects a magnetic field, The other of the magnetic field generation element and the magnetic field detection element,
Fixing means for fixing the other arranged in the insertion portion with an insulating member so that the shape of the magnetic field generating element or the magnetic field detection element is not deformed so that the position in the insertion portion is known;
A probe for detecting an insertion portion position.
While Claim 1 is a device for detecting the position of the insertion portion of the endoscope, Claim 1 (hereinafter simply abbreviated as 1) of this appendix is not limited to the endoscope, The object is to accurately detect the position of the flexible insertion portion to be inserted into the inspection portion. In order to detect the position of the insertion portion, the magnetic field generating element or the magnetic field detection element is fixed in the insertion portion with an insulating member, so that the magnetic field generation element or the magnetic field detection element is prevented from being deformed even if it is bent and inserted. Is done. Then, the position of the magnetic field generating element or the magnetic field detecting element in the insertion portion can be accurately detected by the magnetic field detecting element or the magnetic field generating element arranged at a known position outside the test portion. Can be detected (estimated) with high accuracy.
[0489]
2. A flexible tube;
A magnetic field generating element that is disposed in the tube and generates a magnetic field around the application of a drive signal; and a magnetic field detecting element that detects the magnetic field;
Fixing means for fixing with an insulating member so that the shape of the magnetic field generating element or the magnetic field detecting element is not deformed;
A position detecting probe.
1 has an insertion part to be inserted into the test part, but this probe may be inserted into the test part or attached to an instrument or other device to be inserted into the test part or the like. The object is to detect the position of the instrument or other device with high accuracy. Since it is a flexible tube, it can be easily attached to instruments and other devices. As in the case of 1, the position of an instrument or other device can be detected with high accuracy. Moreover, since the magnetic field generating element or the magnetic field detecting element is fixed in the tube, cleaning, disinfection, etc. are easy after use.
[0490]
3. The position detection probe according to claim 2, wherein at least the magnetic field generation element of the magnetic field generation element and the magnetic field detection element is configured by a coil.
4). The position detecting probe according to claim 2, wherein the tube can be inserted into a human body.
[0491]
5). An insertion tool having a flexible insertion part that can be inserted into the test part;
A magnetic field generating means having a magnetic field generating element for generating a magnetic field around by applying a drive signal;
Magnetic field detection means having a magnetic field detection element for detecting a magnetic field generated by the magnetic field generation element;
Fixing means for fixing one of the magnetic field generating element and the magnetic field detecting element arranged in the insertion portion via an insulating member so that the shape of the magnetic field generating element or the magnetic field detecting element is not deformed;
Installation means for setting the other of the magnetic field generating element and the magnetic field detecting element at a known position outside the test part;
The position of the magnetic field generating element or the magnetic field detection element arranged in the insertion part with respect to a known position outside the test part from a detection signal detected by the magnetic field detection element outside the test part or in the insertion part. Position estimating means for estimating;
The insertion part position detection apparatus which comprised.
The first aspect of the present invention is an apparatus for detecting the position of an insertion portion of an endoscope. This device is intended to detect the position of an insertion portion of an insertion tool including an endoscope inserted into a test portion. And The operation and effect are substantially the same as those obtained by replacing the endoscope according to claim 1 with an insertion tool.
[0492]
6). The insertion portion position detection apparatus according to claim 5, wherein the magnetic field generation means includes a plurality of the magnetic field generation elements.
7. The insertion portion position detection device according to claim 5, wherein the magnetic field detection means includes a plurality of the magnetic field detection elements.
8). The insertion portion position detecting device according to claim 5, wherein the one has a plurality of the magnetic field generating elements or the magnetic field detecting elements.
9. The insertion portion position detection apparatus according to claim 8, wherein the position estimation means estimates a plurality of the positions, and further estimates a shape of the insertion portion to be inserted into the subject from the plurality of estimated positions. It has shape estimation means.
10. The insertion portion position detection device according to claim 9 further includes display means for displaying an image corresponding to the estimated shape of the insertion portion.
[0493]
11. It is an insertion part position detection apparatus of Claim 7, Comprising: The said magnetic field generation element is comprised with the coil which wound the conducting wire.
12 The insertion portion position detection device according to claim 7, wherein the magnetic field detection element includes a coil wound with a conducting wire or a magnetoresistive element whose resistance value changes depending on the magnetic field strength.
13. The insertion portion position detecting device according to claim 7, wherein the magnetic field generating element is configured by a coil in which a conductive wire is wound around a hard core member.
14 It is an insertion part position detection apparatus of Claim 7, Comprising: The said magnetic field detection element is comprised with the coil which wound the conducting wire around the hard core member.
15. The insertion portion position detecting device according to claim 7, wherein the fixing means is an insulating adhesive for fixing the magnetic field generating element or the magnetic field detecting element.
[0494]
16. The insertion portion position detection device according to claim 7, wherein the magnetic field detection element or the magnetic field generation element arranged in the insertion portion is connected by a fixing member that does not have elasticity in the axial direction of the insertion portion.
17. The insertion portion position detection device according to claim 7, wherein the magnetic field detection element or the magnetic field generation element arranged in the insertion portion is formed such that at least a part of an outer surface forms a curved surface.
18. The insertion portion position detecting device according to claim 7, wherein the magnetic field detecting element or the magnetic field generating element transmits a signal via a shielded cable.
19. The insertion portion position detection device according to claim 6, wherein the plurality of magnetic field generating elements are driven at different timings.
20. The insertion portion position detection device according to claim 6, wherein the plurality of magnetic field generating elements are driven at different frequencies.
[0495]
21. The insertion portion position detection device according to claim 6, wherein the plurality of magnetic field generating elements are driven simultaneously.
22. In the insertion portion position detection apparatus according to claim 20, the frequencies are set to frequencies that do not have an integer multiple relationship.
23. The insertion portion position detection device according to claim 7, wherein when the magnetic field generating element is driven by the drive signal and exhibits a transient response, a timing at which the detection signal detected by the magnetic field detection element is captured is set to the transient response. Capture with a delay of about.
24. In the insertion portion position detection apparatus according to claim 7, when the magnetic field generating element is driven, the magnetic field generating element is driven by a phase angle driving signal that reduces transient response characteristics with respect to the driving signal of the magnetic field generating element.
25. The insertion portion position detecting device according to claim 7, wherein at least the magnetic field detecting element of the magnetic field generating element and the magnetic field detecting element are wound so as to have directivity in three orthogonal axial directions, respectively. Is a three-axis coil.
[0496]
26. The insertion portion position detecting device according to claim 25, wherein the position estimating means calculates the position of the magnetic field generating element or the magnetic field detecting element in the insertion portion in consideration of the diameter of each coil of the three-axis coil. Have means.
27. The insertion portion position detection device according to claim 7, wherein the position estimation means uses position information of at least three or more magnetic field detection elements or three or more magnetic field generation elements installed at known positions outside the subject. Then, a three-dimensional region in which the presence of each magnetic field generating element or magnetic field detecting element in the insertion portion is predicted is calculated.
28. The insertion portion position detection apparatus according to claim 25, wherein the position estimation means refers to reference information serving as a reference for a detection signal of the magnetic field detection element, and determines a distance between the magnetic field generation element and the magnetic field detection element. Reference information serving as a reference for estimating an existing distance range is included.
29. The insertion portion position detecting device according to claim 28, wherein the position estimating means takes into account the direction of the magnetic field generating element and corresponds to a magnetic field intensity that can be detected by the magnetic field detecting element at a known distance from the magnetic field generating element. The data obtained by changing the value of the known distance to the maximum value and the minimum value is set as the reference information.
30. The insertion portion position detection device according to claim 7, wherein the magnetic field generating element or the magnetic field detection element in the insertion portion is connected to the position estimation means side by wire.
[0497]
31. The insertion portion position detecting device according to claim 7, wherein the magnetic field generating element or the magnetic field detecting element is wirelessly connected to the position estimating means side.
32. The insertion portion position detection device according to claim 7, wherein the magnetic field detection element or the magnetic field generation element in the insertion portion is wirelessly connected to the position estimation means side, and generates DC power from energy supplied wirelessly from the outside. Means to do.
33. The insertion portion position detecting device according to claim 10 further comprising marker display means for displaying a marker including a reference position on the display means.
34. The insertion portion position detection device according to claim 33, wherein the marker display means can be installed at an arbitrary position outside the subject, and the magnetic field generating element or the magnetic field detection forming the one provided in the insertion portion It has a magnetic field generating element or a magnetic field detecting element of the same type as the element.
35. The insertion portion position detecting device according to claim 34, wherein the marker display means has the magnetic field generating element or the magnetic field detecting element that can be installed in an operator's hand, and is set at a set point set by the movement of the hand. In response, a mark corresponding to the set point is displayed on the display means.
[0498]
36. The insertion portion position detection device according to claim 10, wherein the display means includes first and second image memories for displaying the shape of the insertion portion, and image data stored in the first image memory. Is output to the display means, and the insertion portion shape estimation means stores image data in the middle of calculation for estimating the shape of the insertion portion in the second image memory.
37. The insertion portion position detection apparatus according to claim 10, wherein the display means includes image pattern storage means for storing a plurality of different image patterns for displaying an image corresponding to the insertion part, and the display means An image pattern corresponding to the shape of the insertion portion estimated by the insertion portion shape estimation means is read from the image pattern storage means and displayed.
38. The insertion portion position detection apparatus according to claim 6, wherein the display unit displays the approximate shape of the subject in a superimposed manner on the image.
39. The insertion portion position detection device according to claim 7, wherein the magnetic field detection means extracts a signal component obtained by synchronous detection using a reference signal based on the drive signal from a detection signal detected by the magnetic field detection element. To do.
40. The insertion portion position detecting device according to claim 7, wherein the insertion portion is formed of a member that does not affect the magnetic field generated by driving the magnetic field generating element.
41. The insertion portion position detection apparatus according to claim 7, further comprising a mounting table on which the subject is mounted, wherein the mounting table is formed of a member that does not affect the magnetic field generated by driving the magnetic field generating element. Is done.
[0499]
42. An insertion tool having a flexible insertion section that can be inserted into a lumen;
A magnetic field generating means having a magnetic field generating element for generating a magnetic field around by applying a drive signal;
Magnetic field detection means having a magnetic field detection element for detecting a magnetic field generated by the magnetic field generation element;
Fixing means for fixing one of the magnetic field generating element and the magnetic field detecting element arranged in the insertion tool so as not to deform the shape of the magnetic field generating element or the magnetic field detecting element via an insulating member;
Installation means for setting the other of the magnetic field generation element and the magnetic field detection element at a known position outside the lumen;
The position of the magnetic field generating element or the magnetic field detection element arranged in the insertion tool with respect to a known position outside the lumen from a detection signal detected by the magnetic field detection element outside the lumen or in the insertion tool. Position estimating means for estimating;
A position detection device comprising:
It is an object to accurately detect the position of an insertion tool having an insertion portion to be inserted into a lumen. By accurately detecting the position of the magnetic field generating element or the magnetic field detecting element in the insertion tool, the position of the insertion tool can be detected or estimated with high precision.
[0500]
43. An endoscope having a flexible insertion section that can be inserted into a subject, an illumination light emitting means for emitting illumination light to the distal end side of the insertion section, and an objective optical system for observing the illuminated subject; ,
A magnetic field generating means having a magnetic field generating element for generating a magnetic field around by applying a drive signal;
Magnetic field detection means having a magnetic field detection element for detecting a magnetic field generated by the magnetic field generation element;
Fixing means for fixing one of the magnetic field generating element and the magnetic field detecting element arranged in the insertion portion with an insulating member so that the shape of the magnetic field generating element or the magnetic field detecting element is not deformed;
Installation means for setting the other of the magnetic field generation element and the magnetic field detection element at a known position outside the subject;
A position of the magnetic field generating element or the magnetic field detection element arranged in the insertion portion with respect to a known position outside the subject is estimated from a detection signal detected by the magnetic field detection element outside the subject or in the insertion portion. Position estimation means;
An endoscope position detection apparatus comprising:
Although the configuration of the endoscope is more specifically described, it has substantially the same object, function, and effect as in claim 1.
[0501]
44. The endoscope insertion portion position detection device according to claim 43, wherein the one has a plurality of the magnetic field generation elements or magnetic field detection elements, and is inserted into the subject from a plurality of positions estimated by the position estimation means. Insertion portion shape estimation means for estimating the shape of the insertion portion.
45. The endoscope insertion portion position detection apparatus according to claim 44, further comprising display means for displaying an image corresponding to the shape of the insertion portion estimated by the insertion portion shape estimation means.
46. It is an endoscope insertion part position detection apparatus of Claim 43, Comprising: The said magnetic field generation element or a magnetic field detection element is fixed to the hard front-end | tip hard member provided in the front-end | tip of the said insertion part. 47. The endoscope insertion portion position detection device according to claim 43, wherein the insertion portion has a bendable bending portion, and the magnetic field generating element or the magnetic field detection element is a hard bending piece constituting the bending portion. Fixed.
48. The endoscope insertion portion position detection device according to claim 43, wherein the endoscope includes an imaging element having a function of photoelectric conversion, and the magnetic field generating element is within a non-imaging element driving period in which the imaging element is not driven. Drive.
49. An endoscope insertion portion position detection apparatus according to claim 43, wherein the endoscope includes an image sensor having a photoelectric conversion function, and drives the magnetic field generating element during an exposure period in which the image sensor is exposed. .
50. An endoscope insertion portion position detecting device according to claim 43, wherein the endoscope has a channel through which a treatment tool can be inserted, and one of the magnetic field generating element and the magnetic field detecting element is in the channel. Installed.
[0502]
51. Generation of the magnetic field by applying a drive signal for driving the magnetic field generating element to a magnetic field generating element that is installed in a flexible insertion part that can be inserted into the subject or is installed at a known position outside the subject. A driving step for generating a magnetic field around the element;
Magnetic field detection for detecting a detection signal corresponding to a magnetic field whose intensity changes according to the distance from the magnetic field generation element, with a magnetic field detection element installed at a known position outside the subject or installed in the insertion portion Steps,
A position for estimating the three-dimensional position where the magnetic field generation element or the magnetic field detection element installed in the insertion portion is estimated from the detection signal from each known position of the magnetic field generation element or the magnetic field detection element outside the subject. An estimation step;
The insertion part position detection method which has this.
A method for detecting the position of the insertion portion to be inserted into the subject is claimed.
52. The insertion part position detection method according to claim 51, wherein a plurality of the magnetic field generating elements or magnetic field detection elements are arranged in the insertion part, and the interior of the subject is referred to with reference to each three-dimensional position estimated in the position estimation step. A shape estimation step for estimating the shape of the insertion portion inserted into
A display step for displaying an image corresponding to the estimated insertion portion shape. An object is to display an image corresponding to the shape of the insertion portion to be inserted into the subject. The shape of the insertion part inserted into the subject is estimated with reference to each three-dimensional position estimated in the position estimation step, and an image corresponding to the estimated insertion part shape is displayed. For this reason, the user can visually grasp the state of the insertion portion, and can easily perform operations such as insertion of the insertion portion and other measures.
[0503]
53. In the insertion portion position detection method according to claim 51, when a plurality of the magnetic field detection elements are arranged, the drive step applies the drive signal to the magnetic field generation elements at different timings.
54. In the insertion portion position detection method of claim 51, when a plurality of the magnetic field detection elements are arranged, the magnetic field detection step uses different detection signals corresponding to the intensity of the magnetic field detected by each magnetic field detection element. Capture with.
55. The insertion portion position detection method according to claim 51, wherein the magnetic field detection element has a function of detecting magnetic field strength components in three orthogonal axial directions, and the position estimation step is prepared in advance corresponding to the detection signal. With reference to the reference data, it is calculated that the magnetic field detecting element or the magnetic field generating element in the insertion portion exists at a three-dimensional position in a three-dimensional region between the minimum distance and the maximum distance.
[0504]
56. The insertion portion position detection method according to claim 55, wherein the reference data can be detected at a known distance from the magnetic field generating element with respect to the magnetic field generated by the magnetic field generating element in consideration of the direction of the magnetic field generating element. The maximum value and the minimum value of the detection signal of the magnetic field detection element are data obtained by changing the known distance.
57. The insertion part position detection method according to claim 55, wherein the position estimation step includes the magnetic field in which a three-dimensional region in which the magnetic field detection element or the magnetic field generation element in the insertion part exists is arranged at a known position outside the subject. By performing for each of the detection element or the magnetic field generating element, it is calculated that it exists at a three-dimensional position in a common area of a plurality of three-dimensional areas.
58. It is an insertion part position detection method of Claim 51, Comprising: The said shape estimation step has a connection step which connects each three-dimensional position corresponding to each magnetic field detection element or each magnetic field generation element in the said insertion part.
59. It is an insertion part position detection method of Claim 58, Comprising: The said shape estimation step connects between each said three-dimensional position by interpolating.
60. The insertion portion position detection method according to claim 51, wherein the display step displays the shape of the insertion portion as an image corresponding to a projection shape simulated on a virtual screen facing the viewpoint.
[0505]
61. It is an insertion part position detection method of Claim 60, Comprising: The said display step can set the position of the said viewpoint arbitrarily.
62. The insertion portion position detection method according to claim 60, wherein the display step performs hidden surface or hidden line processing that does not display a portion invisible from the viewpoint side in an image corresponding to a projection shape simulated on the screen.
63. It is an insertion part position detection method of claim 60, Comprising: The said display step displays the said image perspectively according to the distance value from a viewpoint.
64. It is an insertion part position detection method of Claim 60, Comprising: When the said display step displays with the said projection shape, the stereoscopic effect emphasis process which emphasizes a stereoscopic effect is performed.
65. The insertion portion position detection method according to claim 64, wherein the stereoscopic effect enhancement process is performed by changing at least one of a color gradation, a luminance gradation, a saturation, and a hue according to a reflection model using pseudo rays. Emphasize the feeling.
[0506]
66. In the insertion portion position detection method according to claim 51, when the display step displays an image corresponding to the shape of the insertion portion, the display step displays it in a pseudo manner as a polygonal column having a polygonal cross section.
67. The insertion portion position detection method according to claim 66, wherein the display step paints the surface of the polygonal column.
68. It is an insertion part position detection method of Claim 66, Comprising: The said display step displays the said polygonal column with a wire frame.
69. In the insertion portion position detection method according to claim 51, when the display step displays an image corresponding to the shape of the insertion portion, the insertion portion is displayed in a pseudo manner as a connected polygon obtained by connecting polygons.
70. In the insertion portion position detection method of claim 51, the display step displays the image by performing processing corresponding to a specified command.
[0507]
71. The insertion position detection method according to claim 70, wherein the command performs an affine transformation process.
72. The insertion portion position detection method according to claim 71, wherein the command using the affine transformation rotates the image around at least one coordinate axis of three-dimensional orthogonal coordinates, or enlarges or reduces the image.
73. The insertion portion position detection method according to claim 72, wherein the command is displayed in a state corresponding to a case where the image is viewed from a predefined viewpoint position, and corresponds to a case where the command is viewed from a viewpoint position registered by a user. Display in a state that is displayed, display in a state corresponding to when viewed from a specified viewpoint position on each of the plurality of divided screens, display of a comment input screen, change the background color of the image, together with the image This corresponds to an instruction to perform at least one processing of ON / OFF of marker display, ON / OFF of numerical display of the three-dimensional position, and termination of the program to be displayed.
74. In the insertion portion position detection method according to claim 52, when the display step displays the image, the display color of the image is changed for each predetermined length of the insertion portion. 75. It is an insertion part position detection method of Claim 52, Comprising: The said display step displays reference surfaces, such as the upper surface of the bed in which the said subject is mounted.
[0508]
76. An insertion tool having a flexible insertion section that can be inserted into a subject;
A first coil element provided in the insertion portion and fixed in shape by an insulating member;
A second coil element disposed at a known position outside the subject;
Drive signal generating means for applying a drive signal to one of the first and second coil elements to generate a magnetic field around the one;
Magnetic field detection means for detecting a detection signal corresponding to the magnetic field formed at the other position on the other of the first and second coil elements;
Position calculation means for calculating a three-dimensional position or a three-dimensional region where the first coil element in the insertion portion exists based on a known position outside the subject from the detection signal;
The insertion part position detection apparatus which comprises.
1 is a more specific configuration, and its purpose, action, and effect are almost the same as those of 1.
77. The insertion portion position detection device according to claim 76, wherein the shape estimation means for estimating the shape of the insertion portion using information on the three-dimensional position or the three-dimensional region, and an image corresponding to the estimated shape of the insertion portion And image display means for displaying.
[0509]
【The invention's effect】
As described above, according to the present invention, it is possible to set an environment in which a magnetic field generated on the mounting table is not affected, and a detection target formed by three magnetic field generating elements or magnetic field detecting elements on the mounting table. The area can be set, and the position of the insertion portion can be detected with higher accuracy. In addition, it is possible to detect the position of the insertion portion with higher accuracy by correcting the difference in output characteristics due to the difference in diameter of each coil of the three-axis coil.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an endoscope system having a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an endoscope shape detection device.
FIG. 3 is an external view of an endoscope.
FIG. 4 is an overall configuration diagram of an endoscope apparatus.
FIG. 5 is a cross-sectional view showing the configuration of the tip side of the probe.
FIG. 6 is a cross-sectional view showing a configuration of a probe.
FIG. 7 is an explanatory diagram showing a state in which the position of the source coil of the probe is detected using a sense coil.
FIG. 8 is a block diagram showing a specific configuration of the endoscope shape detection apparatus.
FIG. 9 is a flowchart for explaining the operation of driving a source coil and detecting a signal by a sense coil.
FIG. 10 is a timing diagram for explaining the operation of driving a source coil and detecting a signal by a sense coil.
FIG. 11 is an explanatory diagram showing a state in which the existence range of one source coil in the endoscope is detected by a plurality of sense coils provided around the bed.
FIG. 12 is an explanatory diagram showing the shape of an isomagnetic surface formed by a single-axis coil.
FIG. 13 is an explanatory diagram showing how position correction is performed from tilt.
FIG. 14 is an explanatory diagram showing an endoscope-shaped output image displayed on a monitor screen.
FIG. 15 is a flowchart showing the processing contents of the endoscope shape detection apparatus.
FIG. 16 is a characteristic diagram showing a graph measured by changing the distance between the maximum magnetic field strength and the minimum magnetic field strength detected by the sense coil at a known distance between the sense coil and the source coil in the shield room.
17 is an explanatory diagram of a measurement method and the like for obtaining the data of FIG.
FIG. 18 is a comparative diagram showing that the measured values in the shield room and the living room are almost the same.
FIG. 19 is a flowchart of magnetic field strength calculation processing.
FIG. 20 is a flowchart of keyboard input processing.
FIG. 21 is a flowchart of command processing.
FIG. 22 is a flowchart of scope image drawing processing.
FIG. 23 is a flowchart of scope image description processing in an n-prism model.
FIG. 24 is a flowchart of building an n-prism model.
FIG. 25 is an explanatory diagram of origin movement and the like in the construction of an n-prism model.
FIG. 26 is an explanatory diagram of a process of creating n-prism data by rotating a vector perpendicular to a vector parallel to the y-axis at a constant angle in the construction of an n-prism model.
FIG. 27 is an explanatory diagram showing a state in which n-prism model data is generated by performing inverse transformation to an original vector.
FIG. 28 is an explanatory diagram showing a limitation when generating n-prism model data.
FIG. 29 is an explanatory diagram showing shaft rotation by affine transformation.
FIG. 30 is an explanatory diagram of changing the viewpoint change to rotation of the world coordinate system.
FIG. 31 is an explanatory diagram illustrating a state in which projection conversion is performed from three-dimensional coordinates to two-dimensional coordinates.
FIG. 32 is an explanatory diagram of the world coordinate system and the like.
FIG. 33 is an explanatory diagram of a process for displaying a stereoscopic image and a coordinate system employed.
FIG. 34 is a flowchart of hidden line processing in an n-prism model.
FIG. 35 is an explanatory diagram of flicker prevention processing.
FIG. 36 is a flowchart for shading processing using colors.
FIG. 37 is a flowchart for shading processing using colors.
FIG. 38 is a flowchart for performing shading processing using luminance and saturation.
FIG. 39 is a flowchart of an n-prism model using a wire frame.
FIG. 40 is an explanatory diagram showing a display example of an endoscope shape.
FIG. 41 is a flowchart for displaying in an n-square connection model.
FIG. 42 is a flowchart of a drawing process in an n-square connection model.
FIG. 43 is an explanatory diagram showing an example of display by wire frame display.
FIG. 44 is a block diagram showing an overall configuration of an endoscope shape detection device according to a first modification of the first embodiment.
FIG. 45 is a timing chart for explaining operations;
FIG. 46 is an explanatory diagram in which the cables of the source coil and the sense coil are shielded.
FIG. 47 is an explanatory diagram showing a state in which sense coils are arranged at four locations on a bed.
FIG. 48 is an explanatory diagram of the operation of changing the detection range by increasing or decreasing the drive current in the second modification of the first embodiment.
FIG. 49 is a block diagram showing an overall configuration of an endoscope shape detection device according to a second embodiment of the present invention.
FIG. 50 is a block diagram showing a more specific configuration of the endoscope shape detection apparatus according to the second embodiment.
FIG. 51 is a flowchart showing magnetic field generation and magnetic field detection processing according to the second embodiment;
FIG. 52 is an explanatory diagram showing a monitor screen that displays an endoscope shape and the like.
FIG. 53 is an overall configuration diagram of an endoscope system including a third embodiment of the present invention.
FIG. 54 is a block diagram showing the configuration of the endoscope shape detection apparatus according to the third embodiment.
FIG. 55 is a diagram showing a sensor formed with a magnetoresistive element, its equivalent circuit, and characteristics.
FIG. 56 is an explanatory diagram showing a relationship between a sensor and a source according to the third embodiment of the present invention.
FIG. 57 is an explanatory diagram showing a data table of sensor A.
FIG. 58 is an explanatory diagram showing that a source position is determined from a space coordinate group corresponding to output data.
FIG. 59 is an explanatory diagram showing a state in which the source position determined in FIG. 58 is displayed.
FIG. 60 is a block diagram showing a configuration of an endoscope shape detecting apparatus according to a fourth embodiment of the present invention.
FIG. 61 is a block diagram showing a configuration of an endoscope shape detection device according to a fifth embodiment of the present invention.
FIG. 62 is an overall configuration diagram of an endoscope system including a sixth embodiment of the present invention.
FIG. 63 is an explanatory diagram in which the CCD drive signal period and the drive signal period do not overlap.
FIG. 64 is an overall configuration diagram of an endoscope system including a seventh embodiment of the present invention.
FIG. 65 is an explanatory diagram for detecting the position of a patient.
FIG. 66 is an explanatory diagram for performing position detection and shape detection drive in a time-sharing manner.
FIG. 67 is a flowchart showing the contents of processing in the eighth embodiment of the present invention.
FIG. 68 is a flowchart showing the contents of processing in a modification of the eighth embodiment.
FIG. 69 is an explanatory diagram of a processing operation according to the ninth embodiment of the present invention.
FIG. 70 is an explanatory diagram of a texture to be pasted.
FIG. 71 is an explanatory diagram of images and the like displayed according to the tenth embodiment of the present invention.
FIG. 72 is a flowchart of a process for displaying a different color for each fixed length according to the tenth embodiment.
FIG. 73 is a configuration diagram of an endoscope shape detection device according to an eleventh embodiment of the present invention.
FIG. 74 is a flowchart showing processing details for generating a background image according to the eleventh embodiment;
FIG. 75 is a block diagram showing the configuration of the probe side in the twelfth embodiment of the present invention.
76 is a more specific configuration diagram of FIG. 75. FIG.
77 is a configuration diagram of a reference signal generation circuit and the like. FIG.
FIG. 78 is a configuration diagram of a magnetic field generation unit in a modification of the twelfth embodiment.
FIG. 79 is a diagram showing a palm position detecting device according to a thirteenth embodiment of the invention.
FIG. 80 is an explanatory diagram showing a display example of a monitor screen.
FIG. 81 is a configuration diagram of an endoscope shape detecting device according to a first modification of the thirteenth embodiment.
FIG. 82 is a flowchart showing the processing contents of marker setting by operating the operation panel of the first modified example.
FIG. 83 is a diagram showing a palm position detecting device according to a second modification of the thirteenth embodiment.
FIG. 84 is an explanatory view showing a plane and the like formed by three source coils of the second modification.
FIG. 85 is a flowchart of the marker display operation in the second modified example.
FIG. 86 is a diagram showing a palm position detecting device according to a third modification of the thirteenth embodiment.
FIG. 87 is an explanatory diagram showing a plane and the like formed by two source coils of a third modified example.
FIG. 88 is a flowchart of marker display operations in the third modification.
FIG. 89 is a perspective view showing an example in which means for detecting a magnetic field in three axial directions is formed by a magnetoresistive element and a step motor.
FIG. 90 is a diagram showing a sensor connected to a magnetoresistive element and a magnetoresistive element formed with a connection hole.
FIG. 91 is a diagram showing a sensor in which magnetoresistive element portions having different detection directions are provided on the same surface.
FIG. 92 is an explanatory diagram showing a sensor positioning method and the like.
FIG. 93 is an explanatory view showing a state in which positioning is performed using a cylindrical split mold.
[Explanation of symbols]
1. Endoscope system
2. Endoscope device
3. Endoscope shape detection device
4 ... Bed
5 ... Patient
6 ... Endoscope
7 ... Insertion section
11 ... Video processor
12. Color monitor
13 ... Channel
15 ... Probe
16i ... Source coil
20 ... Adhesive
21 ... Shape detection device main body
22j ... 3-axis sense coil
23. Monitor
24 ... Source coil drive section
26: Detection unit
30 ... Shape calculation part
31 ... Position detection unit
32. Shape image generator
33 ... Monitor signal generator
34 ... System control unit
35 ... Control panel

Claims (2)

被検体内に挿入可能な可撓性の挿入部を有し、該挿入部内に磁界を発生する磁界発生素子及び発生した磁界を検出する磁界検出素子のうちの一方が設けられてなる挿入具と、
前記被検体が載置可能になされ、前記磁界発生素子及び前記磁界検出素子のうちの他方が少なくとも3つ設けられてなる載置台と、
前記磁界発生素子と前記磁界検出素子との磁気結合によって得られる情報に基づいて、前記挿入部内に設けられた前記磁界発生素子及び前記磁界検出素子のうちの一方の素子の、前記載置台に設けられた前記磁界発生素子及び前記磁界検出素子のうちの他方の素子に対する位置を推定する位置推定手段と、
を備え、
前記載置台は、前記磁界発生素子の駆動により発生する磁界に対して影響を及ぼさない部材で形成され、前記被検体が載置される部位に検出対象領域が形成されるように前記少なくとも3つの磁界発生素子又は磁界検出素子が配置され、
前記磁界検出素子は、直交する3つの軸方向にそれぞれ指向性を有するように巻回された3つのコイルを有する3軸コイルで構成され、
前記位置推定手段は、前記3軸コイルの各軸に固有の、当該コイルの径の違いによる補正係数を用いて、前記挿入具の挿入部内に設けられた前記磁界発生素子又は前記磁界検出素子の位置を推定する際に得られる、当該各3軸コイルの各出力における位相の違いを補正する補正手段を有する、
ことを特徴とする挿入部位置検出装置。
An insertion tool having a flexible insertion part that can be inserted into a subject, and provided with one of a magnetic field generation element that generates a magnetic field and a magnetic field detection element that detects the generated magnetic field in the insertion part; ,
A mounting table on which the subject can be mounted, and the other of the magnetic field generating element and the magnetic field detecting element is provided;
Based on information obtained by magnetic coupling between the magnetic field generation element and the magnetic field detection element, provided on the mounting table of one of the magnetic field generation element and the magnetic field detection element provided in the insertion portion. Position estimating means for estimating a position of the magnetic field generating element and the magnetic field detecting element with respect to the other element ,
With
The mounting table is formed of a member that does not affect the magnetic field generated by driving the magnetic field generating element, and the at least three detection target regions are formed in a region where the subject is mounted. A magnetic field generating element or a magnetic field detecting element is disposed;
The magnetic field detection element is composed of a three-axis coil having three coils wound so as to have directivity in three orthogonal axial directions, respectively.
The position estimating means uses the correction coefficient due to the difference in the diameter of the coil inherent to each axis of the three-axis coil, and the magnetic field generating element or the magnetic field detecting element provided in the insertion portion of the insertion tool. Having a correcting means for correcting a phase difference in each output of each of the three-axis coils obtained when estimating the position ;
The insertion part position detection apparatus characterized by the above-mentioned.
前記位置推定手段は、前記挿入具に設けられた前記磁界発生素子又は磁界検出素子と無線で接続されることを特徴とする請求項1に記載の挿入部位置検出装置。The insertion position detection apparatus according to claim 1, wherein the position estimation unit is wirelessly connected to the magnetic field generation element or the magnetic field detection element provided in the insertion tool .
JP2003046500A 1994-04-21 2003-02-24 Insertion position detection device Expired - Fee Related JP3772151B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003046500A JP3772151B2 (en) 1994-04-21 2003-02-24 Insertion position detection device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6-83291 1994-04-21
JP8329194 1994-04-21
JP2003046500A JP3772151B2 (en) 1994-04-21 2003-02-24 Insertion position detection device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP13746894A Division JP3506770B2 (en) 1993-10-18 1994-06-20 Endoscope position detection device

Publications (2)

Publication Number Publication Date
JP2003275164A JP2003275164A (en) 2003-09-30
JP3772151B2 true JP3772151B2 (en) 2006-05-10

Family

ID=29217481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003046500A Expired - Fee Related JP3772151B2 (en) 1994-04-21 2003-02-24 Insertion position detection device

Country Status (1)

Country Link
JP (1) JP3772151B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525135A (en) * 2015-08-28 2018-09-06 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Method and apparatus for determining motion relationship

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4472414B2 (en) 2004-04-26 2010-06-02 オリンパス株式会社 Endoscope
JP4542370B2 (en) * 2004-05-24 2010-09-15 オリンパス株式会社 Intra-subject introduction device
JP2005338551A (en) * 2004-05-28 2005-12-08 Olympus Corp Industrial endoscope
JP4716716B2 (en) * 2004-11-25 2011-07-06 オリンパス株式会社 Ultrasonic diagnostic equipment
JP2006212187A (en) * 2005-02-03 2006-08-17 Pentax Corp Electronic endoscope system
JP2006223730A (en) * 2005-02-21 2006-08-31 Pentax Corp Electronic endoscope system
JP4789570B2 (en) * 2005-10-07 2011-10-12 オリンパス株式会社 In-subject information acquisition device
JP5084139B2 (en) * 2005-12-12 2012-11-28 オリンパスメディカルシステムズ株式会社 Endoscope device
US7816915B2 (en) * 2006-01-06 2010-10-19 Biosense Webster, Inc. Miniature coils on core with printed circuit
IL187667A (en) * 2006-11-27 2011-12-29 Mediguide Ltd System and method for navigating a surgical needle toward an organ of the body of a patient
US8971993B2 (en) 2010-11-19 2015-03-03 Mediguide Ltd. Systems and methods for navigating a surgical device
WO2016021633A1 (en) * 2014-08-05 2016-02-11 国立大学法人東京医科歯科大学 Biomagnetism measurement device
JP6626844B2 (en) * 2015-01-22 2019-12-25 オリンパス株式会社 Fiber sensor system and endoscope device equipped with the same
EP3725225A1 (en) * 2015-02-12 2020-10-21 Foundry Innovation & Research 1, Ltd. Implantable devices for heart failure monitoring
AU2016225963B2 (en) 2015-03-05 2021-05-13 Magic Leap, Inc. Systems and methods for augmented reality
JP6458742B2 (en) * 2016-01-20 2019-01-30 オムロン株式会社 Proximity sensor
JP6464110B2 (en) * 2016-03-24 2019-02-06 Hoya株式会社 Endoscope shape grasp system
CN107438389B (en) * 2016-03-31 2019-07-19 Hoya株式会社 Endoscope-shape holds system
JP6595424B2 (en) * 2016-08-26 2019-10-23 株式会社ジャパンディスプレイ Input detection device
JP6924443B2 (en) * 2018-06-28 2021-08-25 マグネデザイン株式会社 3D magnetic field detector
JP7124809B2 (en) * 2019-08-20 2022-08-24 株式会社豊田中央研究所 Load measuring device
JP7098583B2 (en) * 2019-08-20 2022-07-11 富士フイルム株式会社 Endoscope system and how to operate it

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525135A (en) * 2015-08-28 2018-09-06 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Method and apparatus for determining motion relationship

Also Published As

Publication number Publication date
JP2003275164A (en) 2003-09-30

Similar Documents

Publication Publication Date Title
JP3506770B2 (en) Endoscope position detection device
JP3772151B2 (en) Insertion position detection device
US5840024A (en) Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
JPH08107875A (en) Endoscope shape detector
EP2637593B1 (en) Visualization of anatomical data by augmented reality
CN109998678A (en) Augmented reality assisting navigation is used during medicine regulation
US20050187432A1 (en) Global endoscopic viewing indicator
US6773393B1 (en) Apparatus and method for detecting and displaying form of insertion part of endoscope
US6049622A (en) Graphic navigational guides for accurate image orientation and navigation
CN108430373A (en) Device and method for the position for tracking endoscope in patient&#39;s body
JP2008532602A (en) Surgical navigation and microscopy visualization method and apparatus
US20050015005A1 (en) Computer enhanced surgical navigation imaging system (camera probe)
JP3450526B2 (en) Endoscope shape detector
JP5841695B2 (en) Capsule endoscope system
KR20030060492A (en) Apparatus and method for displaying virtual endoscopy diaplay
CN101467894A (en) Flashlight view of an anatomical structure
JP2000279425A (en) Navigation device
US11678860B2 (en) System for visualization and control of surgical devices utilizing a graphical user interface
EP3683773A1 (en) Method of visualising a dynamic anatomical structure
JP4159396B2 (en) Endoscope shape detection device
JP2017205343A (en) Endoscope device and method for operating endoscope device
US20220175485A1 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
US20220125518A1 (en) Tool for inserting an implant and method of using same
US20220392607A1 (en) Image acquisition visuals for augmented reality
WO2001065490A2 (en) Method and system for selecting and displaying a portion of an image of a body

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120217

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees