JP3850217B2 - Endoscope position detector for bronchi - Google Patents
Endoscope position detector for bronchi Download PDFInfo
- Publication number
- JP3850217B2 JP3850217B2 JP2000399113A JP2000399113A JP3850217B2 JP 3850217 B2 JP3850217 B2 JP 3850217B2 JP 2000399113 A JP2000399113 A JP 2000399113A JP 2000399113 A JP2000399113 A JP 2000399113A JP 3850217 B2 JP3850217 B2 JP 3850217B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- bronchial
- endoscope
- dimensional image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、少なくとも内視鏡挿入部の位置情報を基に、内視鏡を目的部位までスムーズに案内する気管支用内視鏡位置検出装置に関する。
【0002】
【従来の技術】
近年、医療用分野で内視鏡が広く用いられている。この内視鏡のうち、特に挿入部が軟性のものは、体腔内の屈曲した管路に挿入することにより、体表面を切開することなく体腔内深部の臓器を診断したり、必要に応じて内視鏡の有するチャンネル内に処置具を挿通してポリープ等を切除する治療処置を行うことができる。しかし、屈曲した体腔内に挿入部を円滑に挿入するためにはある程度の熟練を必要とする。
【0003】
つまり、挿入部を円滑に挿入するためには、管路の屈曲状態に応じて挿入部に設けた湾曲部を湾曲操作したり、把持部を捻り操作する等の作業が必要になる。そして、そのとき挿入部の先端位置が体腔内のどの位置にあるかとか、体腔内にある挿入部の屈曲形状がどのような形状であるか等がわかると便利である。
【0004】
そのため、例えば特開平8−0542号公報には必要とされる検出範囲内で精度良く内視鏡の三次元的な位置を検出できる内視鏡位置検出装置が示されている。この内視鏡位置検出装置は、磁界発生素子と磁界検出素子とを用いて内視鏡の位置を検出する。
【0005】
一方、内視鏡を関心部位まで容易に到着させる管路ナビゲーション方法として、例えば、特開平2000−135215号公報には気管支等のような体内の管路への内視鏡の挿入を支援する管路案内方法および装置、並びに、そのような管路案内装置を備えた放射線断層撮影装置が示されている。この管路案内方法および装置、並びに、そのような管路案内装置を備えた放射線断層撮影装置では、X線照射・検出装置のヘリカルスキャンで得られたプロジェクションに基づいて、中央処理装置で仮想的な内視鏡像、関心部位の生検を行なうための案内画像を生成していた。
【0006】
【発明が解決しようとする課題】
しかしながら、例えば末梢肺野で好発する腺癌の診断では、気管支の太さが3ミリ程度の分岐次数で第7又は第8分岐以降が多く、第15ないし第18分岐程度で肺胞に到達する。この第15次気管支における太さは2ミリ程度であるため、現在の観察装置の性能では末端の気管支までの画像を造影できない場合がある。つまり、末端部までの気管支3次元画像を得難いという問題があった。
【0007】
また、関心部位までの経路が断片的な情報提供、即ち、内視鏡先端の位置情報が常にリアルタイムで気管支3次元画像上に表示されないため、気管支内における道筋がわかり難いといった問題があった。
【0008】
本発明は上記事情に鑑みてなされたものであり、観察又は処置を行う場合、管路及び挿入道筋を明らかにして、内視鏡及び処置具の誘導を正確且つ迅速に行える気管支用内視鏡位置検出装置を提供することを目的にしている。
【0009】
【課題を解決するための手段】
本発明の気管支用内視鏡位置検出装置は、磁界発生素子と、磁界検出素子とを用いて気管支に挿入された気管支用の内視鏡挿入部の先端位置を検出する挿入部先端位置検出手段と、少なくとも、予め取得した被検体の気管支における連続するスライス断層像から作成した、未造影末端部を含む基準気管支3次元画像データを格納する基準気管支3次元画像データ記憶手段と、前記基準気管支3次元画像データ記憶手段に記憶された前記基準気管支3次元画像データを読み出して基準気管支3次元画像として表示手段に表示するよう制御する基準気管支3次元画像表示制御手段と、前記基準気管支3次元画像表示制御手段の制御下に前記表示手段に表示された前記基準気管支3次元画像に対して、前記挿入部先端位置検出手段により検出された内視鏡挿入部の先端位置の位置補正を行う先端位置補正手段と、前記先端位置補正手段により先端位置が補正された後、当該内視鏡挿入部の先端位置の軌跡情報を所定のサンプリング周波数に基づいて取得する先端位置軌跡情報取得手段と、前記先端位置軌跡情報取得手段により取得された内視鏡挿入部の先端位置の軌跡情報に基づいて、前記基準気管支3次元画像データにおける未造影末端部に係る画像データを生成する未造影末端部画像データ生成手段と、前記未造影末端部画像データ生成手段によって生成された未造影末端部画像データを前記基準気管支3次元画像データに対して追加して合成気管支3次元画像データを生成する合成気管支3次元画像データ生成手段と、前記合成気管支3次元画像データ生成手段によって生成された合成気管支3次元画像データを新たな気管支3次元画像データとして記憶する合成気管支3次元画像データ記憶手段と、を具備したことを特徴とする。
【0010】
この構成によれば、まず、内視鏡を一度挿抜することによって、予め取得した気管支3次元画像データに軌跡画像を合成した画像が作成される。内視鏡を再び挿入させる際には、前回の挿抜で作成された合成画像を参照することにより関心部位まで内視鏡をスムーズに案内することが可能になる。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図11は本発明の一実施形態に係り、図1は内視鏡システムを説明する図、図2は内視鏡を説明する図、図3は内視鏡とビデオプロセッサとを説明する図、図4は内視鏡に挿通されるプローブの先端部を説明する図、図5はブロック図、図6は実際の気管支を示す図、図7はCTスキャンによって得られた気管支3次元画像を説明する図、図8は位置情報を補正するスイッチ入力位置を説明する図、図9は気管支3次元画像に軌跡情報より得られた未造影末端部画像を合成した合成3次元気管支画像説明する図、図10は気管支画像作成処理を説明するフローチャート、図11は追加データの表示例を説明する図である。
【0012】
なお、図9(a)は軌跡情報より得られた未造影末端部画像を追加した合成3次元気管支画像を示す図、図9(b)は軌跡情報より得られた未造影末端部画像部分を説明する拡大図、図11(a)は追加データをプロット表示した合成3次元気管支画像を示す図、図11(b)は追加データをドット表示した合成3次元気管支画像を示す図である。
【0013】
図1に示すように本実施形態の内視鏡システム1は、内視鏡6を用いて検査等を行う内視鏡装置2と、この内視鏡装置2とともに使用され、前記内視鏡6の挿入部7の少なくとも先端位置を検出する機能を備え、さらに挿入部7の3次元位置を推定してその先端部の対応する位置をモニタ23に表示させる内視鏡位置検出装置3とで主に構成されている。
【0014】
ベッド4上に横たわる患者5の気管支には例えば図2に示す内視鏡6の挿入部7が挿入される。この内視鏡6は細長で、前記挿入部7とその後端に配設された操作部8と、この操作部8の側部から延出するユニバーサルケーブル9とを有して構成されている。このユニバーサルケーブル9の末端部にはコネクタ9Aが設けてあり、このコネクタ9Aの側部からは信号ケーブル9Bが延出している。この信号ケーブル9Bの末端部には信号用コネクタ9Cが設けてある。
【0015】
そして、図3に示すようにコネクタ9Aは、前記ビデオプロセッサ11内の光源部36に着脱自在に接続され、前記信号用コネクタ9Cは信号処理部37に着脱自在に接続されるようになっている。
【0016】
前記挿入部7内には中空のチャンネル13が形成されている。このチャンネル13の基端部である挿入口13aから鉗子等の処置具を挿入して、処置具の先端側が挿入部先端面のチャンネル出口から突出させることによって、患部等に対して治療処置等を行える。また、前記チャンネル13には位置検出のためのプローブ15が挿入可能であり、このプローブ15の先端側をチャンネル13内の所定位置(後述する図4参照)に設置することができるようになっている。
【0017】
前記挿入部7内には照明光を伝送するライトガイド38が挿通している。このライトガイド38は、挿入部7、操作部8、ユニバーサルケーブル9内を通ってコネクタ9Aに至っている。このコネクタ9Aの端面には前記光源部36内のランプ36Aの照明光が集光されるようになっている。このことにより、ランプ36Aの照明光は、コネクタ9Aの端面に集光され、ライトガイド38内を伝送されて挿入部7の先端部に設けた照明光出射手段を形成する照明窓から前方方向に向かって出射される。
【0018】
前記照明窓から出射された照明光により明らされた気管支内の内壁、あるいは患部等の被写体は、この照明窓に隣接して配置されている観察窓に取り付けた対物レンズ39によってその焦点位置に配置された固体撮像素子としてのCCD29の撮像面に像を結ぶ。
【0019】
前記CCD29は、信号処理部37内のCCDドライブ回路37Aから出力されるCCDドライブ信号が印可されることにより、CCD29で光電変換された画像信号が読み出され、挿入部7内を通る信号線を経て信号処理回路37Bで標準的な映像信号に変換してカラーモニター12に出力する。
【0020】
一方、前記操作部8には湾曲操作ノブ8Aが設けてある。術者が、この湾曲操作ノブ8Aを回動操作することにより、挿入部7の先端付近に形成された湾曲自在な湾曲部7Aを湾曲させることができる。この湾曲部7Aを設けたことによっ、屈曲した気管支内経路にもその屈曲に沿うように先端側を湾曲させながら挿入を行なえる。また、前記操作部8には内視鏡装置2及び信号接続ケーブル14を経由して内視鏡位置検出装置本体21に指示信号を出力する、ON/OFF操作の可能なスイッチ手段としての操作スイッチ8Bが設けてある。
【0021】
図4に示すように前記プローブ15には、磁界を発生する磁界発生素子としてのソースコイル16が絶縁体であって可撓性を有する断面形状が円形のチューブ19の先端部内壁に絶縁性の接着剤20で固定されている。
【0022】
前記ソースコイル16は、例えば絶縁性で硬質な円柱状のコア10に、絶縁被膜された導線が巻かれたソレノイド状コイルで構成され、更にこのコイルの外周面に絶縁性の接着剤20を塗布してコイルをコア10に絶縁被膜した状態で固定するとともにチューブ19の内壁にも固定している。
【0023】
硬質のコア10に導線が巻かれ前記ソースコイル16は、接着剤20で固定されているので、たとえチューブ19が屈曲されて変形した場合でも、このソースコイル16自身はその形状が変形しない構造であり、磁界発生の機能は不変である。そして、前記ソースコイル16の位置は、内視鏡6の既知の位置であるので、ソースコイル11の位置を検出することにより、内視鏡6の挿入部7の先端位置が検出される。
【0024】
前記ソースコイル16に接続されたリード線17は、プローブ15の後端に設けた、あるいはプローブ15の後端から延びるケーブルの後端に設けたコネクタ18に接続されている。このコネクタ18は、内視鏡位置検出装置本体21のコネクタ受けに接続されている。このため、内視鏡位置検出装置本体21の後述するソースコイル駆動部(図5の符号24参照)から出力された駆動信号がソースコイル16に印加されることによって、位置検出に利用される磁界が発生する。
【0025】
そして、前記図1に示すようにベッド4の所定の位置である例えば3箇所の隅にはそれぞれ前記ソースコイル16からの磁界を検出する磁界検出素子として3軸センスコイル22a、22b、22c(以下、22jで代表する)が取り付けてある。これらの3軸センスコイル22jは、ベッド4から延びたケーブルを介して内視鏡位置検出装置本体21に接続されている。
【0026】
前記3軸センスコイル22jは、図示はしないがそれぞれのコイル面が直交するように3方向にそれぞれ巻かれ、各コイルはそのコイル面に直交する軸方向成分の磁界強度に比例した信号を検出する。そして、前記内視鏡位置検出装置本体21は、3軸センスコイル22jの出力に基づいてソースコイル16の位置を検出して患者5内に挿入された内視鏡6の挿入部7の位置を推定する一方、推定した位置をモニター23の画面上にマーキング表示する。
【0027】
前記内視鏡位置検出装置3は磁気を利用している。したがって、磁気に対して透明でない金属が存在すると、鉄損などによる影響を受けて、磁界発生用のソースコイル16と、検出用3軸センスコイル22jとの間の相互インダクタンスに影響を与える。
【0028】
一般に、相互インダクタンスをR+jXで表すと、磁気に対して透明でない金属はこのR、X両者に影響を及ぼすことになる。この場合、微少磁界の検出で、一般に用いられている直交検波で測定される信号の振幅、位相が変化することになる。そのため、精度良く信号を検出には、発生する磁界が影響を受けない環境を設定することが望ましく、これを実現するためには磁気的に透明な材料、つまり磁界に影響を及ぼさない材料でベッド4を作れば良い。
【0029】
なお、この磁気的に透明な材料としては例えば、デルリン等の樹脂、木材、被磁性材金属であれば良く、実際には、ソースコイル16の位置検出に交流磁界を用いるため、駆動信号の周波数において磁気的に影響のない材料で形成しても良い。そこで、本内視鏡位置検出装置3と共に使用する前記ベッド4は、少なくとも発生する磁界の周波数において磁気的に透明な被磁性材で構成してある。
【0030】
図5に示すように前記内視鏡位置検出装置本体21のソースコイル駆動部24から前記内視鏡6のチャンネル13内に設置されるプローブ15の所定位置に配置されたソースコイル16に駆動信号が供給されるようになっている。そして、駆動信号をソースコイル16に印加することにより、このソースコイル16の周辺に磁界が発生する。
【0031】
前記ソースコイル駆動部24は、磁界発生用発信部25から供給される交流信号を増幅して必要な磁界を発生するための駆動信号を出力する。前記磁界発生用発信部25の交流信号は、ベッド4に設けられた3軸センスコイル22jで検出される微小な磁界を検出するための相互インダクタンス検出部26に参照信号として送出される。
【0032】
前記3軸センスコイル22jで検出される微小な磁界検出信号は、センスコイル出力増幅器27で増幅され、その後前記相互インダクタンス検出部26に入力される。この相互インダクタンス検出部26では前記参照信号を基準にして、増幅、直交検波(同期検波)を行い、コイル間の相互インダクタンスに関連した信号を取得する。
【0033】
前記相互インダクタンス検出部26で得られた信号は、ソースコイル位置検出部31に入力される。このとき入力されたアナログ信号はデジタル信号に変換されて位置検出の計算を行い、ソースコイル16に対して推定される位置情報を得て、この位置情報をマップ画像生成部32に送る。そして、このマップ画像生成部32に送られた位置情報は、モニター信号生成部33及びシステム制御部34へ送られる。
【0034】
前記モニター信号生成部33では画像をモニタ23の画面上に表示させることが可能なRGBあるいはNTSCあるいはPAL方式の映像信号を生成して前記モニター23に出力する。このことにより、モニター23の画面上に表示されている後述する合成3次元気管支画像上に内視鏡6の先端位置が表示される。
【0035】
前記システム制御部34は、CPU等で構成された制御部34a、マップ情報合成手段であるマップ情報合成回路34b、位置情報記憶手段である位置情報記憶部34c、位置情報補正手段である位置情報補正回路34dが設けられ、前記ソースコイル位置検出部31、マップ画像生成部32、モニター信号生成部33の動作等を制御する。
【0036】
前記システム制御部34には、キーボードやスイッチ等を備えた操作パネル35が接続されている。この操作パネル35のキーボード等を操作することによって例えば、前記制御部34aを介して予め画像データ記憶部37に記憶されている図7に示すような患者5の気管支3次元画像41を選択的にモニター23の画面上に表示させられる。
【0037】
なお、患者5の気管支3次元画像41のデータは、この内視鏡システム1と図示しないLAN等で接続された記録装置のCTスキャンデータを基にモデル化したものであり、術前等にデータ記憶部37に事前に登録したものである。
【0038】
前記システム制御部34の位置情報補正回路34dは、内視鏡6の操作スイッチ8Bを操作して出力された指示信号が内視鏡装置2、信号接続ケーブル14を経由してSW入力部36に入力されると、この信号を基に気管支3次元画像41と操作スイッチ8Bが投入された時点における内視鏡先端座標とをソースコイル位置検出部31より取得して所定の補正処理を行う。
【0039】
前記システム制御部34のマップ情報合成回路34bでは、前記気管支3次元画像41と、前記位置情報記憶部34cに記録された座標位置サンプリング値とを基に合成3次元気管支画像データを構築し、この合成3次元気管支画像データをマップ画像生成部32へ送る。そして、このマップ画像生成部32では最終的に合成した、つまり気管支3次元画像41に軌跡情報より得られた未造影末端部画像(図9(b)の破線部参照)を合成した合成3次元気管支画像データを前記モニター信号生成部33に送る。そして、このモニター信号生成部33では前記合成3次元気管支画像データに、現在の内視鏡先端位置を例えばX印で示す画像データを重畳する。
【0040】
このことにより、モニター23の画面上には合成3次元気管支画像43が表示されるとともに、この合成3次元気管支画像43上に現在の内視鏡先端位置を示すX印43aがリアルタイムで表示される。
【0041】
ここで、モニター23に表示される画像について図6ないし図9を参照して説明する。なお、処理ステップついては後述する「気管支画像作成処理」で説明する。
【0042】
図6は実際の患者5の気管支を示すものであり、気管支の末端部では管路が複雑に入り組み、多数の分岐路が細い管路が存在している。しかし、図7に示すようにCTスキャンデータを基にモデル化した気管支3次元画像41では患者5の気管支末端の管路までを表示することができず、管路途中で切断された状態になってしまう。
【0043】
図8は操作スイッチ8Bを操作する位置を示すものであり、目標と推定される関心部位である腫瘍の位置までの経路中に、前記操作パネル35を操作して第1、第2、第3分岐点近傍にカーソルキー等で操作点をマーキングしている。その操作点は、気管支3次元画像41上で例えばA、B、Cとして表示される。
【0044】
なお、この段階においては、この画面に表示されている気管支3次元画像41の座標系と内視鏡先端を示すマーク42の位置との補正は行われていない。このため、内視鏡6でとらえた実際の画像である内視鏡装置2のモニター12の画面上に表示される映像を確認しながら、予めマーキングした第1分岐点、第2分岐点、第3分岐点に到達したときに前記操作スイッチ8Bを操作する。このことにより、3つの分岐点の座標位置を得て、この時点で補正処理が行われて内視鏡先端の現在位置が所定のマークであるX印等で表示されるようになる。
【0045】
また、内視鏡観察中に、挿入部7を末端部位方向に向けて挿入している場合、位置情報記憶部34cでは所定時間間隔で順次サンプリング値を記録している。そして、このサンプリング値を基に、内視鏡先端の挿入軌跡を合成3次元気管支画像データとして構築して図9(a)に示すように、軌跡情報より得られた未造影末端部画像を追加した合成3次元気管支画像43を画面上に表示してる。
【0046】
このため、2度目以降の観察及び処置時には、この合成3次元気管支画像43をモニター23に表示させることにより、この合成3次元気管支画像43に表示されるX印を確認して挿入部7を速やかに関心部位に向けて挿入することが可能になる。
【0047】
ここで、CTスキャンデータによる3Dソリッドモデルである気管支3次元画像41では造影できない末端患部に至る合成3次元気管支画像を合成するまでの「気管支画像作成処理」を説明する。
【0048】
図10に示すようにまず、ステップS1の初期化において、位置情報記憶部34cに記憶されているデータをクリアする一方、画像データ記憶部37に記憶されているデータの中から対応する患者5の気管支3次元画像41を呼び出し、モニター23の画面上に表示させる。
【0049】
そして、気管支3次元画像41上に操作点A、操作点B、操作点Cを設定して内視鏡6の挿入を開始する。このとき、前記モニター12の画面上に表示される映像を確認しながら、内視鏡6の先端がマーキング地点である第1分岐点、第2分岐点、第3分岐点に到達したときステップS2、ステップS4、ステップS6に示すようにスイッチ8Bを順次操作する。なお、この内視鏡6挿入の際、スイッチ8Bの操作がされない場合にはステップS2、ステップS4、ステップS6においてスイッチ投入待機状態になる。
【0050】
そして、各ステップS2、ステップS4、ステップS6においてスイッチ8Bが適宜操作されることにより、ステップS3、ステップS5、ステップS7に示すように気管支モデルの経路中に第1分岐における座標の取得、第2分岐における座標の取得、第3分岐における座標の取得が行われる。
【0051】
そして、3箇所の分岐における座標の取得が完了したならステップS8に移行する。このステップS8では前記第1、第2、第3分岐点の座標から現在の内視鏡先端位置と、気管支3次元画像41の座標系とを一致させる補正処理を行う。この補正処理方法は、CT画像が実物と等倍であるので、A点、B点、C点でそれぞれ得られる法線ベクトルと、取得した第1、第2、第3分岐点の座標から得られた法線ベクトルとが一致するように気管支3次元画像41を座標変換する方法である。なお、ここでは3点の座標を取得して位置情報補正を行うようにしているが、3点以上を利用して補正を行うようにしてもよい。
【0052】
前記ステップS8に示す位置情報の補正処理が完了したならステップS9に移行して200ms毎に、移動する内視鏡先端の座標値を順次サンプリングして記録する。このとき、最新の内視鏡先端座標を3次元気管支画像43上にX印でリアルタイムに表示させる。
【0053】
ステップS10ではサンプリングされた座標値が、気管支3次元画像41の3Dソリッドモデルから外れた領域の座標値であるか否かを判断し、外れた領域の座標値であった場合には、前記気管支3次元画像41に対して新たに追加する画像データであると判断して画像データの追加を行う一方、画面上に追加して強調表示を行う。
【0054】
なお、気管支の末端部では管路が細径であるので、このとき追加する画像を3Dソリッドモデルとして扱わずに、単にプロット座標の軌跡を線画表示したり、プロット画像のままであっても構わない。
【0055】
つまり、前記ステップS9で200ms毎にサンプリングしたときの座標値を単純にプロット表示した場合には図11(a)に示すように追加データである複数のプロット45,…,45が画面上に表示される。したがって、実線に示す管路末端からはみ出たプロットデータを追加データとして扱う。
【0056】
一方、前記ステップS10でオーバーレイ処理による画像合成した場合には図11(b)に示すようにドット46が画面上に表示される。ここでは、追加データであるプロット座標を点描画の集合画像である例えば赤色のドットにして強調しいる。
【0057】
ステップS11では、関心部位である目的の気管支末端まで内視鏡が到達した段階で操作パネル35のキー入力操作等で最終的な合成3次元気管支画像43を構築するデータとして新たに記憶し直す指示を行う。このことによって、関心部位までの合成3次元気管支画像データの記憶を完了して、2度目からの観察及び処置を行う際、関心部位までの必要な全道筋が表示可能になり、関心部位までの誘導を迅速かつ正確に行なえる。
【0058】
このように、位置情報補正回路と位置情報記憶部とマップ情報合成回路とを有するシステム制御部を設けたことによって、内視鏡挿入時、画像データ記憶部に記憶されているCTスキャンデータから得た気管支3次元画像に加えて、位置情報記憶部で所定時間間隔で順次サンプリングする一方、この内視鏡先端位置の座標値が気管支3次元画像の3Dソリッドモデルから外れた領域の座標値であるか否かを判断し、外れた領域の座標値であるときには気管支3次元画像に対して新たな画像データとして追加することにより、気管支3次元画像では観察することのできなかった末端部を追加した必要最小限の合成3次元気管支画像を得ることができる。
【0059】
また、マップ画像生成部を設けて合成3次元気管支画像に内視鏡先端位置を示す目印となる画像データを重畳することによって、合成3次元気管支画像上に内視鏡先端位置を表示させて関心部位と現在位置との把握を容易に行なうことができる。
【0060】
さらに、一度、挿入された挿入部の先端位置が3Dソリッドモデルから外れた領域の座標値である場合、合成3次元気管支画像上に追加データとして表示される一方、この追加データを含む合成3次元気管支画像を再記憶することにより、再び内視鏡の挿入を行なう際に最新の合成3次元気管支画像を表示させて関心部位までの必要な全道筋を確認しながら内視鏡の誘導を行なうことができる。
【0061】
なお、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【0062】
【発明の効果】
以上説明したように本発明によれば、観察又は処置を行う場合、管路及び挿入道筋を明らかにして、内視鏡及び処置具の誘導を正確且つ迅速に行える内視鏡位置検出装置を提供することができる。
【図面の簡単な説明】
【図1】内視鏡システムを説明する図
【図2】内視鏡を説明する図
【図3】内視鏡とビデオプロセッサとを説明する図
【図4】内視鏡に挿通されるプローブの先端部を説明する図
【図5】内視鏡位置検出装置本体及びその関係部分を説明するブロック図
【図6】実際の気管支を示す図
【図7】CTスキャンによって得られた気管支3次元画像を説明する図
【図8】位置情報を補正するスイッチ入力位置を説明する図
【図9】気管支3次元画像に軌跡情報より得られた未造影末端部画像を合成した合成3次元気管支画像説明する図
【図10】気管支画像作成処理を説明するフローチャート
【図11】追加データの表示例を説明する図
【符号の説明】
3…内視鏡位置検出装置
21…内視鏡位置検出装置本体
32…マップ画像生成部
34…システム制御部
34b…マップ情報合成回路
34c…位置情報記憶部
34d…位置情報補正回路
36…スイッチ入力部
37…画像データ記憶部[0001]
BACKGROUND OF THE INVENTION
The present invention smoothly guides an endoscope to a target site based on at least position information of the endoscope insertion portion.Endoscope position detector for bronchiAbout.
[0002]
[Prior art]
In recent years, endoscopes have been widely used in the medical field. Among these endoscopes, those with a soft insertion section can be used to diagnose organs deep in the body cavity without incising the body surface by inserting it into a bent duct in the body cavity. A therapeutic treatment can be performed in which a treatment tool is inserted into a channel of the endoscope to remove a polyp or the like. However, a certain level of skill is required to smoothly insert the insertion portion into the bent body cavity.
[0003]
That is, in order to smoothly insert the insertion portion, it is necessary to perform operations such as bending the bending portion provided in the insertion portion and twisting the gripping portion according to the bending state of the pipe line. At this time, it is convenient to know the position of the distal end position of the insertion portion in the body cavity, the bent shape of the insertion portion in the body cavity, and the like.
[0004]
For this reason, for example, Japanese Patent Laid-Open No. 8-0542 discloses an endoscope position detection device that can detect the three-dimensional position of an endoscope with high accuracy within a required detection range. This endoscope position detection apparatus detects the position of an endoscope using a magnetic field generation element and a magnetic field detection element.
[0005]
On the other hand, as a pipeline navigation method for easily arriving an endoscope to a site of interest, for example, Japanese Patent Laid-Open No. 2000-135215 discloses a tube that supports insertion of an endoscope into a body duct such as a bronchus. A route guidance method and apparatus, and a radiation tomography apparatus equipped with such a duct guide device are shown. In this pipe guiding method and apparatus, and a radiation tomography apparatus equipped with such a pipe guiding apparatus, a virtual processing is performed by a central processing unit based on a projection obtained by a helical scan of an X-ray irradiation / detection device. An endoscopic image and a guide image for biopsy of a region of interest were generated.
[0006]
[Problems to be solved by the invention]
However, for example, in the diagnosis of adenocarcinoma that frequently occurs in the peripheral lung field, the bronchial thickness is about 3 mm and the branching order is large in the seventh or eighth branch and reaches the alveoli in about the 15th to 18th branches. . Since the thickness of the fifteenth bronchus is about 2 mm, there is a case where an image up to the end bronchus cannot be contrasted with the performance of the current observation apparatus. That is, there is a problem that it is difficult to obtain a bronchial three-dimensional image up to the end.
[0007]
Further, there is a problem that the route to the region of interest is fragmented, that is, the position information of the endoscope tip is not always displayed in real time on the three-dimensional image of the bronchus, so that the path in the bronchus is difficult to understand.
[0008]
The present invention has been made in view of the above circumstances, and when performing observation or treatment, the conduit and the insertion path are clarified, and the endoscope and the treatment instrument can be guided accurately and quickly.Endoscope position detector for bronchiThe purpose is to provide.
[0009]
[Means for Solving the Problems]
Of the present inventionEndoscope position detector for bronchiUsing a magnetic field generating element and a magnetic field detecting elementFor bronchi inserted into the bronchiEnd position of endoscope insertion partInsertion portion tip position detection means for detecting, at least,Of the subject acquired in advanceIn the bronchiCreated from continuous slice tomograms,Criteria including uncontrast endStores bronchial 3D image dataReference bronchus 3D image data storage means and
[0010]
According to this configuration, first, by inserting and removing the endoscope once, an image in which the trajectory image is synthesized with the bronchial three-dimensional image data acquired in advance is created. When the endoscope is inserted again, the endoscope can be smoothly guided to the site of interest by referring to the composite image created by the previous insertion / extraction.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
1 to 11 relate to an embodiment of the present invention, FIG. 1 is a diagram for explaining an endoscope system, FIG. 2 is a diagram for explaining an endoscope, and FIG. 3 is a diagram for explaining an endoscope and a video processor. FIG. 4 is a diagram for explaining the distal end portion of the probe inserted into the endoscope, FIG. 5 is a block diagram, FIG. 6 is a diagram showing an actual bronchus, and FIG. 7 is a three-dimensional bronchi obtained by CT scanning. FIG. 8 is a diagram illustrating a switch input position for correcting position information, and FIG. 9 is a three-dimensional image of a bronchus.Non-contrast end image obtained from trajectory informationFIG. 10 is a flowchart for explaining bronchial image creation processing, and FIG. 11 is a diagram for explaining a display example of additional data.
[0012]
Note that FIG.Non-contrast end image obtained from trajectory informationFig. 9 (b) shows a composite 3D bronchial image withNon-contrast end image obtained from trajectory informationFIG. 11A is a diagram showing a composite three-dimensional bronchial image in which additional data is plotted and displayed, and FIG. 11B is a diagram showing a composite three-dimensional bronchial image in which additional data is displayed in dots. .
[0013]
As shown in FIG. 1, an endoscope system 1 according to the present embodiment is used together with an
[0014]
For example, the
[0015]
As shown in FIG. 3, the
[0016]
A
[0017]
A
[0018]
A subject such as an inner wall of the bronchus or an affected part revealed by the illumination light emitted from the illumination window is brought to its focal position by an
[0019]
The
[0020]
On the other hand, the operation section 8 is provided with a bending
[0021]
As shown in FIG. 4, the
[0022]
The
[0023]
Since the conductive wire is wound around the
[0024]
The
[0025]
As shown in FIG. 1,
[0026]
Although not shown, the triaxial sense coil 22j is wound in three directions so that the coil surfaces are orthogonal to each other, and each coil detects a signal proportional to the magnetic field strength of the axial component orthogonal to the coil surface. . The endoscope position detection device
[0027]
The endoscope
[0028]
In general, when the mutual inductance is represented by R + jX, a metal that is not transparent to magnetism affects both R and X. In this case, the detection of a minute magnetic field changes the amplitude and phase of a signal measured by generally used orthogonal detection. Therefore, to detect signals with high accuracy, it is desirable to set up an environment where the generated magnetic field is not affected. To achieve this, the bed is made of a magnetically transparent material, that is, a material that does not affect the magnetic field. 4 should be made.
[0029]
The magnetically transparent material may be, for example, a resin such as Delrin, wood, or a metal to be magnetized. In practice, an AC magnetic field is used to detect the position of the
[0030]
As shown in FIG. 5, a drive signal is sent from the source
[0031]
The
[0032]
A minute magnetic field detection signal detected by the three-axis sense coil 22j is amplified by the sense
[0033]
The signal obtained by the
[0034]
The monitor
[0035]
The
[0036]
An
[0037]
Note that the data of the bronchial three-
[0038]
The position
[0039]
The map
[0040]
As a result, a composite 3D
[0041]
Here, an image displayed on the
[0042]
FIG. 6 shows an actual bronchus of the
[0043]
FIG. 8 shows a position where the operation switch 8B is operated, and the
[0044]
At this stage, the coordinate system of the bronchial three-
[0045]
Further, when the
[0046]
For this reason, at the time of the second observation and treatment, the composite three-dimensional
[0047]
Here, the “bronchial image creation processing” until the composite 3D bronchial image that reaches the end affected part that cannot be contrasted with the
[0048]
As shown in FIG. 10, first, in the initialization of step S <b> 1, the data stored in the position
[0049]
Then, the operation point A, the operation point B, and the operation point C are set on the bronchial three-
[0050]
Then, by appropriately operating the switch 8B in each of step S2, step S4, and step S6, as shown in step S3, step S5, and step S7, acquisition of coordinates in the first branch in the path of the bronchial model, second Acquisition of coordinates in the branch and acquisition of coordinates in the third branch are performed.
[0051]
If the acquisition of the coordinates at the three branches is completed, the process proceeds to step S8. In step S8, a correction process is performed to match the current endoscope tip position with the coordinate system of the bronchial three-
[0052]
When the correction process of the position information shown in step S8 is completed, the process proceeds to step S9, and the coordinate value of the moving endoscope tip is sequentially sampled and recorded every 200 ms. At this time, the latest endoscope tip coordinates are displayed on the three-dimensional
[0053]
In step S10, it is determined whether or not the sampled coordinate value is a coordinate value of a region outside the 3D solid model of the bronchial three-
[0054]
Note that since the duct is narrow at the end of the bronchus, the locus of the plot coordinates may be simply displayed as a line drawing or may remain as a plot image without treating the image to be added as a 3D solid model. Absent.
[0055]
That is, when the coordinate values obtained by sampling every 200 ms in step S9 are simply plotted and displayed, a plurality of
[0056]
On the other hand, when the image is synthesized by overlay processing in step S10,
[0057]
In step S11, when the endoscope has reached the target bronchial end, which is a region of interest, an instruction to newly store data as data for constructing a final composite three-dimensional
[0058]
Thus, by providing the system control unit having the position information correction circuit, the position information storage unit, and the map information synthesis circuit, it is obtained from the CT scan data stored in the image data storage unit when the endoscope is inserted. In addition to the bronchial three-dimensional image, the position information storage unit sequentially samples at predetermined time intervals, while the coordinate value of the endoscope tip position is the coordinate value of the region deviated from the 3D solid model of the bronchial three-dimensional image. When it is the coordinate value of the deviated region, it is added as new image data to the bronchial 3D image, and the end portion that could not be observed in the bronchial 3D image was added A minimum required synthetic 3D bronchial image can be obtained.
[0059]
In addition, by providing a map image generation unit and superimposing image data indicating the position of the endoscope tip on the combined three-dimensional bronchial image, the position of the endoscope tip is displayed on the combined three-dimensional bronchial image. It is possible to easily grasp the part and the current position.
[0060]
Further, when the tip position of the inserted portion once inserted is a coordinate value of an area outside the 3D solid model, it is displayed as additional data on the combined 3D bronchial image, while the combined 3D including this additional data is displayed. By re-storing the bronchial image, when the endoscope is inserted again, the latest synthesized 3D bronchial image is displayed and the endoscope is guided while confirming the necessary all-way muscle to the region of interest. Can do.
[0061]
It should be noted that the present invention is not limited to the embodiments described above, and various modifications can be made without departing from the spirit of the invention.
[0062]
【The invention's effect】
As described above, according to the present invention, when observation or treatment is performed, an endoscope position detection device that can accurately and quickly guide an endoscope and a treatment tool by clarifying a pipeline and an insertion path is provided. can do.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an endoscope system
FIG. 2 is a diagram illustrating an endoscope
FIG. 3 is a diagram for explaining an endoscope and a video processor;
FIG. 4 is a diagram for explaining a distal end portion of a probe inserted through an endoscope
FIG. 5 is a block diagram for explaining an endoscope position detection apparatus main body and related parts thereof.
FIG. 6 shows an actual bronchus
FIG. 7 is a diagram illustrating a bronchial three-dimensional image obtained by a CT scan.
FIG. 8 is a diagram for explaining a switch input position for correcting position information;
FIG. 9 shows three-dimensional images of bronchiNon-contrast end image obtained from trajectory informationTo explain the combined 3D bronchial image
FIG. 10 is a flowchart for explaining bronchial image creation processing;
FIG. 11 is a diagram for explaining a display example of additional data.
[Explanation of symbols]
3. Endoscope position detection device
21 ... Endoscope position detection device main body
32. Map image generation unit
34 ... System control unit
34b ... Map information synthesis circuit
34c ... Position information storage unit
34d: Position information correction circuit
36 ... Switch input section
37. Image data storage unit
Claims (5)
少なくとも、予め取得した被検体の気管支における連続するスライス断層像から作成した、未造影末端部を含む基準気管支3次元画像データを格納する基準気管支3次元画像データ記憶手段と、
前記基準気管支3次元画像データ記憶手段に記憶された前記基準気管支3次元画像データを読み出して基準気管支3次元画像として表示手段に表示するよう制御する基準気管支3次元画像表示制御手段と、
前記基準気管支3次元画像表示制御手段の制御下に前記表示手段に表示された前記基準気管支3次元画像に対して、前記挿入部先端位置検出手段により検出された内視鏡挿入部の先端位置の位置補正を行う先端位置補正手段と、
前記先端位置補正手段により先端位置が補正された後、当該内視鏡挿入部の先端位置の軌跡情報を所定のサンプリング周波数に基づいて取得する先端位置軌跡情報取得手段と、
前記先端位置軌跡情報取得手段により取得された内視鏡挿入部の先端位置の軌跡情報に基づいて、前記基準気管支3次元画像データにおける未造影末端部に係る画像データを生成する未造影末端部画像データ生成手段と、
前記未造影末端部画像データ生成手段によって生成された未造影末端部画像データを前記基準気管支3次元画像データに対して追加して合成気管支3次元画像データを生成する合成気管支3次元画像データ生成手段と、
前記合成気管支3次元画像データ生成手段によって生成された合成気管支3次元画像データを新たな気管支3次元画像データとして記憶する合成気管支3次元画像データ記憶手段と、
を具備したことを特徴とする気管支用内視鏡位置検出装置。 An insertion portion tip position detection means for detecting a tip position of an endoscope insertion portion for bronchi inserted into the bronchus using a magnetic field generating element and a magnetic field detection element ;
At least reference bronchial 3D image data storage means for storing reference bronchial 3D image data including a non-contrast-enhanced end portion , created from continuous slice tomograms in the bronchi of the subject acquired in advance ;
Reference bronchial 3D image display control means for controlling to read out the reference bronchial 3D image data stored in the reference bronchial 3D image data storage means and display it on the display means as a reference bronchial 3D image;
With respect to the reference bronchus 3D image displayed on the display unit under the control of the reference bronchial 3D image display control unit, the distal end position of the endoscope insertion unit detected by the insertion unit distal end position detection unit is detected. Tip position correcting means for performing position correction;
After the tip position is corrected by the tip position correcting means, tip position locus information acquiring means for acquiring locus information of the tip position of the endoscope insertion portion based on a predetermined sampling frequency;
An uncontrast-enhanced end image that generates image data related to the non-contrast end in the reference bronchus three-dimensional image data based on the trajectory information of the tip position of the endoscope insertion unit acquired by the tip position trajectory information acquisition means Data generation means;
Synthetic bronchial three-dimensional image data generating means for generating synthetic bronchial three-dimensional image data by adding the non-contrast-enhanced terminal image data generated by the non-contrast terminal image data generating unit to the reference bronchial three-dimensional image data When,
Synthetic bronchial three-dimensional image data storage means for storing the synthetic bronchial three-dimensional image data generated by the synthetic bronchial three-dimensional image data generating means as new bronchial three-dimensional image data;
An endoscopic position detecting device for bronchi, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000399113A JP3850217B2 (en) | 2000-12-27 | 2000-12-27 | Endoscope position detector for bronchi |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000399113A JP3850217B2 (en) | 2000-12-27 | 2000-12-27 | Endoscope position detector for bronchi |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002200030A JP2002200030A (en) | 2002-07-16 |
JP3850217B2 true JP3850217B2 (en) | 2006-11-29 |
Family
ID=18863949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000399113A Expired - Fee Related JP3850217B2 (en) | 2000-12-27 | 2000-12-27 | Endoscope position detector for bronchi |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3850217B2 (en) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60310877T8 (en) * | 2002-07-31 | 2007-09-13 | Olympus Corporation | ENDOSCOPE |
US20050272971A1 (en) * | 2002-08-30 | 2005-12-08 | Olympus Corporation | Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device |
JP4334839B2 (en) * | 2002-09-12 | 2009-09-30 | オリンパス株式会社 | Endoscope observation device |
JP3820244B2 (en) * | 2003-10-29 | 2006-09-13 | オリンパス株式会社 | Insertion support system |
WO2005041761A1 (en) * | 2003-10-31 | 2005-05-12 | Olympus Corporation | Insertion support system |
JP5123615B2 (en) * | 2007-08-31 | 2013-01-23 | オリンパスメディカルシステムズ株式会社 | Endoscope insertion support device |
JP4922107B2 (en) * | 2007-09-03 | 2012-04-25 | オリンパスメディカルシステムズ株式会社 | Endoscope device |
EP2422684A4 (en) | 2009-04-20 | 2014-01-29 | Olympus Medical Systems Corp | Subject internal examination system |
CN102428496B (en) * | 2009-05-18 | 2015-08-26 | 皇家飞利浦电子股份有限公司 | Registration and the calibration of the marker free tracking of endoscopic system is followed the tracks of for EM |
JP5311664B2 (en) * | 2009-09-30 | 2013-10-09 | 富士フイルム株式会社 | Sample management system, sample management method, sample management program |
EP2523593B1 (en) * | 2010-01-14 | 2015-03-25 | Koninklijke Philips N.V. | Flexible instrument channel insert for scope with real-time position tracking |
KR101004392B1 (en) * | 2010-04-27 | 2010-12-27 | 조성호 | Endoscopic sinus surgery protection apparatus |
JP2012024518A (en) * | 2010-07-28 | 2012-02-09 | Fujifilm Corp | Device, method, and program for assisting endoscopic observation |
WO2013011733A1 (en) * | 2011-07-15 | 2013-01-24 | 株式会社 日立メディコ | Endoscope guidance system and endoscope guidance method |
WO2013132880A1 (en) | 2012-03-06 | 2013-09-12 | オリンパスメディカルシステムズ株式会社 | Endoscopic system |
JP6128792B2 (en) * | 2012-10-16 | 2017-05-17 | オリンパス株式会社 | Observation device, observation support device, method of operating observation device, and program |
JP6128796B2 (en) * | 2012-10-25 | 2017-05-17 | オリンパス株式会社 | INSERTION SYSTEM, INSERTION SUPPORT DEVICE, OPERATION METHOD AND PROGRAM FOR INSERTION SUPPORT DEVICE |
WO2014141968A1 (en) | 2013-03-12 | 2014-09-18 | オリンパスメディカルシステムズ株式会社 | Endoscopic system |
EP4328856A2 (en) * | 2014-07-28 | 2024-02-28 | Intuitive Surgical Operations, Inc. | Systems and methods for intraoperative segmentation |
US10575907B2 (en) * | 2017-06-21 | 2020-03-03 | Biosense Webster (Israel) Ltd. | Registration with trajectory information with shape sensing |
CN115472070B (en) * | 2022-09-14 | 2023-05-23 | 中日友好医院(中日友好临床医学研究所) | Bronchoscope simulation operation device |
-
2000
- 2000-12-27 JP JP2000399113A patent/JP3850217B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002200030A (en) | 2002-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3850217B2 (en) | Endoscope position detector for bronchi | |
JP7154832B2 (en) | Improving registration by orbital information with shape estimation | |
JP4698966B2 (en) | Procedure support system | |
EP1681011B1 (en) | Insertion support system | |
JP5160699B2 (en) | Medical equipment | |
JP5378628B1 (en) | Endoscope system | |
WO2011102012A1 (en) | Medical device | |
KR20180079372A (en) | System and method for navigating surgical instruments | |
US20070055128A1 (en) | System, method and devices for navigated flexible endoscopy | |
JP2009254837A (en) | Structure of endoscope and technique for navigating to target in branched structure | |
CN110811835A (en) | Computed tomography enhanced fluoroscopy systems, devices, and methods of use thereof | |
JPWO2004010857A1 (en) | Endoscope device, endoscope device navigation method, endoscope image display method, and endoscope image display program | |
EP2430979A1 (en) | Biopsy support system | |
US20190247127A1 (en) | 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking | |
JP2002238844A (en) | Endoscope device | |
CN111568544A (en) | System and method for visualizing navigation of a medical device relative to a target | |
US20210338044A1 (en) | Medical systems and related methods | |
JP4022114B2 (en) | Endoscope device | |
WO2016185912A1 (en) | Image processing apparatus, image processing method, and surgical system | |
EP3527159A2 (en) | 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking | |
JP6038405B2 (en) | Navigation system and navigation system operating method | |
JP3548430B2 (en) | Endoscope shape detector | |
JP4445792B2 (en) | Insertion support system | |
US20220202500A1 (en) | Intraluminal navigation using ghost instrument information | |
US20220202273A1 (en) | Intraluminal navigation using virtual satellite targets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |