JP3850217B2 - Endoscope position detector for bronchi - Google Patents

Endoscope position detector for bronchi Download PDF

Info

Publication number
JP3850217B2
JP3850217B2 JP2000399113A JP2000399113A JP3850217B2 JP 3850217 B2 JP3850217 B2 JP 3850217B2 JP 2000399113 A JP2000399113 A JP 2000399113A JP 2000399113 A JP2000399113 A JP 2000399113A JP 3850217 B2 JP3850217 B2 JP 3850217B2
Authority
JP
Japan
Prior art keywords
image data
bronchial
endoscope
dimensional image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000399113A
Other languages
Japanese (ja)
Other versions
JP2002200030A (en
Inventor
裕史 高橋
祐一 森實
裕昭 加川
国英 梶
雅博 萩原
竹千代 中満
康彦 菊地
修一 木村
明人 斉藤
剛明 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2000399113A priority Critical patent/JP3850217B2/en
Publication of JP2002200030A publication Critical patent/JP2002200030A/en
Application granted granted Critical
Publication of JP3850217B2 publication Critical patent/JP3850217B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、少なくとも内視鏡挿入部の位置情報を基に、内視鏡を目的部位までスムーズに案内する気管支用内視鏡位置検出装置に関する。
【0002】
【従来の技術】
近年、医療用分野で内視鏡が広く用いられている。この内視鏡のうち、特に挿入部が軟性のものは、体腔内の屈曲した管路に挿入することにより、体表面を切開することなく体腔内深部の臓器を診断したり、必要に応じて内視鏡の有するチャンネル内に処置具を挿通してポリープ等を切除する治療処置を行うことができる。しかし、屈曲した体腔内に挿入部を円滑に挿入するためにはある程度の熟練を必要とする。
【0003】
つまり、挿入部を円滑に挿入するためには、管路の屈曲状態に応じて挿入部に設けた湾曲部を湾曲操作したり、把持部を捻り操作する等の作業が必要になる。そして、そのとき挿入部の先端位置が体腔内のどの位置にあるかとか、体腔内にある挿入部の屈曲形状がどのような形状であるか等がわかると便利である。
【0004】
そのため、例えば特開平8−0542号公報には必要とされる検出範囲内で精度良く内視鏡の三次元的な位置を検出できる内視鏡位置検出装置が示されている。この内視鏡位置検出装置は、磁界発生素子と磁界検出素子とを用いて内視鏡の位置を検出する。
【0005】
一方、内視鏡を関心部位まで容易に到着させる管路ナビゲーション方法として、例えば、特開平2000−135215号公報には気管支等のような体内の管路への内視鏡の挿入を支援する管路案内方法および装置、並びに、そのような管路案内装置を備えた放射線断層撮影装置が示されている。この管路案内方法および装置、並びに、そのような管路案内装置を備えた放射線断層撮影装置では、X線照射・検出装置のヘリカルスキャンで得られたプロジェクションに基づいて、中央処理装置で仮想的な内視鏡像、関心部位の生検を行なうための案内画像を生成していた。
【0006】
【発明が解決しようとする課題】
しかしながら、例えば末梢肺野で好発する腺癌の診断では、気管支の太さが3ミリ程度の分岐次数で第7又は第8分岐以降が多く、第15ないし第18分岐程度で肺胞に到達する。この第15次気管支における太さは2ミリ程度であるため、現在の観察装置の性能では末端の気管支までの画像を造影できない場合がある。つまり、末端部までの気管支3次元画像を得難いという問題があった。
【0007】
また、関心部位までの経路が断片的な情報提供、即ち、内視鏡先端の位置情報が常にリアルタイムで気管支3次元画像上に表示されないため、気管支内における道筋がわかり難いといった問題があった。
【0008】
本発明は上記事情に鑑みてなされたものであり、観察又は処置を行う場合、管路及び挿入道筋を明らかにして、内視鏡及び処置具の誘導を正確且つ迅速に行える気管支用内視鏡位置検出装置を提供することを目的にしている。
【0009】
【課題を解決するための手段】
本発明の気管支用内視鏡位置検出装置は、磁界発生素子と、磁界検出素子とを用いて気管支に挿入された気管支用の内視鏡挿入部の先端位置を検出する挿入部先端位置検出手段と、少なくとも、予め取得した被検体の気管支における連続するスライス断層像から作成した、未造影末端部を含む基準気管支3次元画像データを格納する基準気管支3次元画像データ記憶手段と、前記基準気管支3次元画像データ記憶手段に記憶された前記基準気管支3次元画像データを読み出して基準気管支3次元画像として表示手段に表示するよう制御する基準気管支3次元画像表示制御手段と、前記基準気管支3次元画像表示制御手段の制御下に前記表示手段に表示された前記基準気管支3次元画像に対して、前記挿入部先端位置検出手段により検出された内視鏡挿入部の先端位置の位置補正を行う先端位置補正手段と、前記先端位置補正手段により先端位置が補正された後、当該内視鏡挿入部の先端位置の軌跡情報を所定のサンプリング周波数に基づいて取得する先端位置軌跡情報取得手段と、前記先端位置軌跡情報取得手段により取得された内視鏡挿入部の先端位置の軌跡情報に基づいて、前記基準気管支3次元画像データにおける未造影末端部に係る画像データを生成する未造影末端部画像データ生成手段と、前記未造影末端部画像データ生成手段によって生成された未造影末端部画像データを前記基準気管支3次元画像データに対して追加して合成気管支3次元画像データを生成する合成気管支3次元画像データ生成手段と、前記合成気管支3次元画像データ生成手段によって生成された合成気管支3次元画像データを新たな気管支3次元画像データとして記憶する合成気管支3次元画像データ記憶手段と、を具備したことを特徴とする。
【0010】
この構成によれば、まず、内視鏡を一度挿抜することによって、予め取得した気管支3次元画像データに軌跡画像を合成した画像が作成される。内視鏡を再び挿入させる際には、前回の挿抜で作成された合成画像を参照することにより関心部位まで内視鏡をスムーズに案内することが可能になる。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図11は本発明の一実施形態に係り、図1は内視鏡システムを説明する図、図2は内視鏡を説明する図、図3は内視鏡とビデオプロセッサとを説明する図、図4は内視鏡に挿通されるプローブの先端部を説明する図、図5はブロック図、図6は実際の気管支を示す図、図7はCTスキャンによって得られた気管支3次元画像を説明する図、図8は位置情報を補正するスイッチ入力位置を説明する図、図9は気管支3次元画像に軌跡情報より得られた未造影末端部画像を合成した合成3次元気管支画像説明する図、図10は気管支画像作成処理を説明するフローチャート、図11は追加データの表示例を説明する図である。
【0012】
なお、図9(a)は軌跡情報より得られた未造影末端部画像を追加した合成3次元気管支画像を示す図、図9(b)は軌跡情報より得られた未造影末端部画像部分を説明する拡大図、図11(a)は追加データをプロット表示した合成3次元気管支画像を示す図、図11(b)は追加データをドット表示した合成3次元気管支画像を示す図である。
【0013】
図1に示すように本実施形態の内視鏡システム1は、内視鏡6を用いて検査等を行う内視鏡装置2と、この内視鏡装置2とともに使用され、前記内視鏡6の挿入部7の少なくとも先端位置を検出する機能を備え、さらに挿入部7の3次元位置を推定してその先端部の対応する位置をモニタ23に表示させる内視鏡位置検出装置3とで主に構成されている。
【0014】
ベッド4上に横たわる患者5の気管支には例えば図2に示す内視鏡6の挿入部7が挿入される。この内視鏡6は細長で、前記挿入部7とその後端に配設された操作部8と、この操作部8の側部から延出するユニバーサルケーブル9とを有して構成されている。このユニバーサルケーブル9の末端部にはコネクタ9Aが設けてあり、このコネクタ9Aの側部からは信号ケーブル9Bが延出している。この信号ケーブル9Bの末端部には信号用コネクタ9Cが設けてある。
【0015】
そして、図3に示すようにコネクタ9Aは、前記ビデオプロセッサ11内の光源部36に着脱自在に接続され、前記信号用コネクタ9Cは信号処理部37に着脱自在に接続されるようになっている。
【0016】
前記挿入部7内には中空のチャンネル13が形成されている。このチャンネル13の基端部である挿入口13aから鉗子等の処置具を挿入して、処置具の先端側が挿入部先端面のチャンネル出口から突出させることによって、患部等に対して治療処置等を行える。また、前記チャンネル13には位置検出のためのプローブ15が挿入可能であり、このプローブ15の先端側をチャンネル13内の所定位置(後述する図4参照)に設置することができるようになっている。
【0017】
前記挿入部7内には照明光を伝送するライトガイド38が挿通している。このライトガイド38は、挿入部7、操作部8、ユニバーサルケーブル9内を通ってコネクタ9Aに至っている。このコネクタ9Aの端面には前記光源部36内のランプ36Aの照明光が集光されるようになっている。このことにより、ランプ36Aの照明光は、コネクタ9Aの端面に集光され、ライトガイド38内を伝送されて挿入部7の先端部に設けた照明光出射手段を形成する照明窓から前方方向に向かって出射される。
【0018】
前記照明窓から出射された照明光により明らされた気管支内の内壁、あるいは患部等の被写体は、この照明窓に隣接して配置されている観察窓に取り付けた対物レンズ39によってその焦点位置に配置された固体撮像素子としてのCCD29の撮像面に像を結ぶ。
【0019】
前記CCD29は、信号処理部37内のCCDドライブ回路37Aから出力されるCCDドライブ信号が印可されることにより、CCD29で光電変換された画像信号が読み出され、挿入部7内を通る信号線を経て信号処理回路37Bで標準的な映像信号に変換してカラーモニター12に出力する。
【0020】
一方、前記操作部8には湾曲操作ノブ8Aが設けてある。術者が、この湾曲操作ノブ8Aを回動操作することにより、挿入部7の先端付近に形成された湾曲自在な湾曲部7Aを湾曲させることができる。この湾曲部7Aを設けたことによっ、屈曲した気管支内経路にもその屈曲に沿うように先端側を湾曲させながら挿入を行なえる。また、前記操作部8には内視鏡装置2及び信号接続ケーブル14を経由して内視鏡位置検出装置本体21に指示信号を出力する、ON/OFF操作の可能なスイッチ手段としての操作スイッチ8Bが設けてある。
【0021】
図4に示すように前記プローブ15には、磁界を発生する磁界発生素子としてのソースコイル16が絶縁体であって可撓性を有する断面形状が円形のチューブ19の先端部内壁に絶縁性の接着剤20で固定されている。
【0022】
前記ソースコイル16は、例えば絶縁性で硬質な円柱状のコア10に、絶縁被膜された導線が巻かれたソレノイド状コイルで構成され、更にこのコイルの外周面に絶縁性の接着剤20を塗布してコイルをコア10に絶縁被膜した状態で固定するとともにチューブ19の内壁にも固定している。
【0023】
硬質のコア10に導線が巻かれ前記ソースコイル16は、接着剤20で固定されているので、たとえチューブ19が屈曲されて変形した場合でも、このソースコイル16自身はその形状が変形しない構造であり、磁界発生の機能は不変である。そして、前記ソースコイル16の位置は、内視鏡6の既知の位置であるので、ソースコイル11の位置を検出することにより、内視鏡6の挿入部7の先端位置が検出される。
【0024】
前記ソースコイル16に接続されたリード線17は、プローブ15の後端に設けた、あるいはプローブ15の後端から延びるケーブルの後端に設けたコネクタ18に接続されている。このコネクタ18は、内視鏡位置検出装置本体21のコネクタ受けに接続されている。このため、内視鏡位置検出装置本体21の後述するソースコイル駆動部(図5の符号24参照)から出力された駆動信号がソースコイル16に印加されることによって、位置検出に利用される磁界が発生する。
【0025】
そして、前記図1に示すようにベッド4の所定の位置である例えば3箇所の隅にはそれぞれ前記ソースコイル16からの磁界を検出する磁界検出素子として3軸センスコイル22a、22b、22c(以下、22jで代表する)が取り付けてある。これらの3軸センスコイル22jは、ベッド4から延びたケーブルを介して内視鏡位置検出装置本体21に接続されている。
【0026】
前記3軸センスコイル22jは、図示はしないがそれぞれのコイル面が直交するように3方向にそれぞれ巻かれ、各コイルはそのコイル面に直交する軸方向成分の磁界強度に比例した信号を検出する。そして、前記内視鏡位置検出装置本体21は、3軸センスコイル22jの出力に基づいてソースコイル16の位置を検出して患者5内に挿入された内視鏡6の挿入部7の位置を推定する一方、推定した位置をモニター23の画面上にマーキング表示する。
【0027】
前記内視鏡位置検出装置3は磁気を利用している。したがって、磁気に対して透明でない金属が存在すると、鉄損などによる影響を受けて、磁界発生用のソースコイル16と、検出用3軸センスコイル22jとの間の相互インダクタンスに影響を与える。
【0028】
一般に、相互インダクタンスをR+jXで表すと、磁気に対して透明でない金属はこのR、X両者に影響を及ぼすことになる。この場合、微少磁界の検出で、一般に用いられている直交検波で測定される信号の振幅、位相が変化することになる。そのため、精度良く信号を検出には、発生する磁界が影響を受けない環境を設定することが望ましく、これを実現するためには磁気的に透明な材料、つまり磁界に影響を及ぼさない材料でベッド4を作れば良い。
【0029】
なお、この磁気的に透明な材料としては例えば、デルリン等の樹脂、木材、被磁性材金属であれば良く、実際には、ソースコイル16の位置検出に交流磁界を用いるため、駆動信号の周波数において磁気的に影響のない材料で形成しても良い。そこで、本内視鏡位置検出装置3と共に使用する前記ベッド4は、少なくとも発生する磁界の周波数において磁気的に透明な被磁性材で構成してある。
【0030】
図5に示すように前記内視鏡位置検出装置本体21のソースコイル駆動部24から前記内視鏡6のチャンネル13内に設置されるプローブ15の所定位置に配置されたソースコイル16に駆動信号が供給されるようになっている。そして、駆動信号をソースコイル16に印加することにより、このソースコイル16の周辺に磁界が発生する。
【0031】
前記ソースコイル駆動部24は、磁界発生用発信部25から供給される交流信号を増幅して必要な磁界を発生するための駆動信号を出力する。前記磁界発生用発信部25の交流信号は、ベッド4に設けられた3軸センスコイル22jで検出される微小な磁界を検出するための相互インダクタンス検出部26に参照信号として送出される。
【0032】
前記3軸センスコイル22jで検出される微小な磁界検出信号は、センスコイル出力増幅器27で増幅され、その後前記相互インダクタンス検出部26に入力される。この相互インダクタンス検出部26では前記参照信号を基準にして、増幅、直交検波(同期検波)を行い、コイル間の相互インダクタンスに関連した信号を取得する。
【0033】
前記相互インダクタンス検出部26で得られた信号は、ソースコイル位置検出部31に入力される。このとき入力されたアナログ信号はデジタル信号に変換されて位置検出の計算を行い、ソースコイル16に対して推定される位置情報を得て、この位置情報をマップ画像生成部32に送る。そして、このマップ画像生成部32に送られた位置情報は、モニター信号生成部33及びシステム制御部34へ送られる。
【0034】
前記モニター信号生成部33では画像をモニタ23の画面上に表示させることが可能なRGBあるいはNTSCあるいはPAL方式の映像信号を生成して前記モニター23に出力する。このことにより、モニター23の画面上に表示されている後述する合成3次元気管支画像上に内視鏡6の先端位置が表示される。
【0035】
前記システム制御部34は、CPU等で構成された制御部34a、マップ情報合成手段であるマップ情報合成回路34b、位置情報記憶手段である位置情報記憶部34c、位置情報補正手段である位置情報補正回路34dが設けられ、前記ソースコイル位置検出部31、マップ画像生成部32、モニター信号生成部33の動作等を制御する。
【0036】
前記システム制御部34には、キーボードやスイッチ等を備えた操作パネル35が接続されている。この操作パネル35のキーボード等を操作することによって例えば、前記制御部34aを介して予め画像データ記憶部37に記憶されている図7に示すような患者5の気管支3次元画像41を選択的にモニター23の画面上に表示させられる。
【0037】
なお、患者5の気管支3次元画像41のデータは、この内視鏡システム1と図示しないLAN等で接続された記録装置のCTスキャンデータを基にモデル化したものであり、術前等にデータ記憶部37に事前に登録したものである。
【0038】
前記システム制御部34の位置情報補正回路34dは、内視鏡6の操作スイッチ8Bを操作して出力された指示信号が内視鏡装置2、信号接続ケーブル14を経由してSW入力部36に入力されると、この信号を基に気管支3次元画像41と操作スイッチ8Bが投入された時点における内視鏡先端座標とをソースコイル位置検出部31より取得して所定の補正処理を行う。
【0039】
前記システム制御部34のマップ情報合成回路34bでは、前記気管支3次元画像41と、前記位置情報記憶部34cに記録された座標位置サンプリング値とを基に合成3次元気管支画像データを構築し、この合成3次元気管支画像データをマップ画像生成部32へ送る。そして、このマップ画像生成部32では最終的に合成した、つまり気管支3次元画像41に軌跡情報より得られた未造影末端部画像(図9(b)の破線部参照)を合成した合成3次元気管支画像データを前記モニター信号生成部33に送る。そして、このモニター信号生成部33では前記合成3次元気管支画像データに、現在の内視鏡先端位置を例えばX印で示す画像データを重畳する。
【0040】
このことにより、モニター23の画面上には合成3次元気管支画像43が表示されるとともに、この合成3次元気管支画像43上に現在の内視鏡先端位置を示すX印43aがリアルタイムで表示される。
【0041】
ここで、モニター23に表示される画像について図6ないし図9を参照して説明する。なお、処理ステップついては後述する「気管支画像作成処理」で説明する。
【0042】
図6は実際の患者5の気管支を示すものであり、気管支の末端部では管路が複雑に入り組み、多数の分岐路が細い管路が存在している。しかし、図7に示すようにCTスキャンデータを基にモデル化した気管支3次元画像41では患者5の気管支末端の管路までを表示することができず、管路途中で切断された状態になってしまう。
【0043】
図8は操作スイッチ8Bを操作する位置を示すものであり、目標と推定される関心部位である腫瘍の位置までの経路中に、前記操作パネル35を操作して第1、第2、第3分岐点近傍にカーソルキー等で操作点をマーキングしている。その操作点は、気管支3次元画像41上で例えばA、B、Cとして表示される。
【0044】
なお、この段階においては、この画面に表示されている気管支3次元画像41の座標系と内視鏡先端を示すマーク42の位置との補正は行われていない。このため、内視鏡6でとらえた実際の画像である内視鏡装置2のモニター12の画面上に表示される映像を確認しながら、予めマーキングした第1分岐点、第2分岐点、第3分岐点に到達したときに前記操作スイッチ8Bを操作する。このことにより、3つの分岐点の座標位置を得て、この時点で補正処理が行われて内視鏡先端の現在位置が所定のマークであるX印等で表示されるようになる。
【0045】
また、内視鏡観察中に、挿入部7を末端部位方向に向けて挿入している場合、位置情報記憶部34cでは所定時間間隔で順次サンプリング値を記録している。そして、このサンプリング値を基に、内視鏡先端の挿入軌跡を合成3次元気管支画像データとして構築して図9(a)に示すように、軌跡情報より得られた未造影末端部画像を追加した合成3次元気管支画像43を画面上に表示してる。
【0046】
このため、2度目以降の観察及び処置時には、この合成3次元気管支画像43をモニター23に表示させることにより、この合成3次元気管支画像43に表示されるX印を確認して挿入部7を速やかに関心部位に向けて挿入することが可能になる。
【0047】
ここで、CTスキャンデータによる3Dソリッドモデルである気管支3次元画像41では造影できない末端患部に至る合成3次元気管支画像を合成するまでの「気管支画像作成処理」を説明する。
【0048】
図10に示すようにまず、ステップS1の初期化において、位置情報記憶部34cに記憶されているデータをクリアする一方、画像データ記憶部37に記憶されているデータの中から対応する患者5の気管支3次元画像41を呼び出し、モニター23の画面上に表示させる。
【0049】
そして、気管支3次元画像41上に操作点A、操作点B、操作点Cを設定して内視鏡6の挿入を開始する。このとき、前記モニター12の画面上に表示される映像を確認しながら、内視鏡6の先端がマーキング地点である第1分岐点、第2分岐点、第3分岐点に到達したときステップS2、ステップS4、ステップS6に示すようにスイッチ8Bを順次操作する。なお、この内視鏡6挿入の際、スイッチ8Bの操作がされない場合にはステップS2、ステップS4、ステップS6においてスイッチ投入待機状態になる。
【0050】
そして、各ステップS2、ステップS4、ステップS6においてスイッチ8Bが適宜操作されることにより、ステップS3、ステップS5、ステップS7に示すように気管支モデルの経路中に第1分岐における座標の取得、第2分岐における座標の取得、第3分岐における座標の取得が行われる。
【0051】
そして、3箇所の分岐における座標の取得が完了したならステップS8に移行する。このステップS8では前記第1、第2、第3分岐点の座標から現在の内視鏡先端位置と、気管支3次元画像41の座標系とを一致させる補正処理を行う。この補正処理方法は、CT画像が実物と等倍であるので、A点、B点、C点でそれぞれ得られる法線ベクトルと、取得した第1、第2、第3分岐点の座標から得られた法線ベクトルとが一致するように気管支3次元画像41を座標変換する方法である。なお、ここでは3点の座標を取得して位置情報補正を行うようにしているが、3点以上を利用して補正を行うようにしてもよい。
【0052】
前記ステップS8に示す位置情報の補正処理が完了したならステップS9に移行して200ms毎に、移動する内視鏡先端の座標値を順次サンプリングして記録する。このとき、最新の内視鏡先端座標を3次元気管支画像43上にX印でリアルタイムに表示させる。
【0053】
ステップS10ではサンプリングされた座標値が、気管支3次元画像41の3Dソリッドモデルから外れた領域の座標値であるか否かを判断し、外れた領域の座標値であった場合には、前記気管支3次元画像41に対して新たに追加する画像データであると判断して画像データの追加を行う一方、画面上に追加して強調表示を行う。
【0054】
なお、気管支の末端部では管路が細径であるので、このとき追加する画像を3Dソリッドモデルとして扱わずに、単にプロット座標の軌跡を線画表示したり、プロット画像のままであっても構わない。
【0055】
つまり、前記ステップS9で200ms毎にサンプリングしたときの座標値を単純にプロット表示した場合には図11(a)に示すように追加データである複数のプロット45,…,45が画面上に表示される。したがって、実線に示す管路末端からはみ出たプロットデータを追加データとして扱う。
【0056】
一方、前記ステップS10でオーバーレイ処理による画像合成した場合には図11(b)に示すようにドット46が画面上に表示される。ここでは、追加データであるプロット座標を点描画の集合画像である例えば赤色のドットにして強調しいる。
【0057】
ステップS11では、関心部位である目的の気管支末端まで内視鏡が到達した段階で操作パネル35のキー入力操作等で最終的な合成3次元気管支画像43を構築するデータとして新たに記憶し直す指示を行う。このことによって、関心部位までの合成3次元気管支画像データの記憶を完了して、2度目からの観察及び処置を行う際、関心部位までの必要な全道筋が表示可能になり、関心部位までの誘導を迅速かつ正確に行なえる。
【0058】
このように、位置情報補正回路と位置情報記憶部とマップ情報合成回路とを有するシステム制御部を設けたことによって、内視鏡挿入時、画像データ記憶部に記憶されているCTスキャンデータから得た気管支3次元画像に加えて、位置情報記憶部で所定時間間隔で順次サンプリングする一方、この内視鏡先端位置の座標値が気管支3次元画像の3Dソリッドモデルから外れた領域の座標値であるか否かを判断し、外れた領域の座標値であるときには気管支3次元画像に対して新たな画像データとして追加することにより、気管支3次元画像では観察することのできなかった末端部を追加した必要最小限の合成3次元気管支画像を得ることができる。
【0059】
また、マップ画像生成部を設けて合成3次元気管支画像に内視鏡先端位置を示す目印となる画像データを重畳することによって、合成3次元気管支画像上に内視鏡先端位置を表示させて関心部位と現在位置との把握を容易に行なうことができる。
【0060】
さらに、一度、挿入された挿入部の先端位置が3Dソリッドモデルから外れた領域の座標値である場合、合成3次元気管支画像上に追加データとして表示される一方、この追加データを含む合成3次元気管支画像を再記憶することにより、再び内視鏡の挿入を行なう際に最新の合成3次元気管支画像を表示させて関心部位までの必要な全道筋を確認しながら内視鏡の誘導を行なうことができる。
【0061】
なお、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【0062】
【発明の効果】
以上説明したように本発明によれば、観察又は処置を行う場合、管路及び挿入道筋を明らかにして、内視鏡及び処置具の誘導を正確且つ迅速に行える内視鏡位置検出装置を提供することができる。
【図面の簡単な説明】
【図1】内視鏡システムを説明する図
【図2】内視鏡を説明する図
【図3】内視鏡とビデオプロセッサとを説明する図
【図4】内視鏡に挿通されるプローブの先端部を説明する図
【図5】内視鏡位置検出装置本体及びその関係部分を説明するブロック図
【図6】実際の気管支を示す図
【図7】CTスキャンによって得られた気管支3次元画像を説明する図
【図8】位置情報を補正するスイッチ入力位置を説明する図
【図9】気管支3次元画像に軌跡情報より得られた未造影末端部画像を合成した合成3次元気管支画像説明する図
【図10】気管支画像作成処理を説明するフローチャート
【図11】追加データの表示例を説明する図
【符号の説明】
3…内視鏡位置検出装置
21…内視鏡位置検出装置本体
32…マップ画像生成部
34…システム制御部
34b…マップ情報合成回路
34c…位置情報記憶部
34d…位置情報補正回路
36…スイッチ入力部
37…画像データ記憶部
[0001]
BACKGROUND OF THE INVENTION
  The present invention smoothly guides an endoscope to a target site based on at least position information of the endoscope insertion portion.Endoscope position detector for bronchiAbout.
[0002]
[Prior art]
In recent years, endoscopes have been widely used in the medical field. Among these endoscopes, those with a soft insertion section can be used to diagnose organs deep in the body cavity without incising the body surface by inserting it into a bent duct in the body cavity. A therapeutic treatment can be performed in which a treatment tool is inserted into a channel of the endoscope to remove a polyp or the like. However, a certain level of skill is required to smoothly insert the insertion portion into the bent body cavity.
[0003]
That is, in order to smoothly insert the insertion portion, it is necessary to perform operations such as bending the bending portion provided in the insertion portion and twisting the gripping portion according to the bending state of the pipe line. At this time, it is convenient to know the position of the distal end position of the insertion portion in the body cavity, the bent shape of the insertion portion in the body cavity, and the like.
[0004]
For this reason, for example, Japanese Patent Laid-Open No. 8-0542 discloses an endoscope position detection device that can detect the three-dimensional position of an endoscope with high accuracy within a required detection range. This endoscope position detection apparatus detects the position of an endoscope using a magnetic field generation element and a magnetic field detection element.
[0005]
On the other hand, as a pipeline navigation method for easily arriving an endoscope to a site of interest, for example, Japanese Patent Laid-Open No. 2000-135215 discloses a tube that supports insertion of an endoscope into a body duct such as a bronchus. A route guidance method and apparatus, and a radiation tomography apparatus equipped with such a duct guide device are shown. In this pipe guiding method and apparatus, and a radiation tomography apparatus equipped with such a pipe guiding apparatus, a virtual processing is performed by a central processing unit based on a projection obtained by a helical scan of an X-ray irradiation / detection device. An endoscopic image and a guide image for biopsy of a region of interest were generated.
[0006]
[Problems to be solved by the invention]
However, for example, in the diagnosis of adenocarcinoma that frequently occurs in the peripheral lung field, the bronchial thickness is about 3 mm and the branching order is large in the seventh or eighth branch and reaches the alveoli in about the 15th to 18th branches. . Since the thickness of the fifteenth bronchus is about 2 mm, there is a case where an image up to the end bronchus cannot be contrasted with the performance of the current observation apparatus. That is, there is a problem that it is difficult to obtain a bronchial three-dimensional image up to the end.
[0007]
Further, there is a problem that the route to the region of interest is fragmented, that is, the position information of the endoscope tip is not always displayed in real time on the three-dimensional image of the bronchus, so that the path in the bronchus is difficult to understand.
[0008]
  The present invention has been made in view of the above circumstances, and when performing observation or treatment, the conduit and the insertion path are clarified, and the endoscope and the treatment instrument can be guided accurately and quickly.Endoscope position detector for bronchiThe purpose is to provide.
[0009]
[Means for Solving the Problems]
  Of the present inventionEndoscope position detector for bronchiUsing a magnetic field generating element and a magnetic field detecting elementFor bronchi inserted into the bronchiEnd position of endoscope insertion partInsertion portion tip position detection means for detecting, at least,Of the subject acquired in advanceIn the bronchiCreated from continuous slice tomograms,Criteria including uncontrast endStores bronchial 3D image dataReference bronchus 3D image data storage means and reference bronchus 3 for controlling to read out the reference bronchi 3D image data stored in the reference bronchi 3D image data storage means and display it on the display means as a reference bronchi 3D image An endoscopic image detected by the insertion portion tip position detecting means with respect to the reference bronchial 3D image displayed on the display means under the control of the 3D image display control means and the reference bronchial 3D image display control means Based on a predetermined sampling frequency, the tip position correcting means for correcting the position of the tip position of the mirror insertion section, and the trajectory information of the tip position of the endoscope insertion section after the tip position correction is performed by the tip position correction means. Based on the trajectory information of the distal end position of the endoscope insertion portion acquired by the distal end position trajectory information acquisition means and the distal end position trajectory information acquisition means. The non-contrast end image data generating means for generating image data relating to the non-contrast end portion in the reference bronchial three-dimensional image data, and the non-contrast end portion image data generating means generated by the non-contrast end portion image data generating means Is added to the reference bronchial three-dimensional image data to generate synthetic bronchial three-dimensional image data, and synthetic bronchial three-dimensional image data generated by the synthetic bronchial three-dimensional image data generating unit And a composite bronchial three-dimensional image data storage means for storing image data as new bronchial three-dimensional image data.
[0010]
According to this configuration, first, by inserting and removing the endoscope once, an image in which the trajectory image is synthesized with the bronchial three-dimensional image data acquired in advance is created. When the endoscope is inserted again, the endoscope can be smoothly guided to the site of interest by referring to the composite image created by the previous insertion / extraction.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
  Embodiments of the present invention will be described below with reference to the drawings.
  1 to 11 relate to an embodiment of the present invention, FIG. 1 is a diagram for explaining an endoscope system, FIG. 2 is a diagram for explaining an endoscope, and FIG. 3 is a diagram for explaining an endoscope and a video processor. FIG. 4 is a diagram for explaining the distal end portion of the probe inserted into the endoscope, FIG. 5 is a block diagram, FIG. 6 is a diagram showing an actual bronchus, and FIG. 7 is a three-dimensional bronchi obtained by CT scanning. FIG. 8 is a diagram illustrating a switch input position for correcting position information, and FIG. 9 is a three-dimensional image of a bronchus.Non-contrast end image obtained from trajectory informationFIG. 10 is a flowchart for explaining bronchial image creation processing, and FIG. 11 is a diagram for explaining a display example of additional data.
[0012]
  Note that FIG.Non-contrast end image obtained from trajectory informationFig. 9 (b) shows a composite 3D bronchial image withNon-contrast end image obtained from trajectory informationFIG. 11A is a diagram showing a composite three-dimensional bronchial image in which additional data is plotted and displayed, and FIG. 11B is a diagram showing a composite three-dimensional bronchial image in which additional data is displayed in dots. .
[0013]
As shown in FIG. 1, an endoscope system 1 according to the present embodiment is used together with an endoscope apparatus 2 that performs an examination using an endoscope 6 and the endoscope apparatus 2, and the endoscope 6 And an endoscope position detection device 3 that has a function of detecting at least the distal end position of the insertion portion 7 and that further estimates the three-dimensional position of the insertion portion 7 and displays the corresponding position of the distal end portion on the monitor 23. It is configured.
[0014]
For example, the insertion portion 7 of the endoscope 6 shown in FIG. 2 is inserted into the bronchus of the patient 5 lying on the bed 4. The endoscope 6 is elongated and includes the insertion portion 7, an operation portion 8 disposed at the rear end thereof, and a universal cable 9 extending from a side portion of the operation portion 8. A connector 9A is provided at the end of the universal cable 9, and a signal cable 9B extends from the side of the connector 9A. A signal connector 9C is provided at the end of the signal cable 9B.
[0015]
As shown in FIG. 3, the connector 9A is detachably connected to the light source section 36 in the video processor 11, and the signal connector 9C is detachably connected to the signal processing section 37. .
[0016]
A hollow channel 13 is formed in the insertion portion 7. A treatment tool such as forceps is inserted from the insertion port 13a which is the base end of the channel 13, and the treatment tool is treated with respect to the affected area by causing the distal end side of the treatment tool to protrude from the channel outlet of the distal end surface of the insertion section. Yes. Further, a probe 15 for position detection can be inserted into the channel 13, and the tip end side of the probe 15 can be installed at a predetermined position in the channel 13 (see FIG. 4 described later). Yes.
[0017]
A light guide 38 that transmits illumination light is inserted into the insertion portion 7. The light guide 38 passes through the insertion portion 7, the operation portion 8, and the universal cable 9 to reach the connector 9 </ b> A. The illumination light of the lamp 36A in the light source unit 36 is collected on the end surface of the connector 9A. As a result, the illumination light of the lamp 36A is collected on the end surface of the connector 9A, transmitted through the light guide 38, and forwardly from the illumination window forming the illumination light emitting means provided at the distal end of the insertion portion 7. It is emitted toward.
[0018]
A subject such as an inner wall of the bronchus or an affected part revealed by the illumination light emitted from the illumination window is brought to its focal position by an objective lens 39 attached to an observation window arranged adjacent to the illumination window. An image is formed on the imaging surface of the CCD 29 as a solid-state imaging device.
[0019]
The CCD 29 receives the CCD drive signal output from the CCD drive circuit 37 A in the signal processing unit 37, whereby the image signal photoelectrically converted by the CCD 29 is read, and the signal line passing through the insertion unit 7 is routed. Then, the signal processing circuit 37B converts it into a standard video signal and outputs it to the color monitor 12.
[0020]
On the other hand, the operation section 8 is provided with a bending operation knob 8A. The surgeon can turn the bending operation knob 8A to bend the bendable bending portion 7A formed near the distal end of the insertion portion 7. By providing this bending portion 7A, insertion can be performed while bending the distal end side along the bent intrabronchial path so as to follow the bent. An operation switch serving as a switch means capable of ON / OFF operation that outputs an instruction signal to the endoscope position detection device main body 21 via the endoscope device 2 and the signal connection cable 14 in the operation unit 8. 8B is provided.
[0021]
As shown in FIG. 4, the probe 15 has an insulating source coil 16 as a magnetic field generating element for generating a magnetic field, and has an insulating property on the inner wall of the distal end portion of the tube 19 having a flexible cross-sectional shape. It is fixed with an adhesive 20.
[0022]
The source coil 16 is composed of, for example, a solenoidal coil in which an insulating and hard cylindrical core 10 is wound with a conductive wire coated with an insulating film, and an insulating adhesive 20 is applied to the outer peripheral surface of the coil. Thus, the coil is fixed to the core 10 in an insulating coating and is also fixed to the inner wall of the tube 19.
[0023]
Since the conductive wire is wound around the hard core 10 and the source coil 16 is fixed by the adhesive 20, even if the tube 19 is bent and deformed, the source coil 16 itself has a structure that does not deform. Yes, the function of magnetic field generation is unchanged. Since the position of the source coil 16 is a known position of the endoscope 6, the position of the insertion portion 7 of the endoscope 6 is detected by detecting the position of the source coil 11.
[0024]
The lead wire 17 connected to the source coil 16 is connected to a connector 18 provided at the rear end of the probe 15 or provided at the rear end of the cable extending from the rear end of the probe 15. The connector 18 is connected to the connector receiver of the endoscope position detection device main body 21. For this reason, the magnetic field used for position detection is applied to the source coil 16 by applying a drive signal output from a source coil drive unit (see reference numeral 24 in FIG. 5), which will be described later, of the endoscope position detection device main body 21 to be described later. Will occur.
[0025]
As shown in FIG. 1, triaxial sense coils 22a, 22b, and 22c (hereinafter referred to as magnetic field detecting elements) that detect magnetic fields from the source coil 16 are provided at, for example, three corners that are predetermined positions of the bed 4. , Represented by 22j). These three-axis sense coils 22j are connected to the endoscope position detection device main body 21 via a cable extending from the bed 4.
[0026]
Although not shown, the triaxial sense coil 22j is wound in three directions so that the coil surfaces are orthogonal to each other, and each coil detects a signal proportional to the magnetic field strength of the axial component orthogonal to the coil surface. . The endoscope position detection device main body 21 detects the position of the source coil 16 based on the output of the three-axis sense coil 22j and determines the position of the insertion portion 7 of the endoscope 6 inserted into the patient 5. On the other hand, the estimated position is marked on the screen of the monitor 23 while being estimated.
[0027]
The endoscope position detection device 3 uses magnetism. Therefore, if there is a metal that is not transparent to magnetism, the mutual inductance between the source coil 16 for generating a magnetic field and the triaxial sense coil 22j for detection is affected by iron loss or the like.
[0028]
In general, when the mutual inductance is represented by R + jX, a metal that is not transparent to magnetism affects both R and X. In this case, the detection of a minute magnetic field changes the amplitude and phase of a signal measured by generally used orthogonal detection. Therefore, to detect signals with high accuracy, it is desirable to set up an environment where the generated magnetic field is not affected. To achieve this, the bed is made of a magnetically transparent material, that is, a material that does not affect the magnetic field. 4 should be made.
[0029]
The magnetically transparent material may be, for example, a resin such as Delrin, wood, or a metal to be magnetized. In practice, an AC magnetic field is used to detect the position of the source coil 16, and therefore the frequency of the drive signal The material may be made of a material that does not affect magnetically. Therefore, the bed 4 used together with the endoscope position detecting device 3 is made of a magnetically transparent material that is magnetically transparent at least at the frequency of the generated magnetic field.
[0030]
As shown in FIG. 5, a drive signal is sent from the source coil driving unit 24 of the endoscope position detecting device main body 21 to the source coil 16 arranged at a predetermined position of the probe 15 installed in the channel 13 of the endoscope 6. Is to be supplied. Then, by applying a drive signal to the source coil 16, a magnetic field is generated around the source coil 16.
[0031]
The source coil driver 24 amplifies the AC signal supplied from the magnetic field generating transmitter 25 and outputs a drive signal for generating a necessary magnetic field. The AC signal from the magnetic field generating transmitter 25 is sent as a reference signal to the mutual inductance detector 26 for detecting a minute magnetic field detected by the triaxial sense coil 22j provided on the bed 4.
[0032]
A minute magnetic field detection signal detected by the three-axis sense coil 22j is amplified by the sense coil output amplifier 27 and then input to the mutual inductance detector 26. The mutual inductance detection unit 26 performs amplification and quadrature detection (synchronous detection) on the basis of the reference signal, and acquires a signal related to the mutual inductance between the coils.
[0033]
The signal obtained by the mutual inductance detector 26 is input to the source coil position detector 31. The analog signal input at this time is converted into a digital signal to perform position detection calculation, position information estimated for the source coil 16 is obtained, and this position information is sent to the map image generation unit 32. The position information sent to the map image generation unit 32 is sent to the monitor signal generation unit 33 and the system control unit 34.
[0034]
The monitor signal generation unit 33 generates an RGB, NTSC, or PAL video signal capable of displaying an image on the screen of the monitor 23 and outputs it to the monitor 23. As a result, the distal end position of the endoscope 6 is displayed on a composite three-dimensional bronchial image, which will be described later, displayed on the screen of the monitor 23.
[0035]
The system control unit 34 includes a control unit 34a configured by a CPU, a map information synthesis circuit 34b as map information synthesis means, a position information storage unit 34c as position information storage means, and a position information correction means as position information correction means. A circuit 34d is provided to control operations of the source coil position detector 31, the map image generator 32, the monitor signal generator 33, and the like.
[0036]
An operation panel 35 having a keyboard, a switch, and the like is connected to the system control unit 34. By operating the keyboard or the like of the operation panel 35, for example, the bronchial three-dimensional image 41 of the patient 5 as shown in FIG. 7 stored in advance in the image data storage unit 37 via the control unit 34a is selectively selected. It is displayed on the screen of the monitor 23.
[0037]
Note that the data of the bronchial three-dimensional image 41 of the patient 5 is modeled on the basis of CT scan data of a recording apparatus connected to the endoscope system 1 via a LAN (not shown) or the like. This is registered in advance in the storage unit 37.
[0038]
The position information correction circuit 34d of the system control unit 34 receives the instruction signal output by operating the operation switch 8B of the endoscope 6 to the SW input unit 36 via the endoscope device 2 and the signal connection cable 14. When input, the three-dimensional image 41 of the bronchus and the endoscope tip coordinates at the time when the operation switch 8B is turned on are acquired from the source coil position detection unit 31 based on this signal, and a predetermined correction process is performed.
[0039]
The map information composition circuit 34b of the system control unit 34 constructs composite three-dimensional bronchial image data based on the bronchial three-dimensional image 41 and the coordinate position sampling value recorded in the position information storage unit 34c. The combined three-dimensional bronchial image data is sent to the map image generation unit 32. Then, the map image generation unit 32 finally combines the resultant images into the bronchial three-dimensional image 41.Non-contrast end image obtained from trajectory informationThe synthesized three-dimensional bronchial image data synthesized (see the broken line portion in FIG. 9B) is sent to the monitor signal generating unit 33. Then, the monitor signal generation unit 33 superimposes the image data indicating the current endoscope tip position by, for example, an X mark on the combined three-dimensional bronchial image data.
[0040]
As a result, a composite 3D bronchial image 43 is displayed on the screen of the monitor 23, and an X mark 43a indicating the current endoscope tip position is displayed on the composite 3D bronchial image 43 in real time. .
[0041]
Here, an image displayed on the monitor 23 will be described with reference to FIGS. The processing steps will be described in “Bronchial image creation processing” described later.
[0042]
FIG. 6 shows an actual bronchus of the patient 5, and the end of the bronchus has complicated pipe lines, and many branch lines have narrow pipe lines. However, as shown in FIG. 7, the bronchial three-dimensional image 41 modeled on the basis of CT scan data cannot display the end of the bronchus of the patient 5 and is cut in the middle of the duct. End up.
[0043]
FIG. 8 shows a position where the operation switch 8B is operated, and the operation panel 35 is operated during the path to the position of the tumor which is the target region of interest estimated to be the first, second, and third. The operation point is marked with a cursor key etc. near the branch point. The operation points are displayed as, for example, A, B, and C on the bronchial three-dimensional image 41.
[0044]
At this stage, the coordinate system of the bronchial three-dimensional image 41 displayed on this screen and the position of the mark 42 indicating the endoscope tip are not corrected. Therefore, the first branch point, the second branch point, the first mark, and the like that are marked in advance while checking the video displayed on the screen of the monitor 12 of the endoscope apparatus 2 that is an actual image captured by the endoscope 6. When the third branch point is reached, the operation switch 8B is operated. As a result, the coordinate positions of the three branch points are obtained, and correction processing is performed at this point, so that the current position of the endoscope tip is displayed as a predetermined mark such as an X mark.
[0045]
  Further, when the insertion unit 7 is inserted toward the distal end portion during endoscopic observation, the position information storage unit 34c sequentially records sampling values at predetermined time intervals. Then, based on this sampling value, the insertion locus of the endoscope tip is constructed as synthesized three-dimensional bronchial image data and shown in FIG. 9 (a).As shown, the uncontrast end image obtained from the trajectory information was added.A synthesized three-dimensional bronchial image 43 is displayed on the screen.
[0046]
For this reason, at the time of the second observation and treatment, the composite three-dimensional bronchial image 43 is displayed on the monitor 23 to confirm the X mark displayed on the synthetic three-dimensional bronchial image 43 so that the insertion unit 7 can be moved quickly. It becomes possible to insert it toward the region of interest.
[0047]
Here, the “bronchial image creation processing” until the composite 3D bronchial image that reaches the end affected part that cannot be contrasted with the bronchial 3D image 41 that is a 3D solid model based on CT scan data will be described.
[0048]
As shown in FIG. 10, first, in the initialization of step S <b> 1, the data stored in the position information storage unit 34 c is cleared, while the corresponding patient 5 is stored among the data stored in the image data storage unit 37. The bronchial three-dimensional image 41 is called up and displayed on the screen of the monitor 23.
[0049]
Then, the operation point A, the operation point B, and the operation point C are set on the bronchial three-dimensional image 41, and insertion of the endoscope 6 is started. At this time, when the video image displayed on the screen of the monitor 12 is confirmed, the tip of the endoscope 6 reaches the first branch point, the second branch point, and the third branch point which are marking points. The switch 8B is sequentially operated as shown in steps S4 and S6. If the switch 8B is not operated when the endoscope 6 is inserted, a switch-on standby state is entered in steps S2, S4, and S6.
[0050]
Then, by appropriately operating the switch 8B in each of step S2, step S4, and step S6, as shown in step S3, step S5, and step S7, acquisition of coordinates in the first branch in the path of the bronchial model, second Acquisition of coordinates in the branch and acquisition of coordinates in the third branch are performed.
[0051]
If the acquisition of the coordinates at the three branches is completed, the process proceeds to step S8. In step S8, a correction process is performed to match the current endoscope tip position with the coordinate system of the bronchial three-dimensional image 41 from the coordinates of the first, second, and third branch points. This correction processing method is obtained from the normal vectors obtained at points A, B, and C and the obtained coordinates of the first, second, and third branch points because the CT image is the same size as the actual image. In this method, the bronchus three-dimensional image 41 is coordinate-transformed so that the obtained normal vector matches. Here, the coordinates of the three points are acquired and the position information correction is performed, but the correction may be performed using three or more points.
[0052]
When the correction process of the position information shown in step S8 is completed, the process proceeds to step S9, and the coordinate value of the moving endoscope tip is sequentially sampled and recorded every 200 ms. At this time, the latest endoscope tip coordinates are displayed on the three-dimensional bronchial image 43 in real time with an X mark.
[0053]
In step S10, it is determined whether or not the sampled coordinate value is a coordinate value of a region outside the 3D solid model of the bronchial three-dimensional image 41. It is determined that the image data is newly added to the three-dimensional image 41, and the image data is added, while the image data is added and highlighted on the screen.
[0054]
Note that since the duct is narrow at the end of the bronchus, the locus of the plot coordinates may be simply displayed as a line drawing or may remain as a plot image without treating the image to be added as a 3D solid model. Absent.
[0055]
That is, when the coordinate values obtained by sampling every 200 ms in step S9 are simply plotted and displayed, a plurality of plots 45,..., 45 as additional data are displayed on the screen as shown in FIG. Is done. Therefore, the plot data that protrudes from the end of the pipeline shown by the solid line is treated as additional data.
[0056]
On the other hand, when the image is synthesized by overlay processing in step S10, dots 46 are displayed on the screen as shown in FIG. Here, the plot coordinates, which are additional data, are emphasized by, for example, red dots, which are dot drawing group images.
[0057]
In step S11, when the endoscope has reached the target bronchial end, which is a region of interest, an instruction to newly store data as data for constructing a final composite three-dimensional bronchial image 43 by a key input operation or the like on the operation panel 35 I do. This completes the storage of the composite 3D bronchial image data up to the region of interest, and when performing the observation and treatment from the second time, it becomes possible to display all necessary routes to the region of interest. Guidance can be performed quickly and accurately.
[0058]
Thus, by providing the system control unit having the position information correction circuit, the position information storage unit, and the map information synthesis circuit, it is obtained from the CT scan data stored in the image data storage unit when the endoscope is inserted. In addition to the bronchial three-dimensional image, the position information storage unit sequentially samples at predetermined time intervals, while the coordinate value of the endoscope tip position is the coordinate value of the region deviated from the 3D solid model of the bronchial three-dimensional image. When it is the coordinate value of the deviated region, it is added as new image data to the bronchial 3D image, and the end portion that could not be observed in the bronchial 3D image was added A minimum required synthetic 3D bronchial image can be obtained.
[0059]
In addition, by providing a map image generation unit and superimposing image data indicating the position of the endoscope tip on the combined three-dimensional bronchial image, the position of the endoscope tip is displayed on the combined three-dimensional bronchial image. It is possible to easily grasp the part and the current position.
[0060]
Further, when the tip position of the inserted portion once inserted is a coordinate value of an area outside the 3D solid model, it is displayed as additional data on the combined 3D bronchial image, while the combined 3D including this additional data is displayed. By re-storing the bronchial image, when the endoscope is inserted again, the latest synthesized 3D bronchial image is displayed and the endoscope is guided while confirming the necessary all-way muscle to the region of interest. Can do.
[0061]
It should be noted that the present invention is not limited to the embodiments described above, and various modifications can be made without departing from the spirit of the invention.
[0062]
【The invention's effect】
As described above, according to the present invention, when observation or treatment is performed, an endoscope position detection device that can accurately and quickly guide an endoscope and a treatment tool by clarifying a pipeline and an insertion path is provided. can do.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an endoscope system
FIG. 2 is a diagram illustrating an endoscope
FIG. 3 is a diagram for explaining an endoscope and a video processor;
FIG. 4 is a diagram for explaining a distal end portion of a probe inserted through an endoscope
FIG. 5 is a block diagram for explaining an endoscope position detection apparatus main body and related parts thereof.
FIG. 6 shows an actual bronchus
FIG. 7 is a diagram illustrating a bronchial three-dimensional image obtained by a CT scan.
FIG. 8 is a diagram for explaining a switch input position for correcting position information;
FIG. 9 shows three-dimensional images of bronchiNon-contrast end image obtained from trajectory informationTo explain the combined 3D bronchial image
FIG. 10 is a flowchart for explaining bronchial image creation processing;
FIG. 11 is a diagram for explaining a display example of additional data.
[Explanation of symbols]
    3. Endoscope position detection device
    21 ... Endoscope position detection device main body
    32. Map image generation unit
    34 ... System control unit
    34b ... Map information synthesis circuit
    34c ... Position information storage unit
    34d: Position information correction circuit
    36 ... Switch input section
    37. Image data storage unit

Claims (5)

磁界発生素子と、磁界検出素子とを用いて気管支に挿入された気管支用の内視鏡挿入部の先端位置を検出する挿入部先端位置検出手段と、
少なくとも、予め取得した被検体の気管支における連続するスライス断層像から作成した、未造影末端部を含む基準気管支3次元画像データを格納する基準気管支3次元画像データ記憶手段と、
前記基準気管支3次元画像データ記憶手段に記憶された前記基準気管支3次元画像データを読み出して基準気管支3次元画像として表示手段に表示するよう制御する基準気管支3次元画像表示制御手段と、
前記基準気管支3次元画像表示制御手段の制御下に前記表示手段に表示された前記基準気管支3次元画像に対して、前記挿入部先端位置検出手段により検出された内視鏡挿入部の先端位置の位置補正を行う先端位置補正手段と、
前記先端位置補正手段により先端位置が補正された後、当該内視鏡挿入部の先端位置の軌跡情報を所定のサンプリング周波数に基づいて取得する先端位置軌跡情報取得手段と、
前記先端位置軌跡情報取得手段により取得された内視鏡挿入部の先端位置の軌跡情報に基づいて、前記基準気管支3次元画像データにおける未造影末端部に係る画像データを生成する未造影末端部画像データ生成手段と、
前記未造影末端部画像データ生成手段によって生成された未造影末端部画像データを前記基準気管支3次元画像データに対して追加して合成気管支3次元画像データを生成する合成気管支3次元画像データ生成手段と、
前記合成気管支3次元画像データ生成手段によって生成された合成気管支3次元画像データを新たな気管支3次元画像データとして記憶する合成気管支3次元画像データ記憶手段と、
を具備したことを特徴とする気管支用内視鏡位置検出装置。
An insertion portion tip position detection means for detecting a tip position of an endoscope insertion portion for bronchi inserted into the bronchus using a magnetic field generating element and a magnetic field detection element ;
At least reference bronchial 3D image data storage means for storing reference bronchial 3D image data including a non-contrast-enhanced end portion , created from continuous slice tomograms in the bronchi of the subject acquired in advance ;
Reference bronchial 3D image display control means for controlling to read out the reference bronchial 3D image data stored in the reference bronchial 3D image data storage means and display it on the display means as a reference bronchial 3D image;
With respect to the reference bronchus 3D image displayed on the display unit under the control of the reference bronchial 3D image display control unit, the distal end position of the endoscope insertion unit detected by the insertion unit distal end position detection unit is detected. Tip position correcting means for performing position correction;
After the tip position is corrected by the tip position correcting means, tip position locus information acquiring means for acquiring locus information of the tip position of the endoscope insertion portion based on a predetermined sampling frequency;
An uncontrast-enhanced end image that generates image data related to the non-contrast end in the reference bronchus three-dimensional image data based on the trajectory information of the tip position of the endoscope insertion unit acquired by the tip position trajectory information acquisition means Data generation means;
Synthetic bronchial three-dimensional image data generating means for generating synthetic bronchial three-dimensional image data by adding the non-contrast-enhanced terminal image data generated by the non-contrast terminal image data generating unit to the reference bronchial three-dimensional image data When,
Synthetic bronchial three-dimensional image data storage means for storing the synthetic bronchial three-dimensional image data generated by the synthetic bronchial three-dimensional image data generating means as new bronchial three-dimensional image data;
An endoscopic position detecting device for bronchi, comprising:
前記未造影末端部画像データに対応する画像を強調して前記表示手段に表示するよう制御する未造影末端部強調表示制御手段をさらに備えたことを特徴とする請求項1に記載の気管支用内視鏡位置検出装置。2. The bronchial interior according to claim 1, further comprising an uncontrast-enhanced display highlighting control unit that controls to emphasize and display an image corresponding to the uncontrast-enhanced end image data on the display unit. Endoscope detection device. 前記未造影末端部画像データは、前記基準気管支3次元画像データにおける未造影末端部に対応する部分に形成された3次元画像データであることを特徴とする請求項1または2に記載の気管支用内視鏡位置検出装置。3. The bronchial image data according to claim 1, wherein the non-contrast end image data is three-dimensional image data formed in a portion corresponding to the non-contrast end portion in the reference bronchus three-dimensional image data. Endoscope position detection device. 前記未造影末端部画像データは、前記基準気管支3次元画像データにおける未造影末端部に対応する部分に形成されたプロット画像データであることを特徴とする請求項1または2に記載の気管支用内視鏡位置検出装置。3. The bronchial interior according to claim 1 or 2, wherein the non-contrast end image data is plot image data formed in a portion corresponding to the non-contrast end in the reference bronchial three-dimensional image data. Endoscope detection device. 前記未造影末端部画像データは、前記基準気管支3次元画像データにおける未造影末端部を含む部分に形成された、内視鏡挿入部の先端位置の軌跡を示したプロット画像データであることを特徴とする請求項1または2に記載の気管支用内視鏡位置検出装置。The non-contrast end image data is plot image data showing a trajectory of a tip position of an endoscope insertion portion formed in a portion including the non-contrast end portion in the reference bronchial three-dimensional image data. The endoscope position detecting device for bronchi according to claim 1 or 2.
JP2000399113A 2000-12-27 2000-12-27 Endoscope position detector for bronchi Expired - Fee Related JP3850217B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000399113A JP3850217B2 (en) 2000-12-27 2000-12-27 Endoscope position detector for bronchi

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000399113A JP3850217B2 (en) 2000-12-27 2000-12-27 Endoscope position detector for bronchi

Publications (2)

Publication Number Publication Date
JP2002200030A JP2002200030A (en) 2002-07-16
JP3850217B2 true JP3850217B2 (en) 2006-11-29

Family

ID=18863949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000399113A Expired - Fee Related JP3850217B2 (en) 2000-12-27 2000-12-27 Endoscope position detector for bronchi

Country Status (1)

Country Link
JP (1) JP3850217B2 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60310877T8 (en) * 2002-07-31 2007-09-13 Olympus Corporation ENDOSCOPE
US20050272971A1 (en) * 2002-08-30 2005-12-08 Olympus Corporation Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
JP4334839B2 (en) * 2002-09-12 2009-09-30 オリンパス株式会社 Endoscope observation device
JP3820244B2 (en) * 2003-10-29 2006-09-13 オリンパス株式会社 Insertion support system
WO2005041761A1 (en) * 2003-10-31 2005-05-12 Olympus Corporation Insertion support system
JP5123615B2 (en) * 2007-08-31 2013-01-23 オリンパスメディカルシステムズ株式会社 Endoscope insertion support device
JP4922107B2 (en) * 2007-09-03 2012-04-25 オリンパスメディカルシステムズ株式会社 Endoscope device
EP2422684A4 (en) 2009-04-20 2014-01-29 Olympus Medical Systems Corp Subject internal examination system
CN102428496B (en) * 2009-05-18 2015-08-26 皇家飞利浦电子股份有限公司 Registration and the calibration of the marker free tracking of endoscopic system is followed the tracks of for EM
JP5311664B2 (en) * 2009-09-30 2013-10-09 富士フイルム株式会社 Sample management system, sample management method, sample management program
EP2523593B1 (en) * 2010-01-14 2015-03-25 Koninklijke Philips N.V. Flexible instrument channel insert for scope with real-time position tracking
KR101004392B1 (en) * 2010-04-27 2010-12-27 조성호 Endoscopic sinus surgery protection apparatus
JP2012024518A (en) * 2010-07-28 2012-02-09 Fujifilm Corp Device, method, and program for assisting endoscopic observation
WO2013011733A1 (en) * 2011-07-15 2013-01-24 株式会社 日立メディコ Endoscope guidance system and endoscope guidance method
WO2013132880A1 (en) 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 Endoscopic system
JP6128792B2 (en) * 2012-10-16 2017-05-17 オリンパス株式会社 Observation device, observation support device, method of operating observation device, and program
JP6128796B2 (en) * 2012-10-25 2017-05-17 オリンパス株式会社 INSERTION SYSTEM, INSERTION SUPPORT DEVICE, OPERATION METHOD AND PROGRAM FOR INSERTION SUPPORT DEVICE
WO2014141968A1 (en) 2013-03-12 2014-09-18 オリンパスメディカルシステムズ株式会社 Endoscopic system
EP4328856A2 (en) * 2014-07-28 2024-02-28 Intuitive Surgical Operations, Inc. Systems and methods for intraoperative segmentation
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
CN115472070B (en) * 2022-09-14 2023-05-23 中日友好医院(中日友好临床医学研究所) Bronchoscope simulation operation device

Also Published As

Publication number Publication date
JP2002200030A (en) 2002-07-16

Similar Documents

Publication Publication Date Title
JP3850217B2 (en) Endoscope position detector for bronchi
JP7154832B2 (en) Improving registration by orbital information with shape estimation
JP4698966B2 (en) Procedure support system
EP1681011B1 (en) Insertion support system
JP5160699B2 (en) Medical equipment
JP5378628B1 (en) Endoscope system
WO2011102012A1 (en) Medical device
KR20180079372A (en) System and method for navigating surgical instruments
US20070055128A1 (en) System, method and devices for navigated flexible endoscopy
JP2009254837A (en) Structure of endoscope and technique for navigating to target in branched structure
CN110811835A (en) Computed tomography enhanced fluoroscopy systems, devices, and methods of use thereof
JPWO2004010857A1 (en) Endoscope device, endoscope device navigation method, endoscope image display method, and endoscope image display program
EP2430979A1 (en) Biopsy support system
US20190247127A1 (en) 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
JP2002238844A (en) Endoscope device
CN111568544A (en) System and method for visualizing navigation of a medical device relative to a target
US20210338044A1 (en) Medical systems and related methods
JP4022114B2 (en) Endoscope device
WO2016185912A1 (en) Image processing apparatus, image processing method, and surgical system
EP3527159A2 (en) 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
JP6038405B2 (en) Navigation system and navigation system operating method
JP3548430B2 (en) Endoscope shape detector
JP4445792B2 (en) Insertion support system
US20220202500A1 (en) Intraluminal navigation using ghost instrument information
US20220202273A1 (en) Intraluminal navigation using virtual satellite targets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees