JP4022114B2 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP4022114B2 JP4022114B2 JP2002255699A JP2002255699A JP4022114B2 JP 4022114 B2 JP4022114 B2 JP 4022114B2 JP 2002255699 A JP2002255699 A JP 2002255699A JP 2002255699 A JP2002255699 A JP 2002255699A JP 4022114 B2 JP4022114 B2 JP 4022114B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vector
- endoscopic image
- vbs
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 74
- 238000000605 extraction Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 26
- 238000002591 computed tomography Methods 0.000 description 19
- 238000003780 insertion Methods 0.000 description 19
- 230000037431 insertion Effects 0.000 description 19
- 210000000621 bronchi Anatomy 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 238000013500 data storage Methods 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Description
【０００１】
【発明の属する技術分野】
本発明は、内視鏡装置に関し、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐での各画像は複数の分岐先経路を持つ類似の画像となるため、単に仮想的な内視像を表示するだけでは、ライブの内視鏡像の実際の分岐位置と異なる分岐位置の仮想の内視像が表示されても、術者が正しい分岐位置での仮想の内視像と誤認する可能性があり、このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションすることのできる内視鏡装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の第１の態様の内視鏡装置は、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、前記被検体内の体腔路を撮像する内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と、前記仮想内視鏡画像と、からなるナビゲーション画像を生成するナビゲーション画像生成手段と、前記仮想内視鏡画像において、前記体腔路の分岐点に存在する複数の分岐穴の位置関係を抽出する仮想内視鏡画像特徴量抽出手段と、前記内視鏡画像において、前記複数の分岐穴の位置関係を抽出する内視鏡画像特徴量抽出手段と、前記仮想内視鏡画像特徴量抽出手段及び前記内視鏡画像特徴量抽出手段において抽出された前記複数の分岐穴の位置関係に基づいて、前記内視鏡画像または前記仮想内視鏡画像のいずれか一方の向きを補正するナビゲーション画像補正手段と、を備えたことを特徴とする。
本発明の第２の態様の内視鏡装置は、前記第１の態様の内視鏡装置において、前記内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第１のベクトルを算出するとともに、前記仮想内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第２のベクトルを算出し、前記第１のベクトルの向き及び前記第２のベクトルの向きが一致しているか否かを判別する判別手段と、前記判別手段の判別結果に基づき、前記第１のベクトルの向き及び前記第２のベクトルの向きが異なる場合、前記第１のベクトルの向きと前記第２のベクトルの向きとを一致させるための情報として、前記内視鏡の操作方向及び操作量を前記ナビゲーション画像内に出力する内視鏡操作情報出力手段と、を更に備えたことを特徴とする。
本発明の第３の態様の内視鏡装置は、前記第１の態様の内視鏡装置において、前記内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第１のベクトルを算出するとともに、前記仮想内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第２のベクトルを算出し、前記第１のベクトルの向き及び前記第２のベクトルの向きが一致しているか否かを判別する判別手段と、前記判別手段の判別結果に基づき、前記第１のベクトルの向き及び前記第２のベクトルの向きが異なる場合、前記第１のベクトルの向きと前記第２のベクトルの向きとが一致するように、前記内視鏡画像または前記仮想内視鏡画像のいずれか一方を回転させる画像回転手段と、を更に備えたことを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１０】
図１ないし図２２は本発明の一実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の光学特性格納部に格納されるデータを説明する第１の図、図３は図１の光学特性格納部に格納されるデータを説明する第２の図、図４は図１の画像処理部の構成を示す構成図、図５は図１の入力部の構成を示す構成図、図６は図１の気管支鏡ナビゲーション装置によるルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図６の処理により設定された気管支上のルートを模式的に示した図、図１１は図１の気管支鏡ナビゲーション装置により表示されるナビゲーション画面を示す図、図１２は図４の画像処理部によるライブ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート、図１３は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第１の図、図１４は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第２の図、図１５は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第３の図、図１６は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第４の図、図１７は図１２の処理の具体例を説明する第１の図、図１８は図１２の処理の具体例を説明する第２の図、図１９は図１２の処理の具体例を説明する第３の図、図２０は図４の画像処理部によるＶＢＳ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート、図２１は図２０の処理の具体例を説明する第１の図、図２２は図２０の処理の具体例を説明する第２の図である。
【００１１】
図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し患部組織を生検する気管支鏡２と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡画像（以下、ＶＢＳ画像と記す）を生成すると共に気管支鏡２からの撮像信号及び入力部４からの入力信号に基づき、気管支鏡２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ５に表示し気管支鏡２の目的部位へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。
【００１２】
なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。
【００１３】
気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ（ＭｕｌｔｉＰｌａｎａｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の目的部位へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像を生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡２からの撮像信号及び入力部４からの入力信号を入力しライブ画像及びＶＢＳ画像からなる後述するナビゲーション画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成したナビゲーション画面をモニタ５に表示させる画像表示制御部１８と、設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。
【００１４】
また、気管支鏡ナビゲーション装置６には、ＶＢＳ画像生成部１５に対して気管支鏡２の光学特性を反映させるための光学特性格納部２０が設けられている。これは、例えば図２に示すようにＶＢＳ画像生成部１５が生成するＶＢＳ画像は光学歪みを有しないのに対して、気管支鏡２が撮像した撮像信号は図３に示すような光学歪みを有しているために、ＶＢＳ画像生成部１５では光学特性格納部２０に格納されているデータに基づきＶＢＳ画像に光学歪みを与えてＶＢＳ画像を補正して生成するようになっている。気管支鏡２の光学歪み等の光学特性は、写真計測やロボットビジョン等の分野で様々な方式が提案されているカメラキャリブレーション手法により得ることができる。
【００１５】
なお、ＣＴ画像データ格納部１２、ＶＢＳ画像格納部１６及び光学特性格納部２０は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。
【００１６】
画像処理部１７は、図４に示すように、気管支鏡２が撮像したライブ画像を入力するライブ画像入力部２１と、ＶＢＳ画像格納部１６に格納されているＶＢＳ画像を入力するＶＢＳ画像入力部２２と、ライブ画像入力部２１が入力したライブ画像及びＶＢＳ画像入力部２２が入力したＶＢＳ画像とによりナビゲーション画面を生成するナビゲーション画面生成部２３と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のライブ画像の特徴点を抽出し第１のベクトルＡを算出する第１の特徴点抽出部２４と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のＶＢＳ画像の特徴点を抽出し第２のベクトルＢを算出する第２の特徴点抽出部２５と、ベクトルＡとベクトルＢを比較しナビゲーション画面上のライブ画像あるいはＶＢＳ画像を回転させる特徴量比較部２６とを備え、ナビゲーション画面生成部２３は特徴量比較部２６の制御に基づきライブ画像あるいはＶＢＳ画像を回転補正してナビゲーション画面を生成し、ナビゲーション画面を画像表示制御部１８に出力するようになっている。
【００１７】
入力部４は、図５に示すように、ナビゲーション画面に表示する気管支の分岐点毎のＶＢＳ画像の更新を指示する次ＶＢＳスイッチであるＳＷ１と、ライブ画像の回転を指示するライブ画像回転スイッチであるＳＷ２と、ＶＢＳ画像を回転させライブ画像の向きに対応させる指示を行うＶＢＳ画像回転スイッチであるＳＷ３と、ライブ画像の静止画像の取り込みを指示するフリーズスイッチであるＳＷ４とから構成される。
【００１８】
このように構成された本実施の形態の作用について説明する。まず、目的部位までの気管支鏡２の挿入ルートを設定する。なお、挿入ルートの設定は、モニタ５に表示される例えばアキシャル、コロナル、サジタルの３つの異なる断面像からなるＭＰＲ画像を有するルート設定画面を用いて行われる。
【００１９】
図６に示すように、設定情報入力部１９を操作することで、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２７上に表示され、ルート設定画面２７上にカーソル３０を用いてＭＰＲ画像２８の３つの断層像を参照しながら、ＭＰＲ画像２８のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２８の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点となる患部位置の入力を促す終点入力指示ウインドウ３２がルート設定画面２７上に表示される。
【００２０】
そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２７上にカーソル３０を用いてＭＰＲ画像２８の３つの断層像を参照しながら、ＭＰＲ画像２８のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２８の２つの断層像上にも対応する位置に終点が設定される。
【００２１】
始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、終点となる患部位置によっては、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。
【００２２】
そして、ルート設定部１４はルート設定画面２７上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２８に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。
【００２３】
ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。
【００２４】
ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。
【００２５】
ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。
【００２６】
ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０で、図１０に示すような気管支上のルート及びルート内の各分岐点の位置情報を決定して処理を終了する。
【００２７】
このようにしてルート設定がなされた気管支鏡ナビゲーション装置６による気管支鏡２による観察・処置時の挿入のナビゲーションについて説明する。
【００２８】
図１１に示すように、気管支鏡ナビゲーション装置６によるナビゲーションを開始し、ナビゲーションを必要とする分岐点に達すると、モニタ５に表示されるナビゲーション画面５３により、ライブ画像エリア５１には該分岐点のライブ画像が、また次ＶＢＳスイッチであるＳＷ１の押下によりＶＢＳ画像エリア５２には該分岐点のＶＢＳ画像が表示される。なお、次ＶＢＳスイッチであるＳＷ１を押下する毎に、ＶＢＳ画像エリア５２には気管支の分岐点のＶＢＳ画像が順次表示される。
【００２９】
このときの該分岐点でのライブ画像の向きとＶＢＳ画像の向きは必ずしも一致していない。
【００３０】
本実施の形態では、例えば挿入先経路穴が画像の略中心線上の上あるいは下に位置するようにＶＢＳ画像を生成しているが、ライブ画像は気管支鏡２の挿入術に応じて回転した画像となるため、ライブ画像の向きとＶＢＳ画像の向きは必ずしも一致していない。
【００３１】
本実施の形態では、ライブ画像を回転させるかＶＢＳ画像を回転させるかの２つの方法によりライブ画像の向きとＶＢＳ画像の向きを一致させる。
【００３２】
まず、ライブ画像回転スイッチであるＳＷ２を押下することで、ライブ画像を回転させ、ライブ画像の向きとＶＢＳ画像の向きを一致させる方法について説明する。
【００３３】
ライブ画像回転スイッチであるＳＷ２を押下されると、画像処理部１７において、図１２に示すように、第２の特徴点抽出部２５がステップＳ３１でＶＢＳ画像入力部２２を介して入力されている分岐点のＶＢＳ画像の特徴点を抽出し、ステップＳ３２でＶＢＳ画像上でベクトルＢを算出する。また、第１の特徴点抽出部２４がステップＳ３３でライブ画像入力部２１を介して入力されている分岐点のライブ画像の特徴点を抽出し、ステップＳ３４でライブ画像上でベクトルＡを算出する。
【００３４】
ここで、ベクトルＡ及びベクトルＢの算出方法について説明する。図１３に示すように、例えば分岐点において分岐穴が２つの場合には、ライブ画像及びＶＢＳ画像から分岐点を分ける分岐壁を、例えば閾値を用いて２値化することにより抽出し、分岐壁線６１を得る。そして、図１４に示すように、ライブ画像及びＶＢＳ画像のそれぞれで、分岐穴の大きさ、形状等に違いから分岐壁線６１に方向付けを行い、正規化することでライブ画像のベクトルＡ及びＶＢＳ画像のベクトルＢとする（例えば図１４においては小さい分岐穴が右に来るように分岐壁線６１に方向付けを行い、ベクトルＡ及びＢを得る）。
【００３５】
また、分岐点において分岐穴が２つ以上、例えば図１５に示すように分岐穴が３つの場合には、例えば公知の画像処理により最も大きい分岐穴と最も小さい分岐穴を抽出する。そして、図１６に示すように、最も大きい分岐穴の中心から最も小さい分岐穴の中心に向かうベクトルを、ぞれぞれライブ画像のベクトルＡ及びＶＢＳ画像のベクトルＢとする。
【００３６】
このようにしてベクトルＡ及びベクトルＢの算出がなされると、図１２のステップＳ３５でベクトルＡとベクトルＢが等しいかどうか判断し、等しい場合にはステップＳ３６に進み、等しくない場合には、ステップＳ３７で「ベクトルＡ＝ベクトルＢ」となるためのライブ画像の回転方向と回転量をライブ画像上に表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００３７】
ステップＳ３５では、「ベクトルＡ＝ベクトルＢ」となっているので、ライブ画像の向きとＶＢＳ画像の向きが一致し、ＶＢＳ画像上の挿入先経路穴に挿入先マークを表示して処理を終了する。
【００３８】
上記ステップＳ３３〜Ｓ３７の処理の具体例を図１７〜図１９を用いて説明する。図１１の状態の分岐点でのナビゲーション処理がなされると、例えばベクトルＡとベクトルＢとのなす角が９０°の場合、ステップＳ３３〜Ｓ３５の処理を経てステップＳ３７に移行して、ステップＳ３７で図１７に示すようなライブ画像上に回転方向マーク７１と回転量マーク７２を重畳して表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００３９】
ライブ画像は所定時間間隔でライブ画像入力部２１を介して入力されるが、例えば術者が気管支鏡２を操作してライブ画像を４５°回転させたとき入力されたライブ画像に関しては、ステップＳ３７で図１８に示すようなライブ画像上に回転方向マーク７１ａと回転量マーク７２ａを重畳して表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００４０】
さらに、例えば術者が気管支鏡２を操作してライブ画像を４５°回転させたとき入力されたライブ画像に関しては、図１９に示すように「ベクトルＡ＝ベクトルＢ」となるので、ステップＳ３３〜Ｓ３５の処理を経てステップＳ３６に移行して、ステップＳ３６でＶＢＳ画像上の挿入先経路穴に挿入先マーク７３を表示して処理を終了する。
【００４１】
気管支鏡２は細径に構成するために、一般に一方向、すなわち例えばライブ画像の上下方向のみが湾曲可能に構成されている。上述したように、本実施の形態のＶＢＳ画像は挿入先経路穴が画像の略中心線上の上あるいは下に位置するようになっているので、ライブ画像回転スイッチであるＳＷ２を押下させ、ＶＢＳ画像の向きにライブ画像を合わせるように気管支鏡２を操作させることで、所望の挿入先経路穴に向かって容易に先端を湾曲させることが可能となる。
【００４２】
次に、ＶＢＳ画像回転スイッチであるＳＷ３を押下することで、ＶＢＳ画像を回転させ、ライブ画像の向きとＶＢＳ画像の向きを一致させる方法について説明する。
【００４３】
ＶＢＳ画像回転スイッチであるＳＷ３を押下されると、画像処理部１７において、図２０に示すように、第２の特徴点抽出部２５がステップＳ４１でＶＢＳ画像入力部２２を介して入力されている分岐点のＶＢＳ画像の特徴点を抽出し、ステップＳ４２でＶＢＳ画像上でベクトルＢを算出する。また、第１の特徴点抽出部２４がステップＳ４３でライブ画像入力部２１を介して入力されている分岐点のライブ画像の特徴点を抽出し、ステップＳ４４でライブ画像上でベクトルＡを算出する。なお、ベクトルＡ及びベクトルＢの算出方法はライブ画像の回転時と同じである。
【００４４】
ベクトルＡ及びベクトルＢの算出がなされると、ステップＳ４５でＶＢＳ画像を回転させライブ画像の向きに一致させ、ステップＳ４６でＶＢＳ画像上の挿入先経路穴に挿入先マークを表示して処理を終了する。図２１はＶＢＳ画像の回転前のナビゲーション画面５３を示し、図２２はＶＢＳ画像を回転させライブ画像の向きに一致させてＶＢＳ画像上の挿入先経路穴に挿入先マーク７３を表示したナビゲーション画面５３を示している。
【００４５】
術者が気管支挿入術を十分習得している場合には、術者は挿入先経路穴がライブ画像上のどの穴かが分かればよいので、ＶＢＳ画像回転スイッチであるＳＷ３を押下しＶＢＳ画像を回転させライブ画像の向きに一致させてればよく、簡単且つ短時間に挿入先経路穴を認識させることが可能となる。
【００４６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００４７】
【発明の効果】
以上説明したように本発明によれば、案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る内視鏡装置の構成を示す構成図
【図２】図１の光学特性格納部に格納されるデータを説明する第１の図
【図３】図１の光学特性格納部に格納されるデータを説明する第２の図
【図４】図１の画像処理部の構成を示す構成図
【図５】図１の入力部の構成を示す構成図
【図６】図１の気管支鏡ナビゲーション装置によるルート設定処理の流れを示すフローチャート
【図７】図６の処理で展開されるルート設定画面を示す第１の図
【図８】図６の処理で展開されるルート設定画面を示す第２の図
【図９】図６の処理で展開されるルート設定画面を示す第３の図
【図１０】図６の処理により設定された気管支上のルートを模式的に示した図
【図１１】図１の気管支鏡ナビゲーション装置により表示されるナビゲーション画面を示す図
【図１２】図４の画像処理部によるライブ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート
【図１３】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第１の図
【図１４】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第２の図
【図１５】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第３の図
【図１６】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第４の図
【図１７】図１２の処理の具体例を説明する第１の図
【図１８】図１２の処理の具体例を説明する第２の図
【図１９】図１２の処理の具体例を説明する第３の図
【図２０】図４の画像処理部によるＶＢＳ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート
【図２１】図２０の処理の具体例を説明する第１の図
【図２２】図２０の処理の具体例を説明する第２の図
【符号の説明】
１…内視鏡装置
２…気管支鏡
４…入力部
５…モニタ
６…気管支鏡ナビゲーション装置
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１８…画像表示制御部
１９…設定情報入力部
２０…光学特性格納部
２１…ライブ画像入力部
２２…ＶＢＳ画像入力部
２３…ナビゲーション画面生成部
２４…第１の特徴点抽出部
２５…第２の特徴点抽出部
２６…特徴量比較部
【発明の属する技術分野】
本発明は、内視鏡装置に関し、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐での各画像は複数の分岐先経路を持つ類似の画像となるため、単に仮想的な内視像を表示するだけでは、ライブの内視鏡像の実際の分岐位置と異なる分岐位置の仮想の内視像が表示されても、術者が正しい分岐位置での仮想の内視像と誤認する可能性があり、このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションすることのできる内視鏡装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の第１の態様の内視鏡装置は、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、前記被検体内の体腔路を撮像する内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と、前記仮想内視鏡画像と、からなるナビゲーション画像を生成するナビゲーション画像生成手段と、前記仮想内視鏡画像において、前記体腔路の分岐点に存在する複数の分岐穴の位置関係を抽出する仮想内視鏡画像特徴量抽出手段と、前記内視鏡画像において、前記複数の分岐穴の位置関係を抽出する内視鏡画像特徴量抽出手段と、前記仮想内視鏡画像特徴量抽出手段及び前記内視鏡画像特徴量抽出手段において抽出された前記複数の分岐穴の位置関係に基づいて、前記内視鏡画像または前記仮想内視鏡画像のいずれか一方の向きを補正するナビゲーション画像補正手段と、を備えたことを特徴とする。
本発明の第２の態様の内視鏡装置は、前記第１の態様の内視鏡装置において、前記内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第１のベクトルを算出するとともに、前記仮想内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第２のベクトルを算出し、前記第１のベクトルの向き及び前記第２のベクトルの向きが一致しているか否かを判別する判別手段と、前記判別手段の判別結果に基づき、前記第１のベクトルの向き及び前記第２のベクトルの向きが異なる場合、前記第１のベクトルの向きと前記第２のベクトルの向きとを一致させるための情報として、前記内視鏡の操作方向及び操作量を前記ナビゲーション画像内に出力する内視鏡操作情報出力手段と、を更に備えたことを特徴とする。
本発明の第３の態様の内視鏡装置は、前記第１の態様の内視鏡装置において、前記内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第１のベクトルを算出するとともに、前記仮想内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第２のベクトルを算出し、前記第１のベクトルの向き及び前記第２のベクトルの向きが一致しているか否かを判別する判別手段と、前記判別手段の判別結果に基づき、前記第１のベクトルの向き及び前記第２のベクトルの向きが異なる場合、前記第１のベクトルの向きと前記第２のベクトルの向きとが一致するように、前記内視鏡画像または前記仮想内視鏡画像のいずれか一方を回転させる画像回転手段と、を更に備えたことを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１０】
図１ないし図２２は本発明の一実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の光学特性格納部に格納されるデータを説明する第１の図、図３は図１の光学特性格納部に格納されるデータを説明する第２の図、図４は図１の画像処理部の構成を示す構成図、図５は図１の入力部の構成を示す構成図、図６は図１の気管支鏡ナビゲーション装置によるルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図６の処理により設定された気管支上のルートを模式的に示した図、図１１は図１の気管支鏡ナビゲーション装置により表示されるナビゲーション画面を示す図、図１２は図４の画像処理部によるライブ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート、図１３は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第１の図、図１４は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第２の図、図１５は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第３の図、図１６は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第４の図、図１７は図１２の処理の具体例を説明する第１の図、図１８は図１２の処理の具体例を説明する第２の図、図１９は図１２の処理の具体例を説明する第３の図、図２０は図４の画像処理部によるＶＢＳ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート、図２１は図２０の処理の具体例を説明する第１の図、図２２は図２０の処理の具体例を説明する第２の図である。
【００１１】
図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し患部組織を生検する気管支鏡２と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡画像（以下、ＶＢＳ画像と記す）を生成すると共に気管支鏡２からの撮像信号及び入力部４からの入力信号に基づき、気管支鏡２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ５に表示し気管支鏡２の目的部位へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。
【００１２】
なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。
【００１３】
気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ（ＭｕｌｔｉＰｌａｎａｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の目的部位へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像を生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡２からの撮像信号及び入力部４からの入力信号を入力しライブ画像及びＶＢＳ画像からなる後述するナビゲーション画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成したナビゲーション画面をモニタ５に表示させる画像表示制御部１８と、設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。
【００１４】
また、気管支鏡ナビゲーション装置６には、ＶＢＳ画像生成部１５に対して気管支鏡２の光学特性を反映させるための光学特性格納部２０が設けられている。これは、例えば図２に示すようにＶＢＳ画像生成部１５が生成するＶＢＳ画像は光学歪みを有しないのに対して、気管支鏡２が撮像した撮像信号は図３に示すような光学歪みを有しているために、ＶＢＳ画像生成部１５では光学特性格納部２０に格納されているデータに基づきＶＢＳ画像に光学歪みを与えてＶＢＳ画像を補正して生成するようになっている。気管支鏡２の光学歪み等の光学特性は、写真計測やロボットビジョン等の分野で様々な方式が提案されているカメラキャリブレーション手法により得ることができる。
【００１５】
なお、ＣＴ画像データ格納部１２、ＶＢＳ画像格納部１６及び光学特性格納部２０は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。
【００１６】
画像処理部１７は、図４に示すように、気管支鏡２が撮像したライブ画像を入力するライブ画像入力部２１と、ＶＢＳ画像格納部１６に格納されているＶＢＳ画像を入力するＶＢＳ画像入力部２２と、ライブ画像入力部２１が入力したライブ画像及びＶＢＳ画像入力部２２が入力したＶＢＳ画像とによりナビゲーション画面を生成するナビゲーション画面生成部２３と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のライブ画像の特徴点を抽出し第１のベクトルＡを算出する第１の特徴点抽出部２４と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のＶＢＳ画像の特徴点を抽出し第２のベクトルＢを算出する第２の特徴点抽出部２５と、ベクトルＡとベクトルＢを比較しナビゲーション画面上のライブ画像あるいはＶＢＳ画像を回転させる特徴量比較部２６とを備え、ナビゲーション画面生成部２３は特徴量比較部２６の制御に基づきライブ画像あるいはＶＢＳ画像を回転補正してナビゲーション画面を生成し、ナビゲーション画面を画像表示制御部１８に出力するようになっている。
【００１７】
入力部４は、図５に示すように、ナビゲーション画面に表示する気管支の分岐点毎のＶＢＳ画像の更新を指示する次ＶＢＳスイッチであるＳＷ１と、ライブ画像の回転を指示するライブ画像回転スイッチであるＳＷ２と、ＶＢＳ画像を回転させライブ画像の向きに対応させる指示を行うＶＢＳ画像回転スイッチであるＳＷ３と、ライブ画像の静止画像の取り込みを指示するフリーズスイッチであるＳＷ４とから構成される。
【００１８】
このように構成された本実施の形態の作用について説明する。まず、目的部位までの気管支鏡２の挿入ルートを設定する。なお、挿入ルートの設定は、モニタ５に表示される例えばアキシャル、コロナル、サジタルの３つの異なる断面像からなるＭＰＲ画像を有するルート設定画面を用いて行われる。
【００１９】
図６に示すように、設定情報入力部１９を操作することで、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２７上に表示され、ルート設定画面２７上にカーソル３０を用いてＭＰＲ画像２８の３つの断層像を参照しながら、ＭＰＲ画像２８のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２８の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点となる患部位置の入力を促す終点入力指示ウインドウ３２がルート設定画面２７上に表示される。
【００２０】
そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２７上にカーソル３０を用いてＭＰＲ画像２８の３つの断層像を参照しながら、ＭＰＲ画像２８のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２８の２つの断層像上にも対応する位置に終点が設定される。
【００２１】
始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、終点となる患部位置によっては、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。
【００２２】
そして、ルート設定部１４はルート設定画面２７上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２８に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。
【００２３】
ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。
【００２４】
ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。
【００２５】
ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。
【００２６】
ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０で、図１０に示すような気管支上のルート及びルート内の各分岐点の位置情報を決定して処理を終了する。
【００２７】
このようにしてルート設定がなされた気管支鏡ナビゲーション装置６による気管支鏡２による観察・処置時の挿入のナビゲーションについて説明する。
【００２８】
図１１に示すように、気管支鏡ナビゲーション装置６によるナビゲーションを開始し、ナビゲーションを必要とする分岐点に達すると、モニタ５に表示されるナビゲーション画面５３により、ライブ画像エリア５１には該分岐点のライブ画像が、また次ＶＢＳスイッチであるＳＷ１の押下によりＶＢＳ画像エリア５２には該分岐点のＶＢＳ画像が表示される。なお、次ＶＢＳスイッチであるＳＷ１を押下する毎に、ＶＢＳ画像エリア５２には気管支の分岐点のＶＢＳ画像が順次表示される。
【００２９】
このときの該分岐点でのライブ画像の向きとＶＢＳ画像の向きは必ずしも一致していない。
【００３０】
本実施の形態では、例えば挿入先経路穴が画像の略中心線上の上あるいは下に位置するようにＶＢＳ画像を生成しているが、ライブ画像は気管支鏡２の挿入術に応じて回転した画像となるため、ライブ画像の向きとＶＢＳ画像の向きは必ずしも一致していない。
【００３１】
本実施の形態では、ライブ画像を回転させるかＶＢＳ画像を回転させるかの２つの方法によりライブ画像の向きとＶＢＳ画像の向きを一致させる。
【００３２】
まず、ライブ画像回転スイッチであるＳＷ２を押下することで、ライブ画像を回転させ、ライブ画像の向きとＶＢＳ画像の向きを一致させる方法について説明する。
【００３３】
ライブ画像回転スイッチであるＳＷ２を押下されると、画像処理部１７において、図１２に示すように、第２の特徴点抽出部２５がステップＳ３１でＶＢＳ画像入力部２２を介して入力されている分岐点のＶＢＳ画像の特徴点を抽出し、ステップＳ３２でＶＢＳ画像上でベクトルＢを算出する。また、第１の特徴点抽出部２４がステップＳ３３でライブ画像入力部２１を介して入力されている分岐点のライブ画像の特徴点を抽出し、ステップＳ３４でライブ画像上でベクトルＡを算出する。
【００３４】
ここで、ベクトルＡ及びベクトルＢの算出方法について説明する。図１３に示すように、例えば分岐点において分岐穴が２つの場合には、ライブ画像及びＶＢＳ画像から分岐点を分ける分岐壁を、例えば閾値を用いて２値化することにより抽出し、分岐壁線６１を得る。そして、図１４に示すように、ライブ画像及びＶＢＳ画像のそれぞれで、分岐穴の大きさ、形状等に違いから分岐壁線６１に方向付けを行い、正規化することでライブ画像のベクトルＡ及びＶＢＳ画像のベクトルＢとする（例えば図１４においては小さい分岐穴が右に来るように分岐壁線６１に方向付けを行い、ベクトルＡ及びＢを得る）。
【００３５】
また、分岐点において分岐穴が２つ以上、例えば図１５に示すように分岐穴が３つの場合には、例えば公知の画像処理により最も大きい分岐穴と最も小さい分岐穴を抽出する。そして、図１６に示すように、最も大きい分岐穴の中心から最も小さい分岐穴の中心に向かうベクトルを、ぞれぞれライブ画像のベクトルＡ及びＶＢＳ画像のベクトルＢとする。
【００３６】
このようにしてベクトルＡ及びベクトルＢの算出がなされると、図１２のステップＳ３５でベクトルＡとベクトルＢが等しいかどうか判断し、等しい場合にはステップＳ３６に進み、等しくない場合には、ステップＳ３７で「ベクトルＡ＝ベクトルＢ」となるためのライブ画像の回転方向と回転量をライブ画像上に表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００３７】
ステップＳ３５では、「ベクトルＡ＝ベクトルＢ」となっているので、ライブ画像の向きとＶＢＳ画像の向きが一致し、ＶＢＳ画像上の挿入先経路穴に挿入先マークを表示して処理を終了する。
【００３８】
上記ステップＳ３３〜Ｓ３７の処理の具体例を図１７〜図１９を用いて説明する。図１１の状態の分岐点でのナビゲーション処理がなされると、例えばベクトルＡとベクトルＢとのなす角が９０°の場合、ステップＳ３３〜Ｓ３５の処理を経てステップＳ３７に移行して、ステップＳ３７で図１７に示すようなライブ画像上に回転方向マーク７１と回転量マーク７２を重畳して表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００３９】
ライブ画像は所定時間間隔でライブ画像入力部２１を介して入力されるが、例えば術者が気管支鏡２を操作してライブ画像を４５°回転させたとき入力されたライブ画像に関しては、ステップＳ３７で図１８に示すようなライブ画像上に回転方向マーク７１ａと回転量マーク７２ａを重畳して表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００４０】
さらに、例えば術者が気管支鏡２を操作してライブ画像を４５°回転させたとき入力されたライブ画像に関しては、図１９に示すように「ベクトルＡ＝ベクトルＢ」となるので、ステップＳ３３〜Ｓ３５の処理を経てステップＳ３６に移行して、ステップＳ３６でＶＢＳ画像上の挿入先経路穴に挿入先マーク７３を表示して処理を終了する。
【００４１】
気管支鏡２は細径に構成するために、一般に一方向、すなわち例えばライブ画像の上下方向のみが湾曲可能に構成されている。上述したように、本実施の形態のＶＢＳ画像は挿入先経路穴が画像の略中心線上の上あるいは下に位置するようになっているので、ライブ画像回転スイッチであるＳＷ２を押下させ、ＶＢＳ画像の向きにライブ画像を合わせるように気管支鏡２を操作させることで、所望の挿入先経路穴に向かって容易に先端を湾曲させることが可能となる。
【００４２】
次に、ＶＢＳ画像回転スイッチであるＳＷ３を押下することで、ＶＢＳ画像を回転させ、ライブ画像の向きとＶＢＳ画像の向きを一致させる方法について説明する。
【００４３】
ＶＢＳ画像回転スイッチであるＳＷ３を押下されると、画像処理部１７において、図２０に示すように、第２の特徴点抽出部２５がステップＳ４１でＶＢＳ画像入力部２２を介して入力されている分岐点のＶＢＳ画像の特徴点を抽出し、ステップＳ４２でＶＢＳ画像上でベクトルＢを算出する。また、第１の特徴点抽出部２４がステップＳ４３でライブ画像入力部２１を介して入力されている分岐点のライブ画像の特徴点を抽出し、ステップＳ４４でライブ画像上でベクトルＡを算出する。なお、ベクトルＡ及びベクトルＢの算出方法はライブ画像の回転時と同じである。
【００４４】
ベクトルＡ及びベクトルＢの算出がなされると、ステップＳ４５でＶＢＳ画像を回転させライブ画像の向きに一致させ、ステップＳ４６でＶＢＳ画像上の挿入先経路穴に挿入先マークを表示して処理を終了する。図２１はＶＢＳ画像の回転前のナビゲーション画面５３を示し、図２２はＶＢＳ画像を回転させライブ画像の向きに一致させてＶＢＳ画像上の挿入先経路穴に挿入先マーク７３を表示したナビゲーション画面５３を示している。
【００４５】
術者が気管支挿入術を十分習得している場合には、術者は挿入先経路穴がライブ画像上のどの穴かが分かればよいので、ＶＢＳ画像回転スイッチであるＳＷ３を押下しＶＢＳ画像を回転させライブ画像の向きに一致させてればよく、簡単且つ短時間に挿入先経路穴を認識させることが可能となる。
【００４６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００４７】
【発明の効果】
以上説明したように本発明によれば、案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る内視鏡装置の構成を示す構成図
【図２】図１の光学特性格納部に格納されるデータを説明する第１の図
【図３】図１の光学特性格納部に格納されるデータを説明する第２の図
【図４】図１の画像処理部の構成を示す構成図
【図５】図１の入力部の構成を示す構成図
【図６】図１の気管支鏡ナビゲーション装置によるルート設定処理の流れを示すフローチャート
【図７】図６の処理で展開されるルート設定画面を示す第１の図
【図８】図６の処理で展開されるルート設定画面を示す第２の図
【図９】図６の処理で展開されるルート設定画面を示す第３の図
【図１０】図６の処理により設定された気管支上のルートを模式的に示した図
【図１１】図１の気管支鏡ナビゲーション装置により表示されるナビゲーション画面を示す図
【図１２】図４の画像処理部によるライブ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート
【図１３】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第１の図
【図１４】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第２の図
【図１５】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第３の図
【図１６】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第４の図
【図１７】図１２の処理の具体例を説明する第１の図
【図１８】図１２の処理の具体例を説明する第２の図
【図１９】図１２の処理の具体例を説明する第３の図
【図２０】図４の画像処理部によるＶＢＳ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート
【図２１】図２０の処理の具体例を説明する第１の図
【図２２】図２０の処理の具体例を説明する第２の図
【符号の説明】
１…内視鏡装置
２…気管支鏡
４…入力部
５…モニタ
６…気管支鏡ナビゲーション装置
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１８…画像表示制御部
１９…設定情報入力部
２０…光学特性格納部
２１…ライブ画像入力部
２２…ＶＢＳ画像入力部
２３…ナビゲーション画面生成部
２４…第１の特徴点抽出部
２５…第２の特徴点抽出部
２６…特徴量比較部
Claims (3)
- 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記被検体内の体腔路を撮像する内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と、前記仮想内視鏡画像と、からなるナビゲーション画像を生成するナビゲーション画像生成手段と、
前記仮想内視鏡画像において、前記体腔路の分岐点に存在する複数の分岐穴の位置関係を抽出する仮想内視鏡画像特徴量抽出手段と、
前記内視鏡画像において、前記複数の分岐穴の位置関係を抽出する内視鏡画像特徴量抽出手段と、
前記仮想内視鏡画像特徴量抽出手段及び前記内視鏡画像特徴量抽出手段において抽出された前記複数の分岐穴の位置関係に基づいて、前記内視鏡画像または前記仮想内視鏡画像のいずれか一方の向きを補正するナビゲーション画像補正手段と、
を備えたことを特徴とする内視鏡装置。 - 前記内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第１のベクトルを算出するとともに、前記仮想内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第２のベクトルを算出し、
前記第１のベクトルの向き及び前記第２のベクトルの向きが一致しているか否かを判別する判別手段と、
前記判別手段の判別結果に基づき、前記第１のベクトルの向き及び前記第２のベクトルの向きが異なる場合、前記第１のベクトルの向きと前記第２のベクトルの向きとを一致させるための情報として、前記内視鏡の操作方向及び操作量を前記ナビゲーション画像内に出力する内視鏡操作情報出力手段と、
を更に備えたことを特徴とする請求項１に記載の内視鏡装置。 - 前記内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第１のベクトルを算出するとともに、前記仮想内視鏡画像特徴量抽出手段は、前記複数の分岐穴の位置関係に基づいて第２のベクトルを算出し、
前記第１のベクトルの向き及び前記第２のベクトルの向きが一致しているか否かを判別する判別手段と、
前記判別手段の判別結果に基づき、前記第１のベクトルの向き及び前記第２のベクトルの向きが異なる場合、前記第１のベクトルの向きと前記第２のベクトルの向きとが一致するように、前記内視鏡画像または前記仮想内視鏡画像のいずれか一方を回転させる画像回転手段と、
を更に備えたことを特徴とする請求項１に記載の内視鏡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255699A JP4022114B2 (ja) | 2002-08-30 | 2002-08-30 | 内視鏡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255699A JP4022114B2 (ja) | 2002-08-30 | 2002-08-30 | 内視鏡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004089484A JP2004089484A (ja) | 2004-03-25 |
| JP4022114B2 true JP4022114B2 (ja) | 2007-12-12 |
Family
ID=32061158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002255699A Expired - Fee Related JP4022114B2 (ja) | 2002-08-30 | 2002-08-30 | 内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4022114B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006218129A (ja) * | 2005-02-10 | 2006-08-24 | Olympus Corp | 手術支援システム |
| US8298224B2 (en) * | 2005-04-21 | 2012-10-30 | Asthmatx, Inc. | Control methods and devices for energy delivery |
| US7889905B2 (en) * | 2005-05-23 | 2011-02-15 | The Penn State Research Foundation | Fast 3D-2D image registration method with application to continuously guided endoscopy |
| JP5028191B2 (ja) * | 2007-09-03 | 2012-09-19 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| EP2186466A4 (en) * | 2007-12-28 | 2011-01-19 | Olympus Medical Systems Corp | MEDICAL INSTRUMENT SYSTEM |
| JP5372407B2 (ja) | 2008-05-23 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| JP5372406B2 (ja) | 2008-05-23 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| WO2012165572A1 (ja) * | 2011-06-01 | 2012-12-06 | 株式会社 東芝 | 医用画像表示装置及び医用画像診断装置 |
| US10022192B1 (en) * | 2017-06-23 | 2018-07-17 | Auris Health, Inc. | Automatically-initialized robotic systems for navigation of luminal networks |
| WO2019088008A1 (ja) * | 2017-10-31 | 2019-05-09 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラム、及び内視鏡システム |
| JP6749020B2 (ja) * | 2017-11-29 | 2020-09-02 | 水野 裕子 | 内視鏡ナビゲーション装置 |
| JP2019097665A (ja) * | 2017-11-29 | 2019-06-24 | 水野 裕子 | 内視鏡装置 |
| WO2019107226A1 (ja) * | 2017-11-29 | 2019-06-06 | 水野 裕子 | 内視鏡装置 |
| JP7368074B2 (ja) * | 2018-03-28 | 2023-10-24 | 日本光電工業株式会社 | 挿管装置 |
| JP6632020B1 (ja) * | 2019-09-20 | 2020-01-15 | 株式会社Ｍｉｃｏｔｏテクノロジー | 内視鏡画像処理システム |
| WO2023175855A1 (ja) * | 2022-03-17 | 2023-09-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡制御システムおよび内視鏡制御方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000135215A (ja) * | 1998-10-30 | 2000-05-16 | Ge Yokogawa Medical Systems Ltd | 管路案内方法および装置並びに放射線断層撮影装置 |
| JP4171833B2 (ja) * | 2002-03-19 | 2008-10-29 | 国立大学法人東京工業大学 | 内視鏡誘導装置および方法 |
-
2002
- 2002-08-30 JP JP2002255699A patent/JP4022114B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004089484A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4009639B2 (ja) | 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム | |
| JP7154832B2 (ja) | 形状推定をともなう軌道情報による位置合わせの改良 | |
| JP3820244B2 (ja) | 挿入支援システム | |
| JP3930423B2 (ja) | 内視鏡装置 | |
| JP3847744B2 (ja) | 挿入支援システム | |
| JP4022114B2 (ja) | 内視鏡装置 | |
| JP4343723B2 (ja) | 挿入支援システム | |
| JP4922107B2 (ja) | 内視鏡装置 | |
| JP4733243B2 (ja) | 生検支援システム | |
| JP4323288B2 (ja) | 挿入支援システム | |
| JP4245880B2 (ja) | 内視鏡装置 | |
| JP5123615B2 (ja) | 内視鏡挿入支援装置 | |
| JP4022192B2 (ja) | 挿入支援システム | |
| JP4445792B2 (ja) | 挿入支援システム | |
| JP4546064B2 (ja) | 挿入シミュレーション装置 | |
| JP4160487B2 (ja) | 挿入支援システム | |
| JP4575143B2 (ja) | 挿入支援システム | |
| JP4354353B2 (ja) | 挿入支援システム | |
| JP2005131043A (ja) | 挿入支援システム | |
| JP2005013358A (ja) | 挿入支援システム | |
| JP4190454B2 (ja) | 挿入支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4022114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |