JP5865361B2 - リアルタイム内視鏡較正に関するシステム及び方法 - Google Patents

リアルタイム内視鏡較正に関するシステム及び方法 Download PDF

Info

Publication number
JP5865361B2
JP5865361B2 JP2013515996A JP2013515996A JP5865361B2 JP 5865361 B2 JP5865361 B2 JP 5865361B2 JP 2013515996 A JP2013515996 A JP 2013515996A JP 2013515996 A JP2013515996 A JP 2013515996A JP 5865361 B2 JP5865361 B2 JP 5865361B2
Authority
JP
Japan
Prior art keywords
sensor
image
endoscope
tracking
identifiable feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013515996A
Other languages
English (en)
Other versions
JP2013529493A (ja
Inventor
シェン ジュ
シェン ジュ
ダグラス エイ スタントン
ダグラス エイ スタントン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2013529493A publication Critical patent/JP2013529493A/ja
Application granted granted Critical
Publication of JP5865361B2 publication Critical patent/JP5865361B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/0034Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means adapted to be inserted through a working channel of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00725Calibration or performance testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Description

本開示は、内視鏡システムに関し、より詳細には、医療手順の間の内視鏡較正のためのシステム及び方法に関する。
肺癌は、世界における癌死の一番の原因である。中央胸部リンパ節の気管支鏡検査の生検は、肺癌ステージングに関する重要なステップである。気管支鏡法の前に、医師は、疑惑のリンパ節部位を特定するために患者の3次元(3D)コンピュータ断層撮影(CT)胸部スキャンを視覚的に評価することを必要とする。気管支鏡法の間、医師は、各所望のリンパ節部位へと気管支鏡を誘導する。
残念なことに、医師は、3DCT画像データと気管支鏡法の間に提供される生のビデオストリームとの間のリンクを持たない。医師は基本的に、リアルタイムな視覚フィードバックなしに生検を実行する。これは、この手順に対して困難さを加える。
仮想気管支鏡法(VB)の発展は、CTベースのコンピュータグラフィックス技術を例えば、肺癌ステージングといった手順に導入することに対する関心を呼び起こした。VBにおいて、気道の内部(腔内)レンダリングは、気道中央軸に続く経路に沿って生成され、生のビデオ気管支鏡法のオンラインシミュレーションをもたらす。VBにおいて、器官の内部表示は、放射線学的画像からコンピュータ生成される。これは、器官の現実の気管支鏡法(RB)表示が手順の間与えられる状態に類似する。
本原理によれば、VBは、経気管支針吸引(TBNA)及び他の手順を実行する医師を支援するため、コンピュータベースの画像誘導を用いることが可能にされる。RB及びVBを位置合わせすることにより、医師は、CTデータセットにおいて気管支鏡を位置決めすることができる。RB及びVBを位置合わせする1つの手法は、電磁気(EM)追跡を用いることである。自由度6のEMセンサが、カメラに近い気管支鏡の遠位端部に取り付けられることができる。カメラ座標系及びセンサの局所座標系の間の固定された変換は、1回の較正手順により決定されることができる。RB/VBフュージョンは、CTに対してEMを位置合わせした後に得られることができる。
本原理によれば、内視鏡較正が提供される。ある実施形態では、気管支鏡較正が、電磁気追跡を用いる気管支鏡法における画像誘導に関して必要とされる。他の手順(例えば、超音波較正等)及びスコープ(例えば、結腸鏡等)も想定される。気管支鏡のカメラ及び追跡センサの間の変換は、術前CT画像に対して気管支鏡検査画像を位置合わせするために決定される必要がある。しかしながら、気管支鏡の外側に追跡センサを取り付けることは問題がある。なぜなら、それが殺菌手順を難しくする場合があるからである。他方、追跡センサは、気管支鏡のワーキングチャネルを永久に占有することができない。なぜなら、標準的な気管支鏡は、手術デバイスを通過させるのに通常使用される1つのワーキングチャネルだけを持つからである。ある実施形態によれば、追跡センサは、画像識別可能な特徴を用いてマークされる。これは、気管支鏡のカメラ及びセンサの間の変換が、リアルタイムに決定されることを可能にする。
センサ追跡デバイス、システム及び方法は、ワイヤ又はケーブル上に構成され、内視鏡のワーキングチャネルに適合するよう構成されるセンサを含む。画像識別可能な特徴は、センサが内視鏡から延在されるとき識別可能なセンサの遠位端部に形成される。画像識別可能な特徴の画像は、内視鏡により収集され、内視鏡の姿勢の決定を可能にする。
内視鏡を追跡するシステムは、ワーキングチャネル、空間追跡システム及び遠位に配置される撮像デバイスを持つ内視鏡を含む。センサは、ワイヤ上に構成され、ワーキングチャネルに適合するよう構成される。少なくとも1つの画像識別可能な特徴は、センサが内視鏡から延在されるとき識別可能なセンサの遠位端部に形成される。変換モジュールは、撮像デバイスにより収集される少なくとも1つの画像識別可能な特徴の画像の位置及び空間追跡システムの位置を使用することにより、内視鏡の姿勢を計算するよう構成される。
内視鏡を追跡する方法は、内視鏡の遠位に配置された撮像デバイスと、センサが内視鏡から延在されるとき識別可能なセンサの遠位端部に形成される少なくとも1つの画像識別可能な特徴を持つセンサとの間の変換を較正するステップを含む。少なくとも1つの画像識別可能な特徴が撮像されるまで、内視鏡のワーキングチャネルを通りセンサを通過させ、及び少なくとも1つの画像識別可能な特徴の画像及び変換を用いて、内視鏡の現在の姿勢を計算することにより、内視鏡は追跡される。
本原理による使用に適したワーキングチャネルを持つ内視鏡の透視図である。 ある実施形態による内視鏡を追跡するシステムを示すブロック/フロー図である。 追跡システムを用いて内視鏡を位置合わせするのに使用される画像識別可能な特徴の説明的な例を示す図である。 追跡システムを用いて内視鏡を位置合わせするのに使用される画像識別可能な特徴の説明的な例を示す図である。 追跡システムを用いて内視鏡を位置合わせするのに使用される画像識別可能な特徴の説明的な例を示す図である。 本原理による内視鏡を位置合わせするシステム/方法を示すブロック/フロー図である。 医療手順の間、識別可能な画像特徴を持つセンサを示す画像である。
本開示におけるこれら及び他の目的、特徴及び利点は、添付の図面と共に参照される、その説明的な実施形態の以下の詳細な説明から明らかになる。
本開示は、以下の図面を参照して好ましい実施形態の以下の説明を詳細に提供する。
本開示は、内視鏡カメラ及び追跡センサの間の座標の変換を用いて、術前画像(例えば、CT画像)に対して内視鏡画像を位置合わせすることにより、内視鏡を較正する装置、システム及び方法を説明する。追跡センサは、画像識別可能な特徴を用いてマークされる。気管支鏡の実施形態において、自由度6(6DOF)の電磁気(EM)センサが、1回の初期較正手順において、このEMセンサの特徴が、気管支鏡検査画像において特定されることができるまで、気管支鏡のワーキングチャネルを通り進められる。気管支鏡が追跡されなければならないとき、EMセンサの特徴が気管支鏡検査画像において特定されることができるまで、EMセンサが気管支鏡のワーキングチャネルを通り通過される。その後、気管支鏡検査画像は、1回の較正手順における参照姿勢に対するEMセンサのリアルタイム姿勢を決定するため、処理される。この「オンサイト」較正は、追加的なハードウェアなしに、又は内視鏡において追加的なワーキングチャネルを提供することなしに行われることができる。内視鏡が患者内部にある場合であっても、較正は、手術手順の間、リアルタイムに実行されることができる。
本発明は、内視鏡手順及び内視鏡デバイスに関して説明される。しかしながら、本発明の教示は、非常に広く、カテーテル誘導、針誘導又は他の誘導器具といった医療手順等に関する患者内に配置されることができる任意の要素に対して適用可能である点を留意されたい。本書において説明される実施形態は、例えば、CTスキャン、ソノグラフ、X線等といった術前撮像技術を用いて、最初に配置される。他の技術が使用されることもできる。
本発明は、医療器具に関して説明される。しかしながら、本発明の教示は、非常に広く、複雑な生物学的又は機械的なシステムを追跡又は解析するのに使用される任意の器具に対して適用可能である点を留意されたい。特に、本原理は、生体系の内部追跡手順、例えば肺、消化管、排泄器官、血管等のといった体のすべての領域における手順等に対して適用可能である。図面に示される要素は、ハードウェア及びソフトウェアの様々な組合せにおいて実現されることができ、単一の要素又は複数の要素において組み合わせられることができる機能を提供することができる。
図面に示されるさまざまな要素の機能は、専用のハードウェアの使用を介してというだけでなく、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用を介して与えられることができる。プロセッサにより提供されるとき、この機能は、単一の専用のプロセッサにより、単一の共有プロセッサにより、又は複数の個別のプロセッサにより与えられることができる。個別のプロセッサの幾つかは、共有されることができる。更に、「プロセッサ」、「モジュール」又は「コントローラ」という用語の明確な使用は、ソフトウェアを実行することができるハードウェアを排他的に参照するものとして解釈されるべきではなく、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを格納する読出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)及び不揮発性ストレージを暗に含むが、これらに限定されるものではない。
更に、特定の実施例だけでなく、本発明の原理、側面及び実施形態を述べる本願明細書におけるすべての記載は、その構造的及び機能的均等の範囲の両方を含むものとして意図される。更に、斯かる均等物が、現在既知の均等物だけでなく将来開発される均等物の両方を含む(即ち、構造に関係なく、同じ機能を実行すべく開発される任意の要素を含む)。従って、例えば、本願明細書に与えられるブロック図は、本発明の原理を実現する説明的なシステム要素及び/又は回路の概念表示を表すという点を当業者は理解されたい。同様に、任意のフローチャート、流れ図等は、コンピュータ可読記憶媒体において実質的に表されるさまざまな処理を示し、従って、コンピュータ又はプロセッサが明示的に示されるかどうかに関係なく、斯かるコンピュータ又はプロセッサにより実行される点を理解されたい。
更に、本発明の実施形態は、コンピュータ又は任意の命令実行システムによる使用又はこれに関連した使用のためのプログラムコードを提供する、計算機が使用可能な又はコンピュータ可読の記憶媒体から、アクセス可能なコンピュータプログラムの形をとることができる。この説明のため、計算機が使用可能な又はコンピュータ可読の記憶媒体は、命令実行システム、装置又はデバイスによる使用又はこれに関連した使用のためのプログラムを、包含、格納、通信、伝搬又は輸送することができる任意の装置とすることができる。媒体は、電気、磁気、光学、電磁気、赤外線若しくは半導体システム(又は、装置若しくはデバイス)、又は伝搬媒体とすることができる。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、リジッド磁気ディスク及び光学ディスクを含む。光学ディスクの現在の例は、読出し専用コンパクトディスク(CD―ROM)、読出し/書込みコンパクトディスク(CD―R/W)及びDVDを含む。図面に示される要素は、ハードウェア及びソフトウェアの様々な組合せにおいて実現されることができ、単一の要素又は複数の要素において組み合わせられることができる機能を提供することができる。
以下図面を参照する。図面においては、同様な符号が同じ又は類似する要素を表す。最初に図1を参照すると、内視鏡100の遠位端部102の透視図が、1つの例示的な実施形態に基づき図式的に示される。この実施形態における内視鏡100は、カメラ108の開口部に近い遠位端部102に取り付けられるEMセンサ106を含む。照明109が、撮像に関して内部領域を照射するために提供される。追跡システム112にセンサ106を接続するために、長いワイヤ又はケーブル110が使用される。追跡システムは、内視鏡100の内側又は外側に配置されることができる。
スコープ100の外側にワイヤ110を保つことは、理想的でない。なぜなら、これは、殺菌手順を難しくし、手順の間、スコープ100の医師の感触を変化させる場合があるからである。しかしながら、標準的な内視鏡は、例えば鉗子、カテーテル又はブラシといった手術デバイスを挿入するための1つのワーキングチャネル116だけを持つ。追跡ワイヤ110は、ワーキングチャネル116を永久に占有することができない。従って、追跡が必要とされるとき毎回、追跡センサ118は、手順の間、ワーキングチャネル116を通り挿入される。追跡センサ118は、同じ追跡システム112又は異なる追跡システムを使用することができる。センサ118が挿入されるとき毎回、カメラ108と追跡センサ118との間の変換を変更なく保つことは困難又はほとんど不可能である。従って、オンサイト較正システム及び方法が提供される。追跡センサ118は、ロケータ特徴120を含む。この特徴は、形状、しるし、3D特徴等を含むことができる。スコープ100が患者内部にある場合であっても、ロケータ特徴120は、カメラ108をリアルタイムに較正するために使用される。
カメラ108の固有のパラメータ(例えば、画像センター、焦点距離等)及び画像特徴120のジオメトリが知られる場合、画像特徴120とカメラ108との間の(例えば自由度6の)変換は、単一の画像を用いて決定されることができる。例えば、画像特徴120が不等辺三角形の3つの頂点を含み、頂点間の物理的な距離が分かると仮定すると、カメラ108と三角形(120)との間の変換は、三角形の1つの画像から一意に決定されることができる。これは、他の特徴タイプに対して一般化されることができる。なぜなら、任意の画像特徴120が、ポイントのグループにより表されることができるからである。
図2を参照すると、本原理による内視鏡を追跡するシステム200が、1つの説明的な実施形態に基づき示される。システム200は好ましくは、ハードウェア及びソフトウェア要素を含む。システム200は、空間追跡システム206及び画像識別可能な特徴220(特徴120と同等)を持つ2以上の(multiple)自由度(DOF)のセンサ218を含む。追跡システム206及びセンサ218は好ましくは、カメラ108を含む内視鏡100上に提供される。追跡システム206及びセンサ218は、3次元空間においてデバイスの位置をモニタすることができるEM追跡システム232の一部とすることができる。
ワークステーション(WS)又は他の処理デバイス222は、リアルタイムな医療手順画像を取得し、ディスプレイデバイス230上に表示するためにソフトウェアを実行するよう構成されるハードウェアを含む。ワークステーション222は、センサ218の位置及び方向を空間的に追跡する。ワークステーション222は、(現実又は仮想)術前画像又はモデルに対して画像における特徴220の位置及び方向を変換するのに必要とされる要素を提供する変換モジュールとして機能する。センサ218は、好ましくは6DOFのセンサを含む。しかしながら、より小さい又は大きい自由度が採用されることもできる。ワークステーション222は、メモリ225に画像処理ソフトウェア224を含む。これは、センサ218上の特徴220を含む内部画像を処理する。ソフトウェア224は、スコープのカメラ108に対するセンサの姿勢を計算する。
スコープ100は、ワーキングチャネル116を含む。センサ218が、スコープ100から遠位に延在され、特徴220がカメラ108において見えるまで、センサ218は、ワーキングチャネル116を通りフィードされる。スコープが、追跡システム206を含むので、その位置は、センサ218に対して決定されることができる。可視特徴220が、位置における差分の計算を可能とし、システム206及びセンサ218の間の相対的な方向を与える。この計算は、システム206/カメラ108とセンサ218との間の変換を提供することができる。この変換は、医療手順にわたり使用されることができる。
処理デバイス222は、コンピュータシステムの一部に接続されることができるか、又はコンピュータシステムの一部とすることができる。このデバイスは、本原理に基づき説明される機能を提供するため、メモリ225及びオペレーティングシステム234を含む。プログラム224は、リアルタイム内視鏡位置と術前画像(CT画像)とを結合する。その結果、術前画像が、手順の間、ディスプレイ230上でリアルタイムにレンダリングされる。
処理デバイス又はコントローラ222は、プログラム224を実現し、プログラムオプション及びアプリケーションを提供するプロセッサ238を含む。入出力(I/O)デバイス又はインタフェース228は、画像を比較及び表示するため、コントローラ222、内視鏡100及びセンサ218とのリアルタイムな相互作用を提供する。インタフェース228は、キーボード、マウス、タッチスクリーンシステム等を含むことができる。
図3A〜3Cを参照すると、画像可視センサ特徴220が、図式的に示される。図3Aに示される実施形態において、特徴220は、複数の間隔を置かれた円302を含むことができる。円302は、反復するパターンに構成されるか、例えば三角形等の形状を形成するよう構成されることができる。円302は、特定の直径又は他の既知の寸法(例えば、円の間の距離等)を含むことができ、又は角度を提供することができる。距離及び/又は角度は、画像内で位置又は方向を視覚的に決定するために使用されることができる。既知の寸法は、参照として画像内で比較されることができる。
図3Bに示される別の実施形態では、矢印304が、特徴220に関して使用されることができる。矢印は、既知の長さのラインセグメントを持つことができ、矢印は、スコープ(100)の姿勢を計算することを支援するため、カメラ108に対する方向を指すことができる。
図3Cに示される更に別の実施形態において、突起306、ディボット308又は他の3D特徴が、センサ218上に又はセンサ内に形成されることができる。これは、カメラ画像に対してセンサを配置するために用いられる3次元特徴を提供する。他の形状、サイズ、しるし及びデザインが使用されることもできる。
図4を参照すると、EMセンサと気管支鏡のカメラとの間の変換が、以下のように決定されることができる。ブロック402において、1回の較正手順が、例えば、気管支鏡法といった医療手順の前に、オフラインで行われることができる。ブロック404において、EMセンサの特徴が画像において特定されることができるまで、自由度が2以上のEMセンサが、スコープのワーキングチャネルを通り通過される。ブロック406において、センサは、気管支鏡のカメラに対して固定される。これは、「参照姿勢」と呼ばれる。ブロック408において、気管支鏡の画像が保存される。
図5を参照すると、内視鏡画像450は、その上に画像識別可能な特徴220を持つセンサ218として図式的に示される。画像は、内視鏡カメラの視点からのものである。
図4を再度参照して、ブロック410において、カメラ及びEMセンサの間の変換が決定される。ブロック411において、これは、較正ファントムを用いることを含むことができる。ここで、特徴のファントム画像が、参照ポイントから移動され、画像に示される実際の特徴上にオーバレイされる。差分は、較正ファントムの移動に関して計算される。
ブロック412において、医療手順の間、スコープが追跡される。ブロック413において、EMセンサの特徴がカメラ画像において特定されることができるまで、EMセンサは、気管支鏡のワーキングチャネルを通り通過される。ブロック414において、画像は、1回の較正手順(オフラインの較正)における参照姿勢に対するEMセンサのリアルタイム姿勢を決定するために処理される。EMセンサとカメラとの間のリアルタイム変換が、
Figure 0005865361
として計算されることができる。ここで、
Figure 0005865361
は、BからAへの変換である。従って、
Figure 0005865361
は、ブロック402の較正結果であり、
Figure 0005865361
は、EMセンサの姿勢1と姿勢2の間の相対的な変換である。ブロック415において、内視鏡画像は、術前画像(例えば、CT画像)に対して位置合わせされることができる。
スコープは、ブロック415におけるEM追跡の誘導の下に配置される。ブロック416において、EMセンサは、気管支鏡のワーキングチャネルから引き抜かれることができる。医療手順は、その後続き、ブロック418において、手術デバイスは、生検サンプルを行う又は他のアクションを実行するためにワーキングチャネルへと挿入されることができる。
添付の特許請求の範囲を解釈するにあたり、以下の点を理解されたい。
a)「有する」という語は、所与の請求項に記載される要素又は行為以外の他の要素又は行為の存在を除外するものではない。
b)ある要素に先行する「a」又は「an」という語は、斯かる要素が複数存在することを除外するものではない。
c)請求項における任意の参照符号は、それらの範囲を制限するものではない。
d)複数の「手段」が、同じアイテム、又はハードウェア、又はソフトウェア実現による構造体、又は機能により表されることができる。
e)特に指定がない限り、行為の特定のシーケンスが必要とされること意図するものではない。
リアルタイム内視鏡較正(これは、説明的で非限定的なものとして意図される)のためのシステム及び方法に関する好ましい実施形態が上述されたが、修正及び変更が、上記の教示を考慮して当業者によりなされることができる点に留意されたい。従って、添付の特許請求の範囲により概説され本書に開示される実施形態の範囲に含まれるものとして、本開示の特定の実施形態において変更がなされることができる点を理解されたい。こうして、本開示の内容が特許法により必要とされる範囲で詳細に記載されてきたが、特許証により保護されることを望む保護の請求は、添付の特許請求の範囲に記載される。

Claims (19)

  1. センサ追跡デバイスであって、
    ワイヤ上に構成され、内視鏡のワーキングチャネルに適合するよう構成される電磁気追跡用のセンサであって、前記センサの位置及び方向が追跡される、センサと、
    前記センサが前記内視鏡から延在されるとき識別可能である、前記センサの遠位端部に形成される少なくとも1つの画像識別可能な特徴であって、前記内視鏡により収集される前記少なくとも1つの画像識別可能な特徴の画像並びに前記センサの位置及び方向が、前記内視鏡の姿勢の決定を可能にする、少なくとも1つの画像識別可能な特徴とを有する、センサ追跡デバイス。
  2. 前記センサが、自由度が2以上のセンサを含む、請求項1に記載のセンサ追跡デバイス。
  3. 前記内視鏡が、前記内視鏡の遠位端部から画像を収集するよう構成される撮像デバイスを含む、請求項1に記載のセンサ追跡デバイス。
  4. 前記少なくとも1つの画像識別可能な特徴が、参照寸法を含む、請求項1に記載のセンサ追跡デバイス。
  5. 前記少なくとも1つの画像識別可能な特徴が、参照角度を含む、請求項1に記載のセンサ追跡デバイス。
  6. 前記少なくとも1つの画像識別可能な特徴が、前記センサの方向を示す1つ又は複数の形状を含む、請求項1に記載のセンサ追跡デバイス。
  7. 前記少なくとも1つの画像識別可能な特徴が、前記センサ上に一体的に形成される形状を含む、請求項1に記載のセンサ追跡デバイス。
  8. 内視鏡を追跡するシステムであって、
    ワーキングチャネル、空間追跡システム及び遠位に配置された撮像デバイスを持つ内視鏡と、
    ワイヤ上に構成され、前記ワーキングチャネルに適合するよう構成される電磁気追跡用のセンサであって、前記センサの位置及び方向が追跡され、前記空間追跡システムが、前記センサに対する前記空間追跡システムの位置を決定することができる、センサと、
    前記センサが前記内視鏡から延在されるとき識別可能である、前記センサの遠位端部に形成される少なくとも1つの画像識別可能な特徴と、
    前記撮像デバイスにより収集される画像内の前記少なくとも1つの画像識別可能な特徴の位置及び前記センサに対する前記空間追跡システムの位置並びに前記センサの位置及び方向を使用することにより、前記内視鏡の姿勢を計算するよう構成される変換モジュールとを有する、内視鏡追跡システム。
  9. 前記センサが、自由度が2以上のセンサを含む、請求項8に記載のシステム。
  10. 前記少なくとも1つの画像識別可能な特徴が、参照寸法を含む、請求項8に記載のシステム。
  11. 前記少なくとも1つの画像識別可能な特徴が、参照角度を含む、請求項8に記載のシステム。
  12. 前記少なくとも1つの画像識別可能な特徴が、前記センサの方向及び位置を示す1つ又は複数の形状を含む、請求項8に記載のシステム。
  13. 前記少なくとも1つの画像識別可能な特徴が、前記センサ上に一体的に形成される形状を含む、請求項8に記載のシステム。
  14. 前記変換モジュールが、前記少なくとも1つの画像識別可能な特徴を特定し、前記撮像デバイスに対する前記センサの位置及び方向を計算するよう構成される画像プロセッサを含む、請求項8に記載のシステム。
  15. 内視鏡を追跡するシステムの作動方法において、前記システムが、前記内視鏡の遠位に配置された撮像デバイスと、電磁気追跡用のセンサであって、前記センサの位置及び方向が追跡され、前記内視鏡から延在されるとき識別可能な前記センサの遠位端部に形成される少なくとも1つの画像識別可能な特徴を持つ、センサと、変換モジュールとを有し、前記方法は、
    前記変換モジュールにより、前記センサが前記撮像デバイスに対して固定される参照姿勢において、前記撮像デバイスと前記センサとの間の第1の変換を決定するステップであって、前記撮像デバイスと前記センサとの間の第1の変換を決定するステップであって、前記少なくとも1つの画像識別可能な特徴の画像が、前記撮像デバイスにより収集され、前記画像並びに前記センサの位置及び方向に基づいて、前記第1の変換が決定される、ステップと、
    前記変換モジュールにより、前記少なくとも1つの画像識別可能な特徴が撮像されるまで前記内視鏡のワーキングチャネルを通り進められた前記センサに形成された前記少なくとも1つの画像識別可能な特徴の画像を処理して前記参照姿勢と前記センサの現在の姿勢との間の第2の変換を決定し、前記第1及び第2の変換を用いて、前記内視鏡の現在の姿勢を計算することにより、前記内視鏡を追跡するステップとを有する、方法。
  16. 前記較正するステップが、較正ファントム画像を使用するステップを含む、請求項15に記載の方法。
  17. 前記少なくとも1つの画像識別可能な特徴が、参照寸法及び参照角度の少なくとも1つを含む、請求項15に記載の方法。
  18. 前記少なくとも1つの画像識別可能な特徴が、前記センサの方向及び位置を示す1つ又は複数の形状を含む、請求項15に記載の方法。
  19. 前記内視鏡を追跡するステップは、前記内視鏡が患者内部にある場合に実行される、請求項15に記載の方法。
JP2013515996A 2010-06-22 2011-05-26 リアルタイム内視鏡較正に関するシステム及び方法 Expired - Fee Related JP5865361B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35712210P 2010-06-22 2010-06-22
US61/357,122 2010-06-22
PCT/IB2011/052307 WO2011161564A1 (en) 2010-06-22 2011-05-26 System and method for real-time endoscope calibration

Publications (2)

Publication Number Publication Date
JP2013529493A JP2013529493A (ja) 2013-07-22
JP5865361B2 true JP5865361B2 (ja) 2016-02-17

Family

ID=44511748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013515996A Expired - Fee Related JP5865361B2 (ja) 2010-06-22 2011-05-26 リアルタイム内視鏡較正に関するシステム及び方法

Country Status (5)

Country Link
US (1) US20130096424A1 (ja)
EP (1) EP2584952A1 (ja)
JP (1) JP5865361B2 (ja)
CN (1) CN102946784A (ja)
WO (1) WO2011161564A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3382234A1 (en) 2017-03-31 2018-10-03 IMSystems Holding B.V. Compound planetary friction drive
US11125329B2 (en) 2007-11-16 2021-09-21 Fallbrook Intellectual Property Company Llc Controller for variable transmission
US11174922B2 (en) 2019-02-26 2021-11-16 Fallbrook Intellectual Property Company Llc Reversible variable drives and systems and methods for control in forward and reverse directions
US11215268B2 (en) 2018-11-06 2022-01-04 Fallbrook Intellectual Property Company Llc Continuously variable transmissions, synchronous shifting, twin countershafts and methods for control of same
US11306818B2 (en) 2016-01-15 2022-04-19 Fallbrook Intellectual Property Company Llc Systems and methods for controlling rollback in continuously variable transmissions
US11454303B2 (en) 2005-12-09 2022-09-27 Fallbrook Intellectual Property Company Llc Continuously variable transmission
US11598397B2 (en) 2005-12-30 2023-03-07 Fallbrook Intellectual Property Company Llc Continuously variable gear transmission
US11667351B2 (en) 2016-05-11 2023-06-06 Fallbrook Intellectual Property Company Llc Systems and methods for automatic configuration and automatic calibration of continuously variable transmissions and bicycles having continuously variable transmission
US12000458B2 (en) 2022-12-20 2024-06-04 Fallbrook Intellectual Property Company Llc Reversible variable drives and systems and methods for control in forward and reverse directions

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130281821A1 (en) * 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
WO2013132725A1 (ja) * 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
US10595830B2 (en) 2013-02-11 2020-03-24 Covidien Lp Cytology sampling system and method of utilizing the same
CN107689045B (zh) * 2017-09-06 2021-06-29 艾瑞迈迪医疗科技(北京)有限公司 内窥镜微创手术导航的图像显示方法、装置及系统
CN109793489A (zh) * 2019-03-26 2019-05-24 上海优益基医用材料有限公司 可视化定位导管
CN111863209B (zh) * 2019-04-25 2023-08-18 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN115281584B (zh) * 2022-06-30 2023-08-15 中国科学院自动化研究所 柔性内窥镜机器人控制系统及柔性内窥镜机器人模拟方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466815B1 (en) * 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US7874987B2 (en) * 2005-10-28 2011-01-25 Biosense Webster, Inc. Targets and methods for ultrasound catheter calibration
US8248414B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Multi-dimensional navigation of endoscopic video
US7892165B2 (en) * 2006-10-23 2011-02-22 Hoya Corporation Camera calibration for endoscope navigation system
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
WO2010140441A1 (ja) * 2009-06-01 2010-12-09 オリンパスメディカルシステムズ株式会社 医療機器システムおよび医療器具のキャリブレーション方法
EP2486846A4 (en) * 2009-10-09 2016-07-13 Olympus Corp ENDOSCOPE DEVICE
CN102740755B (zh) * 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454303B2 (en) 2005-12-09 2022-09-27 Fallbrook Intellectual Property Company Llc Continuously variable transmission
US11598397B2 (en) 2005-12-30 2023-03-07 Fallbrook Intellectual Property Company Llc Continuously variable gear transmission
US11125329B2 (en) 2007-11-16 2021-09-21 Fallbrook Intellectual Property Company Llc Controller for variable transmission
US11306818B2 (en) 2016-01-15 2022-04-19 Fallbrook Intellectual Property Company Llc Systems and methods for controlling rollback in continuously variable transmissions
US11667351B2 (en) 2016-05-11 2023-06-06 Fallbrook Intellectual Property Company Llc Systems and methods for automatic configuration and automatic calibration of continuously variable transmissions and bicycles having continuously variable transmission
EP3382234A1 (en) 2017-03-31 2018-10-03 IMSystems Holding B.V. Compound planetary friction drive
US11215268B2 (en) 2018-11-06 2022-01-04 Fallbrook Intellectual Property Company Llc Continuously variable transmissions, synchronous shifting, twin countershafts and methods for control of same
US11624432B2 (en) 2018-11-06 2023-04-11 Fallbrook Intellectual Property Company Llc Continuously variable transmissions, synchronous shifting, twin countershafts and methods for control of same
US11174922B2 (en) 2019-02-26 2021-11-16 Fallbrook Intellectual Property Company Llc Reversible variable drives and systems and methods for control in forward and reverse directions
US11530739B2 (en) 2019-02-26 2022-12-20 Fallbrook Intellectual Property Company Llc Reversible variable drives and systems and methods for control in forward and reverse directions
US12000458B2 (en) 2022-12-20 2024-06-04 Fallbrook Intellectual Property Company Llc Reversible variable drives and systems and methods for control in forward and reverse directions

Also Published As

Publication number Publication date
US20130096424A1 (en) 2013-04-18
JP2013529493A (ja) 2013-07-22
EP2584952A1 (en) 2013-05-01
WO2011161564A1 (en) 2011-12-29
CN102946784A (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5865361B2 (ja) リアルタイム内視鏡較正に関するシステム及び方法
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
US11033181B2 (en) System and method for tumor motion simulation and motion compensation using tracked bronchoscopy
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
KR102558061B1 (ko) 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
JP6290372B2 (ja) カスタム套管針を使用したロボット遠隔運動中心点の位置特定
CN108778113B (zh) 管状网络的导航
EP3133983B1 (en) Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
JP6782688B2 (ja) 介入処置の3d撮像ワークフローにおける器具及び生体構造のインテリジェントかつリアルタイムな可視化
KR20200007896A (ko) 생검 장치 및 시스템
EP3289964A1 (en) Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
US20130195338A1 (en) Instrument-based image registration for fusing images with tubular structures
JP2012525898A (ja) 電磁式追跡及び術前のロードマップ走査のないリアルタイムでのスコープの追跡及び分枝のラベリング
JP6706576B2 (ja) 最小侵襲性のインターベンションのための形状センスされるロボット超音波
JP2020503134A (ja) 形状検知デバイスを使用した医療ナビゲーションシステム及びその動作方法
US20220202500A1 (en) Intraluminal navigation using ghost instrument information
US20220202274A1 (en) Medical system with medical device overlay display
WO2023154246A1 (en) Bronchoscope graphical user interface with improved navigation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151225

R150 Certificate of patent or registration of utility model

Ref document number: 5865361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees