JP7080170B6 - 医用機器追跡システム及び方法 - Google Patents

医用機器追跡システム及び方法 Download PDF

Info

Publication number
JP7080170B6
JP7080170B6 JP2018529291A JP2018529291A JP7080170B6 JP 7080170 B6 JP7080170 B6 JP 7080170B6 JP 2018529291 A JP2018529291 A JP 2018529291A JP 2018529291 A JP2018529291 A JP 2018529291A JP 7080170 B6 JP7080170 B6 JP 7080170B6
Authority
JP
Japan
Prior art keywords
image
tracking
imaging device
pose
pose change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529291A
Other languages
English (en)
Other versions
JP2018536494A (ja
JP7080170B2 (ja
JP2018536494A5 (ja
Inventor
ヨヘン クルッカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018536494A publication Critical patent/JP2018536494A/ja
Publication of JP2018536494A5 publication Critical patent/JP2018536494A5/ja
Publication of JP7080170B2 publication Critical patent/JP7080170B2/ja
Application granted granted Critical
Publication of JP7080170B6 publication Critical patent/JP7080170B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Description

本開示は、イメージング医用装置の追跡に関し、より詳細には、イメージング医用装置の3次元ポーズの正確なリアルタイムの決定を提供するシステム及び方法に関する。
光、電磁気又は超音波追跡システムを使用する侵襲性医用装置を追跡するための追跡システムは高価であり、時にはかなりのセットアップ時間を必要とすることがある。例えば、電磁追跡用のフィールドジェネレータを設定することは、非常に複雑なプロシージャになり得る。
超音波イメージング装置などの医用装置の中には、装置の位置及び方向、例えばポーズを知ることに関して高い精度を必要としないものがある。さらに、いくつかのポーズ情報は、装置によって提供される画像から導出されることができる一方、それ以上のことはないが、そのような装置は、装置のポーズの完全な決定を提供しない。
市販されている医用装置追跡システムの高コストは、特定の医療プロシージャにおけるその使用を正当化するものではない。これらのシステムの性能は、イメージング医用装置を使用するプロシージャのような、特定の医療プロシージャにとって許容可能なものをはるかに超える精度を提供する。
本原理によれば、医用イメージング装置の位置及び方向（すなわち、ポーズ）を追跡するためのシステム及び方法が説明される。システムは、画像データとセンサデータとの組み合わせにより、イメージング装置の3次元ポーズをリアルタイムで決定する。システムは、イメージング装置に関連付けられる追跡センサから得られるイメージング装置の追跡ポーズ変化データを生成するように構成される追跡モジュールを含む。システムはまた、イメージング装置によって生成される画像から得られるイメージング装置の画像ポーズ変化データを追跡するように構成される画像追跡モジュールを含む。モジュールは、結合画像装置ポーズ変化と事前に決定される画像装置のポーズとに基づいて、イメージング装置の現在のポーズを決定する。モジュールは、追跡ポーズ変化データ、追跡ポーズ変化データについて決定される信頼度値、画像に基づくポーズ変化データ、及び画像に基づくポーズ変化データに対して決定される信頼度値に基づく計算における結合画像装置ポーズ変化を決定する。
本原理によれば、イメージング医用装置及びこの装置に関連する追跡センサから得られる画像データとセンサデータとの組み合わせを通じて、イメージング装置の3次元ポーズをリアルタイムで決定する方法も記載されている。この方法によれば、イメージング装置に関連付けられる追跡センサによって提供される情報からイメージング装置の追跡ポーズ変化が決定され、イメージング装置によって提供される画像情報からイメージング装置の画像に基づくポーズ変化が決定される。追跡ポーズ変化の信頼度及び画像に基づくポーズ変化の信頼度が決定される。イメージング装置の結合ポーズ変化は、追跡ポーズ変化、画像に基づくポーズ変化、追跡ポーズ変化の決定される信頼度、及び画像に基づくポーズ変化の決定される信頼度に基づいて決定される。イメージング装置の現在のポーズは、結合画像装置ポーズ変化と、予め決定されるイメージング装置のポーズとから決定される。
本開示のこれら及び他の目的、特徴及び利点は、添付の図面に関連して読まれる本発明の例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本開示は、以下の図を参照して、好ましい実施形態の以下の説明を詳細に提示する。
本原理に従ってイメージング医用装置のポーズ変化を決定するためのシステムを示す。 本原理に従ってイメージング医用装置の最良ポーズ変化を決定する他のシステムを示す。 本発明の原理に従ってイメージング医用装置のポーズ変化を決定する方法を示すブロック図である。
本発明の原理によれば、イメージング医用装置の組み合わせた最良のポーズ変化推定を決定するためのシステム及び方法が提供される。ユーザは、改善されるポーズ決定精度の利点を受けるとともに、前立腺癌生検などの医療プロシージャを実行する際により高い成功率を達成する。
一実施形態では、システムは、本原理に従って、装置に結合される慣性センサ、例えば、マイクロ電気機械センサからリアルタイムに得られるデータ、及びイメージング医用装置、例えば超音波プローブからリアルタイムに得られる画像フレームデータを使用する。他の実施形態では、システムは、本原理に従って、装置に結合される光センサ、例えば赤外線センサからリアルタイムに得られるデータ、及びイメージング医用装置、例えば、超音波プローブからリアルタイムに取得される画像フレームデータを使用する。他の実施形態では、医用装置を追跡するために、慣性追跡センサ、光学追跡センサ、及び画像に基づくセンサが使用される。
システムは、異なる追跡ソースからのデータを組み合わせて、ポーズ変化を決定し、現在のリアルタイムポーズを提供する。本原理は、医用装置に関して説明されることは理解されるべきである。しかしながら、本原理は、より広範であり、ポーズ決定を含む何れかの画像に基づく技術に適用可能である。図に示される要素は、ハードウェアとソフトウェアとの様々な組み合わせで実施されることができ、単一の要素又は複数の要素に組み合わせることができる機能を提供する。
図に示す様々な要素の機能は、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアだけでなく、専用のハードウェアを使用して提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個別プロセッサによって提供されることができ、それらのうちのいくつかは共有することができる。さらに、「プロセッサ」又は「コントローラ」という用語を明示的に使用することは、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈すべきではなく、暗に、デジタル信号プロセッサ（DSP）ハードウェア、ソフトウェア、ランダムアクセスメモリ（「RAM」）、不揮発性記憶装置等を記憶するための「ROM」を含む。
さらに、本発明の原理、態様及び実施形態、ならびにその特定の例を記載する本明細書におけるすべての記述は、それらの構造的及び機能的等価物の両方を包含するように意図されている。さらに、そのような等価物は、現在知られている等価物ならびに将来開発される等価物（すなわち、構造にかかわらず同じ機能を果たす何れかの開発される要素）の両方を含むことが意図される。したがって、例えば、本明細書に提示されるブロック図は、本発明の原理を具体化する例示的なシステム構成要素及び/又は回路の概念図を表すことが、当業者に理解されるであろう。同様に、何れかのフローチャート、フロー図などは、コンピュータ可読記憶媒体に実質的に表され、そのようなコンピュータ又はプロセッサが明示的に示されているか否かに関わらず、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表す。
さらに、本発明の実施形態は、コンピュータ又は何れかの命令実行システムに関連して、又はそれらによる使用のためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。この記載の目的のために、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスに関連して、又はそれらによる使用のためのプログラムを含むか、記憶するか、通信するか、伝播するか、又は搬送する、何れかの装置であってもよい。媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム（又は装置又はデバイス）又は伝搬媒体とすることができる。コンピュータ可読媒体の例には、半導体又は固体メモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ（RAM）、リードオンリメモリ（ROM）、剛性磁気ディスク及び光ディスクが含まれる。光ディスクの現在の例には、コンパクトディスク-リードオンリメモリ（CD-ROM）、コンパクトディスクリード/ライト（CD-R/W）、ブルーレイ（登録商標）及びDVDが含まれる。
本明細書における本発明の原理の「一実施形態」又は「実施形態」ならびにその他の変形は、実施形態に関連して説明される特定の特徴、構造、特性などが本原理の少なくとも1つの実施形態に含まれることを意味する。したがって、明細書全体を通して様々な箇所に現れる、「一実施形態において」又は「実施形態で」という語句の出現は、必ずしもすべて同じ実施形態を指しているわけではない。
以下の「/」、「及び/又は」、及び「少なくとも1つ」のいずれかの使用は、例えば「A/B」、「A及び/又はB」及び「A及びBの少なくとも1つ」の場合、第一のリストされるオプション（A）のみの選択、又は第2のリストされるオプション（B）のみの選択、又は両方のオプション（A及びB）の選択を包含することを意図している。さらなる例として、「A、B、及び/又はC」及び「A、B、及びCの少なくとも1つ」の場合、そのような表現は、第一のリストされるオプション（A）のみの選択、又は第2のリストされるオプション（B）のみの選択、又は第3のリストされるオプション（C）のみの選択、又は第1及び第2のリストされるオプション（A及びB）のみの選択、又は第1及び第3のリストされるオプション（A及びC）のみの選択、又は第2及び第3のリストされるオプション（B及びC）のみの選択、又は全て3つのオプション（A及びB及びC）の選択を包含することを意図している。これは、多くのアイテムが列挙されている場合、これ及び関連技術の当業者によって容易に明らかであるように、展開されてもよい。
また、層、画像、領域又は材料などの要素が他の要素の「上」又は「に渡って」あると言及されるとき、それは他の要素の上に直接存在してもよく、又は介在要素が存在してもよいことも理解される。対照的に、ある要素が他の要素の「真上にある」又は「直接上にある」と言及されるとき、介在要素は存在しない。ある要素が他の要素に「接続されている」又は「結合されている」と言及されている場合、それは他の要素に直接接続又は結合されてもよく、又は介在要素が存在してもよいことも理解される。対照的に、ある要素が他の要素に「直接接続されている」又は「直接結合されている」と言及される場合、介在要素は存在しない。
ここで図面を参照すると、同じ番号は同じ又は類似の要素を表す。最初に図1を参照すると、本原理によるイメージング医用装置による追跡を用いる例示的なシステム100が示されている。システム100は、例示的にイメージングプローブ210を描写する。本原理の目的のために、イメージングプローブ210は、超音波画像平面250を生成する超音波プローブとして例示的に表される。イメージングプローブ210は、コネクタ227によって超音波スキャナ230に結合される。スキャナ230は、コネクタ260によってワークステーション118に動作可能に結合される。超音波スキャナ230は、スキャナ上に表示され得る一連のリアルタイム2D又は3D超音波又は他の画像を生成する。コネクタ260を介して、スキャナ230は画像に基づくデータのストリームをワークステーション118に供給する。
慣性追跡センサ220、例えばマイクロ電気機械センサに結合されるプローブ210が示されている。慣性追跡センサ220は、コネクタ225によってワークステーション118に動作可能に結合され、追跡データのストリームをワークステーション118に提供する。単一の慣性追跡センサが使用されてもよく、2つ以上の慣性追跡センサが用いられてもよい。センサは、イメージングプローブ210上に配置されてもよく、又はプローブ表面内又はその下に組み込まれてもよい。マイクロ電気機械システム（MEMS）は、本原理に従って使用することができる慣性追跡センサの例である。MEMSセンサは、低コストで大量生産され、線形加速度を求めるために正確であり、時間あたり数度の回転に対するバイアス安定度を有する。
システム100は、マイクロ電気機械センサ220によって提供されるデータを追跡するための慣性追跡システム128を使用する。使用され得る他の追跡技術には、赤外線追跡システムが含まれる。光学追跡システムでは、赤外線カメラベースのコンピュータ入力装置は、医用装置を光学的に追跡するため、赤外線センサ源からの信号を検出するためにカメラを使用する。
図2を参照すると、赤外線カメラ追跡装置が使用され、カメラ270は、イメージングプローブ210に結合される追跡センサ220からの情報を受信する。カメラ210は、コネクタ225によってワークステーション118に動作可能に結合される。他の点では、図2の構成要素は図１の構成要素と同じであり、同じ番号が付けられている。
追跡データは、追跡システム128からリアルタイムに転送される。ワークステーション118は、超音波画像及び慣性センサ及び/又は赤外線カメラセンシングシステムからのリアルタイム追跡情報を組み合わせることによって、画像プローブ210の推定されるポーズに関するリアルタイム情報を提供するように、装置を追跡するためのソフトウェアプログラム（例えば、プログラムモジュール126）を実行し、ディスプレイ120上にイメージングプローブの3次元ポーズを視覚化する。
ワークステーション118は、プロシージャが監督及び／又は管理されるコンソールを含むことができる。ワークステーション118は、好ましくは、プログラム及びアプリケーションを記憶するための1つ又は複数のプロセッサ122及びメモリ124を含む。イメージングシステム130は、プロシージャ中に提供され、使用されてもよい。画像システム130は、プローブ210によって送信される画像データを収集して追跡し、そのデータをディスプレイ120上にレンダリングする。一実施形態では、超音波プローブ210は、医療プロシージャ中に使用されるステッパ（図示略）に接続されて、超音波プローブ210の前進および後退のための制御された運動を提供することができる。メモリ124は、ステッパを制御して超音波プローブ210の位置を移動させるためのプログラムを記憶することができる。
本原理によれば、メモリ124は、慣性追跡センサから得られる追跡フレームデータから決定され、超音波プローブ210から得られる画像フレームデータから決定される、プローブ210のポーズに関するデータを処理するためのプログラムモジュール126を含む。これらのソースからのポーズ変化情報は、イメージング装置の現在のポーズを決定するために、イメージング装置現在ポーズ決定モジュール、例えばプログラムモジュール126内にあることができるイメージング装置によって処理されることができる。ポーズの決定は、装置の事前に知られているポーズ及びポーズの変化の組み合わせ決定に基づいている。ポーズの変化の組み合わせ決定は、追跡フレームデータから決定されるポーズの変化、1つ以上の信頼度パラメータに基づいて決定される同じものに対する信頼度スコア、画像フレームデータから決定されるポーズの変化、及び1つ又は複数の信頼度パラメータに基づいて決定される同じものに対する信頼度スコアを含む情報からモジュール内で計算される。これらの考察に基づいて、組み合わせポーズ変化決定は、装置の最新の知られるポーズを更新することによって、現在の更新されるポーズ、例えばリアルタイムのポーズ決定を決定するためにモジュールによって使用される。
イメージング装置現在ポーズ決定モジュール126は、3D空間内に個々に取得される2次元（2D）超音波画像を位置付けるために3次元（3D）ポーズ決定を使用して、それにより拡張される視野又はイメージング領域の３次元表現を提供する。モジュールはまた、3Dポーズ決定を使用して、予め取得される3D画像との正確な空間関係において2D超音波画像を配置する。3D画像の例には、コンピュータ断層撮影（CT）及び磁気共鳴画像（MRI）によって生成される画像が含まれる。超音波及びCT又はMRIを融合又は結合するシステムには、Philips UroNav(tm)（登録商標）（MRI）システム及びPhilips PercuNav(tm)（登録商標）（CT）システムがある。イメージング装置の現在のポーズ決定を伴う追跡される超音波画像は、CT又はMR画像の対応する部分に重ね合わされ、又は融合され、2つの異なるモダリティで同じ解剖学的領域を見ることができる医療従事者を可能にする。
モジュール126は、プロセスステップを見直し、データを追跡し、データをアーカイブするために、インターフェース123及び/又はディスプレイ120の使用を介してユーザにワークフロー命令を提供するように構成されることができる。モジュール126は、ディスプレイ120及びユーザインターフェース123を使用して、ユーザが特定のワークフローに従うように促進し、誘導し、又はプロシージャが実行される前にプランを生成するために使用され得る。インターフェース123は、キーボード、マウス、ジョイスティック、触覚装置、又はワークステーション118からのユーザフィードバック及びワークステーション118との相互作用を可能にする何れかの他の周辺装置又は制御装置を含むことができる。システム100は、システム100が使用されている設定の外のエージェント（例えば、システム100のベンダー又はサービス請負業者）への遠隔データ転送、又は他の用途のための遠隔接続部134を含むことができる。
図3を参照すると、本原理による2つ以上の種類の追跡データ情報の組合せから、例えば超音波プローブなどのイメージング医用装置のポーズを決定する方法300が例示的に示されている。説明される例示的な実施形態では、超音波プローブは、プローブに関連付けられる慣性センサ、例えばMEMSセンサを有し、追跡に基づくポーズ変化を決定するために使用される追跡フレームデータを提供する。超音波プローブは、画像に基づくポーズ変化を決定するために使用される画像に基づくデータを提供する。画像に基づくポーズ変化情報及び追跡に基づくポーズ変化情報は、イメージング医用装置のポーズ変化の最良のリアルタイム決定を提供するために、追跡に基づくポーズ変化情報及び画像に基づくポーズ変化情報の信頼度に関する情報と組み合わされて、それからイメージング医用装置の更新されるポーズを決定するために使用される。さらに、システム100は、以下に説明する動作を行うことができる。
ブロック310,312において、ベースライン情報が得られ、例えばベースライン画像フレームI0（310）及びベースライン追跡フレームF0（312）が得られる。これらのフレームは、プロシージャの始めにとられ、超音波プローブの初期ポーズを決定するための情報を提供することができる。
新たな画像データフレーム（320）及び新たな追跡データフレームFn（322）がブロック320及び322で得られ、ベースライン画像フレーム及びベースライン追跡フレームがブロック310及び312で得られたため、プローブの位置変化を反映する。
ブロック330及び332では、画像に基づくポーズ変化TΔ,Image（330）及び追跡に基づくポーズ変化TΔ,Tracking（332）が計算される。TΔ,Imageは、シーケンスにおける画像の対（例えば、画像In、In-1）又はシーケンスにおけるいくつかの画像（例えば、画像In、In-1、...In-m）の間のポーズ差を表す。同様に、TΔ、Trackingは、シーケンスにおけるフレームの対（例えば、フレームFn、Fn-1）又はシーケンスにおけるいくつかのフレーム（例えば、Fn、Fn-1、...Fn-m）の間のポーズ差を表す。一例として、2つの画像フレームの履歴を用いて、フレームIn-2とInとの間の画像に基づくポーズ変化推定値は、以下のような比較的直接的な方法で得ることができる。
TΔ、direct=TΔ（In、In-2） （1）
又は以下の方法で段階的に得ることができる。
TΔ、steps=TΔ（In、In-1）×TΔ（In-1、In-2） （2）
結合される推定値は2つの方法の平均化を使用して得ることができる。
TΔ、combined=0.5*（TΔ、direct+TΔ、steps） （3）
さらに、追跡フレームデータ及び画像フレームデータが、互いに非同期的に取得されてもよいことは理解される。例えば、1つ以上のデータのフレームが取得され、他のデータストリームのフレームが得られる前に、所与の追跡データストリームに対して処理されることができる。
ブロック340及び342において、画像に基づく信頼度パラメータpimage（340）及び追跡信頼度パラメータpTracking（342）が以下に説明するようにして計算される。
ブロック350において、結合ポーズ変化TΔ（TΔ、Tracking、TΔ、Image（pTracking）（pimage））が計算される。リアルタイムにポーズの最良推定値に達するように、統計的ノイズ及び他の不正確さを考慮するアルゴリズムが、結合ポーズ変化を計算するように使用される。
ブロック360において、更新ポーズTnが、計算された結合ポーズ変化TΔに基づいて計算される。更新ポーズ変化Tnは、Tn=TΔxTn-1に従って、結合される新たなポーズ変化TΔ及び前のポーズTn-1に基づいて計算される。
ブロック370において、更新ポーズ変化Tn、例えば、現在のポーズ変化が、ユーザインターフェース、例えばディスプレイ装置における表示を更新するために使用される。
決定ブロック380では、プロシージャが完了したかが決定される。そうである場合、結合ポーズ変化を計算するための方法は終了する。プロシージャが終了していない場合、ブロック390でnの値は1だけ増加し（n→n+1）、プロセスは、新たな画像Inフレーム及び新たな追跡データフレームFnの取得とともに、ブロック320及び322で始まる他の繰り返しのために戻る。それはブロック330及び332における決定の基礎となる。
追跡に基づくポーズデータ及び画像に基づくポーズデータは、技術の限界、取得される情報の内容（例えば、追跡情報、画像コンテンツ）、及びプローブが患者を通って移動される態様などの多くのファクタに依存する精度限界を有する。したがって、追跡に基づくデータ及び画像に基づくデータが、ポーズ変化を決定する際に信頼されるべき範囲は、データの精度によって変動する。本原理によれば、精度の程度は、追跡ストリームによって提供されるデータの信頼度の決定のファクタになる。
追跡フレームデータの信頼度は、データ信頼度に影響を与える量のセットに依存し、画像フレームデータの信頼度は他の量のセットに依存する。所与の量は、所与の追跡システムに対して異なる影響を有し得る。例えば、MEMSセンサなどの慣性センサは、大きな加速度及び速度に関するデータを正確にレポートするのに適している（高いデータ信頼度）が、大きな加速度及び速度は、イメージングプローブから得られる画像に基づくデータに悪影響を与える可能性がある（低いデータ信頼度）。
追跡システムが検出する可能性のある6つまでの自由度（6-DoF）、例えば3つの並進（すなわち空間度）及び3つの回転があり、信頼度パラメータは特定の自由度を追跡するように規定されることができる。信頼度パラメータは、リアルタイムのプローブ動作の態様を反映する可変成分、例えば並進の3つの成分及び回転の3つの成分のそれぞれにおける、位置依存性、速度依存性、及び加速度依存性信頼度パラメータを有することができる。様々なファクタが、追跡システムによって提供される追跡情報の精度及び信頼度に影響する。例えば、慣性センサから導出される追跡データの信頼度は、医用装置の動きによってもたらされ得る。他の例では、イメージングプローブから導出される画像データの信頼度は、プローブの動き及び画質によって影響される可能性がある。
異なる追跡センサシステムは、異なるファクタによって異なる影響を受ける。6-DoFの6つのコンポーネントの1つ又は複数で追跡される動きの精度は、追跡データの精度及び信頼度に影響する態様で影響される可能性がある。医用装置の動きの加速などの他のファクタも、追跡データの精度及び信頼度に影響を及ぼす可能性がある。
所与の追跡システムに影響を及ぼす可能性がある1つ又は複数の測定可能及び/又は観測可能な量が、信頼度決定において考慮される。例えば、慣性追跡センサによって提供されるデータに基づく追跡ポーズ変化の信頼度に影響を与え得る測定可能及び/又は観測可能な量は、加速度（a）、速度（v）及び回転速度（w）である。光学センサの場合、測定可能及び/又は観測可能な量は、カメラから光学センサまでの距離（d）、トラッカのカメラ画像とトラッカの内部モデルとの間の相関（c）、カメラに対するトラッカの回転（o）である。超音波画像に基づく追跡の場合、上述したことに加えて、量には、画像の情報内容の尺度として、画像フレーム間相関（cc）、画像の平均輝度（m）、及び画像のエントロピー（h）が含まれる。
追跡センサの軸回りの回転（例えば、6番目のDoF）を追跡しない、いくつかの低コストの光学追跡システムを用いて、5つの自由度（5-DoF）が追跡されることができる。このような低コストの5-DoF光学に基づく追跡が使用される状況では、その軸周りのセンサ回転に関する追跡に基づく信頼度パラメータは0であり、そのパラメータの推定値全体は画像に基づくポーズ推定値からもたらされる。
例示的な実施形態では、各追跡システムの信頼度パラメータは、収集される個々の測定可能な量及び観測可能な量のそれぞれに対する信頼度関数の積として決定され得る。例えば、慣性追跡、光学追跡、及び画像に基づく追跡などの各追跡システムTSについて、追跡システムのための全信頼度パラメータRtotal、TSは、以下のように決定することができる。
Figure 0007080170000001
ここで、aiは、所与の追跡システムTS、例えば慣性追跡システムについて考慮される異なる量の値であり、Ri、TSは、所与の追跡システムTSに関する各量の個々の信頼度パラメータ関数である。例えば、慣性追跡のための量は、前述したように、加速度、速度、及び回転速度である。この場合、a1は現在の加速度、a2は速度、a3は回転速度である。R1は加速度の関数としての信頼度、R2は速度の関数としての信頼度、R3は回転速度の関数としての信頼度である。追跡システムのための全信頼度パラメータは、上記の式（4）
Figure 0007080170000002
で示されるように、個々の信頼度関数の積である。
所与の追跡システムから得られるデータの信頼度の決定に基づいて、所与の追跡システムについて考慮される量には0から1の範囲の値が割り当てられ、所与の量が理想的及び/又は許容可能な範囲にあると決定されるとき、1又は1に近い値が割り当てられる。逆に、例えば量が信頼できるものから逸脱するため、量が許容範囲内にないと決定されるとき、量は0又はそれに近い値に割り当てられる。例えば、所与の追跡システムのための追跡条件が理想的でないときに偏差が生じ、それによって信頼度の疑わしいデータが生成されることがある。例えば、慣性追跡システムによって提供されるデータは、プローブの動きが遅く、又は存在しないとき、信頼され得ない。慣性追跡センサのノイズは、この場合、追跡フレームデータに悪影響を与える。所与の追跡システムの測定量のすべてが許容範囲から逸脱し、したがって、所与の追跡システム技術によって供給されるデータが信頼できない場合、Rtotal、TSは0に割り当てられる。
場合によっては、特定の量が複数の追跡システムの信頼度スコアに影響する可能性がある。例えば、プローブ速度（v）は、画像に基づくポーズデータ推定に悪影響を及ぼし、したがって、（以下に記載の）異なる追跡システムについての異なるパラメータx0及びsを用いて、慣性及び画像に基づく技術の両方についての信頼度決定にファクタとして組み込まれることができる。
上記の式（1）に示されるRi関数は、ガウス・アプローチを用いて決定されることができ、決定される量の理想的な値を使用して決定されることができ、例えば、保証されるとき、所与の追跡システムのための量がデータを非常に信頼できないものにする場合、ゼロ値に割り当てるガウス幅を使用して決定されることができる。
1つのアプローチでは、
Figure 0007080170000003
であり、ここでxは問題の量の決定値、x0は理想値、sは許容範囲の尺度である。値x0及びsは、各特定の追跡システムについて経験的に決定され、所与の追跡システムの既知の性能及び限界から開始されることができる。観測を通じて、理想値であるものと許容可能な範囲であるものの最適値は決定されることができる。
信頼度量の経験的決定は、本原理に従って記載される追跡システムの組み合わせを使用するシステムから得られるポーズ値に対する、商用入手可能な基準追跡技術によって決定されるプローブの既知のポーズの比較から得ることができる。例えば、カリフォルニア州ウォータールーのNorthern Digital Inc.から商業的に入手可能なNDI Polaris光学追跡システムは、上述のように生成されるポーズ予測を用いて、比較の基準システムとして使用されることができる。所与の追跡システムに関連する各量に対するx0及びsの値は、所与の範囲内で変化させられることができ、ポーズ予測は、基準システムポーズ測定値及び本原理に従って説明される追跡システムの組み合わせによって決定されるポーズ測定の間の最小差に達するために、1つ又は複数の反復について再決定されることができる。
全推定ポーズ変化は、使用されるポーズ変化推定値の組み合わせに基づいた組み合わせ値とすることができる。例えば、組み合わせポーズ変化推定値は加重平均を通じて達せられることができ、重み付けは個々の追跡システムの信頼度決定に基づいて個々のポーズ変化推定値に与えられ、
Figure 0007080170000004
である。ここでnumTechnologiesは、追跡で使用される異なる技術の数（慣性及び画像に基づく追跡を使用する場合は2であり、慣性追跡、光学追跡、画像に基づく追跡を使用する場合は3である）であり、TΔ、TSは追跡システムTSから得られるポーズ（又はポーズ変化）推定値であり、
Figure 0007080170000005
は重み付けの総和であり、Rtotal、TS*TΔ、TSの加重和を正規化する。
最良のポーズ変化推定のための計算は、上記の実施形態に従って行われることができる。他の実施形態では、カルマンフィルタのような既知のアルゴリズムを用いて計算は行われることができる。いずれにしても、ブロック350における「結合ポーズ変化を計算する」ステップの入力データ、すなわちTΔ（TΔ、Tracking、TΔ、Image（pTracking）（pimage））は、上述したように、追跡フレームデータに基づくポーズ変化、画像フレームデータに基づくポーズ変化、追跡に基づく信頼度パラメータ及び画像に基づく信頼度パラメータのための入力を表す。
追跡フレームデータ、画像フレームデータ、及び信頼度パラメータの決定に基づいた推定ポーズ変化の決定は、図１及び２のシステム100に示されるように、メモリ124に記憶されるイメージング装置現在ポーズ決定モジュール126によって行われることができることは理解される。
他の実施形態では、追跡及び画像に基づくポーズ推定値は、最後の利用可能なデータでなく、（例えば、図3のインデックスmによって示される（ここで例えば、画像Inのための画像に基づく推定値は、画像In、In-1、...In-m+、m>=1になる））最新のデータ点の履歴に依存する。フレーム履歴を組み込む1つの特定の方法は、履歴内の複数の画像フレームの組み合わせの推定値を取得し、結果を平均することである。
本原理によれば、本明細書に記載のシステム及び方法は、医用装置の3次元ポーズの正確な決定をリアルタイムに提供する。このような決定は、リアルタイム超音波画像がMRI又は他の基準画像と組み合わされるか又は融合されることができる生検プロシージャにおいて使用される超音波プローブに対して行われることができる。３次元（3D）ポーズ追跡は、3D空間内に、個別に取得される２次元（2D）画像を位置付けるために使用され、それにより、拡張される視野又はイメージング領域の3D表示を提供する。3Dポーズはまた、予め取得される3D画像（例えば、フィリップスUroNav（登録商標）又はPercuNav（登録商標）のようなコンピュータ断層撮影（CT）及び磁気共鳴イメージング（MRI））との正確な空間関係に2D超音波画像を配置するようにも使用され得る。追跡される超音波画像は、CT又はMR画像の対応する部分に重ね合わせられるか、又は融合され得、医療従事者に、2つの異なるモダリティで同じ解剖学的領域を見る性能を提供する。例えば、UroNav（登録商標）システムは、融合画像誘導前立腺癌生検で使用される超音波-磁気共鳴イメージング（MRI）融合生検システムである。UroNav（登録商標）システムは、リアルタイムに撮影される経直腸超音波（TRUS）画像と磁気共鳴画像（MRI）を融合する。疑わしい組織部位、例えば可能性のある前立腺癌病変は、放射線科医によって融合画像上で識別される。疑わしい部位は、組織サンプルを取得するための標的生検部位である。本原理に従って決定される3Dポーズは、予め取得される3D MRI画像との正確な空間関係で2D超音波画像を配置するために使用されることができる。
本原理によるシステムの利点の1つは、それが依然として比較的安価である一方、非常に正確な結果を提供することである。システムにはほとんどセットアップ時間が必要ない。フィールドジェネレータなどの複雑なコンポーネントを使用する必要はない。例えば、赤外線センサなどの光学センサは、軽量で小型であり、使用されるイメージング装置の近くにカメラリーダを配置することができるので、特性の有利な組合せである小さな視野を有する。これにより、カメラを配置するのが比較的容易になり、超音波プローブに対して妨害されないラインオブサイトが存在するようになる。
添付の特許請求の範囲を解釈する際には、以下が理解されるべきである。
a）「含む（comprising）」という単語は、所与の請求項に列挙されるもの以外の要素又は行為の存在を排除するものではない。
b）要素に先行する単語「a」又は「an」は、複数のそのような要素の存在を排除しない。
c）請求項中のいかなる参照符号もその範囲を限定するものではない。
d）いくつかの「手段」は、同一のアイテム、ハードウェア又はソフトウェア実装の構造又は機能によって表されてもよい。
e）具体的な指示がない限り、特定の一連の行為は意図されないものとする。
医用器具追跡のためのシステム及び方法の好ましい実施形態を説明してきたが（これは例示であって限定するものではない）、上述の教示に照らして当業者によって変更及び変形が可能であることは留意される。したがって、添付の特許請求の範囲によって規定される本明細書に開示される実施形態の範囲内にある開示の特定の実施形態において変更がなされ得ることは理解されるべきである。特許法によって要求される詳細及び特殊性をこのように記載されるので、特許請求の範囲に記載され、特許請求されているものは添付の特許請求の範囲に記載される。

Claims (15)

  1. 画像データとセンサデータとの組み合わせを通じてイメージング装置の3次元ポーズをリアルタイムに決定するシステムであって、前記画像データは前記イメージング装置によって生成され、前記センサデータは前記イメージング装置と関連する追跡センサから得られ、
    前記イメージング装置と関連する追跡センサから得られるイメージング装置の追跡ポーズ変化データを生成するように構成される追跡モジュールと、
    前記イメージング装置によって生成される画像から得られる前記イメージング装置の画像ポーズ変化データを追跡するように構成される画像追跡モジュールと、
    結合イメージング装置ポーズ変化を計算して、前記計算される結合イメージング装置ポーズ変化及び前記イメージング装置の予め決定されるポーズに基づいて前記イメージング装置の現在のポーズを決定するイメージング装置現在ポーズ決定モジュールであって、前記結合イメージング装置ポーズ変化は、前記追跡ポーズ変化データと、前記追跡ポーズ変化データに対して決定される信頼度値と、前記画像ポーズ変化データと、前記画像ポーズ変化データに対して決定される信頼度値とを用いて計算される、イメージング装置現在ポーズ決定モジュールと
    を有する、システム。
  2. 前記イメージング装置現在ポーズ決定モジュールの追跡モジュールの追跡ポーズ変化決定器であって、相対的により新しい追跡ポーズ変化データと相対的により古い追跡ポーズ変化データとの比較に基づいて前記追跡ポーズ変化データを決定する、追跡ポーズ変化決定器
    を更に有する、請求項１に記載のシステム。
  3. 前記イメージング装置現在ポーズ決定モジュールの画像追跡モジュールの画像ポーズ変化決定器であって、相対的により新しい画像ポーズ変化データと相対的により古い画像ポーズ変化データとの比較に基づいて前記画像ポーズ変化データを決定する、画像ポーズ変化決定器
    を更に有する、請求項１に記載のシステム。
  4. 前記イメージング装置現在ポーズ決定モジュールの信頼度決定器であって、装置加速度、装置速度、装置回転速度、カメラから光学センサまでの距離、トラッカのカメラ画像と前記トラッカの内部モデリングとの間の相関、前記トラッカの前記カメラへの方向、画像フレーム間の相関、前記画像の平均輝度、及び画像情報内容の尺度としての前記画像のエントロピーから選択される一つ又はそれより多くのファクタに基づいて、前記画像ポーズ変化データの前記信頼度値を決定し、前記追跡ポーズ変化データの前記信頼度値を決定する、信頼度決定器
    を更に有する、請求項１に記載のシステム。
  5. 前記イメージング装置の前記現在のポーズで、3次元空間において、前記イメージング装置で取得される2次元画像を位置決めするための画像ポジショナ
    を更に有する、請求項１に記載のシステム。
  6. 前記イメージング装置の前記現在のポーズで、予め取得される3次元画像との空間関係において、前記イメージング装置で取得される2次元画像を位置決めするための画像ポジショナ
    を更に有する、請求項１に記載のシステム。
  7. 前記追跡センサは電気機械センサであり、前記イメージング装置は超音波プローブである、請求項１に記載のシステム。
  8. 前記追跡センサは赤外線センサであり、前記イメージング装置は超音波プローブである、請求項１に記載のシステム。
  9. 画像データとセンサデータとの組み合わせを通じてイメージング装置の3次元ポーズをリアルタイムに決定するシステムであって、前記画像データは前記イメージング装置によって生成され、前記センサデータは前記イメージング装置と関連する追跡センサから得られ、前記システムは、
    前記イメージング装置と関連する追跡センサから得られるイメージング装置の追跡ポーズ変化データを生成するように構成される追跡モジュールと、
    前記イメージング装置によって生成される画像を通じて前記イメージング装置の画像ポーズ変化データを追跡するように構成される画像追跡モジュールと、
    プロセッサ及びメモリを含むワークステーションと
    を有し、
    前記メモリは、結合イメージング装置ポーズ変化を計算して、前記計算される結合イメージング装置ポーズ変化及び前記イメージング装置の予め決定されるポーズに基づいて前記イメージング装置の現在のポーズを決定するイメージング装置現在ポーズ決定モジュールを有し、前記結合イメージング装置ポーズ変化は、前記追跡ポーズ変化データと、前記追跡ポーズ変化データに対して決定される信頼度値と、前記画像ポーズ変化データと、前記画像ポーズ変化データに対して決定される信頼度値とを用いて計算され、前記システムは、
    前記イメージング装置から供給される画像を表示するように構成されるディスプレイ
    を更に有する、システム。
  10. 前記イメージング装置現在ポーズ決定モジュールの追跡モジュールの追跡ポーズ変化決定器であって、相対的により新しい追跡ポーズ変化データと相対的により古い追跡ポーズ変化データとの比較に基づいて前記追跡ポーズ変化データを決定する、追跡ポーズ変化決定器と、
    前記イメージング装置現在ポーズ決定モジュールの画像追跡モジュールの画像ポーズ変化決定器であって、相対的により新しい画像ポーズ変化データと相対的により古い画像ポーズ変化データとの比較に基づいて前記画像ポーズ変化データを決定する、画像ポーズ変化決定器と
    を更に有する、請求項９に記載のシステム。
  11. 少なくとも画像データとセンサデータとの組み合わせを通じてイメージング装置の3次元ポーズをリアルタイムに決定するシステムの作動方法であって、前記システムは、追跡モジュール、画像追跡モジュール、及びイメージング装置現在ポーズ決定モジュールを有し、前記画像データは前記イメージング装置によって生成され、前記センサデータは前記イメージング装置と関連する追跡センサから得られ、前記方法は、
    前記イメージング装置現在ポーズ決定モジュールの追跡モジュールの追跡ポーズ変化決定器が、前記イメージング装置に関連する追跡センサによって提供される情報からイメージング装置の追跡ポーズ変化を決定するステップと、
    前記イメージング装置現在ポーズ決定モジュールの画像追跡モジュールの画像ポーズ変化決定器が、前記イメージング装置によって提供される画像情報から前記イメージング装置の画像ポーズ変化を決定するステップと、
    前記イメージング装置現在ポーズ決定モジュールの信頼度決定器が、前記追跡ポーズ変化の信頼度パラメータ及び前記画像ポーズ変化の信頼度パラメータを決定するステップと、
    前記イメージング装置現在ポーズ決定モジュールが、前記追跡ポーズ変化、前記画像ポーズ変化、前記追跡ポーズ変化の前記信頼度パラメータ、及び前記画像ポーズ変化の前記信頼度パラメータを用いて前記イメージング装置の結合ポーズ変化を計算するステップと、
    前記イメージング装置現在ポーズ決定モジュールが、前記イメージング装置の前記結合ポーズ変化と、前記イメージング装置の予め決定されるポーズとに基づいて、前記イメージング装置の現在のポーズを決定するステップと
    を有する、方法。
  12. 前記追跡ポーズ変化を決定するステップは、前記追跡センサから得られる相対的により新しいデータと前記追跡センサから得られる相対的により古いデータとを比較するステップを有し、
    前記画像ポーズ変化を決定するステップは、前記画像情報から得られる相対的により新しいデータと、前記画像情報から得られる相対的により古いデータとを比較するステップを有する、
    請求項１１に記載の方法。
  13. 前記追跡ポーズ変化を決定するステップは、新たな追跡フレームと前記追跡センサから取得される一つ又はそれより多くのより古い追跡フレームとを比較するステップを有し、
    前記画像ポーズ変化を決定するステップは、新たな画像フレームと、前記画像情報から得られる一つ又はそれより多くのより古い画像フレームとを比較するステップを有する、
    請求項１１に記載の方法。
  14. 前記追跡ポーズ変化の前記信頼度パラメータを決定するステップ及び前記画像ポーズ変化の前記信頼度パラメータを決定するステップは、前記決定される追跡ポーズ変化及び前記決定される画像ポーズ変化の信頼度に影響を及ぼすファクタのセットの一つ又はそれより多くのファクタを評価するステップを更に有する、請求項１１に記載の方法。
  15. 前記追跡センサは、慣性センサ及び赤外線センサの一つ又はそれより多くであり、前記イメージング装置は超音波プローブである、請求項１１に記載の方法。
JP2018529291A 2015-12-14 2016-12-13 医用機器追跡システム及び方法 Active JP7080170B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562266733P 2015-12-14 2015-12-14
US62/266,733 2015-12-14
PCT/EP2016/080849 WO2017102761A1 (en) 2015-12-14 2016-12-13 System and method for medical device tracking

Publications (4)

Publication Number Publication Date
JP2018536494A JP2018536494A (ja) 2018-12-13
JP2018536494A5 JP2018536494A5 (ja) 2020-01-30
JP7080170B2 JP7080170B2 (ja) 2022-06-03
JP7080170B6 true JP7080170B6 (ja) 2022-06-23

Family

ID=57681557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529291A Active JP7080170B6 (ja) 2015-12-14 2016-12-13 医用機器追跡システム及び方法

Country Status (6)

Country Link
US (1) US10930007B2 (ja)
EP (1) EP3391075A1 (ja)
JP (1) JP7080170B6 (ja)
CN (1) CN108369268B (ja)
RU (1) RU2725061C2 (ja)
WO (1) WO2017102761A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111655156A (zh) * 2017-12-19 2020-09-11 皇家飞利浦有限公司 组合基于图像的和惯性探头跟踪
CN109567865B (zh) * 2019-01-23 2023-07-18 上海浅葱网络技术有限公司 一种面向非医护人员的智能超声诊断设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122538A (en) 1997-01-16 2000-09-19 Acuson Corporation Motion--Monitoring method and system for medical devices
US20050107687A1 (en) 2003-11-14 2005-05-19 Anderson Peter T. System and method for distortion reduction in an electromagnetic tracker
WO2008065600A2 (en) 2006-11-27 2008-06-05 Koninklijke Philips Electronics, N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
WO2009063360A1 (en) 2007-11-14 2009-05-22 Koninklijke Philips Electronics, N.V. System and method for automatic calibration of tracked ultrasound
WO2012001548A1 (en) 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Real-time quality control of em calibration

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6296613B1 (en) 1997-08-22 2001-10-02 Synthes (U.S.A.) 3D ultrasound recording device
US6458083B1 (en) * 1996-11-26 2002-10-01 Koninklijke Philips Electronics N.V. Ultrasonic harmonic imaging with adaptive image formation
US6315724B1 (en) * 1999-10-19 2001-11-13 Biomedicom Ltd 3-dimensional ultrasonic imaging
US20060241432A1 (en) 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
US10143398B2 (en) * 2005-04-26 2018-12-04 Biosense Webster, Inc. Registration of ultrasound data with pre-acquired image
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7848592B2 (en) * 2006-07-31 2010-12-07 Carestream Health, Inc. Image fusion for radiation therapy
US9597041B2 (en) * 2007-03-30 2017-03-21 General Electric Company Sequential image acquisition with updating method and system
GB0708358D0 (en) * 2007-05-01 2007-06-06 Cambridge Entpr Ltd Strain image display systems
WO2011063266A2 (en) 2009-11-19 2011-05-26 The Johns Hopkins University Low-cost image-guided navigation and intervention systems using cooperative sets of local sensors
AU2011100156A4 (en) 2010-02-24 2011-03-10 Signostics Limited Improved Imaging Apparatus and Method
CN202001548U (zh) 2011-05-09 2011-10-05 浙江正裕工业有限公司 双缸减震器活塞固定结构
EP2755591B1 (en) * 2011-09-16 2020-11-18 Auris Health, Inc. System for displaying an image of a patient anatomy on a movable display
US9561019B2 (en) * 2012-03-07 2017-02-07 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
WO2014016736A2 (en) * 2012-07-27 2014-01-30 Koninklijke Philips N.V. Accurate and rapid mapping of points from ultrasound images to tracking systems
CN103781195A (zh) * 2012-10-22 2014-05-07 西安交大京盛科技发展有限公司 一种多传感器融合系统
CN103735303B (zh) * 2014-01-07 2015-09-30 清华大学 全髋关节置换术中髋关节内部实时可视辅助定位系统
JP6295804B2 (ja) * 2014-04-24 2018-03-20 富士通株式会社 測定装置、測定方法及び測定プログラム
CN104657984B (zh) * 2015-01-28 2018-10-16 复旦大学 三维超声乳腺全容积图像感兴趣区域的自动提取方法
CA2919901A1 (en) * 2015-02-04 2016-08-04 Hossein Sadjadi Methods and apparatus for improved electromagnetic tracking and localization
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
CN104758066B (zh) * 2015-05-06 2017-05-10 中国科学院深圳先进技术研究院 用于手术导航的设备及手术机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122538A (en) 1997-01-16 2000-09-19 Acuson Corporation Motion--Monitoring method and system for medical devices
US20050107687A1 (en) 2003-11-14 2005-05-19 Anderson Peter T. System and method for distortion reduction in an electromagnetic tracker
WO2008065600A2 (en) 2006-11-27 2008-06-05 Koninklijke Philips Electronics, N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
WO2009063360A1 (en) 2007-11-14 2009-05-22 Koninklijke Philips Electronics, N.V. System and method for automatic calibration of tracked ultrasound
WO2012001548A1 (en) 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Real-time quality control of em calibration

Also Published As

Publication number Publication date
JP2018536494A (ja) 2018-12-13
JP7080170B2 (ja) 2022-06-03
CN108369268B (zh) 2022-10-18
EP3391075A1 (en) 2018-10-24
RU2725061C2 (ru) 2020-06-29
WO2017102761A1 (en) 2017-06-22
RU2018125899A3 (ja) 2020-04-20
RU2018125899A (ru) 2020-01-20
CN108369268A (zh) 2018-08-03
US10930007B2 (en) 2021-02-23
US20200302636A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US20230012778A1 (en) Navigation of tubular networks
Mountney et al. Three-dimensional tissue deformation recovery and tracking
JP2023126480A (ja) 訓練又は支援機能を有する手術システム
Moreira et al. Biomechanics-based curvature estimation for ultrasound-guided flexible needle steering in biological tissues
JP2022551778A (ja) 機械学習モデルのための訓練データ収集
JP6515086B2 (ja) 経時的な確率的オブジェクト追跡のためのシステムおよび方法
Adagolodjo et al. Robotic insertion of flexible needle in deformable structures using inverse finite-element simulation
Lee et al. From medical images to minimally invasive intervention: Computer assistance for robotic surgery
Nadeau et al. Intensity-based ultrasound visual servoing: Modeling and validation with 2-d and 3-d probes
JP2017520346A (ja) 介入処置の３ｄ撮像ワークフローにおける器具及び生体構造のインテリジェントかつリアルタイムな可視化
CN105611877A (zh) 引导超声图像采集的方法和系统
CN103211563A (zh) 通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与系统
JP6706576B2 (ja) 最小侵襲性のインターベンションのための形状センスされるロボット超音波
JP2014531986A (ja) ロボットとイメージとの間の自動オンライン・レジストレーション
JP7080170B6 (ja) 医用機器追跡システム及び方法
CN115804652A (zh) 手术操作系统及方法
Trivisonne et al. Constrained stochastic state estimation of deformable 1D objects: Application to single-view 3D reconstruction of catheters with radio-opaque markers
Al-Ahmad et al. Local one-dimensional motion estimation using FBG-based shape sensing for cardiac applications
Mebarki Automatic guidance of robotized 2D ultrasound probes with visual servoing based on image moments.
Koo et al. Simulation Method for the Physical Deformation of a Three-Dimensional Soft Body in Augmented Reality-Based External Ventricular Drainage
Trivisonne et al. Constrained Stochastic State Estimation for 3D Shape Reconstruction of Catheters and Guidewires in Fluoroscopic Images
Andreff et al. Preliminary variation on multiview geometry for vision-guided laser surgery.
Koeda et al. DICOM depth image generation using GPGPU for fast position and orientation estimation on liver surgery support system
CN112533542B (zh) 使用超声信号进行介入设备定位
Octorina Dewi et al. Position tracking systems for ultrasound imaging: a survey

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220524

R150 Certificate of patent or registration of utility model

Ref document number: 7080170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150