JP2023513383A - 体内治療デバイスの展開状態を視覚化する医用画像化システム、デバイス、及び方法 - Google Patents

体内治療デバイスの展開状態を視覚化する医用画像化システム、デバイス、及び方法 Download PDF

Info

Publication number
JP2023513383A
JP2023513383A JP2022549258A JP2022549258A JP2023513383A JP 2023513383 A JP2023513383 A JP 2023513383A JP 2022549258 A JP2022549258 A JP 2022549258A JP 2022549258 A JP2022549258 A JP 2022549258A JP 2023513383 A JP2023513383 A JP 2023513383A
Authority
JP
Japan
Prior art keywords
image
deployment
treatment device
processor
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022549258A
Other languages
English (en)
Other versions
JPWO2021165152A5 (ja
Inventor
ライカル ヴィプル シュリハリ パイ
マキシム フラドキン
べノイト ジャン‐ドミニク ベルトランド モーリス モーリー
クナル ヴァイジャ
シボ リー
グジェゴジ アンドレイ トポレク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023513383A publication Critical patent/JP2023513383A/ja
Publication of JPWO2021165152A5 publication Critical patent/JPWO2021165152A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/24—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body
    • A61F2/2442—Annuloplasty rings or inserts for correcting the valve shape; Implants for improving the function of a native heart valve
    • A61F2/246—Devices for obstructing a leak through a native valve in a closed condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/24—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body
    • A61F2/2442—Annuloplasty rings or inserts for correcting the valve shape; Implants for improving the function of a native heart valve
    • A61F2/2466—Delivery devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238—Type of minimally invasive operation
    • A61B2017/00243—Type of minimally invasive operation cardiac
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Vascular Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transplantation (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

最小侵襲性手術（ＭＩＳ）用途で使用するエンドエフェクタ状態推定システムは、検知及び予測アルゴリズムを実行し、展開中の埋込型治療デバイスの状態を判断及び視覚化する。エンドエフェクタ状態推定システムは、可撓性の細長い部材と、可撓性の細長い部材の遠位部分に結合された治療デバイスと、治療デバイスの展開状態に関係する少なくとも１つのパラメータを測定するセンサと、プロセッサとを備える。プロセッサは、患者の体腔内に配置された治療デバイスを表す画像化システムからの画像データ、及びセンサからの少なくとも１つのパラメータを受信し、画像データ及び少なくとも１つのパラメータに基づいて、治療デバイスの展開状態を判断し、治療デバイスの展開状態のグラフィック表現を出力する。

Description

[0001] 本明細書で説明される主題は、生体内治療デバイスの展開状態を推定及び視覚化する医用画像化システム、デバイス、及び方法に関する。医用画像化を使用して治療デバイスの展開状態を推定及び視覚化することは、心腔内経カテーテル僧帽弁修復術に特有の、しかし心腔内経カテーテル僧帽弁修復術専用ではない、有用性を有している。
[0002] 僧帽弁（ＭＶ）疾患は、大動脈弁狭窄症に次ぐ、ヒトの心臓の最も一般的な弁膜の病態の１つである。ＭＶは、心臓の左側にある二葉弁であり、左心房（ＬＡ）から左心室（ＬＶ）への、血液の一方向への流れを維持する役割を果たす。弁組織の機能的摩耗、又は石灰化などの病態は、弁の弁尖の劣化を引き起こし、弁尖の不適切な接合をもたらす可能性がある。その結果、ＬＶ圧縮の際に、ＬＶからＬＡ内に戻る、血流の逆流が生じる。これは僧帽弁逆流症（ＭＲ）として知られており、心臓の送り込むメカニズムの出力が低下するという結果をもたらし、処置せずに放置されると、心不全を含む重度の合併症を引き起こす可能性がある。ＭＲ患者の処置の基本的な目標は、心臓の機能を回復し、患者の全体的な生活の質を高めるレベルまで、ＭＲを抑えることである。
[0003] 開胸術に取って代わる最小侵襲性治療（例えば、最小侵襲性手術又はＭＩＳ）の進歩に伴い、経カテーテル僧帽弁修復術（ＴＭＶＲ）は、開胸術のリスクが高い患者のための強力な代替治療として出現してきた。構造的心疾患（ＳＨＤ）を処置するための、多くのデバイスが存在する。１つの例示的なＴＭＶＲデバイスが、僧帽弁クリップ（ＭＣ）デバイスである。臨床研究は、ＭＣが、ＭＲを許容レベルまで抑えることによって、患者の治療効果を高めるのに高い有効性を有していることを示している。加えて、経カテーテル手法により、開胸術と比較して、関連する入院期間が短縮される。これにより、さらに、術後の合併症が軽減され、したがって、患者の治療効果が高まるばかりでなく、病院システムへの負担も軽減される。
[0004] ＭＣ埋込みなどの手技の使用は、今後１０年にわたって増加すると予想される。しかし、現在、ＭＣデバイス及びＭＣデバイスの送達システムが複雑なため、この手技は、デバイスを動作させ、且つナビゲーション及び展開タスクに重要なＸ線及び超音波画像を解釈する、この両方について、高度なスキルを有する施術者を必要とする。手技は、超音波プローブ及び画像化システムを操作して、周囲の解剖学的構造に対する、デバイスの高品質の画像及び視野を取得し、デバイス及び手技の状態を素早く識別できる、経験豊富な心エコー法技師を必要とする。手技はまた、特にあまり経験がないオペレータの場合、チームメンバ間の明確なコミュニケーションも必要とする。コミュニケーションには、デバイスのエンドエフェクタ（例えば、クリップ）の正確な表現が必要となるが、デバイスの位置、向き、開／閉状態、及び他の要因の、多くの組合せに関しては、実現が困難である。
[0005] したがって、かかる通常使用されるＴＭＶＲ手技は、画像取込み、画像解釈、デバイスのエンドエフェクタの姿勢及び状態を理解することの困難さ、並びにその他を含む、多くの欠点を有することを理解されたい。したがって、前述の懸念及び他の懸念に対処する、改善されたＴＭＶＲシステム及び手技についての、長年のニーズが存在する。
[0006] 本明細書で引用されるどんな参照文献、及び参照文献のどんな説明又は議論をも含む、本明細書のこの「背景技術」の段落に含まれる情報は、技術的な参照のためだけに含まれ、これにより開示の範囲が制限されるべき主題と見なされるべきではない。
[0007] 経カテーテル最小侵襲性手術（ＭＩＳ）用途で使用する、エンドエフェクタの状態推定システムが開示されており、これは、展開に関連する操作中に、制御入力及び／又は画像化データに基づいて埋込型治療デバイスの状態を判断するための、検知及び予測アルゴリズムと、治療デバイスのグラフィック表現を含む医用画像の注釈とを有する。本開示では、展開可能な治療デバイス、又は治療デバイスを展開するための展開組立体は、エンドエフェクタと呼ばれることが理解されよう。
[0008] 経カテーテル技法を使用して実行される構造的心臓手技は、高度に画像集約型の手技である。リアルタイムの３Ｄ画像化が利用可能な場合、ナビゲーション、目標選択、及び展開がより容易に実行される。しかし、エンドエフェクタの正確な状態を確認するのは、困難である。エンドエフェクタ状態推定システムにより、手技を３Ｄでより確実に行うことができるようになり、３Ｄデータから最適な２Ｄスライスを見つけ出すための、臨床医の認識に係わる負担が軽減されるであろう。
[0009] 超音波画像の高い品質は、関心のある対象物の最適な超音波処理に依存するが、組織及びデバイスの視覚化を妨げる、画像アーチファクトという難点がある。エンドエフェクタ状態推定システムは、従来の画像化を正確なデバイスの状態で補完する一助となり得、これにより、手技の信頼性を高め、したがって、治療効果を向上させ、学習曲線を短縮する可能性がある。本明細書に開示されるエンドエフェクタ状態推定システムは、心腔内経カテーテル僧帽弁修復術に特定の、しかし心腔内経カテーテル僧帽弁修復術専用ではない、有用性を有している。
[0010] 本開示の実施形態によれば、患者の体腔内に配置された可撓性の細長い部材の、遠位部分に結合された治療デバイスの、展開状態を判断するシステムが提供される。システムは、治療デバイスの展開状態に関係する少なくとも１つのパラメータを測定するよう構成された、少なくとも１つのセンサと、画像化システムによって取得された画像データであって、患者の体腔内に配置された治療デバイスを表す画像データ、及び少なくとも１つのパラメータを受信し、画像データ及び少なくとも１つのパラメータに基づいて、治療デバイスの展開状態を判断し、プロセッサと通信するディスプレイに、治療デバイスの展開状態のグラフィック表現を出力するよう構成された、プロセッサとを備える。
[0011] いくつかの実施形態では、プロセッサは、ディスプレイに、画像データに基づいて生成された患者の体腔の画像と、体腔の画像上に重ね合わされた、治療デバイスの展開状態のグラフィック表現とを含む、画面表示を出力するよう構成される。いくつかの実施形態では、治療デバイスの展開状態のグラフィック表現は、治療デバイスの３次元モデルの視覚化を含む。いくつかの実施形態では、少なくとも１つのパラメータは、治療デバイスの制御機構の位置又は角度のうちの少なくとも一方を含む。いくつかの実施形態では、システムは、経カテーテル送達デバイスを備え、経カテーテル送達デバイスは、可撓性の細長い部材を備え、少なくとも１つのパラメータは、経カテーテル送達デバイスの位置又は角度のうちの少なくとも一方を含む。いくつかの実施形態では、少なくとも１つのセンサは、経カテーテル送達デバイスの機械式制御機構に結合された符号化器を含む。いくつかの実施形態では、少なくとも１つのセンサは、治療デバイス上に配置された磁気シードの位置測定値を取得することによって、少なくとも１つのパラメータを測定するよう構成された磁気センサを含む。
[0012] いくつかの実施形態では、画像化システムは、超音波画像化システムを含む。いくつかの実施形態では、画像化システムは、Ｘ線画像化システムを含む。いくつかの実施形態では、プロセッサは、画像認識を使用して、画像データに基づいて生成された画像を治療デバイスのモデルと照合することにより、治療デバイスの展開状態を判断するよう構成される。いくつかの実施形態では、少なくとも１つのパラメータは、展開の測定値を含み、プロセッサは、照合されたモデルの信頼性レベルを判断し、信頼性レベルが閾値を下回ったときに、展開の測定値に基づいて展開状態を判断するよう構成される。
[0013] 本開示の別の実施形態によれば、治療デバイスの展開状態を判断する方法は、センサによって、治療デバイスの展開状態に関係する少なくとも１つのパラメータを測定するステップであって、センサが、可撓性の細長い部材の遠位部分に結合されている、測定するステップと、画像化システムによって、治療デバイスを含む画像を取得するステップと、プロセッサによって、画像及び少なくとも１つのパラメータに基づいて、治療デバイスの展開状態を判断するステップと、プロセッサによって、プロセッサと通信するディスプレイに、治療デバイスの展開状態のグラフィック表現を出力するステップとを有する。
[0014] いくつかの実施形態では、この方法は、ディスプレイに、画像のうちの少なくとも１つと、少なくとも１つの画像上に重ね合わされた、治療デバイスの展開状態のグラフィック表現とを含む、画面表示を出力するステップを有する。いくつかの実施形態では、少なくとも１つのパラメータは、可撓性の細長い部材の制御機構の位置又は角度を含む。いくつかの実施形態では、少なくとも１つのパラメータは、治療デバイスの位置又は角度を含む。いくつかの実施形態では、画像化システムは、超音波画像化システムを含む。いくつかの実施形態では、画像化システムは、Ｘ線画像化システムを含む。いくつかの実施形態では、センサは、磁気センサを含み、少なくとも１つのパラメータを測定するステップは、治療デバイス上に配置された磁気シードの位置測定値を取得するステップを有する。いくつかの実施形態では、治療デバイスの展開状態を判断するために、センサ及び画像化システムからの情報を組み合わせるステップは、画像化システムからの画像を、治療デバイスのモデルと照合するために、画像認識を使用するステップを有する。
[0015] 本開示の別の実施形態によれば、治療デバイスの展開状態を判断するシステムは、カテーテル、及びカテーテルの遠位部分に結合された僧帽弁クリップを備える、僧帽弁クリップ配置デバイスと、患者の体腔内に配置された僧帽弁クリップの、超音波画像を取得するよう構成された、超音波画像化デバイスと、患者の体腔内に配置された僧帽弁クリップの、Ｘ線画像を取得するよう構成された、Ｘ線画像化デバイスと、僧帽弁クリップ配置デバイスに結合され、僧帽弁クリップの展開状態に関係するパラメータを示すセンサ信号を供給するよう構成された、センサと、パラメータ及びＸ線画像に基づいて、僧帽弁クリップの展開状態を判断し、プロセッサと通信するディスプレイへ、超音波画像のうちの少なくとも１つ、及び治療デバイスの展開状態のグラフィック表現を出力するよう構成された、プロセッサとを備える。
[0016] この「発明の概要」は、下記の「発明を実施するための形態」でさらに説明されるものの簡略化された形で、概念の選択を紹介するために提供されている。この「発明の概要」は、特許請求の範囲に記載された主題の主要な特徴又は基本的な特徴を、特定することを意図するものではなく、また特許請求の範囲に記載された主題の範囲を、制限することを意図するものでもない。特許請求の範囲で定義される、エンドエフェクタ状態推定システムの特徴、詳細、有用性、及び利点のより広範な提示が、本開示の様々な実施形態の、以下に記述される説明で提供され、また添付図面に示されている。
[0017] 本開示の例示的な実施形態を、以下の添付図面を参照して説明することにする。
[0018] 本開示の少なくとも１つの実施形態による、例示的なエンドエフェクタ状態推定システムの概略図である。 [0019] 本開示の少なくとも１つの実施形態による、例示的な経カテーテル僧帽弁修復術の概略図である。 [0020] 本開示の少なくとも１つの実施形態による、例示的な経カテーテル僧帽弁修復術の超音波画像である。 [0021] 本開示の少なくとも１つの実施形態による、例示的な経カテーテルクリップ送達システムの概略図である。 [0022] 本開示の少なくとも１つの実施形態による、例示的なエンドエフェクタ状態推定システム１００の概略図である。 [0023] 本開示の少なくとも１つの実施形態による、例示的な経カテーテルクリップ送達システム１１０の少なくとも一部の斜視図である。 [0024] 本開示の少なくとも１つの実施形態による、例示的な経カテーテル僧帽弁修復術による、手技の際のＸ線画像である。 [0025] 本開示の少なくとも１つの実施形態による、僧帽弁クリップなどのエンドエフェクタの３Ｄモデルの斜視図である。 [0026] 本開示の少なくとも１つの実施形態による、６つの相異なる開／閉状態のエンドエフェクタ（例えば、僧帽弁クリップ）の、詳細なモデルを示す斜視図である。 [0027] 本開示の少なくとも１つの実施形態による、超音波画像をエンドエフェクタのモデルと照合するアルゴリズムの、入力及び出力の概略図である。 [0028] 本開示の少なくとも１つの実施形態による、経カテーテルデバイスのエンドエフェクタの状態及び姿勢を判断するために使用される、例示的な畳み込みニューラルネットワークの概略図である。 [0029] 本開示の実施形態による、プロセッサ回路の概略図である。
[0030] 経カテーテル最小侵襲性手術（ＭＩＳ）用途で使用する、エンドエフェクタ状態推定システムが開示されている。展開に関連する操作中に、埋込型治療デバイスの状態を正確に取得するために、機械学習ベースの予測と組み合わせて、デバイスマニピュレータ（例えば、手動の制御機構）内での検知を利用するシステム及び方法が開示されている。画像ベースの情報を使用してデバイスの状態を導出するシステム及び方法、並びにシステムと方法との組合せも開示されている。様々な実施形態において、治療デバイスは、エンドエフェクタであり得るか、又はエンドエフェクタを備えることができる。本開示の態様は、エンドエフェクタ、及び／又はエンドエフェクタである／エンドエフェクタを備える治療デバイスに適用され、遠位端、近位端、又は近位端と遠位端との間の任意の１つ又は複数の箇所で、拡張する、収縮する、曲がる、屈曲する、関節運動する、又はその他の方法で形状を変化させる、任意の好適なエンドエフェクタ及び／又は治療デバイスを含む。
[0031] 経カテーテル技法を使用して実行される構造的心臓手技は、高度に画像集約型の手技である。具体的には、僧帽弁弁尖修復技法は、高品質の動的（例えば、リアルタイム）画像化のニーズによって促進されている。Ｘ線画像は、デバイスを明確に視覚化するが、関心のある組織は視覚化されない。一方、超音波画像は、組織を表示するが、デバイスを明確に視覚化するのは困難である。手技の際に、２Ｄ超音波及びＸ線画像化のガイダンスが使用されるが、これには基本的に、２次元で３Ｄ問題を解決しようとすることが含まれる。リアルタイムの３Ｄ画像化が利用可能である場合、ナビゲーション、目標選択、及び展開がより容易に実行されるという証拠が増えている。しかし、３Ｄ画像化を使った場合でも、対象となる組織と比較して、エンドエフェクタの正確な向き及び開／閉状態を確認するのは困難である。本開示のエンドエフェクタ状態推定システムは、手技を３Ｄでより確実に行うことを可能にし、また、３Ｄ情報の分析によって改善された２Ｄ画像の使用も可能にする。エンドエフェクタ状態推定システムはまた、超音波オペレータの、経カテーテルデバイスのエンドエフェクタの３Ｄでの状態を描写する最適な２Ｄスライスを見つけるための、認識に係わる負担を軽減する。
[0032] 超音波画像の高い品質は、関心のある対象物（例えば、僧帽弁の弁尖及び経カテーテルデバイス用クリップ又は他のエンドエフェクタ）の最適な超音波処理に依存している。超音波画像化は、音響ドロップアウト、シャドウイング、不適切なゲインに起因するブルームアーチファクトなどの、アーチファクトという難点があり得、同じ画像内の組織とデバイスとの明確な視覚化を難しくする可能性がある。エンドエフェクタ状態推定システムは、かかるアーチファクトが画像を乱す場合でも、従来の画像化を正確なデバイスの状態で補完する一助となり得る。
[0033] クリップ型デバイスを使用する弁尖修復における重要なタスクは、個々の弁尖を、クリップの把持メカニズム内で適切に掴むことである。多くの場合、僧帽弁の弁尖の超音波画像化を支援するためにゲインが増加し、これにより、クリップの細い把持アームの視覚化を妨げる可能性がある。しかし、手技を実行するには、クリップの開／閉状態を正しく理解することが重要である。エンドエフェクタ状態推定システムは、この情報を提供でき、これによって手技の信頼性が高まり、且つ治療効果が高まり、手技時間が短縮される可能性がある。
[0034] 上記のように、経カテーテル心腔内処置などのＭＩＳ手技は、画像化の品質、及び手技を実行する臨床医のチーム間での、効果的なコミュニケーションによって推進される。これは、関連する学習曲線によってもたらされるため、高い習熟度が得られる前に、チームメンバによって多くの手技が実行される必要がある。エンドエフェクタ状態推定システムは、デバイスの状態及び姿勢を含むフィードバックをチームに提供でき、これにより学習曲線が改善され、手技の際の信頼性が向上する可能性がある。
[0035] 本開示は、デバイスのエンドエフェクタの視覚化を改善することによって、最小侵襲性手術（ＭＩＳ）の実行を大幅に支援する。本明細書に開示されるエンドエフェクタ状態推定システムは、経カテーテルデバイス制御システム及び１つ又は複数の外部画像化システムと通信するプロセッサ上で実施されると、ＭＩＳ手技の際に、生の超音波画像の実用的な機能強化又は付注を実現する。この強化された視覚化により、様々な程度の明瞭さ及び精度を提供する、他の画像化モダリティを使用できるようになり、熟練度の低いオペレータが経カテーテル治療手技を実行できるようになる。この従来にない手法は、経カテーテルデバイス制御システムの機能を、心腔内修復術などの複雑なタスクをシステムにより容易に動作させることで、向上させる。
[0036] エンドエフェクタ状態推定システムは、ディスプレイ上で見ることができる、リアルタイムの画像改善又は注釈を生成し、キーボード、マウス、又はタッチスクリーンインタフェースからのユーザ入力を受信する、プロセッサ上で実行される制御プロセスによって動作し、１つ又は複数の医用機器と通信する。その点において、制御プロセスは、様々な時間に行われる様々な入力又は選択に応答して、また様々なきっかけに応答して、いくつかの特定の動作を実行する。プロセッサ、ディスプレイ、センサ、及びユーザ入力システムのいくつかの構造、機能、及び動作が当技術分野で知られているが、他のものが、本開示の新規の特徴又は態様を具体的に可能にするために、本明細書に記載されている。
[0037] これらの説明は、ただ単に例示目的で提供されており、エンドエフェクタ状態推定システムの範囲を制限すると見なされるべきではない。いくつかの特徴は、特許請求の範囲に記載された主題の精神から逸脱することなく、追加、削除、又は変更される場合がある。
[0038] 本開示の原理の理解を促進するために、図面に示されている実施形態をここで参照し、特定の言語を使用して、実施形態を説明することにする。それにもかかわらず、本開示の範囲への制限は意図されていないことを理解されたい。説明されるデバイス、システム、及び方法に対するどんな変更及びさらなる修正も、また本開示の原理のどんな別の用途も、本開示が関係する分野の技術者に通常見出されるように、完全に企図され、本開示に含まれている。具体的には、一実施形態に関して説明された特徴、構成要素、及び／又はステップは、本開示の他の実施形態に関して説明された特徴、構成要素、及び／又はステップと組み合わされる場合があることが、完全に企図されている。ただし、簡潔にするために、こうした組合せの多数の繰返しについて、別個に説明はしないことにする。
[0039] 図１は、本開示の少なくとも１つの実施形態による、エンドエフェクタ状態推定システムとも呼ばれる、例示的な治療デバイス状態推定システム１００の概略図である。例示的なエンドエフェクタ状態推定システム１００は、心臓１２０内で、クリップ又は他の関係するエンドエフェクタデバイスを操作するよう構成された、経カテーテルクリップ送達システム１１０（例えば、ＡｂｂｏｔｔのＭｉｔｒａＣｌｉｐ若しくはＴｒｉＣｌｉｐ、又はＥｄｗａｒｄｓ Ｌｉｆｅ ＳｃｉｅｎｃｅｓのＰａｓｃａｌシステム）を動作させる際に、臨床医を支援するよう構成される。エンドエフェクタ状態推定システム１００は、外部基準ベースの位置センサ１２５（例えば、磁気位置センサ、光学位置センサ）、位置若しくは角度符号化器１３０又は関係するセンサ、超音波画像化システム１４０、及び／或いはＸ線画像化システム１５０から、データを受信する。
[0040] エンドエフェクタ状態推定システム１００はまた、処理回路１６０も備える。図１に示されている例では、処理回路１６０は、機械式マニピュレータ上に配置されたセンサ１３０から、又は空間位置特定システムから、符号化器の情報を読み取る制御ユニットとインタフェース接続し、且つ／又は制御ユニットとして作用することができる。センサ１３０は、経カテーテルクリップ送達システム１１０を使用して送達される治療用クリップデバイスの展開状態に関係する、１つ又は複数のパラメータを測定することができる。処理回路１６０はさらに、超音波画像化システム１４０及び／又はＸ線画像化システム１５０からの画像データに対して、従来のデータ（画像、信号）処理アルゴリズム並びに／又は機械学習及び深層学習アルゴリズムを実行することができる。処理回路１６０はさらに、複雑な、注釈が付記された２Ｄ又は３Ｄレンダリング１７０を生成し、レンダリングを、例えば、多チャネルレンダリングに対応するディスプレイ１８０上に表示することができる。いくつかの実施形態では、処理回路は、筐体内に配置された、ただ１つの処理構成要素を備える。他の実施形態では、処理構成要素は、複数のハードウェア構成要素及び／又は中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又はただ１つの筐体内に配置された、又は複数の筐体間に分散された、他の任意の好適な構成要素などの、ハードウェア構成要素を含む。
[0041] 上記で説明された例は、例示のために提供されており、限定することを意図するものではないことが理解されよう。本明細書で説明される動作を実行するために、他の複数のデバイス及び／又は１つのデバイス構成が利用されてもよい。
[0042] 図２は、本開示の少なくとも１つの実施形態による、例示的な経カテーテル僧帽弁修復（ＴＭＶＲ）手技２００の概略図である。手技２００では、２本のアーム２１０及び２つのグリッパ２２０を備えるクリップデバイス２０５（例えば、ＡｂｂｏｔｔのＭｉｔｒａＣｌｉｐ）を使用する。この手技はまた、可撓性の細長い部材を使用して、右心房２４０を通って心臓１２０に入り、次いで右心房２４０を穿刺して左心房２５０に入り、僧帽弁２６０を通って左心室２７０内へ進む（ステップ「ａ」）、カテーテルベースの送達システム２３０を使用することを含む。次いで、クリップ２０５が開かれ（ステップ「ｂ」）、続いて、クリップが、僧帽弁２６０の２つの弁尖２８０を把持するように閉じられる（ステップ「ｃ」）。次いで、クリップ２０５が送達システム２３０から取り外され（ステップ「ｄ」）、送達システム２３０は、心臓１２０から引き抜かれる。クリップデバイス２０５は、治療デバイス及び／又は送達システム２３０のエンドエフェクタとして参照され得る。当業者は、他のデバイス及び手技が、心臓１２０内の構造を修復するために、例えば、弁置換術、組織切除、ペースメーカ構成要素の取付け又は取外しなどに対して使用される場合があること、またデバイスが、超音波画像で視覚化できるほど大きく、音響的に反射するエンドエフェクタを備えている限り、エンドエフェクタ状態推定システムと共に使用される場合があることを、理解されよう。
[0043] 僧帽弁クリップなどの治療デバイスを、僧帽弁内に配置して展開することは、難しい手技である。この点に関連して、僧帽弁は通常、手技が実行されている間も、依然として動作している。Ｘ線画像化データは、僧帽弁クリップ及び送達システムの鮮明な画像を提供するが、僧帽弁に対するデバイスの位置は、Ｘ線画像では見えない。超音波は、僧帽弁などのより多くの解剖学的情報及び詳細を提供するが、僧帽弁クリップ及び送達システムのエコー輝度は、僧帽弁クリップの場所及び展開状態を、手技を実行するのに十分な精度で明確に視覚化するための、適切なゲイン、コントラスト、及び他の画像設定を有する画像を実現することが、困難なものである。さらに、２次元超音波画像化が使用される場合、画像の設定に関係なく、超音波プローブの視野に対して僧帽弁クリップの向きを判断することは、困難である。
[0044] この点に関連して、図３は、本開示の少なくとも１つの実施形態による、例示的な経カテーテル僧帽弁修復（ＴＭＶＲ）手技の超音波画像３００である。かかる画像は、例えば経食道心エコー図（ＴＥＥ）プローブを使用して取り込まれる。画像内のノイズを除去し、組織と、血液と、処置デバイスの中実の構成要素との間のコントラストを高めるために、閾値処理及び／又はエッジ勾配のフィルタ処理が使用される。
[0045] 画像３００には、僧帽弁クリップ２０５、左心房２５０、左心室２７０、僧帽弁の弁尖２８０、並びに僧帽弁クリップ２０５のアーム２１０及びグリッパ２２０が見える。ＴＭＶＲ手技の際に、例えば、アーム２１０が左心室２７０に位置決めされ、グリッパ２２０が左心房２５０に位置決めされ、弁尖２８０がそれぞれアーム２１０とグリッパ２２０との間に入るように、クリップ２０５を配置することが望ましい。この構成では、クリップ２０５は、弁尖２８０を一体に、永続的に保持するように閉じられ得る。これにより、僧帽弁逆流（ＭＲ）を制限し、したがってＭＲ患者の健康を改善することができる。
[0046] 図３の例示的な画像３００に見られるように、多くの臨床医にとって、両方の弁尖２８０、両方のアーム２１０、及び両方のグリッパ２２０を含む、リアルタイムの超音波画像を取り込むことは非常に困難である。鼓動する心臓のかかる画像を取り込むには、超音波プローブの適切な位置及び向き、弁尖２８０を表示するための適切なゲイン設定、さらにクリップ２０５の構造を示すための、ノイズ、シャドウ、及びブルームアーチファクトがないことが要求される。画像化を行う臨床医は、これらのフィーチャが位置決めされる、３Ｄボリュームデータの２Ｄスライスを、リアルタイムで選択する必要もある。超音波画像をリアルタイムに手動で最適化する必要なしに、クリップ（又は他のエンドエフェクタ）の位置、向き、及び開／閉状態が、判断及び視覚的に報告されることが可能となることにより、画像化を行う臨床医の負担を軽減することが、本開示の特徴である。
[0047] 図４は、本開示の少なくとも１つの実施形態による、例示的な経カテーテルクリップ送達システム１１０の概略図である。アーム２１０及びグリッパ２２０を含む、クリップ２０５が見える。アーム２１０はアクチュエータ４１０によって動作し、一方グリッパ２２０は、引張り部材（ｔｅｎｄｏｎ）４２０によって動作する。引張り部材４２０とアクチュエータ４１０との両方が、カテーテル又は可撓性の細長い部材４３０に挿通されている。クリップ２０５は、可撓性の細長い部材４３０の遠位部分４３１に連結され得、エンドエフェクタと見なされる。図４Ａは、部分的に開いた構成のクリップ２０５を示している。図４Ｂは、閉じた構成のクリップ２０５を示している。いくつかの態様では、クリップ２０５は、閉じた構成で僧帽弁を通って進み、次いで、図４Ａに示されているように開かれ、僧帽弁の弁尖と係合する。次いで、グリッパ２２０が、開かれ、アーム２１０により近づけられ、アーム２１０とグリッパ２２０との間に、僧帽弁の対向する弁尖を挟持することができる。図４Ｃは、クリップ２０５が患者の僧帽弁に埋め込まれると、クリップ２０５の上で組織の成長を促進する布カバー４４０で覆われた、クリップ２０５を示している。図４Ｄは、例示的な送達システム１１０のクリップ制御機構４５０及び送達システム制御機構４８０を示している。クリップ制御機構４５０は、アーム関節運動用ノブ４６０及び一対の個別のグリッパアーティクレータ４７０を備える。アーム２１０及びグリッパ２２０の開閉状態は、クリップデバイス２０５の展開状態に関係するパラメータと呼ばれる。
[0048] 図５は、本開示の少なくとも１つの実施形態による、例示的なエンドエフェクタ状態推定システム１００の概略図である。クリップ送達システム１１０の機械式マニピュレータ４５０は、弁修復デバイス（例えば図４に示されるような、例えば取外し可能なエンドエフェクタ４０５の一部であるクリップ２０５）の関節運動を制御するために使用される。クリップ送達システムのハンドルの機械操作に基づいて、関節運動を検知又はエンコードするために、センサ５１０及び／又は５２０が使用され、アーム関節運動用ノブ４６０及びグリッパアーティクレータ４７０などの制御の状態を検出することができる。センサ５１０又は５２０は、デジタル化された機械可読信号を生成し、電気式符号化器（例えば、ロータリエンコーダ）、光学式符号化器、組込型検知用電位差計、磁気空間位置特定システム（例えば、舵面（ｃｏｎｔｒｏｌ ｓｕｒｆａｃｅ）、アクチュエータ、又は１つ若しくは複数の磁気シードを備えた引張り部材を追跡する）、ＩＲベースの能動又は受動光学空間位置特定システム（例えば、１つ又は複数のＩＲ反射又はＩＲ放射基準マーカの位置を追跡する）、１つ又は複数の目に見える基準フィーチャの位置を推定する、ビジョンベースの（例えば、ＲＧＢ、モノクロなど）光学追跡システムを含むが、これらに限定されるものではない。
[0049] デジタル化された信号（例えば、信号５１５又は５２５）は、処理回路１６０（図１）に相当する計算ユニットの操作検知ユニット５３０で受信される。計算ユニット１６０はまた、画像化システム１４０又は１５０から画像化データ５５０を受信する、画像処理（例えば、機械学習アルゴリズム）ユニット５４０も備える。計算ユニット１６０は、関連情報を処理して、１つ又は複数のアルゴリズムに供給するためのインタフェース（例えば、ソフトウェア及び／又はハードウェア）を有する。例えば、変数αは、「クリップ」デバイスのアームを制御するノブの位置に割り当てられ、βは、グリッパを制御するマニピュレータの位置に割り当てられる。１つ又は複数のアルゴリズムは、以下の２つの入力する情報源、（１）デバイスハンドルの現在の操作状態（α、β）を表す信号、及び（２）手技の際の超音波、Ｘ線、又は統合された２つのリアルタイム介入的画像化モダリティからの、画像化情報Ｉｕｓ、Ｉｘ－ｒａｙ、Ｉｕｓ＋ｘ－ｒａｙを使用して、体内のデバイスの物理的関節運動を、最も精密に表す情報を生成するよう設計されている。アルゴリズムは、以下のタイプの基本モジュールで構成され得るが、これらに限定されるものではない。いくつかの実施形態では、信号は、プロセッサ１６０と通信するインタフェースデバイス又は制御ユニットで受信、デジタル化、及び／又は処理され、インタフェースデバイスは、受信信号に基づく位置情報をプロセッサ１６０に供給する。
[0050] 僧帽弁クリップなどの治療デバイスでは、完全に閉じた状態から完全に開いた状態まで変化する物理的なデバイスの状態が、ネジ及び引張り部材駆動システムによって制御される。かかるデバイスの制御機構は、１自由度（ＤＯＦ）だけであるが（例えば、マニピュレータの状態αは、クリップが開く状態にマッピングされ、同様にβは、グリッパの状態にマッピングされる）、開閉の応答は、予測不可能に、また再現性なく、１ＤＯＦの関節運動にマッピングされる。したがって、特定の舵面の設定を個々のデバイスの状態に関連づけるルックアップテーブルは、あらゆる場合に、デバイスの状態の信頼できる予測子となるわけではない。関係を数学的にモデル化する場合のこの問題は、デバイス送達システムの物理的特性、及びデバイス送達システムの動作環境がこうした物理的特性に与える影響によって引き起こされる。例えば、このシステムのヒステリシスは、データ駆動型の手法でモデル化され得る。参照によりその全体が本明細書に組み入れられる、２０１９年３月２９日に出願された米国仮特許出願第６２／８２５，９１４号、２０１９年３月２９日に出願された米国仮特許出願第６２／８２５，９０５号、及び２０１９年２月２８日に出願された米国仮特許出願第６２／８１１，７０５号は、電気機械デバイスの運動を推定する方法について説明している。これらの技法は、展開前に埋込型エンドエフェクタの状態を導出するために適用され得る。
[0051] 制御状態情報（例えば、符号化器のフィードバック）と治療デバイスの実際の位置又は展開状態との間のずれの量を考慮する１つの方法は、ニューラルネットワークを利用して、ノブの回転αに対してデバイスのアームの状態θ（例えば、度の単位での角度）を回帰させることである。このためのデータ収集は、磁気追跡シード（例えば、５ＤＯＦ、約５ｍｍ）をアーム上に配置し、（ａ．）用途に対して十分な感度のある所望の範囲に量子化された、ノブの操作によるデジタル信号と、（ｂ．）角度値に変換されたアーム場所の位置との、データを収集することによって行われ得る。次いでこれは、回帰問題として解決され得る。データ取得は、制御されたロボット方式でも実現され得る（例えば、ノブ又は他の舵面を様々な組合せで前後に動かして、デバイスの状態への影響を記録する）。上記の手法は、例えば図４に示された、他の関節運動（例えば、グリッパの関節運動）にも適用される。
[0052] 図６は、本開示の少なくとも１つの実施形態による、例示的な経カテーテルクリップ送達システム１１０の少なくとも一部の斜視図である。経カテーテルクリップ送達システム１１０は、ガイドハンドル６１０、操縦可能なスリーブハンドル６２０、及びクリップ送達ハンドル６３０に収容された、クリップ制御機構４５０及び送達システム制御機構４８０を備える。上記で説明されたように、１つ又は複数のセンサ又は符号化器が、クリップ制御機構４５０及び／又は送達システム制御機構４８０など、制御機構のいずれか又はすべてに組み入れられ、エンドエフェクタに関する位置及び／又は展開状態情報を提供する。
[0053] 図７は、本開示の少なくとも１つの実施形態による、例示的な経カテーテル僧帽弁修復（ＴＭＶＲ）手技による、手技の際のＸ線画像７００である。Ｘ線画像は、ある一定の角度から、経カテーテル送達システム１１０のエンドエフェクタ４０５（例えば、クリップ２０５）の位置、向き、及び開／閉状態を明確に表示するので、ＭＩＳ手技の際に有利であり得る。これは、例えば、臨床医によって手動で、又はＸ線画像７００に基づく画像認識アルゴリズムを使って自動で、測定又は推定される角度θとして表される。角度は、例えば、セグメント化、力測定、形状検知によって、又はユーザがタッチスクリーン上で角度を描くことによって、判断される。しかし、Ｘ線画像は、僧帽弁の弁尖などの軟組織を表示せず、これにより、関心のある組織に対する、エンドエフェクタデバイス４０５の操縦及び展開についての、手技の際のＸ線画像化の有用性が限定される。それにもかかわらず、手技の際のＸ線画像７００から得られたデバイスの状態（例えば、角度θ）を使用して、送達システム１１０内の舵面を検知することによって得られた、デバイスの状態を更新、補足、確認、又は調整する。次いで、デバイスの状態（例えば、角度θ）を使用して、下記で説明されるように、エンドエフェクタ４０５の３Ｄの位置、３Ｄの向き、及び開／閉状態の画像認識を支援する。いくつかの実施形態では、クリップデバイス２０５のアーム及びグリッパなどの様々な構成要素について、別々の角度測定値が取得される。
[0054] 図８は、本開示の少なくとも１つの実施形態による、僧帽弁クリップなどのエンドエフェクタ４０５の３Ｄモデル８００の斜視図である。モデルは、例えば、Ｘ線画像におけるエンドエフェクタの外観に類似する詳細バージョン８１０、例えば、超音波画像におけるエンドエフェクタの外観に類似する簡略バージョン８３０、及び詳細なモデル８１０から簡略モデル８３０を導出するための計算上の中間ステップとして機能する、中間バージョン８２０を含む。
[0055] 弁尖修復用埋込物の展開は、生の（例えば、リアルタイムの、手技の際の）Ｘ線及び超音波のガイダンスの下で実行される。このデバイスは、各画像化モダリティにおいて、最適に見えるようになると、明確な形態及び予測可能なパターンを示す。これらの画像化の特徴を利用して、画像ベースのアルゴリズム（従来の決定論的画像処理、機械学習、及び／又はこれらの組合せ）を推進し、デバイスの状態を取り込むばかりでなく、デバイスの振舞いを予測することができる。デバイス及びデバイスの関節運動の物理的関係及び幾何学的関係は、先験的にわかっているので、この情報が、モデル当てはめアルゴリズムに組み入れられ得る。この場合、アルゴリズムは、これらに限定されるものではないが、レベルセット法、稼働中の外形、稼働中の統計的形状及び外観のモデルなど、従来の方法を利用して、離散状態のデバイスの剛体モデルを当てはめる。これらのデバイスモデルは、離散化された状態のモデルファミリ、又は関節運動の単一自由度（１ＤＯＦ）若しくは複数自由度（例えば、２ＤＯＦ、３ＤＯＦなど）の連続パラメトリックモデルのいずれかであり得る。アルゴリズムのバージョンが、下記で説明される。
[0056] エンドエフェクタ状態推定システム１００は、介入的デバイス（例えば、僧帽弁クリップ２０５）のモデルを超音波（ＵＳ）画像に当てはめるよう構成される。この当てはめは、３Ｄモデル８００を、以下「ターゲット」と呼ばれる超音波画像に示されているデバイスに、位置合わせすることを含む。モデル８００は、例えば、３角形メッシュとして、又は当技術分野で知られている方法で３角形メッシュに変換され得る、バイナリマスク、点群などによって表される。デバイスのエンドエフェクタ４０５のモデル８００は、通常は非常に精細であるが、超音波画像におけるエンドエフェクタの表現はそうではないので、モデル表現は、当技術分野で知られているメッシュ簡略化の方法を使用して簡略化される。モデルの生成及び簡略化の例が、図８に示されている。
[0057] モデルが剛体である例では、反復最接近点（ＩＣＰ）アルゴリズムなど、モデルのターゲットへの最良の位置合わせを可能にする、剛体変換を見つけ出すことが望ましい。各メッシュ（Ｍ）ポイントと画像（Ｉ）との間の対応を規定するために、ターゲット（Ｔ）ポイントが、画像を閾値処理することにより規定される。閾値（ｔｈ）は、固定されるか又は適応的であり得る。アルゴリズムは、次いで、メッシュポイントごとに、例えば、メッシュポイントの面法線（Ｎ）に沿って対応するターゲットを判断する。
Figure 2023513383000002
[0058] ここで、Ｔ（ｐ）はターゲットポイントであり、Ｍ（ｐ）はメッシュポイントであり、Ｎ（ｐ）はポイントｐでの面法線ベクトルである。アルゴリズムは、次いで、変位ｄの符号付きの大きさを、以下のように規定する。
Figure 2023513383000003
[0059] アルゴリズムは、メッシュポイントとターゲットポイントとの間の対応が判断されると、例えば、特異値分解（ｓｉｎｇｌｅ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）（ＳＶＤ）を使用して剛体変換を見つけ出す。次いで、プロセスが収束するまで（すなわち、メッシュポイントとターゲットポイントとの間の平均距離が無視できるようになるまで）、上記のステップが反復的に繰り返され得る。このようにして、エンドエフェクタ４０５（例えば、僧帽弁クリップ）は、リアルタイム又はほぼリアルタイムに画像（例えば、Ｘ線又は超音波画像）内で位置決めされ、エンドエフェクタの向きが判断され得る。当業者は、このプロセスが、ただ１つのモデルについて説明されているが、アルゴリズムは、下記で説明されるような、それぞれが異なる開／閉状態を表す複数のモデルに対して画像を照合することによって、エンドエフェクタ４０５の状態を判断することもできることを理解されよう。
[0060] 図９は、本開示の少なくとも１つの実施形態による、６つの相異なる開／閉状態のエンドエフェクタ４０５（例えば、僧帽弁クリップ）のモデルを示す斜視図である。僧帽弁クリップ及び他の多くのデバイスの場合、これらの形状は、これらの展開される過程で変化する可能性がある。例えば、僧帽弁クリップは、図９に示されているように、様々な向きに開閉することができる、アーム２１０を備える。ここで表されているモデルは、アーム２１０を備えているが、グリッパ２２０は備えていない（例えば、図２、図３、及び図４に示されている）。当業者は、様々なモデルが、アーム及びグリッパ位置の様々な置き換え、又は様々なエンドエフェクタ４０５の他の特徴を含むことを理解されよう。図９に示されている例では、モデル８ａは、アーム２１０が完全に閉じたエンドエフェクタ４０５を表し、一方モデル８１０ｆは、アーム２１０が完全に開いたエンドエフェクタ４０５を表し、モデル８１０ｂ、８１０ｃ、８１０ｄ、及び８１０ｅは、これら両極端間の、様々な中間状態を表す。
[0061] 図１０は、本開示の少なくとも１つの実施形態による、超音波画像をエンドエフェクタのモデルと照合するアルゴリズムの、入力及び出力の概略図である。これらのデバイスモデルは、離散化された状態のモデルファミリ、又は関節運動の単一自由度（１ＤＯＦ）若しくは複数自由度（例えば、２ＤＯＦ、３ＤＯＦなど）の連続パラメトリックモデルのいずれかであり得る。図１０に示されている例では、モデル８１０ａから８１０ｆは、エンドエフェクタの様々な開／閉状態を表している。所与の超音波画像（例えば、関心のあるボリュームの瞬間的な３Ｄスナップショット）について、各モデルが画像データに対して照合され、所与のモデルが、画像内に表示されているデバイスの状態を正確に表す確率を反映する、信頼性スコアが計算される。順序づけられたモデルのグループは、モデルファミリ（ＭＦ）と呼ばれる。最初の画像フレームでは、デバイスがどの段階まで開いているかが不明なので、１つの可能な手法は、上記で説明されたアルゴリズムを使用して、ＭＦのすべてのモデルを当てはめることと、次いで、最もよく当てはまるモデルを選択することとで構成される。一般に、信頼性スコアが最も高いモデルが、「真の」又は最も可能性が高い、エンドエフェクタの現在の状態として選択され得る。この信頼性スコアは、主に画像の特徴に基づいて、いくつかのやり方で導出され得る。
[0062] この選択は、当てはめ信頼性尺度（ＣＭ）を規定することによって行われ得る。このＣＭは、ダイス係数及びエッジ勾配尺度の、２つの基準の加重和と定義され得る。ダイス係数（ダイス）は、モデル及びターゲットボリュームに基づく。ターゲットボリュームは、当てはめられたモデルを精密に囲む関心領域（ＲＯＩ）内の画像を、閾値処理することによって規定される。この尺度は、メッシュがターゲットと最大に重なるときに最大となる。エッジ勾配尺度には、当てはめられたメッシュのすべてのポイントで、正規化された画像勾配の合計を計算することが含まれる。この尺度は、メッシュの境界が、画像の対象物の境界と最適に位置合わせされるときに最大となる。代替的又は追加的に、上記で説明されたように、制御機構の入力位置及び／若しくはＸ線画像に基づいて、適切なモデルが選択されてもよく、又はユーザが、開始ポイントとして、若しくは手技の際に間を置いて、モデル及びデバイスの位置／向きを手動で選択してもよい。
[0063] ＭＦを１つのフレームに当てはめるメカニズムが規定されると、画像データはまた、モデル追跡のためにも使用され得る。対象物の動きは、リアルタイムの超音波画像シーケンスのフレーム間で連続しているので、前のフレームからのモデル変換が、次のフレームの最初のモデルの姿勢として使用され得る。アルゴリズムには、モデルの開／閉もフレーム間で連続しているという知識を組み入れることもでき、したがって、ＭＦ全体をテストする必要はないが、前のフレームで見つけ出された最適なモデル、及びＭＦシーケンス内で「隣接する」モデルだけをテストする。この手法により、計算負荷が軽減され、アルゴリズムをリアルタイムに実行することがより実現可能となる。
[0064] 図１０に示されている例では、超音波画像１０１０ａはモデル８１０ａに対応するため、モデル８１０ａの輪郭が、グラフィカルインジケータ１０１２ａとして超音波画像上に重ね合わされる。画像１０１０ｃは、モデル８１０ｃを表すグラフィカルインジケータ１０１２ｃに対応し、グラフィカルインジケータ１０１２ｃが重ね合わされており、一方、画像１０１０ｄ及び１０１０ｅには、それぞれ、モデル８１０ｄ及び８１０ｅを表す、画像１０１０ｄ及び１０１０ｅの対応するグラフィカルインジケータ１０１２ｄ、１０１２ｅが重ね合わされている。超音波画像は粒子が粗く、ノイズが多く、低解像度で、画像化アーチファクトが発生しやすい可能性があるので、こうしてモデルを重ね合わせることにより、臨床医又は他のユーザは、様々な画質にわたる超音波画像内のエンドエフェクタの位置、向き、及び開／閉状態を一目で解釈することができる。いくつかの実施形態では、超音波画像１０１０及び超音波画像１０１０の対応するグラフィカルインジケータ１０１２は、グラフィカルユーザインタフェース又は画面表示として出力され、治療デバイスの展開状態を示すためにリアルタイムに更新される。いくつかの実施形態では、展開状態を示すために、ワイヤフレーム図、２次元図、数値インジケータ、テキストインジケータ、及び／又は他の任意の好適なタイプのグラフィカルインジケータなどの、他のタイプのグラフィカルインジケータ又は図が、画面表示に含まれ得る。いくつかの実施形態では、展開量又はパーセンテージ（例えば、角度、最大関節運動のうちの割合）が、画面表示上に示される。いくつかの実施形態では、画面表示は、数値インジケータなどの位置測定の信頼性の表現、又はグラフ１０２０と類似又は同一のグラフィック表現を含む。いくつかの実施形態では、画面表示上の、治療デバイスのグラフィカルインジケータ及び／又は別のインジケータは、使用されている画像の視野に対する治療デバイスの向きを示している。
[0065] 舵面の測定（図５）又はＸ線画像（図７参照）により、最も適切なモデルの選択及び重ね合わせが、大いに支援され、エンドエフェクタの開／閉状態がわかっている場合、その分計算負荷が、ある程度の信頼性の範囲内まで低減され得る。
[0066] 図１１は、本開示の少なくとも１つの実施形態による、経カテーテルデバイスのエンドエフェクタの状態及び姿勢を判断するために使用される、例示的な畳み込みニューラルネットワーク（ＣＮＮ）１１４０の概略図である。いくつかの実施形態では、デバイスの状態は、自然画像及び医用画像で観察される複雑なパターンをモデル化する、畳み込みニューラルネットワークの能力に基づいて導出され得る。このデータ駆動型の方法を使用して、３Ｄ画像データ１１３０から、且つ／又は画像の特徴を、従来の画像処理方法（上記のもののような）への入力である、１組の前兆パラメータ（ｐｒｅｃｕｒｓｏｒ ｐａｒａｍｅｔｅｒ）にまで変換することによって、デバイスの状態を直接導出することができる。例示的な手法は、ネットワーク１１４０が、大量のラベルづけされた画像データ１１１０で訓練され、エンドエフェクタの状態及び姿勢を回帰させるためのネットワーク層１１２０を生成する、教師あり学習のパラダイムを利用するものである。ラベルは、（ａ．）エンドエフェクタの状態、（ｂ．）エンドエフェクタの姿勢、及び（ｃ．）３Ｄボリュームデータ１１３０の超音波座標系内でのデバイスの場所を表す、厳密な事前情報であり得る。この手法を使用して、モデルを直接当てはめて、例えば、エンドエフェクタの姿勢、状態、及び位置を含むことができる、出力ベクトル１１５０を判断することができる。この方法は、利用可能な計算能力に応じて、上記で説明されたような、より従来型のアルゴリズムを補完するものとして、「オンデマンド」方式で実行される。ニューラルネットワーク１１４０は、当技術分野で知られているパラダイム（例えば、教師なし学習、強化学習など）だけでなく、アーキテクチャの意味での様々な形態（例えば、リカレントネットワーク）をとることができる。
[0067] いくつかの実施形態では、深層学習（ＤＬ）アルゴリズムは、３Ｄグリッドから開始して、デバイスが３Ｄボリューム１１３０内のどこにあるかについての、大まかな推定を見つける。ＤＬの入力としてＸ線画像を含めると、堅牢性が向上する。他の実施形態では、２Ｄ超音波プローブが、関心のあるボリュームを横切って掃引され、３Ｄ画像ボリューム１１３０を生成する。
[0068] 上記で説明されたように、ユーザフィードバックシステムに冗長性を与えることは、（ａ．）デバイスの状態を、特に組織と相互作用する場合に、繰り返し理解し、（ｂ．）この手技について、入口の障壁を低くして、学習曲線を縮め、且つ（ｃ．）経カテーテルＭＩＳ手技の信頼性及び治療効果を高めるのに有益である。
[0069] いくつかの実施形態では、エンドエフェクタ状態推定システム１００は、機械操作に基づくデバイスの状態と画像から導出された状態とを相互参照して、どちらの入力でも、入力の特定の信頼性評価基準を下回る場合に、高度の冗長性を実現することができる。現実的な場合のシナリオには、超音波画像における、劣悪な見た目のエンドエフェクタの画像、及びシャドウイング、ドロップアウト、又は組織を視覚化するために使用される過度なゲインばかりでなく、Ｘ線画像内における、起こり得るシャドウイング又はフォアショートニングにも起因する、エンドエフェクタの姿勢及び状態を判断することの、対応する困難さが含まれる可能性がある。特に、グリッパの視覚化は、弁尖を挿入及び掴むステップの際に有益である。これは問題となることが多く、エンドエフェクタ状態推定システム１００は、例えば、舵面の測定された状態に基づいて、この欠落した情報を提供することができる。エンドエフェクタ状態推定システム１００はまた、画像の特徴が乏しい場合に、最適化探索空間を減らすことができるので、画像ベースの方法の性能を高めることができる。
[0070] エンドエフェクタ状態推定システム１００は、従来の技法を使用する物理的且つ画像ベースのモジュールの出力の加重和として、又は機械学習（ＭＬ）回帰問題として、実施され得る。視覚化及びフィードバックは、例えば、その両方が、参照により全体が本明細書に組み入れられている、２０１８年１月１５日に出願された米国特許出願公開第２０１９／０３７１０１２号及び２０２０年６月２３日に出願された米国仮特許出願第６３／０４２，８０１号で説明されているように、現在存在する表示モジュールを使ってユーザに提示され得る。いくつかの実施形態では、エンドエフェクタ状態推定システム１００は、手技中の様々な時間に、エンドエフェクタの所望の状態を実現させるために、適切な舵面の動きについてユーザに推奨する（例えば、テキストの又はグラフィカルな指示）。
[0071] 図１２は、本開示の実施形態による、プロセッサ回路１２５０の概略図である。プロセッサ回路１２５０は、この方法を実施するために必要に応じて、超音波画像化システム１４０若しくは他のデバイス、ワークステーション（例えば、サードパーティのワークステーション、ネットワークルータなど）、又はクラウドプロセッサ若しくは他の遠隔処理ユニットで実施される。プロセッサ回路１２５０は、図示のように、プロセッサ１２６０、メモリ１２６４、及び通信モジュール１２６８を備える。これらの要素は、例えば１つ又は複数のバスを介して、互いに直接的又は間接的に通信する。
[0072] プロセッサ１２６０は、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、コントローラ、若しくは汎用コンピューティングデバイス、縮小命令セットコンピューティング（ＲＩＳＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）の任意の組合せ、又は機械式及び量子コンピュータを含む、他の関連する論理デバイスを含む。プロセッサ１２６０はまた、本明細書で説明された動作を実行するよう構成された、別のハードウェアデバイス、ファームウェアデバイス、又はこれらの任意の組合せを含む。プロセッサ１２６０はまた、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わされた１つ又は複数のマイクロプロセッサ、又は他の任意のかかる構成で実施される。
[0073] メモリ１２６４は、キャッシュメモリ（例えば、プロセッサ１２６０のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗性ＲＡＭ（ＭＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体メモリデバイス、ハードディスクドライブ、他の形態の揮発性メモリ及び不揮発性メモリ、又は様々なタイプのメモリの組合せを含む。一実施形態では、メモリ１２６４は、非一時的コンピュータ可読媒体を含む。メモリ１２６４は、命令１２６６を記億する。命令１２６６は、プロセッサ１２６０によって実行されると、プロセッサ１２６０に、本明細書で説明された動作を実行させる命令を含む。命令１２６６はまた、コードとも呼ばれる。「命令」及び「コード」という用語は、どんなタイプのコンピュータ可読の記述も含むように、広義に解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、関数、手順などを指す。「命令」及び「コード」は、ただ１つのコンピュータ可読の記述、又は多数のコンピュータ可読の記述を含む。プロセッサ回路１２５０の出力は、場合によっては、ディスプレイ１２７０上で目に見える。
[0074] 通信モジュール１２６８は、プロセッサ回路１２５０と他のプロセッサ又はデバイスとの間のデータの直接的又は間接的な通信を容易にするために、任意の電子回路及び／又は論理回路を備えることができる。その点で、通信モジュール１２６８は、入力／出力（Ｉ／Ｏ）デバイスであり得る。通信モジュール１２６８は、場合によっては、プロセッサ回路１２５０及び／又は超音波画像化システム１４０の様々な要素間の直接的又は間接的な通信を容易にする。通信モジュール１２６８は、多数の方法又はプロトコルによって、プロセッサ回路１２５０内で通信する。シリアル通信プロトコルは、ＵＳ ＳＰＩ、Ｉ２Ｃ、ＲＳ－２３２、ＲＳ－４８５、ＣＡＮ、イーサネット、ＡＲＩＮＣ４２９、ＭＯＤＢＵＳ、ＭＩＬ－ＳＴＤ－１５５３、又は他の任意の好適な方法又はプロトコルを含むが、これらに限定されるものではない。並列プロトコルは、ＩＳＡ、ＡＴＡ、ＳＣＳＩ、ＰＣＩ、ＩＥＥＥ－４８８、ＩＥＥＥ－１２８４、及び他の好適なプロトコルを含むが、これらに限定されるものではない。必要に応じて、シリアル通信とパラレル通信とは、ＵＡＲＴ、ＵＳＡＲＴ、又は他の任意の適切なサブシステムによってブリッジされる。
[0075] 外部通信（ソフトウェア更新、ファームウェア更新、プロセッサと中央サーバとの間の事前設定共有、又は超音波デバイスからの読取りを含むが、これらに限定されるものではない）は、ＵＳＢ、マイクロＵＳＢ、Ｌｉｇｈｔｎｉｎｇ、若しくはＦｉｒｅＷｉｒｅインタフェースなどのケーブルインタフェース、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、ＺｉｇＢｅｅ、Ｌｉ－Ｆｉ、又は２Ｇ／ＧＳＭ、３Ｇ／ＵＭＴＳ、４Ｇ／ＬＴＥ／ＷｉＭａｘ、若しくは５Ｇなどの移動体通信データ接続などの、任意の好適な無線又は有線通信技術を使用して達成される。例えば、データ送信及びソフトウェアパッチの受信用に、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）無線を使用して、クラウドサービスとの接続を確立することができる。コントローラは、遠隔サーバ、又はラップトップ、タブレット、若しくはハンドヘルドデバイスなどのローカルデバイスと通信するよう構成されるか、或いはステータス変数及び他の情報を表示することができる、ディスプレイを備える。情報はまた、ＵＳＢフラッシュドライブ又はメモリスティックなどの、物理媒体で転送されてもよい。
[0076] 本明細書の教示に精通した後に、当分野の技術者によって容易に理解されるように、エンドエフェクタ状態推定システムは、外科用デバイスの舵面、超音波画像化ボリューム、及び２ＤのＸ線画像からの情報を組み入れることができ、また、経カテーテル手術用デバイスのエンドエフェクタの場所、姿勢、及び状態に関する明確なリアルタイムのガイダンスを提供する、画像強調又は注釈を生成することができる。したがって、エンドエフェクタ状態推定システムは、画像集約型の、経カテーテル的な、最小侵襲性の外科的手技を実行するために使用される画像を解釈するのに必要な、スキル及び訓練の量を減らすことによって、当技術分野における長年のニーズを満たすことが分かる。出力は、僧帽弁の弁尖修復などのＭＩＳ手技の際に、超音波及びＸ線画像上への、ガイダンスの重ね合わせ及び関連する視覚化の形をとることができる。いくつかの実施形態では、システムは、制御ユニットに供給する電気機械センサを備えたデバイスの物理的修正形態、並びに／又は空間追跡システム及び機械式マニピュレータ上の対応する基準の存在を含む。システムは、上記のように、埋込型デバイス又はエンドエフェクタの正確な状態を、確実に且つ繰り返し導出するために使用され得る。
[0077] 上記の例及び実施形態について、いくつかの変形が可能である。例えば、システムは、画面上のレンダリングをベースとする高度な視覚化を使用し、拡張現実（ＡＲ）及び仮想現実（ＶＲ）技法によって、３Ｄ仮想空間をレンダリングする。システムを利用して、エンドエフェクタの状態に基づく、超音波又はＸ線画像化システムに必要な組織特有の画像化の事前設定を、検出及び／又はトリガすることができる。システムを利用して、超音波及びＸ線画像化プラットフォーム上で、ナビゲーション体験を向上させる、新しいデバイス特有の画像化の事前設定を作成することもできる。エンドエフェクタ状態推定システムは、３Ｄ超音波ボリュームではなく２Ｄ超音波画像に基づいて、又は２Ｄ Ｘ線画像データではなく３Ｄに基づいて、計算を実行してもよい。上記に列挙されたものの代わりに、又は列挙されたものに加えて、心腔内心エコー法（ＩＣＥ）、経胸壁超音波、血管内超音波（ＩＶＵＳ）などを含むがこれらに限定されるものではない、他の画像化モダリティが使用されてもよい。
[0078] したがって、本明細書で説明された技術の実施形態を構成する論理的動作は、動作、ステップ、オブジェクト、要素、構成要素、又はモジュールと、様々に呼ばれる。さらに、論理的動作は、特許請求の範囲に明示的に別段の記載がない限り、又は請求項の言語によって特定の順序が本質的に必要とされていない限り、任意の順序で行われるか、配置されるか、又は実行されてもよいことを理解されたい。
[0079] 説明された技術は、獣医の手技を含む他のタイプの医療手技で使用されてもよく、さらに、経カテーテルエンドエフェクタが使用され、且つ手技を実行するために、エンドエフェクタの状態の詳細なリアルタイムの知識が必要な、非医療手技で使用されてもよいことを、さらに理解されたい。
[0080] すべての方向についての言及、例えば、上側の、下側の、内側の、外側の、上向きの、下向きの、左側の、右側の、横の、前の、後ろの、上の、下の、より上に、より下に、垂直の、水平の、時計回りの、反時計回りの、近位の、及び遠位の、は、特許請求の範囲に記載された主題への読者の理解を助けるため、識別する目的にのみ使用され、特にエンドエフェクタ状態推定システムの位置、向き、又は使用法に関する制限を生むものではない。接続についての言及、例えば、取り付けられる、結合される、接続される、及び接合される、は、広義に解釈されるべきであり、別段の指示が無い限り、要素の集まりと要素間の相対移動部との間の中間部材を含む。したがって、接続についての言及は、２つの要素が直接接続され、互いに固定された関係にあることを必ずしも示唆するものではない。「又は」という用語は、「排他的論理和」ではなく「及び／又は」を意味すると解釈されるものとする。「備える」という単語は、他の要素又はステップを排除するものではなく、また単数形は、複数を除外するものではない。特許請求の範囲に別段の注記がない限り、記載された値は、単なる例示であると解釈されるものとし、限定的であるとは理解されないものとする。
[0081] 上記の明細書、例、及びデータは、特許請求の範囲で定義されるエンドエフェクタ状態推定システムの、例示的な実施形態の構造及び使用法の、完全な説明を提供する。特許請求の範囲に記載された主題の様々な実施形態は、ある程度の特殊性を含んで、又は１つ又は複数の個別の実施形態を参照して、上記で説明されてきたが、当業者は、特許請求の範囲に記載された主題の精神又は範囲から逸脱することなく、開示された実施形態に多数の変更を加えることができる。
[0082] さらに他の実施形態が企図される。上記の説明に含まれ、且つ添付図面に示されているすべての事項が、個々の実施形態の単なる例示にすぎず、制限しないと解釈されるものとすることが、意図されている。詳細又は構造の変更は、以下の特許請求の範囲で定義される主題の基本要素から逸脱することなく行われる。

Claims (20)

  1. 患者の体腔内に配置された可撓性の細長い部材の遠位部分に結合された、治療デバイスの展開状態を判断するシステムであって、前記システムが、
    前記治療デバイスの前記展開状態に関係する少なくとも１つのパラメータを測定する、少なくとも１つのセンサと、
    プロセッサと
    を備え、前記プロセッサが、
    画像化システムによって取得される画像データであって、前記患者の前記体腔内に配置された前記治療デバイスを表す、画像データ、及び
    前記少なくとも１つのパラメータ
    を受信し、
    前記画像データ及び前記少なくとも１つのパラメータに基づいて、前記治療デバイスの前記展開状態を判断し、且つ
    前記プロセッサと通信するディスプレイに、前記治療デバイスの前記展開状態のグラフィック表現を出力する、
    システム。
  2. 前記プロセッサが、
    前記画像データに基づいて生成された、前記患者の前記体腔の画像と、
    前記体腔の前記画像上に重ね合わされた、前記治療デバイスの前記展開状態の前記グラフィック表現と
    を含む画面表示を前記ディスプレイに出力する、請求項１に記載のシステム。
  3. 前記治療デバイスの前記展開状態の前記グラフィック表現が、前記治療デバイスの３次元モデルの視覚化を含む、請求項２に記載のシステム。
  4. 前記少なくとも１つのパラメータが、前記治療デバイスの制御機構の位置又は角度のうちの少なくとも一方を含む、請求項１に記載のシステム。
  5. 前記システムが、経カテーテル送達デバイスを備え、前記経カテーテル送達デバイスが、可撓性の細長い前記部材を備え、前記少なくとも１つのパラメータが、前記経カテーテル送達デバイスの位置又は角度のうちの少なくとも一方を含む、請求項１に記載のシステム。
  6. 前記少なくとも１つのセンサが、前記経カテーテル送達デバイスの機械式制御機構に結合された符号化器を含む、請求項５に記載のシステム。
  7. 前記少なくとも１つのセンサが、前記治療デバイス上に配置された磁気シードの位置測定値を取得することによって前記少なくとも１つのパラメータを測定する磁気センサを含む、請求項５に記載のシステム。
  8. 前記画像化システムが、超音波画像化システムを含む、請求項１に記載のシステム。
  9. 前記画像化システムが、Ｘ線画像化システムを含む、請求項１に記載のシステム。
  10. 前記プロセッサが、画像認識を使用して、前記画像データに基づいて生成された画像を前記治療デバイスのモデルと照合することにより、前記治療デバイスの前記展開状態を判断する、請求項１に記載のシステム。
  11. 前記少なくとも１つのパラメータが、展開の測定値を含み、前記プロセッサが、
    照合された前記モデルの信頼性レベルを判断し、且つ
    前記信頼性レベルが閾値を下回ったときに、前記展開の測定値に基づいて、前記展開状態を判断する、
    請求項１０に記載のシステム。
  12. 患者の体腔内に配置された可撓性の細長い部材の遠位部分に結合された、治療デバイスの展開状態を判断する方法であって、前記方法は、
    センサが、前記治療デバイスの前記展開状態に関係する少なくとも１つのパラメータを測定するステップと、
    画像化システムが、前記治療デバイスを含む画像を取得するステップと、
    プロセッサが、 前記画像及び前記少なくとも１つのパラメータに基づいて、前記治療デバイスの前記展開状態を判断するステップと、
    前記プロセッサが、前記プロセッサと通信するディスプレイに、前記治療デバイスの前記展開状態のグラフィック表現を出力するステップと
    を有する、方法。
  13. 前記方法が、前記ディスプレイに、
    前記画像のうちの少なくとも１つと、
    前記少なくとも１つの画像上に重ね合わされた、前記治療デバイスの前記展開状態の前記グラフィック表現と
    を含む画面表示を出力するステップを有する、請求項１２に記載の方法。
  14. 前記少なくとも１つのパラメータが、可撓性の細長い前記部材の制御機構の位置又は角度を含む、請求項１２に記載の方法。
  15. 前記少なくとも１つのパラメータが、前記治療デバイスの位置又は角度を含む、請求項１２に記載の方法。
  16. 前記画像化システムが、超音波画像化システムを含む、請求項１２に記載の方法。
  17. 前記画像化システムが、Ｘ線画像化システムを含む、請求項１２に記載の方法。
  18. 前記センサが、磁気センサを含み、前記少なくとも１つのパラメータを測定するステップが、前記治療デバイス上に配置された磁気シードの位置測定値を取得するステップを有する、請求項１２に記載の方法。
  19. 前記治療デバイスの前記展開状態を判断するために、前記センサ及び前記画像化システムからの情報を組み合わせるステップが、前記画像化システムからの画像を、前記治療デバイスのモデルと照合するために、画像認識を使用するステップを有する、請求項１２に記載の方法。
  20. 治療デバイスの展開状態を判断するシステムであって、前記システムが、
    カテーテル、及び
    前記カテーテルの遠位部分に結合された僧帽弁クリップ
    を備える、僧帽弁クリップ配置デバイスと、
    患者の体腔内に配置された前記僧帽弁クリップの超音波画像を取得する、超音波画像化デバイスと、
    前記患者の前記体腔内に配置された前記僧帽弁クリップのＸ線画像を取得する、Ｘ線画像化デバイスと、
    前記僧帽弁クリップ配置デバイスに結合され、前記僧帽弁クリップの前記展開状態に関係するパラメータを示すセンサ信号を供給する、センサと、
    前記パラメータ及び前記Ｘ線画像に基づいて、前記僧帽弁クリップの前記展開状態を判断し、且つ
    前記プロセッサと通信するディスプレイへ、
    前記超音波画像のうちの少なくとも１つ、及び
    前記治療デバイスの前記展開状態のグラフィック表現
    を出力する
    プロセッサと
    を備える、システム。
JP2022549258A 2020-02-18 2021-02-12 体内治療デバイスの展開状態を視覚化する医用画像化システム、デバイス、及び方法 Pending JP2023513383A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP20290015.5 2020-02-18
EP20290015 2020-02-18
US202063085162P 2020-09-30 2020-09-30
US63/085,162 2020-09-30
PCT/EP2021/053459 WO2021165152A1 (en) 2020-02-18 2021-02-12 Medical imaging systems, devices, and methods for visualizing a deployment state of an intracorporeal therapeutic device

Publications (2)

Publication Number Publication Date
JP2023513383A true JP2023513383A (ja) 2023-03-30
JPWO2021165152A5 JPWO2021165152A5 (ja) 2024-02-20

Family

ID=74661369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549258A Pending JP2023513383A (ja) 2020-02-18 2021-02-12 体内治療デバイスの展開状態を視覚化する医用画像化システム、デバイス、及び方法

Country Status (5)

Country Link
US (1) US20230074481A1 (ja)
EP (1) EP4107751A1 (ja)
JP (1) JP2023513383A (ja)
CN (1) CN115136254A (ja)
WO (1) WO2021165152A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
IL188569A (en) * 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US9855103B2 (en) * 2012-08-27 2018-01-02 University Of Houston System Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery
WO2018134140A1 (en) 2017-01-17 2018-07-26 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
JP7227168B2 (ja) * 2017-06-19 2023-02-21 モハメド・アール・マーフーズ 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション
WO2019175141A1 (en) * 2018-03-12 2019-09-19 Koninklijke Philips N.V. Ultrasound imaging plane alignment guidance for neural networks and associated devices, systems, and methods

Also Published As

Publication number Publication date
CN115136254A (zh) 2022-09-30
US20230074481A1 (en) 2023-03-09
EP4107751A1 (en) 2022-12-28
WO2021165152A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP7515495B2 (ja) 機械学習モデルのための訓練データ収集
US10765481B2 (en) Anatomical model generation
EP2121099B1 (en) System and method for local deformable registration of a catheter navigation system to image data or a model
JP6316572B2 (ja) 体内プローブ追跡システムにおける患者の動きの補正
JP7304873B2 (ja) ニューラルネットワークの訓練のための超音波撮像データセットの取得及び関連するデバイス、システム、及び方法
EP3716879A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
JP2018171445A (ja) 二次元画像／写真を心臓の心外膜図のような３ｄ再構成上に投影する方法
KR102716941B1 (ko) 이미지-기반 프로브 포지셔닝
JP7157074B2 (ja) 医療機器、特に心臓カテーテルのためのナビゲーション・プラットフォーム
JP2022510112A (ja) 磁気およびインピーダンスセンサに基づいた医療用デバイス局在化の方法
CN111403017B (zh) 医学辅助设备、系统、和用于确定对象的变形的方法
JP2023513383A (ja) 体内治療デバイスの展開状態を視覚化する医用画像化システム、デバイス、及び方法
US20230009891A1 (en) Augmented Imaging For Valve Repair
JP2023031301A (ja) 心房の解剖学的に正確な再構成
Hashemi 3D Shape Estimation Of Tendon-Driven Catheters Using Ultrasound Imaging
Housden et al. X-ray fluoroscopy–echocardiography

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240209