JP2024515068A - 介入装置のナビゲート - Google Patents

介入装置のナビゲート Download PDF

Info

Publication number
JP2024515068A
JP2024515068A JP2023562168A JP2023562168A JP2024515068A JP 2024515068 A JP2024515068 A JP 2024515068A JP 2023562168 A JP2023562168 A JP 2023562168A JP 2023562168 A JP2023562168 A JP 2023562168A JP 2024515068 A JP2024515068 A JP 2024515068A
Authority
JP
Japan
Prior art keywords
interventional device
neural network
time steps
future
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023562168A
Other languages
English (en)
Inventor
アシシ サットヤヴラット パンセ
グジェゴシ アンジェイ トポレック
モリー ララ フレックスマン
アユシ シンハ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2024515068A publication Critical patent/JP2024515068A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供するコンピュータ実装方法は、１つ又は複数の時間ステップｔ1..nにおける介入装置１２０の形状を表す介入装置形状データ１１０を受信するステップＳ１１０であって、時間ステップが少なくとも現在の時間ステップｔnを含む、ステップと、介入装置形状データ１１０から、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の未来位置１４０、及び１つ又は複数の未来位置に対する対応する信頼度推定値１５０を予測するようにトレーニングされたニューラルネットワーク１３０に、介入装置形状データ１１０を入力するステップＳ１２０とを含む。

Description

本開示は、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供することに関する。コンピュータ実装方法、コンピュータプログラム製品、及びシステムが、開示される。
低侵襲介入処置は、典型的には外部撮像モダリティのガイダンス下で、解剖学的構造内で介入装置をナビゲートすることを伴う。例えば、ガイドワイヤ及びカテーテルなどの介入装置は、外部Ｘ線、超音波、又は磁気共鳴撮像「ＭＲＩ」撮像モダリティからの撮像ガイダンスの下で、血管系を通してナビゲートされることが多い。そのような撮像システムは、介入装置、及びある程度、周囲の解剖学的構造を視覚化する能力を提供する。しかしながら、解剖学的構造内の介入装置のナビゲーションは、困難なままである。ガイドワイヤ及びカテーテルなどの介入装置は、多くの場合、長くかつ可撓性であり、典型的には、介入装置の近位端の操作と、結果として得られる、解剖学的構造内の介入装置の遠位端の動きとの間に一対一の対応が存在しない。例えば、分岐部をカニューレ処置するために血管系内でガイドワイヤをナビゲートするとき、医師は、典型的には、遠位端で所望の動きをもたらすためにガイドワイヤをねじり、それを前後に動かすことによって、ガイドワイヤの近位端を操作する。医師は、ガイドワイヤの遠位端を分岐部の所望の枝にガイドするために、ライブＸ線画像でガイドワイヤの遠位端を見ながら、これらの操作を複数回繰り返してもよい。
いくつかの例では、介入装置の近位端は、医師が介入装置の遠位端を直接的に取り扱うことによって手動で操作される。他の例では、医師は、介入装置の近位端との機械的インターフェースを提供するロボットコントローラを手動で制御する。さらに他の例では、ロボットコントローラが、介入装置の近位端を自動的に操作する。解剖学的構造内で介入装置の遠位端を並進及び／又は回転させるためにガイドワイヤの近位端を把持するローラ及び／又はフィンガを使用するロボットコントローラが、この目的のために知られている。
しかしながら、解剖学的構造内の介入装置のナビゲーションにおける改善の必要性が残っている。
本開示の一態様によれば、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供するコンピュータ実装方法が、提供される。本方法は、
１つ又は複数の時間ステップにおいて介入装置の形状を表す介入装置形状データを受信するステップであって、時間ステップは、少なくとも現在の時間ステップを含む、ステップと、
介入装置形状データから、１つ又は複数の未来の時間ステップにおける介入装置の１つ又は複数の部分の未来の位置と、１つ又は複数の未来の位置の対応する信頼度推定値とを予測するようにトレーニングされたニューラルネットワークに介入装置形状データを入力するステップと、
介入装置の各部分の予測された１つ又は複数の未来の位置と、予測された１つ又は複数の未来の位置の対応する予測された信頼度推定値とを表示するステップと、
を含む。
本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる例の以下の説明から明らかになるであろう。
腹部動脈血管系を表す処置前ＣＴＡ画像の一例を示す。 血管系の一部分の処置中ＤＳＡ画像の一例を示し、光陰影領域として強調表示されたガイドワイヤ１２０を含む。 本開示のいくつかの態様による、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供する方法の一例を示す。 本開示のいくつかの態様による、介入装置の１つ又は複数の部分の未来の位置を予測するためのニューラルネットワーク１３０の一例を示す。 ＬＳＴＭセルの一例を示す概略図である。 本開示のいくつかの態様による、介入装置の１つ又は複数の部分の未来の位置を予測するためにニューラルネットワークをトレーニングする方法の一例を示す。 本開示のいくつかの態様による、介入装置１２０の部分の予測された未来の位置１４０ａ、１４０ｂ、１４０ｃと、予測された未来の位置に対する対応する予測信頼度推定値１５０とを含む現在のＸ線画像１６０の一例を示す。 本発明のいくつかの態様による、入力された介入装置形状データ１１０を表す平均μ及び分散σ2を有する潜在変数のベクトルを生成するニューラルネットワーク１３０の一例を示す。 本開示のいくつかの態様による、介入装置の１つ又は複数の部分の予測される未来の位置と、潜在変数の平均値及び標準偏差値のトラック１７０との間の差を低減するために必要とされる介入装置の１つ又は複数の必要な操作を予測するようにトレーニングされたニューラルネットワーク１３０の一例を示す。 本開示のいくつかの態様による、図９に示されるトレーニングされたニューラルネットワークを使用して、介入装置の予測される１つ又は複数の必要な操作を表示する例を示す。 本開示のいくつかの態様による、図９に示されるトレーニングされたニューラルネットワークを使用して、介入装置の予測される１つ又は複数の必要な操作を表示する例を示す。 非エキスパートユーザのための入力された介入装置形状データから、エキスパートユーザのための介入装置形状トレーニングデータに最も近くマッチする介入装置の１つ又は複数の部分の予測される未来の位置を決定するように構成されたニューラルネットワーク１３０の一例を示す。 本開示のいくつかの態様による、図１１に示されるトレーニングされたニューラルネットワークを用いた推論の実行の一例を示す。 本開示のいくつかの態様による、介入装置の部分の位置を予測するためのシステム２００を示す概略図である。
本開示の例は、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、特定の例の多くの具体的な詳細が、説明される。本明細書において、「例」、「実施態様」、又は同様の言語への言及は、例に関連して説明される特徴、構造、又は特性が少なくともその１つの例に含まれることを意味する。また、１つの例に関連して説明された特徴は、別の例においても使用され得、すべての特徴が、簡潔さのために各例において必ずしも繰り返されないことを理解されたい。例えば、コンピュータ実装方法に関連して説明される特徴は、対応する形で、コンピュータプログラム製品において、及びシステムにおいて実装され得る。
以下の説明では、解剖学的構造内で介入装置をナビゲートすることに関するコンピュータ実装方法が、参照される。介入装置が血管系内でナビゲートされる例が、参照される。この点に関して、本方法は、血管系の静脈、動脈、又は心臓領域内で介入装置をナビゲートするために使用され得ることを理解されたい。ガイドワイヤの形態の介入装置が血管系内でナビゲートされる例が、参照される。しかしながら、これらの例は、純粋に例示的なものであり、本方法は、カテーテル、血管内超音波「ＩＶＵＳ」及び光干渉断層撮影「ＯＣＴ」撮像カテーテルを含む血管内撮像カテーテル、経食道心エコー「ＴＥＥ」撮像プローブ、血管内血圧検知装置、血管内血流量センサ装置などを含む、血管系内の他のタイプの介入装置をナビゲートするために使用され得ることを理解されたい。
しかしながら、本明細書に開示される方法は、同様の形で、解剖学的構造内の他の管腔内の介入装置をナビゲートするために使用され得ることも理解されたい。例えば、本方法は、消化管、気道、尿路などの中の介入装置をナビゲートするために使用され得る。
本明細書では、介入装置が介入装置の近位端を手で操作することによってナビゲートされる例も、参照される。しかしながら、本明細書に開示される方法は、介入装置の近位端が手動で又はロボットコントローラによって自動的に操作されるときに、介入装置のナビゲーションをガイドするために同様の形で使用され得ることも理解されたい。
本明細書で開示されるコンピュータ実装方法は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに本方法を実行させる、コンピュータ可読命令を記憶する非一時的コンピュータ可読記憶媒体として提供され得ることに留意されたい。言い換えれば、コンピュータ実装方法は、コンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、専用ハードウェア、又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供されることができる。プロセッサによって提供されるとき、方法の特徴の機能は、単一の専用プロセッサによって、又は単一の共用プロセッサによって、又はそのうちのいくつかが共有されることができる複数の個々のプロセッサによって提供されることができる。「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「ＤＳＰ」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ＲＯＭ」、ランダムアクセスメモリ「ＲＡＭ」、不揮発性記憶装置などを暗黙的に含むことができるが、これらに限定されない。更に、本開示の例は、コンピュータ使用可能記憶媒体、又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ又は任意の命令実行システムによって、又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって、又はそれに関連して使用するためのプログラムを有する、記憶する、通信する、伝播する、又は移送することができる任意の装置であることができる。媒体は、電子、磁気、光学、電磁、赤外、又は半導体システム又は装置又は伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「ＲＡＭ」、読取専用メモリ「ＲＯＭ」、剛体磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読取専用メモリ「ＣＤ-ＲＯＭ」、コンパクトディスク読取／書込「ＣＤ-Ｒ／Ｗ」、Ｂｌｕ-Ｒａｙ（登録商標）、及びＤＶＤを含む。
上述のように、解剖学的構造内の介入装置の操作は、困難である可能性がある。これは、ガイドワイヤ及びカテーテルなどの介入装置が、多くの場合、長くかつ可撓性であり、典型的には、介入装置の近位端の操作と、結果として生じる、解剖学的構造内の介入装置の遠位端の動きとの間に一対一の対応が存在しないためである。
一例として、血管内処置は、多くの場合、心血管系内の特定場所への介入装置のナビゲーションを必要とする。ナビゲーションは、アクセスポイント、例えば、大腿部、上腕部、橈骨部、頸部、足などの領域で開始し、医師は、血管木を介して介入装置を所望の位置までナビゲートする。血管の解剖学的構造は、非常に複雑であり、対象の処置前画像が、しばしば、解剖学的構造内で介入装置を後でガイドする際に医師によって使用するために生成される。コンピュータトモグラフィ血管造影「ＣＴＡ」画像、又は磁気共鳴血管造影「ＭＲＡ」画像は、この目的のためにしばしば生成される。
一例として、図１は、腹部動脈血管系を表す処置前ＣＴＡ画像の一例を示す。図１に示されるＣＴ血管造影画像は、造影剤の注入後に患者に対してＣＴ撮像を実行することによって得られる。造影剤は、血管内管腔及びその中の血液のＸ線減衰係数と水のＸ線減衰係数との類似性のために、ＣＴ画像では不可視であろう、血管系内の管腔を強調する。
介入装置の挿入中、外部、すなわち体外撮像システムからの処置中画像は、典型的には解剖学的構造内で介入装置をナビゲートするために使用される。処置中画像は、この目的のために、Ｘ線撮像システム、又はＭＲＩ撮像システム、もしくは超音波撮像システムなどの別の外部撮像システムによって生成されてもよい。Ｘ線撮像システムの例では、造影剤が、血管系を視覚化するために再び使用されてもよい。場合によっては、デジタルサブトラクション血管造影「ＤＳＡ」画像が、そわなければ血管系の視覚化を混乱させ得る骨などの背景画像特徴を除去することによって、視覚化を改善するために生成されてもよい。ＤＳＡ画像は、造影剤が注入された後に生成される血管系のＸ線画像から、血管系への造影剤の注入の前に生成される血管系のＸ線画像のＸ線画像強度値を減算することによって生成される。
一例として、図２は、血管系の一部分の処置中ＤＳＡ画像の一例を示し、光陰影領域として強調表示されたガイドワイヤ１２０を含む。血管系内でガイドワイヤをナビゲートするとき、医師は、典型的には造影剤のパルスを注入する一方で、図２に示されるようなライブＤＳＡ画像が成される。これは、医師がガイドワイヤの近位端の操作から生じる、ガイドワイヤの遠位端に対する効果を直ちに見ることを可能にする。しかしながら、ガイドワイヤの近位端の操作と、その結果として生じるガイドワイヤの遠位端の動きとの間に一対一の対応が、存在しないので、医師は、しばしば、遠位端において所望の動きをもたらすために、ガイドワイヤをねじり、それを前後に動かすことによって、ガイドワイヤの近位端を操作しなければならない。
本発明者らは、上記の例で説明されたようなガイドワイヤなどの介入装置を解剖学的構造内でナビゲートするためのナビゲーションガイダンスを提供する改善された方法を決定した。図３は、本開示のいくつかの態様による、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供する方法の一例を示す。図３を参照すると、本方法は、
１つ又は複数の時間ステップｔ1..nで介入装置１２０の形状を表す介入装置形状データ１１０を受信するステップＳ１１０であって、時間ステップは、少なくとも現在の時間ステップｔnを含む、ステップと、
介入装置形状データ１１０から、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の未来の位置１４０と、１つ又は複数の未来の位置１４０に対する対応する信頼度推定値１５０とを予測するようにトレーニングされたニューラルネットワーク１３０に、介入装置形状データ１１０を入力するステップＳ１２０と、
介入装置１２０の各部分の予測された１つ又は複数の未来の位置１４０と、予測された１つ又は複数の未来の位置１４０に対する対応する予測された信頼度推定値１５０とを表示するステップＳ１３０と、
を含む。
介入装置形状データ１１０は、データベース、撮像システム、コンピュータ可読記憶媒体、クラウドなどを含む、様々なソースから受信され得る。データは、有線又は無線データ通信などの任意の形態のデータ通信を使用して受信されてもよく、インターネット、イーサネットを介して、又はＵＳＢメモリ装置、光ディスク又は磁気ディスクなどの可搬型コンピュータ可読記憶媒体を用いてデータを転送することによって受信されてもよい。
介入装置形状データ１１０は、様々な撮像システムによって、又は代替的に位置決定システムによって生成されてもよい。データは、介入装置の二次元又は三次元形状を表してもよい。例えば、介入装置形状データ１１０は、介入装置１２０を含むＸ線画像の時間シーケンス、例えば、３Ｄ形状情報を提供する較正されたバイプレーンＸ線画像、又は介入装置１２０を含むコンピュータトモグラフィ画像の時間シーケンス、又は介入装置１２０を含む超音波画像の時間シーケンス、又は介入装置１２０を含む磁気共鳴画像の時間シーケンス、又は介入装置１２０に機械的に結合された複数の電磁追跡センサもしくはエミッタによって提供される位置の時間シーケンス、又は介入装置１２０に機械的に結合された複数の誘電センサによって提供される位置の時間シーケンス、又は介入装置１２０に機械的に結合された複数の超音波追跡センサもしくはエミッタによって提供される位置の時間シーケンスを含んでもよい。介入装置形状データ１１０は、これらのデータタイプのうちの１つ又は複数の組み合わせを含んでもよい。
介入装置形状データ１１０が、撮像システムによって生成されるとき、種々の既知のセグメンテーション技法は、上述の画像の時間シーケンスから介入装置の形状を抽出するのに使用されてもよい。例えば、Honnorat, N.、他による文献、"Robust guidewire segmentation through boosting, clustering and linear programming", 2010 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Rotterdam, 2010, pp. 924-927に開示されるようなセグメンテーション技法が、例えば使用されてもよい。介入装置の部分は、例えば、画像内の介入装置上の１つ又は複数の画素のグループを規定することによって、画像内で識別され得る。これらの部分は、介入装置の長さに沿って、任意に、又は一定の間隔で、規定され得る。その際、介入装置の各部分の位置は、各時間ステップｔ1．．ｔnに提供されてもよい。
介入装置形状データ１１０が、電磁追跡センサ又はエミッタによって生成される場合、国際公開第２０１５／１６５７３６号パンフレットに開示されているような電磁追跡センサ又はエミッタが、各時間ステップｔ1．．ｔnに、各センサ又はエミッタの位置を提供するために使用されてもよい。介入装置形状データ１１０が、光ファイバ形状センサによって生成される場合、文献ＷＯ２００７／１０９７７８Ａ１に開示されているような光ファイバ形状センサが、使用されてもよい。介入装置形状データ１１０が、誘電体センサによって生成される場合、文献ＵＳ２０１９／２５４５６４Ａ１に開示されているような誘電体センサが、使用されてもよい。介入装置形状データ１１０が、超音波追跡センサ又はエミッタによって生成される場合、文献ＷＯ２０２０／０３０５５７Ａ１に開示されているような超音波追跡センサ又はエミッタが、使用されてもよい。
様々なニューラルネットワークアーキテクチャが、図３を参照して上述したニューラルネットワーク１３０を提供するために使用されてもよい。図４は、本開示のいくつかの態様による、介入装置の１つ又は複数の部分の未来の位置を予測するためのニューラルネットワーク１３０の一例を示す。図４に示されるニューラルネットワーク１３０は、ＬＳＴＭアーキテクチャを有し、図４の左側に向かう長短期メモリ「ＬＳＴＭ」セルの第１の層と、プーリング層と、図４の右側に向かうＬＳＴＭセルの第２の層とを含む。
介入装置形状データ１１０は、図３を参照して上述した動作Ｓ１２０に従って、図４のＬＳＴＭセルの第１の層に入力される。介入装置形状データ１１０は、現在の時間ステップｔnを含む、ｎ個の時間ステップのそれぞれにおいて、介入装置上のｉ個の点の位置Ｐi（ｘ，ｙ、ｚ）の形式で入力される。すなわち、介入装置形状データ１１０は、時間ステップｔ 1．．ｔ nに対して入力される。入力された位置Ｐi（ｘ，ｙ、ｚ）は、介入装置の部分の３次元位置を表す。代替的に、入力された位置は、上述のように、介入装置の部分の２次元位置を表してもよい。位置は、入力された画像から、又は介入装置１２０に結合されたセンサ及び／又は受信器の位置から決定されてもよい。第１の層内の各ＬＳＴＭセルは、介入装置上の異なる部分又は点に対する位置データを入力される。
図４のＬＳＴＭセルの第１の層におけるＬＳＴＭセルは、介入装置上のそれらのそれぞれの点の予測される未来の位置に関する隠れ状態を生成する。隠れ状態は、プーリング層によって介入装置上の隣接する点に対して共有され、未来の位置の予測を生成するＬＳＴＭセルの第２の層に入力される。
図４のプーリング層は、隣接するＬＳＴＭセル間の隠れ状態における情報の共有を可能にする。これは、予測される装置上の部分の動きに対する装置上の隣接部分の影響を捕捉する。これは、介入装置上の隣接部分についての位置情報、したがって介入装置形状の連続性を保存するので、予測の精度を改善する。近傍の範囲、すなわち、隣接部分の数、及び隣接部分の位置が介入装置の部分の未来の位置を予測するのに使用される範囲は、介入装置全体に対する直接の近隣部分の間の範囲であり得る。近傍の範囲は、装置の可撓性にも依存し得る。例えば、剛性の装置は、比較的大きい近傍を使用し得るのに対し、可撓性の装置は、比較的小さい近傍を使用し得る。図示されたプーリング層の代替案は、装置の連続性を破る、又は所定の値を超える介入装置の曲率を予測する、予測位置を除去することによって、ニューラルネットワークの出力に制約を適用することを含む。
図４のニューラルネットワーク１３０によって生成される出力データは、ｋ個の未来の時間ステップ、すなわち時間ステップｔn+1．．ｔn+kのそれぞれにおける介入装置上のｉ個の点の予測された位置である。
図４の各ＬＳＴＭセルの動作が、ＬＳＴＭセルの一例を示す概略図である図５を参照して以下に説明される。図５を参照すると、ＬＳＴＭセルは、ｈt-1、ｃt-1及びｘtの３つの入力と、ｈt及びｃtの２つの出力とを含む。シグマ及びｔａｎｈラベルは、それぞれ、シグモイド及びｔａｎｈ活性化関数を表し、「×」及び「+」記号は、それぞれ、点ごとの乗算及び点ごとの加算演算を表す。時間ｔにおいて、出力ｈtは、隠れ状態を表し、出力ｃtは、セル状態を表し、入力ｘtは、現在のデータ入力を表す。図５の左から右へ移動すると、第１のシグモイド活性化関数は、忘却ゲートを提供する。その入力、すなわち、ht-1及びｘtは、それぞれ、前のセルの隠れ状態を表し、現在のデータ入力は、連結され、シグモイド活性化関数を通される。シグモイド活性化関数の出力は、次に、前のセル状態ｃ t-1と乗算される。忘却ゲートは、現在のセル状態ｃtに含まれる前のセルからの情報の量を制御する。その寄与は、「+」記号によって表される点ごとの加算を介して含まれる。図５ の右側に移動すると、入力ゲートは、セル状態ｃ tの更新を制御する。前のセルの隠れ状態ｈt-1と、現在のデータ入力ｘtとは、連結され、シグモイド活性化関数を通され、さらにｔａｎｈ活性化関数を通される。これらの関数の出力の点ごとの乗算は、「+」記号によって表される点ごとの加算を介してセル状態に加算される情報の量を決定する。点ごとの乗算の結果は、前のセル状態ｃt-1で乗算された忘却ゲートの出力に加算され、現在のセル状態ｃtを提供する。図５の右側に移動すると、出力ゲートは、次の隠れ状態ｈ tが何であるべきかを決定する。隠れ状態は、以前の入力に関する情報を含み、予測のために使用される。次の隠れ状態、ｈtを決定するために、前のセルの隠れ状態ｈt-1、及び現在のデータ入力ｘtが、連結され、シグモイド活性化関数を通される。新しいセル状態ｃtは、ｔａｎｈ活性化関数を通される。次に、ｔａｎｈ活性化関数及びシグモイドの活性化関数の出力は、乗算され、次の隠れ状態ｈtにおける情報を決定する。
したがって、一例では、図３を参照して説明された方法で使用されるニューラルネットワーク１３０は、複数のＬＳＴＭセルを有するＬＳＴＭアーキテクチャを含み、各ＬＳＴＭセルは、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の別の部分Ｐ1．．Ｐiの未来の位置１４０を予測するように構成された出力を有する。 各ＬＳＴＭセルに対して、セルは、現在の時間ステップｔnに対する入力された介入装置形状データ１１０と、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の隣接部分の予測された未来の位置とに基づいて、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の部分の未来の位置１４０を予測するように構成される。
図４に示されるニューラルネットワーク１３０は、介入装置形状トレーニングデータ及びグランドトゥルース位置データを使用して未来の位置１４０を予測するようにトレーニングされ得る。
図６は、本開示のいくつかの態様による、介入装置の１つ又は複数の部分の未来の位置を予測するためにニューラルネットワークをトレーニングする方法の一例を示す。介入装置形状トレーニングデータは、時間ステップのシーケンスにおける介入装置１２０の形状を表す。グランドトゥルース位置データは、シーケンスの各時間ステップにおける介入装置１２０の複数の部分の各々の位置を表す。介入装置形状トレーニングデータ及び／又はグランドトゥルース位置データは、動作Ｓ１２０において入力される入力された介入装置形状データ１１０に関して上述したように、画像データによって、又はセンサ及び／又はエミッタデータによって提供されてもよい。ニューラルネットワーク１３０は、
時間ステップのシーケンスにおける介入装置１２０の形状を表す介入装置形状トレーニングデータを受信することＳ２１０、
シーケンス内の複数の時間ステップの各々における介入装置１２０の複数の部分の各々の位置を表す介入装置グランドトゥルース位置データを受信することＳ２２０、並びに
シーケンス内の複数の時間ステップの各々について、かつ任意選択で１つ又は複数のより早い時間ステップについて、時間ステップに対する介入装置形状トレーニングデータを、ニューラルネットワークに入力することＳ２３０、及び１つ又は複数の後続の時間ステップにおける介入装置１２０の１つ又は複数の部分の予測された後続の位置と、受信された介入装置のグランドトゥルース位置データからの１つ又は複数の後続の時間ステップにおける介入装置１２０の１つ又は複数の対応する部分のグランドトゥルース位置との間の差を表す損失関数に基づいて、停止基準が満たされるまで、ニューラルネットワーク１３０のパラメータを調整することＳ２４０、
によって、介入装置形状データ１１０から、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の未来の位置１４０を予測するようにトレーニングされてもよい。
一例として、介入装置形状トレーニングデータは、ＣＴ画像データの画像フレームの時間が時間ステップのシーケンスを表すＣＴ画像データによって提供されてもよい。この例では、対応する介入装置グラウンドトゥルース位置データが、介入装置１２０に機械的に結合された電磁追跡センサ又はエミッタによって提供され得る。グラウンドトゥルース位置データの生成は、介入装置グラウンドトゥルース位置データがシーケンス内の各時間ステップにおける介入装置１２０の位置を表すように、ＣＴ画像データ内の画像フレームのタイミングと同期されてもよい。
他のニューラルネットワークと同様に、図４に示されるニューラルネットワークのトレーニングは、そのパラメータ、すなわちその重み及びバイアスを調整することによって実行される。図４のニューラルネットワークの重みとバイアスは、ＬＳＴＭセルによって提供される。図５に示されるＬＳＴＭセルを参照すると、図５の下位４つの活性化関数は、重み及びバイアスによって制御される。これらは、図５において、記号ｗ及びｂを用いて識別される。図示のＬＳＴＭセルでは、これらの４つの活性化関数の各々が、典型的には２つの重み値、すなわち、各ｘt入力に対して１つ、及び各ｈt-1入力の各々に対して１つと、１つのバイアス値ｂとを含む。したがって、図５に示される例示的なＬＳＴＭセルは、典型的には８つの重みパラメータと４つのバイアスパラメータとを含む。
図５に示されるＬＳＴＭセルの動作は、以下の式によって制御される。
ｆt＝σ((ｗhf×ｈt-1)＋(ｗxf×ｘt)＋ｂf) 式１
ｕt＝σ((ｗhu×ｈt-1)＋(ｗxu×ｘt)＋ｂu) 式２
ｃ~t＝tanh((ｗhc×ｈt-1)＋(ｗxc×ｘt)＋ｂc) 式３
ｏt＝σ((ｗho×ｈt-1)＋(ｗxo×ｘt)＋ｂo) 式４
ｃt＝[ｃ~t＋ｕt]＋[ｃt-1＋ｆt] 式５
ｙt＝[ｏt×tanhｃt] 式６
したがって、図５に示されるＬＳＴＭセルを含むニューラルネットワーク、及び他のニューラルネットワークのトレーニングは、活性化関数の重み及びバイアスを調整することを伴う。教師あり学習は、入力データ及び対応する期待出力データを含むトレーニングデータセットをニューラルネットワークに提供することを含む。トレーニングデータセットは、トレーニング後に分析するためにニューラルネットワークが使用される可能性が高い入力データを表す。教師あり学習の間、、重み及びバイアスは、入力データを提示されると、ニューラルネットワークが対応する期待出力データを正確に提供するように自動的に調整される。
ニューラルネットワークをトレーニングすることは、典型的には、大きなトレーニングデータセットをニューラルネットワークに入力することと、トレーニングされたニューラルネットワークが正確な出力を提供するまで、ニューラルネットワークパラメータを反復的に調整することとを伴う。トレーニングは、通常、グラフィック処理ユニット「ＧＰＵ」、又はニューラル処理ユニット「ＮＰＵ」又はテンソル処理ユニット「ＴＰＵ」などの専用ニューラルプロセッサを使用して実行される。したがって、トレーニングは、典型的には、クラウドベース又はメインフレームベースのニューラルプロセッサがニューラルネットワークをトレーニングするために使用される集中型アプローチを採用する。トレーニングデータセットを用いたトレーニングに続いて、トレーニングされたニューラルネットワークは、「推論」と称されるプロセスにおいて新しい入力データを分析するための装置に展開され得る。推定中の処理要件は、トレーニング中に必要とされるものよりも著しく低く、ニューラルネットワークがラップトップコンピュータ、タブレット、携帯電話などの様々なシステムに展開されることを可能にする。推定は、例えば、サーバ上、又はクラウド内で、中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、ＴＰＵによって実行され得る。
上述したように、ニューラルネットワークをトレーニングするプロセスは、活性化関数の重み及びバイアスを調整することを含む。教師あり学習では、トレーニングプロセスは、入力データを提示されるときに、ニューラルネットワークが対応する期待出力データを正確に提供するように、重み及びバイアスを自動的に調整する。これを行うために、損失関数の値又は誤差は、予測出力データと期待出力データとの間の差に基づいて計算される。損失関数の値は、負の対数尤度損失、平均二乗誤差、又はフーバー損失、又は交差エントロピーなどの関数を使用して計算され得る。トレーニング中、損失関数の値は、典型的には最小化され、トレーニングは、損失関数の値が停止基準を満たすときに終了される。場合によっては、トレーニングは、損失関数の値が複数の基準のうちの１つ以上を満たすときに、終了される。
勾配降下法、準ニュートン法など、損失最小化問題を解決するための様々な方法が、既知である。様々なアルゴリズムが、確率的勾配降下法「ＳＧＤ」、バッチ勾配降下法、ミニバッチ勾配降下法、ガウス・ニュートン法、レーベンバーグ・マルカート法、モーメンタム法、Ａｄａｍ、Ｎａｄａｍ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳＰｒｏｐ、及びＡｄａｍａｘ「オプティマイザ」を含むが、これらに限定されない、これらの方法及びそれらの変形を実装するために、開発されてきた。これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が最後の層又は出力層において開始して第１の層又は入力層に向かって移動して計算されるので、逆伝搬と称される。これらの導関数は、誤差関数を最小化するためにモデルパラメータがどのように調整されなければならないかをアルゴリズムに知らせる。すなわち、モデルパラメータに対する調整は、出力層から開始し、入力層が到達されるまでネットワーク内で後方に動作するように行われる。第１のトレーニング反復において、初期重み及びバイアスは、しばしばランダム化される。次いで、ニューラルネットワークは、同様にランダムである出力データを予測する。次いで、逆伝搬が、重み及びバイアスを調整するために使用される。トレーニングプロセスは、各反復において重み及びバイアスを調整することによって反復的に実行される。トレーニングは、誤差、又は予測出力データと期待出力データとの間の差がトレーニングデータ又はいくつかの検証データについて許容可能な範囲内にあるときに、終了される。その後、ニューラルネットワークは、展開され得、トレーニングされたニューラルネットワークは、そのパラメータのトレーニングされた値を使用して新しい入力データについて予測を行う。トレーニングプロセスが成功した場合、トレーニングされたニューラルネットワークは、新しい入力データから期待出力データを正確に予測する。
図４及び図５を参照して上述された例示的なＬＳＴＭニューラルネットワークは、例としてのみ機能し、他のニューラルネットワークも、同様に、上述された方法の機能を実装するために使用され得ることを理解されたい。ＬＳＴＭニューラルネットワーク１３０に対する代替のニューラルネットワークは、また、トレーニング動作Ｓ１３０中に所望の予測を実行するためにトレーニングされ得、リカレントニューラルネットワーク、ＲＮＮ、畳み込みニューラルネットワーク、ＣＮＮ、時間畳み込みニューラルネットワーク、ＴＣＮ、及びトランスフォーマを含むが、これらに限定されない。
いくつかの実装形態では、ニューラルネットワーク１３０のパラメータを調整する動作は、さらに制約される。１つの例示的な実施態様では、介入装置形状データ１１０は、介入装置１２０を含むデジタルサブトラクション血管造影、ＤＳＡ、Ｘ線画像の時間的シーケンスを有し、ニューラルネットワーク１３０のパラメータの調整Ｓ２４０は、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来の位置１４０がＤＳＡ Ｘ線画像内に表される管腔内にフィットするように制約される。 そうすることで、介入装置の１つ又は複数の部分の未来の位置が、より高い精度で予測され得る。制約は、制約に基づいて第２の損失関数を計算し、この第２の損失関数を前述の損失関数と共に目的関数に組み込むことによって適用され得、目的関数の値は、次いで、トレーニング中に最小化される。
上述のニューラルネットワーク１３０は、また、１つ又は複数の未来の位置１４０の対応する信頼度推定値１５０を予測するようにトレーニングされる。信頼度推定値を予測するための様々な方法が、企図される。
一実施形態では、ニューラルネットワーク１３０は、ニューラルネットワーク１３０によって生成された１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測未来位置１４０と、受信された介入装置グランドトゥルース位置データからの１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の対応する部分のグランドトゥルース位置との間の差に基づいて、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測された未来位置１４０の対応する信頼推定値を予測するようにトレーニングされる。
別の実施形態では、ニューラルネットワーク１３０は、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来位置１４０に対するドロップアウト層内のニューロンの寄与をランダムに制御するように構成されたドロップアウト層を有し、その結果、１つ又は複数の未来時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来位置１４０に対する信頼推定が、同じ入力データで、トレーニングされたニューラルネットワーク１３０を繰り返し実行することによって生成される１つ又は複数の未来時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来位置１４０から得られる。 他の技法が、例えば、１つ又は複数の未来の時間ステップにおける介入装置の１つ又は複数の部分についての点推定ではなく分布を予測し、標準偏差を信頼度の尺度（より小さい標準偏差はより高い信頼度を暗示する、より大きい標準偏差はより低い信頼度を暗示する、など）として使用することによって、対応する信頼度推定１５０を予測するのに使用されてもよい。
図３に戻ると、動作Ｓ１３０において、介入装置１２０の各部分の予測された１つ又は複数の未来位置１４０と、予測された１つ又は複数の未来位置１４０の対応する予測信頼度推定値１５０とが、表示される。動作Ｓ１３０における使用のために様々な技法が、企図される。一例として、介入装置の現在の画像が、表示され得、介入装置の１つ又は複数の部分の予測される未来の位置、及び予測される未来の位置に関する対応する予測された信頼度推定値が、現在の画像内に表示され得る。
別の例として、図７は、本開示のいくつかの態様による、介入装置１２０の部分の予測された未来の位置１４０ａ、１４０ｂ、１４０ｃと、予測された未来の位置に関する対応する予測された信頼度推定値１５０とを含む現在のＸ線画像１６０の例を示す。血管内腔１８０の輪郭は、図７に示され、ＤＳＡ撮像技術を使用してＸ線画像１６０を生成することによって決定され得る。介入装置１２０の現在の位置は、介入装置１２０を表す実線曲線によって図７に示される。３つの信頼推定値＞８０％、＞７５％、及び＜７５％のそれぞれについて、介入装置の遠位端の部分の予測される未来の位置が、破線によって示される。
介入装置１２０の現在及び／又は未来の位置を表示するための、図７に示されるものに対する代替技術も、企図される。これらは、信頼度推定値を示すための異なる色又は陰影の使用、ヒートマップなどを含む。いくつかの例では、例えば、介入装置１２０の遠位端など、介入装置のたった１つの部分の位置が、予測される。
図３を参照して上述されたコンピュータ実装方法は、１つ又は複数の追加の動作を含んでもよい。
いくつかの介入処置では、介入装置１２０の特定の部分が所望の標的位置をインターセプトするかどうかを知ることが有益である。例えば、図７を参照すると、ガイドワイヤ１２０の遠位端が血管内腔の左側枝に首尾よく進入するか否かを知ることが望ましい。一例によれば、図３を参照して上述された方法は、
介入装置１２０の少なくとも１つの部分について、解剖学的構造内の標的位置を示す入力を受信するステップと、
介入装置１２０の少なくとも１つの部分の予測される未来の位置１４０に基づいて、介入装置１２０の少なくとも１つの部分が標的位置をインターセプトする確率を計算するステップと、
を含む。
この機能は、ニューラルネットワーク１３０によって、又は予測された未来の位置１４０及び標的位置を後処理することによって提供され得る。解剖学的構造内の標的位置は、解剖学的構造内の任意の位置、例えば、左もしくは右の腎動脈、又は別の標的位置であり得る。標的位置は、ユーザによって提供されてもよく、又は自動的に決定されてもよい。例えば、標的位置がユーザによって提供される場合、ユーザは、マウス又はタッチスクリーンなどのポインタ装置によって、ディスプレイ上で標的位置を示し得る。代わりに、標的位置は、医療処置のタイプに関する情報から、及び解剖学的構造を通る期待される経路に基づいて、自動的に決定されてもよい。介入装置１２０の少なくとも１つの部分が標的位置をインターセプトする計算された確率は、例えば、数値として、破線として、又は解剖学的構造の画像上の色又は陰影などを用いて表示されてもよい。
別の例では、介入装置を操作する上述の課題のいくつかに対処するために、介入装置をうまくナビゲートして解剖学的構造内の標的位置をインターセプトするために使用されている履歴経路の範囲をユーザに示すことは、有益であり得る。そうすることで、ユーザは、介入装置の現在の位置が成功した履歴経路の位置とどのように比較するかを決定し、それによって、他の、すなわちエキスパートのユーザの経験から利益を得てもよい。この機能は、エキスパートユーザからのトレーニングデータを使用してニューラルネットワーク１３０をトレーニングすることによって提供され得る。この例によれば、ニューラルネットワーク１３０は、解剖学的構造内の標的位置をインターセプトするために介入装置１２０をうまくナビゲートするために使用される複数の履歴経路に沿った、入力された介入装置形状データ１１０の部分の位置の分布を表す潜在変数の１つ又は複数のベクトルを生成するように構成され、図３を参照して上述された方法は、
潜在変数の１つ又は複数のベクトルの１つ又は複数の分布パラメータを表す解剖学的構造内のトラック１７０を表示するステップ、
を含む。
この例は、本発明のいくつかの態様による、入力された介入装置形状データ１１０を表す平均μ及び分散σ2を有する潜在変数のベクトルを生成するニューラルネットワーク１３０の一例を示す、図８を参照して説明される。図８に示されるニューラルネットワークは、変分エンコーダ-デコーダ・アーキテクチャを有するが、他のタイプの生成ニューラルネットワーク、例えば、生成敵対ネットワーク「ＧＡＮ」も、この機能を実装するために使用され得る。例えば、ニューラルネットワークは、ある分布に従うことを保証する損失関数に、ＫＬ発散／相互情報コンポーネントを加えることによって、正規分布に従う潜在表現を生成するようにトレーニングされ得る。ＧＡＮにおいて共通である、敵対的トレーニングは、画像変換のためのＣｙｃｌｅＧＡＮのような、入出力データの低いレベルの表現のキャプチャに成功することが示されている。変分エンコーダ-デコーダネットワークを使用する利点は、このタイプのニューラルネットワークがトレーニングデータセットの潜在表現にわたる分布を学習することである。したがって、図８に示されるニューラルネットワーク１３０は、入力装置形状の潜在表現にわたる分布を表す平均μ及び分散σ2を学習し、分布からのサンプルが、これまで介入装置の形状を与えられた介入装置の未来の形状を表すようにする。
トラック１７０は、図８に示され、平均値μ及びこの平均の両側に分布する標準偏差値σを含み、解剖学的構造内の標的位置をインターセプトするように介入装置１２０をうまくナビゲートするのに使用される履歴経路の範囲を示す。図８に見られるように、管腔内のいくつかの位置において、特に管腔内の左側の枝に向かって、小さい分散が存在し、これは、ユーザがこの左側の枝に首尾よく向けるために、管腔内のこの位置における平均値に近い位置に介入装置を正確に配置する必要性を示す。比較によって、管腔内のより低い位置では、より大きな分散が観察され、これは、介入装置の配置があまり重要でないことを示す。
このようにトラック１７０を表示することは、過去のユーザによってとられた装置経路のバリエーションの形態でユーザに追加情報を提供する。エキスパートから得られた装置ナビゲーションデータ、すなわち、解剖学的構造内の標的位置をインターセプトするように介入装置をうまくナビゲートするのに使用される複数の履歴経路上で、変分エンコーダ-デコーダネットワークをトレーニングすることによって、図８に示されるニューラルネットワークのエンコーダ部分は、エキスパート装置ナビゲーションを表す入力データからの後の分布を近似し、デコーダネットワークは、この分布からサンプルを生成する。これは、より少ない経験のユーザがより小さい又はより大きい変化を有する軌道のセグメント、及びエキスパートナビゲーションにおける変化のタイプを含む、エキスパートのみの装置軌道の分布から生成されたサンプルを観察することを可能にする。
図８に示されるニューラルネットワークでは、１つ又は複数の分布パラメータは、平均μと標準偏差σの両方を含む。他の統計的分布パラメータが、同様の方法で計算され、トラック１７０に表示され得ることに留意されたい。さらに、潜在変数の２つのベクトルが示され、１つは平均値に対するものであり、１つは分散値に対するものである。いくつかの例では、たった１つのベクトルが、計算され得る。
図８に示されるニューラルネットワーク１３０は、
解剖学的構造内の標的位置をインターセプトするために介入装置１２０をうまくナビゲートするように複数の履歴処置に対する時間ステップのシーケンスにおける介入装置１２０の形状を表す介入装置形状トレーニングデータを受信すること、
シーケンス内の各時間ステップにおける介入装置１２０の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信すること、及び
履歴処置に対するシーケンス内の複数の時間ステップの各々に対して、
かつ任意選択で１つ又は複数のより早い時間ステップに対して、時間ステップに対する受信された介入装置形状トレーニングデータをニューラルネットワーク１３０に入力すること、
入力された介入装置形状データ１１０の部分の位置の分布を表す潜在変数の１つ又は複数のベクトルを学習するようにニューラルネットワーク１３０をトレーニングすること、
１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の未来の位置１４０を提供するように、潜在変数の１つ又は複数のベクトルによって表される介入装置１２０の部分の位置の分布内からサンプリングすること、
ｉ）潜在変数の１つ又は複数のベクトルによって表される分布におけるサンプルの確率と、標準分布におけるサンプルの確率との間の差を表す第１の損失関数、及び
ｉｉ）１つ又は複数の後続の時間ステップにおける介入装置１２０の１つ又は複数の部分の予測された後続の位置１４０と、停止基準が満たされるまでの、受信された介入装置グラウンドトゥルース位置データからの１つ又は複数の後続の時間ステップにおける介入装置１２０の１つ又は複数の対応する部分のグラウンドトゥルース位置との間の差を表す第２の損失関数、
に基づいてニューラルネットワーク１３０のパラメータを調整すること、並びに
複数の履歴処置の各々について、入力、トレーニング、サンプリング、及び調整を繰り返すことと、
によって、介入装置形状データ１１０から、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の未来の位置１４０を予測するようにトレーニングされ得る。
一例として、第１の損失関数は、Ｋｕｌｌｂａｃｋ-Ｌｅｉｂｌｅｒ「ＫＬ」発散を使用して計算され得る。使用される標準分布は、例えば、ゼロに等しい平均及び１に等しい分散を有するガウス分布又は正規分布であってもよい。
図８を参照して説明されたニューラルネットワークは、また、介入装置の１つ又は複数の部分の予測される未来の位置とトラック１７０との間の差を低減するために必要とされる、介入装置１２０の１つ又は複数の必要な操作を計算するために適合され得る。この例は、本開示のいくつかの態様に従って、介入装置の１つ又は複数の部分の予測される未来位置と、潜在的変数の平均値のトラック１７０との間の差を低減するために必要とされる、介入装置の１つ又は複数の必要な操作を予測するようにトレーニングされる、ニューラルネットワーク１３０の例を示す図９を参照して説明される。図９を参照して、この例では、図８を参照して説明される方法は、また、
現在の時間ステップｔnに対する介入装置１２０の形状を表す、受信された介入装置形状データ１１０に基づいて、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来の位置１４０と、解剖学的構造内のトラック１７０との間の差を低減するために必要とされる、介入装置１２０の１つ又は複数の必要とされる操作と、介入装置１２０の予測される１つ又は複数の必要とされる操作とを計算すること、及び
介入装置１２０の予測される１つ又は複数の必要とされる操作を表示すること、
を含む。
図９に示されるように、ニューラルネットワーク１３０は、この機能を実装するために、畳み込みニューラルネットワーク「ＣＮＮ」アーキテクチャを含み得る。ＣＮＮの代替アーキテクチャは、ＲＮＮ、ＴＣＮ、トランスフォーマなどを含む。この機能性は、ユーザが解剖学的構造内で介入装置をナビゲートするためのより最適な操作を提供するようにトレーニングされることを可能にする。図１０Ａ及び１０Ｂは、本開示のいくつかの態様による、図９に示されるトレーニングされたニューラルネットワークを使用して、介入装置の予測される１つ又は複数の必要な操作を表示する例を示す。予測された１つ又は複数の必要な操作を表示するための代替技術は、例えば、方向矢印などのアイコンの表示を含む。
図９に示されるニューラルネットワークは、
標的位置をインターセプトするように介入装置１２０をナビゲートするように複数の成功した履歴処置に対する時間ステップのシーケンスにおける介入装置１２０の形状を表す介入装置形状トレーニングデータを受信すること、
シーケンス内の各時間ステップについて、介入装置１２０の操作を表す介入装置グランドトゥルース操作データを受信し、シーケンス内の複数の時間ステップの各々について、時間ステップに対する受信された介入装置形状トレーニングデータをニューラルネットワーク１３０に入力し、停止基準が満たされるまで、予測される１つ又は複数の必要な操作とグランドトゥルース操作データとの間の差を表す第３の損失関数に基づいて、ニューラルネットワーク１３０のパラメータを調整すること、
によって、介入装置形状データ１１０から、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来の位置１４０と、解剖学的構造内のトラックとの間の差を低減するために必要とされる、介入装置１２０の１つ又は複数の必要な操作を予測するようにトレーニングされ得る。
介入装置グランドトゥルース操作データは、例えば、
介入装置１２０を操作するように構成されたロボット制御ユニット、及び
介入装置１２０のユーザ操作を表す画像データを生成するように構成されたカメラ、
のうちの１つ以上によって提供されてもよい。
別の例によれば、図８に示されるニューラルネットワークは、エキスパートトレーニングデータを使用してトレーニングされる。図１１は、本開示のいくつかの態様による、非エキスパートユーザのための入力された介入装置形状データから、エキスパートユーザのための介入装置形状トレーニングデータに最も近くマッチする介入装置の１つ又は複数の部分の予測される未来の位置を決定するように構成されたニューラルネットワーク１３０の例を示す。この例では、介入装置形状トレーニングデータは、エキスパートユーザトレーニングデータを含み、ニューラルネットワーク１３０は、非エキスパートユーザに対する入力された介入装置形状データ１１０から、１つ又は複数の未来の時間ステップｔn+1..n+kにおいて、エキスパートユーザに対する介入装置形状トレーニングデータに最も近くマッチする解剖学的構造内の標的位置をインターセプトするように介入装置１２０をうまくナビゲートするように、１つ又は複数の未来の時間ステップｔn+1..n+kにおける介入装置１２０の１つ又は複数の部分の予測される未来位置１４０を決定するように構成される。
この例では、ニューラルネットワークは、エキスパートデータ上でトレーニングされたので、ネットワークによって学習された装置軌道の潜在表現によってキャプチャされた入力データにわたる近似分布は、エキスパート装置軌道を表す。したがって、ニューラルネットワーク１３０は、非エキスパート装置軌道を再構成することができず、学習された分布の外れ値となる。代わりに、それは、学習された分布によって表されることができる最も近いエキスパート軌道を出力する。これは、非エキスパートユーザがエキスパートからの追加の時間コミットメントなしに、エキスパートを模倣することを継続的に学習することを可能にする。
図１１に示されるような変分エンコーダ-デコーダネットワークを使用することの追加の利点は、エキスパート装置軌道の潜在空間にわたる学習された分布が正規分布に従い、そこからサンプリングされることができることである。従来の計画ツールは、典型的には、１つの特定の計画又は装置軌道のみを示すが、本明細書で説明される変分エンコーダ-デコーダネットワークは、最も可能性の高い軌道又は最も近いエキスパート軌道を示すことができるだけでなく、例えば、既知の標的につながる他の同様の軌道をユーザがサンプリングすることをも可能にする。
図１２は、本開示のいくつかの態様による、図１１に示されるトレーニングされたニューラルネットワークを用いた推論の実行の例を示す。図１２の学習された潜在表現ｚは、多数のベクトル成分z＝｛z 1，ｚ 2，．．ｚ j｝を含む。ｚの各成分は、トレーニングデータ、本例ではエキスパート装置軌道における変化の何らかのモードを制御する。例えば、ｚの１つの成分は、処置中のガイドワイヤの転移点における曲率の変化を制御してもよく、ｚの別の成分は、カニューレ挿入部分におけるツール先端の位置を制御してもよい。ユーザが装置軌道のいくつかの以前に識別された態様を制御する、学習された潜在表現ｚの１つ又は複数の成分を変化させることを可能にすることは、ユーザが複数のエキスパート装置軌道を観察し、ユーザの個人的好み、スタイル、快適さなどに最も適したオプションを選択することを可能にする。再び、これは、ユーザが非エキスパートからエキスパートへの移行を加速させることを可能にする一方で、ユーザがスタイル又はアプローチを個人化することを可能にする。この例によれば、図８を参照して説明されるニューラルネットワークは、ユーザが入力された介入装置形状データ１１０の部分の位置の分布を表す潜在変数のベクトルの１つ又は複数の成分を操作することを可能にし、それによって、ユーザが現在の時間ステップｔnにおける介入装置の形状から取得され得る介入装置の代替の未来の形状を調査することを可能にする、ユーザインターフェースを含み得る。
図１３は、本開示のいくつかの態様による、介入装置の部分の位置を予測するためのシステム２００を示す概略図である。システム２００は、ナビゲーションガイダンスを提供するコンピュータ実装方法に関連して上述した動作のうちの１つ又は複数を実行するように構成された１つ又は複数のプロセッサ２１０を含む。システム２００は、また、介入装置１２０、図１３に示されるＸ線撮像システム２２０などの撮像システム、又は別の撮像システムを含み得る。使用時には、Ｘ線撮像システム２２０が、動作Ｓ１２０において、ニューラルネットワーク１３０に入力するための介入装置形状データ１１０を生成してもよい。システム２００は、また、図１３に示されるような１つ又は複数の表示装置２３０、及び／又はキーボードなどのユーザインターフェース装置、及び／又は方法の実行を制御するためのマウスなどのポインティング装置、及び／又は患者ベッド２４０を含んでもよい。
上記の例は、本開示を示するものであり、限定するものではないと理解されるべきである。更なる例も、企図される。例えば、コンピュータ実装方法に関連して説明された例は、対応する形で、コンピュータプログラム製品によって、又はコンピュータ可読記憶媒体によって、又はシステム２００によっても提供されてもよい。任意の１つの例に関して記載された特徴は、単独で、又は他の記載された特徴と組み合わせて使用されてもよく、例のうちの別の１つ又は複数の特徴、又は他の例の組み合わせと組み合わせて使用されてもよいことを理解されたい。更に、上で説明されていない均等物及び修正物も、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく使用され得る。請求項において、単語「有する」は、他の要素又は動作を排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数性を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. 解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供するコンピュータ実装方法であって、
    １つ又は複数の時間ステップにおける前記介入装置の形状を表す介入装置形状データを受信するステップであって、前記時間ステップは、少なくとも現在の時間ステップを含む、ステップと、
    前記介入装置形状データから、１つ又は複数の未来の時間ステップにおける前記介入装置の１つ又は複数の部分の未来位置を予測し、前記予測された１つ又は複数の未来位置に対する対応する信頼度推定値を予測するようにトレーニングされたニューラルネットワークに、前記介入装置形状データを入力するステップと、
    前記介入装置の各部分の前記予測された１つ又は複数の未来位置、及び前記予測された１つ又は複数の未来位置に対する前記対応する予測された信頼度推定値を表示するステップと、
    を有するコンピュータ実装方法。
  2. 前記方法は、
    前記介入装置の少なくとも１つの部分について、前記解剖学的構造内の標的位置を示す入力を受信するステップと、
    前記介入装置の前記少なくとも１つの部分の前記予測される未来位置に基づいて、前記介入装置の前記少なくとも１つの部分が前記標的位置をインターセプトする確率を計算するステップと、
    を有する、請求項１に記載のコンピュータ実装方法。
  3. 前記ニューラルネットワークは、前記解剖学的構造内の標的位置をインターセプトするように前記介入装置をうまくナビゲートするのに使用される複数の履歴経路に沿った前記入力された介入装置形状データの部分の位置の分布を表す潜在変数の１つ又は複数のベクトルを生成するように構成され、 前記方法は、
    前記潜在変数の１つ又は複数のベクトルの１つ又は複数の分布パラメータを表す前記解剖学的構造内のトラックを表示するステップ、
    を有する、請求項１に記載のコンピュータ実装方法。
  4. 前記方法が、
    前記現在の時間ステップに対する前記介入装置の形状を表す前記受信された介入装置形状データに基づいて、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の予測された未来位置と、前記解剖学的構造内の前記トラックとの間の差を低減するために必要とされる前記介入装置の１つ又は複数の必要とされる操作を計算するステップと、
    前記介入装置の前記予測された１つ又は複数の必要とされる操作を表示するステップと、
    を有する、請求項３に記載のコンピュータ実装方法。
  5. 前記ニューラルネットワークは、
    時間ステップのシーケンスにおける前記介入装置の形状を表す介入装置形状トレーニングデータを受信すること、
    前記シーケンス内の各時間ステップにおける前記介入装置の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信すること、
    前記シーケンス内の複数の時間ステップの各々について、かつ任意選択で１つ又は複数のより速い時間ステップについて、前記時間ステップに対する前記受信された介入装置形状トレーニングデータを、前記ニューラルネットワークに入力し、停止基準が満たされるまで、前記受信された介入装置グラウンドトゥルース位置データからの前記１つ又は複数の後の時間ステップにおける前記介入装置の前記１つ又は複数の対応する部分の前記グラウンドトゥルース位置との差を表す損失関数に基づいて、前記ニューラルネットワークのパラメータを調整すること、
    によって、前記介入装置形状データから、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記未来位置を予測するようにトレーニングされる、請求項１又は請求項２に記載のコンピュータ実装方法。
  6. ｉ）前記ニューラルネットワークは、前記ニューラルネットワークによって生成された前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測された未来位置と、前記受信された介入装置グラウンドトゥルース位置データからの前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の対応する部分の前記グラウンドトゥルース位置との間の差に基づいて、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測された未来位置に対する前記対応する信頼度推定値を予測するようにトレーニングされる、 又は
    ｉｉ）前記ニューラルネットワークは、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測された未来位置に対するドロップアウト層内のニューロンの寄与をランダムに制御するように構成されたドロップアウト層を有し、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測された未来位置に対する信頼度推定値が、同じ入力データを用いて前記トレーニングされたニューラルネットワークを繰り返し実行することによって生成された前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測された未来位置から取得可能である、
    請求項５に記載のコンピュータ実装方法。
  7. 前記介入装置形状データは、前記介入装置を含むデジタルサブトラクション血管造影ＤＳＡ Ｘ線画像の時間的シーケンスを含み、前記方法は、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測される未来位置が前記ＤＳＡ Ｘ線画像内に表される管腔内にフィットするように、前記ニューラルネットワークのパラメータの前記調整を制約することを含む、請求項５に記載のコンピュータ実装方法。
  8. 前記ニューラルネットワークは、
    解剖学的構造内の標的位置をインターセプトするように介入装置をうまくナビゲートするために、複数の履歴処置に対する時間ステップのシーケンスにおける前記介入装置の形状を表す介入装置形状トレーニングデータを受信すること、
    前記シーケンス内の各時間ステップにおける前記介入装置の複数の部分の各々の位置を表す介入装置グランドトゥルース位置データを受信すること、
    履歴処置に対する前記シーケンス内の複数の時間ステップの各々について、
    かつ任意選択で１つ又は複数のより早い時間ステップについて、前記時間ステップに対する前記受信された介入装置形状トレーニングデータを前記ニューラルネットワークに入力すること、
    前記入力された介入装置形状データの部分の位置の分布を表す潜在変数の前記１つ又は複数のベクトルを学習するために前記ニューラルネットワークをトレーニングすること、
    前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の未来位置を提供するように、前記潜在変数の１つ又は複数のベクトルによって表される前記介入装置の前記部分の位置の分布内からサンプリングすること、
    ｉ）前記潜在変数の１つ又は複数のベクトルによって表される前記分布におけるサンプルの確率と、標準分布におけるサンプルの確率との間の差を表す第１の損失関数、及び
    ｉｉ）前記１つ又は複数の後の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測された後続の位置と、前記受信された介入装置グラウンドトゥルース位置データからの前記１つ又は複数の後の時間ステップにおける前記介入装置の前記１つ又は複数の対応する部分の前記グラウンドトゥルース位置との間の差を表す第２の損失関数、
    に基づいて、停止基準が満たされるまで、前記ニューラルネットワークのパラメータを調整すること、
    前記複数の履歴処置の各々について前記入力、前記トレーニング、前記サンプリング、及び前記調整を繰り返すこと、
    によって、前記介入装置形状データから、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記未来位置を予測するようにトレーニングされる、請求項３に記載のコンピュータ実装方法。
  9. 前記介入装置形状トレーニングデータは、エキスパートユーザトレーニングデータを含み、前記ニューラルネットワークは、非エキスパートユーザに対する前記入力された介入装置形状データから、前記１つ又は複数の未来の時間ステップにおけるエキスパートユーザに対する前記介入装置形状トレーニングデータに最も近くマッチする前記解剖学的構造内の前記標的位置をインターセプトするように前記介入装置をうまくナビゲートするように、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の前記予測される未来の位置を決定するように構成される、請求項８に記載のコンピュータ実装方法。
  10. 前記ニューラルネットワークは、ユーザが前記現在の時間ステップにおける前記介入装置の前記形状から得られることができる前記介入装置の代替的な未来の形状を調査することを可能にするために、ユーザが前記潜在変数の１つ又は複数のベクトルの１つ又は複数の成分を操作することを可能にするように構成されたユーザインターフェースを有する、請求項３に記載のコンピュータ実装方法。
  11. 前記ニューラルネットワークは、
    前記標的位置をインターセプトするように前記介入装置をナビゲートするために複数の成功した履歴処置に対する時間ステップのシーケンスにおける前記介入装置の形状を表す介入装置形状トレーニングデータを受信すること、
    前記介入装置の操作を表す介入装置グランドトゥルース操作データを受信すること、
    前記シーケンス内の複数の時間ステップの各々について、前記時間ステップに対する前記受信された介入装置形状トレーニングデータを、前記ニューラルネットワークに入力し、停止基準が満たされるまで、前記予測された１つ又は複数の必要な操作と前記グランドトゥルース操作データとの間の差を表す第３の損失関数に基づいて、前記ニューラルネットワークのパラメータを調整すること、
    によって、前記介入装置形状データから、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記１つ又は複数の部分の予測される未来位置と前記解剖学的構造内の前記トラックとの間の差を低減するために必要とされる前記介入装置の前記１つ又は複数の必要な操作を予測するようにトレーニングされる、請求項４に記載のコンピュータ実装方法。
  12. 前記介入装置形状データ、又は前記介入装置形状トレーニングデータ、又は前記介入装置グラウンドトゥルース位置データが、
    前記介入装置を含むＸ線画像の時間的シーケンス、又は
    前記介入装置を含むコンピュータトモグラフィ画像の時間的シーケンス、又は
    前記介入装置を含む超音波画像の時間的シーケンス、又は
    前記介入装置を含む磁気共鳴画像の時間的シーケンス、又は
    前記介入装置に機械的に結合された複数の電磁追跡センサ又はエミッタによって提供される位置の時間的シーケンス、又は
    前記介入装置に機械的に結合された複数の光ファイバ形状センサによって提供される位置の時間的シーケンス、又は
    前記介入装置に機械的に結合された複数の誘電体センサによって提供される位置の時間的シーケンス、又は
    前記介入装置に機械的に結合された複数の超音波追跡センサ又はエミッタによって提供される位置の時間的シーケンス、
    を含む、請求項１乃至１１のいずれか一項に記載のコンピュータ実装方法。
  13. 前記ニューラルネットワークは、
    畳み込みニューラルネットワークアーキテクチャ、
    長短期記憶ＬＳＴＭニューラルネットワークアーキテクチャ、
    変分エンコーダデコーダニューラルネットワークアーキテクチャ、
    生成的敵対的ＧＡＮニューラルネットワークアーキテクチャ、
    トランスフォーマアーキテクチャ、
    の少なくとも１つを有する、請求項１乃至１２のいずれか一項に記載のコンピュータ実装方法。
  14. 前記ニューラルネットワークは、複数のＬＳＴＭセルを有するＬＳＴＭニューラルネットワークアーキテクチャを有し、各ＬＳＴＭセルは、前記１つ又は複数の未来の時間ステップにおける前記介入装置の異なる部分の前記未来位置を予測するように構成された出力を有し、
    各ＬＳＴＭセルについて、前記セルは、前記現在の時間ステップに対する前記入力された介入装置形状データ、及び前記１つ又は複数の未来の時間ステップにおける前記介入装置の１つ又は複数の隣接する部分の前記予測された未来の位置に基づいて、前記１つ又は複数の未来の時間ステップにおける前記介入装置の前記部分の前記未来位置を予測するように構成される、請求項１３に記載のコンピュータ実装方法。
  15. １つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１乃至１４のいずれか一項に記載の方法を実行させる命令を有するコンピュータプログラム。
JP2023562168A 2021-04-12 2022-04-06 介入装置のナビゲート Pending JP2024515068A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163173517P 2021-04-12 2021-04-12
US63/173,517 2021-04-12
PCT/EP2022/059099 WO2022218773A1 (en) 2021-04-12 2022-04-06 Navigating an interventional device

Publications (1)

Publication Number Publication Date
JP2024515068A true JP2024515068A (ja) 2024-04-04

Family

ID=81580177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023562168A Pending JP2024515068A (ja) 2021-04-12 2022-04-06 介入装置のナビゲート

Country Status (4)

Country Link
EP (1) EP4322879A1 (ja)
JP (1) JP2024515068A (ja)
CN (1) CN117279588A (ja)
WO (1) WO2022218773A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5631585B2 (ja) 2006-03-22 2014-11-26 コーニンクレッカ フィリップス エレクトロニクス エヌ．ヴィ． 光ファイバ機器センシングシステム
US11067387B2 (en) * 2014-02-28 2021-07-20 Koninklijke Philips N.V. Adaptive instrument kinematic model optimization for optical shape sensed instruments
WO2015165736A1 (en) 2014-04-29 2015-11-05 Koninklijke Philips N.V. Device for determining a specific position of a catheter
US10278616B2 (en) 2015-05-12 2019-05-07 Navix International Limited Systems and methods for tracking an intrabody catheter
WO2020030557A1 (en) 2018-08-08 2020-02-13 Koninklijke Philips N.V. Tracking an interventional device respective an ultrasound image plane
CN113490464A (zh) * 2019-02-28 2021-10-08 皇家飞利浦有限公司 对末端执行器的前馈连续定位控制
US11087464B2 (en) * 2019-06-27 2021-08-10 Wisconsin Alumni Research Foundation System and method for motion-adjusted device guidance using vascular roadmaps
EP4252199A1 (en) * 2020-11-24 2023-10-04 Koninklijke Philips N.V. Determining interventional device position

Also Published As

Publication number Publication date
EP4322879A1 (en) 2024-02-21
CN117279588A (zh) 2023-12-22
WO2022218773A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
EP3142033B1 (en) Physiology-driven decision support for therapy planning
Karstensen et al. Autonomous guidewire navigation in a two dimensional vascular phantom
EP4138715A1 (en) Algorithm-based methods for predicting and/or detecting a clinical condition related to insertion of a medical instrument toward an internal target
CN114072838A (zh) 根据2d医学图像进行3d血管中心线重建
Zhao et al. Surgical GAN: Towards real-time path planning for passive flexible tools in endovascular surgeries
US20240020877A1 (en) Determining interventional device position
EP4186455A1 (en) Risk management for robotic catheter navigation systems
JP2024515068A (ja) 介入装置のナビゲート
JP2021516108A (ja) 機械学習ベースの血管イメージングにおける決定フォーカスの分解及びステアリング
EP4154810A1 (en) System and device control using shape clustering
EP4366613A1 (en) System and device control using shape clustering
JP7421689B2 (ja) 介入装置形状の決定
EP4173585A1 (en) Method for identifying a vascular access site
US20240112788A1 (en) Assessing operator behavior during a medical procedure
US20230178248A1 (en) Thrombus treatment metric
US20220202501A1 (en) Real-time correction of regional tissue deformation during endoscopy procedure
EP4181058A1 (en) Time-resolved angiography
EP4353176A1 (en) Providing biomechanical plaque data for an interventional device simulation system
EP4252666A1 (en) Determining a value of a physical property of a thrombus
WO2023072973A1 (en) Identifying a vascular access site
WO2024110335A1 (en) Providing projection images
WO2023104559A1 (en) Thrombus treatment metric
KR20240003038A (ko) 가이드와이어 팁의 형상 결정 방법 및 장치
WO2023186610A1 (en) Intravascular procedure step prediction
Kim et al. AI-based Agents for Automated Robotic Endovascular Guidewire Manipulation