JP2023554038A - 可撓性デバイスのための予測動作マッピング - Google Patents

Abstract

インターベンション型医療デバイス用のコントローラ１５０は、メモリ１５１とプロセッサ１５２とを含む。メモリ１５１は、プロセッサ１５２が実行する命令を記憶する。命令が実行されるとき、命令は、コントローラ１５０に、インターベンション型医療デバイス１０１の遠位端の少なくとも１つの位置を取得させ、インターベンション型医療デバイス１０１の近位端における動作を特定させ、第１の訓練済み人工知能を、インターベンション型医療デバイス１０１の近位端における動作と、インターベンション型医療デバイス１０１の遠位端の少なくとも１つの位置とに適用させ、インターベンション型医療処置中に、インターベンション型医療デバイス１０１の遠位端に向かってインターベンション型医療デバイス１０１に沿った動作を予測させる。また、コントローラ１５０は、実際の動作が予測動作と乖離したときを決定するために、医療撮像システム１２０からインターベンション型医療デバイス１０１の遠位端の画像を取得する。

Description

[0001] 低侵襲処置における解剖学的構造で器具を使用することは、ライブ医療撮像によって器具の予期せぬ動作が見えないとき、困難になり得る。いくつかの器具については、近位端において動作が導入されたとき、器具の長さ方向に沿った対応する動作、及び器具の遠位端での対応する動作が発生しない場合がある。器具の長さ方向に沿った予期せぬ動作としては、横移動及び座屈が挙げられる。動作のバリエーションは、器具のタイプ、患者の解剖学的構造、器具の長さに沿った曲率に依存する。器具の予期せぬ動作は、寸法、柔軟性、トルク伝達、及び摩擦などの器具特性にも起因し得る。意図せぬ動作の結果、血管の切断又は穿孔などの、組織への誤った接触が起こり得る。例として、予期せぬ動作は、カテーテル又はガイドワイヤなどの長細い器具の近位端に導入される動作に起因する。

[0002] 低侵襲処置が２次元（２次元）蛍光透視の誘導下で行われる場合、器具の３次元（３次元）の動作の側面を見逃しかねない。多くの場合、器具の遠位端のみが蛍光透視視野（ＦＯＶ）内にあるので、ＦＯＶ外にある器具の長さ方向に伝わる動作は知覚されない。さらに、多くの場合、遠位端の動作も、蛍光透視撮像のフォアショートニングのため知覚されない。そのため、器具の近位端での大きな動作があっても、結果として遠位端では動作が知覚されないことが多く、器具の長さ方向に沿った予期せぬ挙動をもたらすことになる。この問題の具体例は、脚の末梢血管ナビゲーションを行う際に発生する。カテーテル及びガイドワイヤは、大腿部からアクセスし、腸骨角を越えて、対側の大腿動脈を下るように移動する。器具に追随するＸ線画像は、器具が大動脈内に戻って座屈し得る腸骨角の交差を写すことができない。

[0003] 従来、器具のコースの開始及び器具のコースの終了が与えられる場合、マイクロカテーテルの中心線に沿ったマイクロカテーテル・チューブを備えたマイクロカテーテルをモデル化し、マイクロカテーテルの中心線は直線と曲線とが交互に連続する線で構成されると仮定することによって、コースがプロットされる。しかしながら、医師によるカテーテルの操作などの、外部の力からの干渉は考慮されていない。

[0004] 本明細書に記載される可撓性デバイスのための予測動作マッピングは、上述の懸念に対処する。

[0005] 例示的な実施形態は、添付図面の図と併せて読んだとき、以下の詳細な説明から最もよく理解される。様々な特徴は必ずしも縮尺通りに描写されていないことを強調しておく。実際に、考察を明快にするため、寸法を任意に拡大又は縮小することがある。適用可能で、実用的であれば、同様の参照数字は同様の要素を指す。

[0006] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのためのシステムを示す図である。 [0007] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための方法を示す図である。 [0008] 別の代表的な実施形態による、可撓性デバイスの予測動作マッピングのための別の方法を示す図である。 [0009] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための混成プロセスを示す図である。 [0010] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための別の混成プロセスを示す図である。 [0011] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための方法を示す図である。 [0012] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための混成プロセスを示す図である。 [0013] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための別の混成プロセスを示す図である。 [0014] 代表的な実施形態による、可撓性デバイスの予測動作マッピングのための方法を示す図である。 [0015] 別の代表的な実施形態による、可撓性デバイスの予測動作マッピングのための方法が実施されるコンピュータ・システムを示す図である。

[0016] 以下の発明を実施するための形態では、説明を目的とし、限定の意図はなく、具体的な詳細を開示する代表的な実施形態は、本教示による実施形態への完全な理解を提供するために、記載されている。知られているシステム、デバイス、材料、操作方法、及び製造方法の説明は、代表的な実施形態の説明が不明瞭になるのを避けるように省略され得る。それにもかかわらず、当業者の認識範囲内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内にあり、代表的な実施形態に従って使用することができる。本明細書で使用される専門用語は、特定の実施形態を説明することのみを目的としており、限定の意図はないことを理解されたい。定義されている用語は、本教示の技術分野において一般的に理解され、受け入れられている定義用語の技術的及び科学的な意味に、追加的に定義されるものである。

[0017] 本明細書では、第１の、第２の、第３のなどの用語が、様々な要素又は構成要素を説明するために使用されているが、これらの要素又は構成要素はこれらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、ある要素又は構成要素を別の要素又は構成要素と区別するためにだけ使用される。したがって、以下に考察される第１の要素又は構成要素は、本発明の概念の教示から逸脱することなく、第２の要素又は構成要素とも呼ばれ得る。

[0018] 本明細書で使用される専門用語は、特定の実施形態を説明することのみを目的としており、限定的であることは意図していない。本明細書及び添付の特許請求の範囲で使用されるとき、単数形は、コンテキストにより明確にそうではないと定められない限り、単数形と複数形との両方を含むことを意図している。さらに、用語「有する／備える」、「有している／備えている」、及び／又は類似の用語は、本明細書で使用されるとき、記載されている特徴、要素、及び／又は構成要素の存在を明細に示すが、１つ又は複数の他の特徴、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除しない。本明細書で使用される場合、用語「及び／又は」は、関連する列挙された項目の１つ又は複数の任意の組み合わせ及び全ての組み合せを含む。

[0019] 別途言及されない限り、要素又は構成要素が別の要素又は構成要素に「接続され」、「連結され」、又は「隣接して」いると言われる場合、要素又は構成要素は他の要素又は構成要素に直接接続又は連結することができ、或いは介在している要素又は構成要素が存在し得ることが理解されるであろう。すなわち、これらの用語及び類似した用語は、２つの要素又は構成要素を接続するために、１つ又は複数の中間要素又は構成要素が採用されるケースを包含するものである。しかしながら、ある要素又は構成要素が別の要素又は構成要素に「直接接続」されていると言う場合、２つの要素又は構成要素が、いずれの中間の又は介在する要素又は構成要素も介さずに互いに接続されているケースのみを包含する。

[0020] 本開示は、その様々な態様、実施形態及び／又は特定の特徴若しくはサブ構成要素のうちの１つ又は複数を通じて、下記で具体的に言及される利点の１つ又は複数を明らかにすることを意図している。説明を目的とし、限定の意図はなく、具体的な詳細を開示する例示的な実施形態は、本教示による実施形態への完全な理解を提供するために、記載されている。しかしながら、本明細書に開示された具体的な詳細から逸脱する、本開示と整合性のある他の実施形態は、添付の特許請求の範囲の範囲内にある。さらに、例示的な実施形態の説明が不明瞭になるのを避けるように、よく知られている装置及び方法の説明は省略され得る。そのような方法及び装置は、本開示の範囲内にある。

[0021] 本明細書で説明されるように、インターベンション型医療デバイスの遠位端で予期可動域は、インターベンション型医療デバイスの近位端における特定の動作から予測される。蛍光透視ＦＯＶにおいて視認可能なインターベンション型医療デバイスの長さ方向に伝わる予期動作が予測され、観測動作が予期動作の範囲外であるとき、アラートが発せられる。さらに、観測された予期せぬ動作に基づいて、蛍光透視ＦＯＶの外部の起こり得る意図せぬ挙動が予測される。このシステムによって生成される警告により、血管の偶発的な損傷及び他の望ましくない結果を防ぐ。可撓性デバイスの予測動作マッピングは、インターベンション型医療デバイスの動作を追跡し、インターベンション型医療処置中に使用される医療撮像システムのＦＯＶ内に存在しないインターベンション型医療デバイスの一部についてさえも、インターベンション型医療デバイスの意図せぬ挙動を粗く位置推定するための予測概略推定位置を予測するために使用される。

[0022] 図１は、代表的な実施形態による、可撓性デバイスの予測動作マッピングのためのシステムを示している。

[0023] 図１では、制御システム１００が、インターベンション型医療デバイス１０１と共に示されている。インターベンション型医療デバイス１０１は、制御システム１００に最も近い近位端Ｐと、制御システム１００から最も遠い遠位端Ｄとを有する。遠位端Ｄは、インターベンション型医療処置において患者の解剖学的構造に最初に挿入されるインターベンション型医療デバイス１０１の部分に対応している。

[0024] 制御システム１００は、医療撮像システム１２０と、動作検出器１３０と、ワークステーション１４０と、ロボット１６０と、人工知能コントローラ１８０とを含む。ワークステーション１４０は、コントローラ１５０と、インターフェイス１５３と、モニタ１５５と、タッチ・パネル１５６とを含む。コントローラ１５０は、命令を記憶するメモリ１５１と、命令を実行するプロセッサ１５２とを含む。インターフェイス１５３は、モニタ１５５をワークステーション１４０の本体にインターフェイス接続する。人工知能コントローラ１８０は、命令を記憶するメモリ１８１と、本明細書に記載の方法の１つ又は複数の態様を実施する命令を実行するプロセッサ１８２とを含む。

[0025] インターベンション型医療デバイス１０１の特性は、予期動作と、予期せぬ及び／又は意図せぬ動作との両方に関して、インターベンション型医療デバイス１０１がどのように動くかに影響を与える。例えば、柔軟なガイドワイヤは、予期動作と、予期せぬ及び／又は意図せぬ動作との両方に関して、硬いガイドワイヤとは異なる挙動をする。したがって、インターベンション型医療デバイス１０１の特性は、意図せぬ動作を補償する基準又は複数の基準の１つとして使用される。インターベンション型医療デバイス１０１の例としては、ガイドワイヤ、カテーテル、マイクロカテーテル、及びシースが挙げられる。

[0026] 医療撮像システム１２０は、インターベンション型Ｘ線撮像システムである。インターベンション型Ｘ線撮像システムは、Ｘ線を発生させるように適合されたＸ線管と、蛍光透視画像などの時系列Ｘ線画像を取得するように構成されたＸ線検出器とを含む。そのようなＸ線撮像システムの例としては、ＰｈｉｌｉｐｓのＰｒｏｘｉＤｉａｇｎｏｓｔなどのデジタル放射線蛍光透視システム、ＰｈｉｌｉｐｓのＡｚｕｒｉｏｎなどの固定式ＣアームＸ線システム、及びＰｈｉｌｉｐｓのＶｅｒａｄｉｕｓなどの移動式ＣアームＸ線システムが挙げられる。

[0027] 医療撮像システム１２０は画像処理コントローラを備え、画像処理コントローラは、インターベンション型医療処置中に取得された蛍光透視画像を受信し、インターベンション型デバイスのセグメンテーションを出力するように構成される。画像処理コントローラは、図１に示すコントローラ１５０によって／として実施されてもよく、医療撮像システム１２０に直接統合された別のコントローラによって／として実施されてもよい。

[0028] 医療撮像システム１２０によって生成された画像のセグメンテーションは、解剖学的特徴及びインターベンション型医療デバイス１０１などの構造体の表面の表示を生成する。セグメンテーション表示は、例えば、構造体の表面上の３次元（３Ｄ）座標における点のセットと、隣接する３点のグループを接続することによって定義された三角形の平面セグメントとで構成され、構造体全体が、交差しない三角形の平面のメッシュで覆われるようにする。インターベンション型医療デバイス１０１の３次元モデルは、セグメンテーションによって取得される。また、セグメンテーションは、２値マスク、画像空間におけるインターベンション型医療デバイス１０１の（ｘ，ｙ）座標、２次元スプライン、又はワイヤフレーム・モデルとして表示される。セグメンテーションは、閾値処理、テンプレート・マッチング、アクティブ輪郭モデリング、ニューラル・ネットワーク・ベースのセグメンテーション方法、及び他のセグメンテーション方法によって計算される。Ｘ線撮像システムによって生成されたＸ線画像集合、又は超音波撮像システムで生成された３次元超音波ボリュームに対して、セグメンテーションが提供される。

[0029] ロボット１６０は、操作者の制御下で、インターベンション型医療デバイス１０１の運動を制御するために使用される。インターベンション型医療デバイス１０１の近位端における動作は、ロボット１６０がインターベンション型医療デバイス１０１を制御するとき、ロボット１６０の動作から検出される。

[0030] 人工知能コントローラ１８０は、複数のコントローラを含み、本明細書に記載の第１の人工知能及び第２の人工知能を実施する。人工知能コントローラ１８０によって実施される人工知能は、専用の訓練環境での訓練の結果得られる。人工知能コントローラ１８０は、図１の制御システム１００の他の構成要素とは全体的に分離して提供される。

[0031] 人工知能コントローラ１８０は、ニューラル・ネットワーク・コントローラであってもよく、インターベンション型医療処置中の適用段階中に使用される。人工知能コントローラ１８０は、インターベンション型医療デバイス１０１の近位端で動作情報を受信するように構成されている。また、人工知能コントローラ１８０は、医療撮像システム１２０から、蛍光透視画像におけるインターベンション型医療デバイス１０１の蛍光透視画像及び／又はセグメンテーション表示を受信するように構成されている。また、人工知能コントローラ１８０は、インターベンション型医療デバイス１０１のタイプを、例えば、モニタ１５５を介して提供されるドロップダウン・メニューから、又はインターベンション型医療デバイス１０１の自動検出から、受信される。インターベンション型医療デバイスは、インターベンション型医療デバイス１０１が撮影される画像上の患者に挿入される前に手術室のカメラで撮影された、インターベンション型医療デバイス１０１の画像から、オブジェクトの検出及び分類を使用して自動的に検出される。人工知能コントローラ１８０は、任意選択で、インターベンション型医療デバイス１０１の、蛍光透視画像及び／又はセグメンテーション表示から得られる制約に基づいて動作する。人工知能コントローラによって入力としても使用される制約には、インターベンション型医療デバイス１０１の長さ、インターベンション型医療デバイス１０１の最大許容曲率、並びに、蛍光透視ＦＯＶ内で視認可能なインターベンション型医療デバイス１０１の長さ方向に伝わる予測動作及び／又は観測される動作が含まれる。

[0032] 人工知能コントローラ１８０による第１の人工知能及び第２の人工知能の適用結果は、蛍光透視ＦＯＶ内の予測された動作と観測動作との間の不一致に基づき、蛍光透視ＦＯＶ外での座屈などの予期せぬ挙動が発生している場所の概略推定位置の予測である。蛍光透視ＦＯＶ内のデバイス動作における予期せぬ挙動を特定することにより、蛍光透視ＦＯＶの外で発生する起こり得る意図せぬ挙動の特定を補助する。人工知能コントローラ１８０による第１の人工知能及び第２の人工知能の適用の別の結果は、予測動作と観測動作との一致が、通常範囲外に外れる場合に警告を生成することである。人工知能コントローラ１８０によって実施された訓練済み人工知能を使用して生成された警告は、インターベンション型医療デバイス１０１の遠位端において予期動作が観測されないとき、インターベンション型医療デバイス１０１の近位端で過剰な力が使用されることを防ぐのに役立つ。同様に、これは、血管の切断又は穿孔、仮性動脈瘤、血管れん縮などの有害事象、及び病変の一部が偶発的に除去されること、ガイドワイヤの破損などの他の望ましくない結果を防ぐことになる。

[0033] 図示しないが、図１の制御システム１００は、ＦＯＶ外の予期せぬ挙動が予測されるときに医師にアラートを発するためのフィードバック・コントローラも含む。フィードバック・コントローラは、アラーム音、蛍光透視ディスプレイ上の印刷メッセージ、インターベンション型医療デバイス１０１の近位端への触覚フィードバック、又はロボット制御誘導などの警告を生成する。ロボット制御誘導は、インターベンション型医療デバイス１０１の近位端における動作を修正するための表示される指示を提供する。表示される指示には、例えば、ロボット制御を前方、後方、又は横方向に動かす提案、Ｃｏｒｉｎｄｕｓ ＣｏｒＰａｔｈのタッチ・パネル又はジョイスティックの動作についての提案、操縦可能シース、操縦可能ガイド・カテーテル、又は経食道心エコー（ＴＥＥ）プローブのためのノブ回転についての提案が含まれる。また、フィードバック・コントローラは、例えば、自律型ロボットに自動的に後退するように命令を送ることによって、閉ループ・システムにおけるロボット制御誘導を提供する。また、フィードバック・コントローラは、前進動作が座屈の原因となっている場合、協調制御ロボットにそれ以上前進させないためのロボット制御誘導を提供する。

[0034] 制御システム１００は、Ｘ線撮像システムのコンテキストで主に説明されているが、制御システム１００は、インターベンション型超音波撮像システム、及び、固定式と移動式との両方のインターベンション型Ｘ線撮像システムを含むか又はそれらに組み込まれる。制御システム１００は、インターベンション型血管処置を含むがこれに限定されない、様々な蛍光透視ベースのインターベンション型医療処置のために使用される。

[0035] 図２は、代表的な実施形態による、可撓性デバイスのための予測動作マッピングの方法を示している。

[0036] Ｓ２１０において、図２の方法は、人工知能を訓練することで開始される。訓練済み人工知能は、異なる入力を使用して訓練されて、異なる出力を生成する、第１の人工知能及び第２の人工知能を含む。さらに、第１の人工知能からの出力は、第２の人工知能への入力である。さらに、第１の人工知能による第１の予測又は予想は、第１の人工知能から出力され、第２の人工知能に入力され、第２の人工知能は、第１の人工知能からの第１の予測又は予想を入力として使用することに基づいて、第２の予測又は予想を出力する。インターベンション型医療デバイスの予期せぬ挙動の概略推定位置のグラウンド・トゥルース情報は人工知能の訓練に使用され、訓練済み人工知能は、人工知能がデプロイされた後に使用される。第１の人工知能及び第２の人工知能の特徴については、以下の段落で詳しく説明される。Ｓ２１０における人工知能の訓練は、人工知能がデプロイされる前に全部が行われる。一実施形態では、適応人工知能は、強化学習又は他の学習方法を介した自己改良のために、デプロイ後のフィードバックを使用する。

[0037] 図１の人工知能コントローラ１８０は、第１の訓練済み人工知能および第２の訓練済み人工知能の訓練を実施する。例えば、複数のインターベンション型医療デバイス用の複数の訓練セッションにおいて、人工知能コントローラ１８０は、インターベンション型医療デバイスの遠位端の少なくとも１つの位置を入力し、インターベンション医療デバイスの近位端の動作を検出し、インターベンション型医療デバイスの近位端における動作に起因するインターベンション型医療デバイスの遠位端に向かってインターベンション型医療デバイスに沿った動作を検出する。複数のインターベンション型医療デバイス用の複数の訓練セッションにおいて、人工知能コントローラ１８０は、インターベンション型医療デバイスのタイプ、解剖学的構造若しくは処置のタイプ、又は異なるインターベンション型医療処置によって変化する他のコンテキスト情報を入力するようにさらに構成されている。訓練におけるインターベンション型医療デバイスの遠位端の位置は、医療撮像システムによる医療画像からの導出されたものなどの画像から取得される。複数の訓練セッションは、インターベンション型医療デバイスの遠位端の少なくとも１つの位置、及びインターベンション型医療デバイスの近位端における検出動作に基づいて、インターベンション型医療デバイスの遠位端に向かってインターベンション型医療デバイスに沿った予測動作を予測することも含む。複数の訓練セッションは、インターベンション型医療デバイスの遠位端に向かってインターベンション型医療デバイスに沿った実際の動作を検出し、予測動作と実際の動作との間の差異に基づいて、ロス（損失）を決定することも含む。第１の訓練済み人工知能は、インターベンション型医療デバイスの近位端における動作と、インターベンション型医療デバイスの遠位端に向かってインターベンション型医療デバイスに沿った動作との間の関係を確立し、第１の人工知能は、予測動作と検出された実際の動作との間の差異に基づいて決定された各ロスに基づいて更新される。

[0038] Ｓ２１０における訓練の後、人工知能が、使用のために提供される。次いで、第１の人工知能は、図１の人工知能コントローラ１８０によって実施される。

[0039] インターベンション型医療処置のために、第１の人工知能は、異なるタイプのインターベンション型医療デバイス１０１についてさらに訓練される。第１の訓練済み人工知能は、任意選択で、インターベンション型医療デバイス１０１のタイプ、インターベンション型の医療処置のタイプ、解剖学的ランドマーク、又は患者の少なくとも１つの身体的特性のうちの少なくとも１つに基づいて入力し、作動する。臨床医には、インターベンション型医療デバイス１０１のタイプを選択するためのドロップダウン・メニューが提供される。インターベンション型医療デバイス１０１の遠位端近くのインターベンション型医療デバイス１０１を伝わる予測動作は、選択されたインターベンション型医療デバイスのタイプにさらに基づいて予測される。同様に、予測動作の予測は、インターベンション型医療処置における患者の解剖学的構造、医療撮像システムの配置、又はインターベンション型医療デバイス１０１の物理特性にさらに基づいてもよい。あるいは、インターベンション型医療処置の前に、例えば、インターベンション型医療デバイス１０１が患者に挿入される前に、オブジェクトの検出及び分類を行うことによって、第１の人工知能の対象となるインターベンション型医療デバイス１０１のタイプは、自動的に選択される。手術室のカメラで撮影された画像に基づいて、検出及び分類が実施される。あるいは、検出及び分類は、異なるタイプのインターベンション型医療デバイスを検出し、分類するために機械学習によって訓練されたモデルを使用して実施される。モデルの作成に使用される機械学習の訓練データセットは、複数の異なるインターベンション型医療デバイスのＸ線画像を含む訓練インスタンスを含む。訓練データは、複数の異なるインターベンション型医療デバイスの遠位端における通常動作又は予期動作のみを含み、これにより、人工知能は、異なるインターベンション型医療デバイスの遠位端における通常動作を予測することを学習することになり、推論中に、後続の観測動作が予測された通常動作と類似していない場合、アラーム又はアラートが生成され、発行される。訓練データは、ＦＯＲＳなどの形状検知技術を使用して収集される。ＦＯＲＳは、デバイスの長さに沿って３Ｄ形状情報を提供するので、データが予期動作を含むこと、及び座屈などの予期せぬ動作を含んでいないことを確認することを可能にする。

[0040] インターベンション型医療処置中の動作において、第１の人工知能は、第１の人工知能がフォアショートニングを予期するべきときを学習することを可能にするための、ターゲット領域又は解剖学的構造、周囲の解剖学的構造のセグメンテーション、ターゲット領域を伴うＣアームの姿勢などの追加のコンテキスト情報にも基づいて実施される。さらに、第１の人工知能は、蛍光透視画像におけるインターベンション型医療デバイス１０１の長さ、又はインターベンション型医療デバイス１０１の最大許容曲率などの、出力に対する制約を受けとる。

[0041] 第１の人工知能は、畳み込みニューラル・ネットワーク、エンコーダ－デコーダ・ネットワーク、敵対的生成ネットワーク、カプセル・ネットワーク、回帰ネットワーク、強化学習エージェントなどのニューラル・ネットワークであってよく、インターベンション型医療デバイス１０１の近位端における動作情報、及び初期時間ｔにおける蛍光透視画像を使用して、蛍光透視視野（ＦＯＶ）内で視認可能なインターベンション型医療デバイス１０１の長さ方向に伝わる動作又は動作場を予測する。時間ｔ及びｔ＋ｎにおける蛍光透視画像間の観測動作又は動作フィールドは、蛍光透視ＦＯＶにおいて観測され得る動作の予期範囲を学習するために、第１の人工知能によって予測された動作と比較される。時間ｔ＋ｎは、近位端における特定の動作が完了した後であってもよく、近位端における特定の動作が発生しているときなどの、別の任意の時間であってもよい。平均二乗誤差、平均絶対誤差、若しくはＨｕｂｅｒロス、又は２つの運動ベクトル（Ｒ^２、Ｒ^３）間の差異を算出する任意のロス、例えば測地線ロスなどのロス（損失）関数を計算することによって、予測運動及び観測される（グランウド・トゥルース）運動が比較される。動作は、ベクトル・パラメータ表示、非ベクトル・パラメータ表示、及び／又は動作フィールドで表される。パラメータ表示は、オイラー角、４元数、行列、指数写像、並びに／又は、回転及び／若しくは移動を表す角度軸（例えば、移動及び回転の方向及び大きさを含む）の形態であり得る。

[0042] Ｓ２２０において、図２の方法は、インターベンション型医療デバイスの近位端における動作を特定することを含む。近位端における動作は、前方への移動、横方向の移動、及び軸に沿った回転を含むことができる。近位端における動作は、使用者又はロボットによって引き起こされる動作であり、使用者又はロボットがインターベンション型医療デバイス１０１を制御するために引き起こす任意の動作を含む。インターベンション型デバイスの近位端の動作情報は、検知デバイスから取得される。そのような動作情報を取り込み提供することができる検知デバイスの例としては、デバイス・トラッカ、慣性測定装置（ＩＭＵ）センサ、光学追跡システムとしてはたらく単眼式若しくはステレオ式カメラ・システム、リニア・エンコーダ、トルク・エンコーダ、又は光学エンコーダが挙げられる。デバイス・トラッカの例としては、光学追跡検知システム、光学追跡システム、電磁追跡システム、又は光学形状検知機構が挙げられる。ＩＭＵセンサの例としては、加速度計、ジャイロスコープ、及び場合によっては磁力計などの構成要素によって、角速度、力、及び場合によっては磁場を測定するセンサが挙げられる。リニア・エンコーダの例としては、光学リニア・エンコーダ、磁気リニア・エンコーダ、及び容量誘導リニア・エンコーダが挙げられる。

[0043] Ｓ２２５において、図２の方法は、インターベンション型医療デバイスの医療画像集合を取得することを含む。Ｓ２２５で取得される医療画像集合は、医療撮像システム１２０によって取得される。Ｓ２２５で取得された医療画像集合は、インターベンション型医療デバイス１０１の遠位端の画像から、インターベンション型医療デバイス１０１の遠位端の少なくとも１つの位置を取得するために使用される。医療画像集合は、医療撮像システムの視野内にあるインターベンション型医療デバイスの一部の複数の蛍光透視画像である。Ｓ２２５で取得された医療画像集合は、遠位端近くのインターベンション型医療デバイスの一部である。図２に基づく実施形態は、インターベンション型医療デバイスのセグメンテーション表示は、Ｓ２３０の前、例えば、Ｓ２３０において適用される第１の人工知能への入力として使用されるときに、インターベンション型医療デバイスの遠位端の画像を取得することを含む。後述する図４Ｂでは、遠位端の画像は、蛍光透視フレームｆ_ｔとして表されている。医療画像集合は、インターベンション型医療デバイス１０１の遠位端を含む単一又は時系列の蛍光透視画像を含む。閾値処理、テンプレート・マッチング、アクティブ輪郭モデリング、マルチスケール隆起強調フィルタ、又は深層学習をベースとしたセグメンテーション・アルゴリズムなどの方法を使用して、画像処理コントローラによって、医療画像集合は自動的にセグメンテーションされる。

[0044] Ｓ２３０において、図２の方法は、訓練済み第１の人工知能を、インターベンション型医療デバイスの近位端における特定された動作、及びインターベンション型医療デバイスの近位端に動作が適用された時点の、インターベンション型医療デバイスの遠位端の医療画像に適用することを含む。訓練済み第１の人工知能は、インターベンション型医療デバイスの近位端において適用される動作と、インターベンション型医療画像集合において観測された、インターベンション型医療デバイスの遠位端において受ける動作との間の相関を発見するように訓練された人工知能である。

[0045] Ｓ２４０では、第１の人工知能は、Ｓ２２０においてインターベンション型医療デバイス１０１の近位端において特定された動作と、Ｓ２２５において遠位端の近くのインターベンション型医療デバイスの画像とに基づいて、遠位端に向かってインターベンション型医療デバイスに沿った動作を予測する。第１の人工知能は、Ｓ２２５において、初期状態では座屈などの予期せぬ／意図せぬ挙動を伴わないインターベンション型医療デバイス１０１の画像を網羅するインターベンション型医療デバイスのセグメンテーション表示の蛍光透視画像を受けとることによって実施される。第１の人工知能は、インターベンション型医療処置の前に訓練されているので、第１の人工知能は、セグメンテーション表示からのインターベンション型医療デバイスの初期情報を、通常の又は予期される近位－遠位動作マッピングを決定するための基準として使用する。

[0046] Ｓ２５０において、図２の方法は、医療撮像システムからインターベンション型医療デバイスの画像を取得することを含む。Ｓ２５０で取得されたインターベンション型医療デバイスの画像は、インターベンション型医療デバイスの遠位端の画像及び／又はインターベンション型医療デバイスの遠位端近くの画像である。

[0047] Ｓ２５５において、図２の方法は、医療撮像システムによる画像内でインターベンション型医療デバイスをセグメンテーションすることを含む。セグメンテーションの結果、インターベンション型医療デバイスのセグメンテーション表示が得られる。Ｓ２５５は、任意選択であり、また、Ｓ２２５で取得され、Ｓ２３０で訓練済み第１の人工知能に入力される、遠位端近くのインターベンション型医療デバイスの画像に対して実行される。

[0048] Ｓ２５７では、医療撮像システムからの画像から実際の動作が検出される。

[0049] Ｓ２６０では、インターベンション型医療デバイスの検出された実際の動作が、インターベンション型医療デバイスの予測された動作と比較される。図２においてＳ２６０で比較されたインターベンション型医療デバイスの予測動作は、Ｓ２４０で予測された動作である。

[0050] Ｓ２７０では、実際の動作が予測動作から乖離しているかの判定が行われる。乖離は、２値分類プロセスによって特定されてもよく、或いは、１つ若しくは複数の閾値、スコア付けアルゴリズム、又は、インターベンション型医療デバイスの実際の動作が、予測動作による予測の範囲内にあるかを判定する他のプロセスに基づくものでもあり得る。

[0051] 実際の動作が予測動作と乖離しない場合（Ｓ２７０＝Ｎｏ）、アラームは生成されない。実際の動作が予測動作と乖離している場合（Ｓ２７０＝Ｙｅｓ）、Ｓ２８０においてアラームが生成される。

[0052] さらに、Ｓ２７１において、図２の方法は、インターベンション型医療デバイスからの画像の視野外のインターベンション型医療デバイスを伝わる動作の概略推定位置を予測することを含む。さらに、第２の人工知能は、予測された概略推定位置の予測信頼度を予測する。Ｓ２７１で予測される概略推定位置は、本明細書に記載の第２の人工知能によって予測される。第２の人工知能は、人工知能コントローラ１８０によって実施され、位置推定ニューラル・ネットワークを実施する。第２の人工知能は、蛍光透視画像から予測デバイス動作及び観測デバイス動作を受けとるように構成される。Ｓ２１０で第２の人工知能に、医療用撮像システムのＦＯＶ外で発生する動作の概略推定位置を予測するように訓練させるデータは、ＦＯＲＳなどの形状検知技術を使用して取得される。

[0053] 第２の人工知能は、畳み込みニューラル・ネットワーク、エンコーダ－デコーダ・ネットワーク、敵対的生成ネットワーク、カプセル・ネットワーク、回帰ネットワーク、強化学習エージェントなどの訓練済みニューラル・ネットワークによって実施される。第２の人工知能は、予測動作及び遠位端で観測動作を入力として使用して、座屈などの予期せぬ及び／又は意図せぬ挙動が蛍光透視ＦＯＶ外で発生しているか、並びにどこで発生しているかを予測し、その予測をＦＯＲＳからのものなどのＳ２１０における訓練で取得されるグラウンド・トゥルース推定位置のグラウンド・トゥルース情報と比較する。平均二乗誤差、平均絶対誤差、又はＨｕｂｅｒロスなどのロス関数を計算することによって、予測推定位置とグラウンド・トゥルース情報によるグラウンド・トゥルース推定位置とが比較される。第２の人工知能は、予期せぬ／意図せぬ挙動が予測される場合、警告を生成する。警告は、本明細書に記載のやり方で予測された意図せぬ挙動の有無に基づいて生成される。

[0054] Ｓ２８１では、画像のＦＯＶ外のインターベンション型医療デバイスを伝わる、予測された概略推定位置についての表示が生成される。

[0055] 図３は、別の代表的な実施形態による、可撓性デバイスの予測動作マッピングのための別の方法を示している。

[0056] Ｓ３１０において、図３の方法は、インターベンション型医療デバイスの近位端において検出された動作を入力することを含む。

[0057] Ｓ３２０において、インターベンション型医療デバイスの遠位端の少なくとも１つの位置が検出される。

[0058] Ｓ３３０において、第１の人工知能は、遠位端に向かってインターベンション型医療デバイスに沿った動作を予測するように訓練される。

[0059] Ｓ３６０において、遠位端に向かってインターベンション型医療デバイスに沿った動作が、近位端における動作と、インターベンション型医療デバイスの近位端において動作を適用する前の、インターベンション型医療デバイスの遠位端の医療画像とに基づいて予測される。

[0060] Ｓ３７０において、遠位端に向かってインターベンション型医療デバイスに沿った実際の動作が検出される。実際の動作は、医療撮像システムの視野内にあるインターベンション型医療デバイスの一部の医療画像又はセグメンテーション表示から検出される。

[0061] Ｓ３８０において、図３の方法は、インターベンション型医療デバイスの遠位端に向かって予測動作と実際の動作との間の差異に基づくロス関数を決定することを含む。

[0062] Ｓ３８５において、第１のニューラル・ネットワークは、決定されたロス関数に基づいて更新され、プロセスはＳ３３０に戻る。

[0063] 図３の実施形態では、第１のニューラル・ネットワークは、第１のニューラル・ネットワークが訓練される際に、Ｓ３８５において更新される。一実施形態では、作動中に生成されたデータが、通常の又は予期される近位－遠位動作マッピングを表し、グラウンド・トゥルースとして高い信頼度で使用できる場合、第１のニューラル・ネットワークは、第１のニューラル・ネットワークが作動中になった後にこのデータを使用して、Ｓ３８５において更新される。

[0064] 図４Ａは、代表的な実施形態による、可撓性デバイスの予測動作マッピングのための混成プロセスを示している。

[0065] 図４Ａにおいて、第１の人工知能４１０Ａ及び第２の人工知能４１５Ａは、インターベンション型医療デバイスの近位端及び遠位端における動作を含む入力に基づく、第１のロス関数（ロス関数＃１）及び第２のロス関数（ロス関数＃２）を使用して訓練される。訓練中の第１の人工知能４１０Ａ及び第２の人工知能４１５Ａへの入力は、以下に説明するように、図４Ｂの対応する特徴について例示のために説明される。

[0066] 図４Ｂは、代表的な実施形態による、可撓性デバイスの予測動作マッピングのための別の混成プロセスを示している。

[0067] 図４Ｂは、近位－遠位予測動作マッピングのプロセス及びシステムを模式的に表している。ガイドワイヤなどのインターベンション型医療デバイス４０１、及び蛍光透視Ｘ線医療撮像システムなどの医療撮像システム４２０は、制御環境におけるものなどの人工知能の訓練に使用される。インターベンション型医療デバイス４０１は、医療撮像において視認可能な第１の領域と、医療撮像において視認可能ではない第２の領域とを含む。第１の領域及び第２の領域は、医療撮像システム４２０のＦＯＶが変化するのにつれて動作中に変化する。動作中、医療撮像の視野が変化するとき、第１の領域及び第２の領域が変化する。第１の人工知能は、インターベンション型医療デバイス４０１の近位端における動作と、インターベンション型医療デバイス４０１の遠位端における結果的な動作との間の関係を確立するように、インターベンション型医療デバイス１０１の近位端における動作、及びインターベンション型医療デバイス１０１の近位端に動作が適用された時点でのインターベンション型医療デバイス１０１の遠位端の医療画像を使用することと、遠位端における結果的な動作を予測し、その動作を遠位端における観測動作と比較することとによって、訓練される。第２の人工知能は、遠位端において観測動作及び予測動作を使用して、インターベンション型医療デバイス４０１の意図せぬ挙動の概略推定位置を予測することと、意図せぬ挙動の予測された概略推定位置を、意図せぬ挙動のグラウンド・トゥルース概略推定位置と比較することとによって、訓練される。第２のニューラル・ネットワーク４１５Ｂの訓練は、インターベンション型医療デバイスの遠位端の概略推定位置のグラウンド・トゥルース情報を使用し、これにより、訓練による学習は、第２のニューラル・ネットワーク４１５Ｂがデプロイされた後、使用される。

[0068] 図４Ｂにおいては、蛍光透視フレームｆ_ｔにおけるインターベンション型医療デバイス４０１のセグメンテーション、４２０は、インターベンション型医療デバイス４０１の近位端で適用される動作と共に、第１のニューラル・ネットワーク４１０Ｂに入力として提供される。念のため、図４Ｂのインターベンション型医療デバイス４０１のセグメンテーションは、医療撮像システムにおける視野（ＦＯＶ）内のインターベンション型医療デバイス４０１の一部を含む第１の領域について行われる。インターベンション型医療デバイス４０１の別の一部は、医療撮像システムの視野（ＦＯＶ）内にない。第１のニューラル・ネットワーク４１０Ｂは、インターベンション型医療デバイス４０１のセグメンテーション表示の長さ方向に伝わる、ポイントごとの動作推定を出力する。ポイントごとの動作推定は、後続の蛍光透視フレームｆ_ｔ＋ｎにおけるインターベンション型医療デバイス４０１のセグメンテーション表示から計算される観測に対して比較される。言い換えると、図４Ｂにおける第１のニューラル・ネットワーク４１０Ｂは、インターベンション型医療デバイス４０１の近位端における動作が、結果としてどのようにインターベンション型医療デバイス４０１の遠位端に沿った点における動作になるかの相関を学習する。

[0069] また、図４Ｂにおいては、インターベンション型医療デバイスのセグメンテーション表示の長さ方向に伝わる予測されたポイントごとの動作推定、及びセグメンテーション表示で観測された実際の動作は、第２のニューラル・ネットワーク４１５Ｂに入力される。念のため、第２のニューラル・ネットワーク４１５Ｂへの入力は、医療撮像システムの視野（ＦＯＶ）におけるインターベンション型医療デバイス４０１の一部を含む第１の領域におけるインターベンション型医療デバイス４０１の推定動作及び実際の動作についてのものである。第２のニューラル・ネットワーク４１５Ｂの出力は、医療撮像システムの視野外のインターベンション型医療デバイス４０１の一部を含む第２の領域における意図せぬ動作の概略推定位置の予測である。第２の領域において推定された概略推定位置は、形状検知技術などの機構から取得される第２の領域におけるグラウンド・トゥルース推定位置に対して比較される。例えば、Ｐｈｉｌｉｐｓ社によるＦｉｂｅｒ Ｏｐｔｉｃ ＲｅａｌＳｈａｐｅ（ＦＯＲＳ）などの形状検知技術を介して、グラウンド・トゥルース推定位置が取得される。

[0070] 上述のように、図４Ｂでは、第１のニューラル・ネットワーク４１０Ｂが、インターベンション型医療デバイス４０１の近位端における動作の入力と、インターベンション型医療デバイス４０１のセグメンテーション表示とに基づいて、遠位端に向かってインターベンション型医療デバイス４０１の長さ方向に沿ったポイントごとの動作推定を出力するように訓練される。第１のニューラル・ネットワーク４１０Ｂの訓練は、インターベンション型医療デバイス４０１の遠位端における予測動作と観測動作との間の差異を反映する第１のロス関数（ロス関数１）をフィードバックすることに基づいている。第２のニューラル・ネットワーク４１５Ｂは、ポイントごとの動作推定及び医療撮像システムの視野内で実際に観測可能な動作に基づいて、インターベンション型医療デバイス４０１の意図せぬ挙動の概略推定位置を出力するように訓練される。第２のニューラル・ネットワーク４１５Ｂの訓練は、概略推定位置の出力と意図せぬ挙動のグラウンド・トゥルース推定位置との間の差異を反映する第２のロス関数（ロス関数２）をフィードバックすることに基づいている。図４Ｂの訓練中、意図せぬ挙動の予測された概略推定位置は、例えば光学形状検知による実際の推定位置を使用して、第２のロス関数を介して確定される。第２のニューラル・ネットワークが許容可能な精度に訓練された後、実際の推定位置が使用されないときであっても、訓練中の予測推定位置の使用が、動作中に適用される。結果として、インターベンション型医療デバイス４０１の意図せぬ挙動を予測し、粗く位置特定することができる。

[0071] 図５は、代表的な実施形態による、可撓性デバイスの予測動作マッピングの方法を示している。

[0072] 図５では、第１の人工知能及び第２の人工知能の訓練について説明される。Ｓ５１０において、インターベンション型医療デバイスの近位端で観測動作が、第１のニューラル・ネットワークに第１の入力として入力される。

[0073] Ｓ５２０において、遠位端でのインターベンション型医療デバイスのセグメンテーションが、第１のニューラル・ネットワークに第２の入力として入力される。

[0074] Ｓ５２５では、第１のニューラル・ネットワークがＳ５１０及びＳ５２０からの入力に適用される。

[0075] Ｓ５３０では、インターベンション型医療デバイスの遠位端における予測動作が第１のニューラル・ネットワークから出力される。

[0076] Ｓ５４０では、インターベンション型医療デバイスの遠位端において観測動作が、インターベンション型医療デバイスの遠位端における予測動作と比較されて、第１のロス関数を生成する。

[0077] Ｓ５４５では、第１のニューラル・ネットワークが更新される。プロセスが終了するまで、Ｓ５２５に戻って第１のニューラル・ネットワークを訓練するプロセスが継続する。

[0078] Ｓ５５０では、第１のニューラル・ネットワークの出力からインターベンション型医療デバイスの遠位端における予測動作が、第２のニューラル・ネットワークに第１の入力として入力される。

[0079] Ｓ５６０では、インターベンション型医療デバイスの遠位端で観測動作が、第２のニューラル・ネットワークに第２の入力として入力される。

[0080] Ｓ５６５では、第２のニューラル・ネットワークが適用される。

[0081] Ｓ５７０では、撮像デバイスの視野外における意図せぬ挙動の概略推定位置が、第２のニューラル・ネットワークによって出力される。

[0082] Ｓ５８０では、インターベンション型医療デバイスの意図せぬ挙動のグラウンド・トゥルース推定位置が、意図せぬ挙動の予測された概略推定位置と比較されて、第２のロス関数を生成する。

[0083] Ｓ５８５では、第２のロス関数がフィードバックされて、第２のニューラル・ネットワークを更新する。Ｓ５８５の後、第２のニューラル・ネットワークを訓練させるプロセスは、Ｓ５６５に戻る。

[0084] 図６Ａは、代表的な実施形態による、可撓性デバイス用の予測動作マッピングのための混成プロセスを示す図である。

[0085] 図６Ａにおいて、第１の人工知能６１０Ａ及び第２の人工知能６１５Ａは、本明細書に記載の出力を生成する動作で使用される。動作中の第１の人工知能６１０Ａ及び第２の人工知能６１５Ａへの入力は、以下に説明するように、図６Ｂの対応する特徴について例示として説明される。

[0086] 図６Ｂは、代表的な実施形態による、可撓性デバイス用の予測動作マッピングのための別の混成プロセスを示している。

[0087] 図６Ｂにおいて、別の近位－遠位予測動作マッピングのプロセス及びシステムが概略的に表されている。図６Ｂの混成プロセス及びシステムは、インターベンション型医療処置中に使用される。図６Ｂの混成プロセスと同様に、任意の蛍光透視フレームｆ_ｔについて、医療撮像の視野内の第１の領域におけるインターベンション型医療デバイス６０１のセグメンテーションが、インターベンション型医療デバイス６０１の近位端において適用される動作と共に、第１のニューラル・ネットワーク６１０Ｂへの入力として提供される。第１のニューラル・ネットワーク６１０Ｂは、インターベンション型医療デバイス６０１のセグメンテーション表示の長さ方向に沿ったポイントごとの動作推定を出力する。第１のニューラル・ネットワーク６１０Ｂによる推定が、後続の蛍光透視フレームｆ_ｔ＋ｎにおける医療撮像システムの視野内の第１の領域におけるインターベンション型医療デバイス６０１のセグメンテーション表示から計算された観測に対して比較される。２つの動作、すなわち推定動作及び観測動作は、２つの動作が一致しない場合に、蛍光透視ＦＯＶ外の第２の領域において意図せぬ動作があり得る場所の概略推定位置を予測する第２のニューラル・ネットワーク６１６Ｂの入力となる。

[0088] 図６Ｃは、代表的な実施形態による、可撓性デバイスの予測動作マッピングのための方法を示している。

[0089] 図６Ｃでは、インターベンション型医療デバイスの近位端において観測動作が、Ｓ６１０において第１のニューラル・ネットワークに第１の入力として入力される。

[0090] Ｓ６２０において、インターベンション型医療デバイスの遠位端におけるインターベンション型医療デバイスのセグメンテーションが、第１のニューラル・ネットワークに第２の入力として入力される。セグメンテーション表示は、蛍光透視画像におけるインターベンション型医療デバイスのセグメンテーション表示の２値マスクとして提供される。

[0091] Ｓ６２５において、Ｓ６１０での第１の入力とＳ６２０での第２の入力に対して、第１のニューラル・ネットワークが適用される。

[0092] Ｓ６３０において、インターベンション型医療デバイスの遠位端における予測動作が、予測動作として第１のニューラル・ネットワークから出力される。第１のニューラル・ネットワークは、訓練済みのエンコーダ－デコーダ・ネットワークであってもよい。予測動作は、遠位端に向かってインターベンション型医療デバイスの長さ方向に沿った動作であり、訓練済みエンコーダ－デコーダ・ネットワークによって出力される。

[0093] Ｓ６５０において、第１のニューラル・ネットワークから出力されるインターベンション型医療デバイスの遠位端における予測動作が、第２のニューラル・ネットワークに第１の入力として入力される。

[0094] Ｓ６６０において、インターベンション型医療デバイスの遠位端で観測動作が、第２のニューラル・ネットワークに第２の入力として入力される。第２のニューラル・ネットワークは、訓練済み畳み込みニューラル・ネットワークであってもよい。

[0095] Ｓ６６５において、第２のニューラル・ネットワークが、Ｓ６５０での予測動作と、Ｓ６６０での観測動作とに適用される。

[0096] Ｓ６７０において、第２のニューラル・ネットワークは、医療撮像システムのＦＯＶ外の意図せぬ挙動の概略推定位置を出力する。第２のニューラル・ネットワークは、医療撮像システムのＦＯＶ内のインターベンション型医療デバイスの遠位端における予測動作と観測動作との間の不一致に基づいて、蛍光透視ＦＯＶ外のインターベンション型医療デバイス１０１における予期せぬ／意図せぬ挙動を位置特定する。予測は、上記のアラームを生成するのに使用される。

[0097] 上記の実施形態で説明されたように、インターベンション型医療デバイスの近位端において適用される動作と、インターベンション型医療デバイスの遠位端において観測される動作との間の関係又はマッピングを学習するために、１つ又は複数の深層学習アルゴリズムが訓練される。撮影された入力動作は、手動動作又はロボット動作若しくはロボット支援動作などの機械的動作を含み、回転及び／又は移動であり得る。代替実施形態では、深層学習アルゴリズムは、複数の点における速度場の近位－遠位マッピング、加速度、慣性、空間構成、接線（角度）動作及び直線速度又は直線加速度も学習する。深層学習アルゴリズムによる学習は、インターベンション型医療デバイスの特定のパラメータを考慮する。処置の間、近位端においてインターベンション型医療デバイスに適用される動作、及びインターベンション型医療デバイスの近位端に動作が適用された時点でのインターベンション型医療デバイスの遠位端の医療画像が与えられると、制御システム１００は、遠位端におけるインターベンション型医療デバイスの動作を推定する。制御システム１００は、遠位端における予測されたデバイス動作と観測デバイス動作との差異を、蛍光透視ＦＯＶ外で発生する異なる観測されていないデバイス挙動に関連付けることも学習する。制御システム１００は、次いで、医療撮像システムのＦＯＶ外のインターベンション型医療デバイスにおける起こり得る意図せぬ挙動について医師にアラートを出し、それにより、起こり得る血管損傷又は他の望ましくない結果を防止する。

[0098] 一実施形態では、上記の教示と一貫して、深層学習モデルは、インターベンション型医療デバイス１０１の遠位端における動作を、インターベンション型医療デバイス１０１のセグメンテーション表示の２次元座標から、又は蛍光透視像のインターベンション型医療デバイスのセグメンテーション表示に適合するスプラインの２次元座標から、予測するように訓練される。

[0099] 別の実施形態では、例えば、長短期記憶（ＬＳＴＭ）ネットワーク、時間畳み込みネットワーク（ＴＣＮ）、又は変換器などの再帰型ニューラル・ネットワーク（ＲＮＮ）アーキテクチャは、例えば、フレームｔ＿ｎにおける動作予測をより良好に通知するために、複数の蛍光透視フレーム（ｔ＿０～ｔ＿ｎ）におけるインターベンション型医療デバイス１０１のセグメンテーション表示を観測するために使用される。

[00100] 別の実施形態において、深層学習モデルは、フレームｔ＿ｎのみにおいて、又はフレームｔ＿０～ｔ＿ｎにおいてのいずれかでインターベンション型医療デバイスのセグメンテーションから得られる、フレームｔ＿（ｎ＋１）におけるインターベンション型医療デバイスのセグメンテーション表示の位置を予測するように訓練される。予測は、蛍光透視フレームｔ＿（ｎ＋１）で観測されるデバイスと直接比較される。

[00101] 別の実施形態では、３次元モデル、又は知られているインターベンション型医療デバイス１０１のパラメータ、規則、若しくは特性のセットが、インターベンション型医療デバイス１０１の動作又は速度の予測を通知するために使用される。

[00102] 別の実施形態では、深層学習アルゴリズムが、デバイス固有のパラメータの近位－遠位マッピングを学習するように訓練される。デバイス固有のパラメータの例としては、複数の点にわたる速度場、加速度、慣性、空間構成、及び接線／角度の、及び直線の速度又は加速度が挙げられる。本実施形態では、予測されたパラメータが、測定されたパラメータに対して比較される。

[00103] 別の実施形態では、機械学習アルゴリズムが、予測された動作情報及び観測動作情報を使用して、観測結果を正常又は異常として分類する。機械学習アルゴリズムの例としては、１クラスのサポート・ベクタ・マシン（ＳＶＭ）分類又は深層学習ベースの分類が挙げられる。本実施形態では、異常が検出されたとき、警告が生成される。

[00104] 別の実施形態では、深層学習ネットワークは、インターベンション型医療デバイスの遠位端の超音波画像から、インターベンション型医療デバイスの遠位端における動作を予測するように訓練される。深層学習ネットワークへの入力は、超音波画像、超音波におけるインターベンション型医療デバイスのセグメンテーション表示の２値マスク、超音波におけるインターベンション型医療デバイス１０１のセグメンテーション表示の２次元（ｘ，ｙ）座標、又は超音波におけるインターベンション型医療デバイス１０１のセグメンテーション表示に適合するスプラインの２次元（ｘ，ｙ）座標から提供される。

[00105] さらに別の実施形態では、深層学習ネットワークは、訓練中のグラウンド・トゥルースとの一致、又は信頼度若しくは不確実性を決定する任意の他の方法に基づいて、インターベンション型医療デバイスの遠位端における予測動作の信頼度をさらに学習するように訓練される。制御システム１００は、遠位端における確かな推定を生成するインターベンション型医療デバイス１０１の近位端における入力動作のタイプを学習するか、又は、確かな動作予測に関連付けられた蛍光透視像のタイプを学習する。例えば、制御システム１００は、フォアショートニングを示す像が、遠位端において非常に確かな動作推定を生成しないことを学習する。第１の深層学習ネットワークによって予測された遠位端における予測動作の信頼度は、医療撮像システムの視野外のインターベンション型医療デバイス１０１を伝わる意図せぬ挙動の概略推定位置を予測するために第２のネットワークに追加的に入力される。同様に、第２の深層学習ネットワークは、医療撮像システムの視野外のインターベンション型医療デバイス１０１を伝わる意図せぬ挙動の予測された概略推定位置の信頼度をさらに予測するように訓練される。

[00106] さらに別の実施形態では、血管内ロボット・システムは、カテーテルの先端部で加えられている力を測定して、力の測定値をコンソールに表示するか、又は力の測定値を制御ループに組み込む。この機能は、継続して力が加わっている危険性を臨床医にアラートとして出し、これにより、穿孔又は血管壁の他の損傷の可能性を減少させる。本実施形態では、座屈などの異常な又は意図せぬデバイス挙動の検出は、ロボット・システムの安全機構又は制御ループのいずれかに組み込まれる。例えば、エンド・エフェクタ（遠位部）において座屈が予測された場合、血管壁穿孔の危険性が高く、ロボット・アクチュエータが減速する、又は緊急停止がトリガされることになる。使用者にコンソール上で通知が行われ、是正処置を行うように求められる。あるいは、制御システム１００は、半自律型ロボット又は完全自律型ロボットの場合、自動的にエンド・エフェクタを引き出し、異なる方向に操縦し、カニューレ挿入の再アプローチを行う。ガイドワイヤの医療部に座屈が発生した場合、制御システム１００は、予めプログラムされた規則又は複雑な予測モデルのいずれかを使用して、バックグラウンドで、ゲイン及びモータ速度を含むＰＩＤコントローラ・パラメータなどのコントローラ１５０の設定を調整する。コントローラの調整が失敗する、又は効果がない場合にのみ、使用者に通知が行われるので、操作者の過負荷、認知負担、ロボット・システムに対する信頼の低下が回避される。ロボット・システムは、操作者の嗜好も学習し、特定の領域で、特定の強度若しくは頻度で、又は特定の期間、座屈が発生した場合にのみ、操作者に通知する。

[00107] さらに別の実施形態では、Ｃｏｒｉｎｄｕｓ ＣｏｒＰａｔｈを制御するものなどのタッチ・パネル若しくはジョイスティックの操作、又は、操縦可能シース、操縦可能ガイド・カテーテル、ＴＥＥプローブを制御するものなどのノブ回転の形態の、インターベンション型医療デバイス１０１の近位端における複雑な入力が、組み込まれている。制御システム１００がインターベンション型医療デバイスにおいて意図せぬ挙動を検出した場合、制御システム１００は、入力デバイスに関連する意図せぬ挙動を排除するための機構を提案する。入力デバイスの例としては、タッチ・パネル、ジョイスティック、及びノブが挙げられる。

[00108] 図７は、別の代表的な実施形態による、可撓性デバイスの予測動作マッピングのための方法が実施されるコンピュータ・システムを示している。

[00109] 図７のコンピュータ・システム７００は、通信デバイス又はコンピュータ・デバイスの構成要素の完全なセットを示している。しかしながら、本明細書に記載の「コントローラ」は、メモリとプロセッサとの組み合わせによるものなどの、図７の構成要素のセットよりも少ない構成要素のセットで実施される。コンピュータ・システム７００は、本明細書の可撓性デバイスの予測動作マッピングのためのシステムにおける１つ又は複数の構成装置の一部又は全ての要素を含むが、そのような装置は、コンピュータ・システム７００について説明された要素の１つ又は複数を必ずしも含まず、記載されていない他の要素を含む。

[00110] 図７を参照すると、コンピュータ・システム７００は、コンピュータ・システム７００に、本明細書に開示された方法又はコンピュータ・ベースの機能のいずれかを実行させる実行可能なソフトウェア命令のセットを含む。コンピュータ・システム７００は、スタンドアロン・デバイスとして動作するか、又は、例えば、ネットワーク７０１を使用して他のコンピュータ・システム若しくは周辺デバイスに接続される。実施形態では、コンピュータ・システム７００は、アナログ－デジタル変換器を介して受信されたデジタル信号に基づいて論理処理を実行する。

[00111] ネットワーク展開において、コンピュータ・システム７００は、サーバの能力内で、或いはサーバ－クライアント・ユーザ・ネットワーク環境のクライアント・ユーザ・コンピュータとして、又はピア・ツー・ピア（若しくは分散）ネットワーク環境のピア・コンピュータ・システムとして動作する。コンピュータ・システム７００は、図１のコントローラ１５０、据え置き型コンピュータ、モバイル・コンピュータ、パーソナル・コンピュータ（ＰＣ）、ノート型コンピュータ、タブレット・コンピュータ、又はそのマシンが取るべき措置を指定する（シーケンス又はその他の）ソフトウェア命令のセットを実行することが可能な任意の他のマシンなどの、様々なデバイスとして実施するか、又はそれらに組み込むこともできる。コンピュータ・システム７００は、同様に、追加のデバイスを含む統合システム内にあるデバイスとして、又はその中に組み込むことができる。一実施形態では、コンピュータ・システム７００は、音声、映像、又はデータ通信を提供する電子デバイスを使用して実施することができる。さらに、コンピュータ・システム７００は、単数で図示されているが、用語「システム」は、１つ又は複数のコンピュータ機能を実行するソフトウェア命令のセット又は複数のセットを個別に又は合わせて実行するシステム又はサブシステムの任意の複数体も含むとも見なされるべきである。

[00112] 図７に図示のように、コンピュータ・システム７００は、プロセッサ７１０を含む。プロセッサ７１０は、図１のコントローラ１５０のプロセッサ１５２の代表的な例と考えられ、本明細書に記載の方法及びプロセスの一部又は全ての態様を実施する命令を実行する。プロセッサ７１０は、有形であり、非一時的である。本明細書で使用する場合、「非一時的」という用語は、ある状態の不変の特性としてではなく、ある期間続くことになる状態の特性として解釈されるべきである。「非一時的な」という用語は、搬送波若しくは搬送信号の特性、又は任意の場所、任意の時間に一時的にのみ存在する他の形態などの一過性の特性であることを特に否定している。プロセッサ７１０は、製品及び／又は機械部品である。プロセッサ７１０は、本明細書の様々な実施形態で説明される機能を実行するソフトウェア命令を実行するように構成されている。プロセッサ７１０は、汎用プロセッサであってもよく、又は特定用途向け集積回路（ＡＳＩＣ）の一部であってもよい。プロセッサ７１０は、マイクロプロセッサ、マイクロコンピュータ、プロセッサ・チップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、ステート・マシン、又はプログラマブル論理デバイスであってもよい。プロセッサ７１０は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・ゲート・アレイ（ＰＧＡ）、又はディスクリート・ゲート及び／若しくはトランジスタ論理を含む別のタイプの回路を含む論理回路であってもよい。プロセッサ７１０は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、テンソル・プロセッシング・ユニット（ＴＰＵ）、又は何らかの組み合わせであってもよい。さらに、本明細書で記載される任意のプロセッサは、複数のプロセッサ、並列プロセッサ、又はその両方を含む。複数のプロセッサは、単一のデバイス又は複数のデバイスに含まれ、又は連結される。

[00113] 本明細書で使用される「プロセッサ」という用語は、プログラム又は機械実行可能命令を実行することができる電子部品を包含する。「プロセッサ」を備える計算デバイスへの言及は、マルチコア・プロセッサと同様に、複数のプロセッサ又は処理コアを含むと解釈されるべきである。プロセッサは、単一のコンピュータ・システム内の、又は複数のコンピュータ・システム間で分散したプロセッサの集合体も指す。また、計算デバイスという用語は、それぞれが１つ又は複数のプロセッサを含む計算デバイスの集合体又はネットワークを含むと解釈されるべきである。プログラムは、同じ計算デバイス内にある、又は複数の計算デバイスにわたって分散されている１つ又は複数のプロセッサによって実行されるソフトウェア命令を有する。

[00114] コンピュータ・システム７００は、メイン・メモリ７２０とスタティック・メモリ７３０とをさらに含み、コンピュータ・システム７００のメモリは、バス７０８を介して、互いに通信し、プロセッサ７１０とも通信する。メイン・メモリ７２０及びスタティック・メモリ７３０のいずれか又は両方は、図１のコントローラ１５０のメモリ１５１の代表的な例と考えられ、本明細書に記載の方法及びプロセスの一部又は全ての態様を実施するのに使用される命令を記憶する。本明細書に記載のメモリは、データ及び実行可能なソフトウェア命令を記憶する有形記憶媒体であり、ソフトウェア命令が記憶されている間、非一時的である。本明細書で使用する場合、「非一時的」という用語は、ある状態の不変の特性としてではなく、ある期間続くことになる状態の特性として解釈されるべきである。「非一時的な」という用語は、搬送波若しくは搬送信号の特性、又は任意の場所、任意の時間に一時的にのみ存在する他の形態などの一過性の特性であることを特に否定している。メイン・メモリ７２０及びスタティック・メモリ７３０は、製品及び／又は機械部品である。メイン・メモリ７２０及びスタティック・メモリ７３０は、コンピュータ可読媒体であり、そこから、データ及び実行可能なソフトウェア命令をコンピュータ（例えば、プロセッサ７１０）によって読み出すことができる。メイン・メモリ７２０及びスタティック・メモリ７３０のそれぞれは、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュ・メモリ、電気的プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブル・ディスク、テープ、コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、フロッピー・ディスク、ブルーレイ・ディスク、又は当技術分野において知られている任意の他の形態の記憶媒体のうちの１つ又は複数として実施される。メモリは、揮発性又は不揮発性、セキュアな及び／又は暗号化された、非セキュアな及び／又は暗号化されていないものであってよい。

[00115] 「メモリ」は、コンピュータ可読記憶媒体の例である。コンピュータ・メモリは、プロセッサに直接アクセス可能な任意のメモリである。コンピュータ・メモリの例としては、ＲＡＭメモリ、レジスタ、及びレジスタ・ファイルが挙げられるが、これらに限定されない。「コンピュータ・メモリ」又は「メモリ」への言及は、複数のメモリである可能性があると解釈されるべきである。メモリは、例えば、同一のコンピュータ・システム内の複数のメモリである。メモリは、複数のコンピュータ・システム又は計算デバイス間に分散している複数のメモリであってもよい。

[00116] 図示のように、コンピュータ・システム７００は、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラット・パネル・ディスプレイ、固体ディスプレイ、又は陰極線管（ＣＲＴ）などの映像表示ユニット７５０をさらに含む。さらに、コンピュータ・システム７００は、キーボード／仮想キーボード、接触感応入力画面、又は音声認識を用いた音声入力などの入力デバイス７６０と、マウス、接触感応入力画面、又はパッドなどのカーソル制御デバイス７７０とを含む。また、コンピュータ・システム７００は、任意選択で、ディスク・ドライブ・ユニット７８０、スピーカ又はリモート・コントロールなどの信号生成デバイス７９０、及び／又はネットワーク・インターフェイス・デバイス７４０を含む。

[00117] 一実施形態では、図７に描写のように、ディスク・ドライブ・ユニット７８０は、ソフトウェア命令７８４の１つ又は複数のセット（ソフトウェア）が埋め込まれたコンピュータ可読媒体７８２を含む。ソフトウェア命令のセット７８４は、コンピュータ可読媒体７８２から読み出されてプロセッサ７１０によって実行される。さらに、ソフトウェア命令７８４は、プロセッサ７１０によって実行されるとき、本明細書に記載の方法及びプロセスの１つ又は複数のステップを実行する。一実施形態では、ソフトウェア命令７８４は、全て又は一部が、コンピュータ・システム７００によって実行される間、メイン・メモリ７２０、スタティック・メモリ７３０及び／又はプロセッサ７１０内に常駐する。さらに、コンピュータ可読媒体７８２は、ソフトウェア命令７８４を含み、又は伝播信号に応答してソフトウェア命令７８４を受信及び実行して、その結果、ネットワーク７０１に接続されたデバイスが、ネットワーク７０１を介して音声、映像、又はデータを通信する。ソフトウェア命令７８４は、ネットワーク・インターフェイス・デバイス７４０を介してネットワーク７０１上で送信又は受信される。

[00118] 一実施形態では、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック・アレイ、及び他のハードウェア構成要素などの専用ハードウェア実装が、本明細書に記載の方法の１つ又は複数を実施するように構築される。本明細書に記載の１つ又は複数の実施形態は、モジュール間で、及びモジュールを通して通信可能な関連する制御信号及びデータ信号を有する２つ以上の特定の相互接続されたハードウェア・モジュール又はデバイスを使用して機能を実施する。したがって、本開示は、ソフトウェア、ファームウェア、及びハードウェアの実施を包含する。本出願のいずれのものも、有形で非一時的なプロセッサ及び／又はメモリなどのハードウェアは使用せずソフトウェア単独で実施される、又は実施可能であると解釈されるべきではない。

[00119] 本開示の様々な実施形態によると、本明細書に記載の方法は、ソフトウェア・プログラムを実行するハードウェア・コンピュータ・システムを使用して実施される。さらに、例示的で非限定的な実施形態では、実施は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含むことができる。仮想コンピュータ・システム処理は、本明細書に記載の方法又は機能の１つ又は複数を実施し、本明細書に記載のプロセッサは、仮想処理環境をサポートするために使用される。

[00120] したがって、可撓性デバイスの予測動作マッピングは、例えば、インターベンション型医療デバイスが、ライブ２次元蛍光透視撮像の誘導下でインターベンション型医療処置に使用されるとき、インターベンション型医療デバイスの実際の位置決めに関する誘導を提供する。意図せぬ動作につながり得るインターベンション型医療デバイスの特性は、意図せぬ動作を補償するための基準として使用することができる。同様に、意図せぬ動作につながり得る患者の解剖学的構造を、意図せぬ動作を補償するための基準として使用することができる。

[00121] 本発明は、近位端における特定の動作又は行動、インターベンション型医療デバイスの遠位端の現在の配置又は構成が与えられるとき、遠位端において予期可能な動作又は挙動の範囲を学習するシステムを説明する。それにより、蛍光透視で視認可能なガイドワイヤの長さ方向に伝わる予期動作を予測し、観測動作が予期動作の範囲外である場合にアラートを発することができる。さらに、システムは、蛍光透視視野（ＦＯＶ）における予期せぬ動作のタイプを観測し、蛍光透視ＦＯＶ外の予期せぬ又は意図せぬ挙動が発生している場所、例えば、ＦＯＶに近いか又はＦＯＶから離れているかを予測することができる。

[00122] それにもかかわらず、可撓性デバイスのための予測動作マッピングは、本明細書に記載の特定の詳細への適用として限定されることなく、代わりに、第１の人工知能及び第２の人工知能への１つ又は複数の入力が、本明細書の実施形態について記載した特定の詳細とは異なる、追加の実施形態に適用されるものである。

[00123] いくつかの例示的な実施形態を参照して、可撓性デバイスのための予測動作マッピングを説明したが、使用された語句は、限定のための語句ではなく、説明及び例示のための語句であることが理解される。その態様における可撓性デバイスのための予測動作マッピングの範囲及び趣旨から逸脱することなく、本明細書で言及され、修正されるように、添付の請求項の範囲内で、変更を行うことができる。可撓性デバイスのための予測動作マッピングは、特定の手段、材料、及び実施形態を参照して説明されてきたが、可撓性デバイスのための予測動作マッピングは、開示された特定のものに限定されることを意図せず、むしろ、可撓性デバイスの予測動作マッピングは、添付の特許請求の範囲内にあるものなどの、全ての機能的に等価な構造、方法、及び使用にわたる。

[00124] 本明細書に記載の実施形態の図示は、様々な実施形態の構造の一般的な理解を提供することを意図している。図示は、本明細書に記載の開示の要素及び特徴の全ての完全な説明として機能することは意図していない。多くの他の実施形態は、本開示を検討する上で当業者にとって明らかである。他の実施形態は、本開示の範囲から逸脱することなく、構造的及び論理的な置換及び変更が行われるように、本開示から利用及び導出される。また、図示は単に代表的なものであり、縮尺通りに描かれていない場合がある。図示内の特定の比率が誇張される場合があり、その他の比率が小さくされる場合もある。したがって、本開示及び図は、制限のためのものではなく、例示的とみなされるべきである。

[00125] 本開示の１つ又は複数の実施形態は、「発明」という用語によって、単に便宜のために、及び本出願の範囲をいずれの特定の発明又は発明概念にも自発的に限定することを意図せず、個別に及び／又は集合的に本明細書において言及され得る。さらに、特定の実施形態が本明細書において図示及び説明されたが、同一又は類似の目的を達成するように設計された任意のそこから導かれる構成が、図示の特定の実施形態の代わりになり得ることを理解されたい。本開示は、様々な実施形態の、任意の及び全ての、そこから導かれる適合又は変形を網羅することを意図している。上記の実施形態の組み合わせ、及び本明細書で特に説明されていない他の実施形態は、当業者にとって本明細書を検討すれば明らかであろう。

[00126] 開示の要約は、３７ Ｃ．Ｆ．Ｒ． §１．７２（ｂ）を遵守して提供され、特許請求の範囲又は意味の解釈又は限定に使用されないことを理解の上で提出されている。さらに、前述の発明を実施するための形態において、本開示を簡潔に記載する目的で、様々な特徴がまとめられるか、又は単一の実施形態で記載されることがある。本開示は、特許請求されている実施形態が各請求項に明示的に記載されているものよりも多くの機能を必要とするという意図を反映すると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、開示の実施形態のいずれかの特徴の全てよりも少ないものに向けられていてよい。したがって、以下の特許請求の範囲は発明を実施するための形態に組み込まれ、各請求項は、別々に特許請求された主題を定義するものとして、自立している。

[00127] 開示の実施形態の先述の説明は、当業者の誰もが本開示に記載の概念を実践できるようにするために提供されている。このように、上記の開示された主題は、例示的であり、制限するものではないと考えられるべきであり、添付の特許請求の範囲は、本開示の真の趣旨及び範囲内にある全てのそのような修正、拡張、及び他の実施形態を網羅することを意図している。したがって、法律で許容される最大限の範囲で、本開示の範囲は、以下の特許請求の範囲及びそれらの均等物の最も広い許容可能な解釈によって決定されるべきであり、前述の発明を実施するための形態によって制限又は限定されるものではない。

Claims (15)

1. 命令を記憶するメモリと、前記命令を実行するプロセッサとを備えるコントローラであって、前記命令が、前記プロセッサによって実行されるとき、前記コントローラに、
   インターベンション型医療処置中の、インターベンション型医療デバイスの遠位端の少なくとも１つの位置を取得させ、
   前記インターベンション型医療処置中の前記インターベンション型医療デバイスの近位端における動作を特定させ、
   第１の訓練済み人工知能を、前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置とに適用させ、
   前記第１の訓練済み人工知能を、前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置とに、適用することに基づいて、前記インターベンション型医療処置中の、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作を予測させ、
   前記インターベンション型医療デバイスの前記近位端における前記動作が特定された後、医療撮像システムから前記インターベンション型医療デバイスの前記遠位端の画像を取得させ、
   前記インターベンション型医療デバイスの前記画像から、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った実際の動作と、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作とを比較させ、
   前記実際の動作が前記予測動作と乖離したときを決定させる、
   コントローラ。
2. 前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置が、前記医療撮像システムからの前記インターベンション型医療デバイスの前記遠位端の画像から取得され、
   前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った前記予測動作が、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った複数の位置について予測される、請求項１に記載のコントローラ。
3. 前記第１の訓練済み人工知能が、前記インターベンション型医療デバイスのタイプ、前記インターベンション型医療処置のタイプ、解剖学的ランドマーク、又は患者の少なくとも１つの身体的特徴のうちの少なくとも１つを入力し、
   前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った前記予測動作が、前記第１の訓練済み人工知能への前記入力に基づいて予測される、請求項１に記載のコントローラ。
4. 前記プロセッサによって実行されるとき、前記命令が、前記コントローラに、さらに、
   前記実際の動作が前記予測動作と乖離しているときにアラームを生成させる、請求項１に記載のコントローラ。
5. 前記プロセッサによって実行されるとき、前記命令が、前記コントローラに、さらに、
   前記実際の動作及び前記予測動作に基づいて、かつ第２の訓練済み人工知能を適用することによって、前記医療撮像システムの視野外の、前記インターベンション型医療デバイスに沿った意図せぬ挙動の予測概略推定位置を予測させる、請求項１に記載のコントローラ。
6. インターベンション型医療デバイスの近位端における動作を検出する動作検出器と、
   命令を記憶するメモリ、及び前記命令を実行するプロセッサを備えるコントローラとを備える、インターベンション型医療デバイスを制御するためのシステムであって、前記命令が、前記プロセッサによって実行されるとき、前記システムに、
   インターベンション型医療処置中の、インターベンション型医療デバイスの遠位端の少なくとも１つの位置を取得させ、
   前記インターベンション型医療処置中の前記インターベンション型医療デバイスの前記近位端における前記動作を特定させ、
   前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置とに、第１の訓練済み人工知能を適用させ、
   前記第１の訓練済み人工知能を、前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置とに、適用することに基づいて、前記インターベンション型医療処置中の、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作を予測させ、
   前記インターベンション型医療デバイスの前記近位端における前記動作が特定された後、医療撮像システムから前記インターベンション型医療デバイスの前記遠位端の画像を、前記コントローラによって取得させ、
   前記インターベンション型医療デバイスの前記画像から、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った実際の動作と、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作とを比較させ、
   前記実際の動作が前記予測動作と乖離したときを決定させる、
   システム。
7. 前記システムは、前記医療撮像システムをさらに備え、
   前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置が、前記医療撮像システムからの前記インターベンション型医療デバイスの前記遠位端の画像から、取得され、
   前記医療撮像システムからの前記画像が、セグメンテーションされて、前記医療撮像システムによって撮像された前記インターベンション型医療デバイスを特定する、請求項６に記載のシステム。
8. 前記システムは、前記第１の訓練済み人工知能及び第２の訓練済み人工知能を実施する人工知能コントローラをさらに備え、前記プロセッサによって実行されるとき、前記命令が、前記システムに、さらに、
   複数のインターベンション型医療デバイスのための複数の訓練セッションにおいて、前記インターベンション型医療デバイスの遠位端の少なくとも１つの位置を入力させ、前記インターベンション型医療デバイスの近位端における動作を特定させ、前記インターベンション型医療デバイスの前記近位端における前記動作に起因する、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った実際の動作を検出させ、
   前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置と、前記インターベンション型医療デバイスの前記近位端において特定された前記動作とに基づいて、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作を予測させ、
   前記予測動作と前記実際の動作との間の差異に基づいて、ロスを決定させ、
   前記第１の訓練済み人工知能によって、前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端近くの前記インターベンション型医療デバイスを伝わる前記動作との間の関係を確立させ、
   前記予測動作と前記実際の動作との間の差異に基づいて決定された各ロスに基づいて、前記第１の訓練済み人工知能を更新させる、請求項６に記載のシステム。
9. 前記命令が、前記システムに、さらに、
   複数の訓練セッションにおいて、前記医療撮像システムの視野外の、前記インターベンション型医療デバイスの概略推定位置のグラウンド・トゥルース情報を入力させ、
   前記予測動作及び前記実際の動作に基づいて、かつ、第２の人工知能を適用することによって、前記医療撮像システムの前記視野外の前記インターベンション型医療デバイスの予測概略推定位置を予測させ、
   前記インターベンション型医療デバイスの前記概略推定位置の前記グラウンド・トゥルース情報と、前記医療撮像システムの前記視野外の前記インターベンション型医療デバイスの前記予測概略推定位置との間の差異に基づいてロスを決定させ、
   各ロスに基づいて、前記第２の人工知能を更新させる、請求項６に記載のシステム。
10. 前記インターベンション型医療デバイスの前記近位端における動作を制御するロボットと、
    前記医療撮像システムの視野内の、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った前記予測動作に基づいてアラートを出力するインターフェイスと
    をさらに備える、請求項６に記載のシステム。
11. インターベンション型医療デバイスを制御するための方法であって、
    インターベンション型医療処置中の、医療撮像システムからの、前記インターベンション型医療デバイスの遠位端の少なくとも１つの位置を取得するステップと、
    前記インターベンション型医療処置中の、前記インターベンション型医療デバイスの近位端の動作を特定するステップと、
    第１の訓練済み人工知能を、前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置とに適用するステップと、
    前記第１の訓練済み人工知能を、前記インターベンション型医療デバイスの前記近位端における前記動作と、前記インターベンション型医療デバイスの前記遠位端の前記少なくとも１つの位置とに、適用することに基づいて、前記インターベンション型医療処置中の、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作を、予測するステップと、
    前記インターベンション型医療デバイスの前記近位端における前記動作が特定された後、医療撮像システムから前記インターベンション型医療デバイスの前記遠位端の画像を取得するステップと、
    前記インターベンション型医療デバイスの前記画像から、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った実際の動作と、前記インターベンション型医療デバイスの前記遠位端に向かって前記インターベンション型医療デバイスに沿った予測動作とを比較するステップと、
    前記実際の動作が前記予測動作と乖離したときを決定するステップと
    を有する、方法。
12. 前記インターベンション型医療デバイスの前記画像をセグメンテーションして、前記医療撮像システムによって撮像された前記インターベンション型医療デバイスを特定するステップをさらに有する、請求項１１に記載の方法。
13. 前記予測動作の信頼度を伴う前記予測動作を予測するステップと、
    前記実際の動作、前記予測動作、及び前記予測動作の前記信頼度に基づいて、かつ第２の訓練済み人工知能を適用することによって、前記インターベンション型医療撮像システムの視野外の前記インターベンション型医療デバイスに沿った意図せぬ挙動の予測概略推定位置、及び前記予測概略推定位置の予測信頼度を予測するステップと
    をさらに有する、請求項１１に記載のシステム。
14. 前記インターベンション型医療デバイスのタイプ、前記インターベンション型医療処置における患者の解剖学的構造、前記医療撮像システムの配置、又は前記インターベンション型医療デバイスの物理的特性のうちの少なくとも１つに基づいて、前記予測動作を予測するステップと、
    前記実際の動作が前記予測動作と乖離したときにアラームを出力するステップと
    をさらに有する、請求項１１に記載の方法。
15. 前記実際の動作及び前記予測動作に基づいて、かつ第２の訓練済み人工知能を適用することによって、前記医療撮像システムの視野外の、前記インターベンション型医療デバイスに沿った意図せぬ挙動の予測概略推定位置を予測するステップと、
    前記医療撮像システムの前記視野外の、前記インターベンション型医療デバイスに沿った意図せぬ挙動の前記予測概略推定位置の表示を生成するステップと
    をさらに有する、請求項１１に記載の方法。

Images