JP2023550056A - 介入装置の位置の決定 - Google Patents

Abstract

介入装置１００の複数の部分の各々の位置を予測するためのニューラルネットワークを提供するコンピュータ実装方法は、シーケンス内の１つ又は複数の履歴時間ステップｔ1．．ｔn-1における介入装置１００の形状を表す時間的形状データ１１０から、シーケンス内の現在の時間ステップｔnにおける介入装置１００の複数の部分の各々の位置１４０を予測するようにニューラルネットワーク１３０を訓練するステップＳ１３０を含む。

Description

本開示は、介入装置の部分の位置を決定することに関する。コンピュータ実装方法、処理装置、システム、及びコンピュータプログラム製品が、開示される。

多くの介入医療処置は、ライブＸ線撮像下で実行される。ライブＸ線撮像中に生成される２次元画像は、解剖学的構造と、処置に使用されるガイドワイヤ及びカテーテルなどの介入装置との両方の視覚化を提供することによって、医師を支援する。

一例として、血管内処置は、心血管系内の特定の位置にナビゲートされる介入装置を必要とする。ナビゲーションは、しばしば、大腿骨、上腕、橈骨、頸静脈、又は足のアクセスポイントから始まり、そこから、介入装置が、撮像又は治療手順が行われる場所まで血管系を通る。血管系は、典型的には、高い患者間変動性を有し、罹患時にはより高く、介入装置のナビゲーションを妨げることができる。例えば、腎血管の小孔を通る腹部大動脈瘤からのナビゲーションは、動脈瘤が装置の位置決め及びカニューレ挿入を補助するために血管壁を使用する能力を低下させるので、困難であり得る。

そのような処置の間、ガイドワイヤ及びカテーテルなどの介入装置の部分は、Ｘ線撮像の下で不明瞭になるか、又は不可視にさえなり得、介入装置のナビゲーションを更に妨げる。介入装置は、例えば、密な解剖学的構造の背後に隠されてもよい。介入装置のＸ線透過性セクション、及び画像アーチファクトは、また、解剖学的構造内の介入装置の経路の決定を混乱させ得る。

これらの欠点に対処するために、介入装置上での放射線不透過性基準マーカの使用、及びセグメント化された画像の補間を含む様々な技術が、開発されてきた。しかしながら、Ｘ線撮像下での介入装置の位置を決定する際に改善の余地が残されている。

本開示の第１の態様によれば、介入装置の複数の部分の各々の位置を予測するためのニューラルネットワークを提供するコンピュータ実装方法が、提供される。本方法は、
時間ステップｔ₁．．ｔ_nのシーケンスにおける介入装置の形状を表す時間的形状データを受信するステップと、
シーケンス内の各時間ステップにおける介入装置の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信するステップＳ１２と、
シーケンス内の各現在の時間ステップに対して、シーケンス内の１つ又は複数の履歴時間ステップにおける介入装置の形状を表す受信された時間的形状データをニューラルネットワークに入力し、現在の時間ステップにおける介入装置の各部分の予測された位置と受信された介入装置グラウンドトゥルース位置データからの現在の時間ステップにおける介入装置１００の各対応する部分の位置との間の差を表す損失関数に基づいてニューラルネットワークのパラメータを調整することによって、シーケンス内の現在の時間ステップにおける介入装置の複数の位置の各々の位置を、シーケンス内の１つ又は複数の履歴時間ステップにおける介入装置の形状を表す時間的形状データから予測するようにニューラルネットワークを訓練するステップと、
を含む。

本開示の第２の態様によれば、介入装置の複数の部分の各々の位置を予測するコンピュータ実装方法が、提供される。本方法は、
時間ステップのシーケンスにおける介入装置の形状を表す時間的形状データを受信するステップと、
シーケンス内の１つ又は複数の履歴時間ステップにおける介入装置の形状を表す時間的形状データから、シーケンス内の現在の時間ステップにおける介入装置の複数の部分の各々の位置を予測するように訓練されたニューラルネットワークに、シーケンス内の１つ又は複数の履歴時間ステップにおける介入装置の形状を表す受信された時間的形状データを入力するステップと、入力に応答して、ニューラルネットワークを使用して、シーケンス内の現在の時間ステップにおける介入装置の複数の部分の各々の予測された位置を生成するステップと、
を含む。

本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる例の以下の説明から明らかになるであろう。

カテーテル及びガイドワイヤの先端を含む、人間の解剖学的構造のＸ線画像を示す。 本開示のいくつかの態様による、介入装置の部分の位置を予測するためのニューラルネットワークを提供する例示的な方法のフローチャートである。 本開示のいくつかの態様による、介入装置の部分の位置を予測するためのニューラルネットワークを提供する例示的な方法を示す概略図である。 ＬＳＴＭセルの一例を示す概略図である。 本開示のいくつかの態様による、介入装置の部分の位置を予測する例示的な方法を示すフローチャートである。 カテーテル及びガイドワイヤを含む、人間の解剖学的構造のＸ線画像を示し、ガイドワイヤの他の不可視部分の予測される位置が表示される。 介入装置の部分の位置を予測するためのシステム２００を示す概略図である。

本開示の例は、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、いくつかの例の多くの具体的な詳細が、説明される。本明細書において、「例」、「実施態様」、又は同様の言語への言及は、例に関連して説明される特徴、構造、又は特性が少なくともその１つの例に含まれることを意味する。また、１つの例に関連して説明された特徴は、別の例においても使用され得、すべての特徴が、簡潔さのために各例において必ずしも複製されないことを理解されたい。例えば、コンピュータ実装方法に関連して説明される特徴は、対応する形で、処理装置において、システムにおいて、及びコンピュータプログラム製品において実装され得る。

以下の説明では、血管系内の介入装置の位置を予測することを伴うコンピュータ実装方法が、参照される。ガイドワイヤの形の介入装置が血管系内でナビゲートされる、ライブＸ線撮像手順が、参照される。しかしながら、本明細書に開示されるコンピュータ実装方法の例は、限定的ではないが、カテーテル、血管内超音波撮像装置、光コヒーレンストモグラフィ装置、イントロデューサシース、レーザアテローム切除装置、機械的アテローム切除装置、血圧装置及び／又は流量センサ装置、ＴＥＥプローブ、針、生検針、アブレーション装置、バルーン、又はエンドグラフトなどの、ガイドワイヤ以外の他のタイプの介入装置とともに使用され得ることを理解されたい。本明細書に開示されるコンピュータ実装方法の例は、限定的ではないが、コンピュータ断層撮影撮像、超音波撮像、及び磁気共鳴撮像などの他のタイプの撮像手順とともに使用され得ることも理解されたい。本明細書に開示されるコンピュータ実装方法の例は、必要に応じて、消化管、呼吸経路、尿路などを含むが、これらに限定されない、血管系以外の解剖学的領域に配置される介入装置とともに使用されてもよいことも理解されたい。

本明細書で開示されるコンピュータ実装方法は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに方法を実行させる、記憶されたコンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体として提供され得ることに留意されたい。言い換えれば、コンピュータ実装方法は、コンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、専用のハードウェア又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供されることができる。プロセッサ又は「処理装置」によって提供されるとき、方法特徴の機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、又はそのうちのいくつかが共有されることができる複数の個々のプロセッサによって提供されることができる。「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「ＤＳＰ」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ＲＯＭ」、ランダムアクセスメモリ「ＲＡＭ」、不揮発性記憶装置などを暗黙的に含むことができるが、これらに限定されない。更に、本開示の例は、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ又は任意の命令実行システムによって、又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって、又はそれに関連して使用するためのプログラムを有する、記憶する、通信する、伝播する、又は移送することができる任意の装置であることができる。媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置、装置、又は伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体又は固体メモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「ＲＡＭ」、読取専用メモリ「ＲＯＭ」、剛体磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読取専用メモリ「ＣＤ-ＲＯＭ」、光ディスク読取／書込「ＣＤ-Ｒ／Ｗ」、ブルーレイ^TM、ＤＶＤを含む。

図１は、カテーテル及びガイドワイヤの先端を含む、人間の解剖学的構造のＸ線画像を示す。図１では、肋骨などの解剖学的構造の密な領域が、画像内のより暗い領域として高度に可視である。カテーテル、及びそこから延びるガイドワイヤの先端も、また、高度に可視である。しかしながら、血管系などの軟組織領域は、不十分に可視であり、したがって、Ｘ線撮像下でのナビゲーション中にほとんどガイダンスを与えない。図１において「妨害」とラベル付けされた画像アーチファクト、及びガイドワイヤに類似して見えるＸ線画像における他の特徴も、また、Ｘ線画像におけるガイドワイヤの明確な可視化を妨げ得る。更なる複雑さは、Ｘ線撮像の下で、ガイドワイヤのいくつかの部分が不十分に可視であることである。例えば、ガイドワイヤの先端は、図１において明確に可視であるが、ガイドワイヤの部分は、「不可視部分」とラベル付けされた部分のように、不十分に可視であるか、又は完全に不可視である。他の介入装置の部分の可視性は、Ｘ線及び他の撮像システムによって撮像されるときに同様に損なわれることがある。

本発明者らは、介入装置の部分の位置を決定する改善された方法を見出した。図２は、本開示のいくつかの態様による、介入装置の部分の位置を予測するためのニューラルネットワークを提供する例示的な方法のフローチャートである。この方法は、図２乃至図４を参照して説明される。図２を参照すると、本方法は、介入装置１００の複数の部分の各々の位置を予測するためのニューラルネットワークを提供するステップを含み、
時間ステップのシーケンスｔ₁．．ｔ_nにおける介入装置１００の形状を表す時間的形状データ１１０を受信するステップＳ１１０と、
シーケンス内の各時間ステップｔ₁．．_nで介入装置１００の複数の部分の位置を表す介入装置グラウンドトゥルース位置データ１２０を受信するステップＳ１２０と、
シーケンス内の各現在時間ステップｔ_nに対して、シーケンス内の１つ又は複数の履歴時間ステップｔ₁．．ｔ_n-1における介入装置１００の形状を表す受信された時間的形状データ１１０を入力することS１４０、現在の時間ステップｔ_nにおける介入装置１００の各部分の予測された位置１４０と受信された介入装置グラウンドトゥルース位置データ１２０からの現在の時間ステップｔ_nにおける介入装置１００の各対応する部分の位置との間の差を表す損失関数に基づいて、ニューラルネットワーク１３０のパラメータを調整することＳ１５０によって、シーケンス内の１つ又は複数の履歴時間ステップｔ₁．．_n-1における介入装置１００の形状を表す時間的形状データ１１０から、シーケンス内の現在の時間ステップｔ_nにおける介入装置１００の複数の部分の各々の位置１４０を予測するようにニューラルネットワーク１３０を訓練するステップＳ１３０と、
を含む。

図３は、本開示のいくつかの態様による、介入装置の部分の位置を予測するためのニューラルネットワークを提供する例示的な方法を示す概略図である。図３は、複数の長期短期メモリＬＳＴＭセルを含むニューラルネットワーク１３０を含む。各ＬＳＴＭセルの動作は、図４を参照して以下に説明される。

図３を参照すると、訓練動作Ｓ１３０の間、例えば、時間ステップｔ₁．．ｔ_n-1で生成される、セグメント化されたＸ線画像の時間シーケンスの形であってもよい時間的形状データ１１０は、ニューラルネットワーク１３０に入力される。Ｘ線画像は、図示の画像ではガイドワイヤである介入装置１００を含む。Ｘ線画像は、各ステップｔ₁．．ｔ_nにおけるガイドワイヤの形状を表す。様々な既知のセグメンテーション技法が、Ｘ線画像から介入装置又はガイドワイヤの形状を抽出するのに使用され得る。Honnorat, N., et al.による文献"Robust guidewire segmentation through boosting, clustering and linear programming", 2010 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Rotterdam, 2010, pp. 924-927に開示されるようなセグメンテーション技術が、例えば、使用されてもよい。Ｘ線画像は、ガイドワイヤの形状を二次元で提供する。次いで、ガイドワイヤの部分は、例えば、Ｘ線画像内のガイドワイヤ上の１つ又は複数の画素のグループを規定することによって、識別され得る。これらの部分は、ガイドワイヤの長さに沿って、任意に、又は一定の間隔で、規定され得る。その際、ガイドワイヤの各部分の位置は、各時間ステップｔ₁．．ｔ_nにおいて二次元で提供され得る。

一般に、時間的形状データ１１０は、介入装置１００を含むＸ線画像の時間的シーケンス、又は介入装置１００を含むコンピュータトモグラフィ画像の時間的シーケンス、又は介入装置１００を含む超音波画像の時間的シーケンス、又は介入装置（１００）を含む磁気共鳴画像の時間的シーケンス、又は介入装置１００に機械的に結合された複数の電磁追跡センサ若しくはエミッタによって提供される位置の時間的シーケンス、又は介入装置１００に機械的に結合された複数の光ファイバ形状センサによって提供される位置の時間的シーケンス、又は介入装置１００に機械的に結合された複数の誘電センサによって提供される位置の時間的シーケンス、又は介入装置１００に機械的に結合された複数の超音波追跡センサ又はエミッタによって提供される位置の時間的シーケンスを含み得る。したがって、時間的形状データ１１０を３次元形状データとして提供することも企図される。

時間ステップｔ₁．．ｔ_n-1におけるＸ線画像の生成と同時に、また、シーケンス内の各時間ステップｔ₁．．ｔ_nにおける介入装置１００の複数の部分の各々の位置を表す対応する介入装置グランドトゥルース位置データ１２０も、生成されてもよい。介入装置グランドトゥルース位置データ１２０は、訓練データとして機能する。図３に示される例では、グランドトゥルース位置データ１２０は、時間的形状データ１３０を提供するために使用されるのと同じＸ線画像データによって提供される。したがって、グランドトゥルース位置データを２次元位置データとして提供することが企図される。更に、ガイドワイヤの同じ位置が、各時間ステップｔ₁．．ｔ_nにおいてグランドトゥルース位置データ１２０及び時間的形状データ１１０の両方を提供するのに使用されてもよい。

他のソースからグランドトゥルース位置データ１２０を提供することも企図される。いくつかの実装形態では、グランドトゥルース位置データ１２０が、時間的形状データ１１０のものとは異なるソースから生じ得る。グランドトゥルース位置データ１２０は、例えば、介入装置１００を含むコンピュータトモグラフィ画像の時間的シーケンスによって提供されてもよい。したがって、グランドトゥルース位置データを３次元位置データとして提供することも企図される。コンピュータトモグラフィ画像は、例えば、コーンビームコンピュータトモグラフィ、ＣＢＣＴ、又はスペクトルコンピュータトモグラフィ画像であってもよい。グランドトゥルース位置データ１２０は、代替的に、介入装置１００を含む超音波画像の時間的シーケンス、又は実際には磁気共鳴撮像などの別の撮像モダリティからの画像の時間的シーケンスによって提供されてもよい。

他の実装形態では、グランドトゥルース位置データ１２０が、介入装置に機械的に結合された追跡センサ又はエミッタによって提供されてもよい。この点において、国際公開第２０１５／１６５７３６Ａ１号に開示されているものなどの電磁気追跡センサ又はエミッタ、又は国際公開第２００７／１０９７７８Ａ１号に開示されているものなどの光ファイバ形状センサ、米国特許出願公開第２０１９／２５４５６４Ａ１号に開示されているものなどの誘電体センサ、又は国際公開第２０２０／０３０５５７Ａ１号に開示されているものなどの超音波追跡センサ又はエミッタは、介入装置１００に機械的に結合され、シーケンス内の各時間ステップｔ₁．．ｔ_nにおける各センサ又はエミッタの位置に対応する位置の時間シーケンスを提供するために使用され得る。

グラウンドトゥルース位置データ１２０が時間的形状データ１１０のソースとは異なるソースによって提供されるとき、グラウンドトゥルース位置データ１２０の座標系は、損失関数の計算を容易にするために時間的形状データ１１０の座標系に位置合わせされ得る。

時間的形状データ１１０及びグランドトゥルース位置データ１２０は、データベース、撮像システム、コンピュータ可読記憶媒体、クラウドなどを含む様々なソースから受信され得る。データは、有線又は無線データ通信などの任意の形態のデータ通信を使用して受信されてもよく、インターネット、イーサネットを介して、又はＵＳＢメモリ装置、光ディスク又は磁気ディスクなどの可搬型コンピュータ可読記憶媒体を用いてデータを転送することによって受信されてもよい。

図３に戻ると、次いで、ニューラルネットワーク１３０は、１つ又は複数の履歴時間ステップｔ₁．．ｔ_n-1におけるＸ線画像の時間的シーケンスの形態の時間的形状データ１１０から を予測するように訓練される。 、シーケンス内の現在の時間ステップｔ_nにおける介入装置１００の複数の部分の各々の位置１４０図３のニューラルネットワーク１３０の訓練は、Alahi, A., et alによる "Social LSTM: Human Trajectory Prediction in Crowded Spaces", 2016 IEEE Conference on Computer Vision and Pattern Recognition "CVPR", 10.1109/CVPR.2016.110と題された文献に更に詳細に記載される形で実行されてもよい。ニューラルネットワーク１３０への入力は、介入装置の複数の部分の各々の位置である。介入装置の各部分について、ＬＳＴＭセルは、１つ又は複数の履歴時間ステップｔ₁．．ｔ_n-1からの当該部分の位置を使用して、現在の時間ステップｔ_nの部分の位置を予測する。

いくつかの実施態様では、ニューラルネットワーク１３０が、複数の出力を含み、各出力は、シーケンス内の現在の時間ステップｔ_nにおける介入装置１００の別の部分の位置１４０を予測する。図３に示されるニューラルネットワーク１３０では、訓練は、１つ又は複数の履歴時間ステップｔ₁．．ｔ_n-1から介入装置の各部分の位置をニューラルネットワークに入力し、現在の時間ステップｔ_nにおける介入装置１００の各部分の予測位置１４０と、受信された介入装置グラウンドトゥルース位置データ１２０からの現在の時間ステップｔ_nにおける介入装置１００の各対応する部分の位置との間の差を表す損失関数を使用して、ニューラルネットワークのパラメータを調整することによって実行される。これらの実施態様では、ニューラルネットワーク１３０の各出力は、図３に示されるように、対応する入力を含むことができ、対応する入力は、シーケンス内の１つ又は複数の履歴時間ステップ（ｔ₁．．ｔ_n-1）における介入装置の一部分の位置の形態で介入装置（１００）の形状を表す時間的形状データ（１１０）を受信するように構成される。上述のように、ガイドワイヤの部分の位置は、例えば、セグメント化されたＸ線画像内のガイドワイヤ上の１つ又は複数の画素のグループを規定することによって、入力されたＸ線画像１１０から識別され得る。

より詳細には、図３に示されるニューラルネットワーク１３０は、複数の出力を含み、各出力は、現在の時間ステップ（ｔ_n）における介入装置（１００）の１つ又は複数の近傍部分の予測された位置に少なくとも部分的に基づいて、シーケンス内の現在の時間ステップ（ｔ_n）における介入装置（１００）の異なる部分の位置（１４０）を予測する。この機能は、隣接するＬＳＴＭセル間の隠れ状態における情報の共有を可能にするプーリング層によって提供される。これは、予測される装置の部分の動きに対する装置の近傍部分の影響を捕捉する。これは、介入装置の近傍部分に関する位置情報、ひいては介入装置形状の連続性を保存するので、予測の精度を改善する。近傍の範囲、すなわち、近傍部分の数、及び近傍部分の位置が介入装置の部分の位置を予測するのに使用される範囲は、介入装置全体に対する直接の近傍部分間に及び得る。近傍の範囲は、装置の可撓性にも依存し得る。例えば、剛性装置は、比較的大きい近傍を使用し得るのに対し、可撓性装置は、比較的小さい近傍を使用し得る。図示されたプーリング層の代替案は、装置の連続性を破る、又は所定の値を超える介入装置の曲率を予測する、予測位置を除去することによって、ニューラルネットワークの出力に拘束を適用することを含む。

いくつかの実装形態では、図３に示されるニューラルネットワークは、ＬＳＴＭセルによって提供され得る。例えば、図３においてＬＳＴＭとしてラベル付けされた各ブロックは、図４に示されるようなＬＳＴＭセルによって提供されてもよい。介入装置の各部分の位置は、ＬＳＴＭセルによって予測され得る。しかしながら、ＬＳＴＭとラベル付けされたアイテムの機能は、他のタイプのニューラルネットワークによってＬＳＴＭに提供されてもよい。ＬＳＴＭとラベル付けされたアイテムの機能は、例えば、リカレントニューラルネットワーク、ＲＮＮ、畳み込みニューラルネットワーク、ＣＮＮ、時間畳み込みニューラルネットワーク、ＴＣＮ、及び変換器によって提供され得る。

訓練動作Ｓ１３０は、現在の時間ステップｔ_nにおける介入装置１００の各部分の予測位置１４０と、受信された介入装置グラウンドトゥルース位置データ１２０からの現在の時間ステップｔ_nにおける介入装置１００の各対応する部分の位置との間の差を表す損失関数に基づいて、ニューラルネットワーク１３０のパラメータを調整することＳ１５０を伴う。

訓練動作Ｓ１３０は、例示的なＬＳＴＭセルを示す概略図である図４を参照してより詳細に説明される。図４に示されるＬＳＴＭセルは、図３のＬＳＴＭセルを実装するために使用され得る。図４を参照すると、ＬＳＴＭセルは、３つの入力、すなわち、ｈ_t-1、ｃ_t-1及びｘ_tと、２つの出力、すなわち、ｈ_t及びｃ_tとを含む。シグマ及びｔａｎｈラベルは、それぞれ、シグモイド及びｔａｎｈ活性化関数を表し、「ｘ」及び「＋」記号は、それぞれ、点ごとの乗算及び点ごとの加算演算を表す。時間ｔにおいて、出力ｈ_tは、隠れ状態を表し、出力ｃ_tは、セル状態を表し、入力ｘ_tは、現在のデータ入力を表す。図４の左から右へ移動すると、第１のシグモイド活性化関数は、忘却ゲートを提供する。その入力、すなわち、h_t-1及びｘ_tは、それぞれ、以前のセルの隠れ状態を表し、現在のデータ入力は、連結され、シグモイド活性化関数を通される。シグモイド活性化関数の出力は、次いで、以前のセル状態ｃ_t-1により乗算される。忘却ゲートは、現在のセル状態ｃ_tに含まれる以前のセルからの情報の量を制御する。その寄与は、「＋」記号によって表される点ごとの加算を介して含まれる。図１の右側に移動すると、入力ゲートが、セル状態ｃ_tの更新を制御する。前のセルの隠れ状態ｈ_t-1、及び現在のデータ入力ｘ_tは、連結され、シグモイド活性化関数を通され、更にｔａｎｈ活性化関数を通される。これらの関数の出力の点ごとの乗算は、「＋」記号によって表される点ごとの加算を介してセル状態に加算される情報の量を決定する。点ごとの乗算の結果は、現在のセル状態ｃ_tを提供するために、以前のセル状態ｃ_t-1で乗算された忘却ゲートの出力に加算される。図１の右側に更に移動すると、次の隠れ状態ｈ_tが何であるべきかを決定する。隠れ状態は、以前の入力に関する情報を含み、予測のために使用される。次の隠れ状態ｈ_tを決定するために、以前のセルの隠れた状態ｈ_t-1、及び現在のデータ入力ｘ_t-1は、連結され、シグモイド活性化関数を通される。新しいセル状態ｃ_tは、ｔａｎｈ活性化関数を通される。次いで、ｔａｎｈ活性化関数及びシグモイド活性化関数の出力が、次の隠れ状態ｈ_t における情報を決定するように乗算される。

他のニューラルネットワークと同様に、図４に示されるＬＳＴＭセルの訓練、したがってそれが使用され得るニューラルネットワークは、パラメータ、すなわち重み及びバイアスを調整することによって実行される。図４を参照すると、図４の下の４つの活性化関数は、重み及びバイアスによって制御される。これらは、図４において、記号ｗ及びｂを用いて識別される。図示のＬＳＴＭセルでは、これらの４つの活性化関数の各々が、典型的には２つの重み値、すなわち、各ｘ_t入力に対して１つ、及び各ｈ_t-1に対して１つ、並びに１つのバイアス値ｂを含む。したがって、図４に示される例示的なＬＳＴＭセルは、典型的には８つの重みパラメータと４つのバイアスパラメータとを含む。

したがって、図４に示されるＬＳＴＭセルの動作は、以下の式によって制御される。
ｆ_t＝σ((ｗ_hf×ｈ_t-1)＋(ｗ_xf×ｘ_t)＋ｂ_f) 式１
ｕ_t＝σ((ｗ_hu×ｈ_t-1)＋(ｗ_xu×ｘ_t)＋ｂ_u) 式２
ｃ~_t＝tanh((ｗ_hc×ｈ_t-1)＋(ｗ_xc×ｘ_t)＋ｂ_c) 式３
ｏ_t＝σ((ｗ_ho×ｈ_t-1)＋(ｗ_xo×ｘ_t)＋ｂ_o) 式４
ｃ_t＝[ｃ~_t＋ｕ_t]＋[ｃ_t-1＋ｆ_t] 式５
ｙ_t＝[ｏ_t×tanhｃ_t] 式６

したがって、図４に示されるＬＳＴＭセルを含むニューラルネットワーク、及び他のニューラルネットワークの訓練は、活性化関数の重み及びバイアスを調整することを伴う。教師あり学習は、入力データ及び対応する期待出力データを含む訓練データセットをニューラルネットワークに提供することを含む。訓練データセットは、ニューラルネットワークが訓練後の分析に使用される可能性が高い入力データを表す。教師あり学習の間、入力データを提示されるときに、ニューラルネットワークが、対応する期待出力データを正確に提供するように、重み及びバイアスが、自動的に調整される。

ニューラルネットワークを訓練することは、典型的には、大きな訓練データセットをニューラルネットワークに入力することと、訓練されたニューラルネットワークが正確な出力を提供するまで、ニューラルネットワークパラメータを反復的に調整することとを伴う。訓練は、通常、グラフィック処理ユニット「ＧＰＵ」、又はニューラル処理ユニット「ＮＰＵ」又はテンソル処理ユニット「ＴＰＵ」などの専用ニューラルプロセッサを使用して実行される。したがって、訓練は、典型的にはニューラルネットワークを訓練するためにクラウドベース又はメインフレームベースのニューラルプロセッサが使用される集中型アプローチを採用する。訓練データセットを用いたその訓練に続いて、訓練されたニューラルネットワークは、新しい入力データを分析するための装置、「推論」と呼ばれるプロセスに展開され得る。推論中の処理要件は、訓練中に必要とされるものよりも著しく低く、ニューラルネットワークがラップトップコンピュータ、タブレット、携帯電話などの様々なシステムに展開されることを可能にする。推論は、例えば、中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、ＴＰＵ、サーバ上、又はクラウド内で実行され得る。

上で概説したように、ニューラルネットワークを訓練するプロセスは、活性化関数の上記の重み及びバイアスを調整することを含む。教師付き学習では、訓練プロセスは、入力データを提示されるときに、ニューラルネットワークが対応する期待出力データを正確に提供するように、重み及びバイアスを自動的に調整する。損失関数の値又は誤差は、予測出力データと期待出力データとの間の差に基づいて計算される。損失関数の値は、負の対数尤度損失、平均二乗誤差、又はフーバー損失、又は交差エントロピーなどの関数を使用して計算され得る。訓練中、損失関数の値は、典型的には最小化され、訓練は、損失関数の値が停止基準を満たすときに終了される。場合によっては、訓練は、損失関数の値が複数の基準のうちの１つ以上を満たすときに、終了される。

勾配降下法、準ニュートン法など、損失最小化問題を解決するための様々な方法が、既知である。確率的勾配降下「ＳＧＤ」、バッチ勾配降下、ミニバッチ勾配降下、ガウス・ニュートン法、レーベンバーグ・マルカート法、モーメンタム法、Ａｄａｍ、Ｎａｄａｍ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳＰｒｏｐ、及びＡｄａｍａｘ「オプティマイザ」を含むが、これらに限定されない、これらの方法及びそれらの変形を実装するために、様々なアルゴリズムが開発されてきた。これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が、最後の層又は出力層において開始して第１の層又は入力層に向かって移動して計算されるので、逆伝搬と呼ばれる。これらの導関数は、誤差関数を最小化するためにモデルパラメータがどのように調整されなければならないかをアルゴリズムに知らせる。すなわち、モデルパラメータに対する調整は、出力層から始まり、入力層が達されるまでネットワーク内で後方に動作するように行われる。第１の訓練反復において、初期重み及びバイアスは、しばしばランダム化される。次いで、ニューラルネットワークは、同様にランダムである出力データを予測する。次いで、逆伝搬が、重み及びバイアスを調整するために使用される。訓練プロセスは、各反復において重み及びバイアスを調整することによって反復的に実行される。訓練は、誤差、又は予測出力データと期待出力データとの間の差が、訓練データ又はいくつかの検証データについて許容可能な範囲内にあるときに、終了される。その後、ニューラルネットワークが、展開され得、訓練されたニューラルネットワークは、そのパラメータの訓練された値を使用して、新しい入力データについて予測を行う。訓練プロセスが成功した場合、訓練されたニューラルネットワークは、新しい入力データから期待される出力データを正確に予測する。

図３及び図４を参照して上述された例示的なＬＳＴＭニューラルネットワークは、例としてのみ機能し、他のニューラルネットワークも、同様に、上述された方法の機能を実装するために使用され得ることを理解されたい。ＬＳＴＭニューラルネットワーク１３０に対する代替のニューラルネットワークは、また、リカレントニューラルネットワーク、ＲＮＮ、畳み込みニューラルネットワーク、ＣＮＮ、時間畳み込みニューラルネットワーク、ＴＣＮ、及び変換器を含むが、これらに限定されない、訓練動作Ｓ１３０中に所望の予測を実行するために訓練され得る。

いくつかの実装形態では、動作Ｓ１３０におけるニューラルネットワークの訓練は、更に拘束される。１つの例示的な実装形態では、時間的形状データ１１０、又は介入装置グラウンドトゥルース位置データ１２０は、介入装置１００を含むＸ線画像の時間的シーケンスを有し、介入装置１００は、血管領域内に配置される。この例では、上述の方法は、更に、
時間的形状データ１１０又は介入装置グランドトゥルース位置データ１２０から、血管領域の形状を表す血管画像データを抽出するステップＳ１６０を含み、
ニューラルネットワーク１３０を訓練するステップＳ１３０は、更に、
現在の時間ステップｔ_nにおける介入装置１００の複数の領域の各々の予測された位置１４０が、抽出された血管画像データによって表される血管領域の形状内にフィットするように、調整Ｓ１５０を拘束することを有する。

そうすることで、介入装置の部分の位置が、より高い精度で予測され得る。拘束は、拘束に基づいて第２の損失関数を計算し、この第２の損失関数を、前述の損失関数と共に、目的関数に組み込むことによって適用され得、その値は、次いで、訓練動作Ｓ１３０中に最小化される。

血管領域の形状を表す血管画像データは、例えば、Ｘ線画像の時間的シーケンス１１０を１つ又は複数のデジタルサブトラクション血管造影ＤＳＡ画像として提供することによって、Ｘ線画像から決定され得る。

上で説明された訓練方法の態様は、方法を実行するように構成された１つ又は複数のプロセッサを有する処理装置によって提供され得る。処理装置は、例えば、クラウドベースの処理システム又はサーバベースの処理システム又はメインフレームベースの処理システムであり得、いくつかの例では、１つ又は複数のプロセッサが、１つ又は複数のニューラルプロセッサ又はニューラル処理ユニット「ＮＰＵ」、１つ又は複数のＣＰＵ、又は１つ又は複数のＧＰＵを含み得る。処理装置は、分散コンピューティングシステムによって提供されてもよいことも企図される。処理装置は、方法を実行するための命令及びそれに関連するデータを集合的に記憶する１つ又は複数の非一時的コンピュータ可読記憶媒体と通信し得る。

訓練されたニューラルネットワーク１３０の上述の例は、「推論」と呼ばれるプロセスにおける新しいデータに関する予測を行うために使用され得る。訓練されたニューラルネットワークは、例えば、ラップトップコンピュータ、タブレット、携帯電話などのシステムに展開されてもよい。推論は、例えば、中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、サーバ上、又はクラウド内で実行され得る。図５は、本開示のいくつかの態様による、介入装置の部分の位置を予測する例示的な方法を示すフローチャートである。図５を参照すると、介入装置１００の複数の部分の各々の位置を予測するコンピュータ実装方法は、
時間ステップのシーケンスｔ₁．．ｔ_nにおける介入装置１００の形状を表す時間的形状データ２１０を受信するステップＳ２１０と、
時間的形状データ２１０を、シーケンス内の１つ又は複数の履歴的時間ｔ₁．．ｔ_n-1における介入装置１００の形状を表す時間的形状データ２１０から、シーケンス内の現在の時間ステップｔ_nにおける介入装置１００の複数の部分の各々の位置１４０を予測するように訓練されたニューラルネットワーク１３０に、シーケンス内の１つ又は複数の履歴的時間ｔ₁．．ｔ_n-1における介入装置１００の形状を表す受信された時間的形状データ２１０を入力するステップＳ２２０と、入力Ｓ２２０に応じて、ニューラルネットワークを使用して、シーケンス内の現在の時間ステップｔ_nにおける介入装置１００の複数の部分の各々の予測された位置１４０を生成するステップＳ２３０と、
を含む。

現在の時間ステップｔ_nにおける介入装置１００の複数の部分の各々の予測位置１４０は、予測位置１４０を表示装置に表示する、又はメモリ装置に記憶すること等によって出力されてもよい。

上述のように、時間的形状データ２１０は、例えば、
介入装置１００を含むＸ線画像の時間的シーケンス、又は
介入装置１００を含むコンピュータトモグラフィ画像の時間的シーケンス、又は
介入装置１００を含む超音波画像の時間的シーケンス、又は
介入装置１００に機械的に結合された複数の電磁追跡センサ又はエミッタによって提供される位置の時間的シーケンス、又は
介入装置１００に機械的に結合された複数の光ファイバ形状センサによって提供される位置の時間的シーケンス、又は
介入装置１００に機械的に結合された複数の誘電センサによって提供される位置の時間的シーケンス、又は
介入装置１００に機械的に結合された複数の超音波追跡センサ又はエミッタによって提供される位置の時間的シーケンス、
を含む。

ニューラルネットワーク１３０によって予測されるシーケンス内の現在の時間ステップｔ_nにおける介入装置１００の複数の部分の各々の予測位置１４０は、時間的形状データ２１０が介入装置を明確に識別しないとき、現在の時間ステップｔ_nにおける介入装置の１つ又は複数の部分の予測位置を提供するために使用され得る。したがって、一例では、時間的形状データ２１０が、介入装置１００を含むＸ線画像の時間的シーケンスを含み、推論方法は、
現在の時間ステップｔ_nに対応する時間的シーケンスからの現在のＸ線画像を表示するステップと、
現在のＸ線画像内の介入装置１００の少なくとも１つの部分の予測位置１４０を現在のＸ線画像内に表示するステップと、
を含む。

そうすることで、推論方法は、介入装置の部分の不十分な可視性に関連する欠点を軽減する。

訓練動作Ｓ１３０中に上述されたもののような時間的形状データ２１０の他のソースは、同様に、推論中に受信され、対応する形で表示されてもよい。

一例として、図６は、カテーテル及びガイドワイヤを含む、人間の解剖学的構造のＸ線画像を示し、ガイドワイヤの他の不可視部分の予測される位置が、表示される。介入装置１００の（複数の）部分の（複数の）予測位置は、例えば、現在のＸ線画像においてオーバーレイとして表示されてもよい。

いくつかの例では、信頼スコアも、計算され、介入装置の表示された位置について表示装置上に表示され得る。信頼スコアは、現在のＸ線画像における介入装置１００の（複数の）部分の（複数の）予測位置上のオーバーレイとして提供されてもよい。信頼スコアは、例えば、装置位置が正しい確率のヒートマップとして提供されてもよい。その数値を表示すること、棒グラフを表示することなどを含む、信頼性スコアを提示する他の形態は、代替的に使用されてもよい。信頼スコアは、例えば図３の各ＬＳＴＭセルの出力におけるＳｏｆｔｍａｘ層によって提供され得る、ニューラルネットワークの出力を使用して計算され得る。

システム２００は、また、介入装置１００の複数の部分の各々の位置を予測するために提供される。それに加えて、図７は、介入装置の部分の位置を予測するためのシステム２００を示す概略図である。システム２００は、コンピュータ実施推論方法に関連して上述した動作のうちの１つ又は複数を実行するように構成された１つ又は複数のプロセッサ２７０を含む。システムは、また、図７に示されるＸ線撮像システム２８０、又は別の撮像システムのような撮像システムを含んでもよい。使用時には、Ｘ線撮像装置２８０は、Ｘ線画像のシーケンスの形態での時間ステップｔ₁．．ｔ_nにおける介入装置１００の形状を表す時間的形状データ２１０を生成してもよく、これは、本方法への入力として使用されてもよい。システム２００は、また、図７に示されるような１つ又は複数の表示装置、及び／又はキーボードなどのユーザインターフェース装置、及び／又は方法の実行を制御するためのマウスなどのポインティング装置、及び／又は患者ベッドを含み得る。

上記の例は、本開示を例示するものとして理解されるべきであり、限定するものではない。更なる例も、企図される。例えば、コンピュータ実装方法に関連して説明された例は、対応する形で、コンピュータプログラム製品によって、又はコンピュータ可読記憶媒体によって、又は処理装置によって、又はシステム２００によっても提供され得る。任意の１つの例に関連して記載される特徴は、単独で、又は他の記載される特徴と組み合わせて使用され得、また、別の例の１つ又は複数の特徴、又は他の例の組み合わせと組み合わせて使用され得ることを理解されたい。更に、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、上記で説明されていない均等物及び修正物も使用され得る。請求項において、単語「有する」は、他の要素又は動作を排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数性を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. 介入装置の複数の部分の各々の位置を予測するためのニューラルネットワークを提供するコンピュータ実装方法において、
   時間ステップのシーケンスにおける介入装置の形状を表す時間的形状データを受信するステップと、
   前記シーケンス内の各時間ステップにおける前記介入装置の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信するステップと、
   前記シーケンス内の各現在の時間ステップについて、前記シーケンス内の１つ又は複数の履歴時間ステップにおける前記介入装置の形状を表す前記受信された時間的形状データをニューラルネットワークに入力し、前記現在の時間ステップにおける前記介入装置の各部分の前記予測された位置と前記受信された介入装置グラウンドトゥルース位置データからの前記現在の時間ステップにおける前記介入装置の各対応する部分の位置との間の差を表す損失関数に基づいて前記ニューラルネットワークのパラメータを調整することによって、前記シーケンス内の１つ又は複数の履歴時間ステップにおける前記介入装置の形状を表す前記時間的形状データから、前記シーケンス内の現在の時間ステップにおける前記介入装置の前記複数の部分の各々の位置を予測するようにニューラルネットワークを訓練するステップと、
   を有するコンピュータ実装方法。
2. 前記時間的形状データ、又は前記介入装置グランドトゥルース位置データが、
   前記介入装置を含むＸ線画像の時間的シーケンス、又は
   前記介入装置を含むコンピュータトモグラフィ画像の時間的シーケンス、又は
   前記介入装置を含む超音波画像の時間的シーケンス、又は
   前記介入装置を含む磁気共鳴画像の時間的シーケンス、又は
   前記介入装置に機械的に結合された複数の電磁追跡センサ又はエミッタによって提供される位置の時間的シーケンス、又は
   前記介入装置に機械的に結合された複数の光ファイバ形状センサによって提供される位置の時間的シーケンス、又は
   前記介入装置に機械的に結合された複数の誘電センサによって提供される位置の時間的シーケンス、又は
   前記介入装置に機械的に結合された複数の超音波追跡センサ又はエミッタによって提供される位置の時間的シーケンス、
   を有する、請求項１に記載のコンピュータ実装方法。
3. 前記ニューラルネットワークは、複数の出力を有し、各出力は、前記シーケンス内の前記現在の時間ステップにおける前記介入装置の異なる部分の位置を予測するように構成される、請求項１又は２に記載のコンピュータ実装方法。
4. 各出力が、前記現在の時間ステップにおける前記介入装置の１つ又は複数の近傍部分の前記予測された位置に少なくとも部分的に基づいて、前記シーケンス内の前記現在の時間ステップにおける前記介入装置の前記異なる部分の位置を予測するように構成される、請求項１乃至３のいずれか一項に記載のコンピュータ実装方法。
5. 前記ニューラルネットワークが、複数のＬＳＴＭセルを有するＬＳＴＭニューラルネットワークを有し、各ＬＳＴＭセルが、前記シーケンス内の前記現在の時間ステップにおける前記介入装置の異なる部分の位置を予測するように構成された出力を有し、
   各ＬＳＴＭセルについて、前記セルが、前記シーケンス内の前記１つ又は複数の履歴時間ステップにおける前記介入装置の形状を表す前記受信された時間的形データと、前記現在の時間ステップにおける前記介入装置の１つ又は複数の近傍部分の予測された位置とに基づいて、前記シーケンス内の前記現在の時間ステップにおける前記介入装置の前記部分の位置を予測するように構成される、請求項３に形状のコンピュータ実装方法。
6. 前記時間的形状データ又は前記介入装置グランドトゥルース位置データは、前記介入装置を含むＸ線画像の時間的シーケンスを有し、前記コンピュータ実装方法は、各時間ステップにおいて、前記介入装置の形状又は前記介入装置の前記複数の部分の各々の位置をそれぞれ提供するように前記シーケンス内の各Ｘ線画像をセグメント化するステップを更に有する、請求項２に記載のコンピュータ実装方法。
7. 前記時間的形状データ、又は前記介入装置グラウンドトゥルース位置データは、前記介入装置を含むＸ線画像の時間的シーケンスを有し、前記介入装置は、血管領域内に配置され、前記コンピュータ実装方法が、
   前記時間的形状データ、又は前記介入装置グランドトゥルース位置データから、前記血管領域の形状を表す血管画像データを抽出するステップ、
   を更に有し、
   前記ニューラルネットワークを訓練するステップが、前記シーケンス内の前記現在の時間ステップにおける前記介入装置の前記複数の部分の各々の前記予測された位置が前記抽出された血管画像データによって表される前記血管領域の形状内にフィットするように、前記調整するステップを拘束することを更に含む、
   請求項１に記載のコンピュータ実装方法。
8. 前記Ｘ線画像の時間的シーケンスは、デジタルサブトラクション血管造影画像を有する、請求項７に記載のコンピュータ実装方法。
9. 前記介入装置が、ガイドワイヤ、カテーテル、血管内超音波撮像装置、光コヒーレンストモグラフィ装置、イントロデューサシース、レーザアテレクトミー装置、機械的アテレクトミー装置、血圧装置及び／又は流量センサ装置、ＴＥＥプローブ、針、生検針、アブレーション装置、バルーン、又はエンドグラフトを有する、請求項１に記載のコンピュータ実装方法。
10. 介入装置の複数の部分の各々の位置を予測するためのニューラルネットワークを提供するための処理装置において、前記処理装置は、請求項１乃至９のいずれか一項に記載の方法を実行するように構成された１つ又は複数のプロセッサを有する、処理装置。
11. 介入装置の複数の部分の各々の位置を予測するコンピュータ実装方法において、
    時間ステップのシーケンスにおける介入装置の形状を表す時間的形状データを受信するステップと、
    前記シーケンス内の１つ又は複数の履歴時間ステップにおける前記介入装置の形状を表す前記時間的形状データから、前記シーケンス内の現在の時間ステップにおける前記介入装置の前記複数の部分の各々の位置を予測するように訓練されたニューラルネットワークに、前記シーケンス内の１つ又は複数の履歴時間ステップにおける前記介入装置の形状を表す前記受信された時間的形状データを入力し、前記入力に応答して、前記ニューラルネットワークを使用して、前記シーケンス内の前記現在の時間ステップにおける前記介入装置の前記複数の部分の各々の予測された位置を生成するステップと、
    を有する、コンピュータ実装方法。
12. 前記時間的形状データは、前記介入装置を含むＸ線画像の時間的シーケンスを有し、前記方法が、更に、
    前記現在の時間ステップに対応する前記時間的シーケンスからの現在のＸ線画像を表示するステップと、
    前記現在のＸ線画像内の前記介入装置の少なくとも一部の前記予測された位置を前記現在のＸ線画像内に表示するステップと、
    を有する、請求項１１に記載のコンピュータ実装方法。
13. 前記少なくとも１つの表示された位置の信頼スコアを計算するステップと、
    前記計算された信頼スコアを表示するステップと、
    を更に有する、請求項１１に記載のコンピュータ実装方法。
14. 介入装置）の複数の部分の各々の位置を予測するためのシステムにおいて、請求項１１に記載の方法を実行するように構成された１つ又は複数のプロセッサを有する、システム。
15. １つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１又は請求項１１に記載の方法を実行させる命令を有するコンピュータプログラム。

Images