JP2023505376A - 介入のための患者モデル推定 - Google Patents

Abstract

異なる撮像ジオメトリをとることができる撮像装置ＩＡの撮像動作を支援するためのシステムＳＹＳ及び実行する方法である。本システムは、現在の撮像ジオメトリｐで現在の関心領域ＲＯＩ＿１の撮像装置ＩＡによって取得された現在のイメージを受信するための入力インタフェースＩＮを備える。事前にトレーニングされた機械学習構成要素ＭＬＣは、次の関心領域ＲＯＩ＿２に関する次の撮像ジオメトリｐ’に対する撮像ジオメトリ変化Δｐを表す出力データを計算する。出力インタフェースＯＵＴは、撮像ジオメトリ変化の仕様を出力する。

Description

本発明は、イメージベースのナビゲーションを支援するシステム、イメージベースのナビゲーションを支援する方法、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。

経皮的冠動脈形成術（ＰＣＩ）などの特定の医療介入において、臨床医は、ガイドワイヤーなどの１又は複数の医療デバイス又はツールを患者内へ導入する必要があることがある。

介入は、１つ又は複数のイメージが撮像装置（「イメージャ」）によって取得され、時には一連としてビデオ供給を形成するＸ線撮像ガイダンス下で行われてもよく、これは、臨床医（本明細書では「ユーザ」と称する）のために表示デバイス上にリアルタイムで表示される。

表示されたイメージにより、ユーザは、病変、器官、導入されたデバイス／ツール、又は一般に関心領域（「ＲＯＩ」）を考慮することができる。最良の診断又は治療結果を得るには、ＲＯＩは、適切なポーズで視覚化する必要があり、イメージャの撮像ジオメトリを適応させる必要がある。

これら時には困難且つ要求の厳しい介入の過程では、臨床医は１つのＲＯＩから別のＲＯＩに切り替える必要があるが、その場合、イメージャの撮像ジオメトリを再度、適応させる必要がある。例えば、臨床医は、１つの冠状動脈枝において狭窄の治療を開始し、次に別の岐へ切り替えて分岐を治療しなければならない。また、治療プロトコルは、人体の完全に異なる部分にある１つの器官から完全に異なる器官への切り替えを必要とする。例えば、ユーザは、狭窄を治療するときに、カテーテルをよりよく導入するために鼠径部の大腿動脈を撮像し、次いで、心臓を撮像することを望む。

しかしながら、現在の介入Ｘ線撮像システムは、撮像テーブル上の患者の、又は現在撮像されている身体部分の位置を「認識」していない。

ユーザの責任は、患者が介入中に横たわる検査（「イクザム」）テーブルを移動すること、及び／又はＣアームなどのイメージャのガントリを移動して、関連する関心領域ＲＯＩがイメージャの検出器の（おそらく比較的小さな）視野（ＦＯＶ）内に来るようにすることである。さらに又は代わりに、適切なＣアーム角度が、臨床的に最適なイメージを得るために、適応される必要がある。現在、これらの撮影角度はオペレータによって手動で選ばれなければならないので、手順時間及びＸ線線量が増加する。

光学カメラは、患者が通常、滅菌カバーに覆われて部分的にしか見えないので、これらのカメラがテーブル上の患者のポーズを検出できない場合があるため、イメージジオメトリの適応を支援するための使用が限られている。イクザムテーブル上に存在する患者の解剖学的な「ジオメトリの認識」がこのように欠如することは、例えば、移動するＣアームの患者との望ましくない衝突をもたらす。

イメージジオメトリ適応は、特に複数回必要とされる場合、煩雑で時間がかかる。例えば、イクザムテーブル又はＣアームの動きには時間がかかり、全体的な手順期間に追加される。しばしば、Ｘ線撮像により、テーブルの動きの間、現在のＦＯＶの監視が継続され、オペレータは続けて所望の撮像ＲＯＩに達したかどうかを判断することができ、手順中に生じたユーザ及び患者への全体的な線量被爆が増加する。

テーブルの手動又はモーター補助の動きは、正確な位置決めを可能にする必要があり、したがって緩慢な動きを可能にする必要があり、より大きなテーブルの動きを効率的に行うことにさらに時間がかかる。可変である動きの速度が使用されるとしても（例えば、最高速度までの経時的な加速度）、テーブルの動きのプロセスは最適化されず、これは、システムが、ユーザが次に撮像したい身体部分、又はその（次の）関心領域が撮像システムの座標系に対してどこにあるのかをまだ認識していないためである。

さらに、異なる身体部分の撮像には、最適な線量及び画質のために異なる撮像設定（「ＥＰＸ」）を必要とする。これらの設定は、テーブル／Ｃアームの移動が完了すると、オペレータによって手動で変えなければならない。

したがって、現在の撮像システムにおける上述の欠点の少なくとも１つ又は複数に対処するための撮像支援システムが必要とされている。

本発明の目的は、さらなる実施形態が従属請求項に組み込まれる独立請求項の主題によって解決される。なお、本発明の以下に記載される態様は、イメージベースのナビゲーションを支援する方法、コンピュータプログラム要素及びコンピュータ可読媒体へ等しく適用される。

第１の態様によれば、異なる撮像ジオメトリをとることができる撮像装置の撮像動作を支援するためのシステムが提供され、このシステムは、
現在の撮像ジオメトリで現在の関心領域の撮像装置によって取得された現在のイメージを受信するための入力インタフェースと、
次の関心領域に関する次の撮像ジオメトリに対して撮像ジオメトリ変化を表す出力データを計算するための事前にトレーニングされた機械学習構成要素と、
撮像ジオメトリ変化の仕様を出力するための出力インタフェースとを備える。

特に、入力像は、現在取得されたライブ像である。撮像ジオメトリ変化は、明示的に提供されてもよく、これが好ましく、又は、新しい撮像ジオメトリの仕様を提供することによって黙示的に提供されてもよい。後者の場合、変換動作が撮像ジオメトリ変化仕様を得るために必要とされる。撮像ジオメトリ変化推定値は、テーブル上の患者に対してＲＯＩのポーズ推定を黙示的に提供する。したがって、推定値は、ＲＯＩのポーズを含む所与の患者の解剖学的モデルを任意で構築するために使用される。

本明細書は、一般的な意味で、座標、角度若しくは並進、又はそれらの組み合わせなどの１つ又は複数のデータ点を含み、したがって、イメージャの撮像ジオメトリ構成要素の軌道を画定する。この軌道に沿って撮像ジオメトリを変化させると、現在の撮像ジオメトリを第２の撮像ジオメトリに適応させることができる。そのような軌道が複数あり、実際に、時折、軌道は、患者との衝突を避けるために修正される。

イメージジオメトリ変化の仕様は、座標系に対する１つ又は複数の次のＲＯＩのそれぞれのポーズ自体の座標によって黙示的に表されてもよい。ＲＯＩポーズ座標は、イメージジオメトリ変化仕様又は新しい撮像ジオメトリへ変換することができる。この仕様は、どのように現在の撮像ジオメトリが、次のＲＯＩの次のイメージを計算されたポーズで取得できるように変化する必要があるかを指定する。

別の言い方をすれば、提案されたシステムは、現在のＲＯＩイメージが与えられると、単一又は複数の他のＲＯＩ（本明細書では「ランドマーク」とも称する）に対するこのＲＯＩの相対的ポーズを予測し、そこから撮像ジオメトリの相対的変化が導出される。言い換えると、撮像された各ＲＯＩは、患者空間において黙示的参照座標系に対する既知の関係を有し、この黙示的参照座標系は、機械学習構成要素のモデルにおいて符号化される。符号化は、ニューラルネットワークモデルにおけるようなネットワーク重みによって行われてもよい。このＲＯＩ座標は、次いで、一実施形態のＣアーム空間におけるような撮像ジオメトリ変化に関連してもよい。また、ＭＬモデルは、ＲＯＩポーズ座標を参照することなく直接、撮像ジオメトリ変化を符号化してもよい。

実施形態では、本システムは、仕様に基づいて、１つ又は複数のアクチュエータに撮像装置に次の撮像ジオメトリをとらせるように指示する制御モジュールを備える。

実施形態では、本システムは、ユーザが次の関心領域を指定できるように構成されたユーザインタフェースを備える。

実施形態では、本システムは、表示デバイス上に仕様の視覚的指示を生成するための図形生成器を備える。

視覚的指示は、撮像装置に次の撮像ジオメトリをとらせるようにユーザを導くのに適切である。

実施形態では、撮像ジオメトリは、ｉ）撮像装置のＸ線源の少なくとも１つのポーズ、ｉｉ）撮像装置の検査テーブルの少なくとも１つのポーズ、ｉｉｉ）撮像装置のコリメータの状態、及びｉｖ）撮像装置の検出器とＸ線源との間の距離のうちのいずれか１つ又は複数を含む。

実施形態では、機械学習構成要素は、次の関心領域及び／又は撮像動作に関連した撮像装置のイメージ取得設定を計算するように構成される。

実施形態では、機械学習構成要素は、ニューラルネットワークを含む。

実施形態では、ニューラルネットワークは畳み込みニューラルネットワークである。代替として又は追加として、ニューラルネットワークは、十分に接続されたネットワークを含む。

別の態様では、異なる撮像ジオメトリをとることができる撮像装置の撮像動作を支援するための機械学習モデルをトレーニングするシステムが提供され、このシステムは、
関心領域と１つ又は複数の他の関心領域に関する関連した撮像ジオメトリ変化とを表すトレーニング画像を含むトレーニング入力データを受信し、
トレーニング入力データを機械学習モデルに適用してトレーニング出力データを得て、
トレーニング出力データに基づいて機械学習モデルのパラメータを適応させるように構成される。

実施形態では、モデルはニューラルネットワークアーキテクチャを有する。

別の態様では、異なる撮像ジオメトリをとることができる撮像装置によって撮像動作を支援する方法が提供され、この方法は、
現在の撮像ジオメトリで現在の関心領域の撮像装置によって取得された現在のイメージを受信するステップと、
事前にトレーニングされた機械学習構成要素に基づいて、次の関心領域に関する次の撮像ジオメトリに対して撮像ジオメトリ変化を表す出力データを計算するステップと、
撮像ジオメトリ変化の仕様を出力するステップと、を有する。

別の態様では、異なる撮像ジオメトリをとることができる撮像装置の撮像動作を支援するための機械学習構成要素をトレーニングする方法が提供され、この方法は、
関心領域と１つ又は複数の他の関心領域に関する関連した撮像ジオメトリ変化とを表すトレーニング画像を含むトレーニング入力データを受信するステップと、
前記トレーニング入力データをモデルへ適用してトレーニング出力データを得るステップと、
トレーニング出力データに基づいて前記モデルのパラメータを適応させるステップと、を有する。

別の態様では、イメージ処理機器が提供され、この機器は、
上記実施形態のうちのいずれか１つのシステムと撮像装置とを備える。

別の態様では、コンピュータプログラム要素が提供され、これは、少なくとも１つの処理ユニットによって実行されているときに、処理ユニットに、上述した実施形態のいずれか１つによる方法を行わせるように適応されている。

別の態様では、プログラム要素、又は実施形態のいずれか１つにおいて上述したようなシステムで使用されるような事前にトレーニングされた機械学習構成要素をその上に格納したコンピュータ可読媒体が提供される。

本明細書で提案されるのは、患者集団から引き出された１つ又は複数のトレーニングのテーブル上の患者のＸ線イメージに基づいて、検査テーブル上の患者のポーズの、したがって必要とされる撮像ジオメトリ変化のモデルを学習するためのシステム及び方法である。トレーニングは、コンテキスト上のイメージ又は非イメージデータと併せて画像から学習することによって洗練されてもよい。コンテキスト上のデータは、病院のＩＴシステム（例えば、放射線情報システム（ＲＩＳ）、電子医療記録（ＥＭＲ）、並びに／又はイメージアーカイブ及び通信システム（ＰＡＣＳ））から導出された以前の患者情報を含む。そのようにトレーニングされたモデルは、次いで、テーブル／Ｃアームの動き及び／又は角形成を助ける又は自動化し、撮像される現在の身体部分に対するＥＰＸ（又は他の）設定を自動的に最適化するために利用される。

「撮像ジオメトリ」：蛍光透視法又は他のＸ線又は非Ｘ線撮像様式では、撮像ジオメトリは、角形成角度（「角形成」）、回転角度、並進などのうちの１つ又は複数（任意の組み合わせで）又は全てによって決定される。一般に、撮像ジオメトリは、イメージャのジオメトリ的構成に関する。撮像ジオメトリは、光軸の位置及び／又は配向を変化する任意の設定又は構成、Ｘ線源とＸ線検出器とを接続する虚軸、並びに／又は特に、コリメータ設定などの、撮像された対象に対する、そうでなければ撮像ＦＯＶに空間的に影響を与える撮像様式／装置の設定／構成に関係する。撮像ジオメトリはまた、ＳＩＤ（源と検出器との距離）も含み、この撮像ジオメトリは、このように（本質的に）倍率を決定する。

「ユーザ」：本明細書で使用されるように、撮像装置を操作する者である。

「患者／物体」：人間、動物又は植物、微生物（例えば、顕微鏡撮像における）などであるが、手荷物検査、非破壊材料試験などにおける無生物の「物体」にも関する。

一般に、「機械学習構成要素」は、「機械学習」（「ＭＬ」）アルゴリズムを実施する、又は実施を容易にするコンピュータ化された機器である。機械学習モデルは、ＭＬ「モデル」に基づく。ＭＬ構成要素は、タスクを行うように構成される。ＭＬアルゴリズムでは、タスクパフォーマンスは、機器に、より多くのトレーニングデータを供給した後、測定可能に改善する。モデルは、トレーニングデータに基づいて適応される。パフォーマンスは、トレーニングされたモデルに試験データを供給するときに、客観的な試験によって測定される。パフォーマンスは、所与の試験データに対して達成される特定の誤差率を要求することによって定義される。Ｔ．Ｍ．Ｍｉｔｃｈｅｌｌ，”Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ”，ページ２，セクション１．１，ＭｃＧｒａｗ－Ｈｉｌｌ，１９９７年参照。本明細書での主な関心タスクは、撮像のためのナビゲーション支援、特に撮像ジオメトリ変化の推定である。

「ポーズ」：位置及び配向のいずれか一方又は両方を指す。

本発明の例示的実施形態を、次に、以下の図面を参照して説明するが、これらは縮尺通りではない。
Ｘ線撮像装置を含む撮像機器のブロック図である。 異なるランドマーク間の空間的関係を表す仮想モデルである。 撮像支援のためのコンピュータ実施ナビゲーションシステムの概略ブロック図である。 機械学習構成要素の概略図を示す。 機械学習構成要素をトレーニングするためのコンピュータ実施トレーニングシステムである。 撮像動作を支援する方法のフローチャートである。 機械学習構成要素をトレーニングする方法のフローチャートである。

図１を参照すると、好ましくは医療介入のコンテキストで使用するための、ナビゲーションのイメージベースの支援のための機器ＡＲの概略図が示されている。

機器ＡＲは、撮像装置ＩＡ、特に、ユーザによって関心領域ＲＯＩ＿１で患者の内部構造のＸ線画像Ｉｉを得るために操作可能なＸ線撮像装置を備える。関心領域ＲＯＩ＿１は、人間の心臓、肺、別の器官又は器官群である。

画像Ｉｉは、本明細書ではフレームのシーケンスと称することもあるが、要望通りに、ユーザへの表示デバイスＤＤ上の動画又はビデオ供給としてリアルタイムで表示され、又は静止イメージとして単独で表示されてもよい。

撮像機器ＡＲは、ユーザが（現在のＲＯＩ＿１を撮像するための）現在の撮像ジオメトリを新しい撮像ジオメトリに適応させて新しいＲＯＩ＿２を撮像する際、支援するイメージ処理システムＳＹＳをさらに備える。

前述のように、撮像装置ＡＩ及び撮像処理システムＳＹＳは主に、経皮的冠動脈形成術（ＰＣＩ）などの医療介入を支援する実施形態において本明細書で想定される。他の医療介入も、必ずしも人間又は動物の心臓に関して行われるとは限らないが、想定され、したがってアクセスできない洞窟若しくは配管システムで行われる検査及び作業、又は肉眼によって直接検査できないエンジン及び他の複雑な機械類などの技術機器を検査するためのイメージベースの支援などの非医療用途も想定されているが、閉塞された関心領域をビデオ供給による目視検査でアクセスすることができるようにするには撮像機器を必要とする。

ここでまず撮像装置ＩＡを、より詳細に参照すると、これは図１の例示的な実施形態に示されているようにＣ又はＵアーム型の撮像装置として配置される。図１の実施形態では、ＣアームシステムＩＡは、天井ＣＬに取り付けられているが、これは必ずしも全ての実施形態においてそうであるわけではない。また、撮像装置ＩＡは、床に取り付けられ、スタンドに取り付けられるなどである。さらに代替として、撮像装置は、車輪付き又はトラック取り付けなどの可動式であってもよい。

Ｘ線撮像装置は、Ｘ線検出器ＤとＸ線源ＸＳとを含む。大まかに言うと、実施形態では、必ずしも全ての実施形態ではないが、撮像装置は、Ｘ線管などの、Ｘ線検出器Ｄ及びＸ線源ＸＳを担持するガントリＧを備える。Ｘ線検出器及びＸ線源ＸＳは、ガントリＧ上に対向する空間関係で配置されてＸ線源とＸ線検出器との間に検査領域を形成する。この検査領域において、患者ＰＡＴは、関心領域がＩＳ撮像装置のほぼアイソセンタに位置付けられるように位置する。患者は、撮像中に検査テーブルＴＢ上に横たわる。テーブルＴＢは、高さＨで調整されてもよく、Ｘ、Ｙ、又はＸ及びＹ軸の両方に沿って並進可能であってもよく、また、１つ又は２つの傾き軸を中心として実施形態では傾けることが可能であってもよい。

撮像手順の間、Ｘ線源ＸＳは、陽極と陰極との間に陰極電流及び電圧を印加することによって付勢されて陽極の焦点スポットから出射するＸ線ビームＸＢを生成する。ビームは、Ｘ線源を出て、検査領域を通過し、したがって関心領域での及びその周辺の患者組織を通過し、次いで、Ｘ線検出器ＤのＸ線感応性表面に衝突する。検出器ＤのＸ線感応性表面は、衝突するＸ線を強度値へ変換する画素要素を備えてもよい。強度値は場所によって変動し、その変動は、局所的に異なる材料密度を有する組織又は組織型によるＸ線ビームの減衰差によって引き起こされる。

検出器ＸＳでそのように記録された強度値は、投影イメージ（「フレーム」）を形成するために色又は灰色値パレットに従ってイメージ値へマップしてもよい。取得回路は、撮像手順中に異なる例で、異なる投影イメージのシーケンスを適切なフレームレートでこのように捕捉するように動作する。本明細書で想定される例示的なフレームレートは、２０～３０ｆｐｓである。例えば、蛍光透視法では、本明細書で想定される主な様式として、強度値は、黒から灰色の値を通って白までの範囲の値の範囲上にマップされてもよく、イメージ値が暗いほど強度値が低くなる。他のマッピングスキーム、例えば、逆マッピングが使用され、より低い強度値が、Ｘ線撮影において一般的に使用されるような、より明るいイメージ値へマップされる。代わりに、さらに他のマッピングスキームが使用されてもよい。

一次Ｘ線ビームの空間幅は、イメージャＩＡの視野ＦｏＶを画定する。視野内、したがってＸ線ビーム内へ存在する又は延びる物体は、Ｘ線が検出器で局所的に検出される強度を修正する。視野は、Ｘ線源を移動させ、患者を移動させるなどによってイメージャＩＡの撮像ジオメトリを適応させることによって、又はコリメータ（図示せず）が前述の構成要素の全ての組み合わせ若しくは任意のサブセットを使用してビーム幅を拡大若しくは制限することによって、ユーザの要求により、又は自動的に変化される。システムＳＹＳは、以下でさらに詳しく説明するように、撮像ジオメトリの変化を支援するように構成されている。

Ｘ線検出器は、表示デバイスＤＤへ通信可能に結合されたデジタルフラットパネル検出器として配置されてもよい。フラットパネル検出器Ｄは、直接変換又は間接変換型のものであってもよい。代替実施形態では、撮像検出器は、ビデオカメラを介して表示デバイスへ結合されたイメージ増強器として配置されてもよい。

本明細書で主に想定される投影画像のコントラスト付与機構は減衰であるが、さらに又は代わりに、位相コントラスト及び／又は暗視野撮像などの他のコントラスト機構を利用する他の撮像技術は、本明細書では除外されない。後者の２つの場合において、撮像装置は、干渉計その他などの追加の構成要素を含んでもよい。

撮像装置は、ユーザがいつ撮像手順を開始且つ停止するか、特にいつＸ線源ＸＳを付勢するかを決定することができる制御コンソールＣＣを含む。ペダルが、ユーザインタフェースとしてコンソールへ結合されて、Ｘ線源を付勢又は付勢解除することを制御し、又はグリッドスイッチを操作してＸ線ビームへの暴露を停止若しくは再開する。

一次Ｘ線ビームの主な伝搬方向（散乱された放射線は別として）は、Ｘ線源の焦点スポット（図示せず）からＸ線検出器ＤのＸ放射線感応性表面の中央部まで走る虚線である光軸ＯＸによって画定される。光軸は空間投影方向を画定する。

ナビゲーションにおいてユーザを、よりよく支援するために、光軸、したがって投影方向の位置又は空間的配向は、ユーザの要求に応じて変化されてもよい。これは、一実施形態では、互いに垂直である各軸のうちの１つ、又は好ましくは２つの軸の周りに回転可能となるようにガントリを配置することによって達成されることができる。２つのこのような回転軸を有することで、光軸を変化するために２の自由度が可能となる。例えば、一ジオメトリでは、回転軸の１つが図１の図面の平面内へ延び、光軸は角度βを中心として回転することができる。他方の回転軸は、図１の図面の平面に平行であり、図１に模式的に示すように、βから独立して、別の角度αを中心として、配向を変更することを可能にする。慣例により、αの軸は「回転」を定義する一方で、βの軸は「角形成」を定義する。

任意選択で、ガントリ自体の高さも、図１の両矢印Ｈで示すように変更してもよい。さらに、光軸ＯＸは、それに応じてガントリを線に沿って移動させることによって並進させてもよい。光軸の位置及び配向は、撮像ジオメトリを少なくとも部分的に画定するために本明細書で参照される。言い換えると、実施形態において本明細書で想定される撮像装置により、ユーザは撮像ジオメトリを変化させることができる。撮像ジオメトリの変化は、ユーザが、ジョイスティック、又は撮像ジオメトリ変化を要求することができる他の適切なユーザインタフェースＩＧ－ＵＩを操作することによって要求される。ユーザインタフェースＩＧ－ＵＩは、制御コンソールＣＣへ結合される。撮像ジオメトリ変化は、何らユーザの関与なしに、提案されたコンピュータ化撮像支援システムＳＹＳによって十分に自動的に要求される。代替として又は追加の任意選択として、コンピュータ化された撮像支援システムＳＹＳにより、ユーザは、ユーザインタフェースＩＧ－ＵＩを介して自身で撮像ジオメトリを変化させることができるが、撮像支援システムＳＹＳは、有用に関与し、例えば、ユーザを撮像ジオメトリへ導く。このように導く動作は、純粋に視覚的手がかりを介して、又はさらに若しくは代わりに、積極的に、例えば、触覚刺激によって機械的に、又は後でより詳細に説明されるように、他のやり方で実施される。

撮像ジオメトリの変化の要求には、制御信号がガントリ、テーブルＴＢコリメータＣＯＬ（存在する場合）などのうちの任意の１つ又は複数で、撮像装置に配置された適切なアクチュエータＡＣＯへ印加されることを含む。アクチュエータＡＣは、制御信号に応答して動作して撮像ジオメトリを変える。アクチュエータＡＣは、電源によって作動されるか又はハンドホイール、レバーなど、若しくは他のデバイスを介してユーザによって手動で作動される。アクチュエータＡＣは、純粋に自動、ハイブリッド、又は半自動のいずれかである。半自動ではユーザはジョイスティックのようなユーザインタフェース又は他の制御デバイスを操作するが、サーボモータなどによって補助されて撮像ジオメトリ変化を達成する。

アクチュエータは符号化されているか又はされていない。符号化されている場合、ポテンショメータなどの線状若しくは角度符号化器、又は他のものを含む。符号化器のおかげで、１つ又は複数のアクチュエータによって達成されたイメージジオメトリ変化は追跡可能であり、すなわち、撮像ジオメトリ変化に伴って変動する数値座標へマップすることが可能である。

撮像ジオメトリを変えるための他の選択肢は、検出器とＸ線源との距離を変えること及び／又は関心領域とＸ線検出器、したがってＸ線源との間の距離を変えることを含む。後者の変化は、患者が横たわる検査テーブルＴＢの高さｈを変えることによって達成される。高さｈ及び／又は源と検出器との距離を変えることは、特定の倍率でイメージを再スケーリングすることになる。さらに、撮像ジオメトリを変化させるための他の選択肢は、Ｘ線ビームの断面の形状又は大きさを制限又は拡大して視野（「ＦｏＶ」）を変えるためのコリメータ（図示せず）の操作を含む。撮像ジオメトリを変化させるためのさらに別の選択肢は、テーブルの表面に平行な平面において患者テーブルＴＢをＸ、Ｙ方向に並進させることを含み、一方向が図１の図面平面に平行であり、他の方向はイメージ平面内へ延びる。テーブルは、１つ又は２つの軸の周りに傾けてもよい。撮像ジオメトリ変化に関与する撮像装置の構成要素は、本明細書では一般に撮像ジオメトリ構成要素と称され、特に源ＸＳ、ガントリ、検出器、コリメータ（存在する場合）、テーブルなどのうちのいずれか１つ、複数、又は全てを含む。

上述した角度値α、βは、本明細書では角度撮像ジオメトリパラメータｐωと総称する。テーブルＴＢに関しての撮像ジオメトリ、すなわちｘ、ｙの片方又は両方に沿った並進は、本明細書では並進撮像ジオメトリパラメータｐ_Ｔと称される。角度撮像ジオメトリパラメータｐωはまた、テーブルを傾けるなどの他の撮像ジオメトリ構成要素の設定に関して、他のそのようなパラメータを含み、及び／又は並進撮像ジオメトリパラメータｐ_Ｔは、コリメータ開口部などの設定、高さＨ適応（例えば、Ｚ軸に沿った並進）などのＣアームの並進設定、又は撮像ジオメトリを決定する他の構成要素の並進を含むことが理解される。要約すると、撮像ジオメトリは、したがって、一般に高次元のベクトル

として形式化される。各撮像ジオメトリは、ポーズであり、それぞれの撮像ジオメトリとして撮像することができるそれぞれのＲＯＩのポーズに関する。撮像ジオメトリ変化は、並進撮像ジオメトリパラメータｐ_Ｔにおける変化のみ、又は角度撮像ジオメトリパラメータｐω、若しくはｐωとｐ_Ｔとの両方における変化のみを含み、特にいくつかのより単純な実施形態では、撮像ジオメトリの変化は、テーブルＴＢ又はＣアームガントリのｘ、ｙ又はｘ、ｙ両方の方向における動きにのみ関する。角度の変化が存在する場合は、ユーザによって手動で行われる。他の実施形態では、必要に応じて、ｐωとｐ_Ｔとの両方、又はｐωのみにおいて想定される変化がある。撮像ジオメトリ構成要素／パラメータに関する上述の定義は、ＣアームＸ線撮像のコンテキストにあることが理解されるが、本開示はこの様式に限定されず、本明細書で説明される原理は、撮像ジオメトリ変化を認める任意の他の撮像装置へ適用することができる。ｐω、ｐ_Ｔに関するパラメータ化は、当然ながら異なる。

一般に、撮像ジオメトリの変化は、関心領域に対するＸ線源及び／又は検出器間の空間的関係を変える。さらに又は代わりに、視野は、コリメータ作用によって、又は、例えば、説明されたようにテーブルＴＢ並進によって患者を移動させることによって変えてもよい。

典型的な撮像プロトコルでは、ユーザは、Ｘ線源を付勢し、第１の撮像ジオメトリで第１の関心領域ＲＯＩ＿１の１つのイメージ又はイメージＩ（ＲＯＩ＿１）のシーケンスを取得する。取得された１つ（又は複数）のフレームは、ビデオ供給として又は静止画像として表示デバイスＤＤ上で表示される。ユーザは、次いで、撮像の停止を要求し、例えば、コリメータ又はグリッドスイッチ作用によって、Ｘ線源が付勢解除されるか、又はＸ線ビームがその他のやり方で無効にされる。

撮像プロトコルは、次いで、異なる撮像ジオメトリで第２の関心領域ＲＯＩ＿２の画像を取得することを要求してもよい。実際、ＰＣＩ又は他のものなどの特定の撮像プロトコルによると、ユーザは、特定のシーケンスにおける複数（２つ以上）の異なるＲＯＩを訪れて、異なるそれぞれの撮像ジオメトリでのＲＯＩのそれぞれにおいて、それぞれのイメージ又はイメージのシーケンスを取得する必要がある。特にこのような複雑な撮像プロトコルが要求されるとき、本明細書で提案されるようなコンピュータ化されたナビゲーション支援システムＳＹＳは、ＲＯＩ＿１からＲＯＩ＿ＫでＫ＞１のシーケンスを訪れるときに異なる撮像ジオメトリを自動的に、又は少なくとも半自動的に実現することによって、ユーザが、それらのＲＯＩを順序どおりに迅速かつ確実に見つけるのを助ける。代替として又は追加として、システムＳＹＳは、撮像ジオメトリがどのように変化するべきかを視覚的な手がかりによって、又は正しいユーザインタフェース操作を促進するためのユーザインタフェースとの機械的係合によって、ユーザが、撮像装置の撮像ジオメトリユーザインタフェースを操作する際に補助する。

提案されたナビゲーションの補助システムＳＹＳの基本動作は、患者の「仮想」モデルＭの模式図が平面図で示されている図２を参照して例示することができる。

十字は、頸部動脈Ａ、心臓Ｈ、腎臓Ｌ及び大腿骨アクセス点Ｒの位置など、特定の介入のための異なる関心領域を示す。さらに、図２に示す状況では、現在、最初の又は現在の第１の関心領域ＲＯＩ＿１として大腿骨アクセス部位Ｒが撮像されて、正しい撮像ジオメトリで第１又は現在のイメージＩ（ＲＯＩ＿１）を取得する。次に、プロトコルは、心臓Ｈを撮像することを必要とし、次いで、撮像ジオメトリ変化を必要とする。この撮像ジオメトリ変化は概念化され、実際には、現在のジオメトリＲＯＩ＿１が、ＲＯＩ＿２＝Ｈで心臓を適切に撮像するために必要な更新された撮像ジオメトリへ変換されるジオメトリ変換として定義される。

ＲからＨへのこのような変換、又はより正式にはＴ_Ｒ，Ｈ，は、角度若しくは並進の動き、又はその両方の組み合わせによって実現されることができる撮像ジオメトリの変化を表す。特に、変換は、検査テーブルの並進及び／又はＣアームの回転／角形成など、それぞれの撮像ジオメトリ構成要素を駆動する１つ又は複数のイメージャＩＡのアクチュエータＡＣによって実現又は引き起こされる。提案されたシステムＳＹＳは、それに応じてアクチュエータＡＣを制御するように実施形態で構成されている。

いくつかの撮像ジオメトリ変化は、患者テーブルＴＢ及びガントリＧの両方（例えば、介入Ｘ線撮像システムのＣアーム）を移動することを含むことが理解される。両方の動きは、実施形態において作動且つ符号化される。ガントリＣ及びテーブルＴＢの相対的なポーズは、ＲＯＩ＿１に対する現在の撮像ジオメトリを少なくとも部分的又は十分に決定する。したがって、撮像ジオメトリの変化は、１つ又は複数の撮像ジオメトリ構成要素が作動してそれらのポーズを変える特に相対的な変化を含む。

例えば、ＣアームＧとイクザムテーブルＴＢとの間の相対的な動きは、それがテーブルＴＢのみであるか、ＣアームＧのみであるか、又は両方の構成要素が移動されて、それらの相対的ポーズ、例えば、位置を変えることを示唆する。

より正式には、Ｔ_Ｔは、固定ワールド参照座標系におけるテーブルの３Ｄポーズ変換とし、Ｔ_Ｃは、同じ固定参照座標系におけるＣアームの３Ｄポーズ変換とする。次に、相対的な動き（又はポーズ変換）は以下のようになる。
Ｔ_Ｒ ＝ Ｔ_Ｃ ^－１・Ｔ_Ｔ （１）

式（１）は、Ｃアームに対するテーブルの相対的な動きを表し、ここで、「^－１」は変換の反転を示し、「・」は変換の乗算／連結を示す。以下では、各撮像ジオメトリ変換は、単一又は共通の固定ワールド座標系に関するエントリを有する（（１）におけるような）２つ以上の変換行列の合成として記述可能であり、各行列Ｔｊは、関連する撮像ジオメトリ構成要素ｊのポーズ変化を表す。

本明細書で想定されるモデルＭは、ありとあらゆるＲＯＩ位置、又は、より一般的にはポーズを明示的に符号化するわけではないことが理解される。これは、それぞれの関心領域の正確なポーズとして記載する絶対値が患者ごとに異なる可能性がないためであり、これは次に、いかに撮像ジオメトリを変える必要があるかに関する変動を直接、示唆する。代わりに、症例からの患者画像又は合成的に生成された画像を含むトレーニングデータ上でトレーニングされる機械学習構成要素ＭＬＣの一部としての機械学習モデルとしてモデルＭを実施することが本明細書で提案される。機械学習モデルＭのパラメータは、次に、トレーニングデータに基づいて適応される。そのように適応されたパラメータは、次いで、単一の患者ではなく、むしろ全体としての患者の集団に対する関心領域間の相互空間関係を集合的且つ黙示的に符号化する。本明細書で提案される適切な機械学習モデル及びトレーニングデータに基づいてそれをトレーニングする方法は、図４Ａ、図４Ｂ及び図５Ｂを参照して以下に十分に説明する。

ここで、最初にイメージ処理システムＳＹＳの動作に移り、これを図３のブロック図を参照して、より詳細に説明する。大まかに言うと、ナビゲーション支援システムＳＹＳは、撮像ジオメトリ変化を行うように構成されるか、又はユーザが正しい撮像ジオメトリを実現する際、補助するように構成されている。

撮像支援ナビゲーションシステムＳＹＳはコンピュータ化されている。単一又は複数のデータ処理システムＰＵ上で実施されてもよい。システムＳＹＳは、撮像装置ＩＡ内へ統合されるか、又はそうでなければ、有線又は無線方式で、フレームＩｉを供給する撮像装置ＩＡと通信可能に結合される。

システムＳＹＳは、適切にリンクされ且つ１つ又は複数の処理ユニットＰＵ上で実行される１つ又は複数のソフトウェアモジュールとして配置されてもよい。また、撮像処理システムＳＹＳは、適切に構成されたマイクロコントローラ又はマイクロプロセッサとしてハードウェアに配置されてもよい。代替としても、システムＳＹＳはハードとソフトウェアとの両方で実施される。本システムは、マイクロコントローラとして部分的又は十分に実施され、撮像装置ＩＡ内へ任意選択で十分に統合される。イメージ処理システムＳＹＳの以下に記載される構成要素のいくつか以上、特に機械学習構成要素ＭＬＣは、適切に通信可能に結合された１つ又は複数のメモリＳＭに存在する。データ処理システムＰＵは、適切にプログラムされた汎用のコンピューティングデバイスであってもよい。処理ユニットは、迅速な計算を達成するための図形処理システム（ＧＰＵ）を含んでもよい。

続けて、より詳細に、図３を参照して、提案されたナビゲーション支援システムＳＹＳの構成要素の概略ブロック図を示す。システムＳＹＳは、機械学習構成要素ＭＬＣを含む。機械学習構成要素は、現時点では、適切なトレーニングデータ上で十分にトレーニングされたと仮定する。したがって、システムＳＹＳは、ここで、「展開位相」において、すなわち、「学習／トレーニング位相」の後で動作するときに説明される。ただし、機械学習構成要素のトレーニングは必ずしも１回限りの動作ではないかもしれないが、システムは、特に、何らかの理由でパフォーマンスが低いことが判明した場合、新しいデータから学習することができる。これらの繰り返し学習位相（以前とは異なるトレーニングデータを備える）により、例えば、医療現場の患者集団の特定の特性に合わせてシステムＳＹＳを調整することができる。

ここで説明する展開位相では、患者ＰＡＴがイクザムテーブルＴＢ上に位置づけられ、最初／又は次のイメージＩ（ＲＯＩ＿１）が、第１の撮像ジオメトリでイメージャＩＡを操作することによって、関心のＲＯＩ＿１に得られる。この第１／現在のイメージＩ（ＲＯＩ＿１）は、ナビゲーション支援システムＳＹＳの入力ポートＩＮで受信される。イメージは、任意選択のプリプロセッサモジュールＰＰによって前処理されてもよい。前処理は、トリミング、再サンプリング、スケーリング、ヒストグラム正規化及び他の正規化又は標準化ステップの任意の１つ又は複数、並びに様々な型のデータ拡張（回転、並進、スケーリング、及びシミュレーションから得られた解剖学的又は介入デバイスの追加）を含む。任意選択で、追加の患者の生体特性データ（例えば、身長、体重、ＢＭＩ、年齢、性別、民族性）を有するベクトルａｋも、前処理され（例えば、正規化され、埋め込まれ）、現在のライブ撮像データＩｋとともに事前トレーニングされたＭＬＣへ提供される。ライブイメージデータを使用することは好ましいが、代替として又は追加として、術前のスカウトイメージ、全身ＣＴ画像、ＭＲＩ画像、超音波画像、又は他の様式の画像などの補助イメージデータが使用されてもよい。

システムＳＹＳの動作は、アプリケーションコントローラＡＣＯの制御及び調整の下にある。おそらく前処理されたライブ入力イメージ（単一で十分である）とともに任意選択の（おそらく前処理された）コンテキストデータａｋは、機械学習構成要素ＭＬＣへのライブ入力として提供される。トレーニングされたパラメータ（ＮＮ重みなど）を含むＭＬＣは、１つ又は複数の記憶媒体ＳＭに保持される。アプリケーションコントローラの制御下で、ＭＬＣは、ライブ入力に基づいて、撮像される新しいＲＯＩ／ランドマーク（ＲＯＩ＿２）に必要な撮像ジオメトリ変化を定義する、推定され、好ましくは正規化されたポーズベクトルｐｋを計算するために使用される。撮像ジオメトリ変化を推定するときの機械学習構成要素ＭＬＣの応答時間は、ミリ秒などの、ほんの一瞬の領域において、特に、１つ又は複数のＧＰＵが使用される場合に観察された。

撮像システムコントローラＩＳＣは、正規化された撮像ジオメトリ変化ベクトルｐｋを、関連する撮像ジオメトリ（「ＩＧ」）構成要素の１つ又は複数のアクチュエータＡＣに対して指示又は制御信号へ変換するために使用される。例えば、推定された正規化位置ベクトルｐｋは、現在のＲＯＩ＿１＝Ｈから１つ又は複数のランドマークＲＯＩ＿２＝ｉへの相対的なテーブルの動きの変換Ｔ_Ｒ，ｉへ変換される。制御信号は、例えば、対象物ＲＯＩ＿２を正しく撮像するための相対的なテーブルの動きを指定してもよい。アクチュエータ制御信号は、位相空間内の軌道を決定する。この軌道は、通常、イメージャが新しい撮像ジオメトリに従って迅速に変換するために可能な限り最短である。場合によっては、可能な限り最短の軌道は患者との衝突につながる。これを回避するために、撮像システムは、好ましくは、可動ＩＧ構成要素上に適切に配置された（容量性型などの）１つ又は複数の距離／近接センサを備えた衝突回避システム（「ＣＡＳ」）を含む。撮像制御システムは、衝突事象を回避するために、推定された軌道を修正するようにＣＡＳとインタフェースする。提案されたシステムＳＹＳが、このようなセンサベースのＣＡＳとともに使用することができる一方で、システムＳＹＳの解剖学的認識のおかげで、距離に依存しないＣＡＳｓも想定される。この衝突回避可能な「バイアス」又は特性は、最初に衝突を回避するように設計された対象物として撮像ジオメトリ変化を提供することによって、トレーニング位相で達成されることができる。

本システムは、ユーザが次に撮像される対象物ＲＯＩ／対象物解剖学的構成（例えば、ｉ＝「Ｈ（ｅａｒｔ）」）を画定することができるように構成されている、図形である又はない、１つ又は複数のユーザインタフェースＵＩを含む。特に、モデルＭ及び／又はランドマークｉのグラフィカルレンダリングにより、音声制御若しくはタッチスクリーン動作、又は他を介して、ユーザによって、次の／所望の撮像位置を効率的に選択することができる。ユーザが対象物ｉを指定すると、ＭＬＣは対象物領域ＲＯＩ＝ｉの推定されたＩＧ変化を返す。他の実施形態では、ＭＬＣは、現在のものを与えられた全ての他のＲＯＩに対する全てのＩＧ変化を一度に計算する。しかしながら、ユーザが入力ユーザインタフェースの操作によって次のＲＯＩ＿２＝ｉを指定した場合にのみ、関連するＩＧ情報が撮像システムコントローラＩＳＣへ表示又は転送される。

実施形態では、ＭＬＣは、撮像ジオメトリ変化ベクトルｐｋを明示的且つ自然に提供しなくてもよいが、次の関心領域ＲＯＩ＿２に対する対象物撮像ジオメトリ自体のポーズ仕様に関して、その出力を提供してもよい。この場合、システムＳＹＳは、現在のＩＧｐ及び推定された新しいＩＧｐ’を与えられた上記ＩＧ変化ΔｐをΔｐ＝ｐ－ｐ’として計算するポーズ処理モジュールＰＰＭを備えてもよい。例えば、現在の撮像ジオメトリｐ（例えば、現在のテーブル位置及びＣアーム位置／角形成及び／又は回転）、及び推定された新しい撮像ジオメトリｐ’（これは、患者及びランドマークのポーズに関する）に基づいて、必要とされる撮像ジオメトリ変化Δｐは、ポーズ処理モジュールＰＰＭによって計算される。さらに、ポーズ処理モジュールＰＰＭは、ＭＬＣが、撮像ジオメトリパラメータに関して直接ではなく、ＲＯＩ（ｓ）のポーズ座標に関して、その出力を供給する場合に、ＲＯＩポーズ座標を撮像ジオメトリパラメータへ変換するように構成される。この場合、ポーズ処理モジュールＰＰＭは、ＭＬＣによって供給されたような（正規化された）ポーズ（特に、位置）ベクトルｐを、絶対的又は相対的な撮像ジオメトリ変化へ変換するために使用され、例えば、必要とされるテーブルの動きの変換Ｔ_Ｒ，ｉを１つ又は複数のＲＯＩｓｉに対して行うために使用される。

例として、ユーザインタフェースＵＩは、現在のＲＯＩ＿１の現在のイメージを与えられた次に撮像される対象物ＲＯＩ＿２／対象物解剖学的構成（例えば、「Ｈｅａｒｔ」）を定義するためにユーザによって使用される。現在のテーブル及び／又はＣアーム位置（又はポーズ）、並びに推定された患者及びランドマークＲＯＩポーズに基づいて、対象物ＲＯＩを撮像するために必要な相対的なテーブルの動き及び／又はＣアームＧ回転及び／又は角形成が、ポーズ処理モジュールＰＰＭにおいて計算される。

推定された撮像ジオメトリ変化ベクトルｐｋ及び／又は対象物ポーズは、図形生成器ＧＧによって図形で及び／又はテキスト形式で表示デバイスＤＤ上に視覚化される。表示された情報は、例えば、ユーザを次のテーブル位置へ導く。

いくつかの実施形態では、撮像システムコントローラＩＳＣは、関連するアクチュエータＡＣを制御することによって、さらなるユーザの関与なしで十分に自動的に撮像ジオメトリ変化を実現する。例えば、テーブルＴＢの動き及び／又はＣアームの回転／角形成は、ユーザの相互作用なしで達成されることができる。撮像システムコントローラＩＳＣは、他の実施形態では、対象物への推定距離に基づいてテーブル／Ｃアームの動きの速度を制御してもよく、より大きな距離にわたる迅速な動き、及び対象物ＲＯＩ＿２へより近い位置を微調整するための、より遅い動きを可能にする。

さらに又は代わりに、ＩＧ変化を補助するための撮像システムコントローラＩＳＣの受動的又は半自動的適用も本明細書において想定され、したがって、次の対象物ＲＯＩ＿２の効率的な撮像に有益である他の作用を達成することも想定される。

受動的な実施形態では、表示デバイス上の図形生成器ＧＧによって生成された図形表示は、テーブル及び／又はＣアームの現在及び対象座標を示すように構成されてもよい。表示はまた、テーブル、Ｃアーム、及び推定された患者のポーズの現在位置、並びに対象ＲＯＩ及び対応する対象テーブル／Ｃアーム位置を図形で示すことができる。このような指示は、テキスト／数値形式で、又は矢印などの指向性又は回転性の図形ウィジェットによって表示される。表示されたナビゲーション指示は、ユーザ及び／又はシステムがテーブル及び／又はＣアームなどのＩＧ構成要素の動きを制御するときに更新される。

さらなる受動的実施形態では、追加の視覚又は音声フィードバックが、対象ＲＯＩからの残りの距離に関連して提供されることができる。視覚又は音声フィードバックの強度又は他の品質は、残りの距離に比例して及び／又は推定された対象ＩＧからの偏差に比例して変調される。

撮像システムコントローラＩＳＣの半自動の実施形態は、ＩＧ変化ユーザインタフェースＩＧ－ＵＩの回路と係合して、推定されたＩＧ変化を実現するようにユーザを導く又は促す機械的又は他の効果を変調することを含む。

一般に、システムＳＹＳの半自動の実施形態は、機械に誘導／補助されたがユーザが実行したシステムの位置決めをもたらす。これは、触覚フィードバック、又は指向性コンプライアンスモードで、すなわち、ユーザが、例えば、単一の制御で、撮像ジオメトリをＲＯＩ＿１からＲＯＩ＿２へ容易に変えることができるようにシステムの可能な軌道を制限することによって、実施形態において実施される。これにより、ユーザを「ループに」入れておき（地域の安全規制によって必要とされる場合がある）、前述の自動位置決めとして同様のワークフローの利点を依然として達成する。

例えば、実施形態では、コントローラＩＳＣは、動きを、現在から対象撮像ジオメトリへの最も短い／最も直接的な軌道へ制限することができ、又は、ユーザが、所定の軌道から離れて、広がる誤った動きを引き起こすように制御ユーザインタフェースＩＧ＿ＵＩを操作するときに、動きに対してより大きな抵抗を少なくとも引き起こすことができる。

他の実施形態では、撮像システムコントローラＩＳＣは、制御ユーザインタフェースＩＧ－ＵＩを介して触覚フィードバックを生じさせてユーザを最短軌道へ導く。触覚フィードバックは、現在のＩＧと対象物ＩＧとの間の位相空間における距離に基づいて変調され、例えば、より低い強度／周波数の振動が、ユーザが所定の軌道に適合すると達成され、より高い触覚強度／周波数が軌道発散の場合に達成される。さらに、可動部の機械的操作性における制御ユーザインタフェースＩＧ－ＵＩ（例えば、ジョイスティック）に対する抵抗が電気機械的に係合することによって変調されてもよい。例えば、ジョイスティックＩＧ－ＵＩは、推定された撮像ジオメトリ変化に適合する軌道に影響を与えるとき、より少ない力で操作可能である。

ここで図４を参照して機械学習構成要素ＭＬＣ及びトレーニング位相におけるそのトレーニングの態様をより詳細に説明する。

まず、図２に関して上で論じたような概念又は仮想モデルＭＤに戻ると、患者モデルＭは、１つ又は複数のランドマークを黙示的に符号化する。好ましくは、ランドマークは、（心臓、脳などの）介入Ｘ線撮像中に頻繁に撮像される器官の中心／重心、又は椎骨などの他のランドマークの中心に対応し、それらの関連した位置は２次元（２Ｄ）又は３次元（３Ｄ）座標系の原点に対して識別される。

概念的には、撮像ジオメトリ変化を推定するために本明細書で想定されるような機械学習アプローチを使用するとき、タスクは以下のように形式化される。一般に、未知の、おそらく高度に複雑な潜在マッピングがあり、これは、任意の患者ωに対して、現在のＲＯＩ＿１に対する（現在の）撮像ジオメトリを別の関心領域ＲＯＩ＿２に対する別の撮像ジオメトリへマップする。

この潜在マッピングは、次のように形式化される。
Ｌ：（Ｐ，ω）→（Ｐ’，ω） （２）

この潜在マッピングは、単に、位相空間上で、全ての座標の空間であるが、より抽象的で拡張された空間Ｐｘωであって患者の特性ωが他の次元を付加する空間に対して機能するのではない。

ニューラルネットワークモデルにおける重みなどの、考慮された機械学習モデルの適応されたパラメータの集合は、したがって、上述の潜在マッピングＬの近似と考えてもよい。

さらに言い換えると、ＭＬモデルＭのパラメータθのトレーニングデータベースの推定値は、図２に示す仮想モデルＭＤを部分的又はほぼ「符号化」する。明示的な座標公式化は必要とされない。考慮された患者ωの集団にわたる関心領域間のそれぞれの空間的関係は、機械学習モデルの学習されたパラメータθの関係へ符号化される。

本明細書で主に想定される機械学習モデルは、入力画像が、任意選択で、撮像設定及び／又は患者特性などの非イメージデータで拡張され、関連した撮像ジオメトリ変化ベクトルｐｋへ回帰される回帰型のものである。しかしながら、「古典的な」統計からの他の回帰アルゴリズムも、トレーニングデータに基づく機械学習アプローチよりも一般化の程度が低いと予期されるが、潜在的に使用されてもよい。

先に述べたように、一実施形態によると、使用された機械学習モデルＭがニューラルネットワーク（ＮＮアーキテクチャ）、特に図４Ａに示すような畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを有し、これに対して参照がなされる。

大まかに言うと、機械学習構成要素のＮＮ構造は、複数のノードを含み、少なくとも部分的には相互接続され、異なる層に配置される。各層は、１つ又は複数のシーケンスに配置される。各ノードは、値をとることができるエントリであり、及び／又は以前の層の１つ又は複数のノードから受信する入力に基づいて出力を生成することができる。

各ノードは、単純なスカラー値（ノード重み）であることができる特定の関数に関連付けられるが、より複雑な線状又は非線状関数に関連づけられることもできる。２つの異なる層におけるノード間の「接続」は、後の層におけるノードが前の層におけるノードから入力を受信することができることを意味する。２つのノード間に画定された接続がない場合、２つのノードの一方の出力は他方のノードによって入力として受信することができない。ノードは、その関数を入力へ適用することによって、その出力を生成する。これは、受信した入力にノードのスカラー値（重み）を乗算することとして実施されることができる。相互接続された層状ノードは、それらの重み、層サイズなどと共に、本明細書で想定されるＭＬモデルの一実施形態としてＮＮ（ニューラルネットワーク）モデルを形成する。モデルは、メモリにおける行列又はテンソル構造に格納されてもよい。一旦トレーニングされると、この構造は、１つ又は複数のメモリＳＭ上に保持することができるトレーニングされた機械学習構成要素を形成する。

図４Ａは、（ライブ）入力イメージＩｋから撮像ジオメトリ変化ベクトルｐｋ、又はそのようなイメージのシーケンスを推測するために適切なＣＮＮ構成の例示的な実施形態である。モデルは、好ましくは、１つ又は複数の隠れ層を含むディープニューラルネットワークである。層Ｌｉは、入力層と出力層との間に配置されているような隠れ層である。ネットワークＭは、複数の畳み込みフィルタ層Ｌｉからなり、いくつか又はそれぞれが１つ又は多数の畳み込みフィルタカーネルを採用する。畳み込みフィルタ層のうちのいくつか又はそれぞれの後に、活性化層及びいくつかの実施形態では、プーリング層（図示せず）が続く。任意選択で、バッチ正規化及びドロップアウト層の一方又は両方もある。さらに任意選択で、さらに１つ又は複数の十分に接続された層がある。上述の一連の層は、（好ましくは正規化された）ベクトルｐｋの推定値を生成する回帰層で終端する。分類出力は、いくつかの実施形態では代わりに想定される。

活性化層は、一層からの出力値が修正されて入力として次の層へ提供される（典型的には非線状の）関数を決定する。プーリング層は、一層の複数の要素からの出力を組み合わせて、次の層の単一の要素への入力として供給する。組み合わされた、それぞれが畳み込みの活性化及びプーリングの各層は、データを非線状に処理し、その次元を変え、次の層へ通過させるように機能する。畳み込み層のそれぞれのパラメータは、トレーニング位相で「学習」（最適化）される。各畳み込み層のパラメータの数は、畳み込みカーネルのサイズ、カーネルの数、及び所与の層で処理されたイメージ上を移動するときのステップサイズ「ストライド」に依存する。十分に接続された層のパラメータの数は、前の層及び現在の層の要素における数によって決まる。

任意選択で、追加の入力パラメータａｋはモデル内へ組み込まれてモデルの精度及び一般化能力を改善する。これらの非イメージパラメータは、通常は範疇の、まばらに表されたデータであるが、低次元の埋め込み（例えば、ワンホット符号化）によって表されることができる。例えば、そのような埋め込みは、１つ又は複数の十分に接続された層によって処理されることができ、次いで、１つ又は複数の十分に接続された層からの出力を特徴マップの空間次元にわたって傾けることによって、任意の中間特徴マップ（層）へ点別に追加又は連結される。

一旦トレーニングされると、展開中に、現在のイメージジオメトリＩｋ［又は（Ｉｋ，ａｋ）］で取得された所与のＲＯＩ＿１で現在のライブ入力イメージなどの実際のデータが入力層ＩＮＬへ適用される。入力層ＩＮＬから、イメージデータＩｋは、隠れ層Ｌ_１～Ｌ_Ｎによって表されるフィルタの適用によって伝播する。層Ｌ_１～Ｌ_Ｎの数は、２、３又は数十程度ではるかに多い（例えば、２０～５０又はその他）。イメージデータＩｋは、伝搬中に変換され、その後、特徴ベクトル層ＯＵＴＬとして出現する。コンテキストデータａｋは、１つ又は複数の十分に接続された層を含むモデル（図示せず）の異なるストランドを介して伝搬される。これら２つのストランドの出力、イメージデータＩｋを処理するストランドＬ１～Ｌ_Ｎ及び（おそらく非イメージ）コンテキストデータａｋを処理するストランドが、埋め込みをさらに参照して以下でより詳細に説明するようにマージされる。

特徴ベクトル層ＯＵＴＬは、入力イメージＩｋの低次元１Ｄ表現と考えることができる。特徴ベクトルＯＵＴＬの後には、タスクに応じて、活性化関数（例えば、線状、シグモイド、ソフトマックス、正接双曲線のいずれか１つ又は複数）を有する十分に接続された層又は畳み込み層などの、単一又は複数のタスク固有層（図示せず）が続く。タスクは回帰又は分類である。１つ又は複数のタスク固有層は、特徴ベクトル層ＯＵＴＬへ適用されて撮像ジオメトリ変化仕様を推定し、実施形態では、回帰する。撮像ジオメトリ変化仕様は、所望の最終出力

として本明細書で形式化される。前述のように、回帰タスクの代わりに、指向性修飾子（「左」、「右」、など）への分類が生成される。

１つ、複数、又は全ての隠れ層Ｌｉは畳み込み層であり、それらの動作はフィルタに関して定義されることができる。モデルＭで使用される畳み込み層は、十分に接続された層と区別されるべきである。畳み込み層では、各ノードは前の層の（プールされた）ノードのサブセットへのみ接続される。フォローアップ層のノードは、前の層からのノードのサブ選択に基づいてフィルタ操作を形成することによって計算される。フォローアップ層の異なるノードに対して、前の層の異なるサブセットが、好ましくは同じフィルタで処理される。フィルタは、行列に配置可能な数の集合値ｆ_ｉｊである。いくつかの実施形態では、フィルタ操作は、前の層のノードである積ｆ_ｉｊ・ｎ_ｊｋ，ｎ_ｊｋの和を形成することを含む。したがって、この積和操作は、フィルタマスクが行列データ上で摺動される伝統的な畳み込み又はフィルタ操作と同種である。一般に、層は行列として実装される。層を介したデータの伝播を実施するフィルタ操作は、行列操作として実施され、好ましくはＧＰＵ、又はマルチコア設計を有するプロセッサなどの並列処理が可能な他のプロセッサで実行される。十分に接続された層では、前の層の各ノードは、学習可能な活性化重みを使用して現在の層のノードへ接続される。

上述のように、十分に接続された層も、患者の生物学的特性などの非イメージデータａｋの処理のために本明細書で想定される。十分に接続された層は、そのような十分に接続された層の１つ又は２つ以上が順番に配置され、それを介して非イメージデータａｋが通過する処理層の別のストランド（図示せず）を形成することが想定される。任意選択で、このデータはまた、イメージの処理のために上述した畳み込み層とは別個且つ異なる畳み込み層を通過する。この非イメージデータ処理ストランドの出力は、次いで、図４Ａに示されるイメージ処理ストランド内へ供給されることができる。具体的には、非撮像データに対する十分に接続された層の最後の出力が、モデルのＣＮＮ分岐において隠れ層の１つへ連結されて、非イメージデータをイメージデータとマージさせることができる。このようにして、出力、すなわち、撮像ジオメトリ変化は、イメージデータにおける空間データだけでなく、患者に関する、より多くの詳細を提供するコンテキストデータも考慮し、このようにモデルを異なるタイプの患者に対してよりよく一般化する。

前述のように、ワンホット符号化などの埋め込みは、範疇の疎データをベクトルとして表すために使用されることができる。非イメージデータ処理ストランドは、十分に接続された層及び畳み込み層の組み合わせを含んでもよい。また、図２に示すようなイメージデータ処理ストランドは、特に非イメージデータａｋが共同で処理され、拡張データ（Ｉｋ，ａｋ，）として各層を通過する場合、１つ又は複数の十分に接続された層のシーケンスを含んでもよい。畳み込み層及び十分に接続された層に加えて、いずれか一方又は両方のストランドが、いずれか１つ又は複数のプーリング層、活性化層、ドロップアウト層を任意の組み合わせでさらに含んでもよい。さらに、畳み込み層に対する逆の操作の近似を表すと考えられるデコンボリューション層が存在する可能性がある。各層で生成されるノードの数は寸法で変化するので、出力層のサイズ（行及び列の数）及び／又は深さが拡大又は縮小する可能性がある。畳み込み層の出力の寸法は、一般に、フィルタが各操作に対して摺動して通過するノードの数を表す「ストライド」に応じて、入力の寸法以下である。したがって、ダウンサンプリングが生じる。アップサンプリングもデコンボリューション層で想定される。一部のアーキテクチャには、アップサンプリング層の次にダウンサンプリング、又はその逆のそれぞれを１又は複数回実行することが含まれる。一般的には、図４Ａのアーキテクチャは、ネットワークが入力イメージＩｋを下方にベクトル

へマップするマッピングとして機能するネットダウンサンプリングである。

ここでトレーニング位相又はプロセスを参照すると、これは、図４Ｂに示すトレーニングシステムＴＳによって実施可能である。トレーニングは、適切なトレーニングデータに基づいている。トレーニングデータは、実際の画像を取得することによって、又はシミュレートされたＸ線イメージを得ることによって得られることができ、両方とも本明細書ではＩｋと表記される。実際のＸ線画像は、ＰＡＣＳなどの患者記録から又は他のイメージリポジトリから履歴イメージデータとして検索される。

より詳細には、トレーニングは、正規化された座標を使用してモデルランドマークのうちの１つ又は複数に対するイメージの位置を記述する要素｛ｐｋ，１，．．．ｐｋ_Ｎ｝を含む「グラウンドトゥルース」座標ベクトルｐｋと対にされた、実際の又はシミュレートされたＸ線イメージＩｋ（ｋ∈１．．．Ｋ）の取得を含む。要素Ｎの数は、モデル座標空間（２Ｄ又は３Ｄ）の次元、モデルにおけるランドマークの数、及びランドマーク位置のパラメータ化に依存する。典型的には、Ｎは２から３０の間の範囲であり、Ｋは大きく（例えば、Ｋ＞＞３０）、イメージＩｋは大きく且つ可変の対象集団から選択される。また、グランドトゥルースデータｐｋは、ＲＯＩポーズ座標に関して表現されず、代わりに、テーブル並進、Ｃアームガントリの回転／角形成、又は関連する撮像ジオメトリ構成要素の任意の他のポーズ仕様に関して、イメージジオメトリ（変化）座標として直接提供される。撮像ジオメトリｐｋデータは、ＲＯＩのうちの所与の１つに対する撮像ジオメトリ変化として、又は「ゼロ」角度／回転、位置／傾き「ゼロ」でのテーブルなどの参照撮像ジオメトリを与えられた各ＲＯＩの絶対撮像ジオメトリパラメータとして表現される。

対｛Ｉｋ，ｐｋ｝は、トレーニングプロセスで使用され、このプロセスにおいて、イメージＩｋが畳み込みニューラルネットワーク（ＣＮＮ）への入力として提供され、ネットワークパラメータが出力として座標ベクトルｐｋを推測するように最適化される。任意選択で、イメージは、入力としての追加の患者固有パラメータベクトルａｋ（例えば、身長、体重、年齢、性別、民族性、ＢＭＩ、解剖学的異常、移植されたデバイスなど）と対にすることができる。このタスクに対する１つの適切なＣＮＮ構成は、図４Ａに示すものであるが、他のアーキテクチャも本明細書で想定され、支援ベクトル機械（ＳＶＭ）、決定木、ランダムフォレストその他などのＮＮ以外のモデルも想定される。

図４Ｂを引き続きかつより詳細に参照すると、コンピュータ化されたトレーニングシステムＴＳは、トレーニングデータ（Ｘ，Ｙ）^ｉに基づいて機械学習モデルＭをトレーニングするために使用される。「Ｘ」は適切なイメージＩｋを表す一方で、「Ｙ」は関連した撮像ジオメトリ変化ｐｃを表し、本明細書ではＸの対象物とも称され、おそらくイメージ設定データＥＰＸによって拡張される。

トレーニングデータの対は、人間の専門家による手動注釈演習で得ることができる。あるいは且つ好ましくは、注釈は、検索且つ自動化される。所与のトレーニングイメージに関連する撮像ジオメトリデータ及び／又はＥＰＸデータは、ＤＩＣＯＭヘッダデータなどのメタデータから組み立てられてもよく、又はデータベースに保持されている患者記録から検索されてもよい。適切にプログラムされたスクリプト作成ツールは、各イメージＸ＝Ｉｋについて関連した撮像ジオメトリ変化Ｙ＝ｐｋを見出すことを遂行するために使用される。

したがって、トレーニングデータは、特に、本明細書で主に想定されるような教師あり学習スキームのための対ｉに編成される。しかしながら、教師なし学習スキームは本明細書では除外されないことに留意されたい。

図４Ａに示すＣＮＮネットワーク、又はイメージデータＩｋを処理するためのＣＮＮストランドと非イメージデータａｋを処理するための十分に接続された層ストランドとを備えるハイブリッドネットワークのような、機械学習モデルＭが選ばれ、重みは、いくつかの初期、おそらくランダム又は均一なデータで事前入力される。例えば、全てのノードの重みは全て「１の」又は他の数によって設定される。

モデルＭの重みθはパラメータ化Ｍ^θを表し、トレーニングデータ（Ｘ^ｉ、Ｙ^ｉ）対に基づいてパラメータθを最適化し、したがって適応させることは、トレーニングシステムＴＳの目的である。言い換えると、学習は、コスト関数が最小化される最適化スキームとして数学的に形式化されることができるが、代わりに、効用関数を最大化する二重定式化が使用されてもよい。

今のところ、コスト関数ｆのパラダイムを仮定すると、これは凝集残留物、すなわち、モデルＭによって推定されたデータとトレーニングデータ対ｉの一部又は全てに従う対象物との間に生じた誤差を測定する。
最小値の引数_θｆ＝Σ_ｉ｜｜Ｍ^θ（Ｘ^ｉ）－Ｙ^ｉ｜｜ （３）

より具体的には、トレーニング対のイメージデータＸは、初期化されたネットワークＭを介して伝搬される。最初の対「ｉ」のＸは入力ＩＮで受信され、モデルを通過し、次いで、出力トレーニングデータＭ^θ（Ｘ）として出力ＯＵＴで受信される。適切な尺度｜｜・｜｜は、ｐノルム、自乗差その他などを使用して、実際の出力Ｍ^θ（Ｘ）と所望の出力Ｙとの差を測定する。

出力トレーニングデータＭ（Ｘ）は、入力トレーニングイメージデータＸを与えられた提案された撮像ジオメトリ変化の推定値である。一般に、この出力Ｍ（Ｘ）と、現在考えられている対の関連した対象物Ｙとの間には誤差がある。次に、後方／前方伝搬又は他の勾配ベースの方法などの最適化スキームを使用して、モデルＭ^θのパラメータθを適応させ、考慮された対（Ｘ，Ｙ）^ｉの残留物を減少させる。

モデルのパラメータθが、使用された最適化スキームに基づいて更新される第１の、内部のループにおける１つ又は複数の反復の後、トレーニングシステムＴＳは、次のトレーニングデータ対Ｘ^ｉ＋１、Ｙ^ｉ＋１がそれに応じて処理される第２の、外部のループに入る。この内部ループは、順方向／逆伝搬アルゴリズムにおける１つ又は複数の前方及び後方パスによって実施される。しかしながら、このとき残留物を適応させながら、適応される現在の対に対する個々の残留物だけでなく、この時点までに考慮された全てのトレーニング対の凝集且つ合計された残留物が、オブジェクト関数を改善するために必要な場合に適応される。凝集残留物は、オブジェクト関数ｆを、各対に対して考慮される残留物の一部又は全ての等式（３）におけるように自乗和（又は他の代数の組み合わせ）として構成することによって形成することができる。

図４Ｂに示すような一般化されたトレーニングシステムが、全ての学習スキーム、特に教師ありスキームに対して考慮されることができる。また、位相空間で適切なクラスタリングを行う教師なし学習スキームは、拡張されていてもいなくても、想定される。

ここで図５Ａのフローチャートを参照して、イメージベースのナビゲーションを支援する方法をより詳細に説明する。本方法は、上述したイメージ処理システムＳＹＳの操作の根底にあると理解される。しかしながら、図５Ａで説明した方法ステップが、図１～図４を参照して上述したようなイメージ処理システムＳＹＳのアーキテクチャへ必ずしも結びついていないことが理解される。より詳細には、以下に記載する方法は、それ自体が教示として理解される。図５Ａのフローチャートは、機械学習モデルが、例えば、図４で上述したように、十分にトレーニングされたと仮定して説明する。

ステップＳ５１０で、患者が、Ｘ線撮像テーブルＴＢ上に位置決めされる。ステップＳ５２０で、第１の／次のＸ線ライブイメージが、第１のテーブル位置などの第１の撮像ジオメトリＩＧ１で、第１のＲＯＩ＿１において得られ且つ受信される。

ステップＳ５３０で、図４Ａで上述したＣＮＮなどの予めトレーニングされた機械学習構成要素を使用して、第１の／次のＸ線イメージは処理されて、ＲＯＩ＿１＝Ｒの現在の撮像ジオメトリから、１つ又は複数の他のＲＯＩ＿２＝ｉ又はモデルランドマーク（複数可）に対する新しい撮像ジオメトリＩＧ２への必要とされる撮像ジオメトリ変化（相対的なテーブルの動きなど）を推測する。この撮像ジオメトリ変化は、２つのＲＯＩｓであるＲＯＩ＿１＝Ｒ及びＲＯＩ＿２＝ｉの関数であるジオメトリ変換Ｔ_Ｒ，ｉによって表されてもよい。

ステップＳ５４０で、必要とされる撮像ジオメトリ変化は、例えば、１つ又は複数の撮像ジオメトリ構成要素に対して角度値、並進値、又はその両方を指定する座標ベクトルｐｋの形態でさらなる処理のために利用可能にされる。

ステップＳ５５０では、ＣＮＮによって推測されたランドマークのいずれかに対応する第２の（対象物）ＲＯＩは、ユーザによって選択される又は使用される撮像プロトコルの仕様などのコンテキストデータに基づいてＭＬＣによって自動的に決定される、のいずれかである。この第２のＲＯＩであるＲＯＩ＿２の選択ステップＳ５５０は、ステップＳ５３０の前に交互に行うことができる。

任意のステップＳ５６０では、ＭＬＣ出力と現在のテーブル位置とに基づいて、次のイメージを対象物ＲＯＩ上にセンタリングするために必要な相対的なテーブルの動きが計算される。このステップは、ＭＬＣ出力がＩＧを明示的に表すのではなく、むしろ新しい撮像ジオメトリＩＧ２を代わりに表す場合に必要とされる。

ステップＳ５７０では、達成された撮像ジオメトリ変化（対象物に対するテーブルの動きなど）は、自動的若しくは半自動的に達成される、又はそうでなければ促進される。実施形態は、自動的な動き、又は、例えば、触覚補助若しくは他の形態のフィードバックを伴う視覚や音声ガイダンス若しくは機械的フィードバックなどの補助規定を含む。任意のステップＳ５８０では、任意の撮像設定（例えば、ＥＰＸ）は、例えば、事前定義されたルックアップ表によって指定された又はＭＬＣによって学習されたように、対象物ＲＯＩ＿２に対して自動的に更新される。

撮像ジオメトリ変化がステップＳ５３０で全ての関連する撮像ジオメトリ構成要素に対して計算されていない場合がある。例えば、ステップＳ５３０では、必要とされるテーブルの動き及び／又はＣアーム並進のみが計算され、Ｃアームの回転／角形成は計算されなかった。この場合、次に、Ｃアーム角度が対象物ＲＯＩのＲＯＩ＿２で予想される次の撮像のために必要に応じて調整される任意の追加のステップがあってもよい。これは、ユーザによるものであってもよい。代替としても、一部の撮像ジオメトリ変化は、計算されている一方で、Ｘアームの回転／角形成などは自動的には達成されない。調整は、依然として、ユーザインタフェースＩＧ－ＵＩを介してユーザによって手動で行われるが、システムは、例えば、システムＳＹＳの様々な半自動の実施形態において上述したような触覚的、視覚的（ビデオ又はイメージ）又は他の信号／刺激を介して、機械援助を提供する。

ここで図５Ｂのフローチャートを参照すると、これは、特に図４Ａ及び図４Ｂで上述したように機械学習モデルＭＬＣをトレーニングするためのコンピュータ化された方法を示す。ステップＳ６１０では、トレーニングデータは、特定の関心領域及び１つ又は複数の他の関心領域に対する関連したジオメトリ変化を表す画像を含む対の形態で受信される。

ステップＳ６２０では、画像、及び任意選択でイメージ及び／又はイメージ設定で表される患者の生体特性を含む非イメージデータが、初期化された機械学習モデルＭへ適用されて出力を生成する。

関連した撮像ジオメトリ変化を伴う出力の偏差は、コスト関数ｆによって定量化される。モデルの１つ又は複数のパラメータは、ステップＳ６３０で、内部ループにおける１つ又は複数の反復において、例えば、残留物を減少させるために適応される。

次に、トレーニング方法はステップＳ６１０へ戻り、ここで、次の対のトレーニングデータが入力され、外部ループに入る。ステップＳ６２０では、その時点までに考慮された全ての対の凝集残留物が最小化される。

より一般的には、モデルＭのパラメータは、コスト関数又は効用関数のいずれかであるオブジェクト関数を改善するために調整される。
さらなる実施形態

撮像ジオメトリ、及び撮像ジオメトリ変化は、位相空間内の点を表すベクトルｐｋを参照して上述した。この空間は、一般に、高次元空間であり、考慮される撮像装置によって与えられる自由度及び／又はそれが使用する撮像ジオメトリ構成要素の数に依存する。

機械学習モデルＭは、位相空間の全てにわたる撮像ジオメトリ全体を説明するようにトレーニングすることができる一方で、推定を位相空間の特定の部分空間へ制限することが望ましいことは時折ある。部分空間の外側の他の撮像ジオメトリパラメータは推定されない。関連した撮像ジオメトリ構成要素は、ユーザによって手動で調整される。より詳細には、Ｃアーム又はＵアームイメージャに関係する実施形態では、関心ジオメトリ変化は、その縁辺に沿った空間次元Ｘ、Ｙのいずれか一方又は両方におけるテーブルの動き／傾きのみに限定される。また、角度値、すなわち、関心のあるＣアームの回転及び／又は角形成の変化でもある。ここでも、同じ原理が他の撮像様式へ適用されることができるので、本明細書に開示される原理は、必ずしもＸ線又はＣアームベースのイメージャに結びついているわけではない。

撮像ジオメトリ変化の純粋に空間的な態様に加えて、位相空間の次元は、位相空間の点に隣接する撮像設定ＥＰＸパラメータによって拡張することができる。機械学習モデルは、次いで、この拡張された一般化位相空間で操作される。撮像設定ＥＰＸは、同様に、ある設定を表す各エントリの１つ又は複数のベクトルによって記載することができる。撮像設定は、Ｘ線ビーム若しくは超音波ビームのエネルギーなどの問い合わせ撮像信号の非空間特性、又は何らかの考慮されている撮像様式に関する。

特に、Ｘ線撮像を参照すると、イメージ設定ＥＸＰは、特に管電圧及び／又は管電流、又はＸ線管の他の一般的な設定を含む。本明細書で想定される他のイメージ設定ＥＰＸには、フィルタリング及びノイズ除去などのフレームレート設定及びイメージ処理パラメータ、デジタル差分血管造影法（ＤＳＡ）又は単一露光撮像などの動作のモードが含まれる。

学習に撮像設定を含めることで、上述の処理システムは、撮像ジオメトリ変化だけではなく撮像設定ＥＰＸへの変化もさらに推定することができる。しかしながら、他の実施形態では、設定はユーザによって手動で調整され、十分又は部分的な撮像ジオメトリのみが、推定され、所望される場合は、自動的に達成される。

上述したように、全てのランドマーク又はＲＯＩｓは、１つのニューラルネットワークＣＮＮによる単一の機械学習構成要素によって考慮することができる。推定された撮像ジオメトリパラメータベクトル

の座標は、次に、現在のＲＯＩが与えられた、他のＲＯＩのうちの一部又は全てに関してそれぞれの撮像ジオメトリ変化を符号化する。しかしながら、他の実施形態では、複数の異なる機械学習モデルのそれぞれが各特定のランドマークへ専用で形成される。言い換えると、モデルは、それぞれのランドマークＲＯＩによってパラメータ化される。

さらに又は代わりに、異なる現在のイメージジオメトリに専用の複数の異なる機械学習モデルが提供されてもよい。例えば、１つのモデルは、前後撮像方向にガントリで撮像されたＲＯＩｓの全て又はサブセットを扱うために使用される一方で、別のモデルは、横方向の視線方向に撮像されたＲＯＩｓを扱うために使用される。

さらに又は代わりに、実施形態では、複数の機械学習モデルは、撮像ジオメトリ自体の態様によってパラメータ化されてもよい。言い換えると、ある部分空間及び位相空間に対する撮像ジオメトリ変化は、異なる位相空間における撮像ジオメトリパラメータの値によってパラメータ化されていると考えられる。より具体的には、複数の値が、例えば、異なるＣアーム角形成又は回転によりイメージ上でパラメータ化されたテーブルの動きを予測するために使用されてもよい。これらのモデルでは、ユーザはまずＣアームのそれぞれの角形成又は回転を選び、次に、対応する機械学習モデルを選択してから、空間次元Ｘ、Ｙのいずれか一方又は両方において必要とされるテーブルの動きを予測する。

推定が制限された別の、より単純化された実施形態では、ＭＬＣ（複数可）は、仮想の図２のモデルにおいてランドマーク位置のサブセクトに関して、撮像ジオメトリ変化のサブセットのみを推定する。モデルにおける追加のランドマーク位置は、次いで、ＭＬＣ（ｓ）によって予測される近くのランドマークの、例えば、補間又は外挿によって、より低い計算コストで得られる。補間又は外挿プロセスは、予測されたランドマーク位置を対応するモデルランドマークで点別登録によって駆動されることができる。

さらに、ＥＰＸ設定などのイメージ設定に対して、自動的に、又は適切な入力ユーザインタフェースを介したユーザによる確認に基づいて調整することができる。この調整は、現在又は次の撮像ジオメトリに対する患者のポーズ推定値に基づいてもよい。

上述の実施形態では、現在のＲＯＩが与えられ、次のＲＯＩを選ぶのはユーザであるが、想定される、より洗練された実施形態では、現在使用されている撮像プロトコルに基づいて現在の関心領域が与えられ、次の関心領域とともに予測するのはナビゲーションＳＹＳ自体である。言い換えると、撮像の変化が予測されるだけではなく、次にどの関心領域が考慮される可能性があるかも予測される。ユーザは、このＲＯＩ推定値を上書きするか、又は入力ユーザインタフェースを介して確認することができ、それに応じて、それぞれの撮像ジオメトリ変化が推定される。

上記の全てにおいて、撮像ジオメトリ変化の推定値及び次の関心領域を使用して、それぞれのアクチュエータを制御することによって実際の撮像ジオメトリ変化を達成することができる。撮像ジオメトリ変化は、いかなるユーザの関与もなく十分に自動的に達成されることができる。あるいは且つ好ましくは、グラフィカル又は他のユーザインタフェースにより、ユーザは推定値を確認することができ、その後にのみ、撮像ジオメトリ変化がアクチュエータ制御によって達成される。

実施形態では、撮像手順中、訪れたランドマークは、メモリに記憶又は「バッファリング」される。このバッファリングにより、ユーザは機械学習構成要素を使用することなく、以前に訪れた関心領域との間で、すぐに戻すことができる。これにより、ＭＬＣによる計算が不要であるため、時間及びエネルギーを節約することができる。

前述のように、機械学習構成要素は、対象者の集団にわたる異なるランドマークのポーズの分布に対してモデルＭを符号化する。撮像ジオメトリの推定値が全体的に正確ではない場合が時折ある。これは、例えば、所与の患者が以前に考慮された集団サンプルへ十分に適合していない場合に起こり得る。この場合、システムのユーザインタフェース、好ましくは、グラフィカルは、ユーザが（したがって、黙示的に、ポーズの）撮像ジオメトリ変化推定値と比較して、心臓の中心などのランドマークの実際のポーズに関するフィードバックを提供することができる機能を支援する。この補正フィードバックは、例えば、確認されたポーズ（例えば、位置）と以前に推定された位置との間の差をオフセットとして加算することによって、後続の推定値に対して推定値を改善するために使用されることができる。

上記実施形態では、撮像システムが符号化器を有するアクチュエータＡＣを含むと仮定された一方で、非符号化Ｘ線システムもまた、本開示の趣旨の範囲内にある。非符号化アクチュエータシステムは、それぞれの位置又は回転を追跡しないモーター駆動の又は手動のアクチュエータを使用する。このような非符号化アクチュエータは、例えば、モバイルＸ線システムにおいて見出される。非符号化アクチュエータを有するこの型の撮像装置の場合、提案されたシステムＳＹＳは、撮像ジオメトリ変化ベクトルｐｋへの回帰というよりはむしろ分類を予測するようにトレーニングされる。言い換えると、これらの実施形態では、機械学習モデルＭは、動きの定性的指向性指図、したがって、「右」、「左」、「上」、「下」などの分類を推定するようにトレーニングされてもよい。しかしながら、非符号化システムにおいてさえ、回帰アプローチは、モデルＭが撮像ジオメトリ変化を達成するために方向を（例えば、テーブルＴＢの動きに対して）表す（単位）ベクトルなどの指向性ベクトルへ入力データを回帰するようにトレーニングされる場合、依然として使用される。単位ベクトルは、回転軸及び回転方向を定義してもよい。

定性的空間的指図又は指向性ベクトルは、好ましくは、表示によって、音声若しくはビデオによって、又はそれらの組み合わせによってユーザへ示される。例えば、ビデオによって補助されて、ユーザは、次に、アクチュエータを操作して、関与した撮像ジオメトリ構成要素のそれぞれの動き又は回転を達成することができる。

上述のシステムは、撮像ジオメトリ変化の間、追加の介在する蛍光透視イメージの取得なしで動作することができる一方で、そのような取得は、撮像ジオメトリ変化が完了するまでそれに応じて更新される指向性指図と併せて、非符号化Ｘ線システムにとって依然として有益である。

上述の原理は、Ｘ線イメージャ及び非Ｘ線イメージャに使用することができるが、とりわけ、ＰＣＩ、神経血管介入及び末梢血管介入を含むＸ線誘導介入手順に対して特に有用である。

推定されたジオメトリ変化は、全面的に顕著な精度を示すことが出願人によって観察された。任意選択の生体測定非イメージデータａｋが入力画像と共に実施形態において使用される一方で、十分にトレーニングされたシステムは、画像のみに基づいて撮像ジオメトリ変化推定値に対して使用可能な推定値を送達することが見出された。したがって、あるイメージにおけるイメージ情報、すなわち局所情報は、撮像ジオメトリ変化の正確な推定を行うために、患者に対する適切な空間関係を全体的に既に符号化しているようである。言い換えると、局所解剖学的構成間の空間的関係に関するイメージにおける局所空間情報は、現在の視野から外れている関心器官若しくは領域の全体的な空間関係を確実に推定するのに明らかに既に十分である。介入Ｃアーム手順で使用されるような比較的小さな視野でさえ、システムが満足にトレーニングされるには既に十分である。同様に、より大きな視野が使用される場合、システムのパフォーマンスが改善することが予期される。

本明細書に開示される１つ又は複数の特徴は、コンピュータ可読媒体内に符号化された回路、及び／又はそれらの組み合わせとして／伴って構成又は実施される。回路は、離散及び／又は集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）、システムオンチップ（ＳＯＣ）、及びこれらの組み合わせ、機械、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含んでもよい。

本発明の別の例示的実施形態では、コンピュータプログラム又はコンピュータプログラム要素が提供され、これは、先行する実施形態のうちの１つによる方法の方法ステップを、適切なシステム上で実行するように適応されていることを特徴とする。

したがって、コンピュータプログラム要素は、コンピュータユニット上に格納されてもよく、これもまた、本発明の実施形態の一部であり得る。このコンピューティングユニットは、上述の方法のステップを行う又は行うことを誘導するように適応される。また、上述した装置の構成要素を操作するように適応される。コンピューティングユニットは、自動的に動作し、及び／又はユーザの注文を実行するように適応されることができる。コンピュータプログラムは、データプロセッサのワーキングメモリ内へロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するために装備されてもよい。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、最新のものによって既存のプログラムを、発明を使用するプログラムへ変えるコンピュータプログラムとの両方をカバーする。

さらに、コンピュータプログラム要素は、上述したような方法の例示的実施形態の手順を果たすために全ての必要なステップを提供することができる。

本発明のさらなる例示的実施形態によれば、ＣＤ－ＲＯＭなどのコンピュータ可読媒体が提示され、ここで、コンピュータ可読媒体は、その上に記憶されたコンピュータプログラム要素を有し、その上にコンピュータプログラム要素が、前のセクションによって記述されている。

コンピュータプログラムは、光記憶媒体又は他のハードウェアと共に、若しくは他のハードウェアの一部として供給される固体媒体などの適切な媒体（特に、必ずしもではないが、非一時的媒体）上に格納及び／又は配布されるが、インターネット又は他の有線若しくは無線電気通信システムを介してなどの他の形態で配布されてもよい。

しかしながら、コンピュータプログラムは、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂのようなネットワーク上で提示され、そのようなネットワークからデータプロセッサのワーキングメモリ内へダウンロードすることができる。本発明のさらなる例示的実施形態によれば、コンピュータプログラム要素をダウンロード可能にするための媒体が提供され、このコンピュータプログラム要素が、本発明の先に説明した実施形態のうちの１つによる方法を行うように配置される。

本発明の実施形態は、異なる主題を参照して説明されることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明され、他の実施形態は、デバイスタイプの請求項を参照して説明される。しかしながら、当業者であれば、上記及び以下の説明から、特に通知されない限り、１種類の主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間の任意の組み合わせも、本出願と共に開示されると考えられることを考え合わせる。しかしながら、全ての特徴を組み合わせることで、特徴の単純な合計よりも多い相乗効果を提供することができる。

本発明は図面及び前述の説明において詳細に例示及び説明されてきたが、そのような例示及び説明は例証的又は例示的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形は、図面、開示、及び従属請求項の研究から、請求された発明を実施する際に当業者によって理解且つ達成されることができる。

特許請求の範囲において、「備える」という語は他の要素又はステップを除外せず、単数形は複数を除外しない。単一のプロセッサ又は他のユニットは、特許請求の範囲に再引用された幾つかの項目の機能を果たす。特定の尺度が相互に異なる従属請求項において再引用されているという単なる事実は、これらの尺度の組み合わせが有利に使用されることができないことを示すものではない。特許請求の範囲における参照記号はいかなるものも、範囲を制限するものと解釈されるべきではない。

Claims (15)

1. 異なる撮像ジオメトリをとることができる撮像装置の撮像動作を支援するためのシステムであって、前記システムは、
   現在の撮像ジオメトリで現在の関心領域の前記撮像装置によって取得された現在のイメージを受信するための入力インタフェースと、
   次の関心領域に関する次の撮像ジオメトリに対して撮像ジオメトリ変化を表す出力データを計算するための事前にトレーニングされた機械学習構成要素と、
   前記撮像ジオメトリ変化の仕様を出力するための出力インタフェースと、を備える、システム。
2. 前記仕様に基づいて、１つ又は複数のアクチュエータに前記撮像装置に前記次の撮像ジオメトリをとらせるように指示する制御モジュールを備える、請求項１に記載のシステム。
3. ユーザが前記次の関心領域を指定できるようにするユーザインタフェースを備える、請求項１又は２に記載のシステム。
4. 表示デバイス上に前記仕様の視覚的指示を生成するための図形生成器を備える、請求項１から３のいずれか一項に記載のシステム。
5. 前記撮像ジオメトリは、ｉ）前記撮像装置のＸ線源の少なくとも１つのポーズ、ｉｉ）前記撮像装置の検査テーブルの少なくとも１つのポーズ、ｉｉｉ）前記撮像装置のコリメータの状態、及びｉｖ）前記撮像装置の検出器と前記Ｘ線源との間の距離のうちのいずれか１つ又は複数を含む、請求項１から４のいずれか一項に記載のシステム。
6. 前記機械学習構成要素は、前記次の関心領域及び／又は前記撮像動作に関連した前記撮像装置のイメージ取得設定を計算する、請求項１から５のいずれか一項に記載のシステム。
7. 前記機械学習構成要素は、ニューラルネットワークを含む、請求項１から６のいずれか一項に記載のシステム。
8. 前記ニューラルネットワークは畳み込みニューラルネットワークである、請求項７に記載のシステム。
9. 異なる撮像ジオメトリをとることができる撮像装置の撮像動作を支援するための機械学習モデルをトレーニングするシステムであって、前記システムは、
   関心領域と１つ又は複数の他の関心領域に関する関連した撮像ジオメトリ変化とを表すトレーニング画像を含むトレーニング入力データを受信し、
   前記トレーニング入力データを前記機械学習モデルへ適用してトレーニング出力データを得て、
   前記トレーニング出力データに基づいて前記機械学習モデルのパラメータを適応させる、システム。
10. 前記モデルはニューラルネットワークアーキテクチャを有する、請求項９に記載のシステム。
11. 異なる撮像ジオメトリをとることができる撮像装置によって撮像動作を支援する方法であって、前記方法は、
    現在の撮像ジオメトリで現在の関心領域の前記撮像装置によって取得された現在のイメージを受信するステップと、
    事前にトレーニングされた機械学習構成要素に基づいて、次の関心領域に関する次の撮像ジオメトリに対して撮像ジオメトリ変化を表す出力データを計算するステップと、
    前記撮像ジオメトリ変化の仕様を出力するステップと、を有する、方法。
12. 異なる撮像ジオメトリをとることができる撮像装置の撮像動作を支援するための機械学習構成要素をトレーニングする方法であって、前記方法は、
    関心領域と１つ又は複数の他の関心領域に関する関連した撮像ジオメトリ変化とを表すトレーニング画像を含むトレーニング入力データを受信するステップと、
    前記トレーニング入力データをモデルへ適用してトレーニング出力データを得るステップと、
    前記トレーニング出力データに基づいて前記モデルのパラメータを適応させるステップと、を有する方法。
13. 請求項１から１０のいずれか一項に記載のシステムと、
    前記撮像装置と、を備える、イメージ処理機器。
14. 少なくとも１つの処理ユニットによって実行されているときに、処理ユニットに、請求項１１又は１２のいずれか一項に記載の方法を行わせる、コンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラム、又は、請求項１から１０のいずれか一項に記載のシステムで使用されるような前記事前にトレーニングされた機械学習構成要素を格納した、コンピュータ可読媒体。

Images