JP7304873B2 - ニューラルネットワークの訓練のための超音波撮像データセットの取得及び関連するデバイス、システム、及び方法 - Google Patents

Description

関連出願
本出願は、参照によって組み込まれる２０１８年３月１２日出願の米国仮特許出願第６２／６４１，４９３号の利益及びこれに対する優先権を主張する。

[0001] 本開示は、概して、超音波撮像に関し、特には、撮像コンポーネントを所望の撮像平面に対して整列させるための運動又は制御を予測する深層予測ネットワークを訓練するための大規模な超音波画像データセットを取得することに関する。

[0002] 経食道的心エコー検査法（ＴＥＥ）は、患者の心臓の運動の画像を撮影するために超音波を使用し、臨床処置において有用であり得る。例えば、ＴＥＥプローブは、患者の心臓の画像を撮影するために患者の食道に挿入される。ＴＥＥから利益を得るいくつかの処置としては、心臓切開及び胸部大動脈手術などの術中処置、経カテーテル大動脈弁植え込み（ＴＡＶＩ）、左心耳閉塞（ＬＡＡＣ）、経カテーテル僧帽弁修復（ＴＭＶＲ）などの経カテーテル処置のガイダンス、並びに診断処置などがある。代替的に、経胸腔的心エコー検査法（ＴＴＥ）は、患者の身体の外部から患者の心臓の様々なビューを撮影するために使用され得る外部撮像技術である。例えば、ＴＴＥプローブは、患者の心臓の画像を撮影するために患者の胸部又は腹部に置かれる。

[0003] 場合によっては、心臓画像の撮影において、ＴＥＥは、ＴＴＥよりも効果的である。例えば、左心耳（ＬＡＡ）はＴＴＥから視認できないが、ＴＥＥからは視認できる。近年の研究は、ＬＡＡ隔離が、心房細動を有する患者に対する治療オプションとなることを示している。ＬＡＡ隔離は、塞栓症イベントのリスクを減少させ得る。ＬＡＡ隔離は、典型的には、ＬＡＡＣデバイスを使用して経皮的に実施される。患者にＬＡＡ隔離処置を実施する前に、臨床医は、ＴＥＥプローブを使用して患者の心臓の画像を撮影する。臨床医は、この画像に基づいて患者の心臓におけるＬＡＡ開口部のサイズ及び／又は長さを求め、ＬＡＡ開口部のサイズ及び／又は長さがＬＡＡＣデバイスの寸法内にあるか否かを判断する。ＬＡＡの複雑さ及び解剖学的変動性、例えば、分葉の存在及びその数からして、形態の完全な評価のためには、典型的には、複数のビューからのＬＡＡの撮像及び描写が必要とされる。

[0004] しかしながら、臨床医が、動いている心臓内で最適なビューを見つけることは難しい。例えば、ＴＥＥプローブは、患者の食道において前進又は後退され、時計周り又は反時計回りに回転され、及び４つの異なる方向に屈曲され、撮像平面は、０度から１８０まで回転され得る。複数の自由度のせいで、ＴＥＥプローブの手動調節は、厄介で時間のかかるものになり得る。

[0005] ＴＥＥプローブ又はＴＴＥプローブを使用するための既存の処置が臨床的又は治療的処置のために有用であることは実証されているが、撮像コンポーネントを所望の撮像平面に対して整列させるための効率的で、正確な、自動的処置を提供するための向上されたシステム及び技術が依然として臨床において必要とされている。基準画像に対する類似性測度に頼ることなく撮像コンポーネントの整列を自動化するための１つのやり方は、統計的な予測ネットワークを使用することである。しかしながら、予測ネットワークの訓練は、典型的には、大量の訓練データを必要とし、予測ネットワークの性能は、訓練データのフォーマット及び／又は一貫性に依存する。訓練データセットの収集及び構築及び／又はデータセットの妥当性確認は、時間がかかり、高価なものになる場合がある。本開示の実施形態は、大規模な超音波撮像データセットを取得するための機構を提供する。データセットは、データセットにおける画像を取得するために使用される撮像コンポーネント（例えば、ＴＥＥプローブ又はＴＴＥプローブ）の運動、制御、又は位置を記述する注釈を含み得る。データセットは、撮像コンポーネントの運動、制御、又は位置が、撮像コンポーネントを対象者の身体の特定の臨床特性を撮影するための目標撮像平面へとガイドし得るか否かを記述する注釈を含み得る。データセットは、画像を対応する注釈に関連付ける。データセットは、臨床環境から、又は解剖学的模型（例えば、心臓模型）を使用する制御された環境から取得され得る。データセットは、ロボット式システムを使用して自動的に取得され、注釈を付けられ得る。

[0006] 一実施形態において、医療用超音波画像システムが提供される。医療用超音波画像システムは、撮像デバイスと通信する通信インタフェースであって、撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第１の画像を受信することと、撮像デバイスを第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信することとを行うように構成された通信インタフェースと、通信インタフェースと通信し、第１の画像、動き制御設定、及び臨床特性を含む目標画像ビューに対する第２の撮像位置と第１の画像との間の関係性を表すスコアを関連付けることによってデータベースを生成するように構成されたプロセッサと、プロセッサと通信し、撮像デバイスを目標画像ビューに対して整列させるための予測ネットワークの訓練を促進するためにデータベースを記憶するように構成された記憶デバイスとを含む。

[0007] いくつかの実施形態において、動き制御設定は、撮像デバイスを第２の撮像位置に再配置するための１つ又は複数のパラメータを含む。いくつかの実施形態において、プロセッサは更に、１つ又は複数のパラメータを決定するように構成される。いくつかの実施形態において、プロセッサは更に、確率関数に基づいて１つ又は複数のパラメータを決定するように構成される。いくつかの実施形態において、１つ又は複数のパラメータは、対象者の身体の左－右平面に沿った撮像デバイスの運動、対象者の身体の前－後平面に沿った撮像デバイスの運動、撮像デバイスの撮像平面の向き、又は撮像デバイスの軸に対する撮像デバイスの回転のうちの１つ又は複数に対応する。いくつかの実施形態において、撮像デバイスは経食道的心エコー検査法（ＴＥＥ）プローブである。いくつかの実施形態において、１つ又は複数のパラメータは、撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する。いくつかの実施形態において、撮像デバイスは経胸腔的心エコー検査法（ＴＴＥ）プローブである。いくつかの実施形態において、通信インタフェースは更に、撮像デバイスが第２の撮像位置に配置されているときに対象者の身体を表す第２の画像を受信するように構成され、プロセッサは更に、第２の画像と目標画像ビューとの比較に基づいてスコアを決定するように構成される。いくつかの実施形態において、プロセッサは更に、第２の撮像位置と目標画像ビューに対応する対象者の身体の画像を取得するための撮像デバイスの目標撮像位置との比較に基づいてスコアを決定するように構成される。いくつかの実施形態において、第２の撮像位置が目標画像ビューに対応する対象者の身体の画像を取得するための撮像デバイスの目標撮像位置に対応するとき、スコアは成功を示す。いくつかの実施形態において、プロセッサは更に、動き制御設定を決定するように構成され、通信インタフェースは更に、撮像デバイスを制御するロボット式システムに動き制御設定を送信するように構成される。

[0008] 一実施形態において、医療用超音波画像データ取得の方法は、撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第１の画像を受信するステップと、撮像デバイスを第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信するステップと、第１の画像、動き制御設定、及び臨床特性を含む目標画像ビューに対する第２の撮像位置と第１の画像との間の関係性を表すスコアを関連付けることによってデータベースを生成するステップとを有する。

[0009] いくつかの実施形態において、動き制御設定は、撮像デバイスを第２の撮像位置へと移動させるための１つ又は複数のパラメータを含む。いくつかの実施形態において、方法は、１つ又は複数のパラメータを決定するステップを更に有する。いくつかの実施形態において、撮像デバイスは経食道的心エコー検査法（ＴＥＥ）プローブであり、１つ又は複数のパラメータは、対象者の身体の左－右平面に沿った撮像デバイスの運動、対象者の身体の前－後平面に沿った撮像デバイスの運動、撮像デバイスの撮像平面の向き、又は撮像デバイスの軸に対する撮像デバイスの回転のうちの１つ又は複数に対応する。いくつかの実施形態において、撮像デバイスは経胸腔的心エコー検査法（ＴＴＥ）プローブであり、１つ又は複数のパラメータは、撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する。いくつかの実施形態において、方法は、撮像デバイスが第２の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第２の画像を受信するステップと；第２の画像と目標画像ビューとの比較に基づいてスコアを決定するステップとを更に有する。いくつかの実施形態において、方法は、第２の撮像位置と目標画像ビューに対応する対象者の身体の画像を取得するための撮像デバイスの目標撮像位置との比較に基づいてスコアを決定するステップを更に有する。いくつかの実施形態において、動き制御設定を送信するステップは、撮像デバイスを制御するロボット式システムに動き制御設定を送信するステップを有する。

[0010] 本開示の追加的な態様、特徴、及び利点は、以下の詳細な説明から明らかになるであろう。

[0011] 本開示の例示的な実施形態が、添付の図面を参照して説明される。

[0012] 本開示の態様による、経食道的心エコー検査法（ＴＥＥ）プローブを含む医療用撮像システムの概略図である。 [0013] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。 [0014] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。 [0015] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。 [0016] 本開示の態様による、ＴＥＥプローブのための構成を示す概略図である。 [0017] 本開示の態様による、経胸腔的心エコー検査法（ＴＴＥ）プローブを含む医療用撮像システムの概略図である。 [0018] 本開示の態様による、撮像コンポーネント整列処置を自動化するための手法を示す概略図である。 [0019] 本開示の態様による、大規模な画像データセットを取得するための手法を示す概略図である。 [0020] 本開示の態様による、ＴＥＥプローブを再配置するためのシナリオを示す概略図である。 [0021] 本開示の態様による、ＴＴＥプローブを再配置するためのシナリオを示す概略図である。 [0022] 本開示の態様による、ＬＡＡの目標画像ビューの例を示す。 [0023] 本開示の態様による、ＬＡＡを撮影するための撮像平面の位置の例を示す。 [0024] 本開示の態様による、撮像コンポーネントによって撮影されたＬＡＡの画像の例を示す。 [0025] 本開示の態様による、予測畳み込みニューラルネットワーク（ＣＮＮ）のための構成を示す概略図である。 [0026] 本開示の態様による、微調整ＣＮＮのための構成を示す概略図である。 [0027] 本開示の態様による、目標ＣＮＮのための構成を示す概略図である。 [0028] 本開示の態様による、予測ＣＮＮを訓練するための手法を示す概略図である。 [0029] 本開示の態様による、微調整ＣＮＮを訓練するための手法を示す概略図である。 [0030] 本開示の態様による、目標ＣＮＮを訓練するための手法を示す概略図である。 [0031] 本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるための手法を示す概略図である。 [0032] 本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるガイダンスを提供するための手法を示す概略図である。 [0033] 本開示の態様による、撮像コンポーネント整列ガイダンス表示ビューを示す概略図である。 [0034] 本開示の態様による、撮像コンポーネント整列ガイダンス表示ビューを示す概略図である。 [0035] 本開示の態様による、撮像コンポーネント整列ガイダンス表示ビューを示す概略図である。 [0036] 本開示の態様による、ＣＮＮを訓練するための撮像データセットを取得する方法のフロー図である。 [0037] 本開示の態様による、ＣＮＮを訓練する方法のフロー図である。 [0038] 本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるためにＣＮＮを適用する方法のフロー図である。 [0039] 本開示の態様による、ＣＮＮに基づく撮像コンポーネント整列ガイダンスを提供する方法のフロー図である。 [0040] 本開示の態様による、医療検査を自動化する方法のフロー図である。

[0041] 本開示の原理の理解を促す目的で、図面において示された実施形態が参照され、これらを説明するために具体的な用語が使用される。それにもかかわらず、本開示の範囲に対する限定が意図されるものではないと理解されるものである。説明されるデバイス、システム及び方法に対する任意の変更及び更なる修正、並びに本開示の原理の任意の更なる適用は、本開示が関連する技術分野の当業者が通常思いつくように、完全に想定され、本開示に含まれるものである。特には、１つの実施態様に関して説明される特徴、コンポーネント及び／又はステップが、本開示の他の実施形態に関して説明される特徴、コンポーネント及び／又はステップと組み合わされ得ることは、完全に想定されるものである。しかしながら、簡略化のために、これらの組み合わせの多くの繰り返しは、別個に説明されるものではない。

[0042] 図１は、本開示の態様による、ＴＥＥプローブ１１０を含む医療用撮像システム１００の概略図である。システム１００は、ホスト１３０と、ロボット式システム１２０と、ＴＥＥプローブ１１０とを含み、これらは互いに通信している。ハイレベルにおいて、ＴＥＥプローブ１１０は、患者１０２の心臓の画像を撮影するために、患者１０２の口を通って食道に挿入され得、ホスト１３０は、ＴＥＥプローブ１１０を所望の場所に再配置するようにロボット式システム１２０に命令し得る。例えば、ＬＡＡＣ処置では、ホスト１３０は、心臓のＬＡＡを含む画像がＴＥＥプローブ１１０によって撮影されるようにＴＥＥプローブ１１０を配置するようにロボット式システム１２０に命令する。システム１００は、超音波撮像システムであってよく、プローブ１１０は超音波プローブであってよい。

[0043] ＴＥＥプローブ１１０は、柔軟性長尺部材１１２と、撮像コンポーネント１１４と、ハンドル１１６とを含む。柔軟性長尺部材１１２は、食道などの患者の身体管腔内に配置されるようなサイズ及び／又は形状に形成され得、構造的に配置され得、及び／又は他のやり方で構成され得る。部材１１２は、内視鏡と称される。撮像コンポーネント１１４は、部材１１２の遠位端部に取り付けられる。場合によっては、プローブ１１０は、ガイドワイヤ、カテーテル、又はガイドカテーテルであり得る。撮像コンポーネント１１４は、１つ又は複数の超音波センサ又はトランスデューサ要素を含む。撮像コンポーネント１１４は、患者１０２の解剖学的構造（例えば、心臓）に向かって超音波エネルギーを射出するように構成される。超音波エネルギーは、患者の血管系及び／又は組織構造によって反射される。撮像コンポーネント１１４における超音波トランスデューサ要素は、反射された超音波エコー信号を受信する。いくつかの実施形態において、ＴＥＥプローブ１１０は、超音波エコー信号を局所的に処理して、撮像されている患者１０２の解剖学的構造を表す画像信号を生成し得る内部の又は一体式の処理コンポーネントを含む。超音波トランスデューサ要素は、患者１０２の解剖学的構造の２次元的（２Ｄ）画像又は３次元的（３Ｄ）画像を提供するように構成され得る。本明細書においてより詳細に説明されるように、ＴＥＥプローブ１１０によって取得される画像は、挿入の深度、並びにＴＥＥプローブ１１０の回転及び／又は傾きに依存する。

[0044] ハンドル１１６は、部材１１２の近位端部に結合される。ハンドル１１６は、撮像コンポーネント１１４及び／又は部材１１２を操作するための制御要素を含む。図示されるように、ハンドル１１６は、ノブ１１７及び１１８と、スイッチ１１９とを含む。ノブ１１７は、部材１１２及び撮像コンポーネント１１４を患者１０２（例えば、心臓）の前－後平面に沿って屈曲させる。ノブ１１８は、部材１１２及び撮像コンポーネント１１４を患者１０２の左－右平面に沿って屈曲させる。スイッチ１１９は、撮像コンポーネント１１４におけるビーム形成を制御（例えば、撮像平面の角度を調節）する。

[0045] ロボット式システム１２０は、ハンドル１１６を制御する（例えば、ノブ１１７及び１１８のダイアルを回転させる、及び／又は、スイッチ１１９をオン及び／又はオフにする）ように構成されたモータ、ローラ、ギアなどの電気的及び／又は機械的コンポーネントを含む。代替的に、ロボット式システム１２０は、直接的にＴＥＥプローブ１１０を操縦するように構成される。ロボット式システム１２０は、ホスト１３０から動き制御コマンドを受信し、ハンドル１１６上のノブ１１７及び１１８及び／又はスイッチ１１９を制御し、及び／又は、動き制御コマンドに基づいてＴＥＥプローブ１１０を直接的に駆動する。動き制御コマンドは、本明細書においてより詳細に説明される。

[0046] ホスト１３０は、メモリ１３２と、ディスプレイ１３４と、処理コンポーネント１３６と、通信インタフェース１３８とを含む。処理コンポーネント１３６は、メモリ１３２、ディスプレイ１３４、及び通信インタフェース１３８に結合され、これらと通信する。ホスト１３０は、コンピュータワークステーション、モバイルフォン、タブレット、又は任意の適切なコンピューティングデバイスである。

[0047] メモリ１３２は、キャッシュメモリ（例えば、処理コンポーネント１３６のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ソリッドステートメモリデバイス、ハードディスクドライブ、ソリッドステートドライブ、他の形態の揮発性又は不揮発性メモリ、又は異なるタイプのメモリの組み合わせなど、任意の適切なデータ記憶デバイスである。メモリ１３２は、データベース１４０及び１つ又は複数のＣＮＮ１４２を記憶するように構成される。

[0048] 処理コンポーネント１３６は、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明される動作を実施するように構成されたこれらの任意の組み合わせを含む。処理コンポーネント１３６は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成として実現されてもよい。

[0049] 実施形態において、処理コンポーネント１３６は、患者１０２などの患者又は解剖学的模型（例えば、心臓模型）から画像を取得し、ＴＥＥプローブ１１０を制御するための動き制御パラメータを生成し、特定の又は選択された臨床特性を含む目標画像ビューに対する取得された画像及び動き制御パラメータの適格性確認又は有効性確認を行うためのラベル又はスコアを決定し、及び／又はデータベース１４０を生成するように構成される。データベース１４０は、取得された画像を動き制御パラメータ及びスコアに関連付けて記憶する。

[0050] 実施形態において、処理コンポーネント１３６は、データベース１４０に基づいて撮像コンポーネント１１４を目標撮像平面に対して整列させるためにＣＮＮ１４２を訓練するように構成される。実施形態において、処理コンポーネント１３６は、臨床処置のために撮像コンポーネント１１４を患者１０２などの患者に対して整列させるロボット式システム１２０のための動き制御コマンドを決定するように、臨床環境においてＣＮＮ１４２を適用するように構成される。例えば、撮像コンポーネント１１４は、ＬＡＡＣ処置のために患者１０２のＬＡＡの画像を取得するように整列される。データベース１４０のためのデータセットを取得し、ＣＮＮ１４２を訓練し、ＣＮＮ１４２を適用するための機構は、本明細書においてより詳細に説明される。

[0051] いくつかの実施形態において、メモリ１３２は、非一時的コンピュータ可読媒体を含む。メモリ１３２は、処理コンポーネント１３６によって実行されたときに、本開示の実施形態と関連するデータ取得、ＣＮＮ訓練及び／又はＣＮＮ適用を参照して本明細書において説明される動作を処理コンポーネント１３６に実施させる命令を記憶する。命令はコードとも称される。「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読命令文を含むように広範に解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、機能、プロシージャなどを指す。「命令」及び「コード」は単一のコンピュータ可読命令文を含む。

[0052] ディスプレイ１３４は、ユーザインタフェース（ＵＩ）１４４を表示するためのコンピュータスクリーン又は任意の適切なディスプレイを含む。ＵＩ１４４は、例えばノブ１１７及び１１８並びにスイッチ１１９を含むハンドル１１６のグラフィカル表現又はビューを含む。ＵＩ１４４は、本明細書においてより詳細に説明されるように、ノブ１１７及び１１８のダイアルを回す方向及び／又は量、スイッチ１１９をオン又はオフにする命令、及び／又はＴＥＥプローブ１１０を回転させる方向及び／又は程度を示す視覚的インジケータを含む。ディスプレイ１３４はホスト１３０に一体的なコンポーネントとして図示されているが、いくつかの実施形態において、ディスプレイ１３４は、ホスト１３０の外部にあって、通信インタフェース１３８を介してホスト１３０と通信してもよい。例えば、ディスプレイ１３４は、スタンドアローンディスプレイ、拡張現実グラス、又はモバイルフォンを含む。

[0053] 通信インタフェース１３８は、１つ又は複数のプロセッサ、送信機、１つ又は複数の受信機、１つ又は複数の送受信機、及び／又は、通信信号を送信及び／又は受信するための回路を含む。通信インタフェース１３８は、通信リンク１５０及び１５２を介して信号を搬送するために適した特定の通信プロトコルを実現するハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含み得る。通信インタフェース１３８は、通信デバイス又は通信インタフェースモジュールと称され得る。通信インタフェース１３８は、通信リンク１５０及び１５２を介してそれぞれロボット式システム１２０及び撮像コンポーネント１１４とインタフェースし、これらと通信するように構成される。例えば、ホスト１３０は、通信リンク１５０を介して動き制御コマンドをロボット式システム１２０に送り、通信リンク１５２を介して撮像コンポーネント１１４から取得された画像を受信する。通信リンク１５０及び１５２は、無線リンク及び／又は有線リンクを含む。無線リンクの例としては、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンク、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１（ＷｉＦｉ）リンク、又は任意の適切な無線リンクなどがある。有線リンクの例としては、ユニバーサルシリアルバス（ＵＳＢ）リンク又は任意の適切な有線リンクなどがある。

[0054] いくつかの実施形態において、ＵＩ１４４は、ＴＥＥプローブ１１０を所望の場所に対して整列させるようにハンドル１１６を動作させるための命令を表示する。例えば、処理コンポーネント１３６は、命令及び／又は視覚的インジケータのフォーマットの動き制御コマンドをＵＩ１４４を介してディスプレイ１３４に出力し、臨床医は、ロボット式システム１２０を用いる代わりにこの命令に基づいて、ＴＥＥプローブ１１０を患者１０２に対して手動で整列させる。通信インタフェース１３８は更に、例えばキーボード、マウス、又はタッチスクリーンを介してユーザ入力を受信するように構成される。ＵＩ１４４は、ユーザ入力に基づいて特定の表示又はビューを更新する。ＵＩ１４４は、本明細書においてより詳細に説明される。

[0055] システム１００はＴＥＥプローブ１１０とともに示されているが、システム１００は、臨床処置のために任意の適切な撮像コンポーネントを患者に対して自動的に整列させるように構成される。撮像コンポーネントは、内部撮像モダリティを提供し、この場合、撮像コンポーネントは患者の解剖学的構造の画像を取得するために患者の身体内に挿入される。代替的に、撮像コンポーネントは、外部撮像モダリティを提供してもよく、この場合、撮像コンポーネントは患者の解剖学的構造の画像を取得するために患者の身体の外側に置かれる。撮像モダリティとしては、血管内超音波（ＩＶＵＳ）撮像、前方視血管内超音波（ＦＬ－ＩＶＵＳ）撮像、血管内光音響（ＩＶＰＡ）撮像、心臓内心エコー検査法（ＩＣＥ）、光学的撮像、光コヒーレンス断層撮影（ＯＣＴ）、放射線撮像、Ｘ線撮像、血管造影、蛍光透視、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、エラストグラフィなどがある。

[0056] いくつかの他の実施形態において、システム１００は、圧力センサ、流量センサ、温度センサ、光ファイバ、反射体、鏡、プリズム、切除要素、無線周波数（ＲＦ）電極、導体、及び／又は臨床的又は治療的処置を実施するためのこれらの組み合わせなどの任意の適切な感知コンポーネントを含み、処置を受ける患者の解剖学的構造の画像が撮像コンポーネント１１４によって処置の前、最中、及び／又は後に撮影される。

[0057] ＴＥＥプローブ１１０は、様々な自由度において操作される。図２Ａ～図２Ｄは、ＴＥＥプローブ１１０を操作するための様々な機構を示す。図２Ａは、本開示の態様による、ＴＥＥプローブ１１０のための構成２１０を示す概略図である。ＴＥＥプローブ１１０は、矢印２１２によって示されるように患者の食道内へと手動で前進され得、又は矢印２１４によって示されるように患者の食道から引き出され得る。ＴＥＥプローブ１１０は、矢印２１６及び２１８によってそれぞれ示されるようにＴＥＥプローブ１１０の長手軸２０２に対して左方向（例えば、反時計回り方向）に又は右方向（例えば、時計回り方向）に手動で回転され得る。部材１１２の回転は、γとして示されるパラメータによって表され得る。

[0058] 図２Ｂは、本開示の態様による、ＴＥＥプローブ１１０のための構成２２０を示す概略図である。ＴＥＥプローブ１１０は、矢印２２２及び２２４によって示されるように（例えば、ビーム形成のために）０度から１８０度まで、例えば、ハンドル１１６のスイッチ１１９を制御することによって、電子的に回転され得る。撮像平面の回転は、ωとして示されるパラメータによって表され得る。

[0059] 図２Ｃは、本開示の態様による、ＴＥＥプローブ１１０のための構成２３０を示す概略図である。ＴＥＥプローブ１１０は、矢印２３２及び２３４によって示されるように、例えばハンドル１１６のノブ１１８のダイアルを回転させることによって、例えば患者の心臓に対して前－後平面に沿って屈曲され得る。前－後平面に沿った屈曲は、αとして示されるパラメータによって表され得る。

[0060] 図２Ｄは、本開示の態様による、ＴＥＥプローブ１１０のための構成２４０を示す概略図である。ＴＥＥプローブ１１０は、矢印２４２及び２４４によって示されるように、例えばハンドル１１６のノブ１１７のダイアルを回転させることによって、例えば患者の心臓に対して左－右平面に沿って屈曲され得る。左－右平面に沿った屈曲は、βとして示されるパラメータによって表され得る。

[0061] 図３は、本開示の態様による、ＴＴＥプローブ３１０を含む医療用撮像システム３００の概略図である。システム３００は、システム１００と実質的に同様であるが、システム３００は、内部撮像コンポーネント（例えばＴＥＥプローブ１１０）の代わりに外部撮像コンポーネント（例えば、ＴＴＥプローブ３１０）を目標撮像平面に対して整列させるために使用される。図示されるように、システム３００は、ホスト１３０と、ロボット式システム３２０と、ＴＴＥプローブ３１０とを含み、これらは互いに通信している。ハイレベルにおいて、ＴＴＥプローブ３１０は、患者１０２の解剖学的構造の画像を患者１０２の身体の外部から撮影するように構成され、ホスト１３０は、ＴＴＥプローブ３１０を所望の場所に再配置するようにロボット式システム３２０にリンク１５０を介して命令し得る。システム３００は、超音波撮像システムであってよく、プローブ３１０は超音波プローブであってよい。

[0062] ＴＴＥプローブ３１０は、撮像コンポーネント１１４と実質的に同様の機構によって動作する撮像コンポーネントを含む。例えば、撮像コンポーネントは、外部撮像によって患者１０２の解剖学的構造（例えば、心臓）の２Ｄ画像又は３Ｄ画像を撮影するように構成された超音波トランスデューサ要素を含む。同様に、ＴＴＥプローブ３１０は、取得された画像信号をリンク１５２を介してホスト１３０に送る。

[0063] ロボット式システム３２０は、ＴＴＥプローブ３１０を保持し、患者１０２の外部表面上（例えば、心臓を撮像するための胸部エリア周辺）でＴＴＥプローブ３１０を操作するように構成された複数のジョイント３２４に結合された複数のリンク３２２を含む。処理コンポーネント１３６は、システム１００におけるものと実質的に同様の機構を使用してデータベース１４０及びＣＮＮ１４２を生成するが、本明細書においてより詳細に説明されるように、動き制御コマンドは、ＴＥＥプローブ１１０の回転及び屈曲の代わりに、デカルト座標における速度のフォーマットである。

[0064] 概して、システム１００、システム３００、プローブ１１０、プローブ３１０、及び／又は本明細書において説明される他のデバイスは、患者身体１０２の任意の適切な解剖学的構造及び／又は管腔を検査するために利用され得る。場合によっては、プローブ１１０は、患者身体１０２の解剖学的構造及び／又は管腔内に配置され得る。他の場合には、プローブ１１０は、身体１０２の内部の解剖学的構造及び／又は管腔を検査するために身体１０２の外側に配置され得る。解剖学的構造及び／又は管腔は、自然及び人工の両方の、流体で充満された構造又は流体で囲まれた構造を表す。例えば、本開示のプローブは、患者の食道内に配置され得、及び／又は、これを検査するために使用され得る。いくつかの実施形態において、本開示のプローブは、これらに限定するものではないが、肝臓、心臓、腎臓、胆嚢、膵臓、肺などの臓器；管；腸；脳、硬膜嚢、脊髄、末梢神経などの神経系構造；尿路；並びに心臓の血液、心室又は他の部分内の弁、及び／又は身体の他の系などの、任意の数の解剖学的場所及び組織タイプを検査するために使用される。身体１０２内の解剖学的構造及び／又は管腔は、心臓血管系、末梢血管系、神経血管系、腎血管系などの患者の血管系の動脈又は静脈などの血管、及び／又は身体内の任意の他の適切な管腔である。自然の構造に加えて、本開示のプローブは、これらに限定するものではないが、心臓弁、ステント、シャント、フィルタ及び他のデバイスなどの、人工的な構造を検査するために使用される。

[0065] 図４は、本開示の態様による、撮像コンポーネント整列処置を自動化するための手法４００を示す概略図である。手法４００は、システム１００及び３００におけるホスト１３０によって実施される。手法４００は、データ取得フェーズ４０２、ＣＮＮ訓練フェーズ４０４、及び臨床操作フェーズ４０６を含む。データ取得フェーズ４０２及びＣＮＮ訓練フェーズ４０４はオフラインで実施され、臨床操作フェーズ４０６は臨床環境において実施される。

[0066] データ取得フェーズ４０２において、データ取得コンポーネント４１０は、撮像コンポーネント（例えば、ＴＥＥプローブ１１０又はＴＴＥプローブ３１０）を使用して画像データを取得し、撮像コンポーネントを（例えば、ロボット式システム１２０又は３２０を使用して）対象者の身体（例えば、患者１０２又は解剖学的模型）に対する様々な場所へと操作するための動き制御パラメータを生成し、撮像コンポーネントの場所及び対応する画像を目標画像ビューに関連付けてデータベース１４０を生成するように構成される。データ取得コンポーネント４１０は、撮像コンポーネント及び目標ビューの対応する位置の間の関係性に基づいて、取得された画像に自動的に注釈又はラベルを付ける。データ取得コンポーネント４１０は、繰り返し又は周期的に、データを取得し、データベース１４０を更新する。データを取得し、データベース１４０を生成するための機構は、本明細書においてより詳細に説明される。

[0067] ＣＮＮ訓練フェーズ４０４において、ＣＮＮ訓練コンポーネント４２０は、データベース１４０に基づいてＣＮＮ１４２を訓練するように構成される。ＣＮＮ１４２は、予測ＣＮＮ１４２ａと、微調整ＣＮＮ１４２ｂと、目標ＣＮＮ１４２ｃとを含む。予測ＣＮＮ１４２ａは、撮像コンポーネントから現在取得された画像を受信し、目標画像ビューを撮影するための所望の場所に撮像コンポーネントが到達する可能性の最も高い動きベクトル（例えば、動き制御パラメータを含む）を推測又は推定するように訓練される。例えば、予測ＣＮＮ１４２ａは、特定の又は所定の臨床特性（例えば、ＬＡＡ）を含む目標画像ビューのために訓練される。微調整ＣＮＮ１４２ｂは、一対の画像が同一の品質レベルを有するか否かを検証するように、又はより高い品質レベルを有する画像を一対の画像から選択するように訓練される。目標ＣＮＮ１４２ｃは、目標画像ビュー（例えば、ＬＡＡ）が撮影されたか否かを判定するように訓練される。いくつかの実施形態において、ＣＮＮ訓練コンポーネント４２０は、微調整ＣＮＮ１４２ｂ及び／又は目標ＣＮＮ１４２ｃを、追加的な臨床データを使用して訓練する。ＣＮＮ１４２を訓練するための機構は、本明細書においてより詳細に説明される。

[0068] 臨床操作フェーズ４０６において、ＣＮＮ適用コンポーネント４３０は、目標画像ビューを取得するために撮像コンポーネントを患者の解剖学的構造に再配置又は整列させるための動きベクトルを決定するために訓練済みのＣＮＮ１４２を適用する。ＣＮＮ適用コンポーネント４３０は、整列のために閉ループ制御アルゴリズムを用いる。例えば、ＣＮＮ適用コンポーネント４３０は、撮像コンポーネントを方向付けるために予測ＣＮＮ１４２ａを適用し、撮像コンポーネントが所望の場所にあるか否かをチェックするために目標ＣＮＮ１４２ｃを適用する。ＣＮＮ適用コンポーネント４３０は、目標ＣＮＮ１４２ｃが目標画像ビューを検知するまで予測ＣＮＮ１４２ａ及び目標ＣＮＮ１４２ｃを繰り返し適用する。続いて、ＣＮＮ適用コンポーネント４３０は、目標画像ビューを撮影するための最適な場所に撮像コンポーネントを方向付けるために微調整ＣＮＮ１４２ｂを適用する。ＣＮＮ適用コンポーネント４３０は、整列プロセスにおいて撮像コンポーネントを再配置又は整列させるようにロボット式システムに命令する。代替的に、ＣＮＮ適用コンポーネント４３０は、例えばＵＩ１４４における表示のために、運動ガイダンスコンポーネント４３２に動きベクトルを提供する。ＣＮＮ１４２を適用するための機構は、本明細書においてより詳細に説明される。

[0069] 図５は、本開示の態様による、大規模な画像データセットを取得するための手法５００を示す概略図である。手法５００は、システム１００及び３００並びにデータ取得コンポーネント４１０によって実施される。手法５００は、データ取得フェーズ４０２における自動的なデータ取得プロセスのより詳細なビューを提供する。手法５００は、運動生成コンポーネント５１０と、ロボット式システム５２０と、適格性確認コンポーネント５３０と、データ関連付けコンポーネント５４０と、データベース生成コンポーネント５５０と、データベース記憶コンポーネント５６０と、撮像デバイス５７０とを含む。実施形態において、撮像デバイス５７０はＴＥＥプローブ１１０に対応し、ロボット式システム５２０はロボット式システム１２０に対応する。別の実施形態において、撮像デバイス５７０はＴＴＥプローブ３１０に対応し、ロボット式システム５２０はロボット式システム３３０に対応する。

[0070] 運動生成コンポーネント５１０は、撮像平面位置のセット（例えば、２Ｄ撮像のため）を生成し、撮像平面位置を動き制御設定へとエンコードするように構成される。動き制御設定は、撮像デバイス５７０を再配置するために使用される。動き制御設定は、ｍ_ｔとして示される動きベクトルによって表される。動き制御設定は、使用中の撮像コンポーネントタイプに応じて異なるパラメータを含む。例えば、撮像デバイス５７０がＴＥＥプローブ１１０であるとき、図２Ａ、図２Ｂ、図２Ｃ、及び図２Ｄに関してそれぞれ図示及び説明されたように、動き制御設定は、パラメータγ、ω、α、及びβを含む。代替的に、撮像デバイス５７０がＴＴＥプローブ３１０であるとき、動き制御設定は、線速度パラメータ及び角速度パラメータによって表される。いくつかの実施形態において、運動生成コンポーネント５１０は、動き制御設定のためのパラメータを生成するために確率関数を用いる。運動生成コンポーネント５１０は、動き制御設定をロボット式システム５２０及びデータ関連付けコンポーネント５４０に提供する。

[0071] いくつかの実施形態において、動き制御設定は、撮像デバイス５７０の物理的な場所を変更することに加えて、ボリュメトリック超音波画像内で撮像平面を変化させるように撮像デバイス５７０を動作せるための制御を含み得る。例えば、撮像平面は、ボリュメトリック撮像中に仰角方向又はボリュメトリック領域の軸に対する任意の適切な角度に傾けられる。

[0072] 概して、動き制御設定は、ユーザ又はロボットによって提供されたデバイスの特定の位置又は特定の動きに関する任意の測定可能なデータを含み得る。様々な動き制御設定が本出願全体を通じて説明され、本明細書における方法／システムは、これらの動き制御設定のうちの任意の１つ又は組み合わせを含み得る。場合によっては、動き制御設定は、１つ又は複数のパラメータを含む。パラメータは、方向ベクトル又は速度ベクトル、及び／又は撮像平面位置を含む。

[0073] ロボット式システム５２０は、動き制御設定に基づいて、撮像デバイス５７０を再配置する。撮像デバイス５７０は、対象者の身体５８０（例えば、心臓模型）の画像を撮影し、Ｕ_ｔとして示される画像を適格性確認コンポーネント５３０及びデータ関連付けコンポーネント５４０に提供する。

[0074] 適格性確認コンポーネント５３０は、取得された画像が、特定の臨床処置（例えば、ＬＡＡＣ処置）のための意味を持つ特定の臨床特性（例えば、ＬＡＡ）を含むか否かを判定する。例として、手法５００は、特定の臨床特性を含む、Ｕ_{ｔａｒｇｅｔ}として示される目標画像ビューを撮影するためのデータベース１４０を生成するように構成される。適格性確認コンポーネント５３０は、ｌ_ｔとして示されるスコア又はラベルを出力する。例えば、選択された動き制御設定が、取得された画像が目標画像ビューの撮影に成功した場所に撮像デバイス５７０を配置したとき、適格性確認コンポーネント５３０はスコアｌ_ｔの値として１を出力する。これとは逆に、取得された画像が目標画像ビューの撮影に失敗したとき、適格性確認コンポーネント５３０はスコアｌ_ｔの値として０を出力する。適格性確認コンポーネント５３０は、スコアｌ_ｔをデータ関連付けコンポーネント５４０に提供する。

[0075] 実施形態において、データ関連付けコンポーネント５４０は、ｑ_ｔとして示される現在位置において撮像デバイス５７０によって撮影された、Ｕ_ｔとして示される現在の画像を受信する。ロボット式システム５２０は、動き制御ベクトルｍ_ｔに基づいて、撮像デバイス５７０を、ｑ_ｅｎｄとして示される次の位置に再配置する。これは以下のように表される。
ｍ_ｔ＝ｑ_ｅｎｄ－ｑ_ｔ （１）
適格性確認コンポーネント５３０は、撮像デバイス５７０が位置ｑ_ｅｎｄに再配置されたときに撮像デバイス５７０によって撮影された対象者の身体５８０の次の画像を受信し、この画像はＵ_ｔ＋１として示される。適格性確認コンポーネント５３０は、画像Ｕ_ｔ＋１が目標画像ビューＵ_{ｔａｒｇｅｔ}を含むか否かに基づいて、画像Ｕ_ｔ＋１を生成する動きコマンドのためのスコアｌ_ｔを決定する。代替的に、対象者の身体５８０が模型であるときは、目標画像ビューを撮影するための目標位置は既知である。故に、適格性確認コンポーネント５３０は、位置ｑ_ｅｎｄを目標位置と比較することによってスコアｌ_ｔを決定する。

[0076] データ関連付けコンポーネント５４０は、現在の画像Ｕ_ｔを動き制御ベクトルｍ_ｔ及びスコアｌ_ｔに関連付けて、ｄ_ｔとして示されるデータタプルを形成する。これは以下のように表される。
ｄ_ｔ＝（Ｕ_ｔ，ｍ_ｔ，ｌ_ｔ） （２）
手法５００は、目標画像ビューに到達するための各試行又は試みにおいてＫ個のステップのシーケンスを行い、ここでＫは正の整数である。各試行又は試みは、Ｓ_ｎとして示されるシーケンスによって表される。これは以下のように表される。
Ｓ_ｎ＝｛ｄ_１，ｄ_２，．．．，ｄ_Ｋ｝ （３）
ここで、ｄ_ｔは、シーケンスＳ_ｎにおける特定のステップｔにおけるデータタプルを表す。データ関連付けコンポーネント５４０は、シーケンスＳ_ｎをデータベース生成コンポーネント５５０に提供する。

[0077] シーケンスＳ_ｎは、様々な条件によって終了する。例えば、シーケンスＳ_ｎは、画像_Ｕｔ＋１と目標画像ビューＵ_{ｔａｒｇｅｔ}との間の類似性測度が大きいときに終了する。２つの単一モード画像の間の類似性測度を決定するために、様々な機構が使用される。例えば、類似性測度を決定するために、正規化された相互相関、差分二乗和（ＳＳＤ）、テンプレートマッチング、及び／又はシャム畳み込みニューラルネットワークが使用される。代替的に、シーケンスＳ_ｎは、ステップｄ_ｔのための位置ｑ_ｅｎｄが既知の目標場所（例えば、模型に関して登録された目標座標）に対応したときに終了する。シーケンスＳ_ｎは、試行又はステップの回数（例えば、Ｋ）が、目標画像ビューに到達していないにもかかわらず閾値を超えたとき、又は全ての動き制御パラメータを使い果たした後、例えば、特定の動きについてハードウェアリミットに、又はソフトウェアリミットに達したときにも終了する。ハードウェアリミットの例は、ＴＥＥプローブ１１０の屈曲及び回転それぞれのための掃引α、β、又はγである。ソフトウェアリミットの例は、０度から１８０度までの全ての角度を通じて撮像平面を変化させるための掃引ωである。場合によっては、ソフトウェアリミットは、各自由度α、β、γ、又はωについてロボット式システム１２０によって任意的に定められる。

[0078] データベース生成コンポーネント５５０は、Ｎ回の試みから取得されたシーケンスＳ_ｎから、Ｄとして示される関連データセットを形成することによってデータベース１４０を生成する。これは以下のように表される。
Ｄ＝｛Ｓ_１，Ｓ_２，．．．，Ｓ_Ｎ｝ （４）
ここで、Ｎは正の整数である。

[0079] データベース記憶コンポーネント５６０は、データベース１４０又はデータセットＤをメモリ１３２などのメモリに記憶する。いくつかの実施形態において、手法５００は、模型を使用して実施され、次いで、臨床環境を使用して繰り返される（例えば、患者１０２の画像を撮影する）。このような実施形態において、撮像デバイス５７０の再配置は、ユーザによって手動で、又はロボット式システム５２０によって自動的に実施される。撮像デバイス５７０の再配置が手動で実施されるとき、運動は運動感知コンポーネントによって感知され、運動感知コンポーネントは、感知された運動に基づいて動き制御設定を記録する。加えて、画像／位置適格性確認が、適格性確認コンポーネント５３０によって自動的に、又はユーザによって手動で実施される。場合によっては、ＵＩ１４４は、ユーザが取得された画像又は撮像平面位置の適格性確認を行うための、又はシーケンスＳ_ｎにおける最終ステップを示すための様々な設定を含む。

[0080] 実施形態において、ゲイン及び深さなどの超音波撮像パラメータは取得のために調節される。実施形態において、臨床医又はユーザは、特定の臨床処置のために、臨床コミュニティによって推薦された臨床的に関連するビューのセットから目標画像ビューＵ_{ｔａｒｇｅｔ}を選択する。実施形態において、臨床医は、画像ボリューム全体にわたる広範な検索によって目標画像ビューＵ_{ｔａｒｇｅｔ}の場所を手動で特定する。別の実施形態において、臨床医は、取得のための異なる撮像パラメータ又は位置を有するいくつかの目標画像ビューを取得する。

[0081] 実施形態において、手法５００が、撮像ボリュームの一部分について画像データセットを取得するために十分な数の動き制御設定を生成した後、臨床医は、撮像デバイス５７０を異なる場所に再配置し、撮像ボリュームの異なる部分を取得するために手法５００を繰り返す。実施形態において、取得される撮像データセットの多様性を増加させるために、手法５００は、いくつかの他の対象者の身体５８０（例えば、複数の心臓模型）を使用して繰り返される。実施形態において、撮像データセットの多様性を増加させるために、手法５００は、いくつかの撮像デバイス５７０（例えば、複数のＴＥＥプローブ１１０又は複数のＴＴＥプローブ３１０）を使用して繰り返される。撮像平面位置又は動き制御設定の数、及び繰り返しの回数は、臨床医によって任意的に選択される。深層学習ニューラルネットワーク訓練をサポートするために、撮像データセットのサイズは比較的大規模である必要がある。

[0082] 手法５００は特定の目標ビューのためのデータベース１４０を生成するためのものとして示されているが、手法５００は、異なる目標画像ビューのために繰り返されてもよい。手法５００は、異なる目標画像ビューのデータセットを同一のデータベース又は異なるデータベースに記憶する。

[0083] 図６は、本開示の態様による、ＴＥＥプローブを再配置するためのシナリオ６００を示す概略図である。シナリオ６００は、撮像デバイス５７０がＴＥＥプローブ１１０に対応するときに撮像デバイス５７０を再配置するステップに対応する。図示されるように、ＴＥＥプローブ１１０は、部材１１２及び撮像コンポーネント１１４を屈曲する又は部材１１２及び撮像コンポーネント１１４の配置を調節する調節可能な部材６１０を含む。撮像コンポーネント１１４は、一連の位置に沿って、例えば、現在位置ｑ_ｔから次の位置ｑ_ｔ＋１に移動され、終了位置ｑ_ｅｎｄにおいて移動を終了する。ＴＥＥプローブ１１０が位置ｑ_ｔ＋１にあるとき、撮像コンポーネント１１４は画像６２０（例えば、Ｕ_ｔ＋１）を撮影する。動き制御ベクトルｍ_ｔは以下のように表され得る。
ｍ_ｔ＝ｑ_ｔ＋１－ｑ_ｔ＝（α，β，γ，ω）^Ｔ （５）
ここで、Ｔは転置演算子である。

[0084] 図７は、本開示の態様による、ＴＴＥプローブを再配置するためのシナリオ７００を示す概略図である。シナリオ７００は、撮像デバイス５７０がＴＴＥプローブ３１０に対応するときに撮像デバイス５７０を再配置するステップに対応する。図示されるように、ＴＴＥプローブ３１０は、一連の位置に沿って、例えば、ｐ_ｔによって表される現在位置からｐ_ｔ＋１によって表される次の位置に移動され、ｐ_ｅｎｄによって表される終了位置において移動を終了する。ここで、ｐ_ｔ、ｐ_ｔ＋１、及びｐ_ｅｎｄは４－ｂｙ－４変換マトリクス（例えば、並進及び回転を含む）である。故に、動き制御ベクトルｍ_ｔは、３Ｄ並進ベクトル（例えば、線速度）及び現在位置から終了位置への各軸の（例えば、ｘ－ｙ－ｚ空間における）周りの向きにおける変化（例えば、角速度）によって表され得る。ＴＴＥプローブ３１０が位置ｐ_ｔ＋１にあるとき、ＴＴＥプローブ３１０は、患者１０２の画像７１０（例えば、Ｕ_ｔ＋１）を撮影する。動き制御ベクトルｍ_ｔは以下のように表され得る。
ｍ_ｔ＝ｐ_ｔ＋１－ｐ_ｔ＝（ν_ｘｔ，ν_ｙｔ，ν_ｚｔ，ω_ｘｔ，ω_ｙｔ，ω_ｚｔ）^Ｔ（６）
ここで、ν_ｘｔ、ν_ｙｔ、及びν_ｚｔはそれぞれ、ｘ、ｙ、及びｚ軸に沿った線速度を表し、ω_ｘｔ、ω_ｙｔ、及びω_ｚｔはそれぞれ、ｘ、ｙ、及びｚ軸に対する角速度を表す。ＴＴＥプローブ３１０を使用する手法５００を適用するとき、ユーザは、ＴＴＥプローブ３１０が再配置される位置（例えば、患者の心臓を撮像するときの患者の胸部エリア周辺の境界）を限定する境界条件又は終了条件を任意的に決定する。

[0085] 図８Ａ～図８Ｃは、手法５００において使用される画像に対応する様々な例示的な画像又は画像ビューを示す。図８Ａは、本開示の態様による、ＬＡＡ８１２の目標画像ビュー８１０の例を示す。例えば、目標画像ビュー８１０はＵ_{ｔａｒｇｅｔ}に対応し、ＬＡＡ８１２は所望の臨床特性に対応する。図８Ｂは、本開示の態様による、患者の心臓８２２内のＬＡＡを撮影するための撮像平面８２０の位置の例を示す。例えば、手法５００は、撮像平面８２０において画像を撮影するように撮像デバイス５７０を再配置するために使用される。図８Ｃは、本開示の態様による、撮像平面８２０における撮像デバイス５７０又はＴＥＥプローブ１１０などの撮像コンポーネントによって撮影されたＬＡＡ８３２の目標画像８３０の例を示す。例えば、目標画像８３０はＵ_{ｔａｒｇｅｔ}に対応し、ＬＡＡ８３２は所望の臨床特性に対応する。

[0086] 図９～図１１は、ＣＮＮ１４２の内部構成を示す。図９は、本開示の態様による、予測ＣＮＮ１４２ａのための構成９００を示す概略図である。予測ＣＮＮ１４２ａは、入力画像９０２が与えられたときに撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０）の再配置のために使用される動き制御設定の候補が、特定の目標ビュー（例えば、Ｕ_{ｔａｒｇｅｔ}に対応する目標画像８３０）のための最適な撮像場所に導くか否かを予測するために使用される。例えば、予測ＣＮＮ１４２ａは、患者の身体（例えば、患者１０２）に対して現在位置（例えば、ｑ_ｔに対応する）に位置する撮像コンポーネントによって撮影された現在の画像９０２（例えば、Ｕ_ｔに対応する）を受信する。予測ＣＮＮ１４２ａは、動き制御設定候補９０４（例えば、ｍ_ｔに対応する）のセットからの動き制御設定が現在の画像に基づいて撮像コンポーネントを目標画像ビューに導き得るか否かを判定する。いくつかの実施形態において、動き制御設定候補９０４のセットは、ボリュメトリック超音波画像内で撮像平面を変化させるための制御を含み得る。予測ＣＮＮ１４２ａは、動き制御設定候補の各々について目標画像ビューに到達する可能性９０８（例えば、出力９０８）を計算し、目標画像ビューに到達する可能性の最も高い動き制御設定候補を選択する。予測ＣＮＮ１４２ａは、畳み込みレイヤ９１０及びプーリングレイヤ９１２の第１のセットと、空間タイリングレイヤ９２０と、加算コンポーネント９３０と、畳み込みレイヤ９４０及びプーリングレイヤ９４２の第２のセットとを含む。

[0087] 予測ＣＮＮ１４２ａは、畳み込みレイヤ９１０及びプーリングレイヤ９１２の第１のセットを現在の画像９０２に適用する。各畳み込みレイヤ９１０は、画像９０２から画像特徴を抽出するように構成されたフィルタ９１４のセットを含む。各プーリングレイヤ９１２は、抽出された画像特徴の次元の数を減少させるフィルタ９１６のセットを含む。

[0088] 予測ＣＮＮ１４２ａは、空間タイリングレイヤ９２０を各動き制御設定候補９０４に適用する。空間タイリングレイヤ９２０はフィルタ９２２のセットを含む。空間タイリングレイヤ９２０は、動き制御設定候補９０４を第１のセットの最後のプーリングレイヤ９１２（例えば、ｐｏｏｌＮとして図示されているもの）の出力空間寸法に変換又はマッピングする。加算コンポーネント９３０は、第１のセットの最後のプーリングレイヤ９１２の出力と空間タイリングレイヤ９２０の出力との間の和９０６（例えば、点ごとの和）を計算する。

[0089] 予測ＣＮＮ１４２ａは、インタリーブした畳み込みレイヤ９４０及びプーリングレイヤ９４２の第２のセットを和９０６に適用する。畳み込みレイヤ９４０及びプーリングレイヤ９４２はそれぞれ、畳み込みレイヤ９１０及びプーリングレイヤ９１２と実質的に同様の構造を有する。例えば、各畳み込みレイヤ９４０はフィルタ９４４のセットを含み、各プーリングレイヤ９４２はフィルタ９１６のセットを含む。予測ＣＮＮ１４２ａは、各動き制御設定候補９０４について目標画像ビューに到達する可能性を表す出力９０８を生む。故に、可能性の最も高い動き制御設定が、動き制御設定候補９０４から選択される。フィルタ９１４、９１６、９２２、９４４、及び９４６は任意の適切な順序を有してよい。フィルタ９１４、９１６、９２２、９４４、及び９４６のための係数は、本明細書においてより詳細に説明されるように、学習又は訓練される。

[0090] 図１０は、本開示の態様による、微調整ＣＮＮ１４２ｂのための構成１０００を示す概略図である。微調整ＣＮＮ１４２ｂは、より高い品質を有する画像を一対の入力画像１００２及び１００４から選択するために使用される。例えば、本明細書においてより詳細に説明されるように、微調整ＣＮＮ１４２ｂは、予測ＣＮＮ１４２ａが撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０）を所望の場所に対して方向付けた後に、撮像コンポーネントの位置を改善するために適用される。微調整ＣＮＮ１４２ｂは、畳み込みレイヤ１０１０及びプーリングレイヤ１０１２の第１のセットと、畳み込みレイヤ１０２０及びプーリングレイヤ１０２２の第２のセットと、選択コンポーネント１０３０とを含む。

[0091] 微調整ＣＮＮ１４２ｂは、インタリーブした畳み込みレイヤ１０１０及びプーリングレイヤ１０１２の第１のセットを一方の入力画像１００２に適用し、インタリーブした畳み込みレイヤ１０２０及びプーリングレイヤ１０２２の第２のセットを他の入力画像１００４に適用する。各畳み込みレイヤ１０１０はフィルタ１０１４のセットを含み、各プーリングレイヤ１０１２はフィルタ１０１６のセットを含む。同様に、各畳み込みレイヤ１０２０はフィルタ１０２４のセットを含み、各プーリングレイヤ１０２２はフィルタ１０２６のセットを含む。選択コンポーネント１０３０は、より高い品質を有する画像１０３２を一対の画像１００２及び１００４から選択するように構成される。フィルタ１０１４、１０１６、１０２４、１０２６のための係数は、本明細書においてより詳細に説明されるように、学習又は訓練される。

[0092] 図１１は、本開示の態様による、目標ＣＮＮ１４２ｃのための構成１１００を示す概略図である。目標ＣＮＮ１４２ｃは、目標画像ビューに対する入力画像１１０２の適格性確認を行うために使用される。例えば、目標ＣＮＮ１４２ｃは、入力画像１１０２が目標画像ビュー（例えば、Ｕ_{ｔａｒｇｅｔ}に対応する目標画像ビュー８１０）又は所定の若しくは選択された臨床特性（例えば、ＬＡＡ８１２）を含むか否かを判定する。実施形態において、目標ＣＮＮ１４２ｃは、肺、肝臓、又は心臓などの特定の解剖学的カテゴリを認識するように訓練される。目標ＣＮＮ１４２ｃは、畳み込みレイヤ１１１０及びプーリングレイヤ１１１２のセットと、領域提案ネットワーク１１２０とを含む。目標ＣＮＮ１４２ｃは、インタリーブした畳み込みレイヤ１１１０及びプーリングレイヤ１１１２のセットを入力画像１１０２に適用する。各畳み込みレイヤ１１１０はフィルタ１１１４のセットを含み、各プーリングレイヤ１１１２はフィルタ１１１６のセットを含む。畳み込みレイヤ１１１０及びプーリングレイヤ１１１２のセットは特徴マップ１１０４を出力する。

[0093] 領域提案ネットワーク１１２０は特徴マップ１１０４に適用される。領域提案ネットワーク１１２０はＣＮＮとして構成される。例えば、領域提案ネットワーク１１２０は、畳み込みレイヤ及びプーリングレイヤのセットを含み、その各々はフィルタのセットを含む。領域提案ネットワーク１１２０は、複数の解剖学的カテゴリ又は撮像カテゴリ（例えば、心臓、肺、肝臓、Ｂライン撮像）に基づいて特徴マップ１１０４にスコアを付ける。こうして、領域提案ネットワーク１１２０は、最も高いスコアに基づいて、入力画像１１０２をカテゴリのうちの１つに分類する。目標ＣＮＮ１４２ｃは、特定のカテゴリ（例えば、心臓の画像ビュー）を検知するように訓練され、目標ビュー又は特定のカテゴリが検知されたか否かを示す出力１１０６を生む。例えば、入力画像１１０２が目標画像ビューを含むとき、出力１１０６は値として１を含む。これとは逆に、入力画像１１０２が目標画像ビューを含まないとき、出力１１０６は値として０を含む。出力１１０６は、ラベル又はスコアと称される。フィルタ１１１４及び１１１６並びに領域提案ネットワーク１１２０におけるフィルタのための係数は、本明細書においてより詳細に説明されるように、学習又は訓練される。

[0094] 図１２～図１４は、ＣＮＮ１４２を訓練するための機構を示す。図１２は、本開示の態様による、予測ＣＮＮ１４２ａを訓練するための手法１２００を示す概略図である。手法１２００は、システム１００又は３００によって実施される。手法１２００は、ＣＮＮ訓練コンポーネント４２０によって実施される動作のより詳細なビューを提供する。手法１２００は、シミュレートされたデータ（例えば、模型から撮影された画像）及び／又は臨床データ（例えば、患者１０２から撮影された画像）を使用してオフラインで実施される。手法１２００は、特定の目標画像ビュー（例えば、目標画像ビュー８１０）に到達するように撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０）を再配置するための運動を予測するように予測ＣＮＮ１４２ａを訓練するために使用される。目標画像ビューは、臨床処置（例えば、ＬＡＡＣ処置）に関連する特定の臨床特性（例えば、ＬＡＡ８１２）を含む。手法１２００は、周期的に更新される関連データセット（例えば、データベース１４０）に基づいて予測ＣＮＮ１４２ａを少しずつ訓練する。

[0095] ステップ１２１０において、対象者の身体（例えば、解剖学的模型）の画像が撮像コンポーネントを使用して取得される。撮像コンポーネントの配置は、例えば、図５に関して上述の手法５００において図示されたものと同様の機構を使用して、モータコマンド、動き制御設定、又は動きベクトルのセットに基づいて、ロボット式システム（例えば、ロボット式システム１２０、３２０、又は５２０）によって制御される。

[0096] ステップ１２１２において、目標ＣＮＮ１４２ｃが取得された画像に適用される。目標ＣＮＮ１４２ｃは、取得された各画像について、目標画像ビューに基づいてスコア又はラベルを決定する。例えば、取得された画像において目標ＣＮＮ１４２ｃが目標画像ビュー（例えば、所望の臨床特性）を検知したとき、目標ＣＮＮ１４２ｃは値として１を出力する。これとは逆に、取得された画像において目標ＣＮＮ１４２ｃが目標画像ビューを検知することに失敗したとき、目標ＣＮＮ１４２ｃは値として０を出力する。ステップ１２１２は、適格性確認コンポーネント５３０の動作に対応する。

[0097] ステップ１２１４において、取得された画像は、関連データセットを生むために、対応するモータコマンド及びラベルに関連付けられる。例えば、各関連データセットは、上記の式（２）において示されたデータタプルｄ_ｔに対応する。ステップ１２１６において、データメモリは関連データセットを用いて更新される。例えば、データメモリは、メモリ１３２に記憶されたデータベース１４０に対応する。１２１０、１２１２、１２１４、及び１２１６のステップは周期的に繰り返される。

[0098] ステップ１２１８において、予測ＣＮＮ１４２ａは、関連データセットのバッチ又はサブセットを受信する。サブセットは、データメモリから無作為に選択される。実施形態において、予測ＣＮＮ１４２ａにおけるフィルタ９１４、９１６、９２２、９４４、及び９４６のための係数は、任意の値で初期化される。予測ＣＮＮ１４２ａは、例えば前方伝播を使用して、サブセットにおける各関連データセットに適用される。フィルタ９１４、９１６、９２２、９４４、及び／又は９４６のための係数は、出力誤差（例えば、予測ＣＮＮ１４２ａの出力９０８と対応する関連データセットのためのラベルとの間の出力誤差）を最小化するために、例えば後方伝播を使用して、調節される。

[0099] ステップ１２２０において、訓練を停止するか又は更なる関連データセットによって訓練を続けるかが判定される。訓練を続けると判定されたとき、矢印１２２２によって示されるように、関連データセットの次のサブセット又はバッチがデータメモリから取得（例えば、無作為に選択）され、予測ＣＮＮ１４２ａの訓練が関連データセットの次のサブセットのために繰り返される。

[00100] 訓練を停止すると判定されたとき、ステップ１２２４において、予測ＣＮＮ１４２ａを更に訓練するために臨床データ（例えば、臨床環境において撮影された患者の画像）が取得される。ステップ１２２６において、臨床医は、臨床画像に目標画像ビューが含まれているか否かを示すラベルによって各臨床画像に注釈を付ける。矢印１２２８によって示されるように、注釈付き臨床画像は、予測ＣＮＮ１４２ａを更に訓練又は微調整するため、例えば、フィルタ９１４、９１６、９２２、９４４、及び／又は９４６のための係数を更に調節するために使用される。

[00101] 図１３は、本開示の態様による、微調整ＣＮＮ１４２ｂを訓練するための手法１３００を示す概略図である。手法１３００は、システム１００又は３００によって実施される。手法１３００は、ＣＮＮ訓練コンポーネント４２０によって実施される動作のより詳細なビューを提供する。手法１３００は、模型及び／又は臨床データから取得された画像を使用してオフラインで実施される。例えば、ステップ１３１０において、目標画像のセットが取得される。目標画像は特定の目標画像ビュー（例えば、目標画像ビュー８１０）を含む。

[00102] ステップ１３１２において、目標画像のセットから画像対が無作為に選択され、より高い画像品質を有する画像が各対から選択される。

[00103] ステップ１３１４において、微調整ＣＮＮ１４２ｂは、画像対のサブセット及び対応する選択（例えば、画像対からより高い品質を有する画像を示す選択）を受信する。実施形態において、微調整ＣＮＮ１４２ｂにおけるフィルタ１０１４、１０１６、１０２４、及び１０２６のための係数は、任意の値で初期化される。微調整ＣＮＮ１４２ｂが各画像対に適用され、対応する選択が、例えば前方伝播を使用して行われる。フィルタ１０１４、１０１６、１０２４、及び／又は１０２６のための係数は、出力誤差（例えば、微調整ＣＮＮ１４２ｂの出力画像１０３２と選択との間の出力誤差）を最小化するために、例えば後方伝播を使用して、調節される。微調整ＣＮＮ１４２ｂの訓練は、画像対の次のサブセット及び対応する選択のために繰り返される。

[00104] 図１４は、本開示の態様による、目標ＣＮＮ１４２ｃを訓練するための手法１４００を示す概略図である。手法１４００は、システム１００又は３００によって実施される。手法１４００は、ＣＮＮ訓練コンポーネント４２０によって実施される動作のより詳細なビューを提供する。手法１４００は、模型及び／又は臨床データから取得された画像を使用してオフラインで実施される。例えば、ステップ１４１０において、ラベル付きデータセットが取得される。ラベル付きデータセットは、カテゴリ（例えば、肺、心臓、肝臓、Ｂライン及びＬＡＡ）に分類された画像を含み、画像には、分類区分に基づいてラベルが付けられる。ステップ１４１２において、取得されたラベル付き画像、例えば、模型及びロボット式システム（例えば、ロボット式システム１２０又は３２０）を使用して取得された又はデータベース１４０から取得されたラベル付き画像が、取得される。

[00105] ステップ１４１４において、目標ＣＮＮ１４２ｃは、ラベル付きデータセットのサブセット及び取得されたラベル付き画像のサブセットを受信する。実施形態において、目標ＣＮＮ１４２ｃにおけるフィルタ１１１４及び１１１６のための係数は、任意の値で初期化される。目標ＣＮＮ１４２ｃは、例えば前方伝播を使用して、ラベル付きデータセットのサブセット及び取得されたラベル付き画像のサブセットに適用される。フィルタ１１１４及び／又は１１１６のための係数は、出力誤差（例えば、目標ＣＮＮ１４２ｃの出力１１０６と分類又はラベルとの間の出力誤差）を最小化するために、例えば後方伝播を使用して、調節される。目標ＣＮＮ１４２ｃの訓練は、ラベル付きデータセットの次のサブセット及び取得されたラベル付き画像のサブセットのために繰り返される。

[00106] 図１５は、本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるための手法１５００を示す概略図である。手法１５００は、システム１００又は３００によって実施される。手法１５００は、ＣＮＮ適用コンポーネント４３０によって実施される動作のより詳細なビューを提供する。手法１５００は、臨床環境において、臨床処置（例えば、ＬＡＡＣ処置）の前に、患者の解剖学的構造（例えば、患者１０２の心臓）の画像を取得するために使用される。臨床医は、目標画像ビューＵ_{ｔａｒｇｅｔ}（例えば、目標画像８３０）を選択する。臨床医は、撮像デバイス１５０４（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０）を患者の関心対象解剖学的構造の近くの初期位置ｑ_ｔに配置する。

[00107] ステップ１５１０において、撮像デバイス１５０４によって、患者の解剖学的構造を表す画像Ｕ_ｔが取得される。ステップ１５１２において、動きベクトルＭのセットが、例えば、処理コンポーネント１３６によって、臨床医によって任意的に選ばれた動きの一定の範囲内で生成される。動きベクトルＭのセットは、以下のように表される。
Ｍ＝｛ｍ_ｘ＿１，ｍ_ｘ＿２，．．．，ｍ_ｘ＿ｎ｝ （７）
ここで、ｍ_ｘ＿１からｍ_ｘ＿ｎは動きベクトルであり、これらは式（５）又は（６）において上述されたｍ_ｔと同様であり、撮像デバイス１５０４に依存する。例えば、撮像デバイス１５０４がＴＥＥプローブ１１０と同様のＴＥＥプローブであるとき、動きベクトルｍ_ｘ＿１からｍ_ｘ＿ｎは、上記の式（５）において示されるように、パラメータα、β、γ、及びωを含む。代替的に、撮像デバイス１５０４がＴＴＥプローブ３１０と同様のＴＴＥプローブであるとき、動きベクトルｍ_ｘ＿１からｍ_ｘ＿ｎは、上記の式（６）において示されるように、パラメータν_ｘｔ、ν_ｙｔ、ν_ｚｔ、ω_ｘｔ、ω_ｙｔ、及びω_ｚｔを含む。いくつかの他の場合には、動きベクトルのセットは、ボリュメトリック画像内で撮像平面を変化させるパラメータを含む。

[00108] ステップ１５１４において、予測ＣＮＮ１４２ａは、画像Ｕ_ｔと、動きベクトルＭのセットとを受信する。予測ＣＮＮ１４２ａは、目標撮像ビューＵ_{ｔａｒｇｅｔ}に到達する可能性の最も高い動きベクトルｍ_ｘ＿ｋをセットＭから選択又は推測する。図１５は、予測ＣＮＮ１４２ａが１つの動きベクトルｍ_ｘ＿ｋを選択することを示しているが、いくつかの実施形態において、予測ＣＮＮ１４２ａは、目標撮像ビューＵ_{ｔａｒｇｅｔ}に到達する可能性の最も高い動きベクトルの組み合わせ（例えば、｛ｍ_ｘ＿ｋ１，ｍ_ｘ＿ｋ２，ｍ_ｘ＿ｋ３｝）をセットＭから選択してよい。

[00109] ステップ１５１６において、ロボット式システム１５０２（例えば、ロボット式システム１２０、３２０、又は５２０）は、決定された動きベクトルｍ_ｘ＿ｋを受信する。ロボット式システム１５０２は、動きベクトルｍ_ｘ＿ｋに基づいて、撮像デバイス１５０４を再配置する。ロボット式システム１５０２は、撮像デバイス１５０４の配置を制御するために、比例－積分－微分（ＰＩＤ）制御法則などの制御法則を適用する。例えば、ロボット式システム１５０２は、動きベクトルｍ_ｘ＿ｋに基づいて、撮像デバイス１５０４を次の位置ｑ_ｔ＋１に再配置する。ステップ１５１８において、撮像デバイス１５０４は、撮像デバイス１５０４が位置ｑ_ｔ＋１にあるときに、患者の解剖学的構造の次の画像Ｕ_ｔ＋１を撮影する。

[00110] ステップ１５２０において、目標ＣＮＮ１４２ｃは画像Ｕ_ｔ＋１を受信する。目標ＣＮＮ１４２ｃは画像Ｕ_ｔ＋１に適用される。ステップ１５２２において、目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１において目標画像ビューＵ_{ｔａｒｇｅｔ}を検知したか否かが判定される。目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１において目標画像ビューを検知することに失敗したとき、ステップ１５１０から１５２２が繰り返される。

[00111] 目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１において目標画像ビューＵ_{ｔａｒｇｅｔ}を検知したとき、手法１５００はステップ１５２４に進む。ステップ１５２４において、動きパラメータのうちの１つ又は複数を小量だけ修正することによって動きベクトルｍ_ｘ＿ｋが修正され、ｍ_ｘ＿ｋ’として示される修正済み動きベクトルを生む。手法１５００は、動きベクトルｍ_ｘ＿ｋ’のためにステップ１５１６及び１５１８を繰り返す。例えば、ロボット式システム１５０２は、動きベクトルｍ_ｘ＿ｋ’に基づいて撮像デバイス１５０４を位置ｑ_ｔ＋ｎに再配置し、撮像デバイス１５０４は、撮像デバイス１５０４が位置ｑ_ｔ＋ｎにあるときに患者の解剖学的構造の画像Ｕ_ｔ＋ｎを撮影する。

[00112] ステップ１５２６において、微調整ＣＮＮ１４２ｂは、画像Ｕ_ｔ＋１及びＵ_ｔ＋１’について対ごとの比較を実施し、より高い画像品質を有する画像を選択する。いくつかの実施形態において、１５２４及び１５２６の改善ステップが繰り返される。例えば、複数の修正済み動きベクトルが生成され、最も高い品質を有する画像に導く動きベクトルを選択するために微調整ＣＮＮ１４２ｂが適用される。

[00113] 図１６は、本開示の態様による、撮像コンポーネントを所望の場所に対して整列させるガイダンスを提供するための手法１６００を示す概略図である。手法１６００は、システム１００又は３００によって実施される。手法１６００は、手法１５００におけるものと実質的に同様の機構を用いる。例えば、手法１６００は、臨床環境において、臨床処置（例えば、ＬＡＡＣ処置）の前に、患者の解剖学的構造（例えば、患者１０２の心臓）の画像を取得するために使用される。臨床医は、目標画像ビューＵ_{ｔａｒｇｅｔ}（例えば、目標画像ビュー８１０）を選択する。臨床医は、撮像デバイス１６０４（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０若しくは１５０４）を患者の関心対象解剖学的構造の近傍の位置ｑ_ｔに配置する。手法１６００は、手法１５００において説明されたように、予測ＣＮＮ１４２ａ、微調整ＣＮＮ１４２ｂ、及び／又は目標ＣＮＮ１４２ｃを適用する。しかしながら、手法１６００は、ロボット式システム１２０を使用して撮像デバイス１６０４を自動的に整列させる代わりに、手動整列のための命令を臨床医に提供する。

[00114] ステップ１６１０において、撮像デバイス１６０４によって、患者の解剖学的構造を表す画像Ｕ_ｔが取得される。ステップ１６１２において、動きベクトルＭのセットが、例えば、処理コンポーネント１３６によって、臨床医によって任意的に選ばれた動きの一定の範囲内で生成される。動きベクトルＭのセットは、上記の式（７）において示されたように表される。

[00115] ステップ１６１４において、予測ＣＮＮ１４２ａは、画像Ｕ_ｔと、動きベクトルＭのセットとを受信する。予測ＣＮＮ１４２ａは、目標撮像ビューＵ_{ｔａｒｇｅｔ}に到達する可能性の最も高い動きベクトルｍ_ｘ＿ｋをセットＭから選択又は推測する。

[00116] ステップ１６１６において、ディスプレイ１６０２（例えば、ディスプレイ１３４）は、決定された動きベクトルｍ_ｘ＿ｋを受信し、撮像デバイス１６０４を操縦するように臨床医に命令する命令を表示する。本明細書において以下により詳細に説明されるように、命令は、（例えば、ＵＩ１４４における）撮像デバイス１６０４の運動又は制御のグラフィカル表現のフォーマットであってよい。

[00117] ステップ１６１８において、臨床医は、ディスプレイ１６０２に表示された命令に基づいて、撮像デバイス１６０４を次の位置ｑ_ｔ＋１に再配置する。

[00118] ステップ１６２０において、撮像デバイス１６０４は、撮像デバイス１６０４が位置ｑ_ｔ＋１にあるときに、患者の解剖学的構造の次の画像Ｕ_ｔ＋１を撮影する。

[00119] ステップ１６２２において、目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１に適用される。

[00120] ステップ１６２４において、目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１において目標画像ビューＵ_{ｔａｒｇｅｔ}を検知したか否かが判定される。目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１において目標画像ビューを検知することに失敗したとき、ステップ１６１０から１６２４が繰り返される。

[00121] 目標ＣＮＮ１４２ｃが画像Ｕ_ｔ＋１において目標画像ビューＵ_{ｔａｒｇｅｔ}を検知したとき、手法１６００はステップ１６２６に進む。ステップ１６２６において、臨床医は、最適な目標ビューを取得するために撮像デバイス１６０４の位置を改善する。

[00122] 図１７Ａ～図１７Ｃは、最適な目標ビューを取得するために撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、撮像デバイス５７０、１５０４、及び１６０４）を所望の場所に対して整列させるように臨床医をガイドするための様々な表示ビューを示す。図１７Ａは、本開示の態様による、撮像コンポーネント整列ガイダンス表示ビュー１７１０を示す概略図である。ビュー１７１０は、システム２００若しくは３００におけるディスプレイ１３４又は手法１６００におけるディスプレイ１６０２上での表示ビューに対応する。図１７Ｂは、本開示の態様による、撮像コンポーネント整列ガイダンス表示ビュー１７２０を示す概略図である。図１７Ｃは、本開示の態様による、撮像コンポーネント整列ガイダンス表示ビュー１７３０を示す概略図である。図１７Ａ～図１７Ｃは、ＵＩ１４４がＴＥＥプローブ１１０を操作するための運動のビューを表示することを示しているが、代替的に、ＵＩ１４４は、ＴＴＥプローブ（例えば、ＴＴＥプローブ３１０）又は異なる撮像モダリティの別の撮像デバイスを操作するための運動のビューを表示するように構成されてよい。

[00123] ビュー１７１０において、ＵＩ１４４は、ＴＥＥプローブ１１０のハンドル１１６の前方ビューのグラフィカル表現、及びＴＥＥプローブを所望の場所に方向付け又は整列させるために必要とされる運動を表示する。ビュー１７２０において、ＵＩ１４４は、ハンドル１１６の側方ビューのグラフィカル表現、及びＴＥＥプローブを所望の場所に方向付け又は整列させるために必要とされる運動を表示する。ビュー１７３０において、ＵＩ１４４は、ハンドル１１６の後方ビューのグラフィカル表現、及びＴＥＥプローブを所望の場所に方向付け又は整列させるために必要とされる運動を表示する。ＵＩ１４４は、ユーザが異なるビュー１７１０、１７２０、１７３０の間で選択することを可能とする選択オプション１７１２を提供する。

[00124] ＵＩ１４４は、ＴＥＥプローブ１１０を、例えば、図２Ｄに図示されるように患者の心臓に対して左－右平面に沿って屈曲させるためにノブ１１７のダイアルを回す方向を（矢印１７１４によって示されるように）示し得る。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータβに基づいて必要とされる運動の量も示し得る。

[00125] ＵＩ１４４は、ＴＥＥプローブ１１０を、図２Ｃに図示されるように患者の心臓に対して前－後に沿って屈曲させるためにノブ１１８のダイアルを回す方向を（矢印１７１６によって示されるように）示し得る。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータαに基づいて必要とされる運動の量も示し得る。

[00126] ＵＩ１４４は更に、ＴＥＥプローブ１１０を、例えば、図２Ａに図示されるようにＴＥＥプローブ１１０の長手軸２０２に対して回転させる方向を（矢印１７１８によって示されるように）示し得る。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータγに基づいて必要とされる運動の量も示し得る。

[00127] ＵＩ１４４は更に、例えば、図２Ｂに図示されるようにＴＥＥプローブ１１０の撮像平面の回転を可能とする、又はこれを禁じるスイッチ１１９のための制御器（例えば、赤ボタン１７０２又は緑ボタン１７０４）を示し得る。例えば、スイッチ１１９が回転可能となるように設定されると、撮像平面は軸の周りで、一定の速度で０度から１８０度掃引され、この回転の軸は設定可能である。いくつかの実施形態において、ＵＩ１４４は、式（５）において示された対応する動きベクトルのパラメータωに基づいて必要とされる運動の量も示し得る。

[00128] 図１８は、本開示の態様による、ＣＮＮを訓練するための撮像データセットを取得する方法１８００のフロー図である。方法１８００のステップは、システム１００及び３００によって実行され得る。方法１８００は、図４、図５、図１２、図１５、及び図１６に関してそれぞれ説明された手法４００、５００、１２００、１５００、及び１６００におけるものと同様の機構を用いる。示されるように、方法１８００はいくつもの列挙されたステップを有するが、方法１８００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。

[00129] ステップ１８１０において、方法１８００は、撮像コンポーネントが第１の撮像位置に配置されているときに、撮像コンポーネント又は撮像デバイスから、例えば、通信インタフェース１３８と同様の通信デバイスを介して、第１の画像を受信するステップを有する。撮像デバイスは、超音波トランスデューサ又は超音波トランスデューサアレイを含み得る。撮像デバイスは、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０、１５０４、１６０４に対応する。第１の画像及び第１の撮像位置は、手法５００において説明されたＵ_ｔ及びｑ_ｔにそれぞれ対応する。場合によっては、第１の撮像位置は、ボリュメトリック超音波画像内の特定の撮像平面に対応する。

[00130] ステップ１８２０において、方法１８００は、撮像コンポーネントを第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信するステップを有する。動き制御設定及び第２の撮像位置は、手法５００において説明されたｍ_ｔ及びｑ_ｔ＋１にそれぞれ対応する。場合によっては、第１の撮像位置は、ボリュメトリック超音波画像内の特定の撮像平面に対応する。

[00131] ステップ１８３０において、方法１８００は、第１の画像、動き制御設定、及び臨床特性（例えば、ＬＡＡ８１２）を含む目標ビュー（例えば、目標画像ビュー８１０）に対する第２の撮像位置と第１の画像との間の関係性を表すスコア（例えば、上述のｌ_ｔに対応する）を関連付けることによってデータベース（例えば、データベース１４０）を生成するステップを有する。

[00132] 実施形態において、動き制御設定は、撮像コンポーネントを第２の撮像位置へと移動させるための１つ又は複数のパラメータを含む。例えば、撮像コンポーネントがＴＥＥプローブ１１０であるとき、動き制御設定は、式（５）において示されるように、パラメータα、β、γ、及びωを含む。代替的に、撮像コンポーネントがＴＴＥプローブ３１０であるとき、動き制御設定は、上記の式（６）において示されるように、パラメータν_ｘｔ、ν_ｙｔ、ν_ｚｔ、ω_ｘｔ、ω_ｙｔ、及びω_ｚｔを含む。方法１８００は、１つ又は複数のパラメータを決定するステップを有し得る。

[00133] 実施形態において、方法１８００は、撮像コンポーネントが第２の撮像位置に配置されているときに、撮像コンポーネントから、対象者の身体を表す第２の画像（例えば、上述のＵ_ｔ＋１に対応する）を受信するステップと；第２の画像と目標画像ビューとの比較に基づいてスコアを決定するステップとを有し得る。例えば、第２の画像が目標画像ビューに合致するとき、スコアは値として１を有する。これとは逆に、第２の画像が目標画像ビューに合致しないとき、スコアは値として０を有する。第２の画像は、手法５００において説明されたＵ_ｔ＋１に対応する。

[00134] 実施形態において、方法１８００は、第２の撮像位置と目標画像ビューに対応する対象者の身体の画像を取得するための撮像コンポーネントの目標撮像位置との比較に基づいてスコアを決定するステップを有し得る。例えば、対象者の身体が模型であるとき、特定の臨床特性又はビューを取得するための目標撮像位置は登録されており、故に、スコアは、登録されている目標撮像位置と第２の撮像位置との比較に基づく。

[00135] 実施形態において、方法１８００は、撮像コンポーネントを制御するロボット式システム（例えば、ロボット式システム１２０、３２０、５２０、及び１５０２）に動き制御設定を送信するステップを有し得る。

[00136] 図１９は、本開示の態様による、ＣＮＮを訓練する方法１９００のフロー図である。方法１９００のステップは、システム１００及び３００によって実行され得る。方法１９００は、図９、図１０、図１１、図１２、図１３、及び図１４に関してそれぞれ説明された構成９００、１０００、及び１１００並びに手法１２００、１３００、及び１４００におけるものと同様の機構を用いる。示されるように、方法１９００はいくつもの列挙されたステップを有するが、方法１９００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。

[00137] ステップ１９１０において、方法１９００は、画像を動き制御設定及びスコアと関連付けるデータセットを取得するステップを有する。画像は、対象者の身体（例えば、患者１０２）を表す。画像は、撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０、１５０４、及び１６０４）によって撮影される。動き制御設定は、撮像コンポーネントを再配置するために使用される。スコアは、臨床特性（例えば、ＬＡＡ８１２）を含む目標画像ビュー（例えば、目標画像ビュー８１０）に対する複数の動き制御設定と複数の画像との間の関係性を表す。実施形態において、データセットは、上記の式（４）におけるＤに対応する。画像、動き制御設定、及びスコアは、上記の式（２）におけるＵ_ｔ、ｍ_ｔ、及びｌ_ｔにそれぞれ対応する。

[00138] ステップ１９２０において、方法１９００は、データセットに基づいて第１のＣＮＮ（例えば、予測ＣＮＮ１４２ａ）を訓練するステップを有する。

[00139] ステップ１９３０において、方法１９００は、データセット又は臨床データに基づいて第２のＣＮＮ（例えば、微調整ＣＮＮ１４２ｂ）を訓練するステップを有する。

[00140] ステップ１９４０において、方法１９００は、データセット又は臨床データに基づいて第３のＣＮＮ（例えば、目標ＣＮＮ１４２ｃ）を訓練するステップを有する。

[00141] 実施形態において、第１のＣＮＮは、構成９００と同様の構成を有する。例えば、方法１９００は、少なくとも第１の畳み込みレイヤ（例えば、畳み込みレイヤ９１０）及び第１のプーリングレイヤ（例えば、プーリングレイヤ９１２）を複数の画像のうちの第１の画像（例えば、画像９０２）に適用することによって第１のＣＮＮを訓練し得る。方法１９００は、第１のプーリングレイヤの出力及び第１の画像に関連付けられた複数の動き制御設定のうちの第１の動き制御設定に基づいて和を求めるステップを有し得る。方法１９００は、少なくとも第２の畳み込みレイヤ（例えば、畳み込みレイヤ９４０）及び第２のプーリングレイヤ（例えば、プーリングレイヤ９４２）を和に適用するステップを有し得る。方法１９００は、第２のプーリングレイヤの出力（例えば、出力９０８）及び第１の画像に関連付けられた複数のスコアのうちの第１のスコアに基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数（例えば、フィルタ９１４、９１６、９２２、９４４、９４６の係数）を調節するステップを有し得る。訓練済みの第１のＣＮＮは、入力画像に基づいて、臨床特性を含む画像を取得するための動き制御設定を予測し得る。

[00142] 実施形態において、第２のＣＮＮは、構成１０００と同様の構成を有する。方法１９００は、目標画像ビューに対して、複数の画像のうちの第１の画像（例えば、画像１００２）が複数の画像のうちの第２の画像（例えば、画像１００４）よりも高い品質を有することを示す指標を取得するステップを有し得る。方法１９００は、少なくとも第１の畳み込みレイヤ（例えば、畳み込みレイヤ１０１０）及び第１のプーリングレイヤ（例えば、プーリングレイヤ１０１２）を第１の画像に適用することによって第２のＣＮＮを訓練し得る。方法１９００は、少なくとも第２の畳み込みレイヤ（例えば、畳み込みレイヤ１０２０）及び第２のプーリングレイヤ（例えば、プーリングレイヤ１０２２）を第２の画像に適用するステップを有し得る。方法１９００は、第１のプーリングレイヤの出力、第２のプーリングレイヤの出力、及び指標（例えば、画像１０３２）に基づいて、第１の畳み込みレイヤ、第１のプーリングレイヤ、第２の畳み込みレイヤ、又は第２のプーリングレイヤのうちの少なくとも１つにおける係数（例えば、フィルタ１０１４、１０１６、１０２４、及び１０２６の係数）を調節するステップを有し得る。訓練済みの第２のＣＮＮは、目標画像ビューに対して、一対の入力画像からより高品質の画像を選択し得る。

[00143] 実施形態において、第３のＣＮＮは、構成１１００と同様の構成を有する。方法１９００は、候補画像及び候補画像を解剖学的部分の複数のカテゴリのうちの第１のカテゴリに分類する分類区分を取得するステップを有し得る。方法１９００は、候補画像及び第１のカテゴリの分類区分に基づいて、第３のＣＮＮを訓練し得る。訓練済みの第３のＣＮＮは、入力画像を複数のカテゴリのうちの１つに分類し得る。

[00144] 図２０は、本開示の態様による、ＣＮＮを適用する方法２０００のフロー図である。方法２０００のステップは、システム１００及び３００によって実行され得る。方法２０００は、図４、図１５、及び図１６に関してそれぞれ説明された手法４００、１５００、及び１６００におけるものと同様の機構を用いる。示されるように、方法２０００はいくつもの列挙されたステップを有するが、方法２０００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。

[00145] ステップ２０１０において、方法２０００は、撮像コンポーネントから、第１の画像（例えば、画像９０２）を受信するステップを有する。画像は、対象者の身体（例えば、患者１０２）を表す。画像は、撮像コンポーネント（例えば、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、及び撮像デバイス５７０、１５０４、及び１６０４）が第１の撮像位置に配置されているときに、撮像コンポーネントによって撮影される。第１の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑ_ｔ）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。

[00146] ステップ２０２０において、方法２０００は、撮像コンポーネントを再配置するための複数の動き制御設定候補（例えば、動き制御設定候補９０４）を取得するステップを有する。

[00147] 実施形態において、複数の動き制御設定候補は、撮像コンポーネントを再配置するための運動パラメータのセットを無作為にサンプリングすることによって取得され得る。例えば、撮像コンポーネントがＴＥＥプローブ１１０であるとき、動き制御設定は、式（５）において示されるように、パラメータα、β、γ、及びωを含み得る。代替的に、撮像コンポーネントがＴＴＥプローブ３１０であるとき、動き制御設定は、上記の式（６）において示されるように、パラメータν_ｘｔ、ν_ｙｔ、ν_ｚｔ、ω_ｘｔ、ω_ｙｔ、及びω_ｚｔを含み得る。

[00148] ステップ２０３０において、方法２０００は、第１の動き制御設定（例えば、設定９０４）を生むために、第１のＣＮＮ（例えば、予測ＣＮＮ１４２ａ）を第１の画像及び動き制御設定候補に適用するステップを有する。第１のＣＮＮは、臨床特性（例えば、ＬＡＡ８１２）を含む目標画像ビュー（例えば、目標画像ビュー８１０）に基づいて訓練される。

[00149] ステップ２０４０において、方法２０００は、第１の動き制御設定に基づいて、撮像コンポーネントを再配置するステップを有する。例えば、撮像コンポーネントは、第１の撮像位置から第２の撮像位置に再配置される。第２の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑ_ｔ＋１）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。

[00150] 実施形態において、第１のＣＮＮを適用するステップは、少なくとも第１の畳み込みレイヤ（例えば、畳み込みレイヤ９１０）及び第１のプーリングレイヤ（例えば、プーリングレイヤ９１２）を第１の画像に適用するステップを有する。第１のＣＮＮを適用するステップは、第１のプーリングレイヤの出力及び複数の動き制御設定候補のうちの第１の動き制御設定候補に基づいて和を求めるステップを更に有し得る。第１のＣＮＮを適用するステップは、少なくとも第２の畳み込みレイヤ（例えば、畳み込みレイヤ９４０）及び第２のプーリングレイヤ（例えば、プーリングレイヤ９４２）を和に適用するステップを更に有し得る。第１のＣＮＮを適用するステップは、最後の予測レイヤの出力に基づいて第１の動き制御設定を決定するステップを更に有し得る。

[00151] 実施形態において、方法２０００は、目標画像ビューに対する第２の画像の適格性確認を行うために、第２のＣＮＮ（例えば、目標ＣＮＮ１４２ｃ）を第２の画像に適用するステップを更に有する。第２のＣＮＮが第２の画像の適格性が確認されなかったことを示すとき、方法２０００は、撮像コンポーネントを第２の撮像位置から第３の撮像位置に再配置するための第２の動き制御設定を生むために、第１のＣＮＮを第２の画像に再適用し得、目標画像ビューに対する第３の画像の適格性確認を行うために、第２のＣＮＮを再適用し得る。方法２０００は、撮像コンポーネントが目標画像ビューを撮影し得るようになるまで、第１のＣＮＮ及び第２のＣＮＮの再適用のステップを繰り返し得る。

[00152] 一方で、第２のＣＮＮが第２の画像の適格性が確認されたことを示すとき、方法２０００は、第３のＣＮＮ（例えば、微調整ＣＮＮ１４２ｂ）に基づいて第２の撮像位置を調節し得る。例えば、方法２０００は、撮像コンポーネントを第３の撮像位置に再配置し得、撮像コンポーネントが第３の撮像位置にあるときに、対象者の身体の第３の画像を撮影し得る。方法２０００は、第３のＣＮＮを第２の画像及び第３の画像に適用し得る。方法２０００は、第３のＣＮＮの出力に基づいて第２の画像又は第３の画像を選択し得る。

[00153] 実施形態において、方法２０００は、ロボット式システム（例えば、ロボット式システム１２０、３２０、又は１５０２）に命令を送って、第１の動き制御設定に基づいて、撮像コンポーネントを第２の撮像位置に再配置するようにロボット式システムに命令し得る。

[00154] 図２１は、本開示の態様による、ＣＮＮに基づく撮像コンポーネント整列ガイダンスを提供する方法２１００のフロー図である。方法２１００のステップは、システム１００及び３００によって実行され得る。方法２１００は、図４、図１６、図１７Ａ、図１７Ｂ、及び図１７Ｃに関してそれぞれ説明された手法４００及び１６００並びにビュー１７１０、１７２０、及び１７３０におけるものと同様の機構を用いる。示されるように、方法２１００はいくつもの列挙されたステップを有するが、方法２１００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。

[00155] ステップ２１１０において、方法２１００は、撮像コンポーネント又は撮像デバイスを対象者の身体（例えば、患者１０２）に対する第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を取得するステップを有する。撮像デバイスは、超音波トランスデューサ又は超音波トランスデューサアレイを含み得る。撮像デバイスは、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０、１５０４、１６０４に対応する。動き制御設定は予測ネットワーク（例えば、ＣＮＮ１４２）に基づいて取得され得、対象者の身体の画像は撮像コンポーネントが第１の撮像位置に配置されているときに撮影され、目標画像ビュー（例えば、目標画像ビュー８１０）は臨床特性（例えば、ＬＡＡ８１２）を含む。画像は、手法１６００における画像Ｕ_ｔに対応する。動き制御設定は、手法１６００における動きベクトルｍ_ｘ＿ｋに対応する。第１及び第２の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑ_ｔ及びｑ_ｔ＋１）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。

[00156] ステップ２１２０において、方法２１００は、動き制御設定に基づいて、撮像コンポーネントと通信する制御コンポーネント（例えば、ハンドル１１６）を、撮像コンポーネントが第２の撮像位置に再配置されるように動作させるために、命令を表示するステップを有する。

[00157] 方法２１００は、ビュー１７１０、１７２０、及び１７３０において示されたものと同様のディスプレイを使用して命令を表示し得る。例えば、方法２１００は、制御コンポーネントのグラフィカルビューと、制御コンポーネントを動作させるための運動の方向又はこの運動の量のうちの少なくとも１つを示す視覚的インジケータとを表示し得る。グラフィカルビューは、制御コンポーネントの斜視図を含み得る。

[00158] 実施形態において、方法２１００は、制御コンポーネントの複数のビューのうちの第１のビューのリクエストを受信し得、リクエストに応答して、グラフィカルビューを複数のビューのうちの現在のビューから第１のビューへと切り替え得る。複数のビューは、制御コンポーネントの前方ビュー、制御コンポーネントの側方ビュー、又は制御コンポーネントの後方ビューのうちの少なくとも１つを含み得る。制御コンポーネントは、対象者の身体の左－右平面に沿った撮像コンポーネントの運動を制御する第１のサブコンポーネント（例えば、ノブ１１７）、対象者の身体の前－後平面に沿った撮像コンポーネントの運動を制御する第２のサブコンポーネント（例えば、ノブ１１８）、又は撮像コンポーネントの撮像平面の向きを制御する第３のサブコンポーネント（例えば、スイッチ１１９）のうちの少なくとも１つを含み得る。動き制御設定は、第１のサブコンポーネントを動作させるための第１のパラメータ、第２のサブコンポーネントを動作させるための第２のパラメータ、第３のサブコンポーネントを動作させるための第３のパラメータ、又は撮像コンポーネントを撮像コンポーネントの軸に対して回転させるための第４のパラメータのうちの少なくとも１つを含み得る。第１のパラメータ、第２のパラメータ、第３のパラメータ、及び第４のパラメータは、上に示された式（５）のα、β、ω、及びγに対応する。表示するステップは、矢印（例えば、矢印１７１４、１７１６、及び１７１８）又はオン／オフインジケータ（例えば、ボタン１７０２及び１７０４）のうちの少なくとも１つを含む視覚的インジケータを表示するステップを有し得る。方法２１００は、ＴＥＥプローブの文脈で説明されているが、ＴＴＥプローブ又は別の撮像モダリティの撮像デバイスのための整列ガイダンスを提供するために同様の機構が適用され得る。

[00159] 図２２は、本開示の態様による、医療検査を自動化する方法２２００のフロー図である。方法２２００のステップは、システム１００及び３００によって実行され得る。方法２２００は、図４、図１５、及び図２０に関してそれぞれ説明された手法４００、１５００、及び２０００におけるものと同様の機構を用いる。示されるように、方法２２００はいくつもの列挙されたステップを有するが、方法２２００の実施形態は、列挙されたステップの前、後、及びその間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップうちの１つ又は複数が省略され、又は異なる順序で実施されてよい。

[00160] ステップ２２１０において、方法２２００は、撮像デバイスが対象者の身体（例えば、患者１０２）に対して第１の撮像位置に配置されているときに、撮像デバイスから第１の画像を受信するステップを有する。第１の画像は、通信インタフェース１３８と同様の通信デバイスを介して受信される。画像は、対象者の身体を表す。撮像デバイスは、超音波トランスデューサ又は超音波トランスデューサアレイを含み得る。撮像デバイスは、ＴＥＥプローブ１１０、ＴＴＥプローブ３１０、又は撮像デバイス５７０、１５０４、１６０４に対応する。

[00161] ステップ２２２０において、方法２２００は、第１の予測ネットワーク（例えば、ＣＮＮ１４２ａ）、第１の画像、及び臨床特性（例えば、ＬＡＡ８１２）を含む目標画像ビュー（例えば、目標画像ビュー８１０）に基づいて、撮像デバイスを第１の撮像位置から第２の撮像位置に再配置するための第１の動き制御設定を決定するステップを有する。第１及び第２の撮像位置は、超音波撮像コンポーネントの特定の物理的な場所（例えば、手法５００において説明されたｑ_ｔ及びｑ_ｔ＋１）及び／又はボリュメトリック超音波画像内の特定の撮像平面を指す。

[00162] ステップ２２３０において、方法２２００は、撮像デバイスに結合されたロボット式システムによって、第１の動き制御設定に基づいて、撮像デバイスを第２の撮像位置に再配置するステップを有する。ロボット式システムは、ロボット式システム１２０及び３２０と同様のものである。

[00163] 実施形態において、方法２２００は、撮像デバイスが対象者の身体に対して第２の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第２の画像を受信するステップと、第２の予測ネットワーク（例えば、ＣＮＮ１４２ｂ）に基づいて、第２の画像が目標画像ビューの臨床特性を含むか否かを判定するステップとを更に有する。

[00164] 方法２２００は、第２の画像が目標画像ビューの臨床特性を含まないと判定されたとき、第２の動き制御設定を決定するステップと、第２の動き制御設定に基づいて、撮像デバイスを第３の撮像位置に再配置するステップと、撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、対象者の身体を表す第３の画像を受信するステップとを更に有する。方法２２００は、動き制御設定（例えば、第２、第３、第４、第５、第ｎ番目の動き制御設定）を決定するステップと、撮像デバイスを撮像位置（例えば、第３、第４、第５、第ｎ番目の撮像位置）に再配置するステップと、目標画像ビューの臨床特性を含む画像が撮像デバイスから受信されるまで、画像（例えば、第３、第４、第５、第ｎ番目の画像）を受信するステップとを繰り返すステップを更に有し得る。

[00165] 方法２２００は、第２の画像が目標画像ビューの臨床特性を含むと判定されたとき、第２の撮像位置のための調節を決定するステップを更に有し得る。方法２２００は、ロボット式システムによって、調節に基づいて撮像デバイスを第３の撮像位置に再配置するステップと、撮像デバイスが対象者の身体に対して第３の撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第３の画像を受信するステップと、第３の予測ネットワークに基づいて、第２の撮像位置及び第３の撮像位置から目標撮像位置を選択するステップとを更に有し得る。方法２２００は、撮像デバイスが選択された目標撮像位置に配置されているときに、撮像デバイスから、対象者の身体を表す第４の画像を受信するステップと、第４の画像に基づいて、臨床特性に関連付けられた医療検査結果を決定するステップとを更に有し得る。

[00166] 実施形態において、方法２２００は、撮像デバイスを再配置するための運動のセットをサンプリングすることによって、複数の動き制御設定候補を決定するステップを更に有し得る。第１の動き制御設定を決定するステップは、第１の予測ネットワーク、第１の画像、及び目標画像ビューに基づいて、複数の動き制御設定候補から第１の動き制御設定を選択するステップを更に有し得る。

[00167] 実施形態において、例えば、方法１９００において説明されているように、第１の予測ネットワークは、目標画像ビューを取得するために、少なくとも２つの撮像位置から撮像デバイスによって取得された複数の画像を提供することと、少なくとも２つの撮像位置に関連付けられた撮像デバイスの向き又は運動に基づいて複数の動き制御設定を取得することと、目標画像ビューに対する複数の動き制御設定と複数の画像との間の関係性にスコアを割り当てることとによって訓練される。

[00168] 本出願の態様はいくつかの利益を提供し得る。例えば、撮像データセットを取得するためのロボット式システムの使用は、撮像コンポーネントを再配置するための首尾一貫した運動及び／又は制御を生成及び提供し得る。自動的な注釈の使用（例えば、目標ＣＮＮを適用することによる）は、注釈のための専門の放射線科医の必要をなくし、注釈におけるユーザによるばらつきを除去し得る。自動的な注釈と連携したロボット式システムの使用は、首尾一貫した大規模な画像データセットの取得を可能とし、故に、予測ネットワークの正確性、及び撮像コンポーネントを再配置するための最適な運動及び／又は制御の予測に際しての予測ネットワークの後の使用の正確性を向上させる。加えて、自動的な注釈と連携したロボット式システムの使用は、複数の異なる解剖学的模型（例えば、複数の心臓模型）及び／又は複数の異なる撮像コンポーネント（例えば、複数のＴＥＥプローブ）若しくは医療用撮像システムを使用した取得を可能とし得、故に、データセットの多様性を増す。制御された環境と臨床環境との組み合わせの下での画像データセット取得の使用は、取得におけるデータの多様性を可能とし得る。開示される実施形態は、深層学習予測ネットワークを訓練するために適した注釈を有する大規模な撮像データセットを、自動的に、首尾一貫して、体系的に収集し得る。開示される実施形態は、ＴＥＥプローブ又はＴＴＥプローブを使用した大規模な画像データセットの取得の文脈で説明されているが、開示される実施形態は、任意の撮像モダリティの任意の撮像コンポーネントによる大規模な画像データセットを取得するために適用され得る。

[00169] 本開示の更なる実施形態は、医療用超音波画像システムを含む。システムは、超音波撮像コンポーネントと通信するインタフェースであって、超音波撮像コンポーネントが対象者の身体に対して第１の撮像位置に配置されているときに、超音波撮像コンポーネントから、対象者の身体を表す第１の画像を受信することと、超音波撮像コンポーネントを第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信することとを行うように構成されたインタフェースと、インタフェースと通信し、第１の画像、動き制御設定、及び臨床特性を含む目標画像ビューに対する第２の撮像位置と第１の画像との間の関係性を表すスコアを関連付けることによってデータベースを生成するように構成された処理コンポーネントと、処理コンポーネントと通信し、超音波撮像コンポーネントの整列のための予測ネットワークの訓練を促進するためにデータベースを記憶するように構成されたメモリとを含む。

[00170] いくつかの実施形態において、動き制御設定は、超音波撮像コンポーネントを第２の撮像位置に再配置するための１つ又は複数のパラメータを含む。いくつかの実施形態において、処理コンポーネントは更に、１つ又は複数のパラメータを決定するように構成される。いくつかの実施形態において、処理コンポーネントは更に、確率関数に基づいて１つ又は複数のパラメータを決定するように構成される。いくつかの実施形態において、１つ又は複数のパラメータは、対象者の身体の左－右平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、対象者の身体の前－後平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、超音波撮像コンポーネントの撮像平面を方向付けるためのパラメータ、又は超音波撮像コンポーネントの軸に対して超音波撮像コンポーネントを回転させるためのパラメータのうちの少なくとも１つを含む。いくつかの実施形態において、超音波撮像コンポーネントは経食道的心エコー検査法（ＴＥＥ）プローブである。いくつかの実施形態において、１つ又は複数のパラメータは、超音波撮像コンポーネントを移動させるための線速度パラメータ又は角速度パラメータのうちの少なくとも１つを含む。いくつかの実施形態において、超音波撮像コンポーネントは経胸腔的心エコー検査法（ＴＴＥ）プローブである。いくつかの実施形態において、インタフェースは更に、超音波撮像コンポーネントが第２の撮像位置に配置されているときに対象者の身体を表す第２の画像を受信するように構成され、処理コンポーネントは更に、第２の画像と目標画像ビューとの比較に基づいてスコアを決定するように構成される。いくつかの実施形態において、処理コンポーネントは更に、第２の撮像位置と目標画像ビューに対応する対象者の身体の画像を取得するための超音波撮像コンポーネントの目標撮像位置との比較に基づいてスコアを決定するように構成される。いくつかの実施形態において、第２の撮像位置が目標画像ビューに対応する対象者の身体の画像を取得するための超音波撮像コンポーネントの目標撮像位置に対応するとき、スコアは成功を示す。いくつかの実施形態において、処理コンポーネントは更に、動き制御設定を決定するように構成され、インタフェースは更に、超音波撮像コンポーネントを制御するロボット式システムに動き制御設定を送信するように構成される。

[00171] 本開示の更なる実施形態は、医療用超音波画像データ取得の方法を含む。方法は、超音波撮像コンポーネントが対象者の身体に対して第１の撮像位置に配置されているときに、超音波撮像コンポーネントから、対象者の身体を表す第１の画像を受信するステップと、超音波撮像コンポーネントを第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信するステップと、第１の画像、動き制御設定、及び臨床特性を含む目標画像ビューに対する第２の撮像位置と第１の画像との間の関係性を表すスコアを関連付けることによってデータベースを生成するステップとを有する。

[00172] いくつかの実施形態において、動き制御設定は、超音波撮像コンポーネントを第２の撮像位置へと移動させるための１つ又は複数のパラメータを含む。いくつかの実施形態において、方法は、１つ又は複数のパラメータを決定するステップを更に有する。いくつかの実施形態において、超音波撮像コンポーネントは経食道的心エコー検査法（ＴＥＥ）プローブであり、１つ又は複数のパラメータは、対象者の身体の左－右平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、対象者の身体の前－後平面に沿って超音波撮像コンポーネントを移動させるためのパラメータ、超音波撮像コンポーネントの撮像平面を方向付けるためのパラメータ、又は超音波撮像コンポーネントの軸に対して超音波撮像コンポーネントを回転させるためのパラメータのうちの少なくとも１つを含む。いくつかの実施形態において、超音波撮像コンポーネントは経胸腔的心エコー検査法（ＴＴＥ）プローブであり、１つ又は複数のパラメータは、超音波撮像コンポーネントを第２の撮像位置に向かって移動させるための線速度パラメータ又は角速度パラメータのうちの少なくとも１つを含む。いくつかの実施形態において、方法は、超音波撮像コンポーネントが第２の撮像位置に配置されているときに、超音波撮像コンポーネントから、対象者の身体を表す第２の画像を受信するステップと、第２の画像と目標画像ビューとの比較に基づいてスコアを決定するステップとを更に有する。いくつかの実施形態において、方法は、第２の撮像位置と目標画像ビューに対応する対象者の身体の画像を取得するための超音波撮像コンポーネントの目標撮像位置との比較に基づいてスコアを決定するステップを更に有する。いくつかの実施形態において、動き制御設定を送信するステップは、超音波撮像コンポーネントを制御するロボット式システムに動き制御設定を送信するステップを有する。

[00173] 当業者は、上述の装置、システム、及び方法は、様々なやり方で修正され得ることを認識されよう。それ故、当業者は、本開示によって包含される実施形態は、上述の特定の例示的な実施形態に限定されるものではないことを理解されよう。これに関して、例示的な実施形態が図示及び説明されたが、前述の開示において広範な修正、変更、代替が想定される。このような変形は、本開示の範囲から逸脱することなく前述のものになされることが理解されるものである。それ故、添付の特許請求の範囲は、本開示と一貫するやり方で広範に解釈されることが適当である。

Claims (19)

1. 撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第１の画像を受信することと、前記撮像デバイスを前記第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信することとを行う通信インタフェースと、
   前記通信インタフェースと通信し、前記第１の画像、前記動き制御設定、及び目標画像ビューに対する前記第２の撮像位置と前記第１の画像との間の関係性を表すスコアを関連付けることによってデータベースを生成するプロセッサと、
   前記プロセッサと通信し、前記撮像デバイスを前記目標画像ビューに対して整列させるための予測ネットワークの訓練を促進するために前記データベースを記憶する記憶デバイスと
   を備える、撮像システム。
2. 前記動き制御設定は、前記撮像デバイスを前記第２の撮像位置に再配置するための１つ又は複数のパラメータを含む、請求項１に記載の撮像システム。
3. 前記プロセッサは更に、前記１つ又は複数のパラメータを決定する、請求項２に記載の撮像システム。
4. 前記プロセッサは更に、確率関数に基づいて前記１つ又は複数のパラメータを決定する、請求項３に記載の撮像システム。
5. 前記１つ又は複数のパラメータは、前記対象者の身体の左－右平面に沿った前記撮像デバイスの運動、前記対象者の身体の前－後平面に沿った前記撮像デバイスの運動、前記撮像デバイスの撮像平面の向き、又は前記撮像デバイスの軸に対する前記撮像デバイスの回転のうちの１つ又は複数に対応する、請求項２に記載の撮像システム。
6. 前記撮像デバイスは経食道的心エコー検査法プローブである、請求項５に記載の撮像システム。
7. 前記１つ又は複数のパラメータは、前記撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する、請求項２に記載の撮像システム。
8. 前記撮像デバイスは経胸腔的心エコー検査法プローブである、請求項７に記載の撮像システム。
9. 前記通信インタフェースは更に、前記撮像デバイスが前記第２の撮像位置に配置されているときに前記対象者の身体を表す第２の画像を受信し、前記プロセッサは更に、前記第２の画像と前記目標画像ビューとの比較に基づいて前記スコアを決定する、請求項１に記載の撮像システム。
10. 前記プロセッサは更に、前記第２の撮像位置と前記目標画像ビューに対応する前記対象者の身体の画像を取得するための前記撮像デバイスの目標撮像位置との比較に基づいて前記スコアを決定する、請求項１に記載の撮像システム。
11. 前記第２の撮像位置が前記目標画像ビューに対応する前記対象者の身体の画像を取得するための前記撮像デバイスの目標撮像位置に対応するとき、前記スコアは成功を示す、請求項１に記載の撮像システム。
12. 前記プロセッサは更に、前記動き制御設定を決定し、前記通信インタフェースは更に、前記撮像デバイスを制御するロボット式システムに前記動き制御設定を送信する、請求項１に記載の撮像システム。
13. 医療用超音波画像データを取得する撮像システムの作動方法であって、
    前記撮像システムの通信インタフェースが、経胸腔的心エコー検査法プローブである撮像デバイスが対象者の身体に対して第１の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第１の画像を受信するステップと、
    前記通信インタフェースが、前記撮像デバイスを前記第１の撮像位置から第２の撮像位置に再配置するための動き制御設定を送信するステップと、
    前記撮像システムのプロセッサが、前記第１の画像、前記動き制御設定、及び目標画像ビューに対する前記第２の撮像位置と前記第１の画像との間の関係性を表すスコアを関連付けることによってデータベースを生成するステップと
    を有する、撮像システムの作動方法。
14. 前記動き制御設定は、前記撮像デバイスを前記第２の撮像位置へと移動させるための１つ又は複数のパラメータを含む、請求項１３に記載の撮像システムの作動方法。
15. 前記プロセッサが、前記１つ又は複数のパラメータを決定するステップを更に有する、請求項１４に記載の撮像システムの作動方法。
16. 前記１つ又は複数のパラメータは、前記撮像デバイスを移動させるための線速度又は角速度のうちの少なくとも１つに対応する、請求項１４に記載の撮像システムの作動方法。
17. 前記通信インタフェースが、前記撮像デバイスが前記第２の撮像位置に配置されているときに、前記撮像デバイスから、前記対象者の身体を表す第２の画像を受信するステップと、
    前記プロセッサが、前記第２の画像と前記目標画像ビューとの比較に基づいて前記スコアを決定するステップと
    を更に有する、請求項１３に記載の撮像システムの作動方法。
18. 前記プロセッサが、前記第２の撮像位置と前記目標画像ビューに対応する前記対象者の身体の画像を取得するための前記撮像デバイスの目標撮像位置との比較に基づいて前記スコアを決定するステップを更に有する、請求項１３に記載の撮像システムの作動方法。
19. 前記動き制御設定を送信する前記ステップは、前記通信インタフェースが、前記撮像デバイスを制御するロボット式システムに前記動き制御設定を送信するステップを有する、請求項１３に記載の撮像システムの作動方法。

Images