JP2024513400A - 診断用途または介入用途のための電子医用画像を処理するシステムおよび方法 - Google Patents

Abstract

診断用途および／または介入用途のために超音波画像を処理して対象物を識別するためのシステムおよび方法が本明細書に開示される。例えば、解剖学的構造の超音波画像は、超音波イメージングシステムのコンピューティングデバイスから受信され得る。超音波画像は、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力され得る。複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含み得る。超音波画像内で識別された複数の対象物からの１つまたは複数の対象物の予測は、機械学習モデルの出力として受信され得る。超音波イメージングシステムのディスプレイ上に表示するために、予測の指示がコンピューティングデバイスに提供され得る。

Description

本明細書で提示される様々な技法は、概して、人工知能（ＡＩ）を使用して臨床診断、測定、および／または観察を提供するための電子医用画像の処理に関する。より具体的には、本開示の特定の技法は、機械学習モデルを訓練および使用して、診断または介入超音波画像から筋骨格系障害（ｍｕｓｃｕｌｏｓｋｅｌｅｔａｌ ｄｉｓｏｒｄｅｒｓ）に関連する臨床診断、測定、および／または観察を予測するためのシステムおよび方法に関する。

筋骨格系障害は、米国においても世界的においても生活の質に著しい影響を与える。筋骨格系障害の影響を受ける解剖学的構造のイメージングは、障害の臨床診断を円滑に進めるために、および／または障害を治療するための介入の一部として（例えば、案内するために）使用され得る。しかしながら、患者は、コンピュータ断層撮影法（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）および陽電子放出断層撮影法（ＰＥＴ）などの高価な高度医用イメージングの過度の使用および／または誤用により、患者がスケジューリング遅延、追加費用、および不要な放射線被曝にさらされることに関して患者は関心を持つようになりつつある。従って、筋骨格系障害に関連する診断イメージングおよび介入イメージングのために、超音波などの代替イメージング技法がますます使用され得る。

前述の一般的な説明および以下の詳細な説明は、例示的かつ説明的なものにすぎず、本開示を限定するものではない。本明細書で提供される背景技術の説明は、本開示の状況を一般的に提示することを目的とする。本明細書において別段の指示がない限り、この欄で説明される題材は、本出願の特許請求の範囲に対する先行技術ではなく、この欄に含めることによって、先行技術または先行技術の提案であると認められるものではない。

本開示の特定の態様によれば、超音波画像などの電子画像を処理して、診断用途および／または介入用途のために対象物（ｏｂｊｅｃｔｓ）を識別するためのシステムおよび方法が開示される。

例示的な一態様では、超音波画像を処理して対象物を識別するためのシステムが説明される。例示的なシステムは、プロセッサと、プロセッサに結合されたメモリとを含み得る。メモリは、プロセッサによる実行時に、システムに動作を実行させる命令を記憶し得る。動作は、超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、超音波画像を、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供することを含み得る。複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含み得る。動作は、超音波画像内で識別された複数の対象物からの１つまたは複数の対象物の予測を機械学習モデルの出力として受信すること、超音波イメージングシステムのディスプレイ上に表示するために予測の指示をコンピューティングデバイスに提供することをさらに含み得る。

別の例示的な態様では、超音波画像を処理して対象物を識別するための方法が記載される。例示的な方法は、超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、超音波画像を、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供することを含み得る。複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含み得る。本方法は、超音波画像内で識別された複数の対象物からの１つまたは複数の対象物の予測を機械学習モデルの出力として受信すること、超音波イメージングシステムのディスプレイ上に表示するために予測の指示をコンピューティングデバイスに提供することをさらに含み得る。

さらなる例示的な態様では、超音波画像を処理して対象物を識別するための非一時的なコンピュータ可読媒体が記載される。例示的な非一時的なコンピュータ可読媒体は、プロセッサによる実行時に、プロセッサに、超音波画像を処理して対象物を識別するための動作を実行させる命令を記憶し得る。動作は、超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、超音波画像を、解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供することを含み得る。複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含み得る。動作は、超音波画像内で識別された複数の対象物からの１つまたは複数の対象物の予測を機械学習モデルの出力として受信すること、超音波イメージングシステムのディスプレイ上に表示するために予測の指示をコンピューティングデバイスに提供することをさらに含み得る。

前述の概略的な説明および以下の詳細な説明は両方とも、例示的かつ説明的なものにすぎず、特許請求の範囲に記載されるような、開示された実施形態を限定するものではないことを理解されたい。

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、様々な例示的な実施形態を示し、説明と共に、開示される実施形態の原理を説明する役割を果たす。
本明細書で説明される技法による、電子医用画像を処理するためのネットワーク環境の例示的なブロック図である。 本明細書で説明する技法による、医用画像処理システムによって実行される例示的なプロセスのブロック図である。 本明細書に記載される技術による、筋骨格系障害の診断を予測するために機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書に記載される技術による、筋骨格系障害の診断を予測するための例示的な方法を示すフローチャートである。 本明細書に説明される技法による、肩の損傷の診断を予測するための機械学習モデルの訓練プロセスを描写する概念図である。 本明細書に説明される技法による、肩の損傷の予測された診断を表示する例示的なアプリケーションユーザインタフェースを示す図である。 本明細書で説明される技法による、解剖学的構造の医用画像内の対象物を識別するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、解剖学的構造の医用画像内の対象物を識別するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、解剖学的構造の医用画像内で識別された対象物の最適な画像を識別するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、医用画像がその中で識別された対象物の最適な画像であるかどうかを判定するための例示的な方法を示すフローチャートである。 本明細書に提示される技法に従って表示され得る、医用画像内で識別された対象物を表示する例示的なアプリケーションユーザインタフェースを示す図である。 本明細書で説明される技法による、器具の位置を予測するために機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、器具の位置を予測するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、器具の軌跡を予測するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、器具の軌跡を予測するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、予測された器具の位置および軌跡を表示する例示的なアプリケーションユーザインタフェースを示す図である。 本明細書に説明される技法による、解剖学的特徴を識別するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、医用画像において識別された解剖学的構造の解剖学的特徴を視覚化するための例示的な方法を示すフローチャートである。 本明細書に記載の技術による、解剖学的構造の医用画像内で識別された解剖学的構造の解剖学的特徴の視覚化情報を表示する例示的なアプリケーションユーザインタフェースを示す図である。 本明細書で説明される技法による、医用画像内で識別された解剖学的特徴とのプローブアライメントを検出するように機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書に記載の技法による、解剖学的構造の医用画像内で識別された解剖学的構造の１つまたは複数の解剖学的特徴とのプローブアライメントを検出するための例示的な方法を示すフローチャートである。 本明細書で説明する技法による、最適な画像フレームを識別するために機械学習モデルを訓練するための例示的な方法を示すフローチャートである。 本明細書で説明される技法による、最適な画像フレームをキャプチャするための例示的な方法を示すフローチャートである。 本明細書に提示される技法を実行し得る例示的なシステムを示す図である。

ここで、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、同一または同様の部分を指すために、図面全体を通して同一の参照番号が使用される。

本明細書に開示されるシステム、デバイス、および方法は、例として、かつ図面を参照して詳細に説明される。本明細書で説明される例は、例示的なものにすぎず、本明細書で説明される装置、デバイス、システム、および方法の説明を補助するために提供される。図面に示されるか、または以下で説明される特徴または構成要素のいずれも、必須であると具体的に指定されない限り、これらのデバイス、システム、または方法のいずれかの任意の特定の実施形態のために必須であると見なされるべきではない。

また、説明される任意の方法に関して、方法がフロー図と共に説明されるかどうかにかかわらず、文脈によって別段に指定または要求されない限り、方法の実行において行われるステップの明示的または暗示的な順序付けは、それらのステップが提示された順序で行われなければならないことを含意せず、代わりに、異なる順序でまたは並行して行われ得ることを理解されたい。

本明細書で使用される場合、「例示的」という用語は、「理想的」ではなく「例」という意味で使用される。さらに、本明細書における「１つの（ａ）」および「１つの（ａｎ）」という用語は、量の限定を示すのではなく、参照される項目のうちの１つまたは複数の存在を示す。

診断イメージングにおいて、医師は、患者のイメージング検査中に電子画像を評価して、障害、損傷、および／または状態の診断（それらの任意の分類（例えば、カテゴリ、ステージ、フェーズ、グレードなど）を含む）を円滑に進め得る。介入イメージングにおいて、医師は、処置中に電子画像を利用して、例えば、患者の体内に挿入された器具を視覚化して、医師が意図した標的領域に器具を安全に案内するのを支援し得る。従来、コンピュータ断層撮影法（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）および陽電子放出断層撮影法（ＰＥＴ）などの高度医用イメージングが、診断イメージングおよび／または介入イメージングに使用されてきた。しかしながら、超音波などの代替的なイメージング技術も、診断イメージングおよび介入イメージング、特に筋骨格系障害のために使用され得る。超音波イメージングシステムは、コストが低いため、より容易に利用可能であり（例えば、医師は複数の超音波システムを利用し得るが、ＣＴイメージングシステムは１つのみ利用し得る）、これはスケジューリング遅延を低減し、より低いコストを患者に提供する。加えて、超音波イメージングは、患者が放射線にさらされることを回避する。超音波デバイスはまた、ポータブルであり得、デバイスを遠隔場所に配送することを可能にするか、またはさもなければ、遠隔地または困難な地理的領域でのより迅速な輸送またはアクセスを可能にする。

本明細書に開示される技術は、診断超音波イメージングおよび／または介入超音波イメージングのためのＡＩツールを提供する。例えば、複数の機械学習モデルは、超音波画像から筋骨格系障害に関連する診断、観察、および／または測定値を予測するように訓練および導入され得る。例示的な観察は、解剖学的特徴、身体の機能を破壊し得る解剖学的構造には通常存在しない特徴、および／または体内に挿入された異物（例えば、器具）などの超音波画像内の対象物の識別を含み得る。観察はまた、対象物の位置および／または軌跡の予測、および／または対象物の最適な画像がキャプチャされているかどうかの予測を含み得る。予測に基づく視覚化情報は、医師が患者に対して診断検査を実行しているとき、および／または医師が診断された障害を治療するためであり得る超音波ガイド下処置を実行しているときに、リアルタイムで生成されて医師に提供され得る。

本開示全体に含まれる特定の例は超音波イメージングを含むが、本開示による技法は、他のタイプのイメージングモダリティに適合され得ることを理解されたい。例えば、本技法は、ＭＲＩ、ＣＴ、ＰＥＴ、Ｘ線等の任意の医療イメージングモダリティに適合され得る。

環境
図１は、本開示の例示的な技法による、電子医用画像を処理するための環境１００の例示的なブロック図を示す。環境は、ネットワーク１２０を介して、１つまたは複数のイメージングシステム１３０、１つまたは複数のユーザコンピューティングデバイス１４０、１つまたは複数の画像保管通信（ＰＡＣ）システム１５０、および／または医療イメージングデータベース１６０と通信するサーバシステム１１０を含み得る。

サーバシステム１１０は、処理デバイス１１２およびストレージデバイス１１４を含み得る。処理デバイス１１２は、医用画像処理システム１１６（以下、システム１１６という）を実装するように構成され得る。システム１１６は、ネットワーク１２０を介して、例えば、イメージングシステム１３０、ユーザコンピューティングデバイス１４０、またはＰＡＣシステム１５０から受信される医用画像に対して、ＡＩ、機械学習、および／または画像処理技法を適用し得る。代替的に、システム１１６、訓練済みの機械学習モデル１１８、またはサーバシステム１１０とともに説明される他の特徴は、イメージングシステム１３０自体とともに配置され得る。さらに、システム１１６によって実行されるものとして本明細書で説明される技法は、例えば、イメージングコンピューティングデバイス１３６またはユーザコンピューティングデバイス１４０によって実行され得る。

例えば、システム１１６は、例えば、ネットワーク１２０を介して１つまたは複数の医用イメージングデータベース１６０から受信した訓練用医用画像（ｔｒａｉｎｉｎｇ ｍｅｄｉｃａｌ ｉｍａｇｅｓ）のデータセットに基づいて、複数の訓練済みの機械学習モデル１１８を生成しかつ訓練するように構成された訓練用画像プラットフォームを含み得る。訓練用医用画像は、人間および／または動物（例えば、獣医学的背景における）の解剖学的構造の画像であり得る。訓練用医用画像は、実際の画像であり得るか、または必要に応じてデータの希薄性を補償するために合成的に生成された画像であり得る。受信された訓練用医用画像は、医師および／または他の医療専門家によって注釈が付けられ得る。解剖学的構造の所与の訓練用医用画像に対して、本明細書の他の箇所で詳細に説明するように、解剖学的構造の解剖学的特徴、身体の機能を破壊し得る解剖学的構造には通常存在しない特徴、異物、特徴および／または身体に関連する測定値、画像から識別可能な診断、および／または画像ビュータイプ（例えば、プローブの向き）の注釈が付けられ得る。訓練用医用画像は、画像分類器、ビデオ分類器、画像セグメンテーション、対象物検出、対象物の向き、インスタンスセグメンテーション、セマンティックセグメンテーション、ボリュメトリックセグメンテーション、複合オブジェクト、キーポイント検出、キーポイントマッピング、２次元／３次元および６自由度の対象物姿勢、姿勢推定、回帰ネットワーク、楕円回帰（ｅｌｌｉｐｓｏｉｄ ｒｅｇｒｅｓｓｉｏｎ）、３Ｄ立方体推定、光学文字認識、テキスト検出、および／またはアーチファクト検出等の既知のモデルタイプまたは将来のモデルタイプのうちのいずれか１つまたは複数を訓練するために、ポリゴン、ブラシ／消しゴム、バウンディングボックス、キーポイント、キーポイント骨格、線、楕円、直方体、分類タグ、属性、インスタンス／対象物追跡識別子、フリーテキスト、および／または方向ベクトル等の既知のデータ注釈技法または将来のデータ注釈技法のうちの１つまたは複数を使用して注釈が付けられ得る。

訓練済みの機械学習モデル１１８は、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）、サポートベクトルマシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ）、敵対的生成ネットワーク（ＧＡＮ：ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ）、および／または教師あり、教師なし、およびまたは強化学習技法を使用して訓練される他の同様のタイプのモデルを含み得る。例えば、本明細書で使用される場合、「機械学習モデル」は、概して、入力を受信して、重み、バイアス、分類、または分析のうちの１つまたは複数を入力に適用して出力を生成するように構成された命令、データ、および／またはモデルを包含する。出力は、例えば、入力の分類、入力に基づく分析、入力に関連する設計、プロセス、予測、または推奨、または任意の他の適切なタイプの出力を含み得る。機械学習システムまたは機械学習モデルは、システムの１つまたは複数の態様（例えば、重み、バイアス、分類またはクラスタを形成するための基準など）を確立、調整、または修正するためにシステムに供給される訓練データ（例えば、経験データおよび／または入力データのサンプル）を使用して訓練され得る。訓練データは、内部リソースまたは外部リソースから生成、受信、および／または他の方法で取得され得る。機械学習システムの態様は、入力に対して線形に、並列に、ネットワーク（例えば、ニューラルネットワーク）を介して、または任意の適切な構成を介して動作し得る。

機械学習システムの実行は、線形回帰、ロジスティック回帰、ランダムフォレスト、勾配ブーストマシン（ＧＢＭ）、深層学習、および／または深層ニューラルネットワーク（例えば、多層パーセプトロン（ＭＬＰ）、ＣＮＮ、再帰型ニューラルネットワーク）などの１つまたは複数の機械学習技法の導入を含み得る。教師あり訓練および／または教師なし訓練が用いられ得る。例えば、教師あり学習は、訓練データおよび訓練データに対応するラベルを、例えば、グラウンドトゥルースとして提供することを含み得る。訓練データは、人間の技術者および／または他の医療専門家によって注釈が付けられた医用画像を含み得る。教師なし手法は、クラスタリング、分類などを含み得る。Ｋ平均クラスタリングまたはＫ最近傍法も使用することができ、これは教師ありまたは教師なしであり得る。Ｋ最近傍法および教師なしクラスタ技法の組合せも使用され得る。例えば、確率的、勾配ブースト、ランダムシード、再帰的、エポックベースまたはバッチベースなど、任意の適切なタイプの訓練を使用し得る。代替的に、強化学習を用いて訓練を行い得る。例えば、強化学習は、環境の現在の状態に基づいて決定を行い、フィードバック（例えば、決定の正確さに基づく肯定的または否定的な報酬）を受信し、報酬を最大化するようにその決定を調整し、損失関数が最適化されるまで再び繰り返すように、環境と相互作用するエージェントを訓練することを含み得る。

訓練済みの機械学習モデル１１８は、例えば、医用画像が処理のために受信されたときに、システム１１６によるその後の取得および使用を可能にするために、ストレージデバイス１１４によって保存され得る。他の技法では、サードパーティシステムが、複数の訓練済みの機械学習モデル１１８を生成し、訓練し得る。サーバシステム１１０は、訓練済みの機械学習モデル１１８をサードパーティシステムから受信し、ストレージデバイス１１４内に保存し得る。

イメージングシステム１３０は、複数の異なるイメージングモダリティを実装するシステムを含み得る。例えば、イメージングシステム１３０の１つは、超音波イメージングシステム１３２であり得る。超音波イメージングシステム１３２は、１つまたは複数のプローブ１３４（例えば、トランスデューサ）と、プローブ１３４に通信可能に接続されたイメージングコンピューティングデバイス１３６と、ディスプレイ１３８とを含み得る。プローブは、イメージングされるべき解剖学的構造の近傍で患者（ヒトまたは動物）の皮膚と接触して配置されると、患者の体内に音波を放出し、反射して戻ってくる音波を受信し、その音波から画像がイメージングコンピューティングデバイス１３６によって作成され得る。例えば、プローブ１３４は、反射音波に基づいて電気信号を生成し、電気信号は、画像を生成するためにイメージングコンピューティングデバイス１３６に送信され得る。次いで、画像はディスプレイ１３８上に表示され得る。プローブ１３４によって音波が送信される周波数および深度は、超音波イメージングシステム１３２の調節可能な設定であり得る。画像はライブ画像であり得る。超音波イメージングシステム１３２の制御は、ライブ画像がフリーズされ静止画像としてキャプチャされることを可能にし得る。他の例示的なイメージングシステムは、Ｘ線イメージングシステム、ＣＴシステム、ＭＲＩシステム、および／またはＰＥＴシステムを実行する。

いくつかの例では、イメージングシステム１３０によって生成された画像は、医師が確認するためにネットワーク１２０を介してユーザコンピューティングデバイス１４０に送信され得る。例えば、超音波イメージングシステム１３２を使用して（例えば、超音波イメージングシステム１３２を操作する資格を有する技術者によって）患者のイメージングが行われた後、生成された画像は、初期分析のために１つまたは複数のユーザコンピューティングデバイス１４０（例えば、医師のコンピューティングデバイス）に送信され得る。ユーザコンピューティングデバイス１４０は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートセルラーフォン（例えば、モバイルフォン）、スマートウォッチ、または他の電子ウェアラブルなどを含み得る。追加的にまたは代替的に、イメージングシステム１３０によって生成された画像は、保存のためにＰＡＣシステム１５０のうちの１つにネットワーク１２０を介して送信され得る。

超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６のメモリおよび／またはユーザコンピューティングデバイス１４０のメモリに保存された１つまたは複数の命令の少なくとも一部は、ネットワーク１２０を介してサーバシステム１１０と通信するように構成された、システム１１６に関連するアプリケーション（例えば、クライアントアプリケーション）を実行するための命令を含み得る。１つの例示的な例として、患者が超音波イメージングシステム１３２を使用してイメージングが行われているとき、アプリケーションは、生成された画像のシステム１１６によるリアルタイム処理を可能にするためにイメージングコンピューティングデバイス１３６上で実行され得る。別の例示的な例として、アプリケーションは、ユーザコンピューティングデバイス１４０上で実行され得、ユーザ（例えば、医師）は、システム１５０による処理のために、（例えば、ＰＡＣシステム１１６から）以前にキャプチャされ保存された画像を選択し得る。いくつかの例では、アプリケーションは、医師からの音声コマンドを（例えば、音声インタフェースを介して）キャプチャして処理することが可能であり得る。

加えて、イメージングコンピューティングデバイス１３６および／またはコンピューティングデバイス１４０の１つまたは複数の構成要素は、メモリに保存された命令／情報、環境１００内の他のシステムから受信された命令／情報、および／または同様のものに基づいて、１つまたは複数のグラフィックユーザインタフェース（ＧＵＩ）を生成し得るか、または生成させ得、かつ個別のデバイスのディスプレイを介してＧＵＩを表示させ得る。ＧＵＩは、例えば、モバイルアプリケーションインタフェースまたはブラウザユーザインタフェースであり得、かつテキスト、入力テキストボックス、選択制御、および／はたは同様のものを含み得る。ディスプレイは、タッチスクリーンまたは個別のデバイスの管理コンタクトおよび／またはゲストコンタクトがその機能を制御するための他の入力システム（例えば、マウス、キーボード等）を備えたディスプレイを含み得る。

環境１００の１つまたは複数の構成要素が通信するネットワーク１２０は、ワイドエリアネットワーク（「ＷＡＮ」）、ローカルエリアネットワーク（「ＬＡＮ」）、パーソナルエリアネットワーク（「ＰＡＮ」）、セルラーネットワーク（例えば、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク等）または同様のものの１つまたは複数の有線ネットワークおよび／または無線ネットワークを含み得る。１つの技法では、ネットワーク１２０はインターネットを含み、様々なシステム間で提供される情報およびデータはオンラインで発生する。「オンライン」は、インターネットに結合された他のデバイスまたはネットワークから離れた場所からのソースデータまたは情報に接続またはアクセスすることを意味し得る。代替的に、「オンライン」は、モバイル通信ネットワークまたはデバイスを介して電子ネットワーク（有線または無線）に接続またはアクセスすることを指し得る。サーバシステム１１０、イメージングシステム、コンピューティングデバイス１４０、ＰＡＣシステム１５０、および／または医用画像データベース１６０は、１つまたは複数の標準通信プロトコルを使用して、ネットワーク１２０を介して接続され得る。

図１では別個の構成要素として示されているが、例示的な環境１００のシステム内の構成要素または構成要素の一部は、いくつかの実施形態では、１つまたは複数の他の構成要素と統合され得るか、または１つまたは複数の他の構成要素に組み込まれ得ることを理解されたい。例えば、ディスプレイ１３８は、超音波イメージングシステム等のイメージングコンピューティングデバイス１３６と一体化され得る。いくつかの実施形態では、上述した構成要素のうちの１つまたは複数の動作または態様は、１つまたは複数の他の構成要素間で分散され得る。例示的な環境１００の様々なシステムおよびデバイスの任意の適切な配置および／または統合が使用され得る。

以下の開示では、様々な動作が、サーバシステム１１０、イメージングシステム、コンピューティングデバイス１４０、またはそれらの構成要素など、図１の構成要素によって実施または実行されるものとして説明され得る。しかしながら、様々な実施形態において、上述した例示的な環境１００の様々な構成要素は、命令を実行し得るか、または以下に説明する動作を含む動作を実行し得ることを理解されたい。デバイスによって実行される動作は、そのデバイスに関連するプロセッサ、アクチュエータなどによって実行されると見なされ得る。さらに、様々な実施形態では、様々なステップが任意の適切な方法で追加、省略、および／または再配置され得ることを理解されたい。

医用画像処理の大まかな概要
図２は、システム１１６によって実行される例示的なプロセス２００のブロック図を示す。プロセス２００は、入力２０２がシステム１１６において受信されたときに開始され得る。入力２０２は、解剖学的構造の１つまたは複数の医用画像を含み得る。医用画像は、イメージングコンピューティングデバイス１３６および／またはユーザコンピューティングデバイス１４０などのコンピューティングデバイス上で動作しているシステム１１６に関連するアプリケーションによりネットワーク１２０を介して受信され得る。次に、ステップ２０４において、入力２０２は前処理され得る。前処理の一部として、任意の関連する健康データが医用画像から抽出され得（例えば、識別を解除するために）、医用画像は、ポータブルグラフィックスフォーマット（ＰＮＧ）などの可逆画像フォーマットに変換され得る。加えて、いくつかの例では、医用画像は、画像鮮明度を増加させるために（例えば、画像を再構成および雑音除去するために）、敵対的生成ネットワーク（ＧＡＮ）を通して供給され得る。

次いで、解剖学的構造の前処理済みの医用画像は、ストレージデバイス１１４に保存された複数の機械学習モデル１１８からの訓練済みの機械学習モデル１１８Ａに入力として提供され得る。訓練済みの機械学習モデル１１８は、解剖学的構造に影響を及ぼす筋骨格系の診断、解剖学的構造の解剖学的特徴、身体の機能を破壊し得る身体内に通常存在しない特徴、および／または体内に挿入された異物などの１つまたは複数の対象物に関連する観察、および／または特徴および／または身体の面積または体積などの観察に関連する測定値のうちの少なくとも１つを予測するように訓練され得る。対象物に関連する観察は、対象物または関心領域、対象物の位置、対象物の軌跡、および／または画像品質（例えば、適切な画像深度、画像焦点ゾーン、および画像利得などの所与の対象物の最適な画像であるか、および異方性、シャドーイング、屈折シャドーイング、後方エコー増強または増加した透過、後方反射、およびリングダウンアーチファクトを含む超音波検査のアーチファクトの認識）の識別および／または輪郭表示／視覚的表示を含み得る。また、訓練済みの機械学習モデル１１８のうちの１つまたは複数は、所与の診断または介入処置に対する最適な画像フレームキャプチャを推測するように訓練され得る。

訓練済みの機械学習モデル１１８Ａによる予測出力は、次いで、出力２０８を生成するためにステップ２０６において後処理され得る。追加的にまたは代替的に（点線によって示されるように）、訓練済みの機械学習モデル１１８Ａによる予測出力は、ストレージデバイス１１４に保存された複数の機械学習モデル１１８から別の訓練済みの機械学習モデル１１８Ｂに入力として提供され得、その出力はまた、出力２０８を生成するためにステップ２０６において後処理され得る。訓練済みの機械学習モデル１１８のうちの１つまたは２つのみがプロセス２００に示されているが、他の例では、任意の数の訓練済みの機械学習モデルが実装され得る。

ステップ２０６における後処理は、例えば、訓練済みの機械学習モデル１１８Ａおよび／または訓練済みの機械学習モデルからの予測（単数または複数）に基づいて結果を生成して、出力２０８を生成し得る。言い換えれば、後処理ステップ２０６は、予測を、医師または他の医療専門家によって消費可能な情報フォーマットおよび／または表示に変換する。例示的な情報フォーマットおよび／または表示は、ヒートマップ、画像上に重ね合わされたテキストオーバーレイ、数値表フォーマット、順位表フォーマット、テキスト表、強調表示表、および／または棒グラフを含み得る。いくつかの例では、外部（例えば、サードパーティ）システムが、結果を生成するために利用され得る。

１つの例示的な結果は、診断および／または介入を行う際に医師を支援するために、医用画像内の予測を示す視覚化情報を含み得る。システム１１６は、アプリケーションを介して、イメージングコンピューティングデバイス１３６またはユーザコンピューティングデバイス１４０等の、医用画像が受信されるコンピューティングデバイスへの表示のために、これらの視覚化情報を提供し得る。前述のように、訓練済みの機械学習モデルに入力される画像の鮮明度を増加させるために、医用画像は、ステップ２０４においてＧＡＮを通して供給され得る。追加的にまたは代替的に、医用画像は、医師または他の医療専門家への視覚化情報の出力の品質を改善するために、ステップ２０６においてＧＡＮを介して供給され得る。

生成される別の例示的な結果は、医師の注意のための優先順位付けされた症例のリストを含み得、例えば、重症度または分類が高まったと推測される診断が優先順位付けされる。生成されるさらなる例示的な結果は、医師によってレビューされかつ認証された医用画像分析の事前入力された書面のレポートを含み得る。加えて、結果は、元の医師、患者自身、患者自身の介護者または家族、外科医、理学療法士などの臨床現場における他の当事者への医用画像分析を含む通信の生成および送信を含み得る。

筋骨格系障害のための診断予測
患者の検査中にキャプチャされた診断画像は、障害、損傷、および／または状態の任意の分類（例えば、カテゴリ、ステージ、フェーズ、グレードなど）を含む、障害、損傷、および／または状態の医師による診断を円滑に進め得る。図３～図４に説明される技法は、筋骨格系障害を診断するために、機械学習モデルを訓練および使用することを含む。図５Ａおよび図５Ｂは、回旋筋腱板断裂などの肩の損傷を診断するように訓練された例示的な機械学習モデルを示す。

図３は、本明細書に提示される例示的な技法による、筋骨格系障害の診断を予測するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法３００を示すフローチャートを示す。例示的な方法３００（例えば、ステップ３０２～３０６）は、システム１１６によって実行され得る。例示的な方法３００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ３０２において、複数のラベル付けされた訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。訓練用医用画像は、１つまたは複数の筋骨格系障害によって影響を受けた特定の解剖学的構造の超音波画像を含み得る。訓練用医用画像は、画像内に存在する１つまたは複数の筋骨格系障害（もしあれば）を少なくとも示す医師からの注釈によりラベル付けされ得る。また、注釈は、解剖学的特徴（例えば、骨、腱、靭帯、筋肉、神経等）および／または身体に通常存在せず、かつ画像に存在する１つまたは複数の筋骨格系障害に関連し得る破壊的特徴を示し得る。筋肉損傷、靭帯損傷、および／または腱損傷に関連する例示的な破壊的特徴は、出血、筋浮腫、血腫、液体貯留、病変、瘢痕、炎症、欠損、腱症、靭帯症、腱炎、および／または断裂を含み得る。骨損傷に関連する例示的な破壊的特徴は、疲労骨折、腱および靭帯付着部における裂離、カルス形成、骨折偽関節、成長板損傷、および／または腱のスクリューインピンジメント（ｓｃｒｅｗ ｉｍｐｉｎｇｅｍｅｎｔ）を含み得る。他の例示的な破壊的特徴としては、感染に関連する蜂巣炎および／または膿瘍、関節炎（例えば、関節リウマチ、乾癬性関節炎、痛風、または変形性関節症）、筋炎および糖尿病性筋梗塞、軟組織異物（例えば、木材、プラスチック、金属、ガラス、有機物および／または植物）、末梢神経絞扼、軟部組織腫瘤（例えば、脂肪腫、末梢神経鞘腫瘍、血管異常、ガングリオン嚢胞、リンパ節、および／または悪性軟部組織腫瘍）、ならびに骨腫瘤が挙げられ得る。さらに、注釈は、これらの特徴のいずれかの面積および／または体積を示し得る。訓練用医用画像は、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。

特定の種類の筋骨格系障害については、所与の種類の障害について複数の分類が存在し得る。分類は、カテゴリ、ステージ、フェーズ、グレード、および／または同様のものを含み得る。例えば、図５Ａを参照してより詳細に説明されるように、回旋筋腱板病変などの肩の損傷を診断するために、回旋筋腱板は、正常（例えば、病変がない場合）、腱炎、腱症、石灰沈着性腱炎、石灰沈着性腱症、層間剥離、関節側断裂、関節内断裂（ｉｎｔｒａｓｕｂｓｔａｎｃｅ ｔｅａｒ）、滑液包側断裂、または全層断裂として分類され得る。同様の損傷は、解剖学的構造の任意の部分について分類することができ、訓練用画像は、各分類の複数の例を含み得る。例えば、肩の損傷に加えて、損傷は、肘、手首、手、指、臀部、大腿部、膝、足首、足、および／または下腿部について分類され得る。関心のある筋骨格系障害が複数の分類を含む場合、受信したラベル付けされた訓練用医用画像は、ラベル付けされた訓練用医用画像のサブセットから構成され得、各サブセットは、複数の分類からの個別の分類に対応し得る。各サブセット内の訓練用医用画像に対する対応するラベルは、画像内に存在する筋骨格系障害に対する複数の分類からの既知の分類をさらに示す注釈を含み得る。

ステップ３０４において、複数のラベル付けされた訓練用医用画像を使用して、解剖学的構造に影響を及ぼす筋骨格系障害に関連する診断を予測するための機械学習モデルが生成され訓練され得る。例えば、訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、本明細書で前に列挙された例示的なタイプのいずれかであり得る。機械学習モデルは、筋骨格系障害に関連する診断を予測し得る。いくつかの例では、予測された診断は、筋骨格系障害に関連する所与の解剖学的構造に対する対象物の予測される識別に基づき得る。例えば、石灰沈着性腱炎の予測された診断は、回旋筋腱板の腱上の予測されるカルシウム沈着に基づき得る。機械学習モデルは、各訓練用画像に関して、少なくとも筋骨格系障害が存在するかどうかの予測を出力し得る。さらに、予測された診断が、筋骨格系障害に関連する所与の解剖学的構造に対する対象物の予測される識別に基づき得る場合、予測される関心のある対象物は、機械学習モデルによる予測された診断に加えて、またはその代わりに出力され得る（例えば、腱上のカルシウム沈着）。他の例では、障害が複数の分類を含む場合、機械学習モデルは、訓練用画像ごとに、訓練用医用画像が筋骨格系障害の個別の分類を示す可能性を表す分類ごとのスコア（例えば、確率）を出力し得る。

機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された筋骨格系障害に関連する予測された診断を、訓練用医用画像に対応するラベルと比較して、損失または誤差を決定し得る。例えば、第１の訓練用画像に対する予測された診断は、対応するラベルによって識別される第１の訓練用画像内の既知の診断と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

例示的な例を提供するために、図５Ａは、肩の損傷の診断を予測するための機械学習モデルの訓練プロセスを示す概念図５００である。回旋筋腱板断裂などの肩の損傷を診断するために、回旋筋腱板断裂は、正常（例えば、断裂がない場合）、関節側断裂、関節内断裂、滑液包側断裂、または全層断裂として分類され得る。従って、回旋筋腱板断裂の診断を予測するための機械学習モデルを生成しかつ訓練するために使用されるラベル付けされた訓練用医用画像は、各個別のカテゴリに対応するラベル付けされた訓練用医用画像のサブセットから構成され得る。例えば、第１のサブセット５０２は、回旋筋腱板断裂のない肩の画像を含み得、第２のサブセット５０４は、関節側断裂を伴う肩の画像を含み得、第３のサブセット５０６は、滑液包側断裂５０８を伴う肩の画像を含み得、第４のサブセット５１０は、全層断裂を伴う肩の画像から成り得る。上述のサブセットの各々に含まれる画像の例示的な数と、全画像中の各サブセットの表現（例えば、パーセンテージ）とが、表５１２に示されている。また、表５１２は、訓練セットにおいて使用された各サブセット内の画像数と検証セットに対して保留された画像数との内訳を含む。

図３に戻ると、機械学習モデルが十分に訓練されると、ステップ３０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、所与の解剖学的構造に影響を及ぼす複数の異なる筋骨格系障害の診断を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法３００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、所与の解剖構造に影響を及ぼす特定の筋骨格系障害の診断を予測する（例えば、回旋筋腱板断裂を識別するための１つのモデル、回旋腱板における石灰沈着性腱炎を識別するための１つのモデルなど）。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図４は、本明細書に提示される例示的な技法による、筋骨格系障害の診断を予測するための例示的な方法４００を示すフローチャートを示す。例示的な方法４００（例えば、ステップ４０２～４０８）は、システム１１６によって実行され得る。例示的な方法４００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ４０２において、解剖学的構造の医用画像が、コンピューティングデバイスから受信され得る。医用画像は、超音波画像、または本明細書で説明される任意のイメージングモダリティであり得、コンピューティングデバイスは、ユーザコンピューティングデバイス１４０または超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６を含み得る。例えば、コンピューティングデバイスは、医用画像処理システム１１０に関連するアプリケーション（例えば、クライアントアプリケーション）を実行し得る。いくつかの態様では、医用画像は、以前にキャプチャされ保存された画像であり得、その画像は、コンピューティングデバイスのローカルストレージまたはリモートデータストレージシステム（例えば、ＰＡＣシステム１５０）から選択されるか、またはアプリケーションを介してシステム１１６に送信される。他の態様では、医用画像は、（例えば、患者がイメージングされているときに超音波イメージングシステム１３２によって）リアルタイムでキャプチャされ、かつアプリケーションを介してシステム１１６に送信されるライブ画像であり得る。いくつかの例では、また、ユーザは、アプリケーションのユーザインタフェースを介して、医用画像においてキャプチャされた解剖学的構造に影響を及ぼし得る筋骨格系障害のタイプを選択し得る。筋骨格系障害のタイプは、患者によって報告された症状、および／または身体診察および／または医用画像の初期レビューの際に医師によって検出された徴候に基づいて選択され得る。

ステップ４０４において、解剖学的構造に影響を及ぼす筋骨格系障害に関連する診断を予測するために、医用画像が、図３を参照して説明した方法３００を用いて訓練された機械学習モデルなどの訓練済みの機械学習モデルに入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法３００が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、筋骨格系障害のタイプが医師によって選択された場合、筋骨格系障害のタイプを識別するように訓練された機械学習モデルのみが実行され得る（例えば、コンピューティングリソースを節約するために）。

ステップ４０６において、予測された診断は、訓練済みの機械学習モデルから受信され得る。いくつかの例では、予測された診断は、医用画像における筋骨格系障害の存在または不在の指示を少なくとも含み得る。分類を伴う筋骨格系障害の場合、予測された診断は、予測された分類を示し得る。追加的にまたは代替的に、予測された診断が筋骨格系障害に関連する所与の解剖学的構造に対する対象物の予測される識別に基づき得る例では、予測された診断は、識別された予測された対象物を含み得る（対象物の識別は以下でより詳細に説明される）。追加的にまたは代替的に、予測された診断は、予測に関連する信頼度を表す関連スコアを有し得る。同様に、筋骨格系障害が分類を含む場合、予測された診断は、筋骨格系障害についての個別の分類を示す医用画像の可能性を表す各分類に対するスコアを含み得、最高スコアを有する分類が予測された診断であり得る。

ステップ４０８において、医用画像および予測された診断は、表示のためにコンピューティングデバイスに提供され得る。例えば、医用画像および予測された診断は、コンピューティングデバイス（例えば、ユーザコンピューティングデバイス１４０および／またはイメージングコンピューティングデバイス１３６）上で実行されるアプリケーションを介して受信され、図５Ｂに示される例示的なユーザインタフェースなどのアプリケーションのユーザインタフェース内に表示され得る。

図５Ｂは、肩の損傷の予測された診断を表示する例示的なアプリケーションユーザインタフェース５５０を示す。アプリケーションユーザインタフェース５５０は、ユーザコンピューティングデバイス１４０および／またはイメージングコンピューティングデバイス１３６などのコンピューティングデバイス上で実行される、システム１１６に関連するアプリケーションのユーザインタフェースであり得る。複数の機械学習モデル１１８のうちの１つは、図５Ａを参照して説明される例示的な訓練用医用画像を使用して、回旋筋腱板断裂の診断を予測するように生成され訓練され得る。肩の回旋筋腱板の医用画像５５２などの医用画像は、（例えば、例示的な方法４００を使用して）システム１１６によって処理するために受信され得る。医用画像５５２は、回旋筋腱板構造の組織、筋肉、および腱、具体的には棘上筋／腱複合体を含み得る。一旦、処理されると、システム１１６は、少なくとも医用画像５５２および予測された診断５５４を、アプリケーションユーザインタフェース５５０に表示するためにアプリケーションに提供し得る。例えば、予測された診断５５４は、断裂を示し、かつ全層断裂の予測された分類を含み得る。

加えて、予測された診断５５４に関連するスコア５５６が表示され得る。スコア５５６は、筋骨格系障害についての予測された診断５５４が医用画像５５２内に存在する可能性または確率を示し得る。スコア５５６は、診断プロセスにおいて医師を支援し得る。例えば、医師は、医師が自身の目で視覚化できるものに対応する（または少なくとも矛盾しない）予測された診断５５４のスコア５５６の高い値があるとき、診断プロセスにおける１つの因子として予測された診断５５４を使用することにより自信を感じ得る。加えて、回旋筋腱板断裂のような複数の分類（例えば、カテゴリ）を有する筋骨格系障害に関して、分類５６０および関連スコア５６２の各々を列挙した表５５８または他の同様のグラフィカル要素が、ユーザインタフェース５５０上に表示され得る。例えば、表５５８に示されるように、医用画像５５２が正常な回旋筋腱板（断裂なし）、関節側断裂、関節内断裂、滑液包側断裂、または全層断裂を示す個別のスコアが、表示のために含まれ得る。

上記で説明したアプリケーションユーザインタフェース５５０は、単に例として提供されており、図５Ｂに示されるものよりも追加の、より少ない、異なる、または異なって構成された情報を含み得る。

図３～図５Ｂを参照して上述した筋骨格系障害診断のための概略的な技法は、以下でより詳細に説明するように、多くの可能性のある特定の用途または使用事例を有し得る。例えば、同様の技術は、関節、筋肉、腱および靭帯における整形外科手術を円滑に進める（ガイドする）ために、医用画像内の対象物を識別するために使用され得る。追加的にまたは代替的に、上記の技法は、非外科的整形外科、または治療医師によって患者に施されるような臨床医による治療技法（拡張する、軽く圧迫および軽く抵抗をかける等）を含み得る、整骨術的手技治療（Ｏｓｔｅｏｐａｔｈｉｃ Ｍａｎｉｐｕｌａｔｉｖｅ Ｔｒｅａｔｍｅｎｔ）において使用され得る。上記の技法では、超音波画像が訓練済みの機械学習モデルに入力される画像モダリティであるが、他の技法では、ＣＴスキャナからの画像、Ｘ線画像など、別の医用イメージングモダリティからのデジタル画像が、脳損傷、骨損傷など、患者の身体の他の領域における損傷を診断するために使用され得る。

診断的観察または介入的観察の対象物の識別、測定、および視覚化
図６～図７に記載される技法は、解剖学的構造の医用画像内の対象物を識別するために機械学習モデルを訓練し、使用することを含む。対象物は、例えば、解剖学的構造の解剖学的特徴、身体の機能を破壊し得る身体には通常存在しない特徴、および／または処置中に挿入される異物を含み得る。対象物の識別は、診断のために、ならびに診断後の介入をガイドするときに有用であり得る。加えて、料金の請求の目的のために、医師は、所与の処置の証拠を提供するために、特定の対象物が識別された画像を提出することを要求され得る。例えば、針生検処置を実行するとき、識別された針を含む画像が、請求書類の一部として提出され得る。

一旦、対象物が識別されると、対象物の面積および／または体積など、対象物に関連する測定値も決定され得る。測定値は、病状が正常であるか異常であるかを決定する際に医師にとって有用であり得るとともに、筋骨格系障害の診断プロセスにおいて使用され得る。加えて、経時的に（例えば、後続の患者診察中に）関心のある対象物の測定値を取得することによって、筋骨格系障害に関連する患者の進行および／または退行が、医師によって追跡され得る。例えば、手根管症候群に関して、正中神経の領域は、診断のための有用な指標であり得るとともに、手根管症候群が退行しているか否か（例えば、治療後）を判定するために経時的に監視され得る。別の例として、回旋筋腱板断裂に関して、（例えば、治療後）損傷が退行しているか否かを判定するために、骨質から分離された腱の量が経時的に監視され得る。さらなる例として、ガングリオン嚢胞、胸水、カルシウム沈着、腫瘤、病変など、通常は体内に存在せず、体の機能を破壊する可能性がある破壊的特徴を識別した後、その構造の少なくとも一部が外科的に摘出され得、術後画像がキャプチャされ得る。手術前画像および手術後画像におけるこの特徴の測定値は、システムによって自動的に比較されて、関心のある対象物がどれだけ摘出されたかの客観的な証拠を提供することができる。例えば、以前のイメージングセッションからの画像は、現在のイメージングセッションからの画像と自動的に共同登録され得る。複数の共同登録点が自動的に識別され得、ユーザによって画像セットの少なくとも１つにおいて示され得る対応する対象物が、過去および現在の両方の画像セットにおいて識別され得る。以前の画像セットにおけるカルシウム沈着は、現在のイメージングセッションにおける同じカルシウム沈着と自動的に関連付けられ得、疾患の進行または退行を判定するために測定値が自動的に取得され得る。いくつかの事例では、嚢胞または腫瘤等の対象物は、手術または他の処置に起因して、現在のセッションの画像から完全になくなっている場合がある。この場合、システムは、以前のイメージングセッションにおいて関心のある対象物であった対象物がもはや存在しないことを自動的に判定し得る。

いくつかの例では、識別された対象物は、別のプロセスに入力され得る。例えば、図８～図９に記載されるように、機械学習モデルは、医用画像が識別された対象物に対して最適な画像である（例えば、対象物に対して最適な視野角である）かどうかを判定し、かつ視野角をもたらす画像をキャプチャするプローブの向きを予測するために訓練され、かつ使用され得る。医用画像が最適でない場合、識別された関心のある対象物に対してより最適な画像をキャプチャするために提案されるプローブ移動は、予測されたプローブの向き（例えば、現在のプローブの向き）および最適な画像のキャプチャに関連する学習されたプローブの向きに基づいて決定され得る。

さらに、図１０を参照して図示および説明されるように、識別された対象物および対象物に関連する任意の測定値を示すための視覚化情報が、表示のために提供され得る。加えて、医用画像が、識別された対象物のうちの１つまたは複数に対して最適でないと判定された場合、視覚化情報は、より最適な画像をキャプチャするために、提案されるプローブ移動を示す方向インジケータをさらに含み得る。

図６に戻ると、フローチャートは、本明細書に提示される例示的な技法による、解剖学的構造の医用画像内の対象物を識別するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法６００を示す。例示的な方法６００（例えば、ステップ６０２～６０６）は、システム１１６によって実行され得る。例示的な方法６００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ６０２において、複数のラベル付けされた訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。訓練用医用画像は、特定の解剖学的構造の超音波画像を含み得る。訓練用医用画像は、個別の画像内の複数の対象物を示す医師からの注釈によってラベル付けされ得る。注釈付き対象物は、骨、腱、靭帯、軟骨、筋肉、神経、静脈、動脈等の解剖学的構造の解剖学的特徴を含み得る。また、注釈付き対象物は、ガングリオン、カルシウム沈着、胸水、断裂、腫瘤、病変、制限、インピンジメント、圧迫等の、身体の機能を破壊し得る解剖学的構造内には通常存在しない特徴（例えば、破壊的特徴）を含み得る。注釈付き対象物は、処置の一部として体内に挿入され得る、膨張可能なバルーン、針、ナイフ、メス、フィンガー、ステント、血管内デバイス、カテーテル、手術器具等の異物をさらに含み得る。さらに、注釈は、上述の対象物のいずれかの面積および／または体積を示し得る。訓練用医用画像は、様々な異なるタイプの対象物を表し得る。例えば、訓練用画像の第１のサブセットはガングリオンを含み得、第２のサブセットはカルシウム沈着を含み得、第３のセットは膨張可能なバルーンを含み得、第４のセットは針を含み得る、などである。いくつかの例では、訓練用医用画像はさらに、個別の画像内の対象物のうちの１つまたは複数に関連する測定値を示す注釈によりラベル付けされ得る。例えば、画像は、対象物の面積および／または体積によって注釈が付けられ得る。対象物の体積が所与の対象物に対して注釈付けされる場合、所与の訓練用画像に対して、画像シーケンスのサブセットが存在し得、画像シーケンスのサブセット内の各画像は、プローブ１３４の位置を移動させることなく、超音波イメージングシステム１３２の異なる深度設定および周波数設定でキャプチャされ得る。

訓練用医用画像は、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像とは別個のラベルを形成するために、受信された訓練用医用画像から抽出されるか、または他の方法で識別され得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。訓練用医用画像のための対応するラベルは、注釈が付けられた対象物の各々の既知のタイプを含み得る。

ステップ６０４において、複数のラベル付けされた訓練用医用画像を使用して、対象物を識別するための機械学習モデルが生成され訓練され得る。例えば、訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、訓練用医用画像内の１つまたは複数の対象物を識別し得る。いくつかの例では、機械学習モデルは、対象物に関連する測定値（例えば、面積および／または体積）を予測し得る。

機械学習モデルを訓練するために、訓練用医用画像に対する機械学習モデルによる出力を、訓練用医用画像に対応するラベルと比較して、損失または誤差を決定し得る。例えば、第１の訓練用画像内で識別された対象物（単数または複数）は、対応するラベルによって識別された既知の対象物のタイプと比較され得る。さらに、予測が、識別された対象物（単数または複数）に関連する測定値を含む場合、第１の訓練用画像内で識別された対象物に対して予測された測定値は、対応するラベルによって識別された第１の訓練用画像に含まれる既知の対象物のタイプの既知の測定値と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

機械学習モデルが十分に訓練されると、ステップ６０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、解剖学的構造の医用画像内に存在し得る異なるタイプの対象物の各々を識別するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法６００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定のタイプの対象物を識別する（例えば、１つのシステムはガングリオンを識別するためのものであり、別のシステムはカルシウム沈着を識別するためのものであるなど）。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図７は、本明細書に提示される例示的な技法による、解剖学的構造の医用画像内の対象物を識別するための例示的な方法７００を示すフローチャートを示す。例示的な方法７００（例えば、ステップ７０２～７０８）は、システム１１６によって実行され得る。例示的な方法７００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ７０２において、解剖学的構造の医用画像がコンピューティングデバイスから受信され得る。医用画像は超音波画像であり得、コンピューティングデバイスは、ユーザコンピューティングデバイス１４０または超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６を含み得る。例えば、コンピューティングデバイスは、医用画像処理システム１１０に関連するアプリケーション（例えば、クライアントアプリケーション）を実行し得る。いくつかの態様では、医用画像は、以前にキャプチャされ保存された画像であり得、その画像は、コンピューティングデバイスのローカルストレージまたはリモートデータストレージシステム（例えば、ＰＡＣシステム１５０）から選択されるか、またはアプリケーションを介してシステム１１６に送信される。他の態様では、医用画像は、（例えば、患者がイメージングされているときに超音波イメージングシステム１３２によって）リアルタイムでキャプチャされ、かつアプリケーションを介してシステム１１６に送信されるライブ画像であり得る。いくつかの例では、２つ以上の医用画像が受信され得る（例えば、様々な深度および周波数の組合せでキャプチャされた解剖学的構造の画像シーケンスのサブセットが受信され得る）。

いくつかの例では、医師はまた、アプリケーションのユーザインタフェースを介して、画像内で存在していることを確認すること、かつ／または画像内で区別することを所望する１つまたは複数の特定のタイプの対象物を選択し得る。１つの例示的な例として、特定の手術では、手術中にバルーンを膨張させるために、生理食塩水などの流体で充填された膨張可能なバルーンが体内に挿入され得る。医師の目では、超音波画像においてバルーンと別の特徴（ガングリオンなど）とを区別することは困難な場合がある。従って、医師は、手術中にバルーン（ガングリオンのような特徴ではない）を流体で充填するための針の案内を円滑に進めるために、特定の関心のある対象物としてバルーンを選択し得る。例えば、医師の選択を受信すると、バルーン（ガングリオンではない）は、針とともに視覚的に強調され得（例えば、強調表示され）、針は、バルーンと同様であるが識別可能な様式で視覚化され（例えば、異なる色で強調表示され）、従って、バルーンおよび針の相対的な位置および／または向きを観察者に示し得る。

ステップ７０４において、医用画像は、図６を参照して説明した方法６００を用いて訓練された訓練済み機械学習モデルなどの訓練済みの機械学習モデル（例えば、訓練済み機械学習モデル１１８のうちの１つ）に入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法６００が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、１つまたは複数の特定のタイプの関心のある対象物が医師によって選択されると、それらの特定のタイプの関心対象を識別するように訓練された機械学習モデルのみが実行され得る（例えば、計算リソースを節約するために）。

ステップ７０６において、識別された１つまたは複数の対象物の予測が、訓練済みの機械学習モデルから受信され得る。加えて、予測は、予測に関連する信頼度（例えば、識別された各タイプの対象物が実際に医用画像内の対象物である可能性）を表す関連スコアを有し得る。いくつかの例では、機械学習モデルはまた、識別された対象物のうちの１つまたは複数に関連する面積および体積などの測定値を出力するように訓練され得る。面積は、対象物の断面積を表し得、システムは、断面積を得るための最適な角度を得るために、プローブ１３４を移動させるようにユーザに指示し得る。識別された対象物のうちの１つまたは複数の体積が予測される事例では、複数の医用画像（例えば、様々な深度および周波数の組み合わせでキャプチャされた解剖学的構造の画像シーケンスのサブセット）が、ステップ７０２において受信され、かつ体積予測を可能にするために、ステップ７０４においてモデルに入力され得る。そのような例では、予測はまた、識別された対象物に関連する予測された測定値を含み得る。

ステップ７０８において、予測の指示が、表示のためにコンピューティングデバイスに提供され得る（例えば、コンピューティングデバイス１４０および／またはイメージングコンピューティングデバイス１３６上で実行されるアプリケーションを介して）。例えば、視覚化情報は、図２を参照して説明された後処理ステップ２０６における予測に基づいて生成され得る。視覚化は、医用画像内で識別された対象物をラベル付けし、強調表示し、または他の方法で強調し得、視覚化情報は、アプリケーションユーザインタフェース内での表示のために提供され得る。加えて、視覚化情報は、各対象物についての予測に関連するスコアを含み得る。さらに、視覚化情報は、識別された対象物のうちの１つまたは複数に関連する任意の測定値を含み得る。例示的な視覚化情報が以下に説明するように図１０に示される。

上記で説明したように、いくつかの例では、機械学習モデルは、識別された対象物のうちの１つまたは複数に関連する面積および体積などの測定値を出力するように訓練され得る。他の例では、識別された所与の対象物に関連する測定値は、ステップ７０６で受信された予測とは無関係に取得され得る。１つの非限定的な例として、いくつかの態様では、（例えば、ステップ７０８において）コンピューティングデバイスに提供される視覚化情報はまた、アプリケーションユーザインタフェース内にトレーサツール制御要素を含み得る。トレーサツール制御要素は、表示された医用画像内の対象物の境界に沿ってトレースするために、医用画像を観察している医師によって選択可能であり得る。次いで、システム１１６は、トレースされた境界を使用して対象物の面積を決定し、対象物の面積を表示のためにコンピューティングデバイスに提供することが可能であり得る。

別の非限定的な例として、いくつかの態様では、対象物の体積を決定するために、体積掃引イメージングが実施され得る。例えば、様々な深度および周波数でキャプチャされた解剖学的構造の複数の超音波画像は、位置および向きを有する２次元（２Ｄ）スライスとして受信され得る。システム１１６は、２Ｄスライスを使用して対象物の３次元（３Ｄ）視覚化情報を再構成し得、対象物の体積は、３Ｄ視覚化情報から決定され得る。次いで、体積は、表示のためにコンピューティングデバイスに提供され得る。

加えて、いくつかの例では、識別された対象物（単数または複数）を有する医用画像の視覚化情報を表示した後、オペレータは、識別された対象物のうちの１つ（例えば、ユーザにとって関心のある対象物）に対して視覚的ロックをかけることを選択して、オペレータがプローブを移動させたときに、識別された対象物が、プローブ移動後の新たな医用画像内でラベル付けされ、強調表示され、または他の方法で強調された状態を維持するようにし得る。例えば、オペレータは、ロックされるべき対象物に対応する医用画像のエリア内でコンピューティングデバイスのディスプレイにタッチ入力を提供し得る。医用画像をキャプチャするプローブの位置（例えば、現在のプローブ位置）に対する対象物の位置が、基準として使用するために特定され得る。対象物は静止状態であり得、従って、プローブの動きの前にプローブに対する対象物の第１の位置（例えば、基準）を認識し、プローブの動きを決定することによって、プローブの動きに対する対象物の第２の位置が決定され得る。プローブの動きは、加速度計、ジャイロスコープ、および／または慣性センサなど、プローブに取り付けられたセンサを使用して検出され得る。識別された対象物は、プローブ移動後の新たな医用画像内の第２の位置において、ラベル付けされ、強調表示され、または他の方法で強調され得る。例えば、視覚的にロックされた識別された対象物は、超音波ガイド下手術の一部として摘出される病変または腫瘤であり得る。その結果、処置中にプローブが移動されるにつれて、病変または腫瘤は、外科医が病変または腫瘤の視野を維持することが可能となるように、ラベル付けされ、強調表示され、または他の方法で強調され続ける。

図８は、本明細書に提示される例示的な技法による、機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練して、解剖学的構造の医用画像内の識別された対象物に対する最適な画像を識別するための例示的な方法８００を示すフローチャートを示す。例示的な方法８００（例えば、ステップ８０２～８０６）は、システム１１６によって実行され得る。例示的な方法８００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ８０２において、解剖学的構造の複数のラベル付けされた訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。訓練された医用画像は、画像内の注釈が付けられた複数の対象物を含み得る。注釈付き対象物は、骨、腱、靭帯、軟骨、筋肉、神経、静脈、動脈等の解剖学的構造の解剖学的特徴を含み得る。また、注釈付き対象物は、ガングリオン、カルシウム沈着、胸水、断裂、腫瘤、病変、制限、インピンジメント、圧迫等の、身体の機能を破壊し得る解剖学的構造内には通常存在しない特徴を含み得る。注釈付き対象物は、処置の一部として体内に挿入され得る、膨張可能なバルーン、針、ナイフ、メス、フィンガー、ステント、血管内デバイス、カテーテル、手術器具等の異物をさらに含み得る。

訓練された医用画像は、画像内で注釈が付けられた様々な異なるタイプの対象物を表し得る。所与の対象物のタイプに関して、その所与の対象物のタイプを含む訓練用医用画像のサブセットは、画像内の対象物の複数の異なる視野角（例えば、画像をキャプチャするために使用されるイメージングシステムのプローブの向きに基づく異なる視野角）を有する画像から構成され得る。異方性、後方強調またはシャドーイング、エッジアーチファクト等の筋骨格系超音波アーチファクトの有無に基づいて、特定の視野角は、対象物のタイプに対して他の視野角よりも最適であり得る。例として異方性を使用すると、異なる視野方向から測定されたときに組織の特性が変化する場合、組織は異方性である。例えば、腱または靭帯が超音波ビームに対して垂直に撮像されるとき、特徴的な高エコー（視覚的に明るい灰色として表示される）の線維状の外観を確認することができる。しかしながら、超音波ビームが腱の長軸に対して２～３度の角度である場合、正常な高エコー（明るい灰色）は失われ、腱は、角度が増加するにつれてより低エコー（暗い灰色）になる。一旦、腱が識別されると、病的状態（ｐａｔｈｏｌｏｇｙ）を排除するために異方性が補正され得る。

訓練用医用画像は、対応するグラウンドトゥルースラベルを有し得る。例えば、各画像は、対象物のタイプの既知の最適な画像または既知の非最適な画像としてラベル付けされ得る。いくつかの例では、グラウンドトゥルースラベルはまた、訓練用医用画像がキャプチャされたときのプローブの既知の向きを含み得る。訓練用医用画像はまた、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。

ステップ８０４において、複数のラベル付けされた訓練用医用画像を使用して、医用画像が医用画像内で識別された対象物の最適な画像であるかどうかを予測するための機械学習モデルが生成され訓練され得る。いくつかの例では、機械学習モデルはまた、医用画像をキャプチャするために使用される関連するプローブの向きを予測するように生成され訓練され得る。機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された予測を、訓練用医用画像に対応するグラウンドトゥルースラベル（単数または複数）と比較して、損失または誤差を決定し得る。例えば、第１の訓練用医用画像に対する最適な画像または非最適な画像の予測は、その中の対象物の既知の最適な画像または既知の非最適な画像である訓練用医用画像に対する対応するグラウンドトゥルースラベルと比較され得る。加えて、予測出力がプローブの予測された向きをも含む場合、予測された向きは、対応するグラウンドトゥルースラベルに含まれるプローブの既知の向きと比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

機械学習モデルが十分に訓練されると、ステップ８０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、解剖学的構造の医用画像が、その中に含まれ得る複数の異なる対象物のタイプの最適な画像であるかどうかを予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法８００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、解剖学的構造の医用画像が、その中で識別される特定の対象物のタイプの最適な画像であるかどうかを予測する。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。いくつかの例では、対象物の特定の対象物のタイプが識別される（例えば、方法７００などの別のプロセスの出力として受信される）場合、解剖学的構造の医用画像が特定の対象物のタイプの最適な画像であるかどうかを予測するように訓練された機械学習モデルのみが、コンピューティングリソースを節約するために実行され得る。

図９は、本明細書に提示される例示的な技法による、医用画像がその中で識別された対象物の最適な画像であるかどうかを判定するための例示的な方法９００を示すフローチャートを示す。例示的な方法９００（例えば、ステップ９０２～９１２）は、システム１１６によって実行され得る。例示的な方法１９００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ９０２において、解剖学的構造の医用画像がコンピューティングデバイスから受信され得る。医用画像は超音波画像であり得、コンピューティングデバイスは、ユーザコンピューティングデバイス１４０または超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６を含み得る。例えば、コンピューティングデバイスは、医用画像処理システム１１０に関連するアプリケーション（例えば、クライアントアプリケーション）を実行し得る。いくつかの例では、医用画像は、以前にキャプチャされ保存された画像であり得、その画像は、コンピューティングデバイスのローカルストレージまたはリモートデータストレージシステム（例えば、ＰＡＣシステム１５０）から選択されるか、またはアプリケーションを介してシステム１１６に送信される、他の例では、医用画像は、（例えば、患者がイメージングされているときに超音波イメージングシステム１３２によって）リアルタイムでキャプチャされ、かつアプリケーションを介してシステム１１６に送信されるライブ画像であり得る。いくつかの例では、ユーザはまた、アプリケーションのユーザインタフェースを介して、医用画像内に存在していることを確認すること、かつ／または医用画像内で区別することを所望する１つまたは複数の特定のタイプの対象物を選択し得る。

ステップ９０４において、医用画像は、（例えば、第１の訓練済みの機械学習モデルの出力として）識別された１つまたは複数の対象物の予測を取得するために、第１の訓練済みの機械学習モデルに入力として提供され得る。第１の訓練済みの機械学習モデルは、図６および図７を参照して説明される解剖学的構造の医用画像内の対象物を識別するために訓練され使用される機械学習モデルであり得る。例えば、第１の訓練済みの機械学習モデルは、超音波画像内で識別された対象物が肩の腱上に位置するカルシウム沈着を含むことを予測し得る。

ステップ９０６において、医用画像は、医用画像が識別された対象物（単数または複数）（例えば、第１の訓練済みの機械学習モデルからの予測として識別され受信された特定のタイプの対象物）の最適な画像であるかどうかを識別するための第２の訓練済みの機械学習モデルに提供され得る。第２の訓練済みの機械学習モデルは、図８を参照して説明した方法８００を使用して訓練された訓練済みの機械学習モデルであり得る。上記の例を続けると、識別された対象物が肩の腱上に位置するカルシウム沈着を含む場合、第２の訓練済みの機械学習モデルは、カルシウム沈着の最適な画像を少なくとも識別するように訓練され得る。

ステップ９０８において、医用画像が識別された対象物（単数または複数）の最適な画像であるかどうかの予測が、第２の訓練済みの機械学習モデルの出力として受信され得る。いくつかの例では、予測出力はまた、医用画像をキャプチャするプローブの予測された向き（例えば、最適または非最適のいずれかである識別された対象物（単数または複数）の視野角が結果的に生じる現在のプローブの向き）を含み得る。

ステップ９１０において、予測の指示が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図２を参照して説明された後処理ステップ２０６における予測に基づいて生成され得る。いくつかの例では、医用画像が、識別された対象物（単数または複数）の最適な画像であると予測される場合、医用画像と共に肯定的な視覚インジケータを表示させる命令がコンピューティングデバイスに提供され得る。他の例では、医用画像が識別された対象物（単数または複数）の非最適な画像であると予測される場合、識別された対象物（単数または複数）の最適な画像のキャプチャを可能にするために、オペレータがプローブ調整（例えば、プローブの向きを変える）を行うためのプロンプトを表示させる命令がコンピューティングデバイスに提供され得る。

プロンプトは、最適な画像のキャプチャを達成するために、予測された向きに対応するようにプローブの現在の向きを調整するようにオペレータを案内する方向指示を含み得る。例えば、訓練の一部として、訓練済みの機械学習モデルは、ラベル付けされた訓練用医用画像からの個別のタイプの識別された対象物（単数または複数）の最適な視野角（例えば、最適な画像が結果的に生じる）に関連するプローブの向きを学習し得る。従って、特定のタイプの識別された対象物（単数または複数）の最適な画像のキャプチャに関連する学習されたプローブの向きを現在のプローブの向きと比較して、現在のプローブの向きを学習されたプローブの向きに調整するための方向指示を生成し得る。いくつかの例では、方向指示は、図１０を参照して示されるように、プローブ方向インジケータの形態であり得る。

図１０は、医用画像内で識別された対象物および関連する対象物の測定値を表示する例示的なアプリケーションユーザインタフェース１０００である。アプリケーションユーザインタフェース１０００は、ユーザコンピューティングデバイス１４０および／またはイメージングコンピューティングデバイス１３６上に表示される、アプリケーションのユーザインタフェースであり得る。図６を参照して説明した例示的な方法６００を使用して訓練された機械学習モデルなどの機械学習モデルが、肩関節の超音波画像内の対象物を識別するために生成され訓練され得る。

患者の肩の超音波画像は、超音波画像内の他の対象物の中でもとりわけ、腱１００４（例えば、解剖学的特徴）およびカルシウム沈着１００６（例えば、身体の機能を破壊し得る、身体内には通常存在しない特徴）を識別するために、（例えば、例示的な方法６００を使用して）システム１１６による処理のために、アプリケーションから受信され得る。一旦、処理されると、システム１１６は、腱１００４およびカルシウム沈着１００６がラベル付けされ、強調表示され、または他の方法で強調された医用画像１００２を少なくとも含む視覚化情報を、アプリケーションユーザインタフェース１０００により表示するためにアプリケーションに提供し得る。

加えて、訓練済みの機械学習モデルの追加の出力として取得されるか、または独立して取得される（例えば、面積を取得するための上述のトレースおよび／または体積を取得するための体積掃引イメージング技法を使用して）、カルシウム沈着１００６等の識別された対象物のうちの１つまたは複数に関連する測定値１００８が、表示され得る。いくつかの例では、図示されるように、測定値１００８は、カルシウム沈着１００６と共に医用画像１００２の注釈として表示され得る。

さらに、アプリケーションユーザインタフェース１０００は、例えば、表示される現在の画像よりも、カルシウム沈着１００６のより最適な画像をキャプチャするために、超音波イメージングシステム１３２のプローブ１３４を移動させるための方向を提案するプローブ方向インジケータ１０１０を含み得る。医用画像１００２がカルシウム沈着１００６の最適な画像であるか否かの判定、およびそうでない場合の、プローブの移動のための提案される方向の決定は、図９を参照して説明した例示的な方法９００と同様のプロセスを使用して得ることができる。プローブ方向インジケータ１０１０は、超音波イメージングシステム１３２のオペレータがプローブ１３４を（例えば、前方、後方、右、または左に）スライドさせること、および／またはプローブ１３４を回転させることを示す矢印を含み得る。いくつかの例では、プローブ方向インジケータ１０１０は、提案された移動の方向を指す矢印が強調表示されるか、点滅表示されるか、または他の方法でユーザの注意を視覚的に向けさせることができるようにアニメーション化され得る。

上記で説明したアプリケーションユーザインタフェース１０００は、単に例として提供されており、かつ図１０に示されているものよりも追加の、より少ない、異なる、または異なって構成された情報を含み得る。

介入的観察の器具の位置および軌跡の予測および視覚化
例えば、患者の体内に挿入された器具を視覚化して、医師が器具を意図した標的領域に安全に案内するのを支援するために、医師は、処置中に電子医用画像を利用し得る。器具は、治療または外科手術等の処置の一部として体内に挿入される任意のデバイス、ツール、または物体を含み得る。例えば、医師は、痛みを軽減するための治療の一部として、肩の筋肉にステロイドを含む薬剤シリンジの針を挿入し得る。そのような例では、医師が超音波イメージングを使用して、針を筋肉の特定の領域に案内し得る。加えて、超音波ガイドした手術がますます一般的になってきている。例えば、肩の超音波ガイド下針生検を行って、肩内で識別された腫瘤の少なくとも一部を摘出して、その腫瘤が癌性、前癌性、または良性であるかどうかを判定し得る。

多くの場合、位置を特定する器具の重要な部分は、身体の標的領域に対して所与の動作を実行するために使用される器具の遠位端（例えば、先端、またはオペレータから最も離れた器具の端部）である。例えば、針生検では、器具の遠位端は、腫瘤または病変等の標的領域から組織を摘出する生検針の先端であり得る。従って、遠位端の正確な位置は、遠位端が身体の異なる非標的領域に作用することを防止するために（例えば、隣接する臓器を穿刺することを防止するために）必要であり得る。現在、超音波イメージングデバイスのオペレータが器具の遠位端の位置を特定するためには、オペレータは、プローブの位置が、器具の遠位端が体内のどこにあるかをオペレータが確認することができる画像をキャプチャするまで、イメージングデバイスのプローブを（例えば、プローブを回転させる、スライドさせる、またはヒール・トーイングすることによって）手動で操作しなければならない。オペレータは、器具の遠位端の視覚化を継続するために、器具を標的に向かって前進させながら、これらの操作を繰り返し行う必要があり得る。

現在の手動技法を改善するために、図１１～図１２に提示される技法は、入力医用画像に基づいて、処置中に器具の位置を（例えば、リアルタイムで）予測する機械学習モデルの訓練および使用を説明する。加えて、図１３～図１４に記載されるように、別の機械学習モデルが意図された標的への器具の軌跡を予測するために訓練され使用され得る。図１５に示されるように、他の情報の中でもとりわけ、医用画像上にオーバーレイ表示された器具の予測された位置および軌跡を含む視覚化情報が、医師に対して表示され得る。

図１１は、本明細書で提示される例示的な技法による、器具の位置を予測するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法１１００を示すフローチャートを示す。例示的な方法１１００（例えば、ステップ１１０２～１１０６）は、システム１１６によって実行され得る。例示的な方法１１００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１１０２において、複数の訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。訓練用医用画像は、器具が存在する解剖学的構造の超音波画像を含み得る。例えば、器具は生検針であり得る。訓練用医用画像は、画像シーケンスのサブセットから構成され得る。画像シーケンスのサブセット内の各画像は、プローブ１３４の位置を移動させることなく、超音波イメージングシステム１３２の別の設定でキャプチャされ得る。別の設定は、変化する深度および対応する周波数（例えば、深度が増加するにつれて周波数が低く設定されるため）を含み得る。例えば、画像シーケンスのサブセットは、第１の深度－周波数の組合せでキャプチャされた患者の解剖学的構造の第１の画像、第２の深度－周波数の組合せでキャプチャされた患者の解剖学的構造の第２の画像、第３の深度－周波数の組合せでキャプチャされた患者の解剖学的構造の第３の画像などを含み得る。各サブセット内の画像シーケンスは、２つの異なる深度－周波数の組合せでキャプチャされた同じ患者の解剖学的構造の少なくとも２つの画像を含み得る。

いくつかの例では、訓練用医用画像は、ステップ１１０４において機械学習モデルを生成しかつ訓練するために教師あり学習技法が実施され得るようにラベル付けされ得る。例えば、画像は、器具の少なくとも一部を識別する注釈を含み得る。いくつかの例では、識別される部分は、器具の少なくとも遠位端を含み得る。注釈は、画像内に存在する解剖学的構造を示し得る。他の例では、訓練用医用画像はラベル付けされていなくてもよく、ステップ１１０４において機械学習モデルを訓練するために教師なし学習技法が実施され得る。訓練用医用画像はまた、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。

ステップ１１０４において、複数の訓練用医用画像を使用して、器具の位置を予測するための機械学習モデルが生成され訓練され得る。例えば、訓練用医用画像の第１の画像シーケンスのサブセットが機械学習モデルに入力され得る。機械学習モデルは、サブセット内に含まれる器具の少なくとも一部の位置を予測し得る。いくつかの例では、予測は、器具の遠位端の予測された位置を含み得る。例えば、機械学習モデルは、画像内の器具の少なくとも一部を識別し、次いで、器具の向きおよび／または長さを決定し得る。

いくつかの例では、訓練用医用画像がラベル付けされており、教師あり学習技法が機械学習モデルを訓練するために実施される場合、訓練用医用画像のための機械学習モデルによって出力された器具の予測された位置は、損失または誤差を決定するために、訓練用医用画像に対応するラベルと比較され得る。例えば、第１の画像シーケンスのサブセット内の器具の予測された位置は、対応するラベルによって識別された第１の画像シーケンスのサブセット内の器具の少なくとも一部の既知の位置と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、訓練用医用画像内の各画像シーケンスのサブセットに対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像内の画像シーケンスのサブセットおよび対応するラベルの少なくとも一部は、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。他の例では、教師なし学習技法が機械学習モデルを訓練するために実施される場合、所与の画像シーケンスのサブセットについて、機械学習モデルは、個別の画像シーケンスのサブセット内の各画像から特徴として器具の少なくとも一部を抽出し、特徴としての器具の識別に基づいて（例えば、クラスタリングを使用して）サブセット内のパターンを識別し得る。教師ありまたは教師なしのいずれの例においても、一旦、器具の少なくとも一部が識別されると、遠位端の位置を決定することができる。いくつかの例では、遠位端の決定は、器具の既知の長さまたはサブセットの画像シーケンスからの他の画像などの他の情報によってさらに円滑に進め得る。

機械学習モデルが十分に訓練されると、ステップ１１０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、異なるタイプの器具（例えば、異なる形状、サイズなどを有する器具）に関連する器具の位置を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法１１００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定のタイプの器具（例えば、針）に関連する器具の位置を予測する。医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図１２は、本明細書で提示される例示的な技法による、器具の位置を予測するための例示的な方法１２００を示すフローチャートを示す。例示的な方法１２００（例えば、ステップ１２０２～１２０８）は、システム１１６によって実行され得る。例示的な方法１２００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１２０２において、器具の挿入後の医用画像シーケンスがコンピューティングデバイスから受信され得る。医用画像シーケンスは超音波画像シーケンスであり得、コンピューティングデバイスは、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６であり得る。例えば、超音波イメージングシステム１３２は、標的に到達するための患者の身体内への器具の挿入を伴う処置を案内し得る。１つの例示的な処置は、針が生検のために標的腫瘤または病変に到達するように挿入される針生検処置であり得る。処置中に挿入された器具の視覚化情報を医師に提供するために、超音波イメージングシステム１３２のプローブ１３４が、イメージングコンピューティングデバイス１３６によって画像が作成されるときの調節可能な周波数および深度で音波を送受信するために使用され得る。いくつかの例では、長軸アプローチを実行して、器具の長軸（ＬＡＸ：ｌｏｎｇ－ａｘｉｓ）ビューを有する画像を生成し得る。ＬＡＸビューは、体内に挿入された器具の長手方向ビューであり得、例えば、器具の長さを視認することができる。ステップ１２０２で受信された医用画像のシーケンスは、プローブ１３４の位置が固定され続けている間に、異なる周波数および深度でプローブ１３４によって送信および受信された音波からイメージングコンピューティングデバイス１３６によって作成された少なくとも２つの医用画像を含み得る。

いくつかの例では、システム１１６は、超音波イメージングシステム１３２のオペレータが器具の挿入に続いて医用画像のシーケンスをキャプチャするための音声プロンプトまたは視覚プロンプトを表示させる命令をイメージングコンピューティングデバイス１３６に提供し得、医用画像のシーケンスは、プロンプトに応答して受信され得る。例えば、イメージングコンピューティングデバイス１３６上で動作するアプリケーションは、体内に挿入された器具の位置を特定するための器具位置特定機能を含み得、プロンプトを表示させるための命令は、オペレータが器具位置特定機能を選択することに応答して、超音波イメージングシステム１３２のディスプレイ１３８上のアプリケーションユーザインタフェースを介して提供および表示され得る。いくつかの例では、器具位置特定機能の選択の一部として、オペレータはまた、方法１２００の後続のステップにおいて使用され得る器具のタイプ（例えば、生検針）および／または器具のサイズパラメータ（例えば、生検針の長さおよび／または直径）等の追加の入力を提供し得る。表示されたプロンプトは、医用画像シーケンスを作成するために音波がプローブ１３４によって送信および受信される様々な深度および周波数の組み合わせをオペレータに指示し得る。例えば、命令は、第１の画像のシーケンスの作成するために音波が最初にプローブ１３４によって送受信される第１の深度および周波数、第２の画像のシーケンスを作成するために音波が後にプローブ１３４によって送受信される第２の深度および周波数などを含み得る。プロンプトはさらに、オペレータが画像のキャプチャの間に深度および周波数設定を調整する際に、プローブ１３４を同じ位置に配置された状態に維持するようにオペレータに指示し得る。

他の例では、（例えば、システム１１６からの命令に基づいて）アプリケーションは、医用画像のシーケンスの自動キャプチャを可能にするために、プローブ１３４によって音波が送信されるときの深度および周波数の自動調整を行わせる信号をイメージングコンピューティングデバイス１３６に提供し得る。

ステップ１２０４において、医用画像のシーケンスは、図１１を参照して説明した方法１１００を用いて訓練された訓練済みの機械学習モデルなどの、器具の位置を予測するための訓練済みの機械学習モデルに入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法１１００が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、器具のタイプが、器具位置特定機能の選択の一部として医師によって示されるとき、特定のタイプの器具を識別するように訓練された機械学習モデルのみが動作され得る。加えて、器具位置特定機能の選択の一部としてオペレータによって入力された器具の任意のサイズパラメータが、訓練済みの機械学習システムにさらなる入力として提供され得る。

ステップ１２０６において、予測された位置は、訓練済みの機械学習モデルから出力として受信され得る。予測された位置は、少なくとも器具の遠位端を含み得る。予測された位置はまた、器具の向きおよび／または長さを含み得る。例えば、機械学習モデルは、画像内の器具の少なくとも一部を識別し、次いで、器具の向きおよび／または長さを決定し得る。いくつかの例では、訓練済みの機械学習モデルから出力された予測された位置は、その後、以下の図１３および図１４を参照して詳細に説明される器具の軌跡を予測するためのプロセスなどの別のプロセスに入力として提供され得る。

ステップ１２０８において、器具の予測された位置の視覚化情報が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図２を参照して説明された後処理ステップ２０６における予測に基づいて生成され、かつイメージングコンピューティングデバイス１３６上で実行されるアプリケーションを介して表示のために提供され得る。視覚化により、解剖学的構造に対する器具の少なくとも遠位端の予測された位置が示されて、医師が器具と解剖学的構造との間に意図しない接触が生じていないことを確認することが可能となる。

いくつかの例では、視覚化情報は、器具の直交ビューを同時に示す少なくとも２つの医用画像を含み得る。例えば、第１の画像は、器具の長さが視認可能であり得る器具のＬＡＸビューであり得、第１の画像は、受信した画像のシーケンスからの１つの画像（例えば、人間の目によってより容易に視認可能である所与の深度および周波数における画像）であり得る。第２の画像は、器具の遠位端のみが視認可能であるように、ＬＡＸビューに直交する器具の短軸（ＳＡＸ：ｓｈｏｒｔ－ａｘｉｓ）ビューであり得る。ＳＡＸビューは、プローブが２方向同時（ｂｉｐｌａｎｅ）イメージングが可能である場合にはＬＡＸビューと同じプローブによって同時にキャプチャされ得、かつ／または超音波イメージングシステム１３２の異なるプローブによってＬＡＸビューと同時にキャプチャされ得る。各画像において、器具の予測された位置、特に器具の遠位端の予測された位置が視覚的に示され得る。器具の直交ビューを示す２つの医用画像を有する視覚化情報を表示する例示的なアプリケーションユーザインタフェースが、以下に説明するように図１５に示されている。

他の例では、視覚化情報は、解剖学的構造の三次元（３Ｄ）表現を含み得る。３Ｄ表現は、医用画像のシーケンスから生成され得る。加えて、訓練済みの機械学習モデルによって出力される器具の予測された位置は、３Ｄ表現が器具、特に器具の遠位端の予測された位置を視覚的に示すように、生成プロセスの一部として利用され得る。

いくつかの例では、例示的な方法１２００は、器具が移動されるときに器具の少なくとも遠位端を追跡し続けるために、器具が体内にさらに挿入される際に繰り返され得る。
図１１～図１２を参照して上述したように、訓練済みの機械学習モデルは、器具の位置が予測される際に異なる深度および周波数でキャプチャされた医用画像シーケンスを受信するように訓練され得る。例えば、プローブ１３４が、キャプチャされた所与の画像に対して器具の長軸と一致していない場合、モデルは、画像がキャプチャされた所与の深度／周波数における器具の断面の位置のみを学習／予測し得る。従って、器具の全長が訓練済みの機械学習モデルによって学習および予測されることを可能にするためには、異なる深度および周波数における複数の医用画像が必要とされ得る。

他の態様では、機械学習モデルは、１つの医用画像を使用して器具の位置を予測するように訓練され得る（例えば、プローブ１３４が器具の長軸と実質的に一致しているときに医用画像がキャプチャされる場合）。加えて、プローブ１３４が、現在キャプチャされている医用画像において器具の長軸と実質的に一致していない場合、器具のより良好な視野角（例えば、器具の長軸を示す視野角）を有する画像をキャプチャするようにプローブの位置および／または向きを調整するように、オペレータにプロンプトを提供し得る。例えば、器具の画像が最適であるか否かの判定、および画像が最適でない場合にプローブを移動させるための提案される方向の後続の決定は、図８～図９を参照して上述した同様のプロセスを使用して決定され得る。器具のより良好な視野角を有する医用画像がキャプチャされると、医用画像は、１つの医用画像を使用して器具の位置を予測するように訓練された機械学習モデルに入力として提供され得る。

図１３は、本明細書に提示される例示的な技法による、器具の軌跡を予測するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法１３００を示すフローチャートを示す。例示的な方法１３００（例えば、ステップ１００２～１００６）は、システム１１６によって実行され得る。例示的な方法１３００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１３０２において、器具および器具の標的を各々が含む複数のラベル付けされた訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。例えば、訓練用医用画像は、患者への器具の挿入後の所与の位置における器具と、解剖学的構造に関連する器具の標的とを含む、患者の解剖学的構造の超音波画像であり得る。訓練用医用画像は、解剖学的構造、器具、標的、挿入された器具の進入角度（例えば、挿入角度）、標的に接近している器具の少なくとも遠位端の位置、および／または標的の位置を特定する注釈によってラベル付けされ得る。加えて、訓練用医用画像の各々は、器具の遠位端から標的までの器具の既知の軌跡を示す、対応するグラウンドトゥルースラベルを有し得る。

訓練用医用画像は、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。

ステップ１３０４において、複数のラベル付けされた訓練用医用画像を使用して、器具の軌跡を予測するための機械学習モデルが生成され訓練され得る。例えば、器具および器具の標的を含む訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、器具の遠位端から標的までの器具の軌跡を予測し得る。機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された軌跡を、訓練用医用画像に対応するグラウンドトゥルースラベルと比較して、損失または誤差を決定し得る。例えば、第１の医療訓練用画像の予測された軌跡は、第１の訓練用医用画像の対応するグラウンドトゥルースラベルによって特定された器具の遠位端から標的までの器具の既知の軌跡と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用医用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用医用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

機械学習モデルが十分に訓練されると、ステップ１３０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、異なるタイプの器具（例えば、異なる形状、サイズなどを有する器具）に関連する器具の軌道を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法１３００は、機械学習モデルの集合を生成し訓練するために実行され得、各モデルは、特定のタイプの器具（例えば、針）に関連する器具の軌跡を予測する。医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図１４は、本明細書に提示される例示的な技法による、器具の軌跡を予測するための例示的な方法を示すフローチャートを示す。例示的な方法１４００（例えば、ステップ１４０２～１４１２）は、システム１１６によって実行され得る。例示的な方法１４００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１４０２において、挿入された器具および器具の標的を含む医用画像のシーケンスがコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６であり得る。超音波イメージングシステム１３２は、生検のために標的腫瘤または標的病変に到達するように針が挿入される針生検処置等の、標的に到達するための患者の身体内への器具の挿入を伴う処置を案内し得る。処置中に挿入された器具の視覚化情報を医師に提供するために、プローブ１３４が、イメージングコンピューティングデバイス１３６によって画像が作成されるときの調節可能な周波数および深度で音波を送受信するために使用され得る。いくつかの例では、図１２を参照してより詳細に上述したように、長軸アプローチを実行して、器具のＬＡＸビューを有する画像を生成し得る。ステップ１４０２で受信された医用画像のシーケンスは、プローブ１３４の場所または位置が固定され続けている間に、異なる深度および周波数でプローブ１３４によって送信および受信された音波からイメージングコンピューティングデバイス１３６によって作成された少なくとも２つの医用画像を含み得る。

方法１２００のステップ１２０２を参照して詳細に説明されるように、いくつかの例では、医用画像のシーケンスは、変化する深度－周波数の組合せで各画像のシーケンスをキャプチャするためにアプリケーションユーザインタフェースを介してオペレータに提供されるプロンプトに応答して受信され得る。プロンプトは、器具位置特定機能の選択の選択時に表示され得、このプロンプトによって、方法１４００の後続のステップにおいて使用され得る器具のタイプ（例えば、生検針）および／または器具のサイズパラメータ（例えば、生検針の長さおよび／または直径）等の追加の入力をオペレータに提供させ得る。他の例では、（例えば、システム１１６からの命令に基づいて）アプリケーションは、医用画像のシーケンスの自動キャプチャを可能にするために、プローブ１３４によって音波が送信されるときの深度および周波数の自動調整を行わせる信号をイメージングコンピューティングデバイス１３６に提供し得る。

ステップ１４０４において、器具の予測された位置を取得するために、医用画像のシーケンスが第１の訓練済みの機械学習モデルに入力として提供され得る。器具の予測された位置は、少なくとも器具の遠位端を含み得る。第１の訓練済みの機械学習モデルは、図１２および図１３を参照して説明される器具の位置を予測するために訓練され使用される機械学習モデルであり得る。

ステップ１４０６において、器具の挿入角度は、器具の挿入位置および器具（特に器具の遠位端）の予測された位置に基づいて決定され得る。器具の挿入位置は、医用画像のシーケンスから抽出され得る。いくつかの例では、オペレータは、追跡機能の選択の一部として、器具の挿入位置を入力し得る。

ステップ１４０８において、医用画像シーケンス、器具の予測された位置、および器具の挿入角度は、器具の軌跡を予測するための第２の訓練済みの機械学習モデルに入力として提供され得る。任意選択的に、器具位置特定機能の選択の一部として提供される器具の任意のサイズパラメータも入力として提供され得る。第２の訓練済みの機械学習モデルは、図１３を参照して説明した方法１３００を使用して訓練された訓練済みの機械学習モデルであり得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法１３００が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、器具のタイプが器具位置特定機能の選択の一部として示されるとき、特定のタイプの器具を識別するように訓練された機械学習モデルのみが動作され得る。

ステップ１４１０において、標的に到達するための器具の予測された軌跡が、第２の訓練済みの機械学習モデルの出力として受信され得る。例えば、予測された軌跡は、器具の遠位端から標的までの経路であり得る。ステップ１４１２において、予測された軌跡の視覚化情報が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図２を参照して説明された後処理ステップ２０６における予測に基づいて生成され、かつイメージングコンピューティングデバイス１３６上で実行されるアプリケーションを介して（例えば、ディスプレイ１３８上への）表示のために提供され得る。

いくつかの例では、視覚化情報は、器具の直交ビューを同時に示す少なくとも２つの医用画像を含み得る。例えば、第１の画像は、器具の長さが視認可能であり得る器具のＬＡＸビューであり得、第１の画像は、受信した医用画像のシーケンスからの１つの画像であり得る。いくつかの例では、シーケンスから選択された画像は、人間の目によって最も容易に視認可能な所与の深度および周波数における画像であり得る。第２の画像は、器具の遠位端のみが視認可能であるように、ＬＡＸビューに直交する器具の短軸（ＳＡＸ：ｓｈｏｒｔ－ａｘｉｓ）ビューであり得る。ＳＡＸビューは、プローブが２方向同時イメージングが可能である場合にはＬＡＸビューと同じプローブによって同時にキャプチャされ得、かつ／または異なるプローブによってＬＡＸビューと同時にキャプチャされ得る。ＬＡＸビューを含む少なくとも第１の画像において、器具の予測された軌跡は視覚的なものである。加えて、第１および第２の画像の各々において、器具の予測された位置、特に器具の遠位端の予測された位置が視覚的に示され得る。器具の直交ビューを示す２つの医用画像を有する視覚化情報を表示する例示的なアプリケーションユーザインタフェースが、以下に説明するように図１５に示されている。

他の例では、視覚化情報は、解剖学的構造の三次元（３Ｄ）表現を含み得る。３Ｄ表現は、医用画像のシーケンスから生成され得る。加えて、訓練済みの機械学習モデルによって出力される器具の予測された軌跡および／または器具の予測された位置は、３Ｄ表現が、標的に到達するための器具の予測された軌跡および／または器具（特に、器具の遠位端）の予測された位置を視覚的に示すように、生成プロセスの一部として利用され得る。

例示的な方法１４００は、処置の間中、器具の位置および標的に到達するための器具の軌跡の連続的な視覚化を可能にするために、オペレータがプローブ１３４を移動させる際に繰り返され得る。

図１３および図１４において上述した例は、図１１および図１２において説明したモデルなどの、器具の位置を予測するための第１の機械学習モデルとは別個である、器具の軌跡を予測するための第２の機械学習モデルの訓練および実装を含む。他の例では、器具の軌跡を予測するための第２の機械学習モデルを訓練しかつ実装するのではなく、システム１１６は、器具の位置を予測するための第１の機械学習モデルによって予測された器具の位置に基づいて（例えば、器具の決定された向きおよび／または長さ、および挿入角度に基づいて）、器具の軌跡を計算により決定し、かつ視覚的に投影し得る。

図１５は、予測された器具の位置および軌跡を表示する例示的なアプリケーションユーザインタフェース１５００である。例えば、針生検処置などの処置中に、アプリケーションユーザインタフェース１５００は、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６上で動作しているシステム１１６に関連するアプリケーションを介してディスプレイ１３８上に提示され得る。ユーザインタフェース１５００は、針などの器具１５０６の直交ビューを有する画像１５０２、１５０４を同時に表示し得る。例えば、第１の画像１５０２は、器具１５０６のＬＡＸビューであり得、第２の画像１５０４は、器具１５０６の遠位端１５０８のみが視認可能であるような、ＬＡＸビューに直交する器具１５０６のＳＡＸビューであり得る。第１および第２の画像１５０２、１５０４の各々において、図１１を参照して説明した例示的な方法１１００を使用して予測された器具の遠位端１５０８の位置が視覚的に示され得る。例えば、遠位端１５０８は、器具１５０６の残りの部分から遠位端１５０８を区別するために、強調表示されるか、陰影付けられるか、または着色され得る。

加えて、第１の画像１５０２に示されるように、器具の標的１５１０（例えば、針が生検するための腫瘤）、および器具に関する（例えば、遠位端１５０８から）標的１５１０までの予測された軌跡１５１２も表示され得る。予測された軌跡１５１２は、図１３を参照して説明した例示的な方法１３００に基づいて決定され提供され得る。

さらに、ユーザインタフェース１５００は、例えば、器具１５０６（特に、器具１５０６の遠位端１５０８）のより最適な画像をキャプチャするために、超音波イメージングシステム１３２のプローブ１３４を移動させるための方向を提案するプローブ方向インジケータ１５１４を含み得る。プローブ方向インジケータ１５１４は、オペレータがプローブを（例えば、前方、後方、右、または左に）スライドさせること、および／またはプローブを回転させることを示す矢印を含み得る。プローブ方向インジケータ１５１４は、提案された移動の方向を指す矢印が強調表示されるか、点滅表示されるか、または別の方法でオペレータの注意を視覚的に向けさせることができるようにアニメーション化され得る。器具の画像が最適であるか否かの判定、および画像が最適でない場合にプローブを移動させるための提案される方向の後続の決定は、図８～図９を参照して上述した同様のプロセスを使用して決定され得る。

診断観察および介入観察の解剖学的特徴の識別、視覚化、およびプローブと解剖学的特徴のアライメント（Ｐｒｏｂｅ－Ａｎａｔｏｍｉｃａｌ Ｆｅａｔｕｒｅ Ａｌｉｇｎｍｅｎｔ）
図１６～図１７に提示される技法は、超音波イメージングシステム１３２によって（例えば、ディスプレイ１３８を介して）表示される超音波画像内でラベル付けされた解剖学的特徴のリアルタイム識別および視覚化を可能にする機械学習モデルの訓練および使用を説明する。加えて、関心のある解剖学的特徴の識別および視覚化の際に、超音波イメージングシステム１３２のプローブ１３４が移動されるときに、解剖学的特徴がマークされて、コンテキストアウェア（ｃｏｎｔｅｘｔ－ａｗａｒｅ）イメージングをオペレータに提供し得る。図１８～図１９に提示される技法は、例えば、図１６～図１７を参照して説明される機械学習モデルの出力として識別される解剖学的特徴とのプローブアライメントを検出するために訓練され使用される別の機械学習モデルを説明する。

例示的な例を提供するために、超音波イメージングシステム１３２のオペレータがプローブを正中神経に沿って手根管内に移動させると、手根管内の深度の変化に続いて、遠位トンネルがより小さい神経に分岐するため、人間の眼では遠位トンネルにおいて視認することが困難になる。例えば、手根管症候群を治療するための特定の画像ガイド下処置は、患者の身体のこの領域にナイフなどの鋭利な道具を挿入することを含み得る。処置をガイドするために表示された画像内に存在する解剖学的特徴（例えば、静脈、動脈、神経、腱、靭帯、軟骨、筋肉、骨など）のリアルタイム識別および視覚的ラベル付けにより、ナイフが所望の解剖学的特徴（意図しない解剖学的特徴ではない）に対して挿入されているという医師の確信を高めることができる。

図１６は、本明細書に提示される例示的な技法による、解剖学的特徴を識別するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法１６００を示すフローチャートを示す。例示的な方法１３００（例えば、ステップ１６０２～１６０６）は、システム１１６によって実行され得る。例示的な方法１６００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１６０２において、複数の訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。訓練用医用画像は、複数の解剖学的特徴を有する解剖学的構造の超音波画像を含み得る。例えば、超音波画像は、手首のものであり得、解剖学的特徴は、（例えば、画像のビューに応じて）骨、神経、靭帯、および／または腱を含み得る。いくつかの例では、解剖学的特徴に対する注釈は、その構造に対する特定の解剖学的特徴ではなく、静脈、動脈、血管、骨、神経、靭帯、腱、軟骨などの解剖学的特徴のより広いカテゴリであり得る。言い換えれば、画像が手首のものである例を続けると、画像は、正中神経ではなく神経、および尺骨動脈ではなく動脈と注釈が付けられ得る。訓練用医用画像は、複数の異なるタイプの解剖学的構造（例えば、手首、膝関節、肩関節など）について受信され得る。

訓練用医用画像は、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から特徴として抽出されるか、または他の方法で訓練用医用画像から除去され、かつステップ８０４において機械学習モデルを訓練する際に使用するためのグラウンドトゥルースラベルとして別個に保存され得る。代替的に、注釈は、訓練用医用画像とは別個であるが、訓練用医用画像に対応して受信され得る。

ステップ１６０４において、複数の訓練用医用画像を使用して、解剖学的構造の標的画像内の複数の解剖学的特徴を識別するための機械学習モデルが生成され訓練され得る。例えば、解剖学的構造の訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、予測として、解剖学的構造の解剖学的特徴を出力し得る。

機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された解剖学的特徴を、訓練用医用画像に対応するグラウンドトゥルースラベル（例えば、解剖学的特徴の注釈）と比較して、損失または誤差を決定し得る。例えば、解剖学的構造の第１の訓練用画像内で識別された解剖学的特徴は、対応するグラウンドトゥルースラベル内の注釈によって示された解剖学的構造の第１の訓練用画像内の既知の解剖学的特徴と比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

機械学習モデルが十分に訓練されると、ステップ１６０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、複数の異なる解剖学的構造内の解剖学的構造を識別するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法１６００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定の解剖学的構造の解剖学的特徴を識別する（例えば、１つのモデルは、肩関節の解剖学的特徴を識別し得、別のモデルは、手首の解剖学的特徴を識別し得、さらなるモデルは、膝関節の解剖学的特徴を識別し得る等）。医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図１７は、本明細書に提示される例示的な技法による、医用画像において識別された解剖学的構造の解剖学的特徴を視覚化するための例示的な方法１７００を示すフローチャートを示す。例示的な方法１７００（例えば、ステップ１７０２～１７０８）は、システム１１６によって実行され得る。例示的な方法１７００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１７０２において、解剖学的構造の医用画像（例えば、標的画像）がコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６であり得る。超音波イメージングシステム１３２は、検査中の患者の診断を円滑に進め、かつ／または介入を案内し得る。医用画像は、プローブ１３４から送受信される音波からイメージングコンピューティングデバイス１３６によって生成され、かつ例えば、イメージングコンピューティングデバイス１３６上で動作しているシステム１１６に関連するアプリケーションを介してリアルタイムで受信され得る。いくつかの例では、オペレータはまた、アプリケーションユーザインタフェースを介して、イメージングされる解剖学的構造のタイプ（例えば、手首、肩関節、膝関節等）を入力し得る。

ステップ１７０４において、医用画像は、図１６を参照して説明した方法１６００を用いて訓練された訓練済みの解剖学的特徴識別機械学習モデルなどの、解剖学的構造の解剖学的特徴を識別するための訓練済みの機械学習モデルに入力として提供され得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法１６００が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、解剖学的構造のタイプが医師によって選択された場合、選択された解剖学的構造のタイプの解剖学的特徴を識別するように訓練された機械学習モデルのみが実行される（例えば、計算リソースを節約するために）。

ステップ１７０６において、医用画像において識別された解剖学的特徴は、訓練済みの機械学習モデルから出力として（例えば、予測として）受信され得る。機械学習モデルを訓練するために使用される注釈の特異性のレベルに基づいて、識別される解剖学的特徴は、解剖学的特徴の広いカテゴリ（例えば、神経、動脈、骨）であり得るか、または所与の解剖学的構造の特定の解剖学的特徴（例えば、正中神経、尺骨動脈、豆状手根骨）であり得る。

ステップ１７０８において、医用画像内で識別された解剖学的特徴の視覚化情報が、表示のためにコンピューティングデバイスに提供され得る。例えば、視覚化情報は、図２を参照して説明された後処理ステップ２０６における予測に基づいて生成され得る。いくつかの例では、視覚化内で、識別された解剖学的特徴は、視覚方式（ｖｉｓｕａｌ ｓｃｈｅｍｅ）を使用してラベル付けされ得るか、または互いに区別され得る。例えば、解剖学的特徴のカテゴリごとに、異なる色、陰影付け、パターン化、および／または強調表示を使用し得る。例えば、第１の色は骨を識別するために使用され得、第２の色は神経を識別するために使用され得、第３の色は腱を識別するために使用され得る等である。視覚化情報を表示する例示的なアプリケーションユーザインタフェースが、以下に説明するように図１８に示されている。解剖学的特徴は、全ての軸においてラベル付けされ得る。

いくつかの例では、訓練済みの機械学習モデルによって識別され出力される解剖学的構造の解剖学的特徴は、別のプロセスに入力として提供され得る。１つの例示的なプロセスは、以下の図１９および図２０を参照して説明されるように、識別された解剖学的特徴のうちの１つまたは複数とのプローブアライメントを検出するためのプロセスを含み得る。別の例示的なプロセスは、コンテキストアウェアイメージングを可能にし得る。例えば、医用画像内で識別された１つまたは複数の解剖学的特徴は、オペレータがプローブを移動させて解剖学的構造の後続の画像をキャプチャする際に、継続して観察するためにマーク付けされ得る。いくつかの例では、オペレータは、例えば、アプリケーションを介して、どの解剖学的特徴が継続して観察するためにマーク付けされるべきかを指示する入力を提供し得る。例えば、オペレータは、マーク付けされるべき解剖学的特徴に対応する医用画像のエリアにおいてコンピューティングデバイスのディスプレイにタッチ入力を提供し得る。医用画像に関連するプローブの位置に対する、継続的な観察のためにマーク付けされた個別の解剖学的特徴の位置が、基準として使用するために特定され得る。

解剖学的構造自体の位置は、固定されている。即ち、プローブのみが動いており、患者の体内の解剖学的構造は動いていない。従って、プローブの動きの前にプローブに対する解剖学的特徴の第１の位置（例えば、基準）を認識し、プローブの動きを決定することによって、プローブの動きに対する解剖学的特徴の第２の位置が決定され得る。プローブの動きは、加速度計、ジャイロスコープ、および／または慣性センサなど、プローブに取り付けられたセンサを使用して検出され得る。一旦、決定されると、解剖学的特徴の第２の位置は、プローブの移動時に生成された対応する医用画像内に視覚的に示され得る。

図１８は、解剖学的構造の医用画像１８０２内で識別された解剖学的構造の解剖学的特徴の視覚化情報１８０４を表示する例示的なアプリケーションユーザインタフェース１８００である。アプリケーションユーザインタフェース１８００は、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６などのコンピューティングデバイス上で実行されているシステム１１６に関連するアプリケーションのユーザインタフェースであり得る。超音波イメージングシステム１３２が患者の解剖学的構造をイメージングするように動作しているとき、アプリケーションユーザインタフェース１８００は、オペレータ（例えば、医師）が患者のイメージングを継続しながら視覚化情報１８０４を観察することができるように、ディスプレイ１３８上に表示され得る。この例示的な例では、イメージングされる解剖学的構造は、患者の手首であり得る。

視覚化情報１８０４内の、（例えば、図１７を参照して上述した方法１７００を介して）医用画像１８０２内で識別された手首の解剖学的特徴は、視覚方式を使用してラベル付けされるかまたは互いに区別され得る。アプリケーションユーザインタフェース１８００は、識別された解剖学的特徴の各々にラベル付けするために使用される視覚方式の画像を観察している医師に知らせるための凡例１８０６または他の同様のキーを含み得る。例えば、医用画像１８０２内で識別された手首の解剖学的特徴は、他の例の中でも特に、神経１８０８、骨１８１０、および腱１８１２を含み得、解剖学的特徴の各カテゴリは、医用画像１８０２内で異なるアウトライン方式でラベル付けされ得る。例えば、凡例に示すように、医用画像１８０２内で、神経１８０８を識別するために第１の輪郭パターンが使用され得、骨１８１０を識別するために第２の輪郭パターンが使用され得、腱１８１２を識別するために第３の輪郭パターンが使用され得る。他の例では、パターン化ではなく、視覚方式は、色、陰影付け、強調表示、および／または他の同様の視覚方式に基づいてもよい。

上記で説明したアプリケーションユーザインタフェース１８００は、単に例として提供されており、かつ図１８に示されているものよりも追加の、より少ない、異なる、または異なって構成された情報および／または視覚方式を含み得る。

図１９は、本明細書に提示される例示的な技法による、医用画像内で識別された解剖学的特徴とのプローブアライメントを検出するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法１９００を示すフローチャートを示す。例示的な方法１９００（例えば、ステップ１９０２～１９０６）は、システム１１６によって実行され得る。例示的な方法１６００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ１９０２において、複数のラベル付けされた訓練用医用画像が（例えば、ネットワーク１２０を介して医用画像データベース１６０から）受信され得る。訓練用医用画像は、複数の解剖学的特徴を有する解剖学的構造の超音波画像を含み得、超音波画像の各々は、超音波イメージングシステム１３２と同様の超音波イメージングシステムによって生成されている。いくつかの例では、訓練用医用画像は、複数の異なる解剖学的構造を表すものであり得る。訓練用医用画像は、超音波イメージングシステムのプローブが最適な画像を達成するためにアライメントされるべき解剖学的特徴など、少なくとも１つまたは複数の関心のある解剖学的特徴についての注釈を含み得る。１つの例示的な例として、最適な画像を得るためには、プローブは、関節の腱または靭帯繊維（本明細書では概して繊維と呼ばれる）と平行アライメント状態であり得る。繊維の矢状断面積（ｓａｇｉｔｔａｌ ｃｒｏｓｓ－ｓｅｃｔｉｏｎａｌ ａｒｅａ）（例えば、断面が繊維に沿って斜めに下がる）は、プローブが繊維と平行（例えば、インライン）アライメント状態に近づくにつれて減少する。対照的に、プローブがインラインアライメントから離れるにつれて、繊維の矢状断面積は再び増加する。加えて、訓練用医用画像は、１つまたは複数の解剖学的特徴がプローブと十分にアライメントされているか否かを示す対応するグラウンドトゥルースラベルを有し得る。いくつかの例では、対応するグラウンドトゥルースラベルはまた、所与のアライメントを生じさせたプローブに関連する向きの詳細を含み得る。

訓練用医用画像は、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。

ステップ１９０４において、複数のラベル付けされた訓練用医用画像を使用して、プローブと解剖学的特徴のアライメントが存在するかどうかを検出するための機械学習モデルが生成され訓練され得る。例えば、解剖学的構造の訓練用医用画像が機械学習モデルに入力され得る。機械学習モデルは、プローブが関心のある１つまたは複数の解剖学的特徴と十分なアライメント状態にあるかどうかを予測として出力し得る。例えば、出力は、十分なアライメント状態であるという予測または不十分なアライメント状態であるという予測のいずれかであり得る。いくつかの例では、出力はまた、結果的にアライメント状態が生じるプローブの予測された向きを含み得る。

機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力されたアライメント予測を、訓練用医用画像に対応するグラウンドトゥルースラベルと比較して、損失または誤差を決定し得る。例えば、第１の訓練用医用画像に対するアライメント予測は、対応するグラウンドトゥルースラベルによって識別された１つまたは複数の関心のある解剖学的特徴とのプローブのアライメントの既知の十分性または不十分性と比較され得る。加えて、アライメント予測出力が、結果的にアライメント状態が生じるプローブの予測された向きも含む場合、予測された向きは、対応するグラウンドトゥルースラベルに含まれるプローブの既知の向きと比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

機械学習モデルが十分に訓練されると、ステップ１９０６において、訓練済みの機械学習モデルは、その後の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、複数の異なる解剖学的構造についてプローブと解剖学的特徴のアライメントを予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法１９００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、所与の解剖学的構造について、プローブと関心のある特定の解剖学的特徴のアライメントがあるかどうかを予測する（例えば、１つのモデルは、肩関節についてプローブと解剖学的特徴のアライメントを検出するためのものであり、別のモデルは、手首についてプローブと解剖学的特徴のアライメントを識別するためのものである）。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図２０は、本明細書に提示される例示的な技法による、解剖学的構造の医用画像内で識別された解剖学的構造の１つまたは複数の解剖学的特徴とのプローブアライメントを検出するための例示的な方法２０００を示すフローチャートである。例示的な方法２０００（例えば、ステップ２００２～２０１０）は、システム１１６によって実行され得る。例示的な方法２０００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ２００２において、解剖学的構造の医用画像（例えば、標的画像）がコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６であり得る。超音波イメージングシステム１３２は、検査中の患者の診断を円滑に進め、かつ／または介入を案内し得る。医用画像は、プローブ１３４から送受信される音波からイメージングコンピューティングデバイス１３６によって生成され、かつ例えば、イメージングコンピューティングデバイス１３６上で動作しているシステム１１６に関連するアプリケーションを介してリアルタイムで受信され得る。いくつかの例では、オペレータはまた、アプリケーションユーザインタフェースを介して、イメージングされる解剖学的構造のタイプ（例えば、手首、肩関節、膝関節等）を入力し得る。

ステップ２００４において、医用画像は、医用画像において識別された解剖学的特徴を第１の訓練済みの機械学習モデルの出力として取得するために、第１の訓練済みの機械学習モデルに入力として提供され得る。第１の訓練済みの機械学習モデルは、図１６および図１７を参照して説明した解剖学的構造の解剖学的特徴を識別するための訓練済みの機械学習モデルであり得る。

ステップ２００６において、第１の訓練済みの機械学習モデルによって出力された識別された解剖学的特徴で注釈が付けられた医用画像は、プローブと解剖学的特徴のアライメントが存在するかどうかを予測するための第２の訓練済みの機械学習モデルに入力として提供され得る。即ち、第２の訓練済みの機械学習モデルは、医用画像をキャプチャするプローブ１３４が解剖学的構造に対する関心のある１つまたは複数の解剖学的特徴とアライメントされているかどうかを予測し得る。第２の訓練済みの機械学習モデルは、図１９を参照して説明した方法１９００を使用して訓練された訓練済みの機械学習モデルであり得る。機械学習モデルの集合を生成しかつ訓練するために例示的な方法１９００が使用される例では、医用画像は、並列に動作する機械学習モデルの集合の各機械学習モデルに入力として提供され得る。いくつかの例では、解剖学的構造のタイプが医師によって選択された場合、解剖学的構造のタイプに関連するプローブと解剖学的特徴のアライメントを予測するように訓練された（例えば、そのタイプの解剖学的構造に対する関心のある特定の解剖学的特徴（単数または複数）に基づいて訓練された）機械学習モデルのみが実行され得る（例えば、コンピューティングリソースを節約するために）。

いくつかの例では、医用画像は、第２の訓練済みの機械学習モデルに入力される前に、第１の訓練済みの機械学習モデルによって出力された全ての識別された解剖学的特徴で注釈が付けられ得る。他の例では、受信した医用画像は、所与の解剖学的構造に対して関心のある特定の解剖学的特徴（単数または複数）（例えば、識別された解剖学的特徴からの）のみで注釈が付けられ得る。

ステップ２００８において、アライメント予測は、第２の訓練済みの機械学習モデルの出力として受信され得る。アライメント予測は、プローブが解剖学的構造に対する関心のある解剖学的特徴（単数または複数）と十分なアライメント状態であるか、または不十分なアライメント状態であるかということを含み得る。加えて、アライメント予測は、結果的にアライメント状態またはミスアライメント状態が生じるプローブの予測された向きを含み得る。

ステップ２０１０において、アライメント予測の指示が、表示のためにコンピューティングデバイスに提供され得る（例えば、イメージングコンピューティングデバイス１３６上で実行されるアプリケーションを介して）。例えば、視覚化情報は、図２を参照して説明した後処理ステップ２０６におけるアライメント予測に基づいて生成され得る。一例として、予測が、プローブが解剖学的構造に対する関心のある解剖学的特徴（単数または複数）と十分なアライメント状態にあるというものである場合、プローブがアライメント状態にあり、従って最適な画像がキャプチャされていることをオペレータに通知するために、肯定的なアライメントインジケータが医用画像上にオーバーレイ表示され得る。別の例として、予測が、プローブが解剖学的構造に対する関心のある解剖学的特徴（単数または複数）と不十分なアライメント状態にあるというものである場合、プローブがアライメント状態ではなく、従って、他のより最適な画像がキャプチャされるべきであることをオペレータに通知するために、否定的なアライメントインジケータが医用画像上にオーバーレイ表示され得る。アライメントインジケータは、テキスト、グラフィックス、アニメーション、および／またはそれらの組み合わせを含み得る。

いくつかの例では、プローブが不十分なアライメント状態であり、アライメント予測が、結果的にミスアライメントが生じるプローブの予測された向きをさらに含む場合、アライメントおよび最適な画像のキャプチャを達成するために、予測された向きに対応するプローブの現在の向きを調整するようにオペレータを案内するための方向指示が生成され得る。例えば、訓練の一部として、第２の訓練済みの機械学習モデルは、ラベル付けされた訓練用医用画像からプローブと解剖学的特徴のアライメントに関連するプローブの向きを学習し得る。従って、プローブと解剖学的特徴のアライメントに関連する学習されたプローブの向きを現在のプローブの向きと比較して、現在のプローブの向きを学習されたプローブの向きに調整するための方向指示を生成し得る。いくつかの例では、方向指示は、図１０および図１５を参照して上述したプローブ方向インジケータと同様のプローブ方向インジケータの形態であり得る。次いで、例示的な方法２０００は、プローブが再方向付けされる（例えば、方向指示に応答して調整される）際に反復的に繰り返され得る。

方法２０００が繰り返し実行されている間のオペレータの経験の例示的な例を提供するために、オペレータは、プローブ１３４を第１の向き、第２の向き、第３の向きなどで（例えば、走査動作の一部として）、患者の皮膚に接触させて配置し得る。医用画像は、各向きでキャプチャされ、かつプローブと解剖学的特徴のアライメントを予測するために処理されて（例えば、方法２０００のステップを介して）、アライメントインジケータおよび／または方向指示がディスプレイ１３８上に表示され得る。最適な画像を得るためにプローブが関節の繊維と平行アライメント状態となり得る例示的な例に戻ると、繊維の矢状断面積は、プローブが繊維との平行（例えば、インライン）アライメントに近づくにつれて減少し、プローブがインラインアライメントから離れるにつれて再び増加する。この例を続けると、プローブが第１の向きにあるとき、オペレータは、予測されたミスアライメントに基づいてプローブを第２の向きに再方向付けするように指示され得る。ミスアライメントが与えられた場合、繊維の矢状断面積は、第１の向きに対応する医用画像内の第１の面積を有する。第２の向きにあるとき、オペレータは、予測された反対方向のミスアライメントに基づいて、プローブを第３の向き（例えば、第１の向きと第２の向きとの間の向き）に再方向付けするように指示され得る。例えば、ミスアライメントが与えられた場合、繊維の矢状断面積は、第２の向きに対応する医用画像内の第２の面積を有し、第２の面積は、第１の向きに対応する医用画像内の第１の面積よりも大きくなり得、これは、オペレータの再方向付けが走査中にアライメントをオーバーシュートしたことを示す。

診断観察および介入観察の最適な画像のキャプチャの決定
図２１は、本明細書で提示される例示的な技法による、最適な画像フレームを識別するために機械学習モデル（例えば、訓練される機械学習モデル１１８のうちの１つ）を訓練するための例示的な方法２１００を示すフローチャートを示す。例示的な方法２１００（例えば、ステップ２１０２～２１０６）は、システム１１６によって実行され得る。例示的な方法２１００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ２１０２において、筋骨格系障害によって影響を受けた解剖学的構造の複数のラベル付けされた訓練用医用画像が受信され得る。訓練用医用画像は、筋骨格系障害に関連する処置の一部として取得されるべき最小数の画像タイプに対応する複数の画像サブセットから構成され得る。例えば、画像サブセット内の各画像は、処置の一部として取得されるべき画像タイプに対応する。いくつかの例では、処置は、診断処置または治療処置であり得る。取得されるべき画像タイプは、解剖学的構造内の解剖学的特徴の特定の視野角を含み得る。１つの例示的な例として、処置は、手首の少なくとも３つの画像が第１の視野角、第２の視野角、および第３の視野角から取得されるべきである手根管症候群の診断処置であり得る。いくつかの例では、訓練用医用画像は、複数の異なるタイプの筋骨格系障害に関連する複数の異なる処置を表し得る。

訓練用医用画像は、画像タイプのうちの１つまたは複数の中に含まれるべき少なくとも任意の解剖学的特徴を含む、解剖学的構造の解剖学的特徴で注釈が付けられ得る。訓練用医用画像は、対応するグラウンドトゥルースラベルを有し得る。例えば、画像サブセット内の各画像は、個別の画像タイプに対して最適な画像または非最適な画像とラベル付けされ得る。いくつかの技法では、グラウンドトゥルースラベルはまた、結果的に最適な画像または非最適な画像が生じるプローブの向き（例えば、キャプチャされる視野角に影響を及ぼす）を含み得る。訓練用医用画像は、前処理（図２のステップ２０４で説明した前処理と同様の）され得る。いくつかの例では、前処理の一部として、注釈は、訓練用医用画像から抽出されるか、または他の方法で特定されて、訓練用医用画像とは別個のラベルを形成し得る。他の例では、注釈は、訓練用医用画像とは別個のラベルとして受信され得る。

ステップ２１０４において、複数のラベル付けされた訓練用医用画像を使用して、画像タイプごとに最適な画像を予測するための機械学習モデルが生成され得る。機械学習モデルを訓練するために、訓練用医用画像に対して機械学習モデルによって出力された予測を、訓練用医用画像に対応するグラウンドトゥルースラベルと比較して、損失または誤差を決定し得る。例えば、第１の画像タイプに対応する第１の画像サブセットの第１の訓練用医用画像に対しての最適である予想または非最適である予測は、訓練用医用画像に対しての最適であるか、または非最適である対応するグラウンドトゥルースラベルと比較され得る。さらに、予測出力が、結果的に最適な画像または非最適な画像が生じるプローブの予測された向きも含む場合、予測された向きは、対応するグラウンドトゥルースラベルに含まれるプローブの既知の向きと比較され得る。機械学習モデルは、機械学習モデルの精度を改善するために、誤差に基づいて修正または変更され得る（例えば、重みおよび／またはバイアスが調整され得る）。このプロセスは、各訓練用画像に対して、または少なくとも決定された損失または誤差が所定の閾値未満になるまで繰り返され得る。いくつかの例では、訓練用画像および対応するラベルの少なくとも一部が、保留され、かつ訓練済みの機械学習モデルをさらに検証またはテストするために使用され得る。

機械学習モデルが十分に訓練されると、ステップ２１０６において、訓練済みの機械学習モデルは、後続の使用のために（例えば、ストレージデバイス１１４に保存された訓練済みの機械学習モデル１１８のうちの１つとして）保存され得る。いくつかの例では、訓練済みの機械学習モデルは、複数の異なる筋骨格系障害に関連する複数の異なる処置に対して取得されるべき各画像タイプに対する最適な画像を予測するように生成され訓練された単一の機械学習モデルであり得る。他の例では、例示的な方法２１００は、機械学習モデルの集合を生成しかつ訓練するために実行され得、各モデルは、特定の筋骨格系障害に関連する特定の処置のために取得されるべき各画像タイプに対する最適な画像を予測する（例えば、１つのモデルは、手根管を診断するために取得されるべき各画像タイプに対する最適な画像を予測し得、別のモデルは、肩関節上の関心領域の針生検中に取得されるべき各画像タイプに対する最適な画像を検出し得る等）。解剖学的構造の医用画像を評価するために導入される場合、機械学習モデルの集合は、並列に実行され得る。

図２２は、本明細書で提示される例示的な技法による、最適な画像フレームをキャプチャするための例示的な方法２２００を示すフローチャートを示す。例示的な方法２２００（例えば、ステップ２２０２～２２１０）は、システムによって実行され得る。例示的な方法２２００は、以下のステップのうちの１つまたは複数を含み得る。

ステップ２２０２において、実行されている処置のタイプがコンピューティングデバイスから受信され得る。コンピューティングデバイスは、超音波イメージングシステム１３２のイメージングコンピューティングデバイス１３６を含み得、イメージングコンピューティングデバイス１３６上でシステム１１６に関連するアプリケーションが動作している。コンピューティングデバイスのユーザは、アプリケーションのユーザインタフェースを介して、処置のタイプを選択し得る。いくつかの例では、処置のタイプの選択を受信すると、アプリケーションは、処置の選択されたタイプに対して取得されるべき画像タイプの最小セットを示す指示をオペレータに提供し得る。加えて、アプリケーションは、プローブ１３４を患者の皮膚と接触させて配置し、かつ個別の画像タイプ（例えば、個別の画像タイプは、画像タイプの最小セット内の１つの画像タイプである）の医用画像をキャプチャするようにプローブ１３４を方向付けるようにオペレータに促す指示を提供し得る。ステップ２２０４において、個別の画像タイプの医用画像（例えば、リアルタイムで受信されるライブ画像である）がコンピューティングデバイスから受信され得る。

ステップ２２０６において、個別の画像タイプの医用画像は、図２１を参照して説明した方法２１００を使用して訓練された訓練済みの機械学習モデルなどの訓練済み機械学習モデルに入力として提供され得る。いくつかの例では、複数の異なる筋骨格系障害に関連する複数の異なる処置のために取得されるべき各画像タイプに対する最適な画像を予測するための機械学習モデルの集合が、生成され、訓練され、かつ（例えば、方法２１００に開示されるように）例えばストレージデバイス１１４に保存され得る。そのような例では、システム１１６は、ステップ２２０２で受信された処置のタイプについてストレージデバイス１１４に問い合わせて、処置のタイプに対して取得された各画像タイプ（例えば、個別の画像タイプを含む）に対する最適な画像を予測するための対応する訓練済みの機械学習モデルを取得し得る。

ステップ２２０８において、医用画像が個別の画像タイプに対して最適な画像であるかどうかの予測が、訓練済みの機械学習モデルの出力として受信され得る。いくつかの例では、予測出力は、結果的に最適な画像または非最適な画像が生じるプローブの予測された向きを含み得る。予測に基づいて、ステップ２２１０において、コンピューティングデバイスに医用画像に関連する動作を実行させるか、またはオペレータにプローブ調整を行うように促すための命令が、コンピューティングデバイス（例えば、イメージングコンピューティングデバイス１３６）に提供され得る。

例えば、医用画像が個別の画像タイプに対して最適な画像であると予測される場合、コンピューティングデバイスに提供される命令は、コンピューティングデバイスにライブ医用画像を自動的にフリーズさせ、かつ静止画像をキャプチャ（例えば、記録および保存）させるコマンドであり得る。他の例では、コンピューティングデバイスがこれらのアクションを自動的に実行するのではなく、命令は、代替的に、オペレータがこれらのアクション（例えば、アプリケーションユーザインタフェース上の制御要素を使用してフリーズして静止画像をキャプチャすること）を実行するためのプロンプトを表示させ得る。個別の画像タイプの静止画像がキャプチャされると、ステップ２２０４～２２０８は、ステップ２２０２で受信された処置のタイプに対して取得されるべき画像タイプの最小セット内の次の画像タイプに対して繰り返され得る。これは、画像タイプの最小セット内の全ての画像タイプについて静止画像が取得されるまで継続し得る。

別の例として、医用画像が個別の画像タイプに対して非最適な画像であると予測される場合、コンピューティングデバイスに提供される命令は、個別の画像タイプに対して最適な画像のキャプチャを可能にするために、オペレータがプローブ調整を行う（例えば、プローブを再方向付けする）ためのプロンプトを表示させる。例えば、プロンプトは、最適な画像のキャプチャを達成するために、予測された向きに対応するようにプローブの現在の向きを調整するようにオペレータを案内する方向指示を含み得る。例えば、訓練の一部として、訓練済みの機械学習モデルは、ラベル付けされた訓練用医用画像から個別の画像タイプに対する最適な画像に関連するプローブの向きを学習し得る。従って、個別の画像タイプに対する最適な画像のキャプチャに関連する学習されたプローブの向きを現在のプローブの向きと比較して、現在のプローブの向きを学習されたプローブの向きに調整するための方向指示を生成し得る。いくつかの例では、方向指示は、図１０および図１５を参照して上述したプローブ方向インジケータと同様のプローブ方向インジケータの形態であり得る。次いで、例示的な方法２２００のステップ２２０４～２２０８は、プローブが再方向付けされる（例えば、方向指示に応答して調整される）際に、個別の画像タイプに対する最適な画像が予測されキャプチャされるまで、反復的に繰り返され得る。

図２３は、本明細書で提示される技法を実行し得る例示的なシステムまたはデバイス２３００を示す。デバイス２３００は、中央処理装置（ＣＰＵ）２３２０を含み得る。ＣＰＵ２３２０は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであり得る。当業者によって理解されるように、ＣＰＵ２３２０はまた、単独で動作するシステム等のマルチコア／マルチプロセッサシステム内の、またはクラスタもしくはサーバファーム内で動作するコンピューティングデバイスのクラスタ内の、単一プロセッサであり得る。ＣＰＵ２３２０は、データ通信インフラストラクチャ２３１０、例えば、バス、メッセージキュー、ネットワーク、またはマルチコアメッセージパッシング方式に接続され得る。

デバイス２３００はまた、メインメモリ２３４０、例えば、ランダムアクセスメモリ（ＲＡＭ）を含み得、かつ二次メモリ２３３０をも含み得る。二次メモリ２３３０、例えば、読み出し専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブルストレージドライブであり得る。そのようなリムーバブルストレージドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含み得る。この例におけるリムーバブルストレージドライブは、公知の方法でリムーバブルストレージユニットから読み取り、および／またはリムーバブルストレージユニットに書き込む。リムーバブルストレージは、リムーバブルストレージドライブによって読み書きされるフロッピー（登録商標）ディスク、磁気テープ、光ディスクなどを含み得る。当業者には理解されるように、そのようなリムーバブルストレージユニットは、一般に、コンピュータソフトウェアおよび／またはデータを記憶したコンピュータ使用可能記憶媒体を含む。

代替実装形態では、二次メモリ２３３０は、コンピュータプログラムまたは他の命令がデバイス２３００にロードされることを可能にするための同様の手段を含み得る。そのような手段の例は、プログラムカートリッジおよびカートリッジインタフェース（ビデオゲームデバイスに見られるものなど）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）および関連するソケット、ならびにソフトウェアおよびデータがリムーバブルストレージユニットからデバイス２３００に転送されることを可能にする他のリムーバブルストレージユニットおよびインタフェースを含み得る。

デバイス２３００はまた、通信インタフェース（「ＣＯＭ」）２３６０を含み得る。通信インタフェース２３６０は、ソフトウェアおよびデータがデバイス２３００と外部デバイスとの間で転送されることを可能にする。通信インタフェース２３６０は、モデム、ネットワークインタフェース（イーサネット（登録商標）カードなど）、通信ポート、ＰＣＭＣＩＡスロットおよびカードなどを含み得る。通信インタフェース２３６０を介して転送されるソフトウェアおよびデータは、通信インタフェース２３６０によって受信されることが可能な電子信号、電磁信号、光信号、または他の信号であり得る信号の形態であり得る。これらの信号は、例えば、ワイヤもしくはケーブル、光ファイバ、電話線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実施され得る、デバイス２３００の通信経路を介して、通信インタフェース２３６０に提供され得る。

そのような機器のハードウェア要素、オペレーティングシステム、およびプログラミング言語は、本質的に従来のものであり、かつ当業者はそれらに十分に精通していると推定される。デバイス２３００はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入力デバイスおよび出力デバイスと接続するための入力ポートおよび出力ポート２３５０を含み得る。当然ながら、様々なサーバ機能は、処理負荷を分散させるために、いくつかの同様のプラットフォーム上に分散方式で実装され得る。代替的に、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。

本開示全体を通して、構成要素またはモジュールへの言及は、概して、機能または関連する機能のグループを実行するために論理的に一緒にグループ化され得る項目を指す。同様の参照番号は、概して、同一または類似の構成要素を指すことが意図される。コンポーネントおよび／またはモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよび／またはハードウェアの組み合わせで実装され得る。

上記で説明したツール、モジュール、および／または機能は、１つまたは複数のプロセッサによって実行され得る。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、またはソフトウェアプログラミングのためにいつでも非一時的なストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブなど、それらの関連モジュールのいずれかまたは全てを含み得る。

ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信され得る。例えば、通信は、１つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサにソフトウェアをロードすることを可能にし得る。本明細書で使用される場合、非一時的な有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。

前述の一般的な説明は、例示的かつ説明的なものにすぎず、本開示を限定するものではない。他の実施形態は、本明細書に開示された本発明の明細書および実施形態を考慮することにより、当業者には明らかであろう。本明細書および実施形態は、例示的なものにすぎないと考えられることが意図されている。

Claims (20)

1. 超音波画像を処理して対象物を識別するためのシステムであって、
   プロセッサと、
   前記プロセッサに接続され、命令を保存するメモリと、を備え、前記命令は、前記プロセッサによる実行時に、前記システムに、
   超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、
   前記超音波画像を、前記解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供すること、ここで、前記複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含んでおり、
   前記超音波画像内で識別された前記複数の対象物からの１つまたは複数の対象物の予測を前記機械学習モデルの出力として受信すること、
   前記超音波イメージングシステムのディスプレイ上に表示するために、前記予測の指示を前記コンピューティングデバイスに提供すること、を含む動作を実行させる、システム。
2. 前記動作は、
   前記予測に基づいて視覚化を生成すること、ここで、前記視覚化は、前記超音波画像内で識別された前記１つまたは複数の対象物のラベル付けを含んでおり、
   前記視覚化を指示として提供すること、をさらに含む、請求項１に記載のシステム。
3. 前記動作は、
   識別された前記１つまたは複数の対象物のうちの少なくとも１つに関連する測定値を決定すること、
   前記測定値を、識別された前記少なくとも１つの対象物と共に前記超音波イメージングシステムの前記ディスプレイ上に表示するために提供すること、をさらに含む、請求項１に記載のシステム。
4. 前記機械学習モデルは、第１の機械学習モデルであり、前記動作は、
   前記超音波画像を、前記超音波画像が前記第１の機械学習モデルによって識別された前記１つまたは複数の対象物の最適な画像であるかどうかを識別するように訓練された第２の機械学習モデルに入力として提供することを含む、請求項１に記載のシステム。
5. 前記第２の機械学習モデルが、前記超音波画像が非最適な画像であるという予測を出力する場合、前記動作は、
   識別された前記１つまたは複数の対象物の最適な画像をキャプチャするために、オペレータが前記超音波イメージングシステムのプローブの向きを現在の向きから前記第２の機械学習モデルによって学習された新たな向きに調整するためのプロンプトを生成すること、
   前記超音波イメージングシステムの前記ディスプレイ上に表示するために、前記プロンプトを前記コンピューティングデバイスに提供すること、をさらに含む、請求項４に記載のシステム。
6. 前記動作は、
   前記超音波イメージングシステムの前記コンピューティングデバイスから、識別されるべき１つまたは複数の対象物のタイプを示すオペレータ入力を受信すること、
   前記１つまたは複数の対象物のタイプを前記機械学習モデルに入力として提供して、前記超音波画像内で識別された前記１つまたは複数の対象物の前記予測が少なくとも前記１つまたは複数の対象物のタイプを含むようにすること、をさらに含む、請求項１に記載のシステム。
7. 前記超音波画像は診断処置中に受信されるものであり、識別された前記１つまたは複数の対象物の前記予測が、解剖学的特徴と、筋骨格系障害を示す前記解剖学的構造に対する破壊的特徴とを含んでおり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記筋骨格系障害の診断が円滑に進む、請求項１に記載のシステム。
8. 前記超音波画像は、介入処置中に受信されるものであり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記介入処置が案内される、請求項１に記載のシステム。
9. 前記解剖学的特徴は、骨、腱、靭帯、軟骨、筋肉、神経、静脈、および／または動脈を含む、請求項１に記載のシステム。
10. 前記破壊的特徴は、ガングリオン、胸水、カルシウム沈着、腫瘤、および／または病変を含む、請求項１に記載のシステム。
11. 前記器具は、針、メス、ナイフ、ツール、および／またはバルーンを含む、請求項１に記載のシステム。
12. 超音波画像を処理して対象物を識別するための方法であって、
    超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、
    前記超音波画像を、前記解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供すること、ここで、前記複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含んでおり、
    前記超音波画像内で識別された前記複数の対象物からの１つまたは複数の対象物の予測を前記機械学習モデルの出力として受信すること、
    前記超音波イメージングシステムのディスプレイ上に表示するために、前記予測の指示を前記コンピューティングデバイスに提供すること、を含む方法。
13. 前記予測に基づいて視覚化を生成すること、ここで、前記視覚化は、前記超音波画像内で識別された前記１つまたは複数の対象物のラベル付けを含んでおり、
    前記視覚化を指示として提供すること、をさらに含む、請求項１２に記載の方法。
14. 識別された前記１つまたは複数の対象物のうちの少なくとも１つに関連する測定値を決定すること、
    前記測定値を、識別された前記少なくとも１つの対象物と共に前記超音波イメージングシステムの前記ディスプレイ上に表示するために提供すること、をさらに含む、請求項１２に記載の方法。
15. 前記機械学習モデルは、第１の機械学習モデルであり、前記方法は、
    前記超音波画像を、前記超音波画像が前記第１の機械学習モデルによって識別された前記１つまたは複数の対象物の最適な画像であるかどうかを識別するように訓練された第２の機械学習モデルに入力として提供することを含む、請求項１２に記載の方法。
16. 前記第２の機械学習モデルが、前記超音波画像が非最適な画像であるという予測を出力する場合、前記方法は、
    識別された前記１つまたは複数の対象物の最適な画像をキャプチャするために、オペレータが前記超音波イメージングシステムのプローブの向きを現在の向きから前記第２の機械学習モデルによって学習された新たな向きに調整するためのプロンプトを生成すること、
    前記超音波イメージングシステムの前記ディスプレイ上に表示するために、前記プロンプトを前記コンピューティングデバイスに提供すること、をさらに含む、請求項１５に記載の方法。
17. 前記超音波イメージングシステムの前記コンピューティングデバイスから、識別されるべき１つまたは複数の対象物のタイプを示すオペレータ入力を受信すること、
    前記１つまたは複数の対象物のタイプを前記機械学習モデルに入力として提供して、前記超音波画像内で識別された前記１つまたは複数の対象物の前記予測が少なくとも前記１つまたは複数の対象物のタイプを含むようにすること、をさらに含む、請求項１２に記載の方法。
18. 前記超音波画像は診断処置中に受信されるものであり、識別された前記１つまたは複数の対象物の前記予測が、解剖学的特徴と、筋骨格系障害を示す前記解剖学的構造に対する破壊的特徴とを含んでおり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記筋骨格系障害の診断が円滑に進む、請求項１２に記載の方法。
19. 前記超音波画像は、介入処置中に受信されるものであり、前記超音波イメージングシステムの前記ディスプレイ上に表示するために前記コンピューティングデバイスに提供される前記予測の前記指示によって、前記介入処置が案内される、請求項１２に記載の方法。
20. プロセッサによる実行時に、前記プロセッサに、超音波画像を処理して対象物を識別するための動作を実行させる命令を記憶する非一時的なコンピュータ可読媒体であって、前記動作は、
    超音波イメージングシステムのコンピューティングデバイスから解剖学的構造の超音波画像を受信すること、
    前記超音波画像を、前記解剖学的構造の超音波画像内の複数の対象物を識別するように訓練された機械学習モデルに入力として提供すること、ここで、前記複数の対象物は、解剖学的特徴、破壊的特徴、および／または器具を含んでおり、
    前記超音波画像内で識別された前記複数の対象物からの１つまたは複数の対象物の予測を前記機械学習モデルの出力として受信すること、
    前記超音波イメージングシステムのディスプレイ上に表示するために、前記予測の指示を前記コンピューティングデバイスに提供すること、を含む非一時的なコンピュータ可読媒体。