JP2023549093A - 高レベル画像理解によるロバストセグメンテーション - Google Patents

Abstract

設備は、医用撮像画像によって視覚化された解剖学的オブジェクトを識別する。設備は、２つの機械学習モデルを画像に適用する。第１の機械学習モデルは、ビューのリストの各々について、画像がビューから捕捉された確率に帰属するビュー確率ベクトルを予測するように訓練され、第２の機械学習モデルは、解剖学的オブジェクトのリストの各々について、オブジェクトが画像によって視覚化される確率に帰属するオブジェクト確率ベクトルを予測するように訓練される。各オブジェクトについて、設備は、（１）オブジェクトが許可されているビューのリストにアクセスする。（２）オブジェクトが画像によって視覚化される予測確率に、アクセスされた画像がオブジェクトが許可されるビューから捕捉された予測確率の合計を乗算し、（３）得られた確率が閾値を超える場合、オブジェクトがアクセスされた画像によって視覚化されると決定する。

Description

（関連出願の相互参照）
本出願は、その全体が参照により本明細書に組み込まれる、２０２０年１１月６日に出願され、「ＲＯＢＵＳＴ ＳＥＧＭＥＮＴＡＴＩＯＮ ＴＨＲＯＵＧＨ ＨＩＧＨ－ＬＥＶＥＬ ＩＭＡＧＥ ＵＮＤＥＲＳＴＡＮＤＩＮＧ」と題された米国特許出願第１７／０９１，２６３号の利益を主張する。

本出願が参照により組み込まれる文書と矛盾する場合、本出願が優先される。

超音波撮像は、有用な医療撮像モダリティである。例えば、患者の身体の内部構造は、治療的介入の前、最中、又は後に撮像され得る。医療専門家は通常、「トランスデューサ」と呼ばれることもある携帯型超音波プローブを患者に近接して保持し、必要に応じてトランスデューサを移動させて、患者の関心領域内の１つ以上の標的構造を視覚化する。トランスデューサは、体の表面上に配置されてもよく、又はいくつかの手順では、トランスデューサが患者の体内に挿入される。医療専門家は、三次元容積の二次元断面などの、スクリーン上の所望の表現を得るために、トランスデューサの動きを座標化する。

器官若しくは他の組織又は身体特徴（体液、骨、関節など）の特定のビューは臨床的に重要であることがある。そのようなビューは、標的器官、診断目的などに応じて、超音波検査技師が捕捉すべきビューとして臨床基準によって規定される場合がある。

いくつかの超音波画像では、画像内で視覚化された解剖学的構造を識別することが有用である。例えば、体の特定の領域を示す超音波画像ビューでは、示された器官及び／又は器官内の構成構造を識別することが有用であることができる。一例として、右上象限図は、肝臓、腎臓、及び横隔膜器官の部分を示し得る。

既存のソフトウェアソリューションは、超音波画像内の器官又は他の解剖学的構造を自動的に識別することを求めてきた。これらの既存の解決策は、それぞれが可視である境界ボックスを指定することによって構造を「検出」すること、又は例えば、画像内の各構造の境界を追跡することによって構造を「セグメント化」することを求める。

特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を包含する。カラー図面を有する本特許又は特許出願公開のコピーは、請求及び必要な料金の支払いに応じて庁によって提供されるであろう。

生理学的感知装置の概略図である。 コンピュータシステム及び設備が動作する他の装置のうちの少なくともいくつかに通常組み込まれる構成要素のうちのいくつかを示すブロック図である。 設備によって使用される機械学習モデルを訓練するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。 設備によって使用される機械学習モデルの設計の詳細を示すモデルアーキテクチャ図である。 設備によって使用されるデータフローを示すデータフロー図である。 設備によって実行されるプロセスを示すフロー図である。 設備によって受信されるサンプル患者ビデオフレームを示す画像図である。 許容オブジェクト表のサンプル内容を示す表図である。 現在のフレームにおいて視覚化されるものとして識別されたオブジェクトを視覚的に示すために設備が拡張したサンプル患者ビデオフレームのバージョンを示す表示図である。

本発明者らは、超音波画像に示される解剖学的オブジェクトを自動的に識別する従来のアプローチが有意な欠点を有することを認識している。特に、これらの従来のアプローチは、しばしば不正確な結果を生成する。信頼度閾値を調整することは、高い偽陽性率を高い偽陰性率と交換することがあるが、総誤差は、多くの場合、許容できないほど高い。

これらの欠点を認識することに応答して、本発明者らは、各画像が捕捉された特定のビューと視覚化されたオブジェクト（「設備」）に関する機械学習予測を活用する方法で、超音波画像などの医療画像内の器官、サブ器官構造、又はその他の解剖学的オブジェクトを自動的に識別するソフトウェア及び／又はハードウェア設備を考案及び実施した。そうすることによって、オブジェクトベクトルがオブジェクトの発生の確率を直接推定し、ビューベクトルがビューの確率を直接推定するので、設備は、画像内のオブジェクトの外観を制御する効率的な方法を提供する。これらの２つの補助確率出力ベクトルは相関され、それらの関係に基づいてオブジェクト精緻化モジュールを使用してオブジェクト発生尤度の更にロバストな推定値を生成するために使用することができる。したがって、設備は、多くの偽陰性率を損なうことなく、偽陽性予測マスクを最小限に抑える。

いくつかの実施形態では、設備は、超音波ビデオのフレームなどの画像に、画像の３つの特性を予測するように訓練された機械学習モデルを適用し、（１）いくつかの可能なビューの各々について、画像がビューから捕捉された尤度を示すビュー確率ベクトル、（２）いくつかの可能なオブジェクトの各々について、画像がオブジェクトを視覚化する尤度を示すオブジェクト確率ベクトル、及び（３）画像の各ピクセルについて、可能なオブジェクトの各々について、ピクセルがオブジェクトの視覚化の一部である確率を示すセグメンテーションマスクのセット、又は「キューブ」。いくつかの実施形態では、設備は、これらの予測された特性を、３０などのある数の最近のフレームにわたって平均化するか、又はそうでなければ集約する。

各可能なオブジェクトに対して、オブジェクトが視覚化される確率を決定するために、設備は、オブジェクトが識別することが許されるビューのリストを調べる。ビュー確率ベクトルによって含まれるそれらのビューについての確率を合計し、オブジェクト確率ベクトルによって含まれるそのオブジェクトについての確率によってそのいくらかを乗算する。

いくつかの実施形態では、設備は、決定されたオブジェクト確率を使用して、画像内に視覚化されたオブジェクトの形状及び位置で画像を拡張するために使用するセグメンテーションマスクを選択する。いくつかの実施形態では、設備は、決定されたオブジェクト確率がオブジェクト確率閾値を超えるオブジェクトのセグメンテーションマスクを選択する。様々な実施形態では、設備は、決定されたオブジェクト確率及び／又は選択されたセグメンテーションマスクを様々な他の方法で使用する。

上述の方法のいくつか又は全てで動作することにより、設備は、従来よりも高い精度で医療画像内の解剖学的構造を自動的に識別する。

更に、設備は、特定のタスクを実行するために必要な動的表示領域、処理、記憶、及び／又はデータ送信リソースを低減させ、それによって、タスクをより性能が低く、より容量が少なく、及び／若しくはより安価なハードウェア装置によって実行するのを可能にし、並びに／又はタスクをより短い待ち時間で実行するのを可能にし、並びに／又は保存されたリソースのうちのより多くを他のタスクを実行する際に使用できるように維持することなどによって、コンピュータ又は他のハードウェアの機能を向上させる。例えば、有意に少ない偽陽性で視覚化された全ての構造をより頻繁に識別することによって初期医療画像の有用性を最大化することにより、設備は、再画像化が必要である多くのケースを回避する。設備は、再撮像の必要性を低減させることにより、全体的により少ないメモリ及び処理リソースを消費して追加の画像を捕捉し、追加の自動構造識別ラウンドを実行する。

図１は、本開示の１つ以上の実施形態による、生理学的感知装置１０の概略図である。装置１０は、図示した実施形態では、ケーブル１７によってハンドヘルドコンピューティング装置１４に電気的に結合されたプローブ１２を含む。ケーブル１７は、プローブ１２をコンピューティング装置１４に取り外し可能に接続するコネクタ１８を含む。ハンドヘルドコンピューティング装置１４は、タブレットコンピュータ、スマートフォンなどの、ディスプレイを有する任意のポータブルコンピューティング装置であってもよい。いくつかの実施形態では、プローブ１２は、ハンドヘルドコンピューティング装置１４に電気的に結合されている必要はないが、ハンドヘルドコンピューティング装置１４とは独立して動作してもよく、かつプローブ１２は、無線通信チャネルを介してハンドヘルドコンピューティング装置１４と通信してもよい。

プローブ１２は、超音波信号を標的構造に向けて送信し、超音波信号の送信に応答して標的構造から戻って来たエコー信号を受信するように構成されている。プローブ１２は、様々な実施形態では、超音波信号を送信し、その後のエコー信号を受信することができるトランスデューサ素子（例えば、トランスデューサアレイ）のアレイを含み得る超音波センサ２０を含む。

装置１０は、処理回路及び駆動回路を更に含む。部分的には、処理回路は、超音波センサ２０からの超音波信号の送信を制御する。駆動回路は、例えば、処理回路から受信した制御信号に応答して、超音波信号の送信を駆動するための超音波センサ２０に動作可能に結合される。駆動回路及びプロセッサ回路は、プローブ１２及びハンドヘルドコンピューティング装置１４の一方又は両方に含まれてもよい。装置１０はまた、例えば、パルス波動作モード又は連続波動作モードで超音波信号を送信するための駆動回路に電力を供給する電源を含む。

プローブ１２の超音波センサ２０は、超音波信号を送信する１つ以上の送信トランスデューサ素子と、超音波信号の送信に応答して標的構造から戻って来るエコー信号を受信する１つ以上の受信トランスデューサ素子と、を含んでもよい。いくつかの実施形態では、超音波センサ２０のトランスデューサ素子の一部又は全部は、第１の期間中に送信トランスデューサ素子として機能し、第１の期間とは異なる第２の期間中に受信トランスデューサ素子として機能してもよい（すなわち、同じトランスデューサ素子が異なる時間に、超音波信号を送信し、エコー信号を受信するために使用可能であってもよい）。

図１に示すコンピューティング装置１４は、ディスプレイ画面２２及びユーザインターフェース２４を含む。ディスプレイ画面２２は、ＬＣＤ又はＬＥＤディスプレイ技術を含むがこれに限定されない、任意の種類のディスプレイ技術を組み込んだディスプレイであってもよい。ディスプレイ画面２２を使用して、超音波信号の送信に応答して受信されたエコー信号から得られたエコーデータから生成された１つ以上の画像を表示し、いくつかの実施形態では、ディスプレイ画面２２は、例えば、カラードプライメージング（Color Doppler imaging、ＣＤＩ）モードで提供され得るようなカラーフロー画像情報を表示するために使用されてもよい。更に、いくつかの実施形態では、ディスプレイ画面２２は、取得された又は調整された聴診信号を表す波形などの音声波形を表示するために使用され得る。

いくつかの実施形態では、ディスプレイ画面２２は、画面にタッチするユーザから入力を受け取ることができるタッチスクリーンであってもよい。そのような実施形態では、ユーザインターフェース２４は、タッチを介してユーザ入力を受信することが可能な、ディスプレイ画面２２の一部分又は全体を含んでもよい。いくつかの実施形態では、ユーザインターフェース２４は、超音波装置１０のユーザから入力を受け取ることが可能な１つ以上のボタン、ノブ、スイッチなどを含んでもよい。いくつかの実施形態では、ユーザインターフェース２４は、音声コマンドなどの可聴入力を受け取ることができるマイクロフォン３０を含んでもよい。

コンピューティング装置１４は、取得若しくは調整された聴診信号、又はエコー信号、ドップラー超音波撮像中の血流、若しくは装置１０の動作から導出される他の特徴の可聴表現を出力するために使用され得る１つ以上のオーディオスピーカ２８を更に含んでもよい。

プローブ１２は、プローブ１２の外側部分を形成するハウジングを含む。ハウジングは、ハウジングの遠位端の近くに位置するセンサ部分、及びハウジングの近位端と遠位端との間のハンドル部分を含む。ハンドル部分は、センサ部分に対して近位側に位置する。

ハンドル部分は、使用中にプローブ１２を保持、制御、及び操作するためにユーザによって把持される、ハウジングの一部分である。ハンドル部分は、１つ以上の滑り止めなどの把持機構を含んでもよく、いくつかの実施形態では、ハンドル部分は、ハンドル部分の遠位側又は近位側のハウジングの部分と同じ概略形状を有してもよい。

ハウジングは、例えば、駆動回路、処理回路、発振器、ビーム形成回路、フィルタリング回路などの電子機器を含む、プローブ１２の内部電子構成要素及び／又は回路を取り囲む。ハウジングは、感知面などのプローブ１２の外部に配置された部分を取り囲むか、又は少なくとも部分的に取り囲むように形成されてもよい。ハウジングは、水分、液体、又は他の流体がハウジングに入ることが防止されるように、封止されたハウジングであってもよい。ハウジングは、任意の好適な材料で形成されてもよく、いくつかの実施形態では、ハウジングはプラスチック材料で形成される。ハウジングは、単一の部品（例えば、内部構成要素を取り囲むように成形される単一の材料）で形成されてもよい。あるいは、互いに接合されるか又は別の方法で互いに取り付けられる、２つ以上の部品（例えば、上側半体及び下側半体）で形成されてもよい。

いくつかの実施形態では、プローブ１２は、動きセンサを含む。動きセンサは、プローブ１２の動きを感知するように動作可能である。動きセンサは、プローブ１２内又はプローブ１２上に含まれ、例えば、プローブ１２の動きを感知するための１つ以上の加速度計、磁力計、又はジャイロスコープを含んでもよい。例えば、動きセンサは、プローブ１２の動きを感知することが可能な圧電式、ピエゾ抵抗式、又は静電容量式の加速度計のいずれかであってもよく、それらの加速度計のいずれかを含んでもよい。いくつかの実施形態では、動きセンサは、３つの軸のうちのいずれかの周りの動きを感知することが可能な３軸動きセンサである。いくつかの実施形態では、２つ以上の動きセンサ１６がプローブ１２内又はプローブ１２上に含まれる。いくつかの実施形態では、動きセンサは、少なくとも１つの加速度計及び少なくとも１つのジャイロスコープを含む。

動きセンサは、プローブ１２のハウジング内に少なくとも部分的に収容されてもよい。いくつかの実施形態では、動きセンサは、プローブ１２の感知面に又は感知面の近くに配置される。いくつかの実施形態では、感知面は、超音波撮像又は聴診感知などの検査中に患者と動作可能に接触する表面である。超音波センサ２０及び１つ以上の聴診センサは、感知面上、感知面の部分、又は感知面の近くに位置付けられる。

いくつかの実施形態では、超音波センサ２０のトランスデューサアレイは、トランスデューサ素子の一次元（one－dimensional、１Ｄ）アレイ又は二次元（two－dimensional、２Ｄ）アレイである。トランスデューサアレイは、例えばチタン酸ジルコン酸鉛（lead zirconate titanate、ＰＺＴ）などの圧電セラミックを含んでもよく、又は微小電気機械システム（microelectromechanical system、ＭＥＭＳ）に基づいたものであってもよい。例えば、様々な実施形態では、超音波センサ２０は、微小電気機械システム（ＭＥＭＳ）ベースの圧電超音波トランスデューサである圧電微小加工超音波トランスデューサ（piezoelectric micromachined ultrasonic transducers、ＰＭＵＴ）を含んでもよいか、又は、超音波センサ２０は、静電容量の変化に起因してエネルギー変換が提供される静電容量式微小加工超音波トランスデューサ（capacitive micromachined ultrasound transducer、ＣＭＵＴ）を含んでもよい。

超音波センサ２０は、トランスデューサアレイ上に位置付けられ得、かつ感知面の一部を形成し得る超音波集束レンズを更に含んでもよい。集束レンズは、トランスデューサアレイから患者に向かって送信された超音波ビームを集束させるように、及び／又は患者からトランスデューサアレイへと反射された超音波ビームを集束させるように動作可能な任意のレンズであってもよい。いくつかの実施形態では、超音波集束レンズは、湾曲した表面形状を有してもよい。超音波集束レンズは、所望の用途、例えば所望の動作周波数などに応じて、異なる形状を有してもよい。超音波集束レンズは、任意の好適な材料で形成されてもよく、いくつかの実施形態では、超音波集束レンズは、室温加硫（room－temperature－vulcanizing、ＲＴＶ）ゴム材料で形成される。

いくつかの実施形態では、第１の膜及び第２の膜が、超音波センサ２０の互いに向かい合う側に隣接して位置付けられ、感知面の一部を形成してもよい。膜は、任意の好適な材料で形成されてもよく、いくつかの実施形態では、膜は、室温加硫（ＲＴＶ）ゴム材料で形成される。いくつかの実施形態では、膜は、超音波集束レンズと同じ材料で形成される。

図２は、コンピュータシステム及び設備が動作する他の装置のうちの少なくともいくつかに通常組み込まれる構成要素のうちのいくつかを示すブロック図である。様々な実施形態では、これらのコンピュータシステム及び他の装置２００は、サーバコンピュータシステム、クラウドコンピューティングプラットフォーム又は他の構成の仮想マシン、デスクトップコンピュータシステム、ラップトップコンピュータシステム、ネットブック、携帯電話、パーソナルデジタルアシスタント、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤー、生理学的感知装置及び／又はそれらの関連ディスプレイ装置などを含むことができる。様々な実施形態では、コンピュータシステム及び装置は、以下のそれぞれを０個以上含み、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＮＮＰ、ＦＰＧＡ、又はＡＳＩＣなどの、コンピュータプログラムを実行するため、及び／又は機械学習モデルを訓練若しくは適用するためのプロセッサ２０１、設備及び関連するデータ、カーネルを含むオペレーティングシステム、並びに装置ドライバを含む、プログラム及びデータが使用されている間そのプログラム及びデータを記憶するためのコンピュータメモリ２０２、プログラム及びデータを持続的に記憶するためのハードドライブ又はフラッシュドライブなどの永続的記憶装置２０３、コンピュータ可読媒体に記憶されたプログラム及びデータを読み取るためのフロッピー、ＣＤ－ＲＯＭ、又はＤＶＤドライブなどのコンピュータ可読媒体ドライブ２０４、並びにインターネット又は別のネットワーク、並びにスイッチ、ルータ、リピータ、電気ケーブル及び光ファイバ、発光体及び光受信器、無線送信機及び受信機などの、そのネットワーク化ハードウェアを介してデータを送受信するためにコンピュータシステムを他のコンピュータシステムに接続するためのネットワーク接続２０５である。上記のように構成されたコンピュータシステムは、典型的には、設備の動作を支持するために使用されるが、当業者は、設備が様々なタイプ及び構成の装置を使用して実装され、様々な構成要素を有してもよいことを理解するであろう。

図３は、設備によって使用される機械学習モデルを訓練するために、いくつかの実施形態において設備によって実行されるプロセスを示すフロー図である。動作３０１では、設備は、訓練観測値を受信する。動作３０２において、設備は、動作３０１において受信された訓練観測値を使用して、機械学習モデルを訓練する。動作３０３では、設備は、動作３０２で訓練されたモデルを記憶する。動作３０３の後、このプロセスは、終了する。

当業者は、図３に示され、以下で考察されるフロー図の各々における動作は、様々な方法で変更され得ることを理解するであろう。例えば、動作の順序が並べ替えられてもよいこと、いくつかの動作が並列に実行されてもよいこと、図示した動作が省略されてもよいこと、又は他の動作が含まれてもよいこと、図示した動作が部分動作に分割されてもよいこと、又は複数の図示した動作が単一の動作に組み合わされてもよい。

図４は、いくつかの実施形態において設備によって使用される機械学習モデルの設計の詳細を示すモデルアーキテクチャ図である。アーキテクチャ４００に示されるように、患者超音波画像などの画像４０１に基づいて、設備は、画像の３つの特性を予測し、すなわち、いくつかの可能なビューの各々について、画像がそのビューから捕捉された尤度を示すビュー確率ベクトル４２１と、いくつかの可能なオブジェクトの各々について、画像がオブジェクトを視覚化する尤度を示すオブジェクト確率ベクトル４３１と、画像の各ピクセルについて、可能なオブジェクトの各々について、ピクセルがオブジェクトの視覚化の一部である確率を示すセグメンテーションマスクのセット又はキューブ４４１である。モデルは、ディープラーニングニューラルネットワークとして示されており、共有セクション４１０と、ビュー確率ベクトル特性を予測することに専用のビュー確率分岐４２０と、オブジェクト確率ベクトル特性を予測することに専用のオブジェクト確率分岐４３０と、セグメンテーションマスクキューブを予測することに専用のセグメンテーション分岐４４０とから構成されている。凡例４０２は、ネットワークアーキテクチャを図式化する際に使用される記号を説明する。特に、「ｃｏｎｖ」は畳み込み層を表し、「ＢＮ」はバッチ正規化層を表し、「ＲｅＬＵ」は整流線形ユニットを表す。各層の下の数字は、チャネル数又は次元数のいずれかを表す。全ての畳み込み層は、３×３カーネルである。様々な実施形態において、設備は、設備によって使用される３つの画像特性を予測するために、様々な他のニューラルネットワーク又は他の機械学習モデルアーキテクチャを使用する。

図５は、患者ビデオフレーム内の解剖学的オブジェクトを識別し、この情報を使用して表示のためにフレームを拡張するために、いくつかの実施形態において設備によって使用されるデータフローを示すデータフロー図である。データフローは、撮像ハードウェアから受信された現在の患者ビデオフレーム５０１から始まる。

図６は、図５に示すデータフローを実行して、患者ビデオ内の解剖学的オブジェクトを識別し、この情報を使用してビデオのフレームを拡張するために、設備によって実行されるプロセスを示すフロー図である。動作６０１において、設備は、撮像ハードウェアから最新のフレームを受信する。

図７は、設備によって受信された患者のビデオフレームのサンプルを示す画像図である。特に、フレーム７００は、患者超音波ビデオのフレームである。

図６に戻ると、動作６０２において、ＡＩ予測モジュール５１０において、設備は、フレームを構成する画像の以下の特性、すなわち、ビュー確率ベクトル５２１、オブジェクト確率ベクトル５２２、及びセグメンテーションマスクキューブ５２３を取得するために、設備によって訓練された機械学習モデルを動作６０１において受信された最新のフレーム５０１に適用する。

動作６０３では、バッファモジュール５３０において、設備は、動作６０２で生成された３つの画像特性５２０を、４、９、１９、又は２９個の前のフレームなどの前のフレームについてバッファ内に維持された画像特性の前のセットと集約する。様々な実施形態において、設備は、平均値、中央値、最頻値、最小値、最大値などを含む様々な集約関数を使用する。動作６０３は、集約された画像特性のセット５４０を生成する。

設備の動作は、図７においてフレーム７００としてより大きな倍率で示される現在のフレーム５０１に基づく特定の例に関して説明される。以下の表１は、現在のフレームに対して設備によって決定される集約ビュー確率ベクトル５４１の内容を示す。

例えば、このビュー確率ベクトルは、現在のフレーム及びその情報が集合体に含まれるフレームに先行するフレームが左上象限ビューから捕捉された２０％の尤度を示す。

この例の集約オブジェクト確率ベクトル５４２の内容を以下の表２に示す。

例えば、このオブジェクト確率ベクトルの内容は、脾臓オブジェクトがサンプル画像及びそれに先行するものにおいて視覚化される５０％の尤度を示す。この例では、現在のフレーム及びそれに先行するフレームに対応するセグメンテーションマスクキューブ５４３も生成される。簡潔にするために、マスクキューブのセグメント化の内容は示されていない。

動作６０４では、オブジェクト精緻化モジュール５５０において、設備は、ビュー確率ベクトル集約結果５４１及び許容オブジェクト表を使用して、オブジェクト確率ベクトル集約結果５４２を精緻化し、したがって、精緻化されたオブジェクト確率ベクトル集約結果５６２を生成する。

図８は、いくつかの実施形態において設備によって使用される許容オブジェクト表のサンプル内容を示す表図である。特に、許容オブジェクト表８００は、多数のビュー８０１～８０６の各々について、ビューが多数の器官又は他のオブジェクト８１１～８１９の各々を視覚化することが許容されるか否かを示す。例えば、列８１１と行８０１及び８０２との交差は、肝臓が右上象限ビューにおいて視覚化されることを許可されるが、左上象限ビューにおいては許可されないことを示す。

図８及び以下に説明する表図の各々は、内容及び構成が人間の読者によってよりよく理解できるように設計された表を示すが、当業者には、この情報を記憶するために設備によって使用される実際のデータ構造が、例えば、異なるように構成され得、図示したよりも多いか又は少ない情報を含み得、圧縮、暗号化、及び／又はインデックス付けされ得、図示したよりはるかに多くの行を含み得るという点で、図示の表とは異なる場合があることが理解されよう。

ステップ６０４を実行する際、設備は、表２に示されるオブジェクト確率ベクトル集約結果の各値を以下のように精緻化する。まず、設備は、許容オブジェクト表を使用して、ベクトルの値が対応するオブジェクトについて、どのビューがオブジェクトを視覚化することを許可されるかを決定する。腎臓オブジェクトを例として使用すると、許容オブジェクト表の列８１２は、腎臓が右上象限ビュー及び左上象限ビューの２つのビューのみで視覚化されることが許容されることを示す。これに応答して、設備は、これらのオブジェクトに対するビュー確率ベクトル集約結果におけるビュー確率を合計する。腎臓オブジェクトに関して、設備は、右上象限ビューのビュー確率０．７と左上象限ビューのビュー確率０．２とを合計して、合計０．９を得る。次に、設備は、選択されたビュー確率のこの合計にオブジェクトに対するオブジェクト確率を乗算する。腎臓オブジェクトの例では、設備は、合計０．９に０．８の初期オブジェクト確率を乗算して、０．７２の腎臓についての精緻化されたオブジェクト確率を得る。設備は、精緻化されたオブジェクト確率ベクトル集約結果５６２を得るために、オブジェクトの各々に関してこのプロセスを実行し、この例におけるその内容は以下の表３に示されている。

動作６０５では、セグメント精緻化モジュール５７０において、設備は、動作６０４で得られた精緻化されたオブジェクト確率ベクトル集約結果５６２を使用して、オブジェクトセグメンテーションマスク集約結果５４３に含まれるマスクをフィルタリングする。特に、設備は、精緻化されたオブジェクト確率ベクトル集約結果内の各オブジェクトの値に、６０％などの最小確率を適用する。この例に関して、０．６の最小確率を適用すると、設備は、精密化された確率が０．６３である肝臓、ならびに精密化された確率が両方とも０．７２である腎臓及び横隔膜のみについてセグメンテーションマスクを選択する。したがって、設備は、フィルタリングされたセグメンテーションマスクキューブ５８０内の肝臓、腎臓、及び横隔膜オブジェクトのためのキューブ５４３内のセグメンテーションマスクを含む。動作６０６において、設備は、現在のフレーム５０１を、動作６０５において生成されたフィルタリングされたオブジェクトセグメンテーションマスク集約結果５８０に基づく識別されたオブジェクトの視覚的指示で拡張して、表示されたフレーム５９０を取得する。

図９は、現在のフレームにおいて視覚化されるものとして識別されたオブジェクトを視覚的に示すために設備が拡張したサンプル患者ビデオフレームのバージョンを示す表示図である。拡張フレーム９００は、肝臓オブジェクトの視覚表示９０１と、腎臓オブジェクトの表示９０２と、横隔膜オブジェクトの表示９０３とを含むことが分り得かる。様々な実施形態において、これらの視覚的表示は、様々な特性のものである。例えば、様々な実施形態において、これらは充填されていない形状であり、対応するセグメンテーションマスクにおける確率及び／又は元の画像における視覚データに基づいて輝度及び強度が変化する充填された形状、一定の強度の充填された形状などである。

図６に戻ると、動作６０７において、設備は、動作６０６において生成された拡張された最新のフレーム５９０を、撮像センサに物理的に接続された表示装置、撮像センサに無線で接続されたローカル表示装置、遠隔表示装置などに表示させる。動作６０７の後、設備は、動作６０１に続き、患者ビデオの次のフレームを処理する。

上に記載した様々な実施形態を組み合わせ、更なる実施形態を提供することができる。本明細書で言及される、かつ／又は出願データシートに列挙される、米国特許、米国特許出願公報、米国特許出願、外国特許、外国特許出願、及び非特許刊行物の全ては、それらの全体が参照により本明細書に組み込まれる。実施形態の態様を改変し、必要な場合には、様々な特許、明細書及び刊行物の概念を使用して、更なる実施形態を提供することができる。

上で詳述した説明を考慮して、これらの変更及び他の変更を実施形態に行うことができる。概して、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示される具体的な実施形態に限定するものと解釈すべきではなく、このような特許請求の範囲によって権利が与えられる均等物の全範囲に沿った全ての可能な実施形態を含むと解釈すべきである。したがって、特許請求の範囲は、本明細書の開示によって制限されるものではない。

Claims (26)

1. システムであって、
   超音波感知装置と、
   コンピューティング装置と、を備え、前記コンピューティング装置が、
   人物から前記超音波感知装置によって感知された超音波エコーデータを直接受信するように構成された通信インターフェースであって、前記受信された超音波エコーデータが、一連のフレームを含む超音波ビデオを含み、各フレームはピクセルで構成された、通信インターフェースと、
   メモリであって、
   超音波ビデオフレームのために、訓練された１つ以上のニューラルネットワークを記憶し、
   複数の超音波ビューの各々について、前記フレームが前記ビューから捕捉された確率を帰属させ、
   複数の解剖学的オブジェクトの各々について、
   前記フレームが前記オブジェクトを視覚化する確率を帰属させ、
   前記フレームの前記ピクセルの各々について、前記オブジェクトが前記ピクセル内で視覚化される確率を帰属させ、
   前記複数のオブジェクトの各々について、前記オブジェクトが許可されるビューのリストを記憶し、
   オブジェクト確率閾値及びピクセル確率閾値を記憶するように構成されたメモリと、
   プロセッサであって、
   前記シーケンスの前記フレームの各々について、
   前記１つ以上の訓練されたニューラルネットワークを前記フレームに適用して、
   前記複数のビューの各々について、前記フレームが前記ビューから捕捉された確率を帰属させ、
   前記複数のオブジェクトの各々について、
   前記フレームが前記オブジェクトを視覚化する確率を帰属させ、
   前記フレームの前記ピクセルの各々について、前記オブジェクトが前記ピクセル内で視覚化される確率を帰属させ、
   前記複数のオブジェクトの各々について、
   前記オブジェクトが許可されるビューの前記記憶されたリストにアクセスすることと、
   前記アクセスされたリスト上の前記ビューに帰属する前記確率を合計することと、
   前記合計に前記オブジェクト確率を乗算して、精緻化されたオブジェクト確率を取得することと、
   前記精緻化されたオブジェクト確率が前記記憶された確率閾値を超える場合、前記オブジェクトについてのピクセル確率が前記ピクセル閾値を超える前記ピクセルにおいて前記オブジェクトが前記フレームによって視覚化されることを示すように前記フレームを拡張することとによって、前記フレームにおいて視覚化されたオブジェクトを識別するように構成されたプロセッサと、
   ディスプレイ装置であって、
   前記シーケンスの前記フレームの各々について、
   前記フレームを拡張されたものとして表示するように構成されるディスプレイ装置と、を含む、システム。
2. 前記超音波感知装置及び前記コンピューティング装置は、物理的に接続される、請求項１に記載のシステム。
3. 前記超音波感知装置が、トランスデューサを含む、請求項１に記載のシステム。
4. 前記プロセッサは、各フレームについて、前記識別の前に、前記シーケンス内の前記フレームに先行する１つ以上のフレームに帰属する確率を、前記フレームに帰属する確率に集約するように更に構成される、請求項１に記載のシステム。
5. 前記複数のオブジェクトの各々が臓器である、請求項１に記載のシステム。
6. 前記複数のオブジェクトの各々がサブ臓器構造である、請求項１に記載のシステム。
7. コンピューティングシステムに方法を実行させるように構成された内容を集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、前記方法が、
   医療撮像画像にアクセスすることと、
   画像について、複数のビューの各々について、前記画像が前記ビューから捕捉された確率に帰属するビュー確率ベクトルを予測するように訓練された第１の機械学習モデルにアクセスすることと、
   前記アクセスされた画像に前記第１の機械学習モデルを適用して、前記アクセスされた画像のビュー確率ベクトルを予測することと、
   画像について、複数の解剖学的オブジェクトの各々について、前記オブジェクトが前記画像によって視覚化される確率を帰属させるオブジェクト確率ベクトルを予測するように訓練された第２の機械学習モデルにアクセスすることと、
   前記第２の機械学習モデルを前記アクセスされた画像に適用して、前記アクセスされた画像についてのオブジェクト確率ベクトルを予測することと、
   前記複数のオブジェクトの各々について、
   前記オブジェクトが許可されるビューの記憶されたリストにアクセスすることと、
   前記アクセスされた画像によって前記オブジェクトが視覚化される前記予測確率を、前記アクセスされた画像が捕捉されたビューであった前記予測確率の合計で乗算することであって、前記オブジェクトが前記アクセスされた画像によって前記オブジェクトが視覚化される精緻化された確率を得ることを許可される、ことと、
   前記オブジェクトが前記アクセスされた画像によって視覚化される前記精緻化された確率が確率閾値を超え、前記オブジェクトが前記アクセスされた画像によって視覚化されると決定することと、を含む、コンピュータ可読媒体の１つ以上のインスタンス。
8. 前記方法は、
   前記アクセスされた画像に関連して、前記アクセスされた画像によって視覚化されると決定された前記オブジェクトの指示を記憶することを更に含む、請求項７に記載のコンピュータ可読媒体の１つ以上のインスタンス。
9. 前記方法は、
   画像について、前記複数のオブジェクトの各々について、前記オブジェクトが視覚化される前記画像のピクセルを識別するセグメンテーションマスクを予測するように訓練された第３の機械学習モデルにアクセスすることと、
   前記第３の機械学習モデルを前記アクセスされた画像に適用して、前記複数のオブジェクトの各々について前記アクセスされた画像のセグメンテーションマスクを予測することと、
   前記アクセスされた画像によって視覚化されると決定された前記オブジェクトに対して前記セグメンテーションマスクを使用して、前記アクセスされた画像によって視覚化されると決定された前記オブジェクトの前記位置を示すように前記アクセスされた画像を拡張することと、を更に含む、請求項７に記載のコンピュータ可読媒体の１つ以上のインスタンス。
10. 前記第１の機械学習モデル、前記第２の機械学習モデル、及び前記第３の機械学習モデルは、共通の一連のニューラルネットワーク層を共有する、９に記載のコンピュータ可読媒体の１つ以上のインスタンス。
11. 前記方法は、
    前記拡張画像を記憶することを更に含む、９に記載のコンピュータ可読媒体の１つ以上のインスタンス。
12. 前記方法は、
    前記拡張画像を表示させることを更に含む、９に記載のコンピュータ可読媒体の１つ以上のインスタンス。
13. 前記方法は、
    前記アクセスされた画像によって視覚化されると決定された前記オブジェクトのリストを表示させることを更に含む、９に記載のコンピュータ可読媒体の１つ以上のインスタンス。
14. 前記方法は、
    前記第１の機械学習モデルを訓練することと、
    前記第２の機械学習モデルを訓練することと、を更に含む、請求項７に記載のコンピュータ可読媒体の１つ以上のインスタンス。
15. 前記アクセスされた画像が、超音波画像である、請求項７に記載のコンピュータ可読媒体の１つ以上のインスタンス。
16. 前記内容は、コンピューティングシステムに、同じ患者から取り込まれた一連のアクセスされた画像の各々について前記方法を実行させるように構成される、請求項７に記載のコンピュータ可読媒体の１つ以上のインスタンス。
17. 機械学習モデルを訓練するためのコンピューティングシステムにおける方法であって、前記方法は、
    注釈付き超音波画像訓練観察の本体にアクセスすることと、
    超音波画像に基づいて、複数のビューの各々について、前記画像が前記ビューから捕捉された確率を予測するように第１の機械学習モデルを訓練するために、注釈付き訓練観測値の前記本体の少なくとも一部分を使用することと、
    注釈付き訓練観察の前記本体の少なくとも一部を使用して、第２の機械学習モデルを訓練して、超音波画像に基づいて、複数の解剖学的オブジェクトの各々について、前記オブジェクトが前記画像によって視覚化される確率を予測することと、
    前記訓練された第１の機械学習モデル及び第２の機械学習モデルを永続的に記憶することと、を含み、
    それにより、生成超音波画像は、前記複数のビューの各々について、前記画像が前記ビューから捕捉された確率を予測するために前記第１の機械学習モデルにかけられることができ、前記複数のオブジェクトの各々について、前記オブジェクトが前記画像によって視覚化される確率を予測するために前記第２の機械学習モデルにかけられることができる、方法。
18. 超音波画像によって表される複数のビューの各々について、前記ビューから捕捉された超音波画像内で視覚化可能であると予想される１つ以上の解剖学的オブジェクトの指示を永続的に記憶することを更に含み、
    それにより、前記複数のオブジェクトの各々について、前記生成超音波画像を前記第２の機械学習モデルにかけることによって予測される前記画像によって前記オブジェクトが視覚化される前記確率は、前記オブジェクトが視覚化可能であると予想されるように示される前記ビューについて前記生成超音波画像を前記第１の機械学習モデルにかけることによって予測される前記確率の合計を乗算することによって精緻化され得る、請求項１７に記載の方法。
19. 前記第２の機械学習モデルの一部は、前記第１の機械学習モデルと共有される、請求項１７に記載の方法。
20. データ構造を集合的に記憶するコンピュータ可読媒体の１つ以上のインスタンスであって、前記データ構造は、
    機械学習モデルを含み、前記モデルは、
    放射線画像に基づいて、複数のビューの各々について、前記放射線画像が前記ビューから捕捉された確率を予測するように訓練された第１の部分と、
    放射線画像に基づいて、複数の解剖学的オブジェクトの各々について、前記解剖学的オブジェクトが、それが視覚化する前記放射線画像解剖学的構造によって視覚化される確率を予測するように訓練された第２の部分と、を含み、
    それにより、前記モデルを識別された放射線画像に適用して、どのビューから捕捉されたか、及びそれが視覚化する解剖学的オブジェクトの確率を予測することができる、コンピュータ可読媒体の１つ以上のインスタンス。
21. 前記モデルの前記第１の部分及び前記第２の部分が予測するために訓練される基礎となる前記放射線画像は、超音波画像である、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
22. 前記モデルの前記第１の部分及び前記第２の部分は別個である、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
23. 前記モデルの前記第１の部分及び前記第２の部分は、共有部分で交差する、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
24. 前記第１の部分及び前記第２の部分は、Ｕ－ｎｅｔの拡張経路から逸脱する並列分岐である、請求項２３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
25. 前記モデルの前記第１の部分及び前記第２の部分の各々は、１つ以上の人工ニューラルネットワークから構成される、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
26. 前記データ構造は、
    １つ以上のビューの各々について、前記ビューから捕捉された放射線画像において識別が許可される解剖学的オブジェクトのリストを更に含む、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。

Images