JP2023525742A - リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング - Google Patents

リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング Download PDF

Info

Publication number
JP2023525742A
JP2023525742A JP2022567787A JP2022567787A JP2023525742A JP 2023525742 A JP2023525742 A JP 2023525742A JP 2022567787 A JP2022567787 A JP 2022567787A JP 2022567787 A JP2022567787 A JP 2022567787A JP 2023525742 A JP2023525742 A JP 2023525742A
Authority
JP
Japan
Prior art keywords
image
pixels
machine learning
models
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022567787A
Other languages
English (en)
Inventor
アインデ、ババジデ
ワン、エリック
ルー、アレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EchoNous Inc
Original Assignee
EchoNous Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EchoNous Inc filed Critical EchoNous Inc
Publication of JP2023525742A publication Critical patent/JP2023525742A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

医療撮像画像を処理するためのファシリティが説明されている。ファシリティは、画像の各画素についての値を予測する構成モデル結果を生成するために、アンサンブル機械学習モデルを構成するいくつかの構成モデルの各々を画像に適用する。ファシリティは、アンサンブル機械学習モデルの結果を判定するために、複数の構成モデルによって生成された結果を集約する。アクセスされた画像の画素の各々について、ファシリティは、構成モデルの間で画素について予測された値の間で変動の尺度を判定する。ファシリティは、アクセスされた画像の画素のうちのいくつについて、変動閾値を超える変動尺度が判定されるかに少なくとも部分的に基づいて、アンサンブル機械学習モデル結果に対する信頼性尺度を判定する。

Description

（関連出願の相互参照）
本出願は、２０２０年５月１１日に出願され、「ＧＡＴＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＰＲＥＤＩＣＴＩＯＮＳ ＯＮ ＭＥＤＩＣＡＬ ＵＬＴＲＡＳＯＵＮＤ ＩＭＡＧＥＳ ＶＩＡ ＲＩＳＫ ＡＮＤ ＵＮＣＥＲＴＡＩＮＴＹ ＱＵＡＮＴＩＦＩＣＡＴＩＯＮ」と題された米国仮特許出願第６３／０２２，９８５号、及び２０２０年１１月３日に出願され、「ＧＡＴＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＰＲＥＤＩＣＴＩＯＮＳ ＯＮ ＭＥＤＩＣＡＬ ＵＬＴＲＡＳＯＵＮＤ ＩＭＡＧＥＳ ＶＩＡ ＲＩＳＫ ＡＮＤ ＵＮＣＥＲＴＡＩＮＴＹ ＱＵＡＮＴＩＦＩＣＡＴＩＯＮ」と題された米国非仮特許出願第１７／０８８，３９０号の利益を主張し、これらの両方は、参照によりそれらの全体が本明細書に組み込まれる。
本願が参照により組み込まれる文書と矛盾する場合、本願が支配する。
超音波撮像は、有用な医療撮像モダリティである。例えば、患者の身体の内部構造は、治療的介入の前、最中、又は後に撮像され得る。また、超音波画像における定性的及び定量的観察は、診断のための基準とすることができる。例えば、超音波を介して判定された心室容積は、例えば、心室収縮機能障害及び拡張期心不全を診断するための基準である。
医療専門家は、典型的には、「トランスデューサ」と呼ばれることもある携帯型超音波プローブを患者に近接して保持し、患者の関心領域内の１つ以上の標的構造を視覚化するために、必要に応じてトランスデューサを移動する。トランスデューサは、体の表面上に配置され得るか、又はいくつかの手順では、トランスデューサが患者の体内に挿入される。医療専門家は、三次元容積の二次元断面などの、スクリーン上の所望の表現を得るために、トランスデューサの動きを座標化する。
器官若しくは他の組織又は身体特徴（体液、骨、関節など）の特定のビューは、臨床的に有意であり得る。そのようなビューは、標的器官、診断目的などに応じて、超音波オペレータが捕捉すべきビューとして臨床標準によって規定され得る。
いくつかの超音波画像では、画像内で視覚化された解剖学的構造を識別することが有用である。例えば、特定の器官を示す超音波画像ビューでは、器官内の構成構造を識別することが有用であることができる。一例として、心臓のいくつかのビューでは、左及び右心房、左及び右心室、並びに大動脈弁、僧帽弁、肺動脈弁、及び三尖弁のような構成構造が可視化される。
既存のソフトウェアソリューションは、そのような構造を自動的に識別することが求められている。これらの既存の解決策は、構造を示す画像内の画素を識別することによって、例えば、構造を「セグメンテーションする」ことによって構造を「検出する」ことを求めている。
特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を包含する。カラー図面を有する本特許又は特許出願公開のコピーは、請求及び必要な料金の支払いに応じて庁によって提供されるであろう。
ファシリティが作動するコンピュータシステム及び他のデバイスの少なくともいくつかに典型的に組み込まれた構成要素のうちのいくつかを示すブロック図である。 ファシリティが作動するコンピュータシステム及び他のデバイスの少なくともいくつかに典型的に組み込まれた構成要素のうちのいくつかを示すブロック図である。 ファシリティによって使用されるアンサンブルモデルを訓練するために、いくつかの実施形態においてファシリティによって実行されるプロセスを示すフロー図である。 生成中の患者画像を処理するために、いくつかの実施形態においてファシリティによって実行されるプロセスを示すフロー図である。 ヒト左心室の超音波画像である、第１のサンプル患者画像を示す。 ３つのうちの第１の構成モデルによる第１のサンプル画像について生成された結果を示すマスク図である。 第２の構成モデルによる第１のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。 第３の構成モデルによる第１のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。 第１のサンプル患者画像について、いくつかの実施形態においてファシリティによって提示される単純出力を示す出力図である。 第２のサンプル患者画像を示す患者画像図である。 第１の構成モデルによる第２のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。 第２の構成モデルによる第２のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。 第３の構成モデルによる第２のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。 第２のサンプル患者画像についてのいくつかの実施形態において、ファシリティによって提示されるサンプル出力を示す出力図である。 ファシリティによってアンサンブルモデル結果の処理を選択するための基準として使用する信頼性閾値を判定するために、いくつかの実施形態においてファシリティによって実行されるプロセスを示すフロー図である。 検査患者画像のサンプルセットについて、ファシリティによって判定された不確実性尺度の分布を示す分布図である。 検査患者画像のセットについての不確実性尺度の累積分布を示す分布図である。
本発明者らは、超音波画像に示される器官の構成構造を自動的に識別する従来のアプローチが有意な欠点を有することを認識している。特に、これらの従来のアプローチは、予測が正確であることを中間出力又はモデル信頼性の表示なしに所与の入力に対して最終予測を提供する不透明なブラックボックスアルゴリズムである傾向がある。結果として、これらの従来のアプローチは、診断品質の医療画像に基づくものなどの正確な予測、及び最適でない画像に基づくものなどの非常に不正確な予測の両方を提示し、これは、臨床医エンドユーザによるプロセスの不信を最良に引き起こす可能性があるか、又は最悪の結果、最悪の診断及び複合臨床誤差をもたらし得る。
これらの欠点を認識することに応答して、本発明者らは、不確実性判定に基づいて、医療画像から機械学習予測に差次的に動作するソフトウェア及び／又はハードウェアファシリティ（「ファシリティ」）を考案し、実施に移した。そうすることにより、ファシリティは、医療目的のために使用される予測の品質を高め、かかる予測における信頼性を高めることの両方を実現する。
いくつかの実施形態では、ファシリティは、患者の器官の超音波画像などの患者の医療画像を、心臓内の構造のような特定の解剖学的構造の一部である画像内の画素を識別するセグメンテーションマスクを生成するために訓練されたモデルなどの複数の独立した予測モデルの各々を対象とする。このモデルの収集は、「アンサンブルモデル」と称されることがあり、それを構成する個々のモデルは、「構成モデル」又は「サブモデル」と呼ばれることがある。
ファシリティは、アンサンブルモデルについての全体的な結果を得るために、サブモデルによって生成された結果を組み合わせる。いくつかの実施形態では、ファシリティは、入力画像の各画素について、サブモデル結果マスク内のその画素の値にわたって算術平均などの集約関数を適用することによって、この組み合わせを実行する。例えば、アンサンブルが３つのサブモデルを含み、特定の画素について、サブモデルの２つによって生成された結果が１であり、画素がセグメンテーションされている構造内にあることを示し、他のサブモデルによって生成された結果が０であり、画素が構造内にないことを示す場合、いくつかの実施形態では、ファシリティは、画素について０．６７という生の集約結果を得るために、算術平均集約関数を値｛１、１、０｝に適用する。ファシリティは、０．５より大きい生の集約結果を最大１に丸め、他の全ての生の集約結果を０に丸めることによって、この生の集約結果をバイナリ値へ変換する。したがって、本機能は、構造セグメンテーションのためのアンサンブルモデル予測を構成するバイナリ集約結果マスクのために、例の生の集約結果、０．６７を、母集団のために最大１に丸める。
ファシリティは、アンサンブルモデル予測についての信頼性メトリックを計算するために継続する。いくつかの実施形態では、ファシリティは、不確実性メトリックを判定し、次いで、それの逆数を取ることによって、信頼性メトリックを得る。ファシリティは、まず、各画素について、アンサンブルによって生成された結果からの構成モデルによって画素について生成された結果の分散尺度を計算することによって、不確実性メトリックを判定する。これらの画素ごとの分散は一緒に、アンサンブル結果マスクにおける不確実性の画素ごとの尺度を構成する。次いで、ファシリティは、ゼロなどの分散閾値を超える分散を有する画素数の比率を、バイナリ集約結果マスク内の画素数まで計算することによって、アンサンブル結果マスク全体の不確実性を判定する。
次いで、ファシリティは、信頼性メトリックに基づいて、アンサンブルモデル予測に対し異なる行動を取る。例えば、いくつかの実施形態では、信頼性メトリックが信頼性閾値を超える場合、ファシリティは、アンサンブルモデル予測に基づいて診断を自動的に判定及び提示するために、アンサンブルモデル予測を使用する。いくつかの実施形態では、信頼性メトリックが信頼性閾値を下回る場合、ファシリティは、臨床医に警告すること、臨床医に代替画像を捕捉するように促すこと、代替画像を自動的に捕捉すること、などの異なる行動を取る。いくつかの実施形態では、ファシリティは、信頼性メトリックが信頼性閾値に届かない量に基づいて、複数の他の行動の中から選択する。
いくつかの実施形態では、ファシリティは、場合によっては、有資格の超音波検査士又は他の領域専門家が許容可能な品質であると見なされるモデルの予測のパーセンテージに基づいて、経験的に信頼性閾値を判定する。
いくつかの実施形態では、ファシリティは、各画素の不確実性レベルを反映するヒートマップを重ね合わせることなどによって、画素ごとの不確実性を示すように注釈を付けられた、患者画像を表示する。場合によっては、ファシリティはまた、セグメンテーションマスクの領域間の境界上の画素を示すアンサンブルモデル予測の「輪郭」バージョンを示すために、表示された患者画像に注釈を付ける。これらの表示は、モデルが不確かな画像のどの部分を理解しているか、セグメンテーション予測が正確と思われるかどうかに焦点を合わせるか、より有用な代替患者画像をどのように捕捉するかを判定するか、など、ユーザを支援することができる。
上に説明される方法のうちのいくつか又は全てを実行することによって、ファシリティは、アンサンブルモデル予測に基づくプロセスの統計的精度を改善し、これらの予測及びそれらを使用するプロセスの両方において信頼性を構築する。
追加的に、ファシリティは、特定のタスクを実行するために必要な動的表示範囲、処理、記憶、及び／又はデータ伝送リソースを低減することによるように、コンピュータ又は他のハードウェアの機能を改善し、それによって、それによって、タスクが、より少ない能力、容量、及び／又は高価なハードウェアデバイスによって許可され、より少ない待ち時間で実行され、及び／又は他のタスクの実行に使用するために保存されたリソースをより多く保存することができるようになる。両方の場合では、これは、超音波画像処理を実行する組織が、超音波装置のより少ないコピーを購入すること、又はより低い利用率で減少しない数のコピーを操作することを可能にし、これは、それらの有用寿命を延長し、その寿命のあらゆる時にそれらの動作状態を改善し、寿命内保守及び較正の必要性を減少させること、などができる。
図１は、本開示の１つ以上の実施形態による、生理学的感知デバイス１０の概略図である。デバイス１０は、図示した実施形態では、ケーブル１７によってハンドヘルドコンピューティングデバイス１４に電気的に結合されたプローブ１２を含む。ケーブル１７は、プローブ１２をコンピューティングデバイス１４に取り外し可能に接続するコネクタ１８を含む。ハンドヘルドコンピューティングデバイス１４は、タブレットコンピュータ、スマートフォンなどの、ディスプレイを有する任意のポータブルコンピューティングデバイスであり得る。いくつかの実施形態では、プローブ１２は、ハンドヘルドコンピューティングデバイス１４に電気的に結合されている必要はないが、プローブ１２は、無線通信チャネルを介してハンドヘルドコンピューティングデバイス１４と通信しながら、ハンドヘルドコンピューティングデバイス１４とは独立して作動し得る。
プローブ１２は、超音波信号を標的構造に向けて送信し、超音波信号の送信に応答して標的構造から戻って来たエコー信号を受信するように構成されている。プローブ１２は、様々な実施形態では、超音波信号を伝送し、その後のエコー信号を受信することができるトランスデューサ素子のアレイ（例えば、トランスデューサアレイ）を含み得る超音波センサ２０を含む。
デバイス１０は、処理回路及び駆動回路を更に含む。部分的には、処理回路は、超音波センサ２０からの超音波信号の送信を制御する。駆動回路は、例えば、処理回路から受信した制御信号に応答して、超音波信号の送信を駆動するための超音波センサ２０に作動可能に結合される。駆動回路及びプロセッサ回路は、プローブ１２及びハンドヘルドコンピューティングデバイス１４の一方又は両方に含まれ得る。デバイス１０はまた、例えば、パルス波作動モード又は連続波作動モードで超音波信号を送信するための駆動回路に電力を供給する電源を含む。
プローブ１２の超音波センサ２０は、超音波信号を送信する１つ以上の送信トランスデューサ素子と、超音波信号の送信に応答して標的構造から戻って来るエコー信号を受信する１つ以上の受信トランスデューサ素子と、を含み得る。いくつかの実施形態では、超音波センサ２０のトランスデューサ素子の一部又は全部は、第１の期間中に送信トランスデューサ素子として機能し、第１の期間とは異なる第２の期間中に受信トランスデューサ素子として機能し得る（すなわち、同じトランスデューサ素子が異なる時間に、超音波信号を送信し、エコー信号を受信するために使用可能であり得る）。
図１に示すコンピューティングデバイス１４は、ディスプレイ画面２２及びユーザインターフェース２４を含む。ディスプレイ画面２２は、ＬＣＤ又はＬＥＤディスプレイ技術を含むが、これに限定されない、任意の種類のディスプレイ技術を組み込んだディスプレイであり得る。ディスプレイ画面２２を使用して、超音波信号の送信に応答して受信されたエコー信号から得られたエコーデータから生成された１つ以上の画像を表示し、いくつかの実施形態では、ディスプレイ画面２２は、例えば、カラードプライメージング（Color Doppler imaging、ＣＤＩ）モードで提供され得るようなカラーフロー画像情報を表示するために使用され得る。更に、いくつかの実施形態では、表示画面２２は、取得又は調整された聴診信号を表す波形などの音声波形を表示するために使用され得る。
いくつかの実施形態では、ディスプレイ画面２２は、画面にタッチするユーザから入力を受信することができるタッチスクリーンであり得る。そのような実施形態では、ユーザインターフェース２４は、タッチを介してユーザ入力を受信することが可能な、ディスプレイ画面２２の一部分又は全体を含み得る。いくつかの実施形態では、ユーザインターフェース２４は、超音波デバイス１０のユーザから入力を受信することが可能な１つ以上のボタン、ノブ、スイッチなどを含み得る。いくつかの実施形態では、ユーザインターフェース２４は、音声コマンドなどの可聴入力を受信することができるマイクロフォン３０を含み得る。
コンピューティングデバイス１４は、取得又は調整された聴診信号又はエコー信号の可聴表現、ドップラー超音波撮像中の血流、又はデバイス１０の作動から導出された他の特徴を出力するために使用され得る１つ以上のオーディオスピーカ２８を更に含み得る。
プローブ１２は、プローブ１２の外側部分を形成するハウジングを含む。ハウジングは、ハウジングの遠位端近くに位置するセンサ部分、及びハウジングの近位端と遠位端との間に位置するハンドル部分を含む。ハンドル部分は、センサ部分に対して近位側に位置する。
ハンドル部分は、使用中にプローブ１２を保持、制御、及び操作するためにユーザによって把持される、ハウジングの一部分である。ハンドル部分は、１つ以上の滑り止めなどの把持機構を含み得、いくつかの実施形態では、ハンドル部分は、ハンドル部分の遠位側又は近位側のハウジングの部分と同じ一般形状を有し得る。
ハウジングは、例えば、駆動回路、処理回路、発振器、ビーム形成回路、フィルタリング回路などの電子機器を含む、プローブ１２の内部電子構成要素及び／又は回路を取り囲む。ハウジングは、感知面などのプローブ１２の外部に位置する部分を取り囲むか、又は少なくとも部分的に取り囲むように形成され得る。ハウジングは、水分、液体、又は他の流体がハウジングに入ることが防止されるように、封止されたハウジングであり得る。ハウジングは、任意の好適な材料で形成され得、いくつかの実施形態では、ハウジングは、プラスチック材料で形成される。ハウジングは、単一の部品（例えば、内部構成素子を取り囲むように成形される単一の材料）で形成され得、又は、互いに接合されるか若しくは別の方法で互いに取り付けられる、２つ以上の部品（例えば、上側半体及び下側半体）で形成され得る。
いくつかの実施形態では、プローブ１２は、動きセンサを含む。動きセンサは、プローブ１２の動きを感知するように作動可能である。動きセンサは、プローブ１２内又はプローブ１２上に含まれ、例えば、プローブ１２の動きを感知するための１つ以上の加速度計、磁力計、又はジャイロスコープを含み得る。例えば、動きセンサは、プローブ１２の動きを感知することが可能な圧電式、ピエゾ抵抗式、若しくは静電容量式の加速度計のいずれであり得、又はこれらを含み得る。いくつかの実施形態では、動きセンサは、３つの軸のうちのいずれかの周りの動きを感知することが可能な３軸動きセンサである。いくつかの実施形態では、２つ以上の動きセンサ１６がプローブ１２内又はプローブ１２上に含まれる。いくつかの実施形態では、動きセンサは、少なくとも１つの加速度計及び少なくとも１つのジャイロスコープを含む。
動きセンサは、プローブ１２のハウジング内に少なくとも部分的に収容され得る。いくつかの実施形態では、動きセンサは、プローブ１２の感知面に、又はその近くに位置付けられる。いくつかの実施形態では、感知面は、超音波撮像又は聴診感知のためのように、検査中に患者と動作可能に接触する表面である。超音波センサ２０及び１つ以上の聴診センサは、感知面上、その中、又はその近くに位置付けられる。
いくつかの実施形態では、超音波センサ２０のトランスデューサアレイは、トランスデューサ素子の一次元（one-dimensional、１Ｄ）アレイ又は二次元（two-dimensional、２Ｄ）アレイである。トランスデューサアレイは、例えばチタン酸ジルコン酸鉛（lead zirconate titanate、ＰＺＴ）などの圧電セラミックを含み得るか、又は微小電気機械システム（microelectromechanical system、ＭＥＭＳ）に基づいたものであり得る。例えば、様々な実施形態では、超音波センサ２０は、微小電気機械システム（ＭＥＭＳ）ベースの圧電超音波トランスデューサである圧電微小加工超音波トランスデューサ（piezoelectric micromachined ultrasonic transducer、ＰＭＵＴ）を含み得るか、又は、超音波センサ２０は、静電容量の変化に起因してエネルギー変換が提供される静電容量式微小加工超音波トランスデューサ（capacitive micromachined ultrasound transducer、ＣＭＵＴ）を含み得る。
超音波センサ２０は、トランスデューサアレイ上に位置付けられ得、かつ感知面の一部を形成し得る超音波集束レンズを更に含み得る。集束レンズは、トランスデューサアレイから患者に向かって送信された超音波ビームを集束させるように、及び／又は患者からトランスデューサアレイへと反射された超音波ビームを集束させるように作動可能な任意のレンズであり得る。超音波集束レンズは、いくつかの実施形態では、湾曲した表面形状を有し得る。超音波集束レンズは、所望の用途、例えば、所望の作動周波数などに応じて、異なる形状を有し得る。超音波集束レンズは、任意の好適な材料で形成され得、いくつかの実施形態では、超音波集束レンズは、室温加硫（room-temperature-vulcanizing、ＲＴＶ）ゴム材料で形成される。
いくつかの実施形態では、第１及び第２の膜は、超音波センサ２０の反対側の側面に隣接して位置付けられ、感知面の一部を形成する。膜は、任意の好適な材料で形成され得、いくつかの実施形態では、膜は、室温加硫（ＲＴＶ）ゴム材料で形成される。いくつかの実施形態では、膜は、超音波集束レンズと同じ材料で形成される。
図２は、ファシリティが作動するコンピュータシステム及び他のデバイスの少なくともいくつかに典型的に組み込まれた構成要素のうちのいくつかを示すブロック図である。様々な実施形態では、これらのコンピュータシステム及び他のデバイス２００は、サーバコンピュータシステム、クラウドコンピューティングプラットフォーム又は他の構成の仮想マシン、デスクトップコンピュータシステム、ラップトップコンピュータシステム、ネットブック、携帯電話、パーソナルデジタルアシスタント、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤー、生理学的感知デバイス及び／又はそれらの関連ディスプレイデバイスなどを含むことができる。様々な実施形態では、コンピュータシステム及びデバイスは、以下の、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＮＮＰ、ＦＰＧＡ、又はＡＳＩＣなどの、コンピュータプログラムを実行するため、及び／又は機械学習モデルを訓練若しくは適用するためのプロセッサ２０１と、ファシリティ及び関連データ、カーネルを含むオペレーティングシステム、及びデバイスドライバを含む、使用中のプログラム及びデータを記憶するためのコンピュータメモリ２０２と、プログラム及びデータを持続的に記憶するためのハードドライブ又はフラッシュドライブなどの持続的記憶デバイス２０３と、コンピュータ可読媒体に記憶されたプログラム及びデータを読み取るためのフロッピー、ＣＤ－ＲＯＭ、又はＤＶＤドライブなどのコンピュータ可読媒体ドライブ２０４と、インターネット又は他のネットワーク、並びにスイッチ、ルータ、リピータ、電気ケーブル及び光ファイバ、発光体及び受信機、無線送受信機などのネットワーキングハードウェアを介して、コンピュータシステムを他のコンピュータシステムに接続してデータを送受信するためのネットワーク接続２０５と、のうちの各々をゼロ以上含む。上に説明されるように構成されたコンピュータシステムは、典型的には、ファシリティの作動を支持するために使用されるが、当業者は、ファシリティが様々なタイプ及び構成のデバイスを使用して、様々な構成要素を有するように実装され得ることを理解するであろう。
図３は、ファシリティによって使用されるアンサンブルモデルを訓練するために、いくつかの実施形態においてファシリティによって実行されるプロセスを示すフロー図である。動作３０１では、ファシリティは、訓練データにアクセスする。いくつかの実施形態では、動作３０１においてファシリティによってアクセスされる訓練データは、全て同様の視点から、同じヒト器官の全てを撮像する超音波などの放射線患者画像のセットである。いくつかの実施形態では、訓練データはまた、それらの患者画像から構築された、及び／又は超音波検査士若しくは他の領域専門家によって患者画像を参照して承認された、患者画像の各々についてのセグメンテーションマスクを含む。動作３０２～３０４では、ファシリティは、アンサンブルの構成モデルの各々を通ってループする。動作３０３では、ファシリティは、動作３０１でアクセスされる訓練データを使用して構成モデルを訓練する。いくつかの実施形態では、構成モデルのうちの少なくともいくつかは、異なるモデルタイプであり、異なる構造を有し、異なるように構造される、などである。いくつかの実施形態では、アクセスされた訓練データの異なる重複又は非重複部分が、異なる構成モデルを訓練するために使用される。動作３０４では、追加の構成モデルが訓練されたままである場合、ファシリティは、次の構成モデルを訓練するために動作３０１を継続し、さもなければ、このプロセスは、終了する。
当業者であれば、図３に示され、以下で考察されるフロー図の各々における動作は、様々な方法で変更され得ることを理解するであろう。例えば、動作の順序は、再配列され得、いくつかの動作は、並列に実行され得、図示された動作は、省略され得、又は他の動作は、含まれ得、示された動作は、サブ動作に分割され得る、又は複数の示された動作は、単一の動作に組み合わされ得る、などである。
図４は、生成中の患者画像を処理するために、いくつかの実施形態においてファシリティによって実行されるプロセスを示すフロー図である。動作４０１では、ファシリティは、コンピューティングシステムに接続されたハンドヘルド超音波デバイスによって同時に捕捉された患者画像など、このプロセスを実行するファシリティの部分が実行される患者画像にアクセスする。動作４０２～４０４では、ファシリティは、アンサンブルの構成モデルを通ってループする。動作４０３では、ファシリティは、セグメンテーションマスク、又は別のタイプの予測若しくは他の結果を得るために、動作４０１でアクセスされた患者画像に構成モデルを適用する。得られた構成モデル結果は、その寸法が患者画像のものと一致する長方形アレイなどの多次元アレイである。動作４０４では、追加の構成モデルが適用されるままである場合、ファシリティは、次の構成モデルを適用するために、動作４０２を継続する。動作４０５では、ファシリティは、アンサンブル結果を得るために、構成モデルによって生成された結果を組み合わせる。いくつかの実施形態では、これは、構成モデル結果を構成する多次元アレイの各画素について、画素の構成モデルにわたって算術平均を判定することを含む。これは、以下の方程式１として示すことができ、式中、Ｍ'は、特定の画素のアンサンブル結果であり、Ｎは、構成モデルの数であり、ｎは、現在検討中のモデルであり、Ａｎは、現在の構成によって生成された結果における現在の画素の値である。
Figure 2023525742000002
いくつかの実施形態では、ファシリティは、０．５より大きい画素値を最大１に丸め、他の画素値をゼロに下げることによってなど、アンサンブル結果をアンサンブル結果のバイナリマスク表現に変換する。
動作４０６では、ファシリティは、構成モデル結果間の画素ごとの分散を判定する。ファシリティは、構成モデル結果バイナリマスクＡｎ全体の１－σの画素ごとの標準偏差を取ることによって、アンサンブル分散を計算する。バイナリマスクＡｎにおける位置（ｉ，ｊ）の画素
Figure 2023525742000003
 及び平均マスクＭの対応する画素μｉ，ｊについて、この演算は、次のように示され得る。
Figure 2023525742000004
 式中、Ｋ＝ｈ×ｗは、画像における画素の総数であり、Ｋ－１は、標準偏差を推定するために使用される自由度を適切に説明するために、分母に現れる。
得られた出力は、区間（０、１）における連続値を想定し得る、サイズ（ｈ、ｗ）のアレイである。出力画像は、ヒートマップとして動作し、平均輪郭に沿って高予測分散の領域を局在化する。全ての構成モデルが同じ値を予測する場合、全てのｎについて
Figure 2023525742000005
 となり、及び分散は、０であり、位置（ｉ、ｊ）で高度に信頼性のある予測を示す。Ｎ＝３の場合、達成され得る最大の分散は、２／３モデルが同じバイナリ値を予測することであり、そのため、分散予測は、０又は約０．４７の値のみを想定し得る。
動作４０７では、ファシリティは、画素ごとの分散を使用して、アンサンブル結果の不確実性尺度を判定する。いくつかの実施形態では、ファシリティは、値がゼロなどの分散閾値よりも大きい画素ごとの分散における画素数を計数し、次いで、アンサンブル結果におけるゼロではない画素（すなわち、アンサンブル結果マスクに含まれる）の数で除算することによって不確実性尺度を判定する。動作４０８では、ファシリティは、動作４０７において判定された不確実性尺度を使用して、アンサンブル結果の信頼性尺度を判定する。いくつかの実施形態では、ファシリティは、動作４０７において判定された不確実性尺度の逆数を取ることによって信頼性尺度を判定する。動作４０９では、動作４０８において判定された信頼性尺度が信頼性閾値を超える場合、ファシリティは、動作４１０を継続し、さもなければ、ファシリティは、動作４１１を継続する。動作４１０では、ファシリティは、動作４０５において判定されたアンサンブル結果に基づいて、診断を判定及び提示する。様々な実施形態では、ファシリティは、信頼性尺度が信頼性閾値を超える様々な追加又は代替行動を取る。動作４１０の後、このプロセスは、終了する。動作４１１では、ファシリティは、画像に注釈を付けるために画素ごとの分散を使用し、結果が最高レベルの不確実性を有する画像の領域を示す。動作４１２では、ファシリティは、アンサンブル結果の品質に関する警告を有する、動作４１１で生成された注釈付き患者画像を提示する。様々な実施形態では、ファシリティは、信頼性尺度が信頼性閾値を超えないと判定することに応答して、様々な追加又は代替ステップを実行し、これは、同じ患者の新しい画像を自動的に捕捉することを含むことができる。動作４１２の後、このプロセスは、終了する。
図５～図９は、第１のサンプル患者画像のファシリティの処理を示す。
図５は、第１のサンプル患者画像を示す患者画像図である。第１のサンプル患者画像５００は、ヒト左心室の超音波画像である。図６～図８は、図５に示す第１のサンプル患者画像についての構成モデル結果を示す。
図６は、３つのうちの第１の構成モデルによる第１のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。第１のモデルによって生成されたこの構成モデル結果６００は、画素の長方形アレイであり、そのうちのいくつか６０１は、それらの画素が非ゼロ値を有することを反映して暗色で示されており、したがって、このモデルによって、セグメンテーションされている左心室特徴を示すように見なされることを見ることができる。
図７は、第２の構成モデルによる第１のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。この構成モデル結果７００を図６に示す構成モデル結果６００と比較することによって、それらのセグメンテーションマスクが異なる画素群であることを見ることができる。
図８は、第３の構成モデルによる第１のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。この構成モデル結果８００を図６及び図７に示す構成モデル結果６００及び７００と比較することによって、３つの構成モデルの結果は、全てが異なり、異なる画素のセットをカバーするセグメンテーションマスクを表すことを見ることができる。
第１のサンプル画像について、ファシリティは、動作４０５では、アンサンブル結果を得るために、図６～図８に示される構成モデル結果を組み合わせ、動作４０６では、構成モデル結果の間の画素ごとの分散を判定し、動作４０７では、画素ごとの分散を使用して、アンサンブル結果の不確実性尺度を判定する。判定された不確実性尺度は、０．０４５であり、ファシリティは、動作４０８では、２２．２２２の信頼性尺度を得るために、逆数を取る。この信頼性尺度は、９．２５９の信頼性閾値よりも大きいため、ファシリティは、アンサンブル結果が高品質であり、高レベルの有用性を有すると判定する。したがって、ファシリティは、それに基づいて、自動的又は手動的に診断を判定及び提示するなど、その精度に依存する方法で、第１の画像についてのアンサンブル結果を使用する。
図９は、第１のサンプル患者画像についてのいくつかの実施形態において、ファシリティによって提示されるサンプル出力を示す出力図である。出力画像９００は、追加情報で増強された元の患者画像を示す。まず、患者画像は、アンサンブル結果セグメンテーションマスクの境界、すなわち、アンサンブルモデルによって予測される左心室の縁部を示す輪郭９０１で増強されている。出力画像では、患者画像は、構成モデルがセグメンテーションマスクに含まれるべきかどうかについて合致されない領域を識別する、不確実性ゾーン９０２及び９０３などの不確実性ゾーンで更に増強される。
図１０～図１４は、第２のサンプル患者画像のファシリティの処理を示す。
図１０は、第２のサンプル患者画像を示す患者画像図である。第１のサンプル患者画像と同様に、第２のサンプル患者画像１０００は、ヒト左心室のものである。図１１～図１３は、図１０に示される第２のサンプル患者画像についての構成モデル結果を示す。
図１１は、第１の構成モデルによる第２のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。この構成モデル１１００は、セグメンテーションマスクの一部である暗画素１１０１を含む。
図１２は、第２の構成モデルによる第２のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。この構成モデル結果１２００は、セグメンテーションマスクを構成する暗画素１２０１を含む。
図１３は、第３の構成モデルによる第２のサンプル画像について生成されたセグメンテーション結果を示すマスク図である。この構成モデル結果１３００は、このセグメンテーションマスクを構成する暗画素１３０１を包含する。
ファシリティは、動作４０５では、アンサンブル結果を得るために、図１１～図１３に示される構成モデル結果を組み合わせ、動作４０６では、構成モデル結果の間の画素ごとの分散を判定し、動作４０７では、画素ごとの分散を使用して、アンサンブルの不確実性尺度を判定する。特に、第２のサンプル画像について得られたアンサンブル結果について、ファシリティは、０．１０８の不確実性尺度を判定し、これは、動作４０８で逆数を取って、９．２５９の信頼性尺度を得る。ファシリティは、この信頼性尺度が９．４３４の信頼性閾値を下回ると判定し、したがって、画像の質についてオペレータに警告すること、代替画像を自動的に捕捉すること、又は構成モデルが合致しない領域を示す注釈付き画像を提示することなど、その精度における低いレベルの信頼性を反映するアンサンブル結果に関する行動を取る。
図１４は、第２のサンプル患者画像についてのいくつかの実施形態において、ファシリティによって提示されるサンプル出力を示す出力図である。出力画像１４００は、追加情報で増強された元の患者画像を示す。患者画像は、アンサンブル結果セグメンテーションマスクの境界を示す輪郭１４０１で増強されている。出力画像では、患者画像は、構成モデルがセグメンテーションマスクに含まれるべきかどうかについて合致しない領域を識別する、不確実性ゾーン１４０２及び１４０３などの不確実性ゾーンで更に増強される。
第２のサンプル患者画像について図１４に示される不確実性ゾーンを、第１のサンプル患者画像について図９に示す不確実性に比較することによって、第２の患者画像の不確実性ゾーンが著しく大きいことを見ることができる。これは、これらの不確実性ゾーンの範囲が、両方のサンプル患者画像についての輪郭の内側の範囲（すなわち、不確実性ゾーンの範囲が不確実性尺度を計算するために分割される、アンサンブル結果セグメンテーションマスクの範囲）と比較されたときに、特に真実である。
図１５は、ファシリティによってアンサンブルモデル結果の処理を選択するための基準として使用する信頼性閾値を判定するために、いくつかの実施形態においてファシリティによって実行されるプロセスを示すフロー図である。動作１５０１では、ファシリティは、検査患者画像のセットにアクセスする。動作１５０２～１５０９では、ファシリティは、各アクセスされた検査患者画像を通ってループする。動作１５０３～１５０５では、ファシリティは、構成モデルの各々を通ってループする。動作１５０４では、ファシリティは、結果を得るために、構成モデルを検査患者画像に適用する。動作１５０５では、他の構成モデルがこの検査患者画像に適用されたままである場合、ファシリティは、次の構成モデルを検査患者画像に適用するために動作１５０３を継続し、さもなければ、ファシリティは、動作１５０６を継続する。動作１５０６では、ファシリティは、この検査患者画像についてのアンサンブル結果を得るために、この検査患者画像について動作１５０４において得られた構成モデル結果を組み合わせる。動作１５０７では、ファシリティは、動作１５０６においてこの検査患者画像について得られたアンサンブル結果の不確実性尺度を判定及び記憶する。動作１５０８では、ファシリティは、評価についてアンサンブル結果を専門家に提示し、専門家によって提供された評価結果を記憶する。いくつかの実施形態では、この評価結果は、アンサンブル結果が許容可能であるか、又は許容不可能であるかを示す。いくつかの実施形態では、専門家は、正確な診断に適切な基準を提供する場合、アンサンブル結果が許容可能であると判定する。動作１５０９では、追加の検査患者画像が処理されたままである場合、ファシリティは、次の検査患者画像を処理するために動作１５０２を継続し、さもなければ、ファシリティは、動作１５１０を継続する。動作１５１０では、ファシリティは、許容不可能であった動作１５０８において記憶された評価結果の数を計数する。動作１５１１では、ファシリティは、動作１５０７において判定された不確実性尺度を選別する。
図１６は、検査患者画像のサンプルセットについて、ファシリティによって判定された不確実性尺度の分布を示す分布図であり、これらの不確実性尺度は、選別された順序で見ることができる。分布図１６００では、最大の不確実性尺度σがグラフの右側に向かって示され、最小のものが左側に示されていることを見ることができる。
図１５に戻り、動作１５１２では、ファシリティは、動作１５１１において得られた不確実性尺度の選別されたリストから、選別されたリストの高位終端から許容不可能な評価結果の数である不確実性尺度を選択する。本実施例では、ファシリティは、動作１５１０において１６個の許容不可能な評価結果を計数する。したがって、ファシリティは、その高位終端から０．１９５～０．１０６までの不確実性尺度の選別されたリストにおける１６個の位置を計数する。実施例では、０．１０６は、動作１５１２においてファシリティによって選択された不確実性尺度である。動作１５１３では、ファシリティは、動作１５１２において選択された不確実性尺度に対応する信頼性閾値を判定する。いくつかの実施形態では、ファシリティは、動作１５１２において選択された不確実性尺度の逆数を取ることによって動作１５１３を実行する。実施例の観点から、ファシリティは、９．４３の信頼性閾値を得るために、不確実性の尺度０．１０６の逆数を取る。
図１５に示されていないいくつかの実施形態では、ファシリティは、検査患者画像のセット全体の一部分のみについて専門家評価結果を得る。言い換えれば、動作１５０８が各検査患者画像について生成されたアンサンブル結果について実行される図１５に示される方法とは反対に、これらの実施形態では、動作１５０８は、検査患者画像のために生成されたアンサンブル結果の適切なサブセットについてのみ実行される。これらの実施形態では、動作１５１２において、図示されるような許容不可能な評価結果の数によって最も高い不確実性尺度から後方を計数するのではなく、ファシリティは、得られた評価結果の総数の何パーセントを、計数された許容不可能な評価結果の数が構成するかを判定し、そのパーセントを最高から最低に向かって不確実性尺度を通って移動させる。これはまた、判定されたパーセンテージから１を引いた値に対応する不確実性尺度の間のパーセンタイル値からを判定することとして説明することができる。
図１７は、検査患者画像のセットについての不確実性尺度の累積分布を示す分布図である。分布図１７００は、受信された評価結果の５パーセントが許容不可能であったという、ファシリティによる判定に対応する、経験的カバレッジｃ値０．９５の水平線を示す。この水平線は、動作１５１３における信頼性閾値を判定するための基準として、これらの実施形態において選択された不確実性尺度であるσ＝０．１０６の値で累積不確実性尺度と交差している。
上に説明される様々な実施形態を組み合わせて、更なる実施形態を提供することができる。米国特許、本明細書で言及され、及び／又は出願データシートに列挙された米国特許出願公開、米国特許明細書、外国の特許、外国の特許明細書及び非特許刊行物は全て、その全体が参考として本明細書に援用される。実施形態の態様を改変し、必要な場合には、様々な特許、明細書及び刊行物の概念を使用して、更なる実施形態を提供することができる。
上記の発明を実施するための形態を考慮して、これら及び他の変更を実施形態に行うことができる。一般的に、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示される具体的な実施形態に限定するものと解釈すべきではないが、このような特許請求の範囲によって権利が与えられる全均等物の範囲に沿った全ての可能な実施形態を含むと解釈すべきである。したがって、特許請求の範囲は、本開示によって制限されるものではない。

Claims (39)

  1. システムであって、
    超音波感知デバイスと、
    コンピューティングデバイスであって、前記コンピューティングデバイスが、
    人物から前記超音波感知デバイスによって感知された超音波エコーデータを直接受信するように構成された通信インターフェースであって、前記受信された超音波エコーデータが、超音波画像を含む、通信インターフェースと、
    メモリであって、
    各々が超音波画像内の生理学的構造についてのセグメンテーションマスクを生成するための複数の訓練されたサブモデルを記憶することと、
    所定の不確実性メトリック閾値を記憶することと、を行うように構成された、メモリと、
    プロセッサであって、
    前記記憶された複数の訓練されたサブモデルの各々について、
    各々が前記セグメンテーションされた構造を示すことを示す第１の値を有する画素と、各々が前記セグメンテーションされた構造を示さないことを示す第２の値を有する画素と、含む、前記受信された超音波画像についてのサブモデルセグメンテーションマスクを生成するために、前記訓練されたサブモデルを前記受信された超音波画像に適用することと、
    アンサンブルセグメンテーションマスクを得るために、前記生成されたサブモデルセグメンテーションマスクを組み合わせることと、
    各画素が、前記サブモデルセグメンテーションマスクが前記画素について異なる値を有する程度を示す値を有する、前記サブモデルセグメンテーションマスク間の画素ごとの分散を判定することと、
    前記アンサンブルセグメンテーションマスクが前記第１の値を包含する画素の数と比較して、前記画素ごとの分散が、分散閾値よりも大きい値を有する画素の数に基づいて、前記アンサンブルセグメンテーションマスクについての不確実性メトリックを判定することと、
    前記判定された不確実性メトリックを、前記記憶された所定の不確実性メトリック閾値と比較することと、
    前記比較の結果に基づいて、前記アンサンブルセグメンテーションマスクに対する差分処理を実行することと、を行うように構成された、プロセッサと、
    表示デバイスであって、
    前記受信された超音波画像を表示することと、
    前記アンサンブルセグメンテーションマスクに対する前記差分処理の前記超音波画像結果とともに表示することと、を行うように構成された、表示デバイスと、を備える、コンピューティングデバイスと、を備える、システム。
  2. 前記超音波感知デバイスが、トランスデューサを備える、請求項１に記載のシステム。
  3. 前記差分処理が、前記判定された不確実性メトリックが前記所定の不確実性メトリック閾値を下回る場合にのみ、診断を自動的に生成するために前記アンサンブルセグメンテーションマスクを使用することを含む、請求項１に記載のシステム。
  4. 前記差分処理が、前記判定された不確実性メトリックが前記所定の不確実性メトリック閾値を超える場合にのみ、前記人物から追加の超音波画像を捕捉することを含む、請求項１に記載のシステム。
  5. 前記差分処理が、前記判定された不確実性メトリックが前記所定の不確実性メトリック閾値を超える場合にのみ、前記サブモデルが合致しない前記超音波画像の部分を識別するために、前記画素ごとの分散を使用することを含む、請求項１に記載のシステム。
  6. コンピューティングシステムに方法を実行させるように構成された内容を集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、前記方法が、
    医療撮像画像にアクセスすることと、
    医療撮像画像の画素の各々について、尺度の値を予測するように訓練されたアンサンブル機械学習モデルにアクセスすることであって、前記アンサンブル機械学習モデルが、医療撮像画像の前記画素の各々について、前記尺度の値を予測するように各々訓練された複数の構成モデルを含み、前記アンサンブル機械学習モデルが、前記複数の前記構成モデルによって生成された結果から前記アンサンブル機械学習モデルの結果を判定するために使用される集約技術を指定する情報を更に含む、アクセスすることと、
    前記複数の前記構成モデルの各々について、構成モデル結果を生成するために、前記構成モデルを前記アクセスされた画像に適用することと、
    前記アンサンブル機械学習モデルの結果を判定するために、前記指定された集約技術を前記複数の前記構成モデルによって生成された結果に適用することと、
    前記アクセスされた画像の前記画素の各々について、前記構成モデルの間で前記画素について予測された前記値の間で変動の尺度を判定することと、
    前記アクセスされた画像の前記画素のうちのいくつについて、変動閾値を超える変動尺度が判定されるかに少なくとも部分的に基づいて、前記判定されたアンサンブル機械学習モデル結果に対する信頼性尺度を判定することと、を含む、コンピュータ可読媒体の１つ以上のインスタンス。
  7. 前記方法が、視覚的指標前記判定された信頼性尺度を、前記アンサンブル機械学習モデル結果の視覚的描写と関連して提示させることを更に含む、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  8. 前記方法が、前記判定された信頼性尺度に基づいて、差分処理を実行することを更に含む、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  9. 前記方法が、
    各々が異なる患者から捕捉された複数の検査医療撮像画像にアクセスすることと、
    前記複数の検査画像の各々について、
    前記複数の前記構成モデルの各々について、構成モデル結果を生成するために、前記構成モデルを前記検査画像に適用することと、
    前記アンサンブル機械学習モデルの結果を判定するために、前記指定された集約技術を前記複数の前記構成モデルによって生成された結果に適用することと、
    前記検査画像の前記画素の各々について、前記構成モデルの間で前記画素について予測された前記値の間で変動の尺度を判定することと、
    前記検査画像の前記画素のうちのいくつについて、変動閾値を超える変動尺度が判定されるかに少なくとも部分的に基づいて、前記判定されたアンサンブル機械学習モデル結果に対する信頼性尺度を判定することと、
    人間の専門家が前記判定されたアンサンブル機械学習モデル結果を許容可能な品質であると見出されたかどうかを示す入力を受信することと、
    人間の専門家が前記判定されたアンサンブル機械学習モデル結果が許容可能な品質ではないと見出されたことを示す入力が受信された検査画像の数を計数することと、
    前記検査画像について判定された前記信頼性尺度を選別することと、
    前記選別された信頼性尺度の前記低位終端から前記計数された数の許容不可能な結果である検査画像について判定された前記信頼性尺度を信頼性閾値として選択することと、
    前記アクセスされた画像について判定された前記信頼性尺度を、前記差分処理を実行するための基準として、前記選択された信頼性閾値と比較することと、を更に含む、請求項８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  10. 前記医療撮像画像が、区別された患者から捕捉されており、
    前記差分処理が、前記判定された信頼性尺度が信頼性尺度閾値を下回る場合にのみ、前記区別された患者から追加の超音波医療撮像画像を自動的に捕捉することを含む、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  11. 前記差分処理が、前記判定された信頼性尺度が信頼性尺度閾値を下回る場合にのみ、前記アクセスされた画像を、変動の前記判定された尺度が前記変動閾値を超える画素を視覚的に識別するように表示させることを含む、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  12. 前記差分処理が、前記判定された不確実性メトリックが信頼性尺度閾値を上回る場合にのみ、診断を自動的に生成するために前記アンサンブル機械学習モデルの前記判定された結果を使用することを含む、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  13. 前記アクセスされた画像が、超音波画像である、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  14. 前記構成モデルの各々によって生成された前記結果が、前記アクセスされた画像の各画素が区別された生理学的構造の一部を示すかどうかを予測する、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  15. 前記構成モデルの各々によって生成された前記結果が、前記アクセスされた画像の各画素が器官ランドマークの一部を示すかどうかを予測する、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  16. 前記構成モデルの各々によって生成された前記結果が、前記アクセスされた画像の各画素が区別された生理学的構造の縁にあるかどうかを予測する、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  17. 前記方法が、前記複数の構成モデルの各々を訓練することを更に含む、請求項６に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  18. 視覚的提示データ構造を集合的に記憶するコンピュータ可読媒体の１つ以上のインスタンスであって、前記データ構造が、
    画素のグリッドの各々について、前記画素がどのように表示されるかを示すデータであって、
    前記グリッドの前記画素の第１のサブセットがどのように表示されるかを示す前記データが、第１のデータを含み、画素の前記第１のサブセットが、第１の値が予測されるべきであると複数の機械学習モデルの少なくとも閾値数が合致した入力医療撮像画像の画素に対応し、前記第１のサブセットとは異なる前記グリッドの前記画素の第２のサブセットがどのように表示されるかを示す前記データが、前記第１のデータとは異なる第２のデータを含み、画素の前記第２のサブセットが、前記複数の機械学習モデルの前記閾値数未満が第１の値を予測すべきかどうかについて合致した入力医療撮像画像の画素に対応し、前記データ構造の前記内容が、前記複数の機械学習モデルの確実性のレベルを反映して、前記複数の機械学習モデルによって作成された前記入力医療撮像画像に対する予測を示す予測画像を表示するために使用可能である、データである、コンピュータ可読媒体の１つ以上のインスタンス。
  19. 前記第１及び第２のサブセットとは異なる前記グリッドの前記画素の第３のサブセットがどのように表示されるべきかを示す前記データが、前記第１のデータと異なり、かつ前記第２のデータと異なる第３のデータを含み、複数の機械学習モデルの少なくとも閾値数が、前記第１の値とは異なる第２の値が予測されるべきであることに合致した入力医療撮像画像の画素に、画素の前記第１のサブセットが対応する、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  20. 前記第１のデータ及び第２のデータが各々、色相を指定するデータを含む、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  21. 前記第１のデータ及び第２のデータが各々、強度を指定するデータを含む、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  22. 前記グリッドの前記画素の各々について前記複数の前記機械学習モデルの各々による前記予測が、前記入力医療撮像画像の対応する画素における区別された生理学的構造の存在を予測する、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
  23. 視覚的提示データ構造を伝達するハードウェアネットワーキングデバイスであって、前記データ構造が、
    画素のグリッドの各々について、前記画素がどのように表示されるかを示すデータであって、
    前記グリッドの前記画素の第１のサブセットがどのように表示されるかを示す前記データが、第１のデータを含み、画素の前記第１のサブセットが、第１の値が予測されるべきであると複数の機械学習モデルの少なくとも閾値数が合致した入力医療撮像画像の画素に対応し、前記第１のサブセットとは異なる前記グリッドの前記画素の第２のサブセットがどのように表示されるかを示す前記データが、前記第１のデータとは異なる第２のデータを含み、画素の前記第２のサブセットが、前記複数の機械学習モデルの前記閾値数未満が第１の値を予測すべきかどうかについて合致した入力医療撮像画像の画素に対応し、前記データ構造の前記内容が、前記複数の機械学習モデルの確実性のレベルを反映して、前記複数の機械学習モデルによって作成された前記入力医療撮像画像に対する予測を示す予測画像を表示するために使用可能である、データである、ハードウェアネットワーキングデバイス。
  24. 前記第１及び第２のサブセットとは異なる前記グリッドの前記画素の第３のサブセットがどのように表示されるべきかを示す前記データが、前記第１のデータと異なり、かつ前記第２のデータと異なる第３のデータを含み、複数の機械学習モデルの少なくとも閾値数が、前記第１の値とは異なる第２の値が予測されるべきであることに合致した入力医療撮像画像の画素に、画素の前記第１のサブセットが対応する、請求項２３に記載のハードウェアネットワーキングデバイス。
  25. 前記第１のデータ及び第２のデータが各々、色相を指定するデータを含む、請求項２３に記載のハードウェアネットワーキングデバイス。
  26. 前記第１のデータ及び第２のデータが各々、強度を指定するデータを含む、請求項２３に記載のハードウェアネットワーキングデバイス。
  27. 前記グリッドの前記画素の各々について前記複数の前記機械学習モデルの各々による前記予測が、前記入力医療撮像画像の対応する画素における区別された生理学的構造の存在を予測する、請求項２３に記載のハードウェアネットワーキングデバイス。
  28. コンピューティングシステムにおける方法であって、
    医療撮像画像にアクセスすることと、
    医療撮像画像の画素の各々について尺度の値を予測するように訓練されたアンサンブル機械学習モデルにアクセスすることであって、前記アンサンブル機械学習モデルが、医療撮像画像の前記画素の各々について前記尺度の値を予測するように各々訓練された複数の構成モデルを含み、前記アンサンブル機械学習モデルが、前記複数の前記構成モデルによって生成された結果から前記アンサンブル機械学習モデルの結果を判定するために使用される集約技術を指定する情報を更に含む、アクセスすることと、
    前記複数の前記構成モデルの各々について、構成モデル結果を生成するために、前記構成モデルを前記アクセスされた画像に適用することと、
    前記アンサンブル機械学習モデルの結果を判定するために、前記指定された集約技術を前記複数の前記構成モデルによって生成された結果に適用することと、
    前記アクセスされた画像の前記画素の各々について、前記構成モデルの間で前記画素について予測された前記値の間で変動の尺度を判定することと、
    前記アクセスされた画像の前記画素のうちのいくつについて、変動閾値を超える変動尺度が判定されるかに少なくとも部分的に基づいて、前記判定されたアンサンブル機械学習モデル結果に対する信頼性尺度を判定することと、を含む、コンピューティングシステム。
  29. 視覚的指標前記判定された信頼性尺度を、前記アンサンブル機械学習モデル結果の視覚的描写と関連して提示させることを更に含む、請求項２８に記載の方法。
  30. 前記判定された信頼性尺度に基づいて、差分処理を実行することを更に含む、請求項２８に記載の方法。
  31. 各々が異なる患者から捕捉された複数の検査医療撮像画像にアクセスすることと、
    前記複数の検査画像の各々について、
    前記複数の前記構成モデルの各々について、構成モデル結果を生成するために、前記構成モデルを前記検査画像に適用することと、
    前記アンサンブル機械学習モデルの結果を判定するために、前記指定された集約技術を前記複数の前記構成モデルによって生成された結果に適用することと、
    前記検査画像の前記画素の各々について、前記構成モデルの間で前記画素について予測された前記値の間で変動の尺度を判定することと、
    前記検査画像の前記画素のうちのいくつについて、変動閾値を超える変動尺度が判定されるかに少なくとも部分的に基づいて、前記判定されたアンサンブル機械学習モデル結果に対する信頼性尺度を判定することと、
    人間の専門家が前記判定されたアンサンブル機械学習モデル結果を許容可能な品質であると見出されたかどうかを示す入力を受信することと、
    人間の専門家が前記判定されたアンサンブル機械学習モデル結果が許容可能な品質ではないと見出されたことを示す入力が受信された検査画像の数を計数することと、
    前記検査画像について判定された前記信頼性尺度を選別することと、
    前記選別された信頼性尺度の前記低位終端から前記計数された数の許容不可能な結果である検査画像について判定された前記信頼性尺度を信頼性閾値として選択することと、
    前記アクセスされた画像について判定された前記信頼性尺度を、前記差分処理を実行するための基準として、前記選択された信頼性閾値と比較することと、を更に含む、請求項３０に記載の方法。
  32. 前記医療撮像画像が、区別された患者から捕捉されており、
    前記差分処理が、前記判定された信頼性尺度が信頼性尺度閾値を下回る場合にのみ、前記区別された患者から追加の超音波医療撮像画像を自動的に捕捉することを含む、請求項２８に記載の方法。
  33. 前記差分処理が、前記判定された信頼性尺度が信頼性尺度閾値を下回る場合にのみ、前記アクセスされた画像を、変動の前記判定された尺度が前記変動閾値を超える画素を視覚的に識別するように表示させることを含む、請求項２８に記載の方法。
  34. 前記差分処理が、前記判定された不確実性メトリックが信頼性尺度閾値を上回る場合にのみ、診断を自動的に生成するために前記アンサンブル機械学習モデルの前記判定された結果を使用することを含む、請求項２８に記載の方法。
  35. 前記アクセスされた画像が、超音波画像である、請求項２８に記載の方法。
  36. 前記構成モデルの各々によって生成された前記結果が、前記アクセスされた画像の各画素が区別された生理学的構造の一部を示すかどうかを予測する、請求項２８に記載の方法。
  37. 前記構成モデルの各々によって生成された前記結果が、前記アクセスされた画像の各画素が器官ランドマークの一部を示すかどうかを予測する、請求項２８に記載の方法。
  38. 前記構成モデルの各々によって生成された前記結果が、前記アクセスされた画像の各画素が区別された生理学的構造の縁にあるかどうかを予測する、請求項２８に記載の方法。
  39. 前記複数の構成モデルの各々を訓練することを更に含む、請求項２８に記載の方法。
JP2022567787A 2020-05-11 2021-05-06 リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング Pending JP2023525742A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063022985P 2020-05-11 2020-05-11
US63/022,985 2020-05-11
US17/088,390 US11532084B2 (en) 2020-05-11 2020-11-03 Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US17/088,390 2020-11-03
PCT/US2021/031193 WO2021231190A1 (en) 2020-05-11 2021-05-06 Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification

Publications (1)

Publication Number Publication Date
JP2023525742A true JP2023525742A (ja) 2023-06-19

Family

ID=78412918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022567787A Pending JP2023525742A (ja) 2020-05-11 2021-05-06 リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング

Country Status (4)

Country Link
US (1) US11532084B2 (ja)
EP (1) EP4149364A1 (ja)
JP (1) JP2023525742A (ja)
WO (1) WO2021231190A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3536245A1 (en) * 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
US11523801B2 (en) * 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
US11636593B2 (en) 2020-11-06 2023-04-25 EchoNous, Inc. Robust segmentation through high-level image understanding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501622B2 (en) * 2014-03-05 2016-11-22 Heartflow, Inc. Methods and systems for predicting sensitivity of blood flow calculations to changes in anatomical geometry
JP6187444B2 (ja) 2014-03-20 2017-08-30 株式会社村田製作所 電力増幅モジュール
US9390224B2 (en) * 2014-08-29 2016-07-12 Heartflow, Inc. Systems and methods for automatically determining myocardial bridging and patient impact
CA3004657A1 (en) * 2015-11-10 2017-05-18 Exact Imaging, Inc. A system comprising indicator features in high-resolution micro-ultrasound images
WO2017091833A1 (en) * 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation
US11056243B2 (en) * 2015-12-21 2021-07-06 Elekta Ab (Publ) Systems and methods for optimizing treatment planning
CN113876353A (zh) 2016-06-20 2022-01-04 蝴蝶网络有限公司 引导超声装置的操作者定位超声装置的方法、系统和介质
US9589374B1 (en) 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US10902598B2 (en) 2017-01-27 2021-01-26 Arterys Inc. Automated segmentation utilizing fully convolutional networks
EP3376472A1 (en) * 2017-03-13 2018-09-19 Koninklijke Philips N.V. Anatomical measurements from ultrasound data
US11245887B2 (en) 2017-09-14 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and operation method therefor
US10628932B2 (en) * 2017-10-27 2020-04-21 Butterfly Network, Inc. Quality indicators for collection of and automated measurement on ultrasound images
EP3536245A1 (en) 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
CN112040876A (zh) 2018-04-20 2020-12-04 皇家飞利浦有限公司 自适应超声扫描
US20210177373A1 (en) 2018-07-26 2021-06-17 Koninklijke Philips N.V. Ultrasound system with an artificial neural network for guided liver imaging
US11446008B2 (en) 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
WO2020121014A1 (en) 2018-12-11 2020-06-18 Eko.Ai Pte. Ltd. Automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images for automatic cardiac measurements and the diagnosis, prediction and prognosis of heart disease
US10936160B2 (en) * 2019-01-11 2021-03-02 Google Llc System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications
EP3909016A1 (en) * 2019-01-13 2021-11-17 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
US11523801B2 (en) 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured

Also Published As

Publication number Publication date
US11532084B2 (en) 2022-12-20
US20210350529A1 (en) 2021-11-11
EP4149364A1 (en) 2023-03-22
WO2021231190A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
US20200222027A1 (en) Device and method for automatic pneumothorax detection
JP2023525742A (ja) リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング
CN110381846B (zh) 血管阻塞诊断方法、设备及系统
CN110740689B (zh) 超声诊断装置及其操作方法
US11636593B2 (en) Robust segmentation through high-level image understanding
US20210345986A1 (en) Automatic evaluation of ultrasound protocol trees
KR102539922B1 (ko) 탄성초음파영상에 대한 변형률 계산 및 변형량의 자동 측정을 위한 방법 및 시스템
US11523801B2 (en) Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
CN113208646B (zh) 基于软组织形态评估超声探头接触状态的方法及装置
CN115969414A (zh) 用于在超声成像期间使用分析辅助的方法和系统
CN115700106A (zh) 估计介质的非线性剪切波弹性的超声方法和系统
JP7215053B2 (ja) 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム
US20230263501A1 (en) Determining heart rate based on a sequence of ultrasound images
US20240023937A1 (en) Automation-assisted venous congestion assessment in point of care ultrasound
CN115279275A (zh) 超声诊断设备及其操作方法
US20230125779A1 (en) Automatic depth selection for ultrasound imaging
US20230285005A1 (en) Automatically establishing measurement location controls for doppler ultrasound
CN114098687B (zh) 用于超声运动模式的自动心率测量的方法和系统
US20240057968A1 (en) System and method for measuring total blood volume with ultrasound
WO2024068347A1 (en) Method and system for performing stiffness measurements using ultrasound shear wave elastography
KR20160086126A (ko) 초음파 진단 방법 및 장치
JP2005270351A (ja) 超音波３次元画像化方法及び画像化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240408