JP7330207B2 - 適応的超音波スキャニング - Google Patents

Description

[001] 本開示は、ニューラルネットワークを使用して超音波画像内の解剖学的特徴を特定するための超音波システム及び方法に関する。特定の実装形態は、ニューラルネットワークによって特定された解剖学的特徴及び条件に基づいて適応的スキャニングプロトコルを生成するように構成されたシステムを伴う。

[002] 超音波検査は、出生前の成長及び発達を評価するために広く使用されている。超音波スキャンは、生存能力、解剖学的構造、月齢、及び分娩前状態を査定するために全妊娠期間にわたって行われる。高リスクの妊娠の場合には、毎週又は隔週のスキャンが必要とされることがある。典型的な評価は、事前に指定された解剖学的特徴のリストを、多くの場合には特定の順序でイメージングして、胎児の月例及び健康状態を示す測定値を収集することを伴う。例えば、大腿骨長、腹囲、及び頭位が測定されることが多い。

[003] 通常のスキャンであっても多数の画像及び測定値の収集を必要とし、これは、ユーザ、特に経験の少ないユーザにとっては、対処しきれないことがある。また、必要な測定値の長いリストは、異なる妊娠ステージごとに異なることもあり、これにより正確な測定値を獲得する困難さがさらに増大する。順序付けられたスキャンプロトコルを提供するように設計された既存のワークフロー解決法は、柔軟性に欠け、多くの場合はユーザが特定の特徴を特定の順序で測定することを必要とする。よって、特に初心者ユーザにとっての、出生前の超音波スキャンを行うことに伴う困難さを低減するように構成された新しい技術が望まれる。

[004] 本開示は、様々な解剖学的物体の超音波評価を行うためのシステム及び方法を記載する。本明細書における例は特に胎児の出生前評価を扱うが、開示されるシステム及び方法は、単に説明の目的で胎児の査定に関して記載されること、及び、解剖学的査定は、これらに限定されないが、例えば心臓及び肺を含む患者体内の各種物体に対して、ある範囲の時間点に行われ得ることが当業者に理解されるべきである。いくつかの実施形態において、システムは、例えば、特定の解剖学的特徴、解剖学的特徴又は構造の運動（例えば、胎児運動）を特定し、前記解剖学的特徴又は構造を位置決めし、それらの判定に応じて、確立された医療指針に準拠して、胎児スキャンなどの超音波スキャンにおいてユーザを適応的に誘導することにより、出生前超音波スキャンの精度、効率、及び自動化、又は他の臨床用途（例えば、心臓、肝臓、乳房等）に関連する超音波スキャニングプロトコルを改善するように構成される。いくつかの実施形態は、組織、臓器、又は身体構造の超音波画像が獲得されるのと同時にリアルタイムで組織、臓器、又は身体構造の解剖学的特徴を分類するように独自に構成されたニューラルネットワークによって行われる、標準的なビュー分類を伴う。

[005] いくつかの特定の実施形態は、胎児の活動又は運動及び現在の胎児位置を検出するように構成された演算モジュールを含む。ニューラルネットワーク及び活動／位置決めモジュールによって行われた各判定は、受け取られた入力に基づいて獲得すべき次の胎児測定値及び／又はイメージングすべき解剖学的特徴を推奨するように構成された第２のニューラルネットワークに供給され得る。いくつかの実施形態において、システムは、胎児の異常を検出し、そのような異常を検出するのに応じて、異常をさらに調査するための追加的な測定を推奨するようにも構成される。システムは、必要とされる測定値のワークリスト及び／又は胎児のイメージングビューを表示するように構成されたユーザインターフェースも含むことができる。ユーザインターフェースは、どの画像及び測定が完了しており、どの画像及び測定がまだ獲得される必要があるかを、自動化された方式で、又はユーザ入力に応じて、示すように構成され得る。本発明の原理に係るシステムは、出生前の超音波スキャン中に必要とされるユーザの意思決定及び解剖学的解釈を助けることにより、出生前査定の効率を上げることができる。

[006] いくつかの例によれば、超音波イメージングシステムは、ターゲット領域に向けて送信される超音波パルスに応じたエコー信号を獲得するように構成された超音波トランスデューサと、超音波トランスデューサと通信する１つ又は複数のプロセッサと、を含む。プロセッサは、超音波エコーから少なくとも１つの画像フレームを生成し、その画像フレームを第１のニューラルネットワークに提供するように構成され、第１のニューラルネットワークは、画像フレーム内の物体の解剖学的特徴を特定するように構成される。プロセッサはまた、解剖学的特徴のインジケーションを第２のニューラルネットワークに提供するように構成され、第２のニューラルネットワークは、必要とされる測定値のリストに従って、第１のニューラルネットワークによって特定された解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定するように構成される。プロセッサはまた、取得すべき解剖学的測定値のインジケータを、プロセッサと通信するユーザインターフェース上に表示させるように構成され得る。

[007] いくつかの例において、プロセッサはさらに、取得すべき解剖学的測定値に基づいて超音波トランスデューサを調節するための命令を生成するように構成される。いくつかの実施形態において、プロセッサはさらに、物体の運動及び物体の現在の位置を特定するように構成される。いくつかの例において、プロセッサはさらに、物体の運動及び現在の位置に部分的に基づいて取得すべき解剖学的測定値を決定するように構成される第２のニューラルネットワークに、物体の運動及び現在の位置のインジケーションを提供するように構成される。いくつかの実施形態において、プロセッサは、超音波エコーから生成された連続する画像フレームのラインのサブセットを相互相関させることにより、物体の運動を特定するように構成される。いくつかの例において、プロセッサは、画像フレームから解剖学的特徴を抽出し、抽出された解剖学的特徴をリカレントニューラルネットワークに入力することにより、物体の現在の位置を特定するように構成される。いくつかの実施形態において、第２のニューラルネットワークは、第１のニューラルネットワークによって特定された解剖学的特徴を、取得すべき解剖学的測定値を取得するための行為に関連付けるように構成された、推奨システムを実施するように構成される。いくつかの例において、第１のニューラルネットワークは、訓練用入力及び既知の出力のアレイを受け取るように構成された訓練アルゴリズムに動作的に関連付けられ得、訓練用入力は、物体の解剖学的特徴を含んでいる超音波画像フレームを含み、既知の出力は、それら解剖学的特徴に基づくビュー分類を含む。いくつかの例において、ユーザインターフェースは、必要とされる測定値のリストを表示するように構成され得る。いくつかの実施形態において、ユーザインターフェースは、ユーザによって取得された測定値に部分的に基づいて、必要とされる測定値のリストを更新するように構成される。いくつかの例において、取得すべき解剖学的測定値は、超音波トランスデューサの最も小さい可能な調節を実施することによって取得可能な測定値を含む。いくつかの実施形態において、取得すべき解剖学的測定値は、精度閾値で又はそれ以上で取得可能な測定値を含む。

[008] いくつかの例によれば、超音波イメージングの方法は、超音波システムに動作的に結合されたトランスデューサによってターゲット領域内に送信される超音波パルスに応じたエコー信号を獲得するステップと、超音波エコーから少なくとも１つの画像フレームを生成するステップと、画像フレームを第１のニューラルネットワークに提供するステップと、を有し、第１のニューラルネットワークは、第１のニューラルネットワークは、画像フレーム内の物体の解剖学的特徴を特定するように構成される。いくつかの例において、方法は、解剖学的特徴のインジケーションを、第２のニューラルネットワークに提供するステップも有する。第２のニューラルネットワークは、必要とされる測定値のリストに従って、第１のニューラルネットワークによって特定された解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定するように構成される。方法はさらに、取得すべき解剖学的測定値のインジケータを、プロセッサと通信するユーザインターフェース上に表示させるステップを有する。

[009] いくつかの実施形態において、方法はさらに、取得すべき解剖学的測定値に基づいて超音波トランスデューサを調節するための命令を生成するステップを有する。いくつかの例において、方法はまた、物体の運動及び物体の現在の位置を特定するステップを有する。いくつかの実施形態において、方法はまた、取得すべき解剖学的測定値を決定する第２のニューラルネットワークに、物体の運動及び現在の位置のインジケーションを提供するステップを有する。物体の運動を特定するステップは、超音波エコーから生成された連続する画像フレームのラインのサブセットを相互相関させるステップを有してよい。物体の現在の位置を特定するステップは、画像フレームから解剖学的特徴を抽出し、抽出された解剖学的特徴をリカレントニューラルネットワークに入力するステップを有してよい。いくつかの実施形態において、方法はまた、ユーザによって取得された測定値に部分的に基づいて、必要とされる測定値のリストを表示及び更新するステップを有する。

[010] 本開示は、胎児の出生前評価を行うためのシステム及び方法を記載する。実施形態は、特定の解剖学的特徴、胎児運動を特定し、位置決めを行い、それらの判定に応じて、確立された医療指針に準拠して胎児スキャンにおいて適応的にユーザを誘導することにより、出生前超音波スキャンの精度、効率、及び自動化を向上させるように構成されたシステムを含む。実施形態は、胎児の超音波画像が獲得されるのと同時にリアルタイムで胎児の解剖学的特徴を分類するように独自に構成されたニューラルネットワークによって行われる胎児ビューの分類を伴う。実施形態はまた、胎児の活動又は運動及び現在の胎児位置を検出するように構成された演算モジュールも含む。ニューラルネットワーク及び活動／位置決めモジュールによって行われた各判定は、受け取られた入力に基づいて獲得すべき次の胎児測定値及び／又はイメージングすべき解剖学的特徴を推奨するように構成された第２のニューラルネットワークに供給され得る。いくつかの実施形態において、システムは、胎児の異常を検出し、そのような異常を検出するのに応じて、異常をさらに調査するための追加的な測定を推奨するようにも構成される。システムは、必要とされる測定値のワークリスト及び／又は胎児のイメージングビューを表示するように構成されたユーザインターフェースも含むことができる。ユーザインターフェースは、どの画像及び測定が完了しており、どの画像及び測定がまだ獲得される必要があるかを、自動化された方式で、又はユーザ入力に応じて、示すように構成され得る。本明細書に記載されるシステムは、出生前超音波スキャン中に必要とされるユーザの意思決定及び解剖学的解釈を助けることにより、出生前査定の効率を上げることができる。

[011] いくつかの例によると、超音波イメージングシステムは、ターゲット領域に向けて送信される超音波パルスに応じたエコー信号を獲得するように構成された超音波トランスデューサと、超音波トランスデューサと通信する１つ又は複数のプロセッサと、を含む。プロセッサは、超音波エコーから少なくとも１つの画像フレームを生成し、その画像フレームに第１のニューラルネットワークを適用するように構成され、第１のニューラルネットワークは、画像フレーム内の胎児の解剖学的特徴を特定するように構成される。プロセッサはさらに、第１のニューラルネットワークによって特定された解剖学的特徴に第２のニューラルネットワークを適用するように構成され、第２のニューラルネットワークは、必要とされる測定値のリストに従って、第１のニューラルネットワークによって特定された解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定するように構成される。プロセッサはさらに、取得すべき解剖学的測定値のインジケータを、プロセッサと通信するユーザインターフェース上に表示させるように構成される。

[012] いくつかの例において、プロセッサはさらに、取得すべき解剖学的測定値に基づいて超音波トランスデューサを調節するための命令を生成するように構成される。いくつかの実施形態において、プロセッサはさらに、胎児の運動及び胎児の現在の位置を特定するように構成される。いくつかの例において、プロセッサはさらに、胎児の運動及び現在の位置に第２のニューラルネットワークを適用するように構成され、それにより、第２のニューラルネットワークは、胎児の運動及び現在の位置に部分的に基づいて、取得すべき解剖学的測定値を決定するように構成される。いくつかの実施形態において、プロセッサは、超音波エコーから生成された連続する画像フレームのラインのサブセットを相互相関させることにより、胎児の運動を特定するように構成される。いくつかの例において、プロセッサは、画像フレームから解剖学的特徴を抽出し、抽出された解剖学的特徴をリカレントニューラルネットワークに入力することにより、胎児の現在の位置を特定するように構成される。いくつかの実施形態において、第２のニューラルネットワークは、第１のニューラルネットワークによって特定された解剖学的特徴を、取得すべき解剖学的測定値を取得するための行為に関連付けるように構成された、推奨システムを実施するように構成される。いくつかの例において、第１のニューラルネットワークは、訓練用入力及び既知の出力のアレイを受け取るように構成された訓練アルゴリズムに動作的に関連付けられ得、訓練用入力は、胎児の解剖学的特徴を含んでいる超音波画像フレームを含み、既知の出力は、それら解剖学的特徴に基づくビュー分類を含む。いくつかの実施形態において、ユーザインターフェースは、必要とされる測定値のリストを表示するように構成される。いくつかの例において、ユーザインターフェースは、ユーザによって取得された測定値に部分的に基づいて、必要とされる測定値のリストを更新するように構成される。いくつかの実施形態において、取得すべき解剖学的測定値は、超音波トランスデューサの最も小さい可能な調節を実施することによって取得可能な測定値を含む。いくつかの実施形態において、取得すべき解剖学的測定値は、精度閾値で又はそれ以上で取得可能な測定値を含む。

[013] いくつかの例によれば、超音波イメージングの方法は、超音波システムに動作的に結合されたトランスデューサによってターゲット領域内に送信される超音波パルスに応じたエコー信号を獲得するステップと、超音波エコーから少なくとも１つの画像フレームを生成するステップと、画像フレームに第１のニューラルネットワークを適用するステップと、を有し、第１のニューラルネットワークは、画像フレーム内の胎児の解剖学的特徴を特定するように構成される。方法はまた、第１のニューラルネットワークによって特定された解剖学的特徴に第２のニューラルネットワークを適用するステップを含み、第２のニューラルネットワークは、必要とされる測定値のリストに従って、第１のニューラルネットワークによって特定された解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定するように構成される。方法はまた、取得すべき解剖学的測定値のインジケータを、プロセッサと通信するユーザインターフェース上に表示させるステップを有する。

[014] いくつかの実施形態において、方法はさらに、取得すべき解剖学的測定値に基づいて超音波トランスデューサを調節するための命令を生成するステップを有する。いくつかの例において、方法はさらに、胎児の運動及び胎児の現在の位置を特定するステップを有する。いくつかの実施形態において、方法はまた、胎児の運動及び現在の位置に第２のニューラルネットワークを適用して、取得すべき解剖学的測定値を決定するステップを有する。いくつかの例において、胎児の運動を特定するステップは、超音波エコーから生成された連続する画像フレームのラインのサブセットを相互相関させるステップを有する。いくつかの実施形態において、胎児の現在の位置を特定するステップは、画像フレームから解剖学的特徴を抽出し、抽出された解剖学的特徴をリカレントニューラルネットワークに入力するステップを有する。いくつかの例において、方法はさらに、ユーザによって取得された測定値に部分的に基づいて、必要とされる測定値のリストを表示及び更新するステップを有する。

[015] 本明細書に記載される方法又はそのステップはいずれも、実行可能命令を備える非一時的なコンピュータ可読媒体として具現化されてよく、実行可能命令は、実行されると、医療イメージングシステムのプロセッサに、本明細書において具現化される方法又はステップを行わせる。

[016] 本発明の原理に係る超音波システムのブロック図である。 [017] 本発明の原理に従って実施されるシステム構成要素の動作配置のブロック図である。 [018] 本発明の原理に係る、胎児画像を分類するように構成されたニューラルネットワークのブロック図である。 [019] 適応的スキャンプロトコルにおいて提案される次の測定を生成するように構成された推奨システムのブロック図である。 [020] 本発明の原理に係る適応的スキャンプロトコルにおいてユーザを誘導するように構成された例示的なユーザインターフェースの図である。 [021] 本発明の原理に係る別の超音波システムのブロック図である。 [022] 本開示の原理に従って行われる超音波イメージングの方法の流れ図である。

[023] 以下の特定の実施形態の説明は、単に例示的な性質であり、決して本発明又はその適用若しくは使用を制限する意図はない。以下の本システム及び方法の実施形態の詳細な説明において、その一部をなす添付図面が参照されるが、添付図面には、記載されるシステム及び方法が実施され得る特定の実施形態が例として示される。それらの実施形態は、ここに開示される当業者がシステム及び方法を実施できるようにするのに十分に詳細に説明され、本システムの主旨及び範囲から逸脱することなく他の実施形態が利用されてよく、また構造的及び論理的変更がなされてよいことが理解されるべきである。さらに、明瞭さのために、特定の特徴の詳細な説明は、本システムの説明を不明瞭にしないように、当業者に自明と思われる場合は論じられない。以下の詳細な説明は、したがって、制限的な意味で解釈されるべきでなく、本システムの範囲は、添付の特許請求の範囲のみによって定義される。

[024] 本開示に係る超音波システムは、データ獲得ハードウェア及びユーザインターフェースに対して一意に同期される１つ又は複数のニューラルネットワーク、例えば少なくとも１つの深層ニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）等を実施する。例示的なシステムは、ニューラルネットワークを利用して、超音波イメージングによって検出される発達しつつある胎児の様々な特徴、例えば大腿骨、を特定し、検出された特徴に基づいて現在の画像ビューを分類する。システムはまた、ニューラルネットワークを利用して、胎児の現在の位置及びその運動と併せて、特定された様々な解剖学的特徴に対して適応的である出生前査定プロトコルを生成及び更新する。様々な例において、ニューラルネットワークは、現在知られている又は後に開発される各種の機械学習技術のいずれかを使用して訓練されて、それにより、超音波画像フレームの形態の入力データを分析し、１つ又は複数の出生前の解剖学的特徴の存在、及びいくつかの実施形態においてはそのサイズを含む、特定の特徴を特定するように構成されたニューラルネットワーク（例えば、機械訓練されたアルゴリズム又はハードウェアに基づくノードのシステム）を得る。本開示において実施されるニューラルネットワークは、特定された解剖学的特徴、解剖学的測定値、２値運動分類、及び／又は胎児位置判定の形態である入力データを分析し、この入力に基づいて、適応的スキャンプロトコルにおける次のステップを決定するように構成されてもよい。ニューラルネットワークは、特殊化されたコンピュータコードに依存するのではなく、データセットのサンプルを分析することによってデータセット特徴を認識するように一般化及び訓練できるという点で、従来の形態のコンピュータプログラミングアルゴリズムを上回る利点を提供する。適切な入力データ及び出力データをニューラルネットワーク訓練アルゴリズムに提示することにより、本開示に係る超音波システムのニューラルネットワークは、複数の解剖学的特徴を特定するように、及び特定された解剖学的特徴に部分的に基づいて胎児の超音波スキャンにおいてユーザを誘導するように、訓練され得る。本明細書のシステムによって行われる運動検出はさらに、胎児運動も特定のスキャンに影響を与え得るように、ニューラルネットワークによって編み出された適応的スキャニングプロトコルに通知することができる。

[025] 本発明の原理に係る超音波システムは、媒体、例えば人体又はその特定部分、に向けて超音波パルスを送信し、その超音波パルスに応じたエコー信号を生成するように構成された超音波トランスデューサを含むか、又はそれに動作的に結合される。超音波システムは、送信ビーム形成及び／又は受信ビーム形成を行うように構成されたビームフォーマと、いくつかの例においては超音波イメージングシステムによって生成された超音波画像を表示するように構成されたディスプレイとを含む。超音波イメージングシステムは、１つ又は複数のプロセッサと、少なくとも１つのニューラルネットワークとを含み、これらはハードウェア構成要素及び／又はソフトウェア構成要素として実施される。ニューラルネットワークは、様々な骨、臓器及び／又は腔などの１つ又は複数の身体特徴を特定し、超音波イメージングを介して取得されたそのような特徴の測定値と共に、それら特徴の存在及び／又は不在のインジケーションを出力するように、機械訓練され得る。

[026] 本開示に従って利用されるニューラルネットワークは、ハードウェアに基づいても（例えば、ニューロンが物理的構成要素によって表される）、ソフトウェアに基づいても（例えば、ニューロン及び経路がソフトウェアアプリケーションで実施される）よく、所望の出力を作成するようにニューラルネットワークを訓練するための各種のトポロジー及び学習アルゴリズムを使用することができる。例えば、ソフトウェアに基づくニューラルネットワークは、命令を実行するように構成されたプロセッサ（例えば、シングル若しくはマルチコアＣＰＵ、単一のＧＰＵ若しくはＧＰＵのクラスタ、又は並列処理のために構成された複数のプロセッサ）を使用して実施され、命令は、コンピュータ可読媒体に記憶され、実行されると、プロセッサに、超音波画像内の胎児の様々な解剖学的特徴を特定するための機械訓練されたアルゴリズムを行わせ、いくつかの例においては、そのような特徴の存在又は不在のインジケーションを出力させる。超音波システムは、ディスプレイ又はグラフィクスプロセッサを含み、これは、超音波画像及び／又はその他のグラフィック情報を、超音波システムのユーザインターフェース上に表示するための表示ウィンドウに配置するように動作可能であり、その他のグラフィック情報は、イメージング及び／又は測定すべき特徴のワークリスト、注釈、組織情報、患者情報、インジケータ、並びに他のグラフィック構成要素を含む。いくつかの実施形態において、出生前の解剖学的特徴の存在、不在、及び／又は識別に関する情報を含む、超音波画像及び組織情報は、報告の目的、発達の進行の追跡のため、又は（例えば、ニューラルネットワークの性能を強化し続けるための）将来の機械訓練のために、画像保存及び通信システム（ＰＡＣＳ）などの記憶及び／又はメモリデバイスに提供される。いくつかの例において、スキャン中に取得された超音波画像は、例えば通信ネットワークを通じて、画像中に具現化された情報を解釈する訓練を受けた専門家、例えば産科医兼婦人科医、超音波の専門家、内科医、又は他の臨床医に、選択的に又は自動的に送信され、それにより、ユーザが、胎児のモニタリング及び／又は診断に必要な超音波スキャンを様々な場所で行うことを可能にする。超音波イメージングシステムを操作するユーザと専門家とは、超音波スキャン中に別々の場所に位置していてよく、その結果、超音波画像及び／又はそこから集められた情報の送信が、ある地理的距離を介して発生する。

[027] 図１は、本開示の原理に係る例示的な超音波システム１００を示す。超音波システム１００は、超音波データ獲得ユニット１１０を含む。超音波データ獲得ユニット１１０は超音波プローブを含むことができ、超音波プローブは、ターゲット者の一領域１１６、例えば腹部、の中に超音波パルス１１４を送信して、送信されたパルスに応じた超音波エコー１１８を受信するように構成された超音波センサアレイ１１２を含む。領域１１６は、図示されるような発達しつつある胎児、又は心臓や肺などの各種の他の解剖学的物体を含む。さらに図示されるように、超音波データ獲得ユニット１１０は、ビームフォーマ１２０及び信号プロセッサ１２２を含むことができ、信号プロセッサ１２２は、アレイ１１２で受信された超音波エコー１１８から離散超音波画像フレーム１２４のストリームを生成するように構成され得る。システムは、第１のニューラルネットワーク１２８を実施するように構成されたデータプロセッサ１２６、例えば演算モジュール又は回路、も含むことができる。第１のニューラルネットワーク１２８は、信号プロセッサ１２２から直接、又はデータプロセッサ１２６を介してのいずれかで画像フレーム１２４を受け取り、各フレーム内の少なくとも１つの解剖学的特徴存在、不在、及び／又は識別を決定し、その決定に基づいて、画像ビュー、例えば現在の画像ビュー、を分類するように構成され得る。データプロセッサ１２６は、第２のニューラルネットワーク１３０も実施するように構成され、第２のニューラルネットワーク１３０は、第１のニューラルネットワーク１２８によって生成されたビュー分類出力を受け取り、処理するように構成され得る。第２のニューラルネットワーク１３０に受け取られる具体的な出力は、第１のニューラルネットワーク１２８によって生成されたビュー／特徴分類に加えて、胎児運動のインジケーション、相対的胎児位置情報、並びに／又は胎児スキャン中に取得すべき必要な解剖学的特徴及びその具体的な測定値の記憶されたリストを含み得る。これらの出力は、データプロセッサ１２６（図２）内に含まれてもよい１つ又は複数の処理モジュールから、第２のニューラルネットワーク１３０に入力することができる。いくつかの例において、システム１００は、データプロセッサとユーザインターフェース１３４とに結合されたディスプレイプロセッサ１３２も含む。ディスプレイプロセッサ１３２は、ニューラルネットワーク１２８、１３０をユーザインターフェース１３４にリンクすることができ、それによりニューラルネットワークの出力が、ユーザインターフェースに表示されること、又はユーザインターフェース上に表示された情報を変更することを可能にする。様々な実施形態において、ユーザインターフェース１３４は、第２のニューラルネットワーク１３０から直接、又はデータプロセッサ１３２を介した追加的な処理の後に、出力を受け取る。いくつかの例において、ディスプレイプロセッサ１３２は、データ獲得ユニット１１０から直接又は間接的に受け取られる画像フレーム１２４から超音波画像１３６を生成し、取得された画像及び／又は測定値、並びにまだ取得されていない画像及び／又は測定値を反映するように更新されたワークリストを含み得る、適応的スキャンプロトコル１３８を生成するように構成される。いくつかの例において、スキャンプロトコル１３８は、現在の画像フレーム１２４内の解剖学的特徴の存在を伝達し、またいくつかの実施形態では、そのような特徴の画像がその特徴を正確に測定するのに十分であるか、又は特徴の追加的な画像が必要とされるかどうかを伝達する。ユーザインターフェース１３４は、適応的スキャンプロトコル１３８と共に、超音波スキャンが行われるのと同時にリアルタイムで領域１１６の超音波画像１３６を表示するように構成され得る。ユーザインターフェース１３４は、超音波スキャンの前、最中、又は後の任意の時にユーザ入力１４０を受け取るように構成されてもよい。例えば、ユーザインターフェース１３４は、対話型であってよく、ある解剖学的特徴が査定されたという確認を示すユーザ入力１４０を受け取り、その入力に応じて表示を適応させる。さらに図示されるように、スキャンプロトコル１３８も、ユーザインターフェース１３４に入力される。図１に示されるシステム１００の構成は変動してよい。例えば、システム１００は、携帯型又は固定型とすることができる。システム１００の１つ又は複数の機能を実施するために、様々な携帯型デバイス、例えばラップトップ、タブレット、スマートフォン等が使用され得る。そのようなデバイスを組み込む例では、超音波センサアレイ１１２は、例えばＵＳＢインターフェースを介して接続可能であり得る。いくつかの例において、図１に示される様々な構成要素が組み合わせられてよい。例えば、第１のニューラルネットワーク１２８及び第２のニューラルネットワーク１３０が、単一のニューラルネットワークに併合される。そのような実施形態によれば、第１のニューラルネットワーク１２８によって生成された出力は、やはり第２のニューラルネットワーク１３０に入力されるが、２つのネットワークは、例えば、より大きい階層ネットワークの下位構成要素を構成する。

[028] 超音波データ獲得ユニット１１０は、胎児及びその特徴を含む１つ又は複数の関心領域１１６から、超音波データを獲得するように構成され得る。超音波センサアレイ１１２は、超音波エネルギーを送信及び受信するように構成された少なくとも１つのトランスデューサアレイを含む。超音波センサアレイ１１２の設定は、胎児の出生前スキャンを行うために事前設定され得、ある実施形態では、胎児の運動又は１つ若しくは複数の特徴の検出に応じて、特定のスキャン中に容易に調節可能とすることができる。例えば、リニアアレイ、凸アレイ、又はフェイズドアレイなどの各種のトランスデューサアレイが使用されてよい。センサアレイ１１２に含まれるトランスデューサ要素の数及び配置は、異なる例において変動してよい。例えば、超音波センサアレイ１１２は、それぞれリニアアレイプローブ及びマトリクスアレイプローブに対応する、トランスデューサ要素の１Ｄ又は２Ｄアレイを含む。２Ｄのマトリクスアレイは、２Ｄ又は３Ｄイメージングのために、（フェイズドアレイビーム形成を介して）高さ次元と方位角次元の両方で電子的にスキャンするように構成される。Ｂモードイメージングに加えて、本明細書における開示によって実施されるイメージングモダリティは、例えばせん断波及び／又はドップラーも含み得る。

[029] 様々なユーザが、超音波データ獲得ユニット１１０を取り扱い、操作して、本明細書に記載される方法を行う。いくつかの例において、ユーザは、所与のスキャンで必要とされる胎児の各解剖学的特徴を効率的に特定することができない、経験の浅い、初心者の超音波オペレータである。既存のシステムのユーザは、通例、例えば胎児の頭部／脳を査定してから、大腿骨、次いで胎児の顔構造を査定するなど、事前に指定された順序で、確立されたプロトコルに従う必要がある。経験を積んだユーザは、そのようなプロトコルによって確立された査定の順番から逸脱することもあるが、逸脱するには、ユーザが、完了したタスク及び完了していないタスクを頭の中に覚えておく必要がある。本明細書のシステムは、深層学習に結合されたイメージングシステムと、スキャン中に獲得される画像データ並びに評価される胎児の運動及び現在の位置に応答する適応的スキャンプロトコルを提供するように構成された直感的なユーザインターフェースとを用いることにより、この問題を克服する。図１を参照すると、システム１００は、ユーザが効果的な出生前査定を行うことを可能にし、これは、獲得された超音波画像フレーム１２４内の解剖学的特徴を特定すること、及び、ワークリスト内で指定される、次の必要とされる解剖学的特徴の画像データを獲得するための命令をユーザに提供することにより行われ、ワークリストは、ユーザインターフェース１３４上で更新及び表示される。システム１００は、現在の画像ビュー内で検出される解剖学的特徴と、胎児の現在の運動（ある場合）及び／又は位置とに応答するので、ユーザは、データ獲得ユニット１１０の位置及び角度向きに対する胎児の物理的状態に適応した様式で、ある特徴の画像、及びいくつかの例においてはそのような特徴の必要とされる測定値を取得するように促され得る。例えばロボットアームなどの機械的な調節機構１４２を使用してデータ獲得ユニット１１０の位置及び／又は向きを制御する例では、画像データを獲得するための命令が、ユーザ入力を伴わずに調節機構に自動的に必要な調節を行わせるように構成されたコントローラ１４４に通信される。コントローラ１４４は、データプロセッサ１２６を用いた自動フィードバックループの一部として、データ獲得ユニット１１０の位置、向き、及び／又は動作設定を調節するように構成される。いくつかの例においては、コントローラ１４４は、現在の胎児位置（図２）に関する情報と共に、超音波センサアレイ１１２の現在の位置、及びアレイが移動又は旋回する必要のある方向に関する情報を受け取ることができ、この情報は、第１のニューラルネットワーク１２８及び／又は第２のニューラルネットワーク１３０から受け取られる情報に少なくとも部分的に基づく。コントローラ１４４は、１つ又は複数の安全機能、例えば、調節機構１４２が胎児領域１１６に過度の力を加えるのを防ぐように構成された力センサ、を備えることができる。いくつかの例においては、コントローラ１４４は、次の必要とされる測定値及び／又は画像を捕捉するために必要なトランスデューサアレイ１１２の位置に関するユーザ入力１４０を、例えばユーザインターフェース１３４を介して、受け取るように構成される。解剖学的特徴を特定し、出生前スキャンを進めるための正確な命令を提供することにより、本明細書に開示されるシステムは、より正確でより効率的な出生前査定をもたらす。

[030] データ獲得ユニット１１０は、ビームフォーマ１２０も含んでよく、これは例えば、１つのマイクロビームフォーマ又はマイクロビームフォーマと主ビームフォーマとの組合せを備え、超音波センサアレイ１１２に結合される。ビームフォーマ１２０は、例えば超音波パルスを焦点ビームとして形成することによって、超音波エネルギーの送信を制御する。ビームフォーマ１２０は、判別可能な画像データが作成されて他のシステム構成要素を利用して処理されるように、超音波信号の受信を制御するように構成されてもよい。ビームフォーマ１２０の役割は、異なる各種の超音波プローブにおいて変動してよい。いくつかの実施形態において、ビームフォーマ１２０は、ターゲット者体内に送信するための超音波エネルギーのパルス化シーケンスを受信して処理するように構成された送信ビームフォーマと、受信された超音波エコー信号を増幅する、遅延させる、及び／又は合計するように構成された別個の受信ビームフォーマとの２つの別個のビームフォーマを備える。いくつかの実施形態において、ビームフォーマ１２０は、送信ビーム形成及び受信ビーム形成の両方のためのセンサ要素のグループに働きかけるマイクロビームフォーマを含み、これは、それぞれ送信ビーム形成及び受信送信ビーム形成の両方についてのグループ入力及び出力に働きかける、主ビームフォーマに結合される。

[031] 信号プロセッサ１２２は、センサアレイ１１２及び／又はビームフォーマ１２０に、通信的、動作的、及び／又は物理的に結合される。図１に示される例では、信号プロセッサ１２２は、データ獲得ユニット１１０の一体構成要素として含まれるが、他の例では、信号プロセッサ１２２は別個の構成要素であってよい。いくつかの例において、信号プロセッサは、センサアレイ１１２と共に収容されるか、又は、センサアレイ１１２に（例えば、有線又は無線接続を介して）通信的に結合されることによってそれから物理的に離れている。信号プロセッサ１２２は、センサアレイ１１２で受信された超音波エコー１１８を具現化している、フィルタ処理前の秩序立てられていない超音波データを受信するように構成される。このデータから、信号プロセッサ１２２は、ユーザが胎児領域１１６をスキャンするのと同時に、複数の超音波画像フレーム１２４を継続的に生成する。

[032] データプロセッサ１２６は、複数の機能を行うように構成され得る。上述のように、データプロセッサ１２６は、画像を別個のカテゴリに分類するように構成され得るニューラルネットワーク１２８を実施するように構成され得、カテゴリは、例えば、「全ビュー」、「頭部」、「腹部」、「胸」、又は「四肢」である。下位カテゴリは、例えば、「胃」、「腸」、「臍帯」、「腎臓」、「膀胱」、「脚」、「腕」、「手」、「大腿骨」、「脊椎」、「心臓」、「肺」、「胃」、「腸」、「臍帯」、「腎臓」、又は「膀胱」を含み得る。ニューラルネットワーク１２８によって決定された分類結果は、現在の超音波関心領域及び／又は出生前査定プロトコル内で完了した測定に、適応的であることができる。例えば、関心領域が大きく、腎臓、肝臓、及び臍帯などの解剖学的特徴の下位カテゴリを複数含む場合、ニューラルネットワーク１２８は、腹部領域内で取得すべき提案される特徴及び／又はその測定値のインジケーションと共に、現在の画像を「腹部」と分類する。

[033] ニューラルネットワーク１２８によって生成された出力は、第２のニューラルネットワーク１３０に入力され得、第２のニューラルネットワーク１３０は、いくつかの例において、複数の入力タイプを受け取るように構成された畳み込みニューラルネットワーク（ＣＮＮ）を備える。例えば、第２のニューラルネットワーク１３０への入力は、第１のニューラルネットワーク１２８から受け取られた臓器／ビュー分類を含み得、それに、動き検出の２値分類、近似された胎児位置データ、及び／又は記憶されたスキャンプロトコルに従って取得すべき測定値のリストが伴う。これらの入力から、第２のニューラルネットワーク１３０は、出生前査定プロトコルの必要とされる測定値に従って取得すべき、提案される次の測定値を決定し、出力する。

[034] システム１００は、データプロセッサ１２６とユーザインターフェース１３４とに結合されたディスプレイプロセッサ１３２も含む。様々な実施形態において、ディスプレイプロセッサ１３２は、画像フレーム１２４及び適応的スキャンプロトコル１３８から超音波画像１３６を生成するように構成され得、適応的スキャンプロトコル１３８は、必要とされる胎児測定値のリストを含み、各胎児測定値は、各測定値が取得されたか否かを示す状態インジケータを伴う。ユーザインターフェース１３４は、超音波スキャンが行われるのと同時にリアルタイムで適応的スキャンプロトコル１３８を表示し、更新するように構成される。いくつかの例においては、ユーザインターフェース１３４はさらに、次の推奨される測定値を取得するために必要な様式でデータ獲得ユニット１１０を調節するための命令１３９を表示するように構成される。ユーザインターフェース１３４で受け取られるユーザ入力１４０は、特定の測定値が取得されたことの手動確認の形態とすることができる。いくつかの実施形態において、ユーザ入力１４０は、次の推奨される測定への同意又は不同意を含む。このようにして、ユーザは、推奨される測定を無効にすることができる。いくつかの例において、ユーザ入力１４０は、特定の解剖学的特徴、例えば、大横径、後頭前頭径、頭位、腹囲、大腿骨長、羊水指数等、をイメージング及び／又は測定するために必要な特定の動作パラメータを実施させる命令を含むことができる。動作パラメータは、焦点深度、パルス周波数、スキャンライン番号、スキャンライン密度、又は他の設定を含み得る。

[035] 図２は、データプロセッサ１２６によって実施され得る演算モジュール及びニューラルネットワークの例示的配置のブロック図である。図示されるように、第１のニューラルネットワーク１２８は、データ獲得ユニットによって獲得されてネットワークに入力された各個々の画像フレーム１２４ｉ内の解剖学的特徴及び／又はビューを分類するように構成され得る。ニューラルネットワーク１２８は、各画像フレーム１２４ｉに含まれる特定の部分領域及び／又は解剖学的特徴を具現化する分類出力１２９を生成する。動き検出モジュール１４６は、連続する画像フレーム１２４に含まれるラインを相互相関させて、胎児組織及び／又は体液、例えば血流、の運動を検出し、２値の動き出力１４７を生成するように構成され得る。位置近似モジュール１４８は、例えば評価される胎児の概観画像１２４ｉｉに基づいて、胎児の現在の位置を決定し、位置のインジケーション１４９を出力するように構成され得る。必要とされる解剖学的特徴及びその具体的な測定値の記憶されたリスト１５０も、第２のニューラルネットワーク１３０に入力され得、ネットワークはそれを参照して、ユーザに推奨する次の最良の測定を決定する。ニューラルネットワーク１２８、１３０及びモジュール１４６、１４８は、同時に又は順次実施され得る。

[036] 動き検出モジュール１４６は、２Ｄ相互相関アルゴリズムなどの１つ又は複数のアルゴリズムを実施することにより、連続する画像フレーム１２４を相互相関させるように構成され得る。演算負荷及び処理時間を低減するために、モジュール１４６は、各画像フレーム全体に代えて、画像フレーム１２４の下位部分、例えば画像ラインのサブセット、に対して相互相関動作を行ってもよい。モジュール１４６によって行われる動き検出は、胎児の動きのために失敗する又は不正確であることが確実である、又はその可能性が高い胎児測定を排除することによって、全体的な演算効率を向上させることができる。例えば、血流及び／又は心臓の査定は、著しい動きが発生している時には行うべきでなく、動き検出モジュール１４６と連携して動作する第２のニューラルネットワーク１３０は、このことを検出するように構成され得る。いくつかの例において、動き検出モジュール１４６は、単独で、又は１つ又は複数の他のプロセッサと共に、解剖学的特徴の分類又は測定値に関連する信頼水準を決定する。高い信頼水準は、第１のニューラルネットワーク１２８によって決定されたビュー分類が正しいものである可能性が高いことを示すことができる。いくつかの実施形態において、信頼水準は、第１のニューラルネットワーク１２８の実施に先立って決定され、ここで、低い信頼水準は、第１のニューラルネットワーク１２８によって決定された画像分類が正しいものである可能性が低いことを示す。そのような例によれば、低い信頼水準は、第１のニューラルネットワーク１２８の実施を阻止する可能性がある。ネットワークが阻止された場合、ユーザは、画像分類及び／又は第２のニューラルネットワーク１３０の実施を進行するために、その低い信頼水準を無効にすることができる。低い信頼水準は、胎児運動が原因で生じる可能性がある。手動の無効機能は、ほぼ常に運動を呈する胎児のイメージングに伴う、場合によっては回避不可能である困難にも関わらず、出生前スキャンを進行するために必要である。

[037] 位置近似モジュール１４８は、データ獲得ユニット１１０の位置に対する胎児の現在の位置に合わせてシステム１００を方向付けるように構成され得る。例えば、ユーザが関心領域１１６を通じてスクリーニングすることによって獲得された画像１２４ｉｉを想定すると、胎児位置及び個々の胎児身体部分の相対位置が特定され得る。胎児位置の特定は、１つ若しくは複数の解剖学的特徴及び／又はそのような特徴間の空間的関係を検出することによって実現される。いくつかの例において、胎児位置の特定は、畳み込み特徴抽出により実現される。抽出された特徴は、例えば特定された特徴に基づいて胎児位置及び／又は向きを決定するように訓練され得るリカレントニューラルネットワークに入力される。位置近似モジュール１４８によって検出された胎児部分位置は、次に最良の胎児測定の決定を通知するために、第２のニューラルネットワークに供給され得る。例えば、胎児が横向きになっている場合には、鼻、唇、及び生殖器などの小さい特徴よりも、頭位や腹囲などの比較的大きい胎児身体部分を査定する方が容易及び／又は効率的である可能性がある。大きい解剖学的特徴をイメージングする、及び／又はその測定値を取得するには、ユーザが、スキャンの始めに、超音波トランスデューサを、例えば左から右へ横方向に、一定の向きで走査することが必要となる。

[038] 必要とされる解剖学的特徴の記憶されたリスト１５０は、いくつかの実施形態においては米国超音波医学会から得ることができるが、確立されたプロトコルは、例えばカナダ産科医及び婦人会学会などの他の団体から得ることもできる。いくつかの例において、リスト１５０は、特定のユーザ又は機関の必要性に合わせてカスタマイズすることができる。第２のニューラルネットワーク１３０は、システム１００のロバスト性を高めるために、最も包括的な測定値のリストを使用して訓練され得る。特定のユーザにとって関心ターゲットでない解剖学的特徴／測定は、単に、特定のスキャン中に参照されるリスト１５０から削除することができ、それにより、それらはそのスキャン中にシステムによって推奨されないようになる。

[039] 第２のニューラルネットワーク１３０は、取得することができる、又は取得すべき次の測定値の提案を提供するように構成され得る。ネットワーク１３０は、図４に示されるような推奨システムを実施することができる。次の測定値は、１つ又は複数の要因に基づいて推奨され得る。例えば、次の推奨される測定値は、超音波画像を取得するために使用される超音波トランスデューサに対して最も小さい又は最も軽微な調節を実施することによって取得可能な測定値である。調節は、動作パラメータ、例えば、超音波トランスデューサの焦点深度、又は位置及び／若しくは向き、を含み得る。そのようにして測定を推奨することにより、ユーザは、連続する測定値を取得するために必要とされるイメージング調節の程度を最小にすることによって、迅速かつ効率的にスキャンを進行することができる。それに加えて又は代替として、次の推奨される測定値は、精度閾値で又はそれ以上で取得可能な測定値とすることができる。精度閾値は、胎児の解剖学的特徴をイメージング及び／又は測定するために許容できる最低限の画像品質レベルを確立する。例えば、本明細書のシステムは、いくつかの例において、胎児運動が検出された場合には血流測定を推奨しない。何故ならば、そのような測定は、血流を測定するための許容可能な精度閾値を下回って、信頼できないものになるためである。いくつかの実施形態において、閾値は、確立された指針に基づいて定義される。

[040] 図３は、本発明の原理に従って胎児画像を分類するように構成されたニューラルネットワーク１２８のブロック図である。図示される実施形態では、ニューラルネットワーク１２８は、畳み込みニューラルネットワーク（ＣＮＮ）である。図３に示されるネットワークアーキテクチャは、画像データ中の解剖学的特徴の存在及びタイプを検出するためにカスタマイズされており、本発明の例に従って実施されるニューラル層及び下位層の配置、並びにそれらの間の接続性の単なる一例を表している。例えば、層１５４の数は、より多くの解剖学的特徴を特定するように構成されたニューラルネットワークの場合は、より多くなる。様々な例において、図３に示されるネットワークアーキテクチャは、種々の解剖学的特徴の数に等しい長さをもつマルチラベル分類器を出力するように重み及びｄｅｎｓｅ層を調節することにより、変更され得る。上記で説明し、再度図３に示すように、ニューラルネットワーク１２８は、超音波画像フレーム１２４の形態の入力を受け取るように訓練され得、超音波画像フレーム１２４は各々、１人又は複数の胎児の解剖学的特徴をゼロ個、１個、又は複数個含んでいる。

[041] ニューラルネットワーク１２８は、いくつかの実施形態において転移学習を使用して構築され得る。特定の例では、例えばＩｎｃｅｐｔｉｏｎ ｖ４などの既存のニューラルネットワークモデルを、本開示に係る胎児のビュー分類を行うように変更することができる。そのような例によれば、ネットワーク１２８は、出生前超音波スキャン時に取得された超音波画像の大きな臨床データベースを用いて訓練され得、それらの画像は全体で、多様な各種の解剖学的特徴を含んでいる。最終層１５６は、画像内に存在する特定の特徴を決定すると共に、ある実施形態では特定された特徴に基づいて画像ビューを分類するように構成される。そして、ニューラルネットワーク１２８は、特徴の存在、不在、及び／若しくは識別、並びに／又は特定されたビュー分類を伝達する出力を生成することができる。この理由から、最終層１５６は、「出力層」と呼ばれることもある。いくつかの例において、ニューラルネットワーク１２８は、画像フレーム内に異常が存在するかどうかを判定するように構成され得る。異常検出は、解剖学的特徴の測定値を、同じ解剖学的特徴の一般的な測定値の記憶された範囲と比較することを伴い、記憶された範囲は、大きなサンプルサイズの画像に基づいている。この一般的な測定値の範囲外にある観察された測定値は、潜在的な異常としてフラグを付けることができる。

[042] ニューラルネットワーク１２８は、実行可能命令を備えたコンピュータ可読媒体内に少なくとも部分的に実施され、命令は、プロセッサ、例えばデータプロセッサ１２６、によって実行されると、プロセッサに、画像フレーム内に具現化されている獲得されたエコー信号に基づいて、画像フレームに含まれている解剖学的特徴の存在、不在及び／又はタイプを決定するための、機械訓練されたアルゴリズムを行わせる。ニューラルネットワーク１２８を訓練するために、入力アレイ及び出力分類の複数の事例を含む訓練セットが、ニューラルネットワーク１２８の訓練アルゴリズムに提示される（例えば、Ｋｒｉｚｈｅｖｓｋｙ，Ａ．，Ｓｕｔｓｋｅｖｅｒ，Ｉ．ａｎｄ Ｈｉｎｔｏｎ，Ｇ．Ｅ．“ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，”ＮＩＰＳ ２０１２に記載されるＡｌｅｘＮｅｔ訓練アルゴリズム、又はその派生系）。

[043] ニューラルネットワーク１２８に関連するニューラルネットワーク訓練アルゴリズムは、解剖学的特徴を特定し、特定された特徴の存在に基づいて現在の画像ビューを特徴付けるようにニューラルネットワークを訓練するために、数千、さらには数百万個の訓練データセットを提示され得る。様々な例において、ニューラルネットワーク１２８を訓練するために使用される超音波画像の数は、約５０，０００～２００，０００又はそれ以上に及ぶ可能性がある。ネットワークを訓練するために使用される画像の数は、より多数の異なる解剖学的特徴を特定すべき場合には、増加される。訓練画像の数は、異なる解剖学的特徴ごとに異なる可能性があり、特定の特徴の出現の変動性に依存する。例えば、ある特徴は、他の特徴に比べて、出生前の発達段階の特定の段階においてより一貫して出現する。中程度から高い変動性をもつ特徴を特定するようにネットワーク１２８を訓練するには、より多くの訓練画像が必要となる。いくつかの実施形態においては、訓練が監督される。例えば、少なくとも１つの解剖学的特徴又はビュー分類を含むニューラルネットワーク１２８の最終出力が、超音波画像解釈の専門家によって確定又は却下される。

[044] 図４は、第２のニューラルネットワーク１３０によって実施される推奨システム１５８のブロック図である。図示される例では、推奨システム１５８は、適応的プロトコルに従って取得すべき次の画像及び／又は測定値のユーザ提案を提供するように構成された、深層学習モデルを備える。図示されるように、測定値リスト、臓器、ビュー分類、胎児位置及び／又はそれらの組合せの形態の入力１６０が、代行者１６２、例えば、音波検査者、ＯＢＧＹＮ（産婦人科医）、又は他のエンドユーザ、に通信されることができ、その者は次いで、受け取られた入力１６０に基づいて、特定の行為１６４、例えば、次の測定及びその測定値を取得するために必要な超音波プローブ調節、を推奨する。時間と共に、推奨システム１５８は、特定の入力を、特定の推奨される行為に関連付けることを学習することができ、その結果、システムは、スキャン中に受け取られる入力データに応じて、取るべき特定の行為を自動的に推奨するようになる。例えば、現在の画像ビューが腹部を描写している旨の入力１６０を取得するのに応じて、システム１５８は、次に胃を、それに続いて腸及び／又は臍帯をイメージング及び／又は測定することを推奨するように構成され得る。このようにして、次の推奨される画像及び／又は測定値は、現在の視野に少なくとも部分的に基づき、その結果、ユーザは、順序立てられ、予め指定された査定すべき解剖学的特徴のリストから逸脱する可能性のある、直感的で効率的な方式で、スキャンを進行することができる。推奨システム１５８は、ユーザから提供されるフィードバックに基づいて、時間と共に訓練され得る。例えば、ある入力に応じて推奨システム１５８によって推奨される行為は、システムによって推奨されるその行為にユーザが同意する、又は確定するときに、強化することができる。同様に、推奨システム１５８によって推奨される行為は、ユーザがシステムによって推奨されるその行為に同意しない、又は却下するときに、破棄することができ、それにより、将来、同一又は同様の入力に対して拒絶された行為を推奨しないようにシステムに教示する。

[045] 図５は、本発明の原理に係る適応的スキャンプロトコルにおいてユーザを誘導するように構成された例示的なユーザインターフェース５００である。図示されるように、ライブの超音波画像５０２が、現在のビューの説明５０４、動きインジケータ５０６、及び提案される次の測定インジケータ５０８と同時に表示される。加えて、解剖学的特徴のワークリスト５１０も表示され得る。いくつかの例においては、測定値のリスト５１２及び計算５１４も表示される。現在の超音波イメージングパラメータ５１６も示される。ユーザインターフェース５００に表示される項目の選択及び配置は、各実施形態において変動し得る。

[046] ユーザインターフェース５００は、本明細書に記載されるシステムによって決定された画像分類の結果及び提案される行為を表示することができる。ユーザインターフェース５００は、必要とされる測定値のワークリスト５１０を更新するようにも構成され得る。いくつかの例においては、ユーザインターフェース５００に表示される１つ又は複数のインジケータは、ユーザに報知するため、及び進行の追跡のために色分けされ得る。例えば、完了した測定は、ワークリスト５１０内で緑色にすることができ、一方、次の推奨される測定は赤色にすることができ、現在の測定は青色にすることができる。いくつかの実施形態において、現在の画像ビュー分類及び／又は提案される次の測定に関連する信頼水準も、例えば現在のビューの説明５０４の一構成要素として、表示される。

[047] 図示されたスナップショットでは、胎児の「全ビュー」が超音波画像５０２に表示されている。動きインジケータ５０６の「動きの検出有り」の状態によれば、胎児の少なくともいくらかの運動が発生している。現在のビュー、胎児が動いているという事実、及び以前に取得された画像／測定値に基づき、インジケータ５０８によれば、頭部及び／又は腹部領域を測定することが、次の最良のステップとして推奨される。

[048] 他の例において、ユーザインターフェース５００はさらに、本明細書におけるシステムによって生成された適応的プロトコルに従って、出生前スキャンにおいてユーザを誘導又は支援するように構成される。誘導は、次の推奨される画像及び／又は測定値を取得するのに必要な様式で超音波トランスデューサを調節するための１つ又は複数の命令５１８の形態で、第２のニューラルネットワーク１３０によって生成され得る。例えば、一番最近測定されたのが胎児の頭部である場合、次の推奨される測定は腹部領域のものである可能性がある。この推奨に準拠して、ユーザインターフェース５００は、腹部領域の画像を取得するのを可能にする様式で超音波トランスデューサを調節するための命令５１８を表示する。命令は、方向コマンド、例えば「超音波プローブを横方向に動かす」、及び／又は技術に基づくコマンド、例えば「超音波プローブをもっとゆっくり動かす」、「速度を落とす」、「停止」、又は「継続」を含む。いくつかの実施形態において、命令は、１つ又は複数の画像獲得パラメータの変更を含む。例えば、ユーザインターフェース５００は、トランスデューサのイメージング面、焦点深度、及び／又はパルス周波数を改変するための命令５１８を提供する。異常が検出された場合、ユーザインターフェース５００は、トランスデューサを一箇所で安定して保持させる命令を提供し、それによりさらなる分析を可能にする。検出された異常をより完全に特徴付けるために、イメージング角度のわずかな調節が推奨されてもよい。

[049] 図６は、本発明の原理に係る別の超音波システム６００のブロック図である。図６に示される１つ又は複数の構成要素は、出生前査定のための適応的スキャンプロトコルを生成するように構成されたシステムの中に含まれる。例えば、信号プロセッサ１２２の上記の機能のいずれかが、例えば、信号プロセッサ６２６、Ｂモードプロセッサ６２８、スキャンコンバータ６３０、多平面リフォーマッタ６３２、ボリュームレンダラ６３４及び／又は画像プロセッサ６３６を含む、図６に示される処理構成要素の１つ又は複数によって実施及び／又は制御される。

[050] 図６の超音波イメージングシステムでは、超音波プローブ６１２が、胎児を含んでいる領域に超音波を送信して送信波に応じたエコー情報を受信するためのトランスデューサアレイ６１４を含む。様々な実施形態において、トランスデューサアレイ６１４は、マトリクスアレイ又は１次元のリニアアレイである。トランスデューサアレイは、アレイ内のトランスデューサ要素による信号の送信及び受信を制御するプローブ６１２内のマイクロビームフォーマ６１６に結合される。図示される例では、マイクロビームフォーマ６１６は、プローブケーブルによって送信／受信（Ｔ／Ｒ）スイッチ６１８に結合され、スイッチ６１８は、送信と受信とを切り替え、主ビームフォーマ６２２を高エネルギーの送信信号から保護する。いくつかの実施形態において、Ｔ／Ｒスイッチ６１８及びシステム内の他の要素は、別個の超音波システム構成要素の中ではなく、トランスデューサプローブ内に含まれ得る。マイクロビームフォーマ６１６の制御下でのトランスデューサアレイ６１４からの超音波ビームの送信は、Ｔ／Ｒスイッチ６１８とビームフォーマ６２２とに結合された送信コントローラ６２０によって指令され、ビームフォーマ６２２は、例えばユーザによるユーザインターフェース又は制御パネル６２４の操作から、入力を受け取る。送信コントローラ６２０によって制御される機能の１つは、ビームが操縦される方向である。ビームは、トランスデューサアレイから前方へ（トランスデューサアレイに対して垂直に）操縦されるか、又はより広い視野のために異なる角度に操縦される。マイクロビームフォーマ６１６によって作成された、部分的にビーム形成された信号は、主ビームフォーマ６２２に結合され、そこで、トランスデューサ要素の個々のパッチからの部分的にビーム形成された信号が組み合わせられて、完全にビーム形成された信号にされる。

[051] ビーム形成された信号は、信号プロセッサ６２６に通信される。信号プロセッサ６２６は、受信したエコー信号を、帯域通過フィルタ処理、デシメーション、Ｉ及びＱ成分分離、及び／又は高調波信号分離などの、様々な手法で処理する。信号プロセッサ６２６は、スペックル低減、信号合成、及び／又は雑音除去を介して、追加的な信号強化を行ってもよい。いくつかの例において、信号プロセッサ６２６によって用いられる種々の処理技術によって生成されたデータは、１つ又は複数の解剖学的特徴及び／又は画像ビューを特定し、取得すべき次の画像及び／又は測定値を推奨するために、データプロセッサ及び／又は少なくとも１つのニューラルネットワークによって使用される。処理された信号は、身体内の構造をイメージングするために振幅検出を用いる可能性のあるＢモードプロセッサ６２８に結合される。Ｂモードプロセッサ６２８によって作成された信号は、スキャンコンバータ６３０及び多平面リフォーマッタ６３２に結合される。スキャンコンバータ６３０は、エコー信号を、それらが所望の画像形式で受信されたときの空間的関係に配置する。例えば、スキャンコンバータ６３０は、エコー信号を、２次元（２Ｄ）の扇形状形式に配置する。多平面リフォーマッタ６３２は、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に記載されるように、身体のボリューメトリック領域内の共通平面内の点から受信されたエコーを、その平面の超音波画像に変換する。いくつかの例においては、ボリュームレンダラ６３４は、例えば米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ他）に記載されるように、３Ｄデータセットのエコー信号を、所与の参照点から見た投影３Ｄ画像に変換する。２Ｄ又は３Ｄ画像は、画像６３７に表示するためのさらなる強化、バッファリング、及び／又は一時的記憶のために、スキャンコンバータ６３０、多平面リフォーマッタ６３２、及びボリュームレンダラ６３４から、画像プロセッサ６３６に通信される。画像の表示に先立って、ニューラルネットワーク６３８を実施して、各画像をその中で特定された解剖学的特徴に基づいて分類する。ある実施形態において、ニューラルネットワーク６３８は、様々な処理段階で実施され、例えば、画像プロセッサ６３６、ボリュームレンダラ６３４、多平面リフォーマッタ６３２、及び／又はスキャンコンバータ６３０によって行われる処理の前に実施される。いくつかの例においては、２つ以上のニューラルネットワークが実施され、その結果、図６に示されるニューラルネットワーク６３８は、通信的に結合された２つ以上のニューラルネットワークを表すことになる。グラフィクスプロセッサ６４０は、超音波画像と共に表示するためのグラフィックオーバーレイを生成することができる。それらのグラフィックオーバーレイは、例えば、患者名などの標準的な識別情報、画像の日時、イメージングパラメータ等を含んでおり、また、ニューラルネットワーク６３８によって生成された様々な出力も含んでおり、それらの出力は、現在の画像内に具現化された１つ又は複数の解剖学的特徴の存在、不在、及び／若しくは識別、並びに／又は様々な解剖学的特徴が観察されたか及び／若しくは測定されたか、並びに／又は記憶されたワークリストに従ってどの解剖学的特徴がまだ観察及び／若しくは測定されていないか、を伝達する１つ又は複数のインジケータなどである。グラフィックオーバーレイはまた、システム６００のユーザを、出生前査定に必要とされる画像及び／又は測定値を取得するのに必要な様式で、適応的超音波スキャンにおいて誘導するための視覚的命令、例えば文章及び／又は記号、も含んでよい。いくつかの例において、グラフィクスプロセッサは、ユーザインターフェース６２４からの入力を受け取り、これは、タイプ入力された患者名や、インターフェースから表示又は発行された命令がシステム６００のユーザによって認識及び／又は実施されたことの確認などである。ユーザインターフェース６２４はまた、特定のイメージングモダリティ又はそのようなモダリティに含まれる動作パラメータの選択に関する入力、システム６００によって使用される設定及び／若しくはパラメータに対する調節を促す入力、超音波スキャンを行うための追加的な命令若しくは支援を要求する入力、並びに／又は１つ若しくは複数の超音波画像が遠隔の受信機に保存及び／若しくは送信されることを要求する入力も受け取る。ユーザインターフェースはまた、複数の多平面理フォーマット（ＭＰＲ）済み画像の表示を選択及び制御するための多平面リフォーマッタ６３２にも結合されてよい。

[052] 図７は、本開示の原理に従って行われる超音波イメージングの方法の流れ図である。例示的な方法７００は、適応的スキャンプロトコル中に取得すべき次の測定値を決定するために、本明細書に記載されるシステム及び／又は装置によって任意の順番で利用されてよいステップを示しており、適応的スキャンプロトコルは、システムによって生成される命令に準拠して、初心者ユーザ及び／又はロボット超音波装置によって行われる。方法７００は、システム１００、又は、例えばＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．（「Ｐｈｉｌｉｐｓ」）によるＬＵＭＩＦＹなどのモバイルシステムを含む他のシステムなどの、超音波イメージングシステムによって行われる。その他の例示的なシステムには、同じくＰｈｉｌｉｐｓによって製造されるＳＰＡＲＱ及び／又はＥＰＩＱが含まれる。

[053] 図示される実施形態では、方法７００は、ブロック７０２で、「超音波システムに動作的に結合されたトランスデューサによってターゲット領域内に送信される超音波パルスに応じたエコー信号を獲得するステップ」によって開始する。

[054] ブロック７０４で、方法は、「超音波エコーから少なくとも１つの画像フレームを生成するステップ」を有する。

[055] ブロック７０６で、方法は、「画像フレームを第１のニューラルネットワークに提供するステップであって、第１のニューラルネットワークは、画像フレーム内の物体の解剖学的特徴を特定するように構成される、ステップ」を有する。

[056] ブロック７０８で、方法は、「解剖学的特徴のインジケーションを第２のニューラルネットワークに提供するステップであって、第２のニューラルネットワークは、必要とされる測定値のリストに従って、第１のニューラルネットワークによって特定された解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定するように構成される、ステップ」を有する。

[057] ブロック７１０で、方法は、「取得すべき解剖学的測定値のインジケータを、プロセッサと通信するユーザインターフェース上に表示させるステップ」を有する。

[058] 構成要素、システム及び／又は方法が、コンピュータに基づくシステム又はプログラム可能論理などのプログラム可能デバイスを使用して実施される様々な実施形態において、上記のシステム及び方法は、「Ｃ」、「Ｃ＋＋」、「ＦＯＲＴＲＡＮ」、「Ｐａｓｃａｌ」、「ＶＨＤＬ」等の、様々な既知の又は後に開発されるプログラミング言語のいずれを使用しても実施できることが理解されるべきである。したがって、コンピュータなどのデバイスに上記のシステム及び／又は方法を実施するように指令することが可能な情報を含むことができる、磁気コンピュータディスク、光ディスク、電子メモリ等の様々な記憶媒体が作製され得る。該当するデバイスが、記憶媒体に含まれている情報及びプログラムへのアクセスを得ると、記憶媒体は、情報及びプログラムをデバイスに提供することができ、それにより、デバイスが本明細書に記載されるシステム及び／又は方法の機能を行うことを可能にする。例えば、ソースファイル、オブジェクトファイル、実行ファイル等の該当する素材を含んでいるコンピュータディスクがコンピュータに提供されると、コンピュータはその情報を受け取り、適宜自身を構成し、上記の図及びフローチャートに概説された様々なシステム及び方法の機能を行って様々な機能を実施する。すなわち、コンピュータは、上記のシステム及び／又は方法の種々の要素に関連する情報の様々な部分をディスクから受け取り、個々のシステム及び／又は方法を実施し、上記の個々のシステム及び／又は方法の機能を連携させる。

[059] 本開示に照らして、本明細書に記載される様々な方法及びデバイスはハードウェア、ソフトウェア及びファームウェアとして実施され得ることが留意される。さらに、様々な方法及びパラメータは、単なる例として含まれるものであり、何らの制限的な意味ではない。本開示に照らして、当業者は、本発明の範囲内にとどまりながら、自身の技術及びそれらの技術に影響を与えるのに必要とされる機器を決定する際に本開示の教示を実施することができる。本明細書に記載されるプロセッサのうち１つ又は複数の機能は、より少ない数の又は単一の処理ユニット（例えば、ＣＰＵ）の中に組み込まれてよく、また、実行可能命令に応じて本明細書に記載される機能を行うようにプログラムされた特定用途集積回路（ＡＳＩＣ）又は汎用処理回路を使用して実施されてもよい。

[060] 本システムは、超音波イメージングシステムを特に参照して説明された可能性があるが、本システムが、１つ又は複数の画像が体系的な様式で取得される他の医療イメージングシステムに拡張され得ることも構想される。したがって、本システムは、これらに限定されないが、腎、精巣、乳房、卵巣、子宮、甲状腺、肝、肺、筋骨格、脾、心臓、動脈及び静脈系、並びに超音波によって誘導される介入に関係する他のイメージング用途に関連する画像情報を取得及び／又は記録するために使用されてよい。さらに、本システムは、本システムの特徴及び利点を提供するように従来のイメージングシステムと共に使用される１つ又は複数のプログラムも含んでよい。本開示の特定のその他の利点及び特徴は、本開示を検討すると当業者に明らかになるか、又は本開示の新規のシステム及び方法を用いる者によって経験される。本システム及び方法の別の利点は、本システム、デバイス、及び方法の特徴及び利点を組み込むように、従来の医療画像システムを容易にアップグレードできることである。

[061] 言うまでもなく、本明細書に記載される例、実施形態、又はプロセスのいずれか１つが、１つ又は複数の他の例、実施形態及び／若しくはプロセスと組み合わせられる、又は本システム、デバイス、及び方法に従って別個のデバイス又はデバイス部分間で分離及び／又は実施されることが理解されるべきである。

[062] 最後に、上記の論述は、単に本システムを説明することを意図したものであり、添付の特許請求の範囲を任意の特定の実施形態又は実施形態の群に制限するものとは解釈されるべきではない。よって、本システムは例示的実施形態を参照して特に詳細に説明したが、以下の特許請求の範囲に述べられる本システムのより広い意図される主旨及び範囲から逸脱することなく、多数の変更及び代替の実施形態が当業者によって考案されてよいことも理解されるべきである。したがって、明細書及び図面は、説明的な様式でみなされるものとし、添付の特許請求の範囲を制限する意図はない。

Claims (16)

1. ターゲット領域に向けて送信される超音波パルスに応じたエコー信号を獲得する超音波トランスデューサと、前記超音波トランスデューサと通信する１つ又は複数のプロセッサとを含む、超音波イメージングシステムであって、
   前記プロセッサは、超音波エコーから少なくとも１つの画像フレームを生成し、
   前記プロセッサは、前記画像フレームを第１のニューラルネットワークに提供し、前記第１のニューラルネットワークは、前記画像フレーム内の物体の解剖学的特徴を特定し、
   前記プロセッサは、前記解剖学的特徴のインジケーションを第２のニューラルネットワークに提供し、前記第２のニューラルネットワークは、必要とされる測定値のリストに従って、前記第１のニューラルネットワークによって特定された前記解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定し、
   前記プロセッサは、取得すべき前記解剖学的測定値のインジケータを、前記プロセッサと通信するユーザインターフェース上に表示させ、
   前記プロセッサはさらに、前記物体の運動及び現在の位置を特定し、
   前記プロセッサはさらに、前記物体の運動及び現在の位置に部分的に基づいて取得すべき前記解剖学的測定値を決定する前記第２のニューラルネットワークに、前記物体の運動及び現在の位置のインジケーションを提供する、
   超音波イメージングシステム。
2. 前記プロセッサはさらに、取得すべき前記解剖学的測定値に基づいて前記超音波トランスデューサを調節するための命令を生成する、請求項１に記載の超音波イメージングシステム。
3. 前記プロセッサは、前記超音波エコーから生成された連続する画像フレームのラインのサブセットを相互相関させることにより、前記物体の運動を特定する、請求項１に記載の超音波イメージングシステム。
4. 前記プロセッサは、前記画像フレームから前記解剖学的特徴を抽出し、抽出された前記解剖学的特徴をリカレントニューラルネットワークに入力することにより、前記物体の現在の位置を特定する、請求項１に記載の超音波イメージングシステム。
5. 前記第２のニューラルネットワークは、前記第１のニューラルネットワークによって特定された前記解剖学的特徴を、取得すべき前記解剖学的測定値を取得するための行為に関連付ける、推奨システムを実施する、請求項１に記載の超音波イメージングシステム。
6. 前記第１のニューラルネットワークは、訓練用入力及び既知の出力のアレイを受け取る訓練アルゴリズムに動作的に関連付けられ、前記訓練用入力は、前記物体の前記解剖学的特徴を含んでいる超音波画像フレームを含み、前記既知の出力は、前記解剖学的特徴に基づくビュー分類を含む、請求項１に記載の超音波イメージングシステム。
7. 前記ユーザインターフェースは、前記必要とされる測定値のリストを表示する、請求項１に記載の超音波イメージングシステム。
8. 前記ユーザインターフェースは、ユーザによって取得された測定値に部分的に基づいて、前記必要とされる測定値のリストを更新する、請求項７に記載の超音波イメージングシステム。
9. 取得すべき前記解剖学的測定値は、前記超音波トランスデューサの最も小さい可能な調節を実施することによって取得可能な測定値を含む、請求項１に記載の超音波イメージングシステム。
10. 取得すべき前記解剖学的測定値は、精度閾値で又はそれ以上で取得可能な測定値を含む、請求項１に記載の超音波イメージングシステム。
11. 超音波システムに動作的に結合された超音波トランスデューサによってターゲット領域内に送信される超音波パルスに応じたエコー信号を獲得するステップと、
    超音波エコーから少なくとも１つの画像フレームを生成するステップと、
    第１のニューラルネットワークに前記画像フレームを提供するステップであって、前記第１のニューラルネットワークは前記画像フレーム内の物体の解剖学的特徴を特定する、ステップと、
    前記解剖学的特徴のインジケーションを、第２のニューラルネットワークに提供するステップであって、前記第２のニューラルネットワークは、必要とされる測定値のリストに従って、前記第１のニューラルネットワークによって特定された前記解剖学的特徴に部分的に基づいて、取得すべき解剖学的測定値を決定する、ステップと、
    取得すべき前記解剖学的測定値のインジケータを、プロセッサと通信するユーザインターフェース上に表示させるステップと、
    前記物体の運動及び現在の位置を特定するステップと、
    取得すべき前記解剖学的測定値を決定する前記第２のニューラルネットワークに、前記物体の運動及び現在の位置のインジケーションを提供するステップと、を有する、
    超音波イメージングの方法。
12. 取得すべき前記解剖学的測定値に基づいて前記超音波トランスデューサを調節するための命令を生成するステップを有する、請求項１１に記載の方法。
13. 前記物体の運動を特定するステップは、前記超音波エコーから生成された連続する画像フレームのラインのサブセットを相互相関させるステップを有する、請求項１１に記載の方法。
14. 前記物体の現在の位置を特定するステップは、前記画像フレームから前記解剖学的特徴を抽出し、抽出された前記解剖学的特徴をリカレントニューラルネットワークに入力するステップを有する、請求項１１に記載の方法。
15. ユーザによって取得された測定値に部分的に基づいて、前記必要とされる測定値のリストを表示及び更新するステップを有する、請求項１１に記載の方法。
16. 実行可能命令を備える非一時的なコンピュータ可読媒体であって、前記実行可能命令は、実行されると、医療イメージングシステムのプロセッサに、請求項１１から１５の何れか一項に記載の方法を行わせる、非一時的なコンピュータ可読媒体。

Images