JP7358457B2 - 超音波画像による脂肪層の識別 - Google Patents

Description

本開示は超音波撮像を介して脂肪層などの特徴を識別し、識別される特徴に基づいて画像を修正するための超音波システム及び方法に関する。特定の実施例は超音波画像から脂肪層及び関連する画像アーチファクトを識別して除去し、それによって画質を改善するように構成されるシステムを有する。

中等度から厚い脂肪層を有する患者をスキャンする場合、特に腹部領域をスキャンする場合には、超音波画像診断は困難となる可能性がある。脂肪は音響減衰を増加させ、音波は通常、他の軟組織に対して異なる速度で脂肪組織を通って伝播するので、脂肪組織を通って伝播する超音波ビームはしばしば、焦点がずれる。これは位相収差として知られる効果である。より具体的には、超音波ビーム集束は、音響パルスの飛行時間、例えば、超音波エコー信号が特定の解剖学的点から各トランスデューサ受信素子まで移動するのに要する時間の長さ、又は送信される超音波信号がトランスデューサから特定の解剖学的点に到達するのに要する時間の長さに基づいて、各トランスデューサ素子に特定の遅延を適用することによって達成される。不正確な音速仮定に基づくビーム成形は不正確な距離‐時間関係計算を導くことができ、例えば、広い一次ビームと高いサイドローブによって特徴付けられるデフォーカスされる超音波ビームを生成することができる。そのような焦点ぼけは腹部脂肪層を撮像するときに頻繁に発生することがあり、その中を音波は通常、約1450m／sでしか伝播せず、これは波が約1540m／sで伝播することが多いほとんどの周囲組織よりも著しく遅い。その結果、腹部のような脂肪層を有する領域の画像は一般に、望ましくないアーチファクトを含み、一般に、品質が悪い。脂肪によって引き起こされる画像アーチファクトを補正又は最小化することを目的とする既存の技術は実施するのが過度に複雑であり、しばしば効果がない。

したがって、脂肪層によって引き起こされる画像劣化を低減又は排除することができる新しい超音波システムは、脂肪層の下の解剖学的標的の撮像及び評価を改善するために必要である。

本開示は、超音波画像内の脂肪層などの少なくとも1つの特徴を識別及び位置特定するための超音波システム及び方法を説明する。いくつかの例では、特徴がニューラルネットワークを実装することによって識別することができる。識別される脂肪層の厚さなどの特徴の様々な測定値も、自動的に又は手動で決定することができ、その表示をグラフィカルユーザインタフェース上に表示することができる。システムは特徴(例えば、脂肪層)がさらなる評価のためにラベル付け又は強調表示される注釈付き超音波画像を生成することができ、それによって、特徴及び任意の関連する収差をユーザに警告する。システムは、識別される特徴に基づいて、トランスデューサ設定の少なくとも1つの推奨される手動調整を生成し、表示することができ、その結果、調整を実施することによって、特徴によって引き起こされる収差又は画像アーチファクトを除去することができる。いくつかの実施形態では、超音波画像から識別される特徴を自動的に除去又は修正するように訓練される第2のニューラルネットワークを実装することもできる。特定の画像から特徴を除去することによって、第2のニューラルネットワークは、特徴及び特徴によって引き起こされる関連する画像アーチファクトを欠く修正画像を生成することができる。それから、オリジナル画像と比較して向上した品質を有する修正される画像を、分析のために表示することができる。開示されるシステム及び方法は広範囲のイメージングプロトコルに適用可能であるが、脂肪誘導アーチファクトによって引き起こされる画像劣化が最も深刻であり得る腹部領域などの脂肪含有量の高い解剖学的領域をスキャンする場合に特に有利であり得る。例示的なシステム及び方法は脂肪層識別及び関連する画像修正に関して説明されるが、本開示は脂肪層用途に限定されず、様々な解剖学的特徴及び／又は画像アーチファクトが本明細書で開示される原理に従って識別され、修正され、及び／又は除去され得ることは理解される。

本開示のいくつかの例によれば、超音波撮像システムは、標的領域に向けて送信される超音波パルスに応答するエコー信号を取得するように構成される超音波トランスデューサと、超音波エコーから生成される少なくとも1つの画像フレームから超音波画像を表示するように構成されるグラフィカルユーザインタフェースとを含んでもよい。システムは、超音波トランスデューサ及びグラフィカルユーザインタフェースと通信する一つ又はそれより多くのプロセッサを有することができる。プロセッサは画像フレーム内の一つ又はそれより多くの特徴を識別し、グラフィカルユーザインタフェースに、識別される特徴に特有の少なくとも2つの画質操作に関連する要素を表示させるように構成することができる。第1の画質操作はトランスデューサ設定の手動調整を有することができ、第2の画質操作は、識別される特徴を有する基準フレームから導出される識別される特徴の自動調整を有することができる。プロセッサはさらに、グラフィカルユーザインタフェースによって表示される要素の少なくとも1つのユーザ選択を受信し、ユーザ選択に対応する画質操作を適用して画像フレームを修正するように構成してもよい。

いくつかの例では、第2の画質操作が第1の画質操作に依存することができる。いくつかの実施形態では、一つ又はそれより多くの特徴が基準特徴を有する撮像データで訓練される第1のニューラルネットワークに画像フレームを入力することによって識別することができる。いくつかの例では、一つ又はそれより多くの特徴が脂肪層を有することができる。いくつかの実施形態では、グラフィカルユーザインタフェースは一つ又はそれより多くの特徴がラベルされる注釈付き画像フレームを表示するように構成することができる。いくつかの例では、第1のニューラルネットワークが画像フレーム内の内臓脂肪層及び皮下脂肪層を描写するようにさらに構成されるUネット又はVネットアーキテクチャによって定義される畳み込みネットワークを有することができる。いくつかの実施形態ではプロセッサは、画像フレームを第2のニューラルネットワークに入力することによって画像フレームを修正するように構成することができ、第2のニューラルネットワークは識別される特徴がグラフィカルユーザインタフェース上に表示するために省略される修正画像フレームを出力するように訓練される。いくつかの例では、第2のニューラルネットワークは、敵対的生成ネットワークを有することができる。いくつかの実施形態では、プロセッサは、一つ又はそれより多くの特徴を識別する前に、画像フレームからノイズを除去するようにさらに構成することができる。いくつかの例では、一つ又はそれより多くのプロセッサが脂肪層の寸法を決定するようにさらに構成することができる。いくつかの実施形態では、寸法はグラフィカルユーザインタフェースを介してユーザによって特定される脂肪層内の位置における脂肪層の厚さを有することができる。いくつかの例では、標的領域が腹部領域を有することができる。

本開示のいくつかの例によれば、超音波撮像の方法は、標的領域に向けて送信される超音波パルスに応答してエコー信号を取得するステップと、前記超音波エコーから生成される少なくとも1つの画像フレームから超音波画像を表示するステップと、前記画像フレーム内の一つ又はそれより多くの特徴を識別するステップと、前記識別される特徴に特有の少なくとも2つの画質操作に関連する要素を表示するステップを有する。第1の画質操作は、トランスデューサ設定の手動調整を有し、第2の画質操作は、前記識別される特徴を含む基準フレームから導出される前記識別される特徴の自動調整を含む。方法は、表示される前記要素の少なくとも1つのユーザ選択を受信するステップと、前記ユーザ選択に対応する前記画質操作を適用して前記画像フレームを修正するステップとを更に含む。

いくつかの例では、第2の画質操作が第1の画質操作に依存することができる。いくつかの実施形態では、一つ又はそれより多くの特徴が基準特徴を有する撮像データで訓練される第1のニューラルネットワークに画像フレームを入力することによって識別することができる。いくつかの例では、一つ又はそれより多くの特徴が脂肪層を有することができる。いくつかの実施形態では、方法は、一つ又はそれより多くの特徴がラベル付けされる注釈付き画像フレームを表示するステップをさらに有することができる。いくつかの例では画像フレームが画像フレームを第2のニューラルネットワークに入力することによって修正することができ、第2のニューラルネットワークは識別される特徴が省略される修正画像フレームを出力するように訓練される。いくつかの実施形態では、方法は、ユーザによって特定される解剖学的位置における一つ又はそれより多くの特徴の寸法を決定するステップを有することができる。

本明細書で説明される方法のいずれか、又はそのステップは実行可能命令を備える非一時的なコンピュータ可読媒体で実施されてもよく、実行されると、医用撮像システムのプロセッサに、本明細書で実施される一つ又はそれより多くの方法又はステップを実行させてもよい。

層状の筋肉、脂肪及び皮膚組織及びその対応する超音波画像の断面図である。 本開示の原理による超音波システムのブロック図である。 本開示の原理による、脂肪組織セグメント化のために構成されるUネット畳み込みネットワークのブロック図である。 本開示の原理による、脂肪組織セグメント化のために構成されるVネット畳み込みネットワークのブロック図である。 本開示の原理に従って実施されるグラフィカルユーザインタフェースである。 本開示の原理による脂肪層画像除去のために構成されるニューラルネットワークのブロック図である。 本開示の原理による、超音波画像から脂肪層を識別し、除去するように構成される協調ニューラルネットワークのブロック図である。 本開示の原理に従って実行される超音波撮像の方法のフロー図である

特定の実施形態の以下の説明は本質的に単に例示的なものであり、本発明又はそのアプリケーション又は使用を限定することを決して意図するものではない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成し、説明されるシステム及び方法を実施することができる特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は当業者が現在開示されているシステム及び方法を実施することを可能にするのに十分に詳細に記載されており、他の実施形態が利用されてもよく、構造的及び論理的な変更が、本システムの精神及び範囲から逸脱することなくなされてもよいことが理解されるべきである。さらに、明確にするために、特定の特徴の詳細な説明は本システムの説明を不明瞭にしないように、当業者に明らかである場合には論じない。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本システムの範囲は添付の特許請求の範囲によってのみ定義される。

本明細書で開示されるシステムは標的領域に存在する脂肪の少なくとも1つの層を識別するために、深層学習モデルを実装するように構成され得る。脂肪層は、ユーザインターフェース上に示され得、脂肪によって引き起こされる画像劣化を排除又は低減するための推奨される解決策が生成され得、任意選択的に表示され得る。実施形態は、画像から脂肪層及び関連する画像アーチファクトを除去し、そのような特徴を欠く新しい画像を生成するように訓練される深層学習モデルを使用することによって、超音波画像を改善するように構成されるシステムを有する。開示されるシステムは特に、腹部領域のような脂肪が高い領域を撮像する場合に、Bモード画質を改善することができる。本システムはBモード撮像又は腹部撮像に限定されず、患者の任意の解剖学的位置で脂肪を有する画像を補正するために利用することができるので、様々な解剖学的特徴、例えば、肝臓、肺、及び／又は様々な四肢を撮像するために適用することができる。システムは、Bモード撮像に加えて、又はBモード撮像の代わりに、その精度及び／又は効率を改善するために、様々な定量的撮像モダリティのために利用され得る。例えば、開示されるシステムは、剪断波エラストグラフィ最適化、音響減衰のためのビームパターン調整、及び／又は後方散乱係数推定のために実施することができる。

本開示による超音波システムは様々なニューラルネットワーク、例えば、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、敵対的生成ネットワーク(GAN)、オートエンコーダニューラルネットワークなどを利用して、脂肪層を識別し、任意選択で、新たに生成される画像内の脂肪層を除去することができる。様々な例では、第1のニューラルネットワークが超音波画像フレームの形成で入力データを分析し、その中の少なくとも1つの脂肪層の存在を判定するように構成されるニューラルネットワーク(例えば、訓練されるアルゴリズム又はハードウェアベースのノードシステム)を取得するために、現在知られている、又は今後開発される様々な学習技法のいずれかを使用して訓練され得る。第2のニューラルネットワークは超音波画像フレーム又は脂肪層を有する又は具体化するデータの形成で入力データを修正し、そこから層を除去するように訓練されてもよい。脂肪誘導位相収差によって生成される画像アーチファクトも、第2のニューラルネットワークによって選択的に除去することができる。脂肪層及び関連するアーチファクトがなければ、画質を大幅に向上させることができ、改善される透明度及び／又はコントラストで明らかにされることができる。

本発明の原理による超音波システムは、媒体、例えば、人体又はその特定の部分に向けて超音波パルスを送信し、超音波パルスに応答してエコー信号を生成するように構成される超音波トランスデューサを有するか、又は超音波トランスデューサに動作可能に結合されてもよい。超音波システムは送信及び／又は受信ビームフォーミングを実行するように構成されるビームフォーマと、いくつかの例では超音波撮像システムによって生成される超音波画像を表示するように構成されるディスプレイとを有することができる。超音波撮像システムは、一つ又はそれより多くのプロセッサと、ハードウェア及び／又はソフトウェアコンポーネントで実施することができる少なくとも1つのニューラルネットワークとを有することができる。実施形態は第1のネットワークの出力が第2のネットワークへの入力として働くように、1つの多層ネットワークに通信可能に結合又は統合され得る2つ以上のニューラルネットワークを含み得る。

本開示に従って実装されるニューラルネットワークはハードウェア(例えば、ニューロンは物理的構成要素によって表される)又はソフトウェアベース(例えば、ソフトウェアアプリケーションにおいて実装されるニューロン及び経路)であってもよく、所望の出力を生成するようにニューラルネットワークを訓練するために、様々なトポロジ及び学習アルゴリズムを使用することができる。例えば、ソフトウェアベースのニューラルネットワークは命令を実行するように構成されるプロセッサ(例えば、シングルコア又はマルチコアCPU、シングルGPU又はGPUクラスタ、又は並列処理のために配置される複数のプロセッサ)を使用して実装されてもよく、命令はコンピュータ可読媒体に格納されてもよく、実行されるとき、超音波画像内に存在する脂肪層を識別するための、及び／又は識別される脂肪層を欠く新しい画像を生成するための訓練されるアルゴリズムをプロセッサに実行させる。超音波システムは、超音波画像及び／又は注釈、信頼度メトリック、ユーザ命令、組織情報、患者情報、インジケータ、及び他のグラフィックコンポーネントを含むことができる追加のグラフィック情報を、超音波システムのユーザインターフェース上に表示するための表示ウィンドウ内に構成するように動作可能なディスプレイ又はグラフィックプロセッサを含むことができる。いくつかの実施形態では、超音波画像及び関連する測定値が報告目的又は将来の訓練(例えば、ニューラルネットワークの性能を向上させ続けるために)、特に脂肪層及び関連するアーチファクトを脂肪標識画像から除去するように構成されるシステムによって生成される修正画像のために、画像保管及び通信システム(PACS)などの記憶装置及び／又はメモリデバイスに提供されてもよい。

図1は、皮膚の外層104a、脂肪の層106a、及び筋肉の層108aを有する正常組織102aの断面図を示す。組織の超音波撮像は、皮膚層104b、脂肪層106b、及び筋肉層108bの対応する画像102bを生成し得る。図示のように、各層は超音波画像102b上ではっきりと見えることができ、筋肉層108bは、脂肪層106bよりも明るく見えることができる。既存の技術は、ユーザが手動で脂肪層106bを識別し、測定することを必要とし、そのような技術は、画像から脂肪層及び関連するアーチファクトを除去することができない。本明細書のシステムは一つ又はそれより多くの脂肪層を自動的に識別することができ、いくつかの例では、そのような脂肪層が存在するにもかかわらず、対応する画像を処理して画質を改善する。本明細書のシステムは特に脂肪層の識別に限定されるものではなく、任意の形態、例えば、局所的な堆積物、ポケット、又は様々な形状の堆積物の脂肪を識別するように構成することができる。例示的なシステムは、内臓脂肪及び皮下脂肪を描写するように構成することもできる。皮下脂肪は、腋窩‐臍線に沿って臍の約1センチメートル上方の領域を有することができる。皮下脂肪層の厚さは、呼気時に、皮膚‐脂肪界面と白線の外縁との間の距離として測定することができる。内臓脂肪は、剣状突起‐臍線に沿って臍より約1cm上方の白線と前大動脈との距離として測定できる。

図2は、本開示の原理による例示的な超音波システムを示す。超音波システム200は、超音波データ収集ユニット210を有することができる。超音波データ収集ユニット210は超音波パルス214を、腹部領域、胸部領域、一つ又はそれより多くの四肢及び／又はその特徴を含み得る被験者の標的領域216に送信し、送信されるパルスに応答して超音波エコー218を受信するように構成される超音波センサアレイ212を有する超音波プローブを含み得る。領域216は、可変厚さの脂肪層217を有することができる。例えば、脂肪層は、厚さが約0．1乃至約20cm、約1乃至約12cm、約2乃至約6cm、又は約4乃至約5cmの範囲であってもよい。さらに示されるように、超音波データ取得ユニット210は、ビームフォーマ220と、アレイ212で受信される超音波エコー218から離散超音波画像フレーム224のストリームを生成するように構成され得る信号プロセッサ222とを含み得る。画像フレーム224はデータプロセッサ226、例えば、いくつかの例では前処理モジュール228を有することができる計算モジュール又は回路に通信することができ、画像フレーム224内の脂肪層を識別するように訓練されるニューラルネットワーク230などの少なくとも1つのニューラルネットワークを実装するように構成することができる。

超音波センサアレイ212は、超音波エネルギを送受信するように構成される少なくとも1つのトランスデューサアレイを含んでもよい。超音波センサアレイ212の設定は特定のスキャンを実行するためにプリセットすることができ、スキャン中に調整することができる。様々なトランスデューサアレイ、例えば、線形アレイ、凸形アレイ、又はフェーズドアレイを使用することができる。センサアレイ212に含まれるトランスデューサ素子の数及び配置は、異なる例で変化してもよい。例えば、超音波センサアレイ212は、それぞれリニアアレイ及びマトリクスアレイプローブに対応する、トランスデューサ素子の1D又は2Dアレイを含んでもよい。2Dマトリクスアレイは2D又は3D画像のために、(フェーズドアレイビーム形成を介して) 仰角寸法及び方位角寸法の両方で電子的にスキャンするように構成されてもよい。Bモード撮像に加えて、本明細書の開示に従って実施される撮像モダリティは例えば、剪断波及び／又はドップラーを有することもできる。様々なユーザが本明細書で説明される方法を実行するために超音波データ取得ユニット210を取り扱い、操作することができる。

超音波センサアレイ212に結合されるビームフォーマ220は、マイクロビームフォーマ、又はマイクロビームフォーマと主ビームフォーマとの組み合わせを有することができる。ビームフォーマ220は例えば、集束ビームに超音波パルスを形成することによって、超音波エネルギの伝送を制御することができる。また、ビームフォーマ220は識別可能な画像データが他のシステム構成要素の助けを借りて生成され処理され得るように、超音波信号の受信を制御するように構成されてもよい。ビームフォーマ220の役割は、異なる超音波プローブの種類によって異なり得る。いくつかの実施形態では、ビームフォーマ220は、2つの別個のビームフォーマ、すなわち、被験者への伝送のための超音波エネルギのパルスシーケンスを受信して処理するように構成される伝送ビームフォーマと、受信した超音波エコー信号を増幅し、遅延し、及び／又は和らげるように構成される別個の受信ビームフォーマとを含んでもよい。いくつかの実施形態では、ビームフォーマ220は、送信及び受信ビーム形成の両方のためにグループ入力及び出力上でそれぞれ作動するメインビームフォーマに結合され、送信及び受信ビーム形成の両方のためにセンサ素子のグループ上で作動するマイクロビームフォーマを含んでもよい。

信号プロセッサ222は、センサアレイ212及び／又はビームフォーマ220と通信可能、動作可能及び／又は物理的に結合することができる。図2に示す例では信号プロセッサ222はデータ取得ユニット210の一体構成要素として含まれるが、他の例では信号プロセッサ222は別個の構成要素であってもよい。いくつかの例では、信号プロセッサがセンサアレイ212と一緒に収容されてもよく、又はそれに結合されるが通信可能に(例えば、有線又は無線接続を介して)物理的に分離されてもよい。信号プロセッサ222は、センサアレイ212で受信される超音波エコー218を具現化するフィルタリングされない、非組織化される超音波データを受信するように構成されてもよい。このデータから、信号プロセッサ222は、ユーザが標的領域216をスキャンする際に、超音波画像フレーム224を連続的に生成することができる。いくつかの実施形態では、データ収集ユニット210によって受信及び処理される超音波データが、そこから超音波画像フレームを生成する前に、システム200の一つ又はそれより多くの構成要素によって利用することができる。例えば、破線によって示され、以下でさらに説明されるように、超音波データは、超音波画像フレームが生成及び／又は表示される前に処理するために、第1のニューラルネットワーク230又は第2のニューラルネットワーク242にそれぞれ直接通信され得る。

前処理モジュール228は、データプロセッサ226で受信される画像フレーム224からノイズを除去し、それによって画像フレームの信号対雑音比を改善するように構成することができる。前処理モジュール228によって採用されるノイズ除去方法は様々であってもよく、いくつかの例では3Dフィルタリングとのブロックマッチングを有することができる。超音波画像フレームの信号対雑音比を改善することによって、前処理モジュール228は、フレームを処理する際にニューラルネットワーク230の精度及び効率を改善することができる。

特定の実施の形態では、ニューラルネットワーク230は、超音波画像フレーム224において検出される脂肪又はデータ取得ユニット210により取得される画像データの一つ又はそれより多くの特有の特徴に基づいて一つ又はそれより多くの脂肪層を検出し、随意に測定するように構成される深層学習セグメント化ネットワークを有する。いくつかの例では、ネットワーク230は、画像フレーム内に存在する脂肪層を識別し、セグメント化し、識別される層の寸法、例えば、厚さ、長さ、及び／又は幅を、ユーザによって特定され得る様々な位置で自動的に決定するように構成され得る。層は、処理される画像上でマスキングされるか、さもなければラベル付けされることができる。いくつかの例では、ニューラルネットワーク230の異なる構成は、2D画像又は3D画像に存在する脂肪層をセグメント化することができる。特定のネットワークアーキテクチャは、畳み込み及び最大プーリング層のカスケードを縮小及び拡大することを有することができる。ニューラルネットワーク230を訓練することは、時間にわたって、注釈付き脂肪層及び脂肪層を欠く画像を含む多数の画像を入力することを含むことができ、その結果、ネットワークは超音波スキャン中にリアルタイムで注釈なし画像中の脂肪層を識別することを学習する。

検出される脂肪層は、グラフィカルユーザインタフェース234に結合されるディスプレイプロセッサ232を介してユーザに報告することができる。ディスプレイプロセッサ232は、画像フレーム224から超音波画像235を生成するように構成することができ、超音波スキャンが実行されているときに、ユーザインターフェース234上にリアルタイムで表示されることができる。ユーザインターフェース234は、超音波処置の前、間、又は後の任意の時間にユーザ入力236を受信するように構成され得る。表示される超音波画像235に加えて、ユーザインターフェースは、超音波画像235と同時に、例えば、オーバーレイされて表示されるグラフィックの組合せを有することができる、一つ又はそれより多くの追加の出力238を生成するように構成することができる。そのようなグラフィックスはシステムによって識別される特定の解剖学的特徴及び測定値、例えば、種々の器官、骨、組織及び／又は組織界面とともに、少なくとも1つの脂肪層(例えば、内臓及び／又は皮下)の存在及び寸法を標識し得る。いくつかの例では、脂肪層は、脂肪の輪郭の輪郭を描くこと、及び／又は脂肪領域を色分けすることによって強調表示することができる。脂肪厚さは、セグメント化ネットワーク230から出力されるマスクされる脂肪領域の最大、最小、及び／又は平均垂直厚さを決定することによって、さらに計算することができる。いくつかの実施形態では、出力部238は、特定の画像235の品質を改善するための画質操作に関連する選択可能な要素を有することができる。画質操作は、脂肪層によって引き起こされる一つ又はそれより多くの画像アーチファクト又は収差を除去、低減、又は最小化することによって画像235を改善するように、トランスデューサ設定を手動で調整するための命令、例えば、アナログ利得曲線を調整するための命令、検出される脂肪層を圧縮するためにプリロードを適用するための命令、及び／又は高調波撮像モードをオンにするための命令を含むことができる。出力238は、他の画質操作を実施するために追加のユーザ選択可能要素及び／又は警告を含むことができ、以下でさらに説明するように、特徴及び／又は任意の関連するアーチファクト又は収差を排除、低減、又は最小化する態様で、画像235内における、識別される特徴、たとえば脂肪層の自動調整を実施する、第1の画質操作に依存し得る。それから、グラフィカルユーザインタフェース234は品質操作の少なくとも1つを実装するためにユーザ入力236を受信することができ、特徴を含む画像フレーム224を修正するようにデータプロセッサ226を促すことができる。いくつかの例では、ユーザインターフェース234は、出力238に具現化される命令とは異なる画質強調命令、例えば、ユーザの知識及び経験に基づく命令を受け取ることもできる。出力238は、注釈、信頼度メトリック、ユーザ命令、組織情報、患者情報、インジケータ、ユーザ通知、及び他のグラフィックコンポーネントを有することができる。

いくつかの例では、ユーザインターフェース234は、自動画質操作に特有のユーザ命令240を受信するように構成され得る。ユーザ命令240は、ユーザインタフェース234上に表示されるか、又は単にユーザによって入力される、選択可能なアラートに応答可能である。そのような例によれば、ユーザインターフェース234は、超音波画像から脂肪層を除去するように構成される第2のニューラルネットワーク242を実装することによって、決定される脂肪層の存在に基づいて改善される画像を自動的に生成するようにデータプロセッサ226を促すことができ、それによって、一つ又はそれより多くの脂肪層及び／又はそれに関連する画像アーチファクトを欠く、改善される画像244を生成する。図2に示すように、第2のニューラルネットワーク242は、第1のニューラルネットワーク230と通信可能に結合することができ、その結果、第1のニューラルネットワークの出力、例えば、脂肪が識別される注釈付き超音波画像を、第2のニューラルネットワーク242に直接入力することができる。いくつかの例では、第2のニューラルネットワーク242は、畳み込みネットワークのカスケードを利用して、粗密の方法で画像を生成するように構成される敵対的ネットワークのラプラシアンピラミッドを含むことができる。少なくとも1つの脂肪層を有する入力画像に対して行われる大規模な調整は、識別される脂肪層及び関連する画像アーチファクトに特有の微細な変化を最大化する一方、最も顕著な画像特性を保持するために最小化され得る。第2のニューラルネットワーク242によって受信される入力は、脂肪層を含む超音波画像、又はまだ完全な画像に処理されていない脂肪層を具現化する画像データを含むことができる。後者の例によれば、第2のニューラルネットワーク242は超音波データ取得ユニット210のチャネル領域において、例えば、脂肪層及びそれに関連するアーチファクトを除去することによって、画像信号を補正するように構成され得る。第2のニューラルネットワーク242のアーキテクチャ及び動作モードは図5に関連して以下に説明するように、変更することができる。

図2に示す構成要素の構成は、様々であってよい。例えば、システム200は、携帯型であっても固定型であってもよい。ラップトップ、タブレット、スマートフォンなどの様々なポータブル装置を使用して、システム200の一つ又はそれより多くの機能を実装することができる。そのような装置を組み込む例では、超音波センサアレイは例えば、USBインターフェースを介して接続可能であってもよい。いくつかの例では、図2に示す様々な構成要素を組み合わせることができる。例えば、ニューラルネットワーク230は、ニューラルネットワーク242と併合されてもよい。そのような実施形態によれば、2つのネットワークは例えば、より大きな層状ネットワークのサブコンポーネントを構成することができる。

ネットワーク230の特定のアーキテクチャは変化し得る。一例では、ネットワーク230が畳み込みニューラルネットワークを備えることができる。特定の例では、ネットワーク230は、同じアーキテクチャネットワークレベル上にあるエンコーダ層からデコーダ層へのスキップ接続を備える畳み込み自動エンコーダを備えることができる。2D超音波画像の場合、Uネットアーキテクチャ302aは、図3Aの例に示されるように、特定の実施形態において実装されてもよい。Uネットアーキテクチャ302aは、縮小経路304a及び拡張経路306aを有する。例えば、Ronneberger、O．らによる「U‐Net：バイオメディカル画像セグメンテーションのための畳み込みネットワーク」(医療画像コンピューティング及びコンピュータ支援インターベンション協会で暫定的に受諾される、2015年11月18日公開)(「Ronneberger」)によって記載されているように、一実施形態において、収縮経路304aは、反復される3×3回の畳み込みのカスケードと、それに続く整流される線形ユニットと、各ステップでのダウンサンプリングによる2×2最大プーリング動作とを有することができる。Ronnebergerによって説明されているように、拡張経路306aは、アップ畳み込みの連続ステップを有することができ、各ステップは特徴チャネルの数を半分にする。出力308aは、初期画像フレーム224内に存在する一つ又はそれより多くの脂肪層を識別するセグメンテーションマップを含むことができる。いくつかの実施態様では、脂肪層又は周囲の非脂肪領域はマスキングされることができ、いくつかの例では出力308aは、各組織タイプごとに別個のマスキングを実施して、非脂肪領域、皮下脂肪層、及び／又は内臓脂肪層を描写されることができる。ネットワークを訓練することは、ネットワークが新しい画像内に存在する脂肪層を確実に識別することを学習するまで、一つ又はそれより多くの脂肪層及び対応するセグメント化マップを含む超音波画像を入力することを含むことができる。少数のトレーニング画像が利用可能であるとき、ネットワークをトレーニングするために、Ronnebergerによって説明されているように、データ強化手段を実施することもできる。

3D超音波画像については、図3Bの例に示すように、畳み込みVネットアーキテクチャ302bを特定の実施形態で実装することができる。Vネットアーキテクチャ302bは、圧縮パス304bと、それに続く圧縮解除パス306bとを含むことができる。一実施形態では、圧縮経路304bの各ステージは、異なる解像度で動作することができ、例えば、「V‐Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation」(3D Vision(3DV)，2016 Fourth International Conference,565‐571, Published October 25，2016)(「Milletari」)においてMilletari, F.らによって記載されているように、様々なサイズのボクセルに対して畳み込みを実行する1乃至3つの畳み込み層を含み得る。いくつかの例では、各ステージは、Milletariによってさらに説明されるように、既存のネットワークアーキテクチャよりも短い時間で収束を達成することができる残差関数を学習するように構成することができる。出力308bは、初期画像フレーム224内に存在する一つ又はそれより多くの脂肪層を識別する3次元セグメンテーションマップを含むことができ、これは、非脂肪、内臓脂肪、及び／又は皮下脂肪の描写を含むことができる。ネットワークを訓練することは、一つ又はそれより多くの脂肪層と、脂肪層が識別される対応する注釈付き画像とを含む3次元画像を入力することによるエンドツーエンド訓練を含むことができる。限られた数のトレーニング画像、特に注釈付き画像が利用可能であるとき、ネットワークをトレーニングするために、Milletariによって説明されているように、データ強化手段を実施することができる。

図4は、本開示に従って構成されるグラフィカルユーザインタフェース400の一例を示す。図示されるように、インターフェース400は少なくとも1つの脂肪層417を含む標的領域416の超音波画像435を示すように構成され得、その境界は線417a及び417bによって示される。さらに示されるように、脂肪層417の厚さは1つの位置で14mmであり、これは例えば、タッチスクリーン上の画像435と直接対話することによって、ユーザによって特定され得る。脂肪層検出通知438a、「自動補正」ボタン438b、及びシステムパラメータを調整することによって画像435の品質を改善するための推奨命令438cを含む様々な例示的な出力も示されている。脂肪層検出通知438aは、この特定の例では16mmである脂肪層417の平均厚さの指示を含む。「自動補正」ボタン438bを選択することによって、ユーザは、脂肪層及び任意の関連するアーチファクトを除く画像435のすべての特徴を保持する修正画像のニューラルネットワーク生成を介して画像から脂肪層417の自動除去を開始することができる。また、修正画像では、信号の減衰が低減される場合がある。推奨される命令438cは高調波撮像を開始し、より多くのプリロードを適用し、アナログ利得曲線を調整する命令を含む。命令438cは、所与の画像において検出される脂肪層の厚さ及び／又は位置、及び／又は脂肪層が画像アーチファクトを生じさせ、及び／又は一般に画質を低下させる程度に応じて変化することができる。例えば、命令438cは、画像を取得するために使用される超音波プローブの位置及び／又は配向に対する推奨される修正を含むことができる。一部の実装では、ユーザインターフェース400は、修正される画像と、元の画像に戻すための選択可能なオプション、例えば、「補正取り消し」ボタンを表示することができる。そのような例によれば、ユーザは、注釈付けされる脂肪層を含む画像と、脂肪層を欠く新しい修正画像との間で前後にトグルすることができる。

図5は、超音波画像から一つ又はそれより多くの脂肪層及び関連するアーチファクトを除去し、そのような特徴を欠く新しい修正画像を生成するように構成されるニューラルネットワーク500の一例を示す。この特定の例は敵対的生成ネットワーク(GAN)を有するが、様々なネットワークタイプを実装することができる。GAN 500は例えば、「generative Adversarial Text to Image Synthesis」(Proceedings of 33rd International Conference on Machine Learning, New York, NY(2016)JMLR: W&CP vol.48)においてReed, S.らによって記載されているように、生成ネットワーク502及び競合識別ネットワーク504を含む。動作中、生成ネットワーク502は、識別される脂肪層に注釈が付けられたテキストラベル付き画像からなる入力508に基づいて、一つ又はそれより多くの脂肪層及び関連するアーチファクトを欠く合成超音波画像サンプル506をフィードフォワード方式で生成するように構成することができる。識別ネットワーク504は、脂肪層を含み、脂肪層を欠く複数のトレーニング画像に部分的に基づいて、生成ネットワーク502によって生成されるサンプリング506が実在又は偽物である可能性を決定するように構成することができる。訓練後、生成ネットワーク502は、一つ又はそれより多くの脂肪層を含む入力画像から一つ又はそれより多くの脂肪層を欠く画像を生成することを学習することができ、その結果、修正される非脂肪画像は、脂肪及び関連するアーチファクトの存在を除いて、実際の超音波画像から実質的に解読不可能である。いくつかの例では、トレーニングネットワーク500は、表面付近に脂肪層を含む、及び含まないファントム組織の制御される実験画像の一対を入力することを含み得る。各画像がファントム組織内で同じ視野を有するように、一貫した方法で多数のサンプル画像を生成するために、例えば、様々なロボットコンポーネント及び／又は電動ステージを利用することができる。

図6は、本開示の原理による、元の超音波画像から少なくとも1つの脂肪層を識別し、除去するように構成される畳み込みネットワークの協調システム600を示す。初期超音波画像602は、初期画像内に存在する脂肪層606をセグメント化し、注釈を付けるように構成することができる第1の畳み込みネットワーク604に入力されることができ、それによって注釈付き画像608が生成される。注釈付き画像608は、畳み込み識別回路網612と通信可能に結合される畳み込み生成回路網610に入力することができる。図示のように、畳み込み生成器ネットワーク610は、第1の畳み込みネットワーク604によって識別され、ラベル付けされる脂肪層606を欠く修正画像614を生成するように構成することができる。複数の解剖学的特徴616は、脂肪層606の欠如及びそれが引き起こす画像劣化のために、修正画像614においてより明確に見える。ネットワーク604、610、及び612の構成は、実施形態によって異なってもよい。画像602、608及び／又は614の1つ以上を、様々な例においてグラフィカルユーザインタフェース上でユーザ分析のために表示することができる。

図7は、本開示の原理に従って実行される超音波撮像の方法のフロー図である。例示的な方法700は、例えば腹部スキャン中に、超音波画像から一つ又はそれより多くの脂肪層を識別し、随意に除去するために、本明細書で説明されるシステム及び／又は装置によって任意のシーケンスで利用されることができるステップを示す。方法700は、システム100のような超音波撮像システム、又は、例えば、Koninklijke Philips N.V.(「Philips」)によるLUMIFYのようなモバイルシステムを含む他のシステムによって実行されてもよい。追加の例示的なシステムは、ここでもフィリップスによって製造されるSPARQ及び／又はEPIQを含むことができる。

図示の実施形態では、方法700は、「標的領域に向けて送信される超音波パルスに応答してエコー信号を取得する」ことによってブロック702で開始する

本方法は、「超音波エコーから生成される少なくとも1つの画像フレームから超音波画像を表示する」ことによってブロック704で続行される。

本方法は、「画像フレーム内の一つ又はそれより多くの特徴を識別する」ことによってブロック706で続行される。

本方法は、「識別される特徴に特有の少なくとも2つの画質操作に関連する要素を表示させ、第1の画質操作は、トランスデューサ設定の手動調整を有し、第2の画質操作は、識別される特徴を含む基準フレームから導出される前記識別される特徴の自動調整を有する」ことによって、ブロック708で続行される。

本方法は、「表示される要素のうちの少なくとも1つのユーザ選択を受信する」ことによってブロック710で続行される。

本方法は、「画像フレームを修正するためにユーザ選択に対応する画質操作を適用する」ことによってブロック712で続行される。

コンポーネント、システム、及び／又は方法がコンピュータベースのシステム又はプログラマブルロジックなどのプログラマブルデバイスを使用して実装される様々な実施形態では、上述のシステム及び方法が「C」、「C＋＋」、「FORTRAN」、「パスカル」、「VHDL」などの様々な既知の又は後に開発されるプログラミング言語のいずれかを使用して実装できることを理解される。したがって、上述のシステム及び／又は方法を実施するようにコンピュータなどのデバイスに指示することができる情報を有することができる、磁気コンピュータディスク、光ディスク、電子メモリなどの様々な記憶媒体を準備することができる。適切な装置が記憶媒体に含まれる情報及びプログラムにアクセスできると、記憶媒体は情報及びプログラムを装置に提供することができ、したがって、装置は、本明細書に記載するシステム及び／又は方法の機能を実行することができる。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切な材料を有するコンピュータディスクがコンピュータに提供される場合、コンピュータは情報を受け取り、それ自体を適切に構成し、様々な機能を実行するために、上記の図及びフローチャートに概説される様々なシステム及び方法の機能を実行することができる。すなわち、コンピュータは上述のシステム及び／又は方法の異なる要素に関連する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実装し、上述の個々のシステム及び／又は方法の機能を調整することができる。本開示を考慮して、本明細書で説明される様々な方法及びデバイスは、ハードウェア、ソフトウェア、及びファームウェアで実装され得ることに留意される。さらに、様々な方法及びパラメータは、例としてのみ含まれ、いかなる限定的な意味においても含まれない。

この開示を考慮して、当業者は本発明の範囲内に留まりながら、それら自体の技術及びこれらの技術に影響を及ぼすために必要とされる機器を決定する際に、本教示を実施することができる。本明細書で説明されるプロセッサのうちの一つ又はそれより多くの関数はより少ない数又は単一の処理ユニット(例えば、CPU)に組み込まれてもよく、本明細書で説明される関数を実行するために実行可能命令に応答してプログラムされる特定用途向け集積回路(ASIC)又は汎用処理回路を使用して実装されてもよい。

本システムは超音波撮像システムを特に参照して説明されてきたが、本システムは一つ又はそれより多くの画像が系統的な方法で得られる他の医用イメージングシステムに拡張することができることも想定される。したがって、本システムは腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈血及び血管系、ならびに超音波誘導介入に関連する他の画像応用に限定されるものではないが、画像情報を取得及び／又は記録するために使用され得る。さらに、本システムは本システムの特徴及び利点を提供することができるように、従来の撮像システムと共に使用することができる一つ又はそれより多くのプログラムを有することもできる。本開示の特定の追加の利点及び特徴は、本開示を検討することにより当業者に明らかであり得るか、又は本開示の新規なシステム及び方法を採用する当業者によって経験され得る。本システム及び方法の別の利点は、従来の医療画像システムを容易にアップグレードして、本システム、装置、及び方法の特徴及び利点を組み込むことができることであり得る。

当然のことながら、本明細書で説明される例、実施形態、又はプロセスのうちの任意の1つは、一つ又はそれより多くの他の例、実施形態、及び／又はプロセスと組み合わせることができ、又は本システム、デバイス、及び方法による別個の装置又はデバイス部分の間で分離及び／又は実行することができることを理解される。

最後に、上記の議論は単に本システムを例示することを意図しており、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものとして解釈されるべきではない。したがって、本システムは例示的な実施形態を参照して特に詳細に発明されてきたが、当業者であれば、以下の特許請求の範囲に記載される本システムのより広く意図される精神及び範囲から逸脱することなく、多数の修正及び代替実施形態を考案することができることも理解される。したがって、本明細書及び図面は例示的な方法で見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。

Claims (18)

1. 超音波撮像システムであって、
   標的領域に向けて送信される超音波パルスに応答してエコー信号を取得するように構成される超音波トランスデューサと、
   前記超音波エコーから生成される少なくとも1つの画像フレームから超音波画像を表示するように構成されるグラフィカルユーザインタフェースと、
   前記超音波トランスデューサ及び前記グラフィカルユーザインタフェースと通信する一つ又はそれより多くのプロセッサであって、
   前記画像フレーム内の一つ又はそれより多くの特徴を識別し、
   前記識別される特徴に特有の少なくとも2つの画質操作に関連する要素を前記グラフィカルユーザインタフェースに表示させ、第1の画質操作は、トランスデューサ設定の手動調整を有し、第2の画質操作は、前記識別される特徴を含む基準フレームから導出される前記識別される特徴の自動調整を有し、
   前記グラフィカルユーザインタフェースによって表示される前記要素の少なくとも1つのユーザ選択を受信し、
   前記ユーザ選択に対応する前記画質操作を適用して前記画像フレームを修正する
   ように構成されるプロセッサと
   を有し、
   前記一つ又はそれより多くの特徴は、基準特徴を有する撮像データで訓練される第1のニューラルネットワークに前記画像フレームを入力することによって識別される、
   超音波撮像システム。
2. 前記第2の画質操作は、前記第1の画質操作に依存する、請求項1に記載の超音波システム。
3. 前記一つ又はそれより多くの特徴は脂肪層を有する、請求項1に記載の超音波システム。
4. 前記グラフィカルユーザインタフェースは、前記一つ又はそれより多くの特徴がラベル付けされる注釈付き画像フレームを表示するように構成される、請求項1に記載の超音波システム。
5. 前記第1のニューラルネットワークは、前記画像フレーム内の内臓脂肪層及び皮下脂肪層を描写するようにさらに構成されるUネット又はVネットアーキテクチャによって規定される畳み込みネットワークを有する、請求項１に記載の超音波撮像システム。
6. 前記プロセッサは、前記画像フレームを第2のニューラルネットワークに入力することによって前記画像フレームを修正するように構成され、前記第2のニューラルネットワークは、前記グラフィカルユーザインタフェース上の表示のために、前記識別される特徴が省略される修正画像フレームを出力するように訓練される、請求項1に記載の超音波撮像システム。
7. 前記第2のニューラルネットワークは、敵対的生成ネットワークを有する、請求項６に記載の超音波撮像システム。
8. 前記一つ又はそれより多くのプロセッサは、前記一つ又はそれより多くの特徴を識別する前に、前記画像フレームからノイズを除去するようにさらに構成される、請求項1に記載の超音波撮像システム。
9. 前記一つ又はそれより多くのプロセッサは、前記脂肪層の寸法を決定するようにさらに構成される、請求項３に記載の超音波撮像システム。
10. 前記寸法は、前記グラフィカルユーザインタフェースを介してユーザによって特定される前記脂肪層内の位置における前記脂肪層の厚さを有する、請求項９に記載の超音波撮像システム。
11. 前記標的領域は腹部領域を有する、請求項1に記載の超音波撮像システム。
12. 超音波撮像の方法であって、前記方法は、
    標的領域に向けて送信される超音波パルスに応答してエコー信号を取得するステップと、
    前記超音波エコーから生成される少なくとも1つの画像フレームから超音波画像を表示するステップと、
    前記画像フレーム内の一つ又はそれより多くの特徴を識別するステップと、
    前記識別される特徴に特有の少なくとも2つの画質操作に関連する要素を表示するステップであって、第1の画質操作は、トランスデューサ設定の手動調整を有し、第2の画質操作は、前記識別される特徴を含む基準フレームから導出される前記識別される特徴の自動調整を有する、ステップと、
    表示される前記要素の少なくとも1つのユーザ選択を受信するステップと、
    前記ユーザ選択に対応する前記画質操作を適用して前記画像フレームを修正するステップと
    を有し、
    前記一つ又はそれより多くの特徴は、基準特徴を有する撮像データで訓練される第1のニューラルネットワークに前記画像フレームを入力することによって識別される、
    方法。
13. 前記第2の画質操作は、前記第1の画質操作に依存する、請求項１２に記載の方法。
14. 前記一つ又はそれより多くの特徴は脂肪層を有する、請求項１２に記載の方法。
15. 前記一つ又はそれより多くの特徴がラベル付けされる注釈付き画像フレームを表示するステップをさらに有する、請求項１２に記載の方法。
16. 前記画像フレームは、前記画像フレームを第2のニューラルネットワークに入力することによって修正され、前記第2のニューラルネットワークは、前記識別される特徴が省略される修正画像フレームを出力するように訓練される、請求項１２に記載の方法。
17. ユーザによって特定される解剖学的位置における前記一つ又はそれより多くの特徴の寸法を決定するステップをさらに有する、請求項１２に記載の方法。
18. 実行可能な命令を有する非一時的なコンピュータ可読媒体であって、実行されるとき、医用撮像システムのプロセッサに、請求項１２乃至１７の何れか一項に記載の方法を実行させる、非一時的なコンピュータ可読媒体。

Images