JP6935020B2

JP6935020B2 - 超音波画像の特徴を識別するシステム及び方法

Info

Publication number: JP6935020B2
Application number: JP2020546417A
Authority: JP
Inventors: ビンヤムジブレキダンジブレ
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2018-03-08
Filing date: 2019-03-04
Publication date: 2021-09-15
Anticipated expiration: 2039-03-04
Also published as: EP3536245A1; CN111885964A; US11490877B2; US20210068791A1; WO2019170573A1; EP3761881A1; EP3761881B1; JP2021516105A

Description

本発明は、超音波画像処理の分野に係り、特には、超音波画像内の自動的な特徴構造の特徴付けの分野に関する。

超音波撮像は、種々の異なる用途で益々採用されるようになっている。被検体の状態を正確に評価するために、ユーザに該被検体に関する十分な情報を提供することが重要である。このことは、当該被検体が医療超音波スキャンを受ける患者である場合に特に当てはまる。

幾つかの超音波撮像システムは、被検体の１以上の超音波画像を得るための超音波プローブを有している。超音波プローブは、通常、当該超音波撮像システムのユーザ又は臨床医により保持されるように構成される。

超音波プローブは、超音波を送信すると共にエコー情報を受信するためのＣＭＵＴトランスジューサアレイを有することができる。受信されたエコー情報は１以上の超音波画像を発生するように処理される。上記トランスジューサアレイは、代わりに、ＰＺＴ又はＰＶＤＦ等の材料から形成された圧電トランスジューサを有することもできる。斯かるトランスジューサアレイは、２Ｄ面内で又は３Ｄ撮像のために三次元内でスキャンすることができるトランスジューサの二次元アレイを有することができる。他の例において、該トランスジューサアレイは１Ｄアレイとすることもできる。

超音波画像の特徴を識別したいという益々増加する要望が存在している。これらの特徴は、なかでも、超音波画像内に存在する特徴構造又は超音波画像の品質を含み得る。超音波画像における異常の正確な検出又は特徴構造の正確な測定を可能にするためには、高品質の超音波画像が必要とされる。典型的に、超音波画像の特徴は、キャプチャされた超音波画像に対して画像処理方法を実行することにより検出される。

米国特許出願公開第2016/048737号は、超音波医療画像の適応的コンピュータ支援診断（ＣＡＤ）のための装置を記載しており、該装置は、画像解析アルゴリズムをプローブの速度又は該プローブにより得られた現画像の解像度に基づいて選択するように構成された画像解析アルゴリズム選択器並びに該選択された画像解析アルゴリズムを用いて現画像フレームにおける関心領域（ＲＯＩ）を検出及び分類するように構成された画像解析器を含む。

米国特許出願公開第2016/155227号も、ユーザの診断意図の決定に基づくＣＡＤ装置に関するものである。該ＣＡＤ装置は、プローブからの画像入力からＲＯＩを検出するように構成されたＲＯＩ検出器及び該ＲＯＩ検出器がＲＯＩを検出することに応答してプローブの運動を決定するように構成されたプローブ運動決定器を含む。該ＣＡＤ装置は、更に、プローブの決定された運動に基づいてユーザの診断意図を決定するように構成された診断意図決定器及び該決定されたユーザの診断意図に基づいて診断手順を実行するように構成された診断意図プロセッサを有する。

本発明は、請求項により定義される。

本発明の一態様による例によれば、１以上の超音波画像の特徴を識別するコンピュータにより実施化される方法（コンピュータ実施方法）が提供され、各超音波画像は超音波撮像処理を用いて超音波プローブにより撮像された被検体のものであり、当該方法は、
前記超音波撮像処理の間における前記超音波プローブの操作を示す操作信号を取得するステップと、
前記操作信号の一部分を取得するステップであって、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分が１以上の超音波画像に関連付けられるステップと、
ニューラルネットワークシステムを用いて、前記１以上の関連付けられた超音波画像の特徴を前記１以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類するステップと、
を有する。前記１以上の関連付けられた超音波画像の特徴を分類するステップは、１以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生するステップ、及び前記畳み込み出力を分類して前記取得された部分に関連付けられた前記１以上の超音波画像の特徴を示すステップを有する。

このように、超音波画像の特徴を、該超音波画像及び該超音波画像をキャプチャする超音波プローブ操作信号の両方を解析及び分類することにより識別する方法が提案される。操作信号の一部分は１以上の超音波画像に関連付けられ、該部分は少なくとも１つの超音波画像のキャプチャに関連した期間における超音波プローブの操作（例えば、空間的移動）を表す。該操作信号の部分は、関連する超音波画像（又は複数の画像）の特徴を識別することを補助するために分類される。このようにして、操作信号は超音波画像の特徴を識別することを支援するように処理することができる。

本発明は、超音波プローブが操作される態様が超音波画像の特徴に影響する又は該特徴を示すということを提唱する。このように、操作信号（超音波プローブの操作を示す）の特徴は、該超音波プローブにより収集された超音波画像の特徴を定める助けとなり得る。超音波画像に関する情報は、操作信号を処理又は解析することにより識別することができる。特に、畳み込みカーネルは、取得された部分の局部的時間パターン等を表す畳み込み出力をキャプチャすることができ、該出力は、次いで、上記取得された部分に関連付けられる１以上の超音波画像の特徴を識別するために有利に使用することができる。関連する超音波画像と併せて、操作信号の抽出部分、特に該部分の畳み込み出力を分類することにより、該抽出部分に関連する１以上の超音波画像の特徴を識別することができる。

即ち、本発明によれば、ニューラルネットワークシステムは前記１以上の超音波画像及び前記操作信号の取得された部分の両方を入力として取り込み、これらを処理して前記１以上の関連付けられた超音波画像の特徴を分類する。該ニューラルネットワークシステムにより実行される処理は、前記操作信号の取得された部分を表す畳み込み出力を発生するステップを含み、該出力は、次いで、該ニューラルネットワークシステムにおいて前記１以上の超音波画像及び／又は該画像の部分と、並びに恐らくは該ニューラルネットワークシステムの中間処理段により発生される前記１以上の超音波画像及び／又は該画像の部分を表す出力と一緒に用いられて、前記１以上の関連付けられた超音波画像の特徴を分類する。

好ましい実施態様において、前記１以上の関連付けられた超音波画像の特徴を分類するステップは、
前記ニューラルネットワークシステムに含まれる第１ニューラルネットワークを用いて、前記操作信号の取得された部分を表す畳み込み出力を発生すると共に、該畳み込み出力を分類して前記超音波プローブの操作パターンを示すステップと、
前記ニューラルネットワークシステムに含まれる第２ニューラルネットワークを用いて、前記１以上の関連付けられた超音波画像の特徴を前記１以上の超音波画像及び前記操作パターンに基づいて分類するステップと、
を有する。

例示として、被検体の異なる特徴構造（例えば、臓器等の関心領域）が当該超音波プローブの異なる動きがなされる場合にキャプチャされていることが分かり得る。超音波画像に関連付けられた操作信号の部分（該操作信号の時間抽出部である）が特定の動きと類似する又は同一であると分類することにより、被検体の特徴構造の検出を改善することができる。

提案される発明は、これにより、超音波画像の特徴が識別されることを可能にし、その場合において、操作信号を超音波画像と一緒に使用することは、超音波画像単独で見付かる情報に付け加わる又は該情報より一層正確な情報を提供し得る。提案される概念は、これにより、超音波画像の自動化され且つ一層正確な特徴付けを可能にする。

一実施態様において、前記１以上の関連付けられた超音波画像の特徴を分類するステップは、
ａ）前記操作信号の前記取得された部分が、
高品質超音波画像；
前記被検体の予め定められたビューの超音波画像；及び
前記関連付けられた１以上の超音波画像における前記被検体の１以上の予め定められた関心領域の存在；
のうちの１つに関連付けられるかを分類するステップと、
ｂ）前記１以上の関連付けられた超音波画像の特徴を、前記取得された部分の分類を前記１以上の関連付けられた超音波画像の特徴として割り当てることにより識別するステップと、
を有する。即ち、前記１以上の関連付けられた超音波画像の特徴の識別は、前記取得された部分の分類を該１以上の関連付けられた超音波画像の特徴として割り当てることを含む。

前述したように、操作信号は、該操作信号の発生の間にキャプチャされた超音波画像の特徴を定め又は示す助けとなり得る。上記特徴（超音波画像の品質、超音波画像のビューポイント、及び超音波画像における被検体の特定の特徴構造の存在）は、操作信号において特別に識別可能であることが分かっている。

当該方法は、従って、超音波画像及び操作信号から超音波画像が所望の領域若しくは関心領域を描いているか又は妥当な品質のものであるかを識別することができる。

予め定められた関心領域が当該１以上の超音波画像内で見付かるか否か又は該超音波画像が予め定められたビューのものであるかを識別することは、改善されたラベル付け、注釈付け又は該画像のセグメンテーションを可能にする。幾つかの超音波ガイダンス規格は、スクリーニング又は分析目的で被検体（例えば、胎児）の特定のビューが取得されることを要求している。被検体のビューの自動化された検出は、このような規格が非常に高い精度及び容易さで満たされることを可能にする。

超音波画像が高品質のものであるか否かを識別することは、低品質画像（被検体の分析にとっては典型的に有用でない）の自動化された廃棄を可能にし、これにより、メモリ記憶要件を低減すると共に超音波システムのユーザに対する負荷を低減する。

他の実施態様において、前記１以上の関連付けられた超音波画像の特徴を分類するステップは、
前記操作信号を、各部分が同一の１以上の超音波画像に関連付けられた複数の部分に分割するステップと、
前記操作信号の取得された各部分に１以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生するステップと、
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類するステップと、
を有する。

前記畳み込みカーネルは、取得された部分の局部的時間パターン等を表す畳み込み出力をキャプチャすることができる。各局部的時間パターンは、次いで、画像収集時間窓の間における当該プローブの運動の長期時間パターンを構築するために処理される。このことは、例えば、長短期記憶アーキテクチャにより実行することができる。

一実施態様において、
前記操作信号を取得するステップは、各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得するステップを有し、
前記操作信号の一部分を取得するステップは、各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得するステップであって、該複数の時間的に関連する部分が同一の１以上の超音波画像に関連付けられるステップを有し、
前記１以上の関連付けられた超音波画像の特徴を分類するステップは、前記複数の時間的に関連する部分を分類して前記１以上の関連付けられた超音波画像の特徴を示すステップを有する。

他の実施態様において、前記複数の時間的に関連する部分を分類するステップは、
前記複数の時間的に関連する部分を表す二次元データ構造を得るステップと、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生するステップと、
前記畳み込み出力を分類して、前記１以上の関連付けられた超音波画像の特徴を示すステップと、
を有する。

前記操作信号の取得された部分の二次元データ構造に畳み込みカーネルを適用することにより、該操作信号を畳み込みニューラルネットワークを用いて処理することが可能になる。このようにして、該操作信号における局部的時間パターンを識別し、前記超音波画像と一緒に使用して該超音波画像の特徴を分類することができる。

更に他の実施態様において、
前記操作信号の一部分を取得するステップは、前記操作信号の２以上の複数の時間的に関連する部分を取得するステップであって、該複数の各々が同一の１以上の超音波画像に関連付けられるステップを有し、
前記１以上の関連付けられた超音波画像の特徴を分類するステップは、
ａ）各データ構造が異なる複数の時間的に関連する部分を表す複数の二次元データ構造を得るステップと、
ｂ）各二次元データ構造に畳み込みカーネルを適用して、対応する複数の畳み込み出力を発生するステップと、
ｃ）長短期記憶を用いることにより前記複数の畳み込み出力を処理して、前記２以上の複数の時間的に関連する部分を分類し、これにより前記１以上の関連付けられた超音波画像の特徴を示すステップと、
を有する。

このようにして、前記畳み込みニューラルネットワークからの局部的時間パターン及び前記長短期記憶を使用した一層長い時間範囲にわたるパターンの両方を得ることが可能になる。両パターンを考慮に入れることにより、当該プローブの操作の一層正確な記述を確立することができ、これにより、特徴分類の精度を向上させる。

一構成例において、前記操作信号は、
前記被検体に対する前記超音波プローブの位置、
前記被検体に対する前記超音波プローブの角度、
前記被検体に対する前記超音波プローブの向き、
前記被検体に対し前記超音波プローブにより印加される圧力、
前記被検体に対する前記超音波プローブの加速度、
前記超音波プローブの運動の方向、及び
前記超音波プローブの運動のパターン、
のうちの１以上を示す。

これら因子のうちの１以上を考慮に入れることにより、前記１以上の超音波画像を収集する際の超音波プローブの運動の正確なプロファイルを得ることができ、これにより、当該特徴識別の精度を向上させる。

幾つか態様において、上述したコンピュータ実施方法は、前記超音波画像をセグメント化するステップを更に有することができる。

このようにして、当該超音波画像内の臓器又は骨格構造等の特徴構造を、前記操作信号の分類及び前記超音波プローブにより収集された１以上の超音波画像に基づいて識別することが可能になる。

他の実施態様において、上述したコンピュータ実施方法は、選択された各超音波画像にセグメント化された各関心領域を重ねるステップを更に有することができる。

このようにして、識別された関心領域は当該超音波画像上で強調することができ、これにより、当該超音波システムのユーザが上記領域を一層容易に見及び調べることができるようにする。

本発明の一態様に従う例によれば、コンピュータ上で実行された場合に上述したコンピュータ実施方法を実施するためのコード手段を有するコンピュータプログラムが提供される。

本発明の一態様に従う例によれば、超音波画像の特徴を識別するように構成された超音波画像処理システムが提供され、前記超音波画像は超音波撮像処理を用いて超音波プローブにより撮像された被検体のものであり、当該超音波画像処理システムは、
前記超音波撮像処理の間における前記超音波プローブの操作（例えば、空間運動）を示す操作信号を取得し、
前記操作信号の一部分を取得し、ここで、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分は１以上の超音波画像に関連付けられ、且つ、
ニューラルネットワークシステムを用いて、前記１以上の関連付けられた超音波画像の特徴を前記１以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類する、
ように構成される。

特に、該超音波画像処理システムは、
１以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生し、及び
前記畳み込み出力を分類して前記取得された部分に関連付けられた前記１以上の超音波画像の特徴を示す、
ことにより前記１以上の関連付けられた超音波画像の特徴を分類するように構成される。
他の実施態様において、当該超音波画像処理システムは、
前記操作信号を、各部分が同一の１以上の超音波画像に関連付けられた複数の部分に分割し、
前記操作信号の取得された各部分に１以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生し、及び
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類する、
ことにより前記１以上の関連付けられた超音波画像の特徴を分類するように構成される。
他の実施態様において、当該超音波画像処理システムは、
各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得し、
各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得し、ここで、該複数の時間的に関連する部分は同一の１以上の超音波画像に関連付けられ、及び
前記複数の時間的に関連する部分を分類して前記１以上の関連付けられた超音波画像の特徴を示す、
ように構成される。

好ましくは、当該超音波画像処理システムは、
前記複数の時間的に関連する部分を表す二次元データ構造を取得し、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生し、及び
前記畳み込み出力を分類して、前記１以上の関連付けられた超音波画像の特徴を示す、
ことにより前記複数の時間的に関連する部分を分類するよう構成される。

本発明の一態様に従う例によれば、
超音波撮像処理を用いて被検体を撮像し、これにより該被検体の１以上の超音波画像を発生するように構成された超音波プローブと、
前記超音波撮像処理の間における前記超音波プローブの操作（例えば、空間的操作）を監視して、該操作（例えば、空間的運動）を示す操作信号を発生するように構成されたプローブ操作センサと、
上述した超音波画像処理システムと、
を有する超音波撮像システムが提供される。

図１は、一般的動作を説明するための超音波診断撮像システムを示す。図２は、本発明の方法を示す。図３は、図２に示される方法で使用される畳み込みニューラルネットワーク／長短期記憶の方法を示す。図４は、図２に示される方法で使用される他のニューラルネットワークの方法を示す。

以下、本発明の例を、添付図面を参照して詳細に説明する。

本発明は１以上の超音波画像の特徴を識別する方法を提供するものであり、各画像は超音波プローブにより超音波撮像処理を用いて撮像される被検体のものである。該方法は、撮像処理の間における超音波プローブの操作を示す操作信号を取得するステップを含む。該操作信号における或る期間の間のプローブの操作を示す部分が取得される。該取得された部分は、１以上の超音波画像に関連付けられる。次いで、該１以上の超音波画像の特徴を操作信号の上記取得された部分及び該1以上の画像自体の両方に基づいて分類するためにニューラルネットワークシステムが用いられる。このような分類は、操作信号の上記取得された部分に１以上の畳み込みカーネルを適用して操作信号の上記取得された部分を表す畳み込み出力を発生するステップ、及び該畳み込み出力を分類して上記取得された部分に関連付けられた１以上の超音波画像の特徴を示すステップを有する。

先ず、例示的超音波診断撮像システムの一般的動作を、図１を参照して説明するものとし、本発明はトランスジューサアレイにより測定される信号の処理に関係するものであるから、該システムの信号処理機能に重点を置く。

当該システムは、超音波を送信すると共にエコー情報を受信するためのＣＭＵＴトランスジューサアレイ１００を備えたアレイトランスジューサプローブ１０を有する。トランスジューサアレイ１００は、代わりに、ＰＺＴ又はＰＶＤＦ等の材料から形成される圧電トランスジューサを有することもできる。トランスジューサアレイ１００は、２Ｄ面内で又は３Ｄ撮像のために三次元でスキャンすることができるトランスジューサ１１０の二次元アレイである。他の例において、当該トランスジューサアレイは１Ｄアレイとすることもできる。

トランスジューサアレイ１００は、ＣＭＵＴアレイセル又は圧電素子による信号の受信を制御する当該プローブ内のマイクロビームフォーマ１２に結合される。マイクロビームフォーマは、例えば米国特許第5,997,479号（Savord他）、同第6,013,032号（Savord）及び同第6,623,432号（Powers他）に記載されているように、トランスジューサの副アレイ（又は“グループ”若しくは“パッチ”）により受信される信号を少なくとも部分的にビーム形成することができる。

上記マイクロビームフォーマは完全にオプション的なものであることに注意されたい。以下の例は、アナログビーム形成は仮定していない。

マイクロビームフォーマ１２はプローブケーブルにより送信／受信（Ｔ／Ｒ）スイッチ１６に結合され、該スイッチは、送信及び受信モードの間で切り換わって、マイクロビームフォーマが使用されず、当該トランスジューサアレイが主システムビームフォーマにより直接動作される場合に主ビームフォーマ２０を高エネルギ送信信号から保護する。トランスジューサアレイ１００からの超音波ビームの送信は、該マイクロビームフォーマにＴ／Ｒスイッチ１６及び主送信ビームフォーマ（図示略）により結合されるトランスジューサコントローラ１８により指令され、該コントローラはユーザインターフェース又は制御パネル３８のユーザ操作から入力を受ける。

トランスジューサコントローラ１８により制御される機能の１つは、ビームがステアリング及び収束される方向である。ビームは、当該トランスジューサアレイから真っ直ぐ前方に（に対して直角に）、又は一層広い視野のために異なる角度でステアリングすることができる。トランスジューサコントローラ１８は、当該ＣＭＵＴアレイのためのＤＣバイアス制御部４５を制御するように結合することができる。ＤＣバイアス制御部４５は、当該ＣＭＵＴセルに印加されるＤＣバイアス電圧（又は複数の電圧）を設定する。

受信チャンネルにおいては、部分的にビーム形成された信号がマイクロビームフォーマ１２により生成されて主受信ビームフォーマ２０に結合され、該ビームフォーマにおいて、トランスジューサの個々のパッチからの該部分的にビーム成形された信号は完全にビーム成形された信号へと合成される。例えば、主ビームフォーマ２０は１２８個のチャンネルを有することができ、これらチャンネルの各々が数十個又は数百個のＣＭＵＴトランスジューサセル又は圧電素子のパッチからの部分的にビーム成形された信号を受信する。このようにして、トランスジューサアレイの数千のトランスジューサにより受信された信号が、単一のビーム成形された信号に効率的に寄与することができる。

上記ビーム成形された受信信号は、信号プロセッサ２２に結合される。信号プロセッサ２２は受信されたエコー信号を、帯域通過フィルタ処理、デシメーション、Ｉ及びＱ成分分離、並びに組織及び微小気泡から返送された非線形な（基本周波数の高調波）エコー信号の識別を可能にするために線形及び非線形信号を分離するように作用する調波成分分離等の種々の方法で処理することができる。該信号プロセッサは、スペックル低減、信号合成（signal compounding）及びノイズ除去等の付加的信号向上処理を実行することもできる。該信号プロセッサにおける前記帯域通過フィルタはトラッキングフィルタとすることができ、その通過帯域はエコー信号が受信される深度が増加するにつれて高い周波数帯域から低い周波数帯域にスライドし、これにより、高い周波数が解剖学的情報を有さないような一層大きな深度からの斯かる周波数におけるノイズを除去する。

送信のため及び受信のためのビームフォーマは、異なるハードウェアで実施化され、異なる機能を有することができる。勿論、受信器ビームフォーマは送信ビームフォーマの特性を考慮に入れるように設計される。図１には、簡略化のために、受信器ビームフォーマ１２、２０のみが示されている。完全なシステムにおいては、送信マイクロビームフォーマ及び主送信ビームフォーマを備える送信チェーンも存在するであろう。

マイクロビームフォーマ１２の機能は、アナログ信号経路の数を低減するために信号の初期合成を提供することである。これは、典型的には、アナログドメインで実行される。

最終的ビーム成形は、主ビームフォーマ２０において実行され、典型的にはデジタル化の後である。

送信及び受信チャンネルは、固定された周波数帯域を有する同一のトランスジューサアレイ１０’を使用する。しかしながら、送信パルスが占める帯域幅は、使用された送信ビーム成形に依存して変化し得る。受信チャンネルは全トランスジューサ帯域幅をキャプチャする（古典的方法である）ことができるか、又は、帯域幅処理を使用することにより、有用な情報（例えば、主調波の高調波）を含む帯域幅のみを抽出することができる。

処理された信号は、Ｂモード（即ち、輝度モード又は２Ｄ撮像モード）プロセッサ２６及びドプラプロセッサ２８に結合される。Ｂモードプロセッサ２６は、身体内の臓器及び血管の組織等の身体内の構造の画像化のために受信された超音波信号の振幅の検波を利用する。身体の構造のＢモード画像は、高調波画像モード、基本画像モード又は米国特許第6,283,929号（Roundhill他）及び同第6,458,083号（Jago他）に記載されているように両方の組み合わせの何れかで形成することができる。ドプラプロセッサ２８は、画像フィールド内の血液細胞の流れ等の物質の動きを検出するために、組織運動及び血流からの時間的に区別できる信号を処理する。該ドプラプロセッサ２８は、典型的に、身体内の選択されたタイプの物質から戻るエコーを通過及び／又は拒絶するように設定することができるパラメータを備えたウォールフィルタを含む。

上記Ｂモード及びドプラプロセッサにより生成された構造及び動き信号は、スキャンコンバータ３２及び多断面再フォーマッタ４４に結合される。スキャンコンバータ３２は、受信された空間関係におけるエコー信号を所望の画像フォーマットに配列する。例えば、該スキャンコンバータは、当該エコー信号を二次元（２Ｄ）扇状フォーマット又は角錐状三次元（３Ｄ）画像に配列することができる。該スキャンコンバータは、Ｂモード構造画像に、当該画像フィールド内の各点における斯かる点のドプラ推定速度による動きに対応するカラーを重ね合わせ、該画像フィールドにおいて組織の動き及び血流を描くカラードプラ画像を生成することができる。前記多断面再フォーマッタは、米国特許第6,443,896号（Detmer）に記載されているように、当該身体のボリューム領域における共通面内の各点から受信されるエコーを、該面の超音波画像に変換する。ボリュームレンダラ４２は、米国特許第6,530,885号（Entrekin他）に記載されているように、３Ｄデータセットのエコー信号を、所与の基準点から見た投影３Ｄ画像に変換する。

上記２Ｄ又は３Ｄ画像は、スキャンコンバータ３２、多断面再フォーマッタ４４及びボリュームレンダラ４２から、画像ディスプレイ４０上で表示するための更なる強調、バッファリング及び一時的記憶のために画像プロセッサ３０に結合される。画像化のために使用されることに加えて、ドプラプロセッサ２８により生成された血流値及びＢモードプロセッサ２６により生成された組織構造情報は、定量化プロセッサ３４にも結合される。該定量化プロセッサは、血流の体積流量等の異なる流れ条件の尺度並びに臓器の寸法及び妊娠期間等の構造的尺度を生成する。該定量化プロセッサは、画像の解剖学的構造における測定がなされるべき点等の入力をユーザ制御パネル３８から受信することができる。該定量化プロセッサからの出力データは、ディスプレイ４０上の画像による測定図形及び値の再生のために、及びディスプレイ装置４０からのオーディオ出力のためにグラフィックプロセッサ３６に結合される。グラフィックプロセッサ３６は、超音波画像と一緒に表示するためのグラフィックオーバーレイも発生することができる。これらのグラフィックオーバーレイは、患者名、画像の日時及び撮像パラメータ等の標準的識別情報を含むことができる。これらの目的のために、該グラフィックプロセッサは、ユーザインターフェース３８から患者名等の入力を受信する。該ユーザインターフェースは、トランスジューサアレイ１００からの超音波信号の発生を、従って該トランスジューサアレイ及び当該超音波システムにより生成される画像を制御するために送信コントローラ１８にも結合される。コントローラ１８の送信制御機能は、実行される機能のうちの１つに過ぎない。コントローラ１８は、動作モード（ユーザにより与えられた）並びに対応する所要の送信器構成及び受信器アナログ／デジタル変換器における帯域通過構成も考慮に入れる。コントローラ１８は、固定された状態を備えるステートマシンとすることができる。

前記ユーザインターフェースは、複数の多断面再フォーマット（ＭＰＲ）画像の画像フィールドにおいて定量化された測定法を実行するために使用することができる該複数の多断面再フォーマット画像の面の選択及び制御のために多断面再フォーマッタ４４にも結合される。

コントローラ１８は、更に、図２〜図４を参照して後述される方法の何れかの部分を実行するように構成することができる。代わりに、これらの方法は別のコントローラ又は複数のコントローラにより実行することもできる。

図２は本発明の一般的方法２００を示す。第１ステップにおいて、超音波プローブ１０（図１に示される）は１以上の超音波画像２１０を第１入力として収集する。該超音波画像に加えて、上記１以上の超音波画像を記録している間の当該プローブの運動が操作信号２２０の形で記録される。

操作信号２２０は、当該プローブ内に配置される加速度計、ジャイロスコープ及び磁力計等の複数のセンサによりキャプチャされる一群の信号であり得る。該操作信号は畳み込みニューラルネットワーク／長短期記憶組み合わせ（CNN-LSTM）処理段２３０に供給されるようになっており、該処理段の動作は図３を参照して後述される。この処理段の出力は、前記１以上の超音波画像２１０の収集に関連付けられた時間にわたるプローブ操作パターンの要約であり、該要約は他のニューラルネットワーク２４０へ供給される。

該他のニューラルネットワーク２４０は、例えばU-Netアーキテクチャ等のディープ畳み込みネットワークとすることができるもので、CNN-LSTM処理段２３０からの操作パターン及び１以上の超音波画像２１０の両方を受信する。該超音波プローブの操作パターン及び関連する超音波画像の両方を用いて、該他のニューラルネットワークは、該超音波画像に対し画像セグメント化を実行し、１以上の分類された特徴構造２６０を有するセグメント化超音波画像２５０を生成する。このシステムのニューラルネットワーク２３０及び２４０は、画像及び操作信号データ様式を組み合わせるように構成された畳み込み及び再帰型の両方のニューラルネットワークを有することができる。

言い換えると、超音波画像信号に加えて、超音波プローブ操作及び／又は方位信号が画像セグメント化及び／又は画像特徴構造分類のために使用される。画像セグメント化のために典型的に採用されるU-Net及びエンコーダ／デコーダネットワーク等の当該ニューラルネットワークアーキテクチャは、プローブ操作センサ信号を用いて更に調整される。当該システムは、該超音波システムの用途に依存する所望のフレームレートで出力されるセグメント化画像２５０を生成するように構成することができる。セグメント化超音波画像を生成することに加えて、当該他のニューラルネットワーク２４０は、上記１以上の超音波画像及びプローブ操作信号に基づいて生体測定値を発生するように構成することもできる。

図３は、上記プローブ操作信号を処理するための例示的CNN-LSTMアーキテクチャ３００を示す。

画像収集の間における超音波プローブの向き及び操作は、超音波画像の品質及び解釈に影響を与える。例えば、超音波プローブはモニタ位置を変更することなく回転され得、このことは臓器又は胎児の向きの解釈に混乱を生じさせ得る。超音波検査者は、典型的に、プローブ上の方位マーカを使用し、該マーカを当該超音波診断のディスプレイ４０上のマーカと比較して当該画像の正しい向きを決定する。超音波画像の自動的セグメント化のためには、超音波システムは、臓器等の何の特徴構造がスクリーン上の所与の位置において期待されるかを一層容易に識別することができるように当該超音波画像の向きも決定する必要がある。

かくして、プローブ操作は高品質超音波画像を生成する際の重要な考慮事項である。スライド、ロック、スイープ、扇形、圧力／圧縮、回転、傾き及び整列等の幾つかの既知の定義が存在する。これらの運動を識別し、これらの組合せを特定のプローブの向きにおける臓器又は胎児等の特定の特徴構造と相関させるようにCNN-LSTMネットワークを訓練することが可能である。

図３は、各々が所与の時間窓の間におけるプローブの操作を表す一群のプローブ操作信号（t₁,t₂,…,ｔ_n）を示す。該時間窓内のプローブ操作信号は、該プローブ操作信号の一部分として参照される。該時間窓の長さ、従って当該信号部分のサイズは、当該超音波システムの必要とされるフレームレートに依存して変化する。

上記操作信号部分の各々は、ＣＮＮによる一次元畳み込みカーネル３１０によって処理される。これら畳み込みカーネルは、当該プローブ操作信号部分内の局部的時間パターン３２０をキャプチャする。しかしながら、これらの局部的時間パターンは、超音波画像の収集の間におけるプローブの完全な操作を表すには十分でないであろう。従って、当該超音波プローブの動きを完全に記述するには長期的時間パターンが必要とされ得る。

局部的時間パターン３２０は、次いで、LSTM３３０に供給することができ、該LSTMは前記プローブ操作信号部分の長期的時間パターンを構築する。このようにして、該LSTMは、当該プローブ操作信号部分のものより長い時間範囲でプローブ操作信号内のパターンを検出することができる。斯かるＣＮＮ及びLSTMは、一緒になって、超音波検査者のプローブ操作を正確に表す短期及び長期の両方のパターンをキャプチャする。当該LSTMの出力３４０は再整形されて、１以上の超音波画像２１０のセグメント化に使用されるべきU-Netアーキテクチャ２４０に特徴構造マップとして供給される。

例示として、３つの加速度計信号、３つのジャイロスコープ信号及び３つの磁力計信号を含む９つの信号が存在し得る。この場合、該９個のプローブ信号は9個のチャンネルからの時系列データを構成する。行列形態において、該時系列データはＣｘＮなるフォーマットを有し、ここで、Ｃは入力チャンネルの数であり、Ｎは該時系列データの長さ、即ちサンプルの総数である。該時系列データをＣＮＮ及びLSTMによるパターン認識のために整えるために、該時系列データは、各々が長さＭの一連の重なり合う（オーバーラップする）操作信号部分に分割され、ここで、オーバーラップ寸法はＭ／２までとすることができる。形状ＣｘＮにおける各操作信号部分は、一次元畳み込み及びプーリング（ダウンサンプリングとも呼ばれる）層により処理される。

この例を更に続けると、加速度計、ジャイロスコープ及び／又は磁力計等の超音波プローブ操作センサは、毎秒６０サンプルの率で操作信号を供給することができる。１秒が前記操作信号部分のサイズであるとすると、これらの１秒のセグメントに前記一次元畳み込み及びプーリング層が適用される。これらセグメントは、互いに３０サンプル又は半秒だけ重なり合うことに注意されたい。下記の表１及び２は、これら１秒セグメントをＣＮＮ及びLSTMを各々用いて処理するための例示的ネットワークアーキテクチャの詳細を示す。

このモデルは、６０ｘ９のデータ行列の形をとる１秒の操作信号部分を処理する。畳み込み層において、当該フィルタはフィルタ行列における値（重みと称される）と入力データの値との間の要素毎の乗算を実行するように作用する。該フィルタのサイズは、入力データの何の値が該要素毎乗算を受けるかを制御する。Conv1の場合、該フィルタは一次元であり、５なる長さを有する。種々の乗算の結果は次いで合計され、正規化線形ユニット及びシグモイド（これらは活性化関数として知られている）等の要素毎非線形関数を通されて、出力行列の第１データ点を生成する。該フィルタは、次いで、入力データ行列にわたって所与の量（ストライドと称される）だけ移動し、要素毎乗算を繰り返し、これにより出力行列の第２データ点を発生する。このような処理は、当該フィルタが入力データ行列における可能な各位置を処理してしまうまで繰り返される。

このように、この例は、入力行列の各行に対して出力行列における２８のデータ点を結果として生じる。

例示として、前記操作センサは毎秒６０個のサンプルを生成することができ、各サンプルは９個の数を有する。１秒の部分においては、６０ｘ９のデータ行列となり、このデータは６４のフィルタでConv1を通過されて、形状２８ｘ６４のデータを生成する。このデータは、次いで、当該ネットワークの後続の層に供給される。

時間は非常に長い時間にわたり経過し、データを長い時間範囲で効率的に処理することは不可能であるので、当該サンプルの各部分のみが解析される。この場合、１秒のサンプルが局部的パターンを識別するために使用され、長期依存性を持つパターンのために、１０秒等の一層長い期間が用いられる。意志決定頻度もアプリケーションに従って選択することができる。例えば、決定は最後の１０秒のデータを用いて秒毎に行うことができる。

プーリング層は畳み込み層の出力をダウンサンプリングするように作用し、これにより、ＣＮＮを動作させるために要する処理能力を低減する。加えて、プーリング層はニューラルネットワークを訓練する際の過剰適合（overfitting）の問題を低減するようにも作用する。

このＣＮＮモデルの最終的出力は、各操作信号部分に対して２５６点の一次元ベクトルとなる。これらの２５６ベクトルのうちの幾つかの系列は、LSTM３３０に供給される局部的時間パターン３２０を形成する。

LSTMは長期依存性を学習すると共に長期パターンを認識することができる一種の再帰型ニューラルネットワークである。再帰型ニューラルネットワークが機能する一般的方法が、上述した１つの特定の例に関して以下に概説される。

この例において、２５６ベクトルの系列は一緒になって長期依存性を持つパターンを形成し得る。プローブ操作の場合、長期パターンは１０秒に跨がり得る。１０秒のプローブ操作の場合、２０個のセグメントが存在するであろう（１秒長のセグメントで、半秒の重なりと仮定する）。このことは、当該LSTM部分ネットワークへの入力は２０ｘ２５６行列（１０秒のプローブ操作を表す）であることを意味する。

この場合、該LSTM部分ネットワークは２０ｘ２５６行列を入力として取り込む。該LSTM部分ネットワークは、各々が６４個のフィルタを備えた２つのLSTM層を有する。第１LSTM層は上記２０ｘ２５６行列を取り込み、各セグメントベクトルを処理して、サイズ６４の出力ベクトルを生成する。該処理は、セグメント毎に順次実施される。

各セグメントベクトルを処理する場合、該LSTMは前のセグメントベクトルからの自身の出力のコピーも利用する（勿論、第１セグメントの場合、前の出力がゼロに設定される等の、開始条件が定義されることを要する）。前のセグメントにおける出力は、当該LSTMの記憶として機能し、現入力に対する出力を生成する際に使用される。

当該系列の最後において、第１LSTM層の出力は２０ｘ６４データ行列となる。ここで、該２０ｘ６４の出力は第２LSTM層への入力となり、該第２LSTM層は、（ｉ）入力が、ここでは、２０ｘ２５６データ行列の代わりに２０ｘ６４データ行列となる；及び（ii）最後のセグメントだけの出力が維持される（該最後の出力ベクトルは当該系列における全セグメントの合成結果（再帰的に達成された）であるからである）ことを除き、第１LSTM層と同一の機能を果たす。

第２の最後のLSTM層の後には密層（全結合層）が存在し、該密層の結合重みは最後のLSTM層の６４ベクトルの出力を画像信号（この例では、２５６ｘ２５６ｘ１）のように見えるように再形成することができることを保証する。この出力は、特徴構造マップの形状を有し、図４に示されるU-Netアーキテクチャの最後の畳み込み層に供給される（後述される）。

上記最後の畳み込み層は決定がなされる場所であり、該最後の畳み込み層に処理されたプローブ情報を投入することにより、該プローブ情報は当該ネットワークの意志決定処理に可能な限り直接的に影響を与えることができる。

図４は、１以上の超音波画像２１０及びCNN-LSTMアーキテクチャ３００の出力の両方を処理するための拡張されたU-Netアーキテクチャ４００を示す。医療画像セグメント化の分野で知られている標準的U-Netアーキテクチャは、典型的に、画像を取り込んで、同じ解像度のセグメント化された出力画像を生成する。

該U-Netアーキテクチャは、畳み込みニューラルネットワークの形態であり、当該処理の第１部分４１０において前述したＣＮＮモデルと非常に類似した態様で機能する。この第１部分は前記１以上の超音波画像を一連の畳み込み及びプーリング層を通過させる処理を含み、その場合において、入力データ行列は当該画像のピクセル値を有する。

該U-Netアーキテクチャは、更に、一連のアップサンプリング層４２０を有し、ここで、より早い層の出力（白いボックスとして示される）は後続の層に渡される前にアップサンプリングされた層と連結される。最後のアップサンプリング層の後であって最後の畳み込み層の前において、前記CNN-LSTMからの出力３４０は特徴構造マップとして再形成され、最後のアップサンプリング層の特徴構造マップと深さ的に連結される。U-Netアーキテクチャの詳細の一例が、以下に形状(256,251,1)の例示的入力画像を用いて表３に示され、ここで、conv2d_NはＮ番目の畳み込み層を表し、average_pooling2d_NはＮ番目のプーリング層を表す。更に、concatenate_Nは、より早い層の出力をアップサンプリングされた層と結合するＮ番目の連結層を表す。当該U-Netの最後の入力層は画像セグメント化又は分類を実行する前に、CNN-LSTM出力と組み合わされる。代わりに、該CNN-LSTM出力を当該ワークフローの一層早い段階で該U-Netネットワークに導入することもできる。原理的に、その出力が当該U-Netネットワークの早期のステージに接続されるような他のCNN-LSTM層を配置することもできる。

このように、プローブ操作から及びＵＳ画像から到来する情報の融合は種々の態様で、例えば上記例におけるように最後の層において又は一層早期の層において、組み合わせることができる。融合は、早い及び遅い両方の層において、早い及び遅い融合に特化した各副ネットワークを用いて行うこともできる。

表３に提示されたアーキテクチャは、勿論、完全さのために提示された例に過ぎず、限定しようとするものではない。

この場合、当該システムは３つの機能のうちの１つをU-Netアーキテクチャ４００の最終層４３０の出力に基づいて実行することができる、これらの機能は、標準的ビュー検出、画像セグメント化及び生体測定である。

標準的ビュー検出の場合、当該システムは臨床超音波画像において普通に収集される画像ビューを自動的に検出するために使用することができる。例えば、ＵＫにおける胎児異常スクリーニングプログラムは、１２の標準的ビューが保存されることを要求している。当該システムは、標準的スキャン面を前記１以上の超音波画像及びプローブ操作信号に基づいて当然検出することができる。標準的ビューは、典型的に、予め定められたプローブ操作のプロトコルを用いてプローブが超音波検査者により正しく配置された後或る期間にわたり静止状態に保持された場合の画像ビューに対応する。超音波検査者のプローブ操作信号は、何の画像が標準的又は良いビューであるかについての貴重な情報を提供する。

画像セグメント化の場合、検出された標準的又は必要とされる超音波ビューから、被検者の解剖学的構造のセグメント化を実行することができる。例えば、当該超音波システムが胎児をスキャンするために使用されている場合、頭部、手、腹部、脚部及び他の同様の臓器構造を識別し、そのように印すことができる。セグメント化は、当該画像を向上させ、当該胎児に一層容易に識別可能な見え方を付与するために該胎児に着色するために用いることができる。セグメント化は、更に、自動化された乳癌検出及び分類又は超音波神経セグメンテーションのために採用することもできる。

生体測定の場合、生体測定は、当該システムのセグメント化出力を用いて自動的に実行することができ、次いで異常を検出し及び、例えば、胎児の成長をモニタするために使用することができる。当該システムからの斯かる測定を上記セグメント化出力と一緒に生成するために当該ニューラルネットワークを訓練することも可能である。当該ネットワークアーキテクチャのセグメント化及び回帰（生体測定）のための合同訓練は、該ネットワークに互いに支え合うセグメント化及び回帰を生じさせる。

当該システムは、解剖学的構造（及び、利用可能なら、生体測定）により予め注釈付けされた超音波画像の集合により訓練することができる。

開示された実施態様の他の変形例は、当業者によれば請求項に記載された本発明を実施するに際して図面、本開示及び添付請求項の精査から理解し実施することができる。尚、請求項において、“有する”なる文言は他の要素又はステップを除外するものではなく、単数形は複数を除外するものではない。また、特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これら手段の組合せを有利に使用することができないということを示すものではない。また、請求項における如何なる符号も、当該範囲を限定するものと見なしてはならない。

Claims

１以上の超音波画像の特徴を識別するコンピュータ実施方法であって、各超音波画像は超音波撮像処理を用いて超音波プローブにより撮像された被検体のものであり、当該方法は、
前記超音波撮像処理の間における前記超音波プローブの操作を示す操作信号を取得するステップと、
前記操作信号の一部分を取得するステップであって、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分が１以上の超音波画像に関連付けられるステップと、
ニューラルネットワークシステムを用いて、前記１以上の関連付けられた超音波画像の特徴を前記１以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類するステップと、
を有し、
前記１以上の関連付けられた超音波画像の特徴を分類するステップが、１以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生するステップ、及び前記畳み込み出力を分類して前記取得された部分に関連付けられた前記１以上の超音波画像の特徴を示すステップを有する、
コンピュータ実施方法。
前記１以上の関連付けられた超音波画像の特徴を分類するステップは、
ａ）前記操作信号の前記取得された部分が、
高品質超音波画像；
前記被検体の予め定められたビューの超音波画像；及び
前記関連付けられた１以上の超音波画像における前記被検体の１以上の予め定められた関心領域の存在；
のうちの１つに関連付けられるかを分類するステップと、
ｂ）前記１以上の関連付けられた超音波画像の特徴を、前記取得された部分の分類を前記１以上の関連付けられた超音波画像の特徴として割り当てることにより識別するステップと、
を有する、請求項１に記載のコンピュータ実施方法。
前記１以上の関連付けられた超音波画像の特徴を分類するステップが、
前記操作信号を、各部分が同一の１以上の超音波画像に関連付けられた複数の部分に分割するステップと、
前記操作信号の取得された各部分に１以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生するステップと、
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類するステップと、
を有する、請求項１又は請求項２に記載のコンピュータ実施方法。
前記操作信号を取得するステップは、各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得するステップを有し、
前記操作信号の一部分を取得するステップは、各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得するステップであって、該複数の時間的に関連する部分が同一の１以上の超音波画像に関連付けられるステップを有し、
前記１以上の関連付けられた超音波画像の特徴を分類するステップが、前記複数の時間的に関連する部分を分類して前記１以上の関連付けられた超音波画像の特徴を示すステップを有する、
請求項１から３の何れか一項に記載のコンピュータ実施方法。
前記複数の時間的に関連する部分を分類するステップが、
前記複数の時間的に関連する部分を表す二次元データ構造を得るステップと、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生するステップと、
前記畳み込み出力を分類して、前記１以上の関連付けられた超音波画像の特徴を示すステップと、
を有する、請求項４に記載のコンピュータ実施方法。
前記操作信号の一部分を取得するステップは、前記操作信号の２以上の複数の時間的に関連する部分を取得するステップであって、該複数の各々が同一の１以上の超音波画像に関連付けられるステップを有し、
前記１以上の関連付けられた超音波画像の特徴を分類するステップが、
ａ）各データ構造が異なる複数の時間的に関連する部分を表す複数の二次元データ構造を得るステップと、
ｂ）各二次元データ構造に畳み込みカーネルを適用して、対応する複数の畳み込み出力を発生するステップと、
ｃ）長短期記憶を用いることにより前記複数の畳み込み出力を処理して、前記２以上の複数の時間的に関連する部分を分類し、これにより前記１以上の関連付けられた超音波画像の特徴を示すステップと、
を有する、請求項５に記載のコンピュータ実施方法。
前記操作信号が、
前記被検体に対する前記超音波プローブの位置、
前記被検体に対する前記超音波プローブの角度、
前記被検体に対する前記超音波プローブの向き、
前記被検体に対し前記超音波プローブにより印加される圧力、
前記被検体に対する前記超音波プローブの加速度、
前記超音波プローブの運動の方向、及び
前記超音波プローブの運動のパターン、
のうちの１以上を示す、請求項１から６の何れか一項に記載のコンピュータ実施方法。
前記超音波画像をセグメント化するステップを更に有する、請求項１から７の何れか一項に記載のコンピュータ実施方法。
選択された各超音波画像にセグメント化された各関心領域を重ねるステップを更に有する、請求項８に記載のコンピュータ実施方法。
コンピュータ上で実行された場合に請求項１から９の何れか一項に記載のコンピュータ実施方法を実施するためのコード手段を有する、コンピュータプログラム。
１以上の超音波画像の特徴を識別する超音波画像処理システムであって、前記超音波画像は超音波撮像処理を用いて超音波プローブにより撮像された被検体のものであり、当該超音波画像処理システムは、
前記超音波撮像処理の間における前記超音波プローブの操作を示す操作信号を取得し、
前記操作信号の一部分を取得し、ここで、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分は１以上の超音波画像に関連付けられ、且つ、
ニューラルネットワークシステムを用いて、前記１以上の関連付けられた超音波画像の特徴を前記１以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類し、
当該超音波画像処理システムが、前記１以上の関連付けられた超音波画像の特徴を、１以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生すると共に、前記畳み込み出力を分類して前記取得された部分に関連付けられた前記１以上の超音波画像の特徴を示すことにより分類する、
超音波画像処理システム。
当該超音波画像処理システムが、
前記操作信号を、各部分が同一の１以上の超音波画像に関連付けられた複数の部分に分割し、
前記操作信号の取得された各部分に１以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生し、
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類する、
ことにより前記１以上の関連付けられた超音波画像の特徴を分類する、
請求項１１に記載の超音波画像処理システム。
当該超音波画像処理システムが、更に、
各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得し、
各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得し、ここで、該複数の時間的に関連する部分は同一の１以上の超音波画像に関連付けられ、
前記複数の時間的に関連する部分を分類して前記１以上の関連付けられた超音波画像の特徴を示す、
請求項１１又は請求項１２に記載の超音波画像処理システム。
当該超音波画像処理システムが、
前記複数の時間的に関連する部分を表す二次元データ構造を取得し、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生し、
前記畳み込み出力を分類して、前記１以上の関連付けられた超音波画像の特徴を示す、
ことにより前記複数の時間的に関連する部分を分類する、
請求項１３に記載の超音波画像処理システム。
超音波撮像処理を用いて被検体を撮像し、これにより該被検体の１以上の超音波画像を発生する超音波プローブと、
前記超音波撮像処理の間における前記超音波プローブの操作を監視して、該操作を示す操作信号を発生するプローブ操作センサと、
請求項１１から１４の何れか一項に記載の超音波画像処理システムと、
を有する、超音波撮像システム。