JP6839328B2 - 胎児超音波画像処理 - Google Patents

Description

本発明は、胎児超音波画像の処理に関する。

臨床の場において、２Ｄ超音波（ＵＳ）は、妊娠中の生体測定、成長モニタリング及び解剖学的評価のための好適なスキャニングプロトコルである。再現性のある正確な値を得ることは、特に、異常を探索するために又は例えば頭部及び腹部の周囲長又は大腿骨の長さなどの生体測定を行うために使用される標準的な２Ｄ観察（ビューイング）プレーン（平面）の選択に関して、厳格なガイドラインに従うことを必要とする。この作業は、例えば、母親モルフォロジ、胎児の向きが未知であって非常に変わりやすいこと、及びよく知られたＵＳアーチファクト、特に、シャドーイング効果などの、多重的な要因のために非常に困難であり得る。

３Ｄ ＵＳは、上述の難しさの一部を克服する可能性を持った、より最近になっての撮像技術である。特に、単一の３Ｄボリュームの収集が、必要な観察プレーンを選択することを可能にする。さらに、臨床医はオフライン読み取りを行うことができ、必要な場合に、標準測定に先立って、抜出しプレーン（“臨床プレーン”と呼ばれる）の位置を調整することができる。

目標とする臨床プレーンの抜出しを可能にするために３Ｄ ＵＳボリュームを自動的に処理することが望ましい。しかしながら、この作業は、収集時の胎児の向きが非常に変わりやすいことに起因して難題である。２Ｄにおける自動観察プレーン抜出しのために、様々な戦略が提案されてきた。関心ビューは、２Ｄ ＵＳシーケンスから、各フレームのコンテンツを分類し、動径成分モデル又は予め訓練された再帰型ニューラルネットワークを用いて、各フレームが標準プレーンに相当するかを決定することによって、選択されることができる。

文献ＵＳ２０１０／０９９９８７Ａ１（特許文献１）は、３Ｄボリュームスキャンに含まれた胎児の脊椎を、胎児の胸部内の心臓の位置を高精度で認識するためのランドマークとして使用する、超音波画像収集及び診断表示技術を記載している。

別の２Ｄアプローチは、解剖学的コンテンツをラベル付けるために、複数の解像度及び向きで構築された幾何学的テンプレートをフィッティングすることからなる。

３Ｄの胎児ＵＳ画像から関心ある情報を抽出するための、より信頼できる自動化アプローチに対するニーズが残ったままである。

米国特許出願公開第２０１０／０９９９８７号明細書

本発明の一態様に従った例によれば、３Ｄ胎児超音波画像を処理するためのコンピュータ実装された方法が提供され、当該方法は、
３Ｄ胎児超音波画像を取得し、
画像内で脊椎を検出し、
画像内の脊椎の方向及び位置に基づいて第１の基準軸を決定し、
検出された脊椎に対する胎児胴体方向に基づいて、第１の基準軸に垂直な第２の基準軸を決定し、そして、
第１及び第２の基準軸を用いて３Ｄ胎児超音波画像を更新する、
ことを有する。

この方法は、胎児の異なる向きから生じる変動を除去する正規化された表現を提供するために、２つの基準軸を用いた３Ｄボリューム画像のアライメントを可能にする。第１の基準軸は脊椎に基づき、それは、脊椎の中央における脊椎の方向であってもよいし、又は、例えば、脊椎の特定された両端点を接続するベクトルの方向であってもよい。脊椎は、特に画像認識技術を用いるときに、超音波システムにとって容易に認識可能となる、胎児内のはっきりした特有の構造である。

第２の基準軸は、胎児の３Ｄ方向が特定されるよう、脊椎の周り（すなわち、第１の基準軸の周り）でのボリューム回転を可能にする。

更新された画像は、上記画像の回転バージョンであってもよいし、又は、基準軸を特定する追加のデータ注釈を有する上記画像であってもよい。

当該方法は、当該方法の一部として３Ｄ超音波画像が超音波スキャンによって得られるよう、リアルタイムに実行されてもよい。それに代えて、当該方法は、以前にキャプチャされた画像に適用されてもよい。

正規化されたボリューム方向を提供することにより、自動化された機械学習アプローチによる画像内のランドマーク箇所（例えば臓器など）の識別が可能になる。当該方法は、例えば、機械学習処理を提供するために訓練データベースのサンプルを処理するために使用されることができ、その後、機械学習されたアルゴリズムが、見たことがないキャプチャ画像（すなわち、訓練データベースを作成するために既に処理されたものに含まれないもの）を処理して自動識別を提供するために使用され得る。

本発明は、関心ある臨床プレーンの自動抜出しを行うために機械学習アプローチを適用することの前に適用されることができる画像フィルタリング又は正規化プロセスを提供すると見なされてもよい。

第２の基準軸の前記決定は、
各々が第１の基準軸に直交する又は脊椎に局所的に直交する一組のプレーン（平面）を抜き出すことと、
各プレーン内で胎児の楕円形又は円形の腹部又は胸部を検出することと、
脊椎と上記楕円形の中心との間の各プレーン内の方向ベクトルに基づいて、第２の基準軸を決定することと、
を有する。

脊椎は腹部／胸部の一端にあり、故に、脊椎と楕円（又は円）の中心との間のベクトルは回転方向を表す。斯くして、胎児の胴体／腹部形状に基づいて３Ｄボリューム画像の向きを正規化することが可能である。胴体／腹部は、胎児の最も大きい部分であるため、容易に測定可能であり、それによりアライメントの精度が高められる。

上記楕円形又は円形は、例えば、プレーン上でハンケル変換を実行することによって取得される。

第２の基準軸の生成は、
上記方向ベクトルを、脊椎の中央に位置する中心プレーン上に投影することと、
投影された方向ベクトルの平均をとることと、
投影された方向ベクトルの平均を用いて第２の基準軸を形成することと、
を有し得る。

投影された方向値の平均に基づいて横軸を生成することにより、異なる画像間で信頼性を持って一貫性ある第２の基準軸が得られる。

平均をとることは、脊椎の中央で脊椎の端部でよりも大きい重みを用いて、加重平均を計算することを有していてもよい。

当該方法は更に、
３Ｄ胎児超音波画像の頭部／つま先方向を決定し、そして、
頭部／つま先方向を用いて３Ｄ胎児超音波画像を更新する、
ことを有し得る。

これは、上下胎児位置に関して３Ｄ画像の向きを決定すること、すなわち、脊椎のどちらの端部が頭部であり、どちらの端部が臀部（そして、下方につま先までの脚部）であるかを決定することを伴う。これは、仰角方向であるとして見なされてもよい。ここでも、更新は、画像操作、又は上／下を指し示すインジケーションを用いた画像の注釈を有し得る。

当該方法は更に、
３Ｄ胎児超音波画像上で強度正規化を実行し、且つ／或いは
胎児妊娠期間に基づいて３Ｄ胎児超音波画像をスケーリングする、
ことを有し得る。

斯くして、妊娠期間に起因した３Ｄ胎児超音波画像間のスケールばらつきが低減され、且つ／或いは、変化する画像収集利得及び撮像条件に起因した強度ばらつきが低減され得る。このスケーリング及び強度正規化は、基準軸の決定及び向け直しの前又は後に行われ得る。

３Ｄ胎児超音波画像内での脊椎の検出は、例えば、
細長い明るい構造を検出するように適応された形態学的フィルタを用いて画像を分析することと、
ディープラーニングベースの脊椎骨検出器を用いて画像を分析することと、
形態学的フィルタからの応答及びディープラーニングベースの脊椎骨検出器からの応答に基づいて脊椎マスクを取得することと、
を有する。

脊椎マスクは好ましくはバイナリマスクである。

斯くして、脊椎の検出は、３Ｄ胎児超音波画像内の脊椎の位置をよりロバストに決定することができるよう、双方の方法の強みを活用する。

本発明はまた、３Ｄ胎児超音波画像に基づいて訓練データベースを生成し且つアルゴリズムを生成する方法を提供し、当該方法は、
３Ｄ胎児超音波画像の訓練セットを受信し、
訓練セットの各３Ｄ胎児超音波画像内のランドマークの識別を受信し、
上で規定した方法を用いて、訓練セットの各３Ｄ胎児超音波画像を処理し、
訓練セットの各３Ｄ胎児超音波画像を、それぞれの第１及び第２の基準軸並びに頭部／つま先方向を用いて方向付け、そして、
方向付けた訓練セットに対して機械学習を用いて、３Ｄ胎児超音波画像について、対応するランドマークの識別なしで、ランドマークの位置を決定することができるアルゴリズムを提供する、
ことを有する。

受信した訓練セットにおけるランドマーク識別は、例えば、臨床医によって手動で提供される。これらは、機械学習アルゴリズムが新たな画像内のランドマークを識別することができるための情報を提供する。ランドマークは、例えば、心臓、膀胱、腎臓、及び臍帯挿入などの臓器である。

訓練データベース生成において、当該方法は、胎児の頭部／つま先方向を、
第１及び第２の基準軸によって定められる関心プレーンを抜き出し、
抜き出した関心プレーンの、決められたパッチサイズの、パッチをランダムにサンプリングし、そして、
パッチに基づいて分類器を生成し、該分類器が、胎児の前記頭部／つま先方向を指し示す、
ことによって決定することを有し得る。

抜き出したプレーンのランダムにサンプリングされたパッチに基づいて３Ｄボリューム画像用の分類器を生成することにより、３Ｄボリューム画像の向きを、例えばバイナリインジケータとして、効率的に表現することが可能である。パッチサイズは、例えば、胎児妊娠期間及び３Ｄ胎児超音波画像の解像度に基づく。

本発明はまた、３Ｄ胎児超音波画像内でランドマークを識別する方法を提供し、当該方法は、
３Ｄ胎児超音波画像を受信し、
上で規定した方法を用いて３Ｄ胎児超音波画像を処理し、
第１及び第２の基準軸を用いて３Ｄ胎児超音波画像を方向付け、そして、
ランドマーク情報を有する訓練データベースから導出された機械学習アルゴリズムを用いて、方向付けた３Ｄ胎児超音波画像を分析し、それにより、３Ｄ胎児超音波画像について、対応するランドマーク情報を見付ける、
ことを有する。

当該方法は、試験データベースからの前もっての機械学習を用いたランドマークの識別を提供し、その結果、自動化された手法でランドマークを見付け得る。３Ｄ方向付け処理は、未知の胎児位置から生じる不確定性を除去又は低減する。

識別されたランドマークは、その後、関心ある２Ｄ画像プレーン、すなわち、関心ある臓器又は他のランドマークを通るプレーン又はそのような臓器又は他のランドマークの位置に対して規定されるプレーンの生成を制御するために使用され得る。

この方法で使用される訓練データベースは、上で規定した方法を用いて生成される。

本発明はまた、３Ｄ胎児超音波画像を処理することを制御するためのコンピュータプログラム及びコントローラを提供し、当該コントローラは、実行されるときに当該コントローラに上で規定した方法を実行させる命令を有する。

本発明はまた、超音波システムを提供し、当該超音波システムは、
トランスデューサ素子のアレイを有する超音波プローブであり、関心領域の３Ｄ胎児超音波画像を取得するように適応された超音波プローブと、
上で規定したコントローラと、
位置合わせされた３Ｄ胎児超音波画像を表示する表示装置と、
を有し、
上記コントローラは、訓練データベースから導出された機械学習アルゴリズムを使用して、更新された３Ｄ胎児超音波画像を分析し、それにより、３Ｄ胎児超音波画像内のランドマーク位置を導出するように適応される。

以下、添付の図面を参照して、本発明の例を詳細に説明する。
胎児を表現したものを、本発明にて提案されるように胎児に割り当てられるｘｙｚ基準軸とともに示している。 ランダムな向きの脊椎と、規定された垂直方向への回転バージョンとを示している。 脊椎を、脊椎に沿って間隔を置かれた４つのｘｙ画像化プレーンとともに示している。 複数の脊椎プレーンに沿って見つけられる円又は楕円のセットとそれらの中心点とを示している。 概略的なボリューム内のｘｚ平面を示している。 胎児の向きが反対であるｘｚ平面内の２つの画像を示している。 スケーリング関数をグラフで示している。 強度正規化ルックアップテーブルの例示である。 識別された脊椎の向きを示す線とランドマークの位置としての点とで、３Ｄ ＵＳ腹部収集の大きなセットを示している。 向け直し及びスケーリングの後の３Ｄ ＵＳ腹部収集を示している。 本発明に従った方法を示している。 例示的な超音波診断撮像システムを示している。

本発明は、３Ｄ胎児超音波画像を処理するためのコンピュータ実装された方法を提供する。３Ｄ胎児超音波画像が取得され（収集されるかメモリから受信されるかのいずれか）、該画像内で脊椎が検出される。これは、第１の基準軸が画成されることを可能にする。第１の基準軸に対して垂直に第２の基準軸が画成され、第１及び第２の基準軸並びに上／下（仰角）方向検出を用いて３Ｄ胎児超音波画像が更新される（例えば、３Ｄ空間内で回転される）。これは、画像の向きの正規化を提供し、その結果、機械学習アプローチが、新たな画像内で、より良好にランドマークを識別することができる。

図１は、頭部１０及び脊椎１２を有する胎児を表現したものを示している。胎児は、軸ｘ，ｙ，ｚによって規定されるとともに脊椎の中心に原点を持つ３Ｄ空間内に位置している。

３Ｄ超音波スキャンから２Ｄ超音波画像プレーンを選択するとき、プレーンは、関心あるランドマークを通るように選択される。それらのランドマークは、典型的に、例えば胃１４、心臓１６、又は臍帯挿入１８などの臓器又は他の解剖学的フィーチャである。

この発明は、更なる画像分析の前に画像が３Ｄ空間内で一貫したやり方で位置合わせされるアライメント手順に関する。更なる画像分析は、所望の画像化プレーンが自動的に生成されるようにランドマークを見つけるためのものであってもよいし、又は、訓練データベースに取り込むためのものであってもよい。

従って、本発明の方法は、個々の画像分析及び／又は訓練データベースに取り込むための画像分析に使用され得る。

この方法の第１のステップは、脊椎を検出し、第１の基準（方向）軸を導出することである。

脊椎は、細長い明るい構造を検出する形態学的フィルタとディープラーニング（ＤＬ）ベースの脊椎骨検出器とを、双方の強みを活用するための組み合わせることによって、３Ｄ超音波画像内で自動的に検出され得る。

形態学的フィルタは、所与の球面近傍内のＵＳボリュームの各ボクセルｘに対して、方向ｕに沿ったボクセルの強度をその他のボクセルの強度と比較するために使用され得る。フィルタ応答が、様々な近傍半径及び方向ｕに対して計算され、大域（グローバル）応答を得るために結合される。隣接する複数のボクセルの大域応答が集約されて、最良のフィルタ応答に対応する接続成分が画成される。

これら応答の一部は、このアプローチを用いて脊椎上に正確に位置決めされるが、例えば、肋骨、又は例えば長骨などの他の細長構造の上に位置し得る外れ値であるそれ以外のものも存在し得る。

ディープラーニングベースの脊椎骨検出器は、その入力が、元の特定されたｚ軸に対して直交して抜き出される２Ｄスライスからなる２Ｄ完全畳込みネットワークである。ボリュームをスライスすることは、ディープラーニング法に適したものである類似の特徴を持つ大量のデータを生成する。ネットワーク出力は、脊椎が位置しているかもしれないところで１に近い値を持つダウンサンプリングされた確率マップである。３Ｄディープラーニングベースの脊椎骨検出器は、１つのボリュームに関して取得された全ての２Ｄ確率マップを積み重ねることによって形成される。この出力ヒートマップは、形態学的フィルタ出力よりも粗いが、よりロバストに脊椎骨の周りに置かれる。

ディープラーニングによる脊椎骨検出器と形態学的フィルタ応答とを組み合わせることにより、ネットワーク出力がリファインされ、脊椎の外側にあるフィルタ応答が退けられ、その結果、ロバストな脊椎バイナリマスクが最終的に得られる。

これは、脊椎位置を特定するための一手法であり、特有の脊椎形状を検出することには他の好適な画像処理技術が使用されてもよい。

図２は、左側にランダムな向きの脊椎１２を示している。脊椎検出は、基本的に、脊椎を識別し、そして、脊椎バイナリマスクの質量中心を用いて基準座標系の原点Ｏを規定することを伴う。検出された脊椎が大きく湾曲している場合、その質量中心がバイナリマスクに属さないことがある。これは、脊椎のいわゆる重心が、脊椎の外部にあり、それ故にマスクと位置が揃わないことがあり得るからである。この場合、質量中心に最も近いバイナリマスク点が使用される。次いで、脊椎バイナリマスクの先端２０を用いて、縦ｚ軸が規定される。それに代えて、脊椎の中心点に対して接線方向の通常方向が使用されてもよい。得られるｚ軸を図１に示す。

ｚ軸を規定することにより、例えば、図２の右側部分に示すように、規定された（例えば、縦）方向にｚ軸を位置付けるように画像を回転することによって、ｚ軸情報を含むように画像を更新することができる。

この方法の第２のステップは、第２の直交する基準（方向）軸を検出することである。これは、腹部を検出して横軸を規定することに基づく。

各々が第１の基準軸ｚに直交する（又は脊椎に対して局所的に直交する）一組のプレーンが探索される。方向軸の探索は、各々がローカル原点を通る一組のｘｙ平面内で行われ、それらローカル原点は、脊椎に沿って等間隔に配置された点とされる。

図３は、脊椎１２を、脊椎に沿って間隔を置かれた４つのｘｙ画像化プレーンとともに示している。それらの画像が右側に示されている。

これらの２Ｄ画像の各々内で、例えば、円形又は楕円形の検出に合わせて調整されたハフ変換の変形を用いて、腹部検出が行われる。実際問題として、望まれる境界プロファイルを有するディスクをモデリングする半径方向に対称なカーネルとの、画像の最良のコンボリューションが、ある範囲の半径の中で探索される。

結果として見つかった円が各画像内に示されている。

図４は、複数の脊椎プレーンに沿って見つけられる円又は楕円４０のセットとそれらの中心点４２とを示している。凸包（convex hull）腹部が画成される。

各プレーンに対して、該プレーンとの脊椎の交わりから、検出された円の中心に進むベクトルの計算が行われる。これらのベクトル矢印が図３に示され、１つのそのようなベクトル４４が図４に示されている。

腹部検出は、故に、各プレーン内で胎児の楕円形又は円形の腹部又は胸部を検出し、そして、そのプレーン内の胎児の回転方向に関係する各プレーン内のベクトルを特定することを伴う。

次いで、これらのベクトルの全てが中心原点Ｏを通る横断面上に投影される。そして、ｘ軸基準方向が、この基準ｘｙ平面における平均投影ベクトルとして規定される。得られたｘ軸が図１に示されており、これが第２の基準軸を規定する。これらの２つの軸から、第３の座標軸ｙが、右手座標系で直交するように選択され得る。

この平均ベクトルは、脊椎の中央で脊椎の端部でよりも大きい重みを用いた加重平均を有してもよい。

従って、２つの基準軸を測定し、次いで決定論的方法で３つめを規定することによって、３Ｄ空間における正規化方向が定められ得る。

次に、ボリュームの頭部−つま先方向を特定し、ｚ軸の２つの考え得る方向の間で選択することが望ましい。

これは、ｘｚ平面内のボリュームの２Ｄスライスにおいてこれら２つの構成を区別するように分類器を訓練することによって達成され得る。

図５は、概略的なボリューム５２内の、原点Ｏを通るｘｚ平面５０を示している。この平面は背骨に沿って通っている。

図６は、胎児の向きが反対であるｘｚ平面内の２つの画像を示している。画像認識アプローチを使用して、試験セットからの前もっての機械学習に基づいて、方向を特定することができる。この目的のために、畳み込みニューラルネットワークが使用され得る。

この（画像認識のためのリファレンスを提供するための）機械学習ステップにおいて、脊椎検出ステップの間に起こり得る不正確さに対してロバストであるために、訓練中にネットワークに破損データが供給されるよう、ｘｚスライス抜出しの間にランダムノイズが付加されてもよい。次いで、分類器を訓練するためにスライス内でランダムなパッチが選択される。パッチサイズは、全ての構造が正規化されたサイズを有するように妊娠期間及び画像解像度に基づいて選定され得る。出力は、胎児の頭部が画像の頂部にあるときにバイナリ１であり、それが底部にあるときにバイナリ０である。

単一の画像を分析するときに使用される方向の最終的な検出は、ランダムノイズ付加なしで、同様のプロセスで実行される。

上で説明した方法ステップは、胎児画像が３Ｄ空間における既知の方向にマッピングされることを可能にする。

様々である妊娠期間（ＧＡ）に起因してスケールがばらつき得ることを抑制するために、例えば方向マッピングの前に、既存の成長表に基づいて、全てのボリュームにスケーリング係数が適用されてもよい。

例えば、以下の表は、異なる妊娠期間（“ＧＡ”）範囲（週単位）に対するスケーリング係数を示している：
ＧＡ＿０＿２０ ２．４３
ＧＡ＿２０＿２５ １．３０
ＧＡ＿２５＿３０ １．００
ＧＡ＿３０＿３５ ０．８３
ＧＡ＿３５＿４２ ０．７０。

図７は、このスケーリング関数をグラフで示している。ｙ軸はスケーリング比（ｒａｔｉｏ）をプロットしており、ｘ軸は妊娠期間範囲をプロットしている。点は、異なる解剖学的特徴（Ｈ心臓、Ｓ胃、Ｂ膀胱、ＵＶ臍帯静脈、Ｋ１腎臓１、Ｋ２腎臓２、ＵＩ臍帯挿入）について、原点までの距離を示している。

各ボリュームについて、例えば心臓（Ｈ）といった臓器と（上で規定したような）原点Ｏとの間の距離が測定される。試験結果がＧＡ範囲に従って図示の５つのグループに分けられる。各グループ内で、各器官についての平均距離が計算される。
ＧＡ＿２５＿３０グループが基準として用いられており（従って、ＧＡ＿２５＿３０グループについて全ての臓器の、１なる比の値を持つプロットとの完全なアライメント）、各グループにおける各平均距離が、グループＧＡ＿２５＿３０で得られた値で除算される。結果が、グラフ中に点としてプロットされている。連続したカーブは、上の表に提示される理論比を表している。測定値と理論比との間の不一致は、使用したサンプルセットに由来し、特に、各ＧＡ範囲内でのサンプルの広がりに由来する。

この方法はまた、強度正規化を提供し得る。変化する収集利得及び撮像条件に起因して、様々な臓器の相対強度が有意に変化し得る。強度正規化は、機械学習アプローチにおける特徴抽出を支援するために望ましい。１つのアプローチは、共通の正規化ルックアップテーブルを用いて、平均及び標準偏差を使用することである。

図８は、超音波収集の強度正規化を実行するためのデータベースルックアップテーブルの例示である。ｘ軸は、ピクセル強度値の平均強度μ_ｉ及び標準偏差σ_ｉを持つ特定の画像の強度範囲を示している。データベースは、各画像が基準標準偏差σ及び基準平均μを有するように変換されるように強度マッピングを提供する。基準強度特性がｙ軸によって示されている。

従って、３Ｄ画像ボリュームは、関連する胎児ランドマークが共通の基準に対して完全にアライメントされるように、回転され、平行移動され、強度スケーリングされ、及びサイズスケーリングされる。

上の方法は、（既に上述したように）単一のキャプチャされた３Ｄ超音波画像を処理するために又は訓練データベースを作成するために使用され得る。以下、この方法のこれら２つの用途について説明する。

図９は、３Ｄ ＵＳ腹部収集の大きなセットを示している。線は、識別された脊椎の向きを示している。各画像が、例えば心臓及び胃などのランドマークの位置を特定するように臨床医によって注釈付けられ、それらが点として示される。これらのランドマーク注釈付き画像は、機械学習を実行する訓練データベースを作成するために使用される。

図９は、胎児の位置及び向きの大きなばらつきを示しており、このようなデータベース上での学習が、実際の解剖学的なばらつきに焦点を当てることの代わりに、空間的な位置付けに起因するばらつきを含むことになることを確認するものである。

上で説明した３Ｄ方向付け（及びスケーリング）プロセスは、図１０に示される画像を生じさせる。心臓の位置は概しておおよそ領域８０内にあり、胃の位置は概しておおよそ領域８２内にある。

これらのアライメントされた画像が代わりに学習ベースのアプローチに使用され、そして、それが、よりロバストな胎児ランドマーク位置の検出を可能にする。

訓練データベースは、ランドマーク（例えば、臓器）位置を学習するために、注釈付き画像に基づく機械学習を使用する。機械学習は、ランダムフォレストアルゴリズム（例えば、Ｃｒｉｍｉｎｉｓｉ，Ａ．，Ｊ．，Ｓ．，Ｋｏｎｕｋｏｇｌｕ，Ｅ．：Ｄｅｃｉｓｉｏｎ ｆｏｒｅｓｔｓ：Ａ ｕｎｉｆｉｅｄ ｆｏｒｍａｔｉｏｎ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ， ｒｅｇｒｅｓｓｉｏｎ， ｄｅｎｓｉｔｙ ｅｓｔａｇｎｍｅｎｔ， ｍａｎｉｆｏｌｄ ｌｅａｒｎｉｎｇ ａｎｄ ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ，Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｖｉｓｉｏｎ （２０１２））に基づき得る。Ｃｕｉｎｇｎｅｔ，Ｒ．，Ｐｒｅｖｏｓｔ，Ｒ．，Ｌｅｓａｇｅ，Ｄ．，Ｃｏｈｅｎ，Ｌ．Ｄ．，Ｍｏｒｙ，Ｂ．，Ａｒｄｏｎ，Ｒ．：Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｋｉｄｎｅｙｓ ｉｎ ３Ｄ ＣＴ Ｉｍａｇｅｓ ｕｓｉｎｇ Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ． Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＭＩＣＣＡＩ’１２． ｖｏｌ．７５１２，ｐｐ．６６-７４（２０１２）に開示されるようなアプローチが使用され得る。

原理は、ボリューム内の所与の点について、ターゲットランドマークに対する相対的な向きを学習することである。以下の説明では、そのような相対的な向きを、投票ベクトルとして参照する。

ランダムフォレストアルゴリズムを訓練するためには、多数のパラメータの値を設定する必要がある。最も影響力のあるものは、ツリーの数ＮＴ、ツリーの深さＤＴ、画像当たりのトレーニングポイントＮＰの数、及びノードにおける投票ベクトルの分散についての閾値αである。このアルゴリズムは、画像ベースの特徴（ｆ）にも依存する。それらの特徴は、ほとんどが、例えば、局所的に正規化された勾配及び勾配までの距離など、局所的な勾配から導出される。

全てのノードに対して分割基準が規定される。これは、双方のサブセットのエントロピーの合計が最小になるようなトレーニングポイントの２つのサブセットを見つけることを狙いとする。分割基準は、各ノードでランダムな特徴の大きなセットを試験することによって得られる。このセット内で、最適なサブセット分離を提供する特徴が、対応する分割閾値（θ）と共に選択され、そして、そのノードに格納される。各ランドマークへの投票ベクトルの分散としてエントロピー基準が規定される。

全てのリーフに対して複数の停止基準が規定される：（ｉ）ツリーの所与の深さＤＴに達したとき、（ｉｉ）サブセット内の分散が所与の閾値αを下回ったとき、（ｉｉｉ）サブセットが小さすぎたとき。投票ベクトルの平均が各リーフに格納される。これが、このリーフに分類された各点の投票ベクトルとなる。

これは、識別された構造に対して位置を持つランドマークの識別のためのデータベースを訓練するために、機械学習がどのように使用され得るかの単なる１つの一般的説明に過ぎない。当然ながら、他のパターン認識アプローチが使用されてもよい。

トレーニングデータベースの目的は、注釈なしの３Ｄ画像ボリューム内のランドマークの自動識別を可能にすることである。

この目的のため、スキャンされた画像は、上で説明したのと同じ方向、スケーリング、及び強度正規化にかけられる。

実際のランドマーク位置特定プロセスは、腹部凸包の内側にあるボリューム領域に制限される。所与の入力ボリュームに対して、以下のステップが実行される：
Ｐランダム試験ポイントが選択される；
試験ポイントが、それらがリーフに達するまで、（ｆ，θ）分割及び特徴基準を用いてツリー中を伝播される；
各ポイントが投票ベクトルを提供する；及び
全ての投票ベクトルがランドマーク予測へと変換される。

単一の予測を提供するために、全ての予測がガウス推定を通して結合されて、全ての予測のセットが単一の抽出された予測へと変換される。

ランドマークが識別されると、それらが臨床プレーンの自動抜出しに使用される。各臨床プレーンが、３つのランドマークによって規定され得る。

図１１は、本発明に従った方法を示している。

右側は、訓練データベースを生成する方法を示している。それは、以下を有する。

ステップ１１０にて、Ｎ個の３Ｄ胎児超音波画像の訓練セットを受け取る。これらは、臨床医からの注釈を含む。従って、ステップ１１２にて、訓練セットの各３Ｄ胎児超音波画像内のランドマークの識別が受け取られる。

ステップ１１４にて、訓練セットの各３Ｄ胎児超音波画像が、少なくとも３Ｄ再方向付けを提供するために、上述の方法を用いて処理される。

これは、ステップ１１４ａにて、画像内の脊椎を検出することと、ステップ１１４ｂにて、画像内の脊椎（１２）の方向及び位置に基づいて第１の基準軸（ｚ）を決定することとを伴い得る。ステップ１１４ｃにて、検出された脊椎に対する胎児胴体方向に基づいて、第１の基準軸（ｚ）に対して垂直に、第２の基準軸（ｘ）が決定される。

好ましくは、正規化ステップ１１５にて、強度正規化及びスケーリングも実行される。この処理は、それぞれの第１及び第２の基準軸を用いて、訓練セットの各３Ｄ胎児超音波画像の方向付けをもたらす。

ステップ１１６にて、方向付けられた訓練セットに機械学習が適用されることで、３Ｄ胎児超音波画像についてランドマークの位置を、対応するランドマークの識別なしで決定することができるアルゴリズムが提供される。

上で説明したように、訓練データベースを生成するとき、胎児の頭部／つま先の方向を決定するために、ある特定の方法が使用される（ステップ１１４の間）。特にはｘｚ平面である第１及び第２の基準軸によって画成される関心プレーンが抜き出され、決められたパッチサイズのパッチがランダムにサンプリングされる。そして、分類器はこれらのパッチに基づいており、分類器が胎児の頭部／つま先方向を指し示す。

図１１の左側は、新たな（訓練データベースに含まれていないことを意味する）３Ｄ胎児超音波画像内でランドマークを識別する方法を示している。

この方法は、ステップ１１８にて、３Ｄ胎児超音波画像を受け取ることを有する。これは、リアルタイムにおいてとし得るが、この方法は保管された画像にも等しく適用され得る。

ステップ１２０にて、３Ｄ胎児超音波画像が向け直され、次いで好ましくは、ステップ１２１にて、上述の方法を用いて、スケール変更され且つ強度正規化される。ここでも、脊椎を検出するステップ１２０ａと、第１の基準軸（ｚ）を決定するステップ１２０ｂと、第２の基準軸（ｘ）を決定するステップ１２０ｃとが存在する。３Ｄ胎児超音波画像は、上述の方法によって生成された第１及び第２の基準軸を用いて向け直される。

ステップ１２２にて、向け直された３Ｄ胎児超音波画像が、ランドマーク情報を有する訓練データベースから導出された（ステップ１１６からの）機械学習アルゴリズムを用いて分析され、それにより、３Ｄ胎児超音波画像について、対応するランドマーク情報が位置特定される。

オプションで、ステップ１２４にて、ランドマーク位置が出力される。

ステップ１２６にて、ランドマーク位置を用いて、３Ｄ超音波ボリュームから生成されるべき画像スライスが自動的に規定される。

本発明は、診断撮像システムを用いて３Ｄ胎児超音波画像を処理するために使用される。

完全さを期すため、図１２を参照して、そして、本発明はトランスデューサアレイによって測定された信号の処理に関するのでシステムの信号処理機能に重点を置いて、例示的な超音波診断撮像システムの全般的動作を説明することとする。

このシステムは、超音波を送信してエコー情報を受信するＣＭＵＴトランスデューサアレイ２００を有したアレイトランスデューサプローブ２１０を有している。トランスデューサアレイ２００は、それに代えて、例えばＰＺＴ又はＰＶＤＦなどの材料で形成された圧電トランスデューサを有していてもよい。トランスデューサアレイ２００は、３Ｄ撮像のために３次元でスキャンすることが可能なトランスデューサ２０１の２次元アレイである。

トランスデューサアレイ２００は、ＣＭＵＴアレイセル又は圧電素子による信号の受信を制御するプローブ内のマイクロビームフォーマ２１２に結合されている。マイクロビームフォーマは、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄ他）、米国特許第６，０１３，０３２号（Ｓａｖｏｒｄ）、及び米国特許第６，６２３，４３２号（Ｐｏｗｅｒｓ他）に記載されているように、トランスデューサのサブアレイ（又は“グループ”若しくは“パッチ”）によって受信される信号の少なくとも部分的なビームフォーミングが可能である。

なお、マイクロビームフォーマは完全にオプションである。以下の例は、アナログビームフォーミングを想定していない。

マイクロビームフォーマ２１２は、プローブケーブルによって送信／受信（Ｔ／Ｒ）スイッチ２１６に結合され、Ｔ／Ｒスイッチ２１６は、送信と受信との間で切り換わるとともに、マイクロビームフォーマが使用されずに、トランスデューサアレイがメインシステムビームフォーマによって直接的に動作されるとき、メインビームフォーマ２２０を高エネルギー送信信号から保護する。トランスデューサアレイ２１０からの超音波ビームの送信は、Ｔ／Ｒスイッチ２１６によってマイクロビームフォーマに結合されるトランスデューサコントローラ２１８と、ユーザインタフェース又は制御パネル２３８のユーザ操作からの入力を受信するものであるメイン送信ビームフォーマ（図示せず）とによって指示される。

トランスデューサコントローラ２１８によって制御される機能の１つは、ビームがステアリング及びフォーカシングされる方向である。ビームは、トランスデューサアレイから（直角に）まっすぐ前方に、又はより広い視野に対して複数の異なる角度で、ステアリングされ得る。トランスデューサコントローラ２１８は、ＣＭＵＴアレイのためのＤＣバイアス制御部２４５を制御するように結合されることができる。ＤＣバイアス制御部２４５は、ＣＭＵＴセルに印加される（１つ以上の）ＤＣバイアス電圧を設定する。

受信チャネルにおいて、部分的にビームフォーミングされた信号が、マイクロビームフォーマ２１２によって生成されて、メイン受信ビームフォーマ２２０に結合され、そこで、トランスデューサの個々のパッチからの部分的にビームフォーミングされた信号が、完全にビームフォーミングされた信号へと結合される。例えば、メインビームフォーマ２２０は、１２８チャンネルを有することができ、その各々が、数十個又は数百個のＣＭＵＴトランスデューサセル又は圧電素子のパッチから部分的にビームフォーミングされた信号を受信する。斯くして、トランスデューサアレイの何千個ものトランスデューサによって受信された信号が、単一のビームフォーミングされた信号に効率的に寄与することができる。

ビームフォーミングされた受信信号は信号プロセッサ２２２に結合される。信号プロセッサ２２２は、受信したエコー信号を、例えば帯域通過フィルタリング、デシメーション、Ｉ及びＱ成分分離、並びに高調波信号分離などの様々な手法で処理することができる。高調波信号分離は、組織及びマイクロバブルから返された非線形（基本周波数の高調波）エコー信号の識別を可能にするように、線形信号と非線形信号とを分離するように作用する。信号プロセッサはまた、例えばスペックル抑制、信号合成、及びノイズ除去などの更なる信号エンハンスメントを実行し得る。信号プロセッサ内の帯域通過フィルタは、トラッキングフィルタとすることができ、その通過帯域が、ますます増す深さからエコー信号が受信されるにつれて、より高い周波数帯域からより低い周波数帯域へとスライドし、それにより、より大きい深さ（そこでは、高めの周波数は解剖学的情報を持たない）からの高めの周波数のノイズを退ける。

送信用及び受信用のビームフォーマは、異なるハードウェアで実装され、異なる機能を持つことができる。当然ながら、受信器ビームフォーマは、送信ビームフォーマの特性を考慮に入れて設計される。図１２では、単純化のために、受信器ビームフォーマ２１２、２２０のみが示されている。完全なるシステムでは、送信マイクロビームフォーマ及びメイン送信ビームフォーマを有する送信チェーンも存在することになる。

マイクロビームフォーマ２１２の機能は、アナログ信号経路の数を減少させるために、信号の初期結合を提供することである。これは典型的に、アナログドメインで実行される。

最終的なビームフォーミングは、メインビームフォーマ２２０にて行われ、典型的にデジタル化の後である。

送信及び受信チャネルは、固定された周波数帯域を持つ同じトランスデューサアレイ２１０を使用する。しかしながら、送信パルスが占める帯域幅は、使用されている送信ビームフォーミングに依存して変わり得る。受信チャネルは、トランスデューサ帯域幅全体をキャプチャすることができ（これは、古典的なアプローチである）、あるいは、帯域通過処理を用いることによって、有用な情報（例えば、主調波の高調波）を含む帯域幅のみを抽出することができる。

処理された信号が、Ｂモード（すなわち、輝度モード、又は２Ｄ撮像モード）プロセッサ２２６及びドップラープロセッサ２２８に結合される。Ｂモードプロセッサ２２６は、例えば体内の臓器及び血管の組織などの体内の構造の画像化のために、受信した超音波信号の振幅の検出を使用する。体の構造のＢモード画像は、高調波画像モード若しくは基本画像モードのいずれか、又は米国特許第６，２８３，９１９号（Ｒｏｕｎｄｈｉｌｌ他）及び米国特許第６，４５８，０８３号（Ｊａｇｏ他）に記載されているように双方の組み合わせで形成され得る。ドップラープロセッサ２２８は、例えば画像フィールド内の血液細胞の流れなどの物質の動きの検出のために、組織運動及び血流からの時間的に異なる信号を処理する。ドップラープロセッサ２２８は典型的に、体内の選択されたタイプの物質から返されるエコーを通過させる及び／又は退けるように設定され得るパラメータを有するウォールフィルタを含む。

Ｂモードプロセッサ及びドップラープロセッサによって生成された構造信号及び運動信号が、スキャンコンバータ２３２及びマルチプレーナ（多断面）リフォーマッタ２４４に結合される。スキャンコンバータ２３２は、受信された空間的関係にあるエコー信号を所望の画像フォーマットにて配置する。例えば、スキャンコンバータは、エコー信号を、２次元（２Ｄ）セクター形状フォーマット又はピラミッド状３次元（３Ｄ）画像へと配置し得る。スキャンコンバータは、Ｂモード構造画像に、ドップラー推定速度を有する画像フィールド内の点における動きに対応する色を重ねて、画像フィールド内の組織及び血流の動きを描写するカラードップラー画像を生成することができる。マルチプレーナリフォーマッタは、米国特許第６，４４３，８９６（Ｄｅｔｍｅｒ）に記載されているように、体のボリューム領域内の共通の平面内の点から受信されたエコーを、その平面の超音波画像へと変換する。ボリュームレンダラ２４２が、米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ他）に記載されているように、３Ｄデータセットのエコー信号を、所与の基準点から見た投影３Ｄ画像へと変換する。

スキャンコンバータ２３２、マルチプレーナリフォーマッタ２４４、及びボリュームレンダラ２４２から、２Ｄ又は３Ｄ画像が、画像ディスプレイ２４０上での表示のための更なるエンハンスメント、バッファリング、及び一時記憶のために、画像プロセッサ２３０に結合される。画像化のために使用されることに加えて、ドップラープロセッサ２２８によって生成される血流値及びＢモードプロセッサ２２６によって生成される組織構造情報は、定量化プロセッサ２３４に結合される。定量化プロセッサは、例えば血流の体積速度などの様々な流れ状態の度合いと、例えば臓器の大きさ及び在胎期間など構造的測定値とを生成する。定量化プロセッサは、画像の解剖学的構造内の測定を行うべき点などの入力をユーザ制御パネル２３８から受け取り得る。定量化プロセッサからの出力データが、ディスプレイ２４０上の画像での測定グラフィックス及び値の再現のために、及び表示装置２４０からのオーディオ出力のために、グラフィックスプロセッサ２３６に結合される。グラフィックスプロセッサ２３６はまた、超音波画像と共に表示するためのグラフィックオーバーレイを生成することができる。これらのグラフィックオーバーレイは、例えば患者名、画像の日付及び時刻、撮像パラメータ、及びこれらに類するものなどの、標準的な識別情報を含むことができる。これらの目的のために、グラフィックスプロセッサは、例えば患者名などの入力をユーザインタフェース２３８から受け取る。ユーザインタフェースはまた、トランスデューサアレイ２１０からの超音波信号の生成、ひいては、トランスデューサアレイ及び超音波システムによって生成される画像の生成を制御するために、送信コントローラ２１８に結合される。コントローラ２１８の送信制御機能は、実行される機能のうちの１つにすぎない。コントローラ２１８はまた、動作モード（ユーザによって与えられる）と、それに対応する必要な送信器設定及び受信器アナログ−デジタル変換器における帯域通過設定とを考慮する。コントローラ２１８は、複数の一定の状態を有する状態マシンとすることができる。

ユーザインタフェースはまた、マルチプレーナリフォーマット（multi-planar reformatted；ＭＰＲ）画像の画像フィールド内で定量化測定を実行するために使用され得る複数のＭＰＲ画像の平面の選択及び制御のために、マルチプレーナリフォーマッタ２４４に結合される。

上述の画像処理機能は、例えば、画像プロセッサ２３０によって実行され得る。

開示の実施形態への他の変形が、図面、本開示及び添付の請求項の検討から、特許請求される発明を実施する際に当業者によって理解されて実現され得る。請求項において、用語“有する”はその他の要素又はステップを排除するものではなく、不定冠詞“ａ”又は“ａｎ”は複数を排除するものではない。特定の複数の手段が相互に異なる従属項に記載されているという単なる事実は、それらの手段の組合せが有利に使用され得ないということを指し示すものではない。請求項中の如何なる参照符号も、範囲を限定するものとして解されるべきでない。

Claims (15)

1. ３Ｄ胎児超音波画像を処理するためのコンピュータ実装された方法であって、当該方法は、
   ３Ｄ胎児超音波画像を取得し、
   前記画像内で脊椎を検出し、
   前記画像内の前記脊椎の方向及び位置に基づいて第１の基準軸を決定し、
   検出された前記脊椎に対する胎児胴体方向に基づいて、前記第１の基準軸に垂直な第２の基準軸を決定し、そして、
   前記第１及び第２の基準軸を用いて前記３Ｄ胎児超音波画像を更新する、
   ことを有し、
   前記第２の基準軸の前記決定は、
   各々が前記第１の基準軸に直交する又は前記脊椎に局所的に直交する一組のプレーンを抜き出すことと、
   各プレーン内で胎児の楕円形又は円形の腹部又は胸部を検出することと、
   前記脊椎と前記楕円形の中心との間の各プレーン内の方向ベクトルに基づいて、前記第２の基準軸を決定することと、
   を有する、
   方法。
2. 前記楕円形は、前記プレーン上でハンケル変換を実行することによって取得される、請求項１に記載の方法。
3. 前記第２の基準軸の生成は、
   前記方向ベクトルを、前記脊椎の中央に位置する中心プレーン上に投影することと、
   投影された前記方向ベクトルの平均をとることと、
   投影された前記方向ベクトルの前記平均を用いて前記第２の基準軸を形成することと、
   を有する、請求項１又は２に記載の方法。
4. 前記平均をとることは、前記脊椎の中央で前記脊椎の端部でよりも大きい重みを用いて、加重平均を計算することを有する、請求項３に記載の方法。
5. 当該方法は更に、
   前記３Ｄ胎児超音波画像の頭部／つま先方向を決定し、そして、
   前記頭部／つま先方向を用いて前記３Ｄ胎児超音波画像を更新する、
   ことを有する、請求項１乃至４のいずれか一項に記載の方法。
6. 当該方法は更に、
   前記３Ｄ胎児超音波画像上で強度正規化を実行し、且つ／或いは
   胎児妊娠期間に基づいて前記３Ｄ胎児超音波画像をスケーリングする、
   ことを有する、請求項１乃至５のいずれか一項に記載の方法。
7. 前記３Ｄ胎児超音波画像内での前記脊椎の前記検出は、
   細長い明るい構造を検出するように適応された形態学的フィルタを用いて画像を分析することと、
   ディープラーニングベースの脊椎骨検出器を用いて画像を分析することと、
   前記形態学的フィルタからの応答及び前記ディープラーニングベースの脊椎骨検出器からの応答に基づいて脊椎マスクを取得することと、
   を有する、請求項１乃至６のいずれか一項に記載の方法。
8. ３Ｄ胎児超音波画像内でランドマークを識別する方法であって、
   ３Ｄ胎児超音波画像を受信し、
   請求項１乃至７のいずれか一項に記載の方法を用いて前記３Ｄ胎児超音波画像を処理し、
   前記第１及び第２の基準軸を用いて前記３Ｄ胎児超音波画像を方向付け、そして、
   ランドマーク情報を有する訓練データベースから導出された機械学習アルゴリズムを用いて、前記方向付けた３Ｄ胎児超音波画像を分析し、それにより、前記３Ｄ胎児超音波画像について、対応するランドマーク情報を見付ける、
   ことを有する方法。
9. ３Ｄ胎児超音波画像に基づいて訓練データベースを生成し且つアルゴリズムを生成する方法であって、
   ３Ｄ胎児超音波画像の訓練セットを受信し、
   前記訓練セットの各３Ｄ胎児超音波画像内のランドマークの識別を受信し、
   請求項１乃至８のいずれか一項に記載の方法を用いて、前記訓練セットの各３Ｄ胎児超音波画像を処理し、
   訓練セットの各３Ｄ胎児超音波画像を、それぞれの前記第１及び第２の基準軸並びに頭部／つま先方向を用いて方向付け、そして、
   前記方向付けた訓練セットに対して機械学習を用いて、３Ｄ胎児超音波画像について、対応するランドマークの識別なしで、ランドマークの位置を決定することができるアルゴリズムを提供する、
   ことを有する方法。
10. 各３Ｄ胎児超音波画像の前記処理中に、胎児の頭部／つま先方向を、
    前記第１及び第２の基準軸によって定められる関心プレーンを抜き出し、
    前記抜き出した関心プレーンの、決められたパッチサイズの、パッチをランダムにサンプリングし、そして、
    前記パッチに基づいて分類器を生成し、該分類器が、胎児の前記頭部／つま先方向を指し示す、
    ことによって決定する、ことを有する請求項９に記載の方法。
11. 前記パッチサイズは、胎児妊娠期間及び前記３Ｄ胎児超音波画像の解像度に基づく、請求項１０に記載の方法。
12. 前記機械学習アルゴリズムは、請求項９、１０又は１１に記載の方法を使用して生成される、請求項８に記載の方法。
13. コンピュータプログラムコードを有するコンピュータプログラムであって、前記コンピュータプログラムコードは、当該コンピュータプログラムがコンピュータ上で実行されるときに、請求項１乃至８のいずれか一項に記載の方法を実行するように適応されている、コンピュータプログラム。
14. ３Ｄ胎児超音波画像を処理することを制御するコントローラであって、当該コントローラは、実行されるときに当該コントローラに請求項１乃至８のいずれか一項に記載の方法を実行させる命令を有する、コントローラ。
15. トランスデューサ素子のアレイを有する超音波プローブであり、関心領域の３Ｄ胎児超音波画像を取得するように適応された超音波プローブと、
    請求項１４に記載のコントローラと、
    位置合わせされた前記３Ｄ胎児超音波画像を表示する表示装置と、
    を有し、
    前記コントローラは、訓練データベースから導出された機械学習アルゴリズムを使用して、更新された３Ｄ胎児超音波画像を分析し、それにより、前記３Ｄ胎児超音波画像内のランドマーク位置を導出するように適応されている、
    超音波システム。

Images