JP2023524543A - 超音波データのセグメンテーション - Google Patents

Abstract

超音波データ内のターゲット解剖学的構造をセグメント化する方法である。スキャン変換された超音波データは、デカルト座標系のスキャン変換された空間内で得られる。スキャン変換された超音波データは、トロイダル座標系のデスキャンされた空間内のデスキャンされた超音波データに変換される。デスキャンされた超音波データは、元の取得手順で得られた超音波データの推定値である。これにより、ターゲット解剖学的構造のセグメンテーションを、デスキャンされた空間の超音波データに対して実行できる。結果として得られるセグメンテーションデータを再スキャンしてデカルト座標系に戻して、超音波データとともに表示する。

Description

本発明は、超音波イメージングを向上させる方法に関する。特に、超音波データの解剖学的構造セグメンテーションに関する。

画像セグメンテーションは、デジタル画像又はボリュームを、各々が画像又はボリュームの一領域をカバーする複数のセグメント（例えばピクセル／ボクセルのグループ）に分割するデジタル画像処理で使用される。通常、様々なセグメントは、そのセグメント化された領域に含まれるピクセル／ボクセルの類似した共有グラフィック特性（例えば色、強度、又はテクスチャ）に基づいて識別及び区別される。

医用イメージングの分野では、セグメンテーションは、臓器、空気通路及び流体通路（例えば血管又は消化管）、弁、又は空洞などの様々な解剖学的構造又は特徴を識別するのに役立つ。結果として得られるセグメントの輪郭によって、臨床医による医用画像又はボリュームのより迅速な評価が可能になる（より速い診断又は治療の決定を可能にする）。セグメンテーションはまた、後続の処理手法に入れ込む場合にも役立つ。

医用イメージングの重要な分野の１つは、超音波イメージングである。超音波イメージングは、身体の広範囲の領域の評価及び診断において重要な役割を果たす。診断、治療、及び計画立案は、多くの場合、超音波画像内の関連する解剖学的部位又は特徴を明確に描出することに基づいており、セグメンテーションはこの描出プロセスを自動化するために使用され得る。

３Ｄ超音波ボリュームからの臓器の自動セグメンテーション及び定量化は、活発な研究分野であるが、まだ臨床ルーチンに到達していない。分類手法やランドマークベースのアプローチの使用など、いくつかの方法が提案されている。しかし、これらの方法は正確でないことが多く、通常はセグメンテーションリークを含む。

３Ｄ超音波アレイからの３Ｄ臓器の自動セグメンテーションには、画像取得に関連する主な問題がある。取得したボリュームは長方形ボリュームで保存されるが、いわゆるコーン形状内のみに情報を含む。これにより、ターゲット解剖学的構造の非効率的な表現がもたらされる。

より正確に言えば、超音波データの取得方法には次の欠点がある。これらの欠点は、自動セグメンテーションアルゴリズムのトレーニングに影響を及ぼす。特に深層学習が必要な場合に影響を及ぼす。
（ｉ）コーン形状外のデータも保存する必要があることによる、メモリの非効率的な使用。セグメンテーションに現在のＡＩ手法を使用する場合、メモリ空間は成功の鍵となる要素である。いくつかの取得した超音波ボリュームでは、最大６０％のボクセルが黒であり、情報を表さない（これらはコーン形状のビーム範囲外にある）。
（ｉｉ）取得コーンの境界線の位置に起因する学習バイアスがある。
（ｉｉｉ）データ拡大には複雑な変換が必要である。データ拡大は、高いパフォーマンスを得るために、深層学習に不可欠な要素である。実際、深層学習では、新しい画像への適用を可能にし、過剰適合を回避するために、大規模で豊富なトレーニングデータセットが必要である。大きなデータセットがない場合は、トレーニングデータセットに幾何学的／グレースケール変換を適用して、より多くのトレーニング画像を生成するという手法が確立されている。コーン形状を含む画像の現実的な側面を維持しつつ、画像の他の場所にある臓器の可能な存在を模倣するには、複雑な変換をデカルトドメインに慎重に適用する必要がある。従来の画像処理アプローチでは、マスクを使用してコーン外の情報を無視できるが、深層学習を伴う新しいセグメンテーションの手法の使用では実行できない。

したがって、これらの取得の欠点を克服するための方法が、超音波イメージングにおいて自動セグメンテーションアルゴリズムをトレーニングするという最終目的とともに必要である。

ＣＮ１０７９０９５８５では、血管内超音波画像の血管内膜のセグメンテーション方法が開示されている。

Ｌｏ Ｖｅｒｃｉｏ，Ｌｕｃａｓ他の「Ａｓｓｅｓｓｍｅｎｔ ｏｆ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｏｒ ｖｅｓｓｅｌ ｗａｌｌ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ｉｎｔｒａｖａｓｃｕｌａｒ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅｓ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｒａｄｉｏｌｏｇｙ ａｎｄ Ｓｕｒｇｅｒｙ、第１１巻、第８号、１３９７～１４０７頁（ＸＰ０３６０１３９８９）では、血管内超音波画像から血管壁をセグメント化する方法が開示されている。

Ｎｉｃｏｌａｓ Ｔｏｕｓｓａｉｎｔ他の「Ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｌｏｃａｌｉｚａｔｉｏｎ ｆｏｒ ｆｅｔａｌ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅｓ」（Ａｒｘｉｖ．ｏｒｇ， Ｃｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ Ｌｉｂｒａｒｙ（ＸＰ０８０９０１１７１）では、２Ｄ超音波画像内の胎児の解剖学的領域を検出及び位置特定する方法が開示されている。

本発明は、特許請求の範囲によって規定される。

本発明の一態様による例によれば、３Ｄ超音波ボリューム内のターゲット解剖学的構造をセグメント化する方法が提供される。この方法は、
デカルト座標系のスキャン変換された空間内のスキャン変換された超音波ボリュームを得るステップと、
スキャン変換された超音波ボリュームを、トロイダル座標系のデスキャンされた空間内のデスキャンされた超音波ボリュームに変換するステップであって、デスキャンされた超音波ボリュームは、元の取得手順によって得られた超音波ボリュームの推定値を含む、変換するステップと、
デスキャンされた空間における超音波ボリュームにターゲット解剖学的構造のセグメンテーションを実行して、セグメンテーションデータを生成するステップとを含む。

超音波ボリュームは、通常、有意情報のない「空」のデータを含む。超音波ボリュームの生成に使用される超音波画像は、フェーズドアレイ又は曲面アレイを用いて得られる場合、通常、コーン形状として表されるが、長方形（又は正方形）の画面に表示される。したがって、ピクセル（又は３Ｄボリュームのボクセル）の大部分は空であり、有意情報は含まれていない。

デスキャンされた空間は、スキャン変換された超音波ボリュームを当初の座標系で保存するために必要なデータサイズを表す。例えばデカルト座標では、画像のデータはマトリックスで保存され、各マトリックス要素はＲＧＢでのピクセルの色を表す。しかし、スキャン変換された超音波画像の場合、超音波ボリュームの取得に起因して有意データは円錐形であるため、（スキャン変換された超音波画像について）マトリックスで保存されているデータのある割合は空データである。

超音波ボリュームは、空データとともにデカルト座標空間のスキャン変換された空間（例えば超音波ボリュームのコーンを含む立方体）で得られる。これは、画像が実際にどのように見られるかを表すのでデカルト座標系で得られる。したがって、臨床医にとってより直感的になる。

しかし、空データがあることに起因して、セグメンテーションアルゴリズムは、トレーニング中に、ターゲット解剖学的構造をセグメント化するのではなく、コーンの形状及び空データを持つ領域により多くの重みを与えることがある。したがって、スキャン変換された超音波ボリュームは「デスキャン」される。これは、スキャン変換された超音波ボリュームに逆スキャン変換を実行することに関連する。これは、スキャン変換された超音波ボリュームを、超音波ボリュームがどのように取得されたのかを表すトロイダル座標系（したがって、デスキャンされた座標系と見なされる）に変換することによって行われる。スキャン変換された超音波ボリュームを、どのようにそれが捕捉されたのかを表す座標系に変換することによって、空データの割合を大幅に削減できる。

その後、セグメンテーションアルゴリズムをトレーニングして、取得空間におけるよりもよい正確さと精度で、デスキャンされた空間のデスキャンされた超音波ボリュームに適用できる。

セグメンテーション方法は、例えば畳み込みニューラルネットワークに基づいている。デスキャン変換方法は、メモリを効率的に使用することで、畳み込みニューラルネットワークベースのセグメンテーション方法を向上させる。

上記方法は、セグメンテーションが実行された後、デスキャンされた空間内のデスキャンされた超音波ボリュームを、スキャン変換された空間に変換して戻すステップをさらに含み得る。

デスキャンされた超音波ボリュームがターゲット解剖学的構造（例えば腎臓、胎児）についてセグメント化されると、（デスキャンされた空間内の）セグメンテーションデータは、当初の画像に重ねて表示できるようにデカルト座標系に変換して戻すことができる。したがって、セグメンテーションの変換は、正しいデカルト幾何学的構成でのセグメント化された部分の視覚化を提供する。このようにすると、臨床医は、ワーピングのない超音波ボリュームを解析でき、さらに、データは（例えばセグメント化されたターゲット幾何学的構造の面積／ボリュームを計算するために）セグメント化されているという利点がある。

上記方法は、
スキャン変換された空間におけるスキャン変換された超音波ボリューム、
デスキャンされた空間におけるデスキャンされた超音波ボリューム、
デスキャンされた空間におけるセグメント化された超音波ボリューム、又は
スキャン変換された空間におけるセグメント化された超音波ボリュームのうちの１つ以上を表示するステップをさらに含み得る。

上記方法は、ターゲット解剖学的構造のセグメンテーションに基づいて、ターゲット解剖学的構造のボリュームを決定するステップをさらに含み得る。

デスキャンされた座標系は、トロイダル座標系である。

トロイダル座標系は、超音波ボリュームの取得を最もよく表すため、使用される。例えばフェーズドアレイ及び曲面アレイでは、３Ｄボリュームが捕捉される際に、超音波プローブがロータの中心（つまり、超音波プローブを回転させるモータ）を中心に回転する。したがって、トロイダル座標系では空データの割合が低くなる。

上記方法は、スキャン変換された超音波ボリュームをデスキャンされた超音波ボリュームに変換するための変換を導出するために、超音波ボリュームの取得幾何学的構成を推定するステップをさらに含み得、取得幾何学的構成を推定するステップは、
取得の光学的中心を推定すること、
取得の機械的中心を推定すること、
取得の最小深度を推定すること、
取得の最大深度を推定すること、
画角を推定すること、及び
取得スイープ角度を推定することのうちの１つ以上を含む。

一般的なイメージング取得では、スキャン変換された超音波ボリュームのイメージングラインはスキャン変換された超音波ボリュームとともに保存されない可能性がある。そのため、変換を実行するために必要な取得幾何学的構成がないことから、デスキャンを直接実行することは可能ではない場合がある。この場合、スキャン変換された超音波ボリュームをデスキャンされた空間に変換する前に、スキャン変換された超音波ボリュームから取得幾何学的構成を推定する必要がある。

光学的中心と機械的中心が別々である場合は、トロイダル変換がもたらされる。

この推定値は、デカルト座標系でのスキャン変換された超音波ボリュームの画像解析によって得られ得る。

本発明はまた、コンピュータプログラムコード手段を含むコンピュータプログラム製品も提供する。これは処理システムを有するコンピューティングデバイス上で実行されると、処理システムに上記方法のすべてのステップを実行させる。

本発明はまた、デスキャンされた音波ボリューム内のターゲット解剖学的構造をセグメント化するシステムを提供する。このシステムは、
デカルト座標系のスキャン変換された空間内のスキャン変換された超音波ボリュームを受信することと、
スキャン変換された超音波ボリュームを、トロイダル座標系のデスキャンされた空間内のデスキャンされた超音波ボリュームに変換することであって、デスキャンされた超音波ボリュームは、元の取得手順によって得られた超音波ボリュームの推定値を含む、変換することと、
デスキャンされた空間における超音波ボリュームにターゲット解剖学的構造のセグメンテーションを実行して、セグメンテーションデータを生成することとを実行するように構成されているプロセッサを含む。

上記プロセッサは、セグメンテーションが実行された後、（デスキャンされた空間内の）セグメンテーションデータを、スキャン変換された空間に変換して戻すようにさらに構成され得る。

上記システムは、
スキャン変換された空間における超音波ボリューム、
デスキャンされた空間における超音波ボリューム、
デスキャンされた空間におけるセグメント化された超音波ボリューム、又は
スキャン変換された空間におけるセグメント化された超音波ボリュームのうちの１つ以上を表示するステップをさらに含み得る。

上記プロセッサは、ターゲット解剖学的構造のセグメンテーションに基づいて、ターゲット解剖学的構造のボリュームを決定するようにさらに構成され得る。

デスキャンされた座標系は、トロイダル座標系である。

プロセッサは、スキャン変換された超音波ボリュームをデスキャンされた超音波ボリュームに変換するための変換を導出するために、超音波ボリュームの取得幾何学的構成を推定することによって、超音波ボリュームをトロイダル座標系内のデスキャンされた空間に変換するように構成され得、また、プロセッサは、
取得の光学的中心を推定すること、
取得の機械的中心を推定すること、
取得の最小深度を推定すること、
取得の最大深度を推定すること、
画角を推定すること、及び
取得スイープ角度を推定することのうちの１つ以上に基づいて、取得幾何学的構成を推定するように構成されている。

本発明のこれらの及び他の態様は、以下に説明される実施形態から明らかになり、また、当該実施形態を参照して説明される。

本発明をさらに深く理解し、それがどのように実行されるかをより明確に示すために、ほんの一例として添付の図面を参照する。

図１は、長方形のスキャン変換された空間内の超音波画像を示す。 図２は、ボリュメトリック腎臓取得の大規模データベースにおける有意データの割合のヒストグラムを示す。 図３は、セグメンテーションを実行する方法のフロー図を示す。 図４は、極座標に変換された超音波ボリュームを示す。 図５は、スキャン変換された空間内の超音波ボリュームを示す。 図６は、デカルト座標系及びトロイダル座標系のトロイドを示す。 図７は、球座標での超音波ボリュームを示す。 図８は、デスキャンされた座標系及び取得座標系での臓器セグメンテーションを示す。 図９は、トロイダル座標系及び取得座標系での臓器セグメンテーションの結果を示す。

本発明は、図を参照して説明される。

詳細な説明及び具体的な例は、装置、システム、及び方法の模範的な実施形態を示しているが、説明のみを目的としたものであり、発明の範囲を限定することを意図したものではないことが理解されるべきである。本発明の装置、システム、及び方法のこれらの及び他の特徴、態様並びに利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からよりよく理解されるようになるであろう。図は単なる概略図であり、縮尺どおりに描かれていないことが理解されるべきである。また、図全体で同じ参照番号を使用して、同じ部分又は類似の部品を示すことが理解されるべきである。

本発明は、超音波データ内のターゲット解剖学的構造をセグメント化する方法を提供する。スキャン変換された超音波データは、デカルト座標系のスキャン変換された空間内で得られる。スキャン変換された超音波データは、トロイダル座標系のデスキャンされた空間内のデスキャンされた超音波データに変換される。デスキャンされた超音波データは、元の取得手順で得られた超音波データの推定値である。これにより、ターゲット解剖学的構造のセグメンテーションを、デスキャンされた空間の超音波データに対して実行できる。結果として得られるセグメンテーションデータを再スキャンしてデカルト座標系に戻して、超音波データとともに表示する。

図１は、長方形のスキャン変換された空間内のスキャン変換された超音波データ１０２を示している。スキャンラインは通常、超音波データ１０２がどのように取得されたかに基づいて（取得手順に基づいて）生データから可視超音波データ１０２（例えば画像又はボリューム）を作成するために使用される。これにより、データは距離及び角度が測定可能な真のデカルトドメインで視覚化される。このため、超音波プローブによって捕捉された生データは、スキャンラインを用いてデカルト座標にスキャン変換されて、超音波データの「実際の」ビューが提供される。さらに、スキャン変換された超音波データ１０２は通常、スキャン変換された空間（デカルト座標）に保存され、取得後に実行される解析又はデータ処理は通常、スキャン変換された空間で実行する必要がある。

デカルト座標でのスキャン変換された超音波データ１０２には、通常、「空」の（又は意味のない）データ１０６で囲まれたコーン形状の有意データ１０４が含まれている。スキャン変換された超音波データ１０２の大部分が有意データ１０４を含まないが、デカルト座標での画像データ保存（通常は画像のビットマップ）の性質上、すべてのスキャン変換された空間を保存する必要がある。

３Ｄスキャン変換された超音波ボリュームは通常、臨床情報には必要ないが、スキャン変換された超音波ボリュームをデカルト座標で保存するためには必要である空データ１０６（黒いボクセル）を相当な割合で含む。

図２は、ボリュメトリック腎臓取得の大規模データベースにおける有意データ１０４の割合のヒストグラムを示している。ボリュメトリック腎臓取得の大規模データベースには、６２１個のボリュームが含まれていた。全デカルトボリュームに対するイメージングコーン内のボリューム（有意データ１０４）の比率がボリュメトリック腎臓取得毎に計算された（パーセンテージ％単位）。

Ｘ軸はスキャン変換された空間に保存されたデータ全体に対する有意データ１０４の比率（パーセンテージ％単位、０．４％目盛り）を示す。Ｙ軸は各比率範囲のケース数を示す。

このように、比率の範囲は３５．６～４４．８％であり、有意データ１０４の平均比率は約３８％である。したがって、ボリュメトリック腎臓取得における空データ１０６（デカルト座標でのデータの保存のためにのみ必要）の割合は約６２％である。

つまり、（ボリュメトリック腎臓取得のために）保存されているすべてのデータの平均６２％が本質的に無駄な保存空間である。データ圧縮を使用すると、データ保存をより効率的にするが、深層学習アルゴリズムで使用する場合は、ボクセルにメモリ保存が必要になる。さらに、このデータを用いてトレーニングされた機械学習アルゴリズム（例えばセグメンテーションアルゴリズム）では、変換された超音波データ１０２における空データ１０６の割合が高いため、空データ１０６には不当に高い重要度が設定される。

図３は、３Ｄ超音波ボリュームにセグメンテーションを実行する方法のフロー図を示す。３Ｄ超音波ボリュームが得られる（ステップ３０２）と、取得幾何学的構成が、不明である場合には推定される（ステップ３０４）。取得幾何学的構成には、超音波データのスキャンラインの推定や、取得プロセスの光学的中心及び機械的中心の検出が含まれ得る。

取得幾何学的構成の推定（ステップ３０４）は、超音波データがどのように取得されたかの推定に基づいている。例えば被検者の皮膚の周囲を回転させたフェーズドアレイ超音波プローブを用いて超音波ボリュームを取得した場合、当該超音波ボリュームは、（超音波トランスデューサアレイに対して）最小深度及び最大深度と、光学的中心（超音波トランスデューサが存在する場所）、機械的中心（超音波プローブのロータが存在する場合）、画角（超音波プローブで得られた超音波画像の角度に基づいている）、及びスイープ角度（超音波プローブのロータによる皮膚の周囲での超音波プローブの回転に基づいている）を有する。これらの取得幾何学的構成の数量は超音波ボリュームから推定できる。取得幾何学的構成を用いて、ボリュームを「デスキャン」することができる（ステップ３０６）。

デスキャン（ｄｅ－ｓｃａｎｎｉｎｇ）とは、できるだけ多くの空データを排除するために、スキャン変換プロセスを「元に戻す」プロセスのことである。これは、取得プロセスをシミュレートする座標系を選択することによって行われる。トロイダル座標系は、２つの中心（超音波イメージングにおける取得の光学中心及び機械的中心に相当する）を必要とするため、良好な近似値である。

ボリュームがデスキャンされると、ターゲット解剖学的構造をセグメント化するために、セグメンテーションアルゴリズムがボリュームに適用される（ステップ３０８）。セグメンテーションプロセスのためにトロイダル座標系で作業することは、他の座標系よりも強力で、自動セグメンテーションのより優れたパフォーマンスを提供する。ターゲット解剖学的構造には、臓器、血管、心室、骨、筋肉などのうちの１つ以上が含まれる。

セグメンテーションアルゴリズムも、デスキャンされたボリュームでトレーニングされている。その後、セグメンテーションデータはデカルト座標系に戻され（再スキャン）（ステップ３１０）、これにより（例えばディスプレイで）ボリュームを見ることが医師にとってより直感的になる。例えば元のボリュームが、再スキャンされたセグメンテーションデータとともに示される。任意選択で、元のボリュームの画像データを、セグメンテーションデータとともに再スキャンすることもできるが（デスキャン及び再スキャンなしで）元の画像データを使用することが好ましい。

図４は、一般的なステップを説明する目的で、スキャン変換された超音波画像１０２ａをどのようにデスキャンするかの例を示している。この例では、デスキャンステップを示しつつ、例を簡素化するために、超音波ボリュームではなく２Ｄ超音波画像を使用する。

図４ａ）は、デカルト座標でのスキャン変換された超音波画像１０２ａを示している。空データ１０６は、有意画像１０４ａをビットマップなどの長方形の形式で保存するために必要である。デスキャンプロセスがどのように機能するのかの説明の助けとなるように、ターゲット解剖学的構造４０２が示されている。

図４ｂ）は、イメージングライン４０４が補間されているスキャン変換された超音波画像１０２ａを示している。イメージングライン４０４は、スキャン変換された超音波画像１０２ａとともに保存されてもよい。しかし、ほとんどの場合、保存されたスキャン変換された超音波データ１０２には、イメージングライン４０４のデータは含まれない。この場合、スキャン変換された超音波画像１０２ａからイメージングライン４０４を推定できる。スキャン変換された超音波画像１０２ａのサイドエッジから、２本のイメージングライン４０４を推定できる。これらのイメージングライン４０４から、光学的中心４０６を推定し、さらなるイメージングライン４０４を構築できる。また、イメージングライン４０４から、エッジで決定された２つの最も遠いイメージングライン４０４間の角度として画角を推定できる。

図４ｃ）は、極座標でのデスキャンされた超音波画像４０８を示している（ここでも例として単純化された２Ｄ画像が使用されているため）。したがって、動径成分は、図４ｂ）で見つけられた光学的中心４０６からの各データポイントの距離に基づいている。各データポイントの角度成分はまた、データポイントを含むイメージングラインと、デカルト座標でのスキャン変換された超音波画像１０２ａのエッジイメージングラインとの間の角度を測定することによって見つけられる。このように、デスキャンされた超音波画像４０８には空データ１０６はないが、長方形の形式（例えばＲＧＢマトリックスビットマップ）で保存することができる。さらに、ターゲット解剖学的構造４０２は、（スキャン変換された超音波画像１０２ａと比較して）全体データの割合が高くなる。

使用されたデスキャンされた座標系は、代わりにトロイダル座標系である。図５は、デカルト座標系及びトロイダル座標系でのトロイド５０２の一部を示している。この変換は、一種のデスキャン変換を実行することから、取得プロセスから発想を得たものであり、これは、セグメンテーションアルゴリズムの専用の前処理ステップと見なされる場合がある。同様のボリュームを生成し得る超音波ラインを模倣するために、取得幾何学的構成パラメータを使用して、スキャン変換された超音波データ１０２にカエサルからトロイダルへの変換を適用する。トロイダル座標系を使用して、有意の３Ｄ超音波データ１０４ｂを表すことができる。

３Ｄ超音波ボリュームは通常、多くの２Ｄ超音波画像から決定される。２Ｄ超音波画像（少なくとも２つ）について、光学的中心４０６を取得できる。光学的中心は、円のセクションを作成し、円の中心は機械的中心５０４である。

機械的中心５０４及び光学的中心４０６が得られると、それらの間の距離を計算できる（－Ｒ_０）。したがって、カエサル座標（ｘ，ｙ，ｚ）をトロイダル座標（ｒ，φ，θ）に変換できる：

式（１）及び（２）を使用して、ボリュームをカエサル座標からトロイダル座標に変換できる。取得ボリュームでは、ポイントは（ｘ，ｙ，ｚ）の名前が付けられる。変換されたドメイン内でのポイント（ｒ，φ，θ）における対応する強度を見つけるために、上記式は（ｘ，ｙ，ｚ）の関数として（ｒ，φ，θ）を計算する（ここで（ｒ，φ，θ）∈［Ｒ，Θ，Φ］）。

［Ｒ，Θ，Φ］は、デスキャンのために選択されるパラメータの値の範囲である。これは、セグメンテーショントレーニング及びテストアルゴリズムへの入力として計算される、デスキャンされたボリュームのサイズを定義する。

これらのパラメータの真の値は、プレスキャン変換データが保存されていないため、通常は分っていない。したがって、これらの値を自由に設定できる。これは学習アプローチにおいて利点である。例えばラフで高速なアルゴリズムの場合、（６４，６４，６４）などの小さな値を選択できる。実際には、深層学習アルゴリズムをメモリ内でトレーニングできるように、より大きな値の範囲を選択することが好ましい。（１２８，１２８，６４）など、これらのパラメータに同じではない値を定義することもできる。これは元の取得されたボリュームの比例距離を反映してもよい。

したがって、これらのパラメータを複数選択して、デスキャンを適用できる。つまり、所与の臓器のネットワークを学習するときに、コンピュータ上の使用可能なメモリにこの方法をスケーリングできる。このステップの終わりに、次元の３Ｄデータセット（Ｒ，Θ，Φ）が得られ、各ボクセルは重要な情報を伝える。

ｒの最小値及び最大値は取得の最小深さ及び最大深さからそれぞれ計算でき、θの値は画角から計算でき、φの値はスイープ角度から計算できる。

デスキャンされた超音波データ４０８がデスキャンされた空間でセグメント化されると、式（３）及び（４）を使用して、デカルト座標でのスキャン変換された空間に戻すことができる。

図６は、スキャン変換された空間におけるスキャン変換された超音波ボリューム１０２ｂを示している。白いコーンは有意データ１０４ｂを表し、点線の空間は有意情報をコード化しないゼロ値１０６を表す。スキャン変換された空間の外側にある大きな点線の円は、機械的中心５０４を表し、小さい黒い円はＡ面の光学的中心４０６を表す。

有意データ１０４ｂを使用して、取得幾何学的構成のパラメータが推定される。これらは、Ａ面イメージングビームの中心（光学的中心４０６）、イメージングの最小及び最大深度、Ａ面における画角、他の平面をイメージングするためのスイープの中心（機械的中心５０４）、及び対応するスイープ角度を表す。

図７は、球座標での超音波ボリューム１０４ｂを示す。球座標系は、光学的中心４０６と機械的中心５０４とが同じ場所にある（又は同じ場所にあるものとして近似される）トロイダル座標系の極端なケースである。この場合、超音波ボリューム１０４ｂは、空データを必要とせずに球座標系で完全に定義できる。しかし、球座標系の使用は、光学的中心４０６と機械的中心５０４とが同じ場所にある（場合によっては非現実的な）前提であるため、トロイダル座標系の使用ほど正確ではない。したがって、トロイダル座標系を使用することで、光学的中心及び機械的中心が異なるスキャンされたデータが可能になり、様々な初期スキャン条件に対して効果的な操作を行うことができる。

図８は、デスキャンされた座標系及び取得座標系での臓器セグメンテーション８０６を示している。左側の画像８０２は、デカルト座標での腎臓セグメンテーションを有する超音波ボリュームからの超音波画像を示している。右側の画像８０４は、超音波ボリュームがトロイダル座標系に変換された後で、対応するデスキャンされたセグメンテーションを有する超音波ボリュームからのデスキャンされた超音波画像を示している。右側の画像８０４では、水平軸がトロイダル座標系の半径ｒを表し、垂直軸がポロイダル角度θを表す。デスキャンされたセグメンテーションは、グランドトゥルースセグメンテーションのために生成され、ネットワークトレーニングに使用され得る。

セグメンテーションアルゴリズムのトレーニングには大量のデータが必要である。データ拡大は、初期の少量のデータから大量のデータを作成するために使用される方法である。例えば幾何学的変換（例えば回転及び平行移動）及びカラー変換（例えばグレースケール変換）を１つの超音波画像／ボリュームに使用して、複数のトレーニング画像を作成できる。

トロイダル座標系でのデスキャンされた超音波データにより、トレーニング用の大規模なデータベースを作成するために、より直感的でエラーの発生しにくい幾何学的変換が可能になる。

さらに、セグメンテーションアルゴリズムをトレーニングする際に、可能であればデータバイアス（例えばデータの形状）を回避する必要がある。スキャン変換された超音波データでは、有意データを含むコーン形状がセグメンテーションアルゴリズムのデータバイアスのソースである。セグメンテーションアルゴリズムは、空（無意味の）データも用いてトレーニングされる。これにより、セグメンテーションアルゴリズムは、将来のセグメンテーションにおいてデータの特定のセクションを無視したり、空データの特定のパターンを検索したりすることができる。

（例えばトロイダル座標系での）デスキャンされた超音波ボリュームは、空データを保存する必要なく完全に記述できる。したがって、空データによるデータバイアスは取り除かれる。

このアルゴリズムは、Ｕ－Ｎｅｔセグメンテーションなどの任意のタイプの標準的な深層学習アプローチであり得る。セグメンテーションの出力では、セグメント化された超音波データは、デカルト座標系に変換して戻すことができる。例えば、トロイダル座標系から画像デカルト座標系にセグメンテーションマスクを変換して戻すために、逆変換において取得幾何学的構成が再び使用される。

図９は、トロイダル座標系９０４及びデカルト座標系９０２での臓器セグメンテーション９０８の結果を示す。同様に、座標変換なしでセグメント化された画像９０２を左側に示し、デスキャンドメインへの座標変換を用いてセグメント化された画像９０４を右側に示している。デスキャンされた超音波画像９０４を使用すると、より正確な結果が得られる。近似グランドトゥルース９０６を黒い円で示し、セグメンテーションアルゴリズムの結果９０８を白い外周で示している。縞模様の矢印９１０は、スキャン変換された超音波画像９０２におけるデスキャン変換を行わなかった結果におけるセグメンテーションリークを示している。デスキャン変換された画像内に対応する矢印９１２が示され、デスキャンされた超音波画像９０４でセグメンテーションリークが大幅に減少していることを示している。

この方法は、胎児の腹部及び成人の腎臓のセグメンテーションの分野にも適用され、功を奏している。この方法で得られた結果は、トロイダルドメインへの変換を使用しないアプローチを大幅にしのぐパフォーマンスを示している。次の表は結果を示し、従来のセグメンテーション（デスキャンを使用しない）に対する大幅な改善を示している。

前述のように、システムはプロセッサを使用してデータ処理を行う。プロセッサは、ソフトウェアやハードウェアを使用して、様々なやり方で実装して、必要な様々な機能を行うことができる。通常、プロセッサは、ソフトウェア（例えばマイクロコード）を使用してプログラムされて、必要な機能を行う１つ以上のマイクロプロセッサを用いる。プロセッサは、一部の機能を行うための専用ハードウェアと、他の機能を行うための１つ以上のプログラム済みマイクロプロセッサ及び関連回路との組み合わせとして実装できる。

本開示の様々な実施形態に用いられ得る回路の例としては、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が挙げられるが、これらに限定されない。

様々な実装形態では、プロセッサは、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭ（登録商標）などの揮発性及び不揮発性コンピュータメモリなどの１つ以上の記憶媒体と関連付けられ得る。記憶媒体は、１つ以上のプロセッサ及び／又はコントローラ上で実行されると、必要な機能を行う１つ以上のプログラムでエンコードされ得る。様々な記憶媒体は、プロセッサ又はコントローラ内で固定されていても、そこに保存されている１つ以上のプログラムをプロセッサにロードできるように輸送可能であってもよい。

開示された実施形態の変形は、図面、開示及び添付の特許請求の範囲の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。特許請求の範囲において、「含む」という語は、他の要素やステップを排除するものではなく、単数形は複数を排除するものではない。

単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。

特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味するものではない。

コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの任意の適切な媒体に格納／配布することができるが、インターネット又はその他の有線若しくは無線通信システムを介してなど他の形式で配布することもできる。

「～するように適応される」という用語が、特許請求の範囲又は説明で使用されている場合、「～するように適応される」という用語は「～するように構成されている」という用語と同等であることを意図していることに留意されたい。

特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (11)

1. ３Ｄ超音波ボリューム内のターゲット解剖学的構造をセグメント化する方法であって、
   デカルト座標系のスキャン変換された空間内のスキャン変換された超音波ボリュームを得るステップと、
   前記スキャン変換された超音波ボリュームを、トロイダル座標系のデスキャンされた空間内のデスキャンされた超音波ボリュームに変換するステップであって、前記デスキャンされた超音波ボリュームは、元の取得手順によって得られた前記超音波ボリュームの推定値を含む、変換するステップと、
   前記デスキャンされた空間における前記超音波ボリュームにターゲット解剖学的構造のセグメンテーションを実行して、セグメンテーションデータを生成するステップと、
   を含む、方法。
2. 前記セグメンテーションが実行された後、前記セグメンテーションを前記スキャン変換された空間に変換して戻すステップをさらに含む、請求項１に記載の方法。
3. 前記スキャン変換された空間における前記超音波ボリューム、
   前記デスキャンされた空間における前記超音波ボリューム、
   前記デスキャンされた空間におけるセグメント化された前記超音波ボリューム、又は
   前記スキャン変換された空間におけるセグメント化された前記超音波ボリューム、のうちの１つ以上を表示するステップをさらに含む、請求項２に記載の方法。
4. 前記ターゲット解剖学的構造の前記セグメンテーションに基づいて、前記ターゲット解剖学的構造のボリュームを決定するステップをさらに含む、請求項１から３のいずれか一項に記載の方法。
5. 前記スキャン変換された超音波ボリュームをデスキャンされた超音波ボリュームに変換するための変換を導出するために、前記超音波ボリュームの取得幾何学的構成を推定するステップをさらに含み、前記取得幾何学的構成を推定するステップは、
   取得の光学的中心を推定するステップ、
   取得の機械的中心を推定するステップ、
   取得の最小深度を推定するステップ、
   取得の最大深度を推定するステップ、
   画角を推定するステップ、及び
   取得スイープ角度を推定するステップ、のうちの１つ以上を含む、請求項１から４のいずれか一項に記載の方法。
6. コンピュータプログラムコード手段を含むコンピュータプログラムであって、処理システムを有するコンピューティングデバイス上で実行されると、前記処理システムに、請求項１から５のいずれか一項に記載の方法のすべてのステップを実行させる、コンピュータプログラム。
7. ３Ｄ超音波ボリューム内のターゲット解剖学的構造をセグメント化するシステムであって、
   前記システムはプロセッサを含み、前記プロセッサは、
   デカルト座標系のスキャン変換された空間内のスキャン変換された超音波ボリュームを受信することと、
   前記スキャン変換された超音波ボリュームを、トロイダル座標系のデスキャンされた空間内のデスキャンされた超音波ボリュームに変換することであって、前記デスキャンされた超音波ボリュームは、元の取得手順によって得られた前記超音波ボリュームの推定値を含む、変換することと、
   前記デスキャンされた空間における前記超音波ボリュームにターゲット解剖学的構造のセグメンテーションを実行して、セグメンテーションデータを生成することと、を実行する、システム。
8. 前記プロセッサは、前記セグメンテーションが実行された後、前記セグメンテーションデータを前記スキャン変換された空間に変換して戻す、請求項７に記載のシステム。
9. 前記スキャン変換された空間における前記超音波ボリューム、
   前記デスキャンされた空間における前記超音波ボリューム、
   前記デスキャンされた空間におけるセグメント化された前記超音波ボリューム、又は
   前記スキャン変換された空間におけるセグメント化された前記超音波ボリューム、のうちの１つ以上を表示するディスプレイをさらに含む、請求項８に記載のシステム。
10. 前記プロセッサは、前記ターゲット解剖学的構造の前記セグメンテーションに基づいて、前記ターゲット解剖学的構造のボリュームを決定する、請求項７から９のいずれか一項に記載のシステム。
11. 前記プロセッサは、前記スキャン変換された超音波ボリュームをデスキャンされた超音波ボリュームに変換するための変換を導出するために、前記超音波ボリュームの取得幾何学的構成を推定することによって、前記超音波ボリュームを前記トロイダル座標系内のデスキャンされた空間に変換し、
    前記プロセッサは、
    取得の光学的中心を推定すること、
    取得の機械的中心を推定すること、
    取得の最小深度を推定すること、
    取得の最大深度を推定すること、
    画角を推定すること、及び
    取得スイープ角度を推定すること、のうちの１つ以上に基づいて前記取得幾何学的構成を推定する、請求項７から１０のいずれか一項に記載のシステム。

Images