JP6230917B2 - 診断用超音波イメージングにおける針の強調のためのシステムおよび記録媒体 - Google Patents

Description

本発明は、超音波イメージにおける針の位置の識別に関する。

生検、薬物送達または他の医療処置の際、針が患者体内に挿入される。臨床医はしばしば、治療しない器官に刺さることを避け、精度を上げるため、かつ／または、結果を良くするため、ガイドのための超音波イメージを用いる。超音波イメージにおけるノイズのために、針を信頼性よく見ることが難しい場合がある。針の可視性は、針の配向と超音波ビームの配向との間の角度に依存する。超音波ビームが針の配向に直交する場合、針の反射は最大化される。針の位置および超音波プローブの位置は、解剖学的構造により規定され、よって直交スキャン構成は、特に深く挿入された針については用いられない場合がある。

アクティブなステアリングによる超音波ビームを、針の可視性を高めるために用いることができる。得られるスキャンデータは、針を検出するために用いることができる。複数の推定される針を検出するためにハフ変換が用いられ、これらの推定される針は線としてパラメタ化される。ただ１つの針が存在すると仮定して、もっとも推定される針が針として検出される。検出された針は、ステアリングによるイメージからトリミングされ、次いで、選択された一視野における超音波イメージでもって平均化され、針の可視性が高められる。しかし、ハフ変換は超音波イメージ中のノイズの影響を受けやすい。

電磁センサまたは磁気センサなどのセンサが針に接続されてもよい。センサは針の位置をトラッキングするために用いられる。位置は臨床医に対して強調される。しかし、センサの追加はコストを増大させ、正規な較正を必要とし、既存の臨床ワークフローを変更させる場合もある。

はじめに、以下に記載される好適な実施形態には、医用診断用超音波イメージにおいて針を強調するための方法、システム、命令およびコンピュータ読み取り可能な記録媒体が含まれる。イメージ中の針と関連づけられるイメージの強度は、複数の超音波イメージから合成されることによって適合的に強められおよび／または強調される。フィルタリング方法および確率的方法が、推定される複数の針の位置を位置づけるために用いられる。１つのアプローチでは、推定される複数の針が複数の要素フレーム中に見いだされ、これらの要素フレームは同時に取得されるが異なるビーム配向で取得される。推定される複数の針は、複数の要素フレームにわたって互いに関連づけられ、誤った検出はこの関連性に基づいて除外される。１つの超音波要素フレーム内の針の検出の一実施形態では、複数の線が最初に見いだされる。これらの線は、その後、推定される針の複数部分を見いだすために検索される。別の実施形態では、異なる時点からのデータを、針の動きおよび基準からの差分を見いだすために用いることができ、これにより、そのフィーチャが、針の検出のための１つの要素フレームからのフィーチャに加えて提供される。

第１の態様では、医用診断用超音波イメージにおいて針を強調する方法が提供される。複数の超音波データフレームが異なるビーム配向でそれぞれ取得される。複数の超音波フレームは患者および患者体内の針を表す。針の候補が複数の超音波データフレームにおいて検出される。ある超音波データフレームにおける針候補は他の超音波データフレームにおける他の針候補と関連づけられる。複数の超音波データフレームにおける針候補のいくつかは、関連性に基づいて除去される。患者および針のイメージが表示される。表示される針は、関連づけられた針の複数の位置における複数の超音波データフレームからの重み付け合成に基づいている。

第２の態様では、コンピュータ読み取り可能な不揮発性記録媒体には、医用診断用超音波イメージにおいて針を強調するためのプログラムされたプロセッサにより実行可能な命令を表すデータが記録されている。前記記録媒体は、以下の命令すなわち、異なるイメージについての超音波データにより表される、推定される複数の針それぞれについての第１の確率を計算し、前記異なるイメージにわたる、推定される針の各組み合わせについての第２の確率を決定し、なお、前記第２の確率は、前記第１の確率および偏位の罰則に基づいており、前記第２の確率がしきい値以下である組み合わせを除外し、針に関する複数の位置における超音波データの重み付け合成から画像を生成することを含み、なお、前記重み付けは、組み合わせの内の他の１つについての第２の確率に基づいている。

第３の態様では、医用診断用超音波イメージにおいて針を強調するためのシステムが提供される。メモリは、異なる時点における、患者の領域および当該領域内の針を表すデータを記録する。プロセッサは、前記異なる時点の最初の時点における領域を表すデータ内の線候補を識別し、ピクセルに基づいて、前記線候補をスコア化し、候補部分についてしきい値を超えるスコアを有する線候補を検索し、前記異なる時点にわたる動きに基づいておよび基準データからの差分に基づいて候補部分をスコア化し、前記候補部分の１つまたは複数に沿ってデータの強度を高める。ディスプレイは、前記高められた強度に基づいてイメージを表示する。

本発明は、添付の請求項により定められ、上記記載はこれらの請求についての限定とみなされるべきではない。本発明の別の態様および利点は、好適な実施形態と関連して以下に説明され、独立にまたは組み合わせで後に請求項に記載される。

図面中の構成要素は必ずしも寸法を決定するものではなく、代わりに、本発明の内容を例示するものに過ぎないことが強調される。さらに、図面中、同様の参照符号は他の図面全体において対応する部分を指す。

医用診断用超音波イメージにおいて針を検出および強調するための方法の一実施形態にかかるフローチャートである。 医用診断用超音波イメージにおける針を強調するためのシステムの一実施形態にかかるブロック図である。 患者中の針のグラフィック表示である。 医用診断用超音波イメージにおいて針を検出するための方法の一実施形態にかかるフローチャートである。

針または他の線状構造体の可視性は、フリーハンドまたは他の超音波プローブにより取得された超音波イメージ中で高められる。針は超音波データから位置づけられ、超音波イメージングのために強調される。各所定イメージ中の１つの位置を最初に識別するのではなく、推定される複数の位置の複数の組が１つまたは複数のイメージ中で識別される。各所定イメージ中で針の位置をより正確に識別するため、複数の異なるイメージからの推定される複数の位置が用いられる。複数の推定される位置を用いることにより、より正確な検出が提供可能である。複数の候補から最も推定される位置が選択される。

生検針が実施例として用いられる。やり方は針に限られず、線状構造を有する任意の種類の道具に用いることができる。

一実施形態では、種々のビーム配向で取得される、ステアリングによる複数の超音波イメージ中で、１つまたは複数の針が検出される。ステアリングによるフィルタリング（steerable filtering）のフィーチャおよびヘッシアンのフィーチャが、複数のステアリングによるイメージ（steered image）中の位置および配向を推定するために用いられる。複数の針の候補が各取得されたステアリングによる超音波イメージにおいて検出される。異なるステアリングによるイメージにわたる針の候補間の関連性が確立される。関連づけられた針の候補同士は、異なるイメージ中の同じ針に対応すると仮定される。誤った検出は除外され、針の候補の関連性に基づいて欠けている検出が回復される。針の検出結果は、複数のステアリングによるイメージを合成することにより、または、１つの超音波イメージにおける可視性を強化することにより、針の可視性を強化するために用いられる。超音波イメージングのパラメタは、針の検出結果により自動的に調整されてもよい。

針検出の一実施形態では、１つまたは複数の針が階層的検出フレームワークにおいて超音波イメージ中で位置づけられる。線の候補が最初に検出される。線の候補には目標である針が含まれるが、線に類似して見える他の構造体も含まれうる。１つの超音波イメージ中の線状構造体を有する道具を検出するために、複数のフィルタリング結果が融合される。次いで、複数の線の候補に沿って、目標の道具を表す線部分に対する検索が行われる。階層的な線部分検出フレームワークにより、計算上の効率がもたらされる。

他の実施形態では、複数の超音波イメージからの複数の針の候補によって、針の検出精度が向上可能である。たとえば、同一イメージ中の複数の針が検出され、強調される。針の検出は、フリーハンド超音波プローブを用いて行われてもよい。

図１は、医用診断用超音波イメージにおいて針を検出し、強調するための方法の一実施形態を示す。本方法は、図２のシステムまたは異なるシステムにより実行される。本方法は、図示の順または異なる順で実行される。たとえば、ステップ３６はステップ３４の前に行われても良い。付加的なまたは異なるステップが設けられ、あるいは、より少ないステップであってもよい。たとえば、ステップ４０は行われない。別の例として、針はステップ３８の重みづけ合成無しで強調される。別の実施例では、本方法は、ステアリングによる空間合成（steered spatial compounding）にではなく、時間フィルタリングされるべきイメージシーケンスに用いられる。

ステップ３０において、超音波データが取得される。超音波データは２次元または３次元スキャン（たとえば平面スキャンまたはボリュームスキャン）によって取得される。超音波データは患者の一領域を表す。領域には、患者体内に入れられた針または線状構造体が含まれる。この領域のスキャンにより、針の一部または全体もスキャンされる。

超音波データはデータフレームとして取得される。フレームは、所定時点の患者の全体のスキャン領域、平面領域またはボリューム領域を表す。スキャンの反復により、複数の異なる時点での同じ領域を表すデータフレームが取得される。フレーム以外の他のグルーピングも用いることができる。

ステアリングによる空間合成のために、要素データフレームが取得される。要素データフレームは異なる空間応答を有する。要素データフレームは、電気的に、機械的に、または、トランスデューサの空間配置により、ステアリングされる。１つのまたは複数の、ステアリングによる要素データフレームは、異なるステアリング角度にて取得される。たとえば、トランスデューサを意図的に揺動させてまたは揺動させずに同じ位置に維持することにより、各要素データフレームは目標領域の実質的に同じ空間範囲にある。各要素データフレームのスキャン領域全体の大部分（９０％超）またはほとんどは、他の要素フレームのスキャン領域と重なる。

複数の要素データフレームの１つは、別の要素データフレームではなく、スキャン領域内の少なくとも１つの位置に対する、少なくとも１つの異なるスキャンライン角度に応答している。患者体内の少なくともいくつかの位置について、異なる複数の要素フレームからの交差するスキャンラインは、少なくとも２つの要素フレームについて異なる角度にある。異なる複数の方向からの位置のスキャンは、異なる空間応答を与える。

別の実施形態では、たとえば視野拡大イメージングに伴う連続的なデータフレームの取得の間、トランスデューサは動かされる。ノンリニアのスキャンパターンが用いられる場合、トランスデューサが回転ならびに並進移動される場合、または、複数のトランスデューサを空間的に配置して複数の目標イメージを取得する場合、異なる複数の要素データフレームは異なる角度からの複数の重畳領域を表し、異なる空間応答が得られる。重畳領域に関するデータを組み合わせることにより、ステアリングによる合成が行われる。

同じまたは異なる領域を表す２つ以上のデータフレームが取得される。たとえば、３つの要素データフレームのスキャンラインは同じフォーマットを有するが、異なる重畳領域をスキャンする。これらのスキャンラインは、任意のフォーマットで取得されてよく、たとえば、リニア、カーブドリニア、セクタ、カーブドセクタ、Ｖｅｃｔｏｒ（商標）、カーブドＶｅｃｔｏｒ（商標）およびこれらの組み合わせで取得可能である。たとえば、リニアトランスデューサを用いて得られるスキャンラインは、３つの異なる角度（たとえば、±１０度または法線）においてリニアまたは全体に方形または平行四辺形のスキャンフォーマットにおいて、３つの要素データフレームについてそれぞれステアリングされる。

１つの要素データフレームについて、スキャンラインはトランスデューサ上の異なる位置にて始まるが、２つ以上のスキャンラインは同じ１つの位置から出発する。リニアフォーマットを用いると、スキャンラインは平行であり、トランスデューサ上の始点を有するスキャンラインの交差に対して同じ方向にある。各要素フレームのスキャンラインの多くは、同じ方向に延びる。別の例では、セクタまたはＶｅｃｔｏｒ（商標）フォーマットに関して、トランスデューサ１４の上または後ろにあるスキャンラインの頂点位置でのスキャンにより、トランスデューサの面からの異なる複数の角度が得られる。トランスデューサの表面に沿ったスキャンライン密度は、均一であるか、または、スキャンラインの位置に基づいて変化する。スキャンライン密度は、１つのデータフレームについて別のデータフレームと比べて異なっても良く、たとえば、異なる均一な密度を有しまたは密度の変動において差分を有している。

各要素データフレームは、異なるステアリング角度または空間応答に対応する。たとえば、スキャンラインの多くは、たとえば、第１の要素データフレームについてトランスデューサから１０度左の第１の方向に延びる。スキャンラインの多くは、第２の要素データフレームについてトランスデューサから１０度右の角度に延びる。スキャンラインの多くは、第３の要素データフレームについてトランスデューサに対して直交する。±１０度以外の異なるステアリング角およびゼロも、２、３、４またはそれ以上の要素フレームとともに用いても良い。

データフレームには視野またはスキャン領域を表すサンプルが含まれる。超音波データは検出前にビーム整形されたデータ、スキャン変換（たとえばＢモード、フローモード、速度、エネルギーまたは分散）前に検出されたデータ、スキャン変換後のデータ、または、一イメージとして表示されたデータである。超音波データは表示のためのイメージデータであるが、イメージデータはイメージを生成するために取得されたデータであってよい。ピクセルおよびイメージの語は、たとえば、実際に表示されるイメージを指し、または、表示を生成するための位置およびデータフレームを指す。

超音波データフレームは、ステップ３２において１つ以上の針を検出するために用いられる。これらの針は、最初に、ステアリングによるフィルタを複数のデータフレームに適用し、次いで学習ベースの検出器を用いてフィルタリング結果をトリミングすることにより、検出される。

複数の針の候補が複数のデータフレーム中に検出される。たとえば、１つ以上の針候補が、ステアリングによる空間合成のための複数の要素フレームそれぞれにおいて検出される。代替的に、針候補は、データフレームシーケンスそれぞれにおいて検出されてもよい。

各データフレームについての検出は、他のデータフレームについての検出から独立していても良い。１フレーム内の１つの候補針の最初の検出は、別のフレーム内の１つの候補針の検出に依存しない。代替的な実施形態では、複数フレーム内の針候補の共同検出が用いられる。

線状構造体の任意の検出を用いることができる。針はグレースケール（たとえばＢモード）超音波イメージまたはデータフレーム内のリジッドモデルとして表される。針はＲ（Ｗ，Ｌ，Ｋ，θ，ｘ_ｃ，ｙ_ｃ）として記述される。ＷおよびＬは針の幅および長さである。Ｋはイメージ強度として表される針の反射である。θはイメージ中の針の配向である。（ｘ_ｃ，ｙ_ｃ）は、針の中心位置である。針の他のパラメタ化が用いられても良い。パラメタ化された針Ｒは、２Ｄ強度関数として見ることができる。針の検出とは、超音波データフレームから針のパラメタセットＸ＝｛Ｗ，Ｌ，Ｋ，θ，ｘ_ｃ，ｙ_ｃ｝を推定することである。

一実施形態では、ステアリングによるフィルタリング方法が、針の検出に用いられる。データフレームは、線状構造体を識別するための方向性フィルタリングでもってそれぞれフィルタリングされる。複数の要素データフレームがフィルタリングされる。ステアリングによるフィルタリングにより、イメージ中の一点を通過する線の長さの配向および強度の推定が得られる。マルチスケールのステアリングによるフィルタリングを、針の幅の推定のために用いることができる。針の一部の配向および強度を推定可能な他のフィルタリング方法を用いても良い。一実施形態ではヘッシアンフィルタリングが用いられる。

ステアリングによるフィルタリングでは、３つの配向におけるフィルタの応答が計算され、３つの配向以外のすべての他の配向におけるフィルタリング応答が補間される。一実施形態では、フィルタは、ガウス関数の二次導関数である。ガウス関数のカーネルサイズは針の幅に一致するよう調整される。マルチスケールのステアリングによるフィルタリングでは、複数のカーネルサイズが用いられる。針の幅は複数のフィルタリング結果から推定されても良い。他のフィルタをステアリングによるフィルタリングについて用いてもよい。ステアリングによるフィルタリングにおける３つの配向は、水平、垂直および対角またはその他であってよい。付加的な配向をフィルタリングに用いても良い。

ステアリングによるフィルタリングの結果は、針に属する複数の点の確率を計算するために用いられる。ノイズのため、イメージのフィルタリング方法は、それでも誤った検出を生む可能性がある。学習ベースの検出器が低品質のイメージにおけるリッジ候補のさらなる識別のために学習される。

任意の機械学習を用いることができる。機械学習分類器は任意の１つまたは複数の分類器であってよい。単一分類または二値分類器、異なる分類器の集合、カスケード分類器、階層分類器、多分類分類器、モデルベース分類器、機械学習ベースの分類器、またはこれらの組み合わせを用いることができる。多分類分類器には、ＣＡＲＴ、ｋ近傍法、ニューラルネットワーク（たとえば、多層パーセプトロン）、混合モデルその他が含まれる。確率ブースティングツリーも用いることができる。

検出の際、学習した針検出器は、ステアリングによるフィルタリングからの候補が本当の針に帰属するか、または、ノイズによって生成されたものかを検査する。分類器は、イメージ内の各点Ｘに関連づけられた確率Ｐ（Ｘ）および推定される配向を出力する。

フィルタリングまたは検出器のいずれかからの、本当の針に帰属する点の候補は、針の検出に用いられる。一実施形態では、検出器は、点の候補に基づいて針を検出するように学習させることができる。任意の機械学習を用いることができる。単一分類または二値分類器、異なる分類器の集合、カスケード分類器、階層分類器、モデルベース分類器、機械学習ベースの分類器、またはこれらの組み合わせを用いることができる。確率ブースティングツリーを用いることができる。分類器への入力には、データ、フィルタリング結果、点候補の推定結果が含まれ、これらは線の候補に関連づけられている。

図４は、医用診断用超音波イメージにおいて針を検出するための別の方法を示す。階層的検出フレームワークにおいて、線の候補が最初に検出される。線の候補には針２４が含まれるが、線に類似して見える他の構造体も含まれうる。次いで、線の候補が針２４を表す線の部分について検索される。階層的検出フレームワークにより、計算効率が得られる。

本方法は、図２のシステムまたは異なるシステムにより実行される。本方法は、示される順序または異なる順序で実行される。付加的なまたは異なるステップが設けられ、より少ないステップで行われても良い。たとえば、ステップ６２はなくともよい。別の例として、針は、ステップ６０における強度の向上なく強調される。図２の方法の態様が図４の方法において用いられてもよく、たとえば、ステアリングによる空間合成およびイメージ間の関連づけが用いられる。図４の方法の態様が図２の方法において用いられ、たとえば、個々の針候補の検索のための線部分の階層，および／または、複数フレームにおける検出のための基準からの差分または動き履歴が用いられても良い。

ステップ５０において、１つ以上の超音波データフレームが取得される。これらのフレームは、ステアリングによる空間合成のためのものではない。代わりに、これらのフレームは、異なるステアリング無しのシーケンスにおける領域および針２４を表す。代替的実施形態では、これらのフレームは、ステアリングによる空間合成のための要素フレームである。単一フレームのみが取得可能である。１フレーム以外のデータの他のグルーピングを用いても良い。ステップ３０に関して上記で説明した任意の取得を用いることができる。データは、スキャンまたはメモリからの転送により取得されても良い。

ステップ５２において、線の候補が識別される。線の候補は、患者の一領域を表す超音波データから識別される。線の候補は１つのフレーム内で識別される。複数フレーム内での識別のためには、各フレームについての個別のまたは独立の識別が行われる。代替的に、複数フレームにわたる共同識別が提供される。

線の候補は、端点のない直線である。線の候補は、スキャン領域の一端から別の一端へ延びる。線の候補は、Ｌ＝（ρ，θ）として定義される。θは線の配向であり、ρは原点から線までの最短距離である。図３は、一つの部分と１つの端部からなる１本の線を示す。

一実施形態では、複数の線候補に沿った複数の点は、ステアリングによるフィルタリングを用いて識別される。たとえば、図１について上述したステアリングによるフィルタリングが用いられる。代替的実施形態では、別の種類のフィルタリングが、複数の線と関連づけられたデータを検出するために用いられる。たとえば、ヘッシアンフィルタが適用される。ステアリングによるフィルタリングと同様に、ヘッシアンフィルタは線状構造体を検出するように設計される。異なる種類のフィルタリングを組み合わせてもよく、たとえば、ヘッシアンフィルタリングとステアリングによるフィルタリングの両方を針の検出のために用いても良い。

フィルタリングは、線に関連づけられないデータを除外し、線に関連づけられるデータを残すように設定される。針２４は幅を有する。フィルタリング、たとえば、カーネルサイズは、針２４の予測される幅およびスキャンスケールに基づいて設定されてもよい。代替的に、幅は、マルチスケールフィルタリングから推測される。幅情報を用いることにより、たとえば骨に関連づけられる、広すぎる線の識別を避けることができる。

ステップ５４において、線候補がスコア化される。スコア化は、線候補の強度を表す。スコアは確率、正規化された重み、または、計算値であってよい。スコアは各線候補について決定される。

スコアは線に沿ったデータに基づいている。イメージの項において、スコアは、線のピクセルに基づいている。各位置からの寄与が合計されてスコアが得られる。ステップ５２のフィルタリングからの出力またはステップ５２のフィルタリングの前のデータがスコア化に用いられる。

任意のスコア化を用いることができる。一実施形態では、ハフ変換がステアリングによるフィルタリングの結果に適用される。複数のフィルタを、１つの所定の線候補に用いても良い。ピクセルをｐとして記述して、ピクセルについてのフィルタからの応答を、大きさおよび配向についてそれぞれＭａｇ（ｐ）およびＯｒｉ（ｐ）と記述する。ｉ番目のフィルタから候補線Ｌへの投票はＣ（ｐ）である：
線候補のスコアＣ（Ｌ）は、線Ｌに沿った全てのピクセルのスコアの合計である：
投票スコアは各フィルタについて［０，１］に正規化されても良い。複数のフィルタが用いられる場合、スコアは組み合わされる。平均化などの任意の組み合わせを用いることができる。重みづけ平均を用いても良い。たとえば、一種類のフィルタはより決定的であるとみなされ、このフィルタリングからのスコアは相対的により重く重みづけされる。最終的な線候補の投票信頼スコアは以下のように与えられる：
式中、ｗ_ｉはｉ番目のフィルタの重みである。

最大の信頼スコアを有する線候補が見いだされる。最大の信頼スコアに対応する線候補が識別される。しきい値を用いて、たとえば十分なスコアを有する任意の数の線候補を位置づけてもよい。他の実施形態では、数が制限され、たとえば、５以下の線候補に制限される。６以上の線候補がしきい値を超える場合、上位の５つが選択される。他のしきい値処理または選択を用いても良い。

ステップ５６において、部分候補が選択された線候補から見いだされる。１つ以上の部分が各線候補について見いだされる。一実施形態では、ただ１つの部分候補が各線候補について見いだされる。部分とは線の一部である。この部分は１つ以上の端点を有する。部分はＳ＝（ρ，θ，Ｓｅｇ）として定義される。Ｓｅｇは線上の部分を定義する。図３は、ρ、θで定義される線上の部分Ｓｅｇを示す。部分は、線に沿った針２４の位置に対応する。

線候補が識別された後、線が検索され、針のパラメタＳ＝（ρ，θ，Ｓｅｇ）に関する部分が見いだされる。任意の検索基準を用いることができる。たとえば、線に沿ったフィルタリング結果からの強度の差分が計算される。推定される先端位置は線に沿った異なる複数の位置に位置づけられ、線の各側における強度が合計される。合計において最も大きい差分を有する位置が端部から部分を分離する先端位置を示す。別のやり方では、線に沿った勾配が計算される。複数の位置ウインドウにわたる最大の勾配が選択される。

ステップ５８において、部分候補が記録される。たとえば、線候補からの部分候補の識別は、スコア化に一部または全体的に基づいている。最大のスコアを有する部分が、所定の線候補についての部分候補として選択される。

一実施形態では、線Ｌに沿った各部分候補Ｓについて、スコアは以下のように定められる：
式中、Ｔは線Ｌに沿った部分Ｓの外側の端部である。各候補線に関して、最大スコアを有する候補部分が選択される。

一本の針を位置づけるため、全ての線候補から１つの部分候補が最終的な針検出結果として選択される。複数の針について、しきい値スコアを超える全ての部分または上位のＸ個（Ｘはユーザにより針の数として入力される）の部分が選択される。

１つのフレーム内の線状構造体の検出は、低い品質に影響されうる。一実施形態では、品質が最適ではない場合に対処するため、複数のフレームを用いた検出が用いられてもよい。複数のフレームは時間シーケンスにおいて連続的に取得される。複数のフレームには、現在および／またはそれ以前に取得された要素フレームが含まれる。一実施形態では、複数のフレームが異なるビーム配向で取得される。別の実施形態では、複数のフレームが異なるビーム配向を用いて取得され、空間的に配列される。本方法は、単一フレームにおける検出よりも、複数のフレームから抽出されたより多くのフィーチャを用いる。個別フレームにおける線および部分の検出に基づくスコア化が用いられるが、他のフィーチャに基づく付加的なスコア化が行われる。他のフィーチャはフレーム間の比較に基づいている。

一実施形態では、異なる時間からのフレームにわたる動きに基づいて候補部分がスコア化される。針２４は、時間にわたって一致して動く傾向がある。各候補部分について、候補部分を端部から分離する点の線候補に沿った一致した動きが識別される。時間ｔでのフレームにおける動きピクセル（ｐ，ｔ）がフレーム間差分Ｉ_ｔ−Ｉ_ｔ−１（Ｉは超音波イメージ）のしきい値処理により得られる。所定の候補線Ｌ＝（ρ，θ）に関して、線における位置ｐ＝（ｘ，ｙ）は、１Ｄ線座標においてｄとして定義され、ここで、ｄ＝ｘｓｉｎ（θ）＋ｙｃｏｓ（θ）である。動きピクセルの一致したシーケンスは以下のように定義される：
動きピクセルのシーケンスは針の動きにより生じる一致した動きの軌線を表すために用いられる。一致した動きを定量化するために、最も長い動きピクセルのシーケンスの長さが用いられる。各線上の最も長い動きシーケンスを見いだすことは、有向グラフ内の最長路問題である。

一実施形態では、一致した動きの最長のシーケンスは、時間ｔにおける動きピクセル（ｘ，ｙ，ｔ）を考慮することにより見いだされる。ピクセルは、（ｘ，ｙ，ｔ）を通過する全ての線についての線座標（ｄ，ｔ）に変換される。新たな動きピクセル（ｄ，ｔ，ｓ）は、この線に加えられる。式中、ｓは、このピクセルで終端する最長の動きピクセルのシーケンスである。それ以前の動きピクセルがない場合、ｓ＝１である。そうでなければ、ｓ＝１＋ｍａｘ Ｓ_ｉ（ｔ_ｉ＜ｔかつｄ_ｉ＜ｄについて）である。動きの記録を更新した後、最長の動き部分、すなわち、最長のｓが、各線上の各ｄについて見いだされる。

シーケンスを通じかつ線に沿った部分の動きを識別する他のやり方を用いても良い。たとえば、先端の速度が計算され、速度は一致した速度のフレーム数を見いだすためのしきい値である。

動きおよび動き履歴が、各部分候補についてスコア化される。任意のスコア化を用いることができ、たとえば、一致した動きの時間の量が用いられる。一実施形態では、動き履歴からの投票スコアは、部分から計算された最長の動き経路と、対応する端部を含む場合の最長の動き経路との間の差分として定義される。差分が小さいほど、よりよい部分候補を示す。逆変換またはガウス関数等の関数により、より小さい差分がより大きい投票スコアに変換可能であり、これにより、他のフィーチャのスコア化との使用が可能となり、この際、大きいスコアは針２４をより反映する。

付加的および代替的実施形態では、基準データからの差分がスコア化される。現在の候補線および／またはフレームの候補部分が基準データと比較される。たとえば、シーケンス中における、テンプレートのデータフレーム、第１のデータフレーム、最初のデータフレーム、中間のデータフレームまたは他のデータフレームが基準として選択される。現在のデータフレームが基準に対して比較される。比較のために減算を用いることができるが、相関または類似性または差分の他の基準を用いることができる。比較は候補線および／または候補部分に制限されてよく、たとえば、フィルタリング後の現在のフレームおよび基準フレームにおける候補線に沿って差分が計算される。

一実施形態では、現在のフレームとイメージ取得開始時のフレームとの差分が抽出される。基準フレームまたは最初のフレームはＩ_０として記述される。プローブがあまり動かないという仮定の下で、大きい差分は、現在のイメージと開始フレームとの間の針の動きによって生じる、より多くの動きを意味する。スコアの１つの例は以下のように定義される：
他のスコアを用いても良い。

スコア化のためのフィーチャは、複数のイメージから抽出される。このようなフィーチャには、動き履歴、２Ｄ／３Ｄフィルタリング（ステップ５６からのスコア）、および、フレーム差分が含まれる。付加的なスコア、異なるスコア、または、より少ないスコアが含まれても良い。複数のフレームにおける検出のために用いられるフィーチャは、これらの列記したものに限られない。時間的および／または空間的な道具の情報を保有する任意の種類のフィーチャを、投票に用いることができる。

各フィーチャについての投票スコアが計算される。部分候補のスコア化のために、異なるフィーチャに関する異なるスコアが組み合わされる。たとえば、部分候補に関するスコア、動き履歴に関するスコア、および、基準差分に関するスコアが組み合わされる。任意の組み合わせ、たとえば、合計または平均を用いることができる。重み付き平均を用いて、１つまたは複数のスコアを他に対して強く重みづけしてもよく、たとえば、ステップ５６の部分スコアは他のフィーチャのスコアよりもより強く重みづけされる。

組み合わされたスコアは、各候補部分について、または、選択された数の候補部分について得られる。最大のスコアがしきい値を超えるとき、対応する部分は針２４として出力される。複数の針が存在しうる場合、しきい値を超えるスコアを有する全ての部分が出力される。針の数が既知であるか、または、複数の針の候補が必要とされる場合、より大きいスコアを有する相応の数の部分が、検出結果として選択される。

図１を参照して、各要素データフレームの針候補について確率が決定される。確率は各候補について得られる。データフレーム中に表される実際の針のさらなる識別のために、全ての候補が用いられてもよい。代替的に、１つまたは複数の候補が除外されても良い。たとえば、しきい値がこれらの確率に適用される。しきい値は、予め決定されてよく、または、より高い確率を有する候補の割合または特定数の選択に基づいてもよい。

ステップ３４において、異なるデータフレームについての針候補同士が関連づけられる。関連づけによって、複数のデータフレーム中の同じ針候補が識別される。１つのデータフレーム内の針候補は別のデータフレーム内の針候補と対にされ、または、関連づけられる。個々のステアリングによるフレームにおける候補針の検出は、ノイズに影響されやすい。単純な投票としきい値処理の方法、たとえば、ハフ変換によっては、検出不足および誤検出が生じうる。ステアリングによるフィルタリングおよび学習ベースの検出を用いても、個々のフレームにおけるエラーは依然として存在しうる。本当の針を確認し、誤検出をさらに除外するため、異なるフレーム間の複数の針検出結果が互いに関連づけられる。

異なるフレーム内の針候補の間の変換が計算される。もっとも尤度の高いまたは最良のマッチングが変換から決定される。ｉ番目のフレームにおけるｊ番目の針候補がＸ_ｉ，ｊとして存在する。異なるイメージから得られる針候補の対Ｘ_{ｉｂ，ｊｂ}およびＸ_{ｉａ，ｊａ}の間の変換は、Ｔ^{（ａ，ｂ）}として記述される。針の関連づけは、針の対応を識別すること、および、最大確率を有するこれらの間の変換を予測することである：
代替的に、１フレーム内の各針候補は、他のフレーム内の全ての針候補と関連づけられる。変換は、可能なマッチングのそれぞれについて決定される。

変換を解くため、分類器または他のソースによって出力された確率が複数フレームにわたる針候補の組み合わせについての確率を計算するために用いられる。最大のまたは十分な確率を有する組み合わせを識別するために、可能な組み合わせのそれぞれについての確率が決定されても良い。

実質的に異なる配向および／または空間位置を有する候補針のマッチングを避けるため、組み合わせの確率が配向および／または偏位の差分の量によって重みづけされてもよい。この重みづけはより大きい偏位および／または回転を不利にする。

針候補の検出が異なるイメージ間の動きに依存しないと仮定して、式（７）は以下のように表される：
各針候補の確率Ｐ（Ｘ）は、個々の針の検出を形成する確率である。この確率は、機械学習分類器によって出力されるが、別のソースたとえばリッジモデリングから得られても良い。Ｐ（Ｔ）は２つの候補の間の大きい偏位を罰則付けするよう定義される。一実施形態では、Ｐ（Ｔ）は１つの針候補を中心としたガウス形であるが、他の重みづけ関数を用いても良い。ガウス形のサイズまたは分布は、偏位および／または配向に基づいた罰則付けが得られるように設定される。複数の罰則項を用いてよく、たとえば、１つを偏位について、１つを配向について用いても良い。

要素フレームは異なる時点で取得されうるため、患者および／またはトランスデューサの動きのためにフレームが配列されない場合がある。相関またはセンサに基づく測定を用いてフレーム間の空間オフセットを決定しても良い。この空間オフセットは、たとえば異なるイメージ中の候補針間の偏位および／または配向の基準の変更により、罰則項に導入されても良い。

候補針の関連づけは、３つ以上のイメージ中の複数の針候補に拡張してもよく、たとえば、３つの要素フレームを用いた３つの候補針の組み合わせについて拡張できる。かかる場合、確率的データ連結（ＰＤＡ：probabilistic data association）またはグラフベース最適化法を、より複雑な関連づけ問題を解くために用いても良い。

ステップ３６において、１つまたは複数の針候補が除外される。貪欲法、グラフベース最適化法、または、ＰＤＡが用いられる場合、１つまたは複数の針候補が関連づけされなくとも良い。これらの針候補は、ノイズとして除外される。他の針候補は、個別の針候補についての確率に対してしきい値を適用することにより除外可能である。代替的実施形態では、針候補は、個別の検出がより正確である低ノイズ状態などでは、個別の候補として除外されない。

関連づけのために計算される変換または確率が、１つ以上の針候補を除外するために用いられる。関連づけからの確率をしきい値処理することにより、針候補を除外できる。しきい値は、針候補の異なる組み合わせのそれぞれに適用される。しきい値以下の組み合わせとのみ関連づけられる針候補は、除外される。

候補の関連づけおよび除外は、反復されても良い。開始の際、Ｎ個の異なる超音波データフレームにおける複数の針候補が互いに関連づけられる。関連づけされた針候補の組はプール＝｛Ｘ_{ｉａ，ｊａ}，ａ＝１，．．．，Ｎ｝として記述される。候補の関連づけに基づいて、外れ値が識別され、針のプールから除外される。外れ値は、関連性の欠如によって、または、しきい値以下の組み合わせのみでの関連性によって、除外される。たとえば、針Ｘ_{ｉａ，ｊａ}は、その関連性の確率がしきい値未満である場合、外れ値である：Ｐ（Ｔ^{（ａ，ｂ）}，Ｘ_{ｉｂ，ｊｂ}，Ｘ_{ｉａ，ｊａ}）＜θ、但し、ｂ＝ａであり、かつ、θは所定のしきい値である。関連づけの全てまたはサブセットがしきい値処理される。

１つまたは複数の針候補のしきい値処理および除外の後、新たな候補の関連づけが決定される。関連づけされた針の組およびこれらの変換は、次いで、更新された候補の組を用いて洗練される。残りの針候補はフレーム間でマッチングされ、対応する確率が計算される。確率は、より少ない針候補のために異なる場合がある。関連づけはより小さい領域内で検索されても良い。より小さい領域は、罰則項の幅または分布を減少させることにより、または、プール内に残るこのような候補の多数または中央値を有する領域に候補針を限定することにより、実現可能である。

反復は、関連づけられた針の組が安定化するまで続けられる。各反復において、ステップ３４の関連づけおよびステップ３６の除外が行われる。領域または罰則項は各反復について同じかまたは異なる。たとえば、領域は、組のレベルへと小さくされ、その後、同じに維持される。除外が反復においてもはや生じなくなれば、処理は安定化する。

上記方法は、存在する各針を検出するために、超音波要素フレームの１つのグループに適用される。残っている関連づけられた候補が実際の針と見なされる。候補が複数の関連づけグループに含まれる場合には、その後、より大きい確率の１つのグループが選択され、他の関連づけは用いられない。代替的に、候補は重畳するまたは隣接する複数の針を表すと見なされ、両方のグループが維持される。１つの所定のグループが各要素フレーム内における同じ針を表す。

ステップ３８において、検出された針が強調される。一実施形態では、複数の要素フレームの一体的な合成により針が強調される。各要素フレーム内に同じ針が表されるため、ノイズの効果はステアリングによる空間合成により相対的に低減される。針候補は累積的に合計される一方、よりランダムなノイズは同じ強度および／または空間範囲まで累積的に合計されないため、合成によって針の可視性は高められる。合成されたフレームには、１つの視野または要素フレームからは隠れている、より多くの情報が含まれうる。

ステアリングによる空間合成に関して、組み合わせは、入力された要素フレームまたは元々取得された要素フレームからなる。要素フレームは、たとえば、ローパスフィルタリングされ、または、そうでなければ、組み合わせの前に処理される。他の実施形態では、組み合わせは、ステアリングによるフィルタリングから出力されたフレームからなる。

要素フレームには、特定位置を表すデータが含まれる。たとえば、フレームの配列は正確であると推定されるか、または、さらなる配列が組み合わせの前に行われてもよい。データ相関またはトランスデューサ位置センサを用いて、要素フレーム間の並進移動および／または配向の変化を決定しても良い。

複数のデータフレームが同じ位置またはグリッドを表す場合、所定の位置を表す各フレームからの値が組み合わされる。一実施形態では、検出されスキャン変換された複数のデータフレームが一体に合成される。スキャン変換情報が用いられるため、各要素フレームのデータは同じフォーマットおよびグリッドパターンにあるか、または、空間位置サンプリングにある。複数のデータフレームが異なる複数のグリッドに沿ったサンプリングを表す場合、最近隣法または補間が選択のために用いられるか、または、組み合わせのために用いられる値が選択または計算される。データがスキャン変換の前に合成される場合、補間、補外または他の処理が、近接または類似するが、同一ではない空間位置を表す全てのデータを合成するために用いられる。

組み合わせは針に沿った各位置についてである。データフレームは、少なくとも重畳領域において同じ位置を表す。各要素フレームは、表示または重畳領域を表す空間位置について一体に合成される。異なる位置が、異なる数のフレームおよび対応する値に関連づけられてもよい。たとえば、重畳領域より多くを表すイメージが生成される。ステアリングによって、全ての要素フレームの重畳領域の外側の位置をより少ないフレームが表す。任意の数の要素フレームを用いて、所定の位置、たとえば、重畳領域についての全てのフレームと、全ての他の位置についてよりも少ないフレームとについての値を決定してもよい。

組み合わせは重みづけされる。一実施形態では、等しい重みづけが用いられる。組み合わせは各位置についてのデータの平均である。他の実施形態では、重みづけは針のさらなる強調のために用いられる。ある要素フレームが、別のよりも強調されても良い。強調は、位置により変わってもよく、たとえば、１つの位置に関してある要素フレームを別の要素フレームよりも強調し、また別の位置に関して他方を一方よりも強調してもよい。代替的に、同じ重みづけが要素フレームの重畳領域に関して適用される。

重みづけはステップ３６における除外の後に残っている針候補に基づいて選択される。たとえば、異なる要素フレームにおいて同じ針として識別される候補の関連づけまたはグループについての確率を用いて、重みが選択される。別の例では、重みは要素内の個別の針候補についての確率の相対的な重みに基づいて割り当てられる。針が１つの要素フレーム内でより高い確率を有する場所では、その要素フレームは、他の要素フレームよりも重く重みづけされる。重みの選択は、確率または他の基準からのリニアまたはノンリニアマッピングを用いることができる。

一実施形態では、残りの針は選択された超音波フレームＩ_ｃ（合成されたフレームまたは要素フレームのいずれか）に変換される。針はその重みに基づいて変換される：
式中、ｘ’_ｂは変換された針であり（すなわち、ｘ’_ｂ＝Ｔ^{（ａ，ｂ）}（Ｘ_{ｉｂ，ｊｂ}））、ａ番目のイメージは強調された針を表示するために用いられる。Ｐ_ｂは検出された針Ｘ_{ｉｂ，ｊｂ}の確率であり、これは合成から正規化される：

確率は、２つのフレーム内の関連づけられた１つの針の間であるが、フレームの数は任意であって良い。正規化によって、異なる超音波ビームの配向に針の検出および幾何的な関連性が導入され、したがって、ロバスト性が得られる。他の強調も付加的にまたは代替的に用いることができる。一実施形態では、選択された部分に沿ったデータの強度またはスカラー値が増大される。どのような増大であってもよく、たとえば、一定毎の増大であってもよい。たとえば、イメージＩ（ｐ）＝Ｉ（ｐ）＋α、但し、αは定数、である。線に沿った結果値は、たとえばローパスフィルタリングされて、より高周波の変動が除外される。

一実施形態では、増大は、ステアリングによるフィルタリングへの応答の大きさおよび／または配向に適合的に基づく値毎である。たとえば、部分に沿った強度は、一定に、かつ、フィルタリング結果毎に増大される：
式中、β_ｉは定数または重みである。フィルタリング結果は、針の検出に用いられたフィルタのすべてまたはサブセットであり、たとえば、選択された部分に最も近く関連づけられた１つの帯域幅についてのおよび／または方向についてのフィルタリング結果である。

付加的なまたは代替的な種類の強調を用いても良い。たとえば、グラフィックが部分位置にオーバレイされる。別の例として、針に関連づけられた位置が異なって色づけされる。

ステップ４０において、イメージが表示される。超音波イメージから位置づけられた針でもって、針の表示が強調され、イメージガイド用に可視化される。針の強調は選択された１つの超音波イメージ中に表示される。イメージはスキャンされた領域のものである。患者組織および針の両方は、このイメージ中に表示される。たとえば、重みづけされた合成フレームは、ステアリングによる空間合成イメージを生成するために用いられる。別の例として、要素フレームは合成無しでイメージを生成するために用いられる。このイメージは、たとえば、所定の種類のスキャンまたは用途のために最適化された超音波イメージである。針および患者組織がイメージ内に示される。このイメージは、検出された針を含まないものよりも、強調のために、針をより見やすく示す。

ステアリングによる空間合成のために、患者体内の位置を表す値の合成フレームは、ピクセルまたはイメージ値を決定するために用いられる。このイメージは、重畳領域からなるが、他の位置を含んでも良い。このイメージは、組み合わされた視野から生成された空間合成イメージである。合成フレームは、ステップ３８の合成から出力される。付加的な処理を用いてもよく、たとえば、合成されたデータフレームの空間的および／または時間的フィルタリングを用いても良い。

針の可視性をさらに向上させるため、超音波トランスデューサまたはプローブが異なる位置に動かされ、図１の方法が反復されても良い。他の実施形態では、プローブは、要素フレームを取得するために動かされるか、または、複数の要素フレームの異なるグループが異なる複数のプローブ位置にて取得される。位置センサ（たとえば磁気位置センサ）が超音波プローブに取り付けられ、および／または、データベースに基づく位置合わせが複数の異なるプローブ位置からの要素フレームの相対空間位置を決定するために用いられる。異なる複数のプローブ位置における針候補は、次いで、関連づけおよび合成のために、空間的に配列される。

イメージ強調に加えてまたはその代わりに、超音波システムがステップ４２において検出された針に基づいて制御されても良い。ビームステアリング方向および／またはスキャンのための他のパラメタは、１つまたは複数の候補部分に基づいて設定される。たとえば、部分候補が針として選択される。所定の現在のプローブ位置および当該領域に最も垂直なステアリングがスキャンに用いられる。

超音波イメージ特性は、道具の検出結果に影響しうる。超音波イメージ特性は超音波機械パラメタによって定められる。パラメタは針の検出における支援のために自動的に設定されても良い。超音波機械パラメタは、針の検出の開始時に自動的に適合され、たとえば、ステップ５４における線候補の選択の後、または、図４の方法の反復の後に適合される。適合は、起動に応じて周期的に、または、ユーザの起動に応じてスキャン中に連続して行われる。

１つのパラメタはビームステアリング角である。針の検出の開始の際、ビームステアリング角は、全ての可能な角度において最初に検索される。可能な角度範囲は、超音波機械の物理パラメタに依存しており、異なる機械および／またはトランスデューサに対して異なっても良い。針の検出は、複数の角度において取得された複数のフレームにおいて実行される。フレームに基づく針検出からの信頼スコアが比較され、検出から最良の信頼スコアを生じるステアリング角が、最適化されたステアリング角として選択される。パラメタは、後続のデータ取得に用いられ、たとえば、フレームシーケンスの取得のために用いられる。

パラメタの最適化は、継続的に行われてもよく、または、ビームステアリングに必要とされる時間を減少させるためにサンプリングされたフレームにおいてのみ実行されても良い。いずれの場合でも、検出またはトラッキングからのスコアがパラメタの最適化に用いられる。

超音波システム１６の他の調整可能なパラメタには、超音波の焦点および周波数が含まれるが、これらに限られない。異なる設定が、針の結果得られる可視性およびスコアへの影響を決定するために試されても良い。全てのパラメタの最適化は、結合的に行われるか、または、貪欲法により行われる。結合最適化において、パラメタはすべての調整可能なパラメタの結合の組について取得されたフレームの組について取得される。貪欲法による最適化において、パラメタはまず最適化され、固定される。他のパラメタがその後続いて最適化される。パラメタ最適化は、継続的に行われるか、または、イメージ取得の間にサンプリングされたフレームにおいて行われても良い。

イメージ取得の際には、複数のパラメタが用いられても良い。パラメタの１つの組が、上述の針の検出について、自動的に最適化される。パラメタの別の組は、臨床的な関心に対してまたは用途に特定的に最適化される。臨床的関心についてのパラメタの最適化は、ユーザによってマニュアルで、所定のようにまたは適合的に行われても良い。イメージ取得の際、異なるパラメタを用いる複数のフレームが各時点において同時にまたは互いに間隔を置いて取得される。１つのトランスデューサの超音波パラメタの複数の組の間で自動的に切り換えることにより、または、１つのプローブに複数のトランスデューサを物理的に設けることにより、同時イメージ取得を実現可能である。

図２は、医用診断用超音波イメージにおいて針を強調するためのシステムを示す。システム１０は、メモリ１２と、超音波システム１６と、トランスデューサ１８と、プロセッサ２６と、ディスプレイ２８とを備える。トランスデューサ１８は針をスキャンするために用いられ、プロセッサ２６はスキャンデータから針２４を検出する。付加的なまたは異なる構成要素、または、より少ない構成要素を設けても良い。たとえば、ネットワークまたはネットワーク接続が設けられ、たとえば、医用イメージングネットワークまたはデータアーカイブシステムとのネットワーキングのために設けられても良い。別の例として、ユーザインタフェースが設けられる。

プロセッサ２６、メモリ１２およびディスプレイ２８は、診断用または治療用超音波システム１６などの医用イメージングシステム、あるいは、他のシステムの一部であってよい。代替的に、プロセッサ２６、メモリ１２および／またはディスプレイ２８は、たとえば医用記録データベースワークステーションと関連づけられた、アーカイブおよび／またはイメージ処理システムの一部であってよい。他の実施形態では、プロセッサ２６、メモリ１２および／またはディスプレイ２８は、デスクトップまたはラップトップなどのパーソナルコンピュータ、ワークステーション、サーバ、ネットワークまたはこれらの組み合わせである。プロセッサ２６、ディスプレイ２８およびメモリ１２は、本方法を実現するために他の構成要素なしで設けられても良い。

超音波システム１６は、任意の現在既知のまたは今後開発される超音波イメージングシステムである。たとえば、超音波システム１６は、音響エネルギーと電気エネルギーとの間で変換するためのトランスデューサを備える。送信用または受信用ビーム整形器は、トランスデューサ１８の異なる素子に関する信号を相対的に遅延し、かつ、アポダイゼーションする。Ｂモード、ドップラまたは他の検出がビーム整形された信号について行われる。スキャンコンバータ、メモリ、３次元イメージングプロセッサおよび／または他の構成要素が設けられても良い。

トランスデューサ１８は、圧電性または容量性の膜素子の１次元、２次元または３次元アレイである。たとえば、トランスデューサ１８は、ハンドヘルドプローブ内の１次元素子アレイである。別の実施形態では、トランスデューサ１８は、患者体内での使用のためのプローブ、たとえば、経食道または心臓カテーテルプローブの一部である。

メモリ１２は、グラフィック処理メモリ、ビデオランダムアクセスメモリ、ランダムアクセスメモリ、システムメモリ、キャッシュメモリ、ハードドライブ、光学記録媒体、磁気記録媒体、フラッシュドライブ、バッファ、データベース、これらの組み合わせ、または、データまたはビデオ情報の記録ための他の現在既知のまたは今後開発されるメモリデバイスである。メモリ１２は、イメージングシステムの一部、プロセッサ２６と関連づけられたコンピュータ、データベースの一部、別のシステムの一部、ピクチャアーカイブメモリ、または、スタンドアローン装置である。

メモリ１２には、患者の、異なる時間の領域および／または異なるステアリング方向からの領域を表すデータが記録される。単一のデータフレームまたは複数のデータフレームが記録される。データには、領域内の針２４を表す情報が含まれる。針２４は領域内の他の構造体に対して認識することが困難な場合がある。領域は２次元または３次元領域である。領域は、患者の任意の部分のもの、たとえば、胸部、腹部、脚部、頭部、腕部またはこれらの組み合わせの領域内の任意の部分のものであってよい。

データは超音波を用いた領域のスキャンから得られる。データは、治療の前、最中または後の患者を表す。たとえば、超音波データフレームは生検の際に取得される。針が患者の中に挿入されて動かされる前またはそのとき、超音波データフレームのシーケンスが取得される。これらのフレームは、同じビームステアリングを用いた同じ領域のシーケンススキャンまたはステアリングによる空間合成のためにステアリングされる。

メモリ１２は、処理されたデータを記録することができる。たとえば、ステアリングによるフィルタリングの結果が記録される。別の例として、検出された候補位置および／または対応する確率が記録される。関連性が記録されても良い。表示イメージ内の針の可視性を高めるために用いられるしきい値、重みまたは他の情報が、記録されても良い。

メモリ１２または他のメモリは、代替的にまたは付加的に、医用診断用超音波イメージ内で針を強調するために、プログラムされたプロセッサ２６によって実行可能な命令を表すデータを記録する、コンピュータ読み取り可能な記録媒体である。本明細書中に記載のプロセス、方法および／または技術を実現するための命令は、コンピュータ読み取り可能な不揮発性記録媒体またはメモリ、たとえば、キャッシュ、バッファ、ＲＡＭ，リムーバブル記録媒体、ハードドライブまたはコンピュータ読み取り可能な記録媒体に含まれる。コンピュータ読み取り可能な不揮発性記録媒体には、種々の種類の揮発性および不揮発性記録媒体が含まれる。本明細書中に記載されるまたは図面中に示される機能、ステップまたはタスクは、コンピュータ読み取り可能な記録媒体に保存された命令の１つまたは複数の組に応答して実行される。これらの機能、ステップまたはタスクは、特定の種類の命令、記録媒体、プロセッサまたは処理ストラテジに依存せず、または、ソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコードなどにより、単独でまたは組み合わせで実行されても良い。同様に、処理ストラテジには、たとえば、マルチ処理、マルチタスキング、並行処理などが含まれる。

一実施形態では、命令は、ローカルまたはリモートシステムによる読み取りのためにリムーバブル記録装置上に記録される。他の実施形態では、命令は、コンピュータネットワークまたは電話線を介した転送のためにリモート位置に保存される。別の実施形態では、命令は、所定のコンピュータ、ＣＰＵ、ＧＰＵまたはシステムに保存される。

ディスプレイ２８は、モニタ、ＬＣＤ、プロジェクタ、プラズマディスプレイ、ＣＲＴ、プリンタまたは他の現在既知のまたは今後開発される、視覚的情報を出力するための装置である。ディスプレイ２８は、プロセッサ２６、メモリ１２または超音波システム１６からのイメージ、グラフィックまたは他の情報を受信する。

患者の領域について、針の位置を表す１つ以上のイメージが表示される。イメージは、たとえば、位置、たとえば、針に関する座標を示す位置からなる。イメージは患者の領域を表す医用スキャンからなっていてもよい。医用道具の位置は、強調され、グラフィックによりマークされまたはそうでなければイメージ上に示される。イメージのシーケンスが表示される場所において、各医用道具の位置が各イメージに示される。

イメージは２次元イメージであってもよい。平面領域またはエリア領域がイメージ中に表される。他の実施形態では、ボリュームが表される。異なる平面を表す複数の平面スキャンが１つのボリュームを形成するためにスタックされまたは用いられる。針の候補は、たとえば、３Ｄフィルタリングまたはフィーチャ抽出を用いて、３次元で行われても良い。イメージはボリュームからのレンダリングである。

プロセッサ２６は、汎用プロセッサ、中央処理ユニット、制御プロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ、３次元レンダリングプロセッサ、イメージプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、デジタル回路、アナログ回路、これらの組み合わせ、または他の現在既知のまたは今後開発される、強調された針の超音波イメージを生成する装置である。プロセッサ２６は、１つの装置、あるいは、シリアルで、パラレルで、または、独立に動作する複数の装置である。プロセッサ２６は、コンピュータ、たとえばラップトップまたはデスクトップコンピュータの主プロセッサであってよく、または、より大きいシステムたとえばイメージングシステムにおけるいくつかのタスクを処理するためのプロセッサであってもよい。プロセッサ２６は、本明細書中に記載のステップを実行可能な、たとえば、針候補のグループから１つの位置を選択するための確率関数の反復解法を実行可能な命令、設計、ハードウェアおよび／またはソフトウェアにより構成される。

プロセッサ２６は、１つまたは複数の超音波フレームまたは他のデータのグルーピングから１つまたは複数の針２４を検出するよう構成されている。たとえば、プロセッサ２６は、図１の方法を実現するよう構成されている。超音波システム１６はステップ３０においてデータを取得し、プロセッサ２６は次いでステップ３２〜３８を実行し、ディスプレイ２８は次いでステップ４０においてイメージを表示する。別の実施形態では、プロセッサ２６は針検出のための図４の方法を実現する。超音波システム１６は、ステップ５０においてデータを取得し、プロセッサ２６は次いでステップ５２〜６０を実行し、ディスプレイ２８は次いでステップ６２においてイメージを表示する。

１シーケンスの他のフレームにおける候補の識別を助けるために、１つのフレームからの複数の部分が他のフレームにおいてトラッキングされても良い。針の一部分が始まると、トラッキングモジュールが後続のフレームにおいて針を連続的に位置づけるために用いられる。トラッキング処理は反復検索問題（iterative search problem）として公式化されている。従前のフレーム内の針部分が与えられると、現在のフレーム内で生成された仮説の間での最良のマッチングが検索される。一実施形態では、２段階仮説生成フレームワーク（two-stage hypotheses generation framework）によって、パフォーマンスを維持しつつ、実行時間が高速化される。第一段階では、最良の線が、全ての線の候補のうちから見いだされる。
式中、ｓ（Ｌ_ｉ）はＬ_ｉに沿った針の尤度（例えばスコア）であり、Φ（Ｌ_ｔ−１，Ｌ_ｉ）は大きな角度変化を避けるための正則化項または空間重みづけである。同様の位置およびスコアを有する線の候補は、他のフレーム内で同じ候補として識別される。

第二段階では、最良の部分（たとえば針の先端）が部分候補のうちから見いだされる：
式中、ｓ（Ｓ_ｉ）はＳ_ｉにおける針の先端の尤度（例えば部分スコア）であり、Φ（Ｓ_ｔ−１，Ｓ_ｉ）は線に沿った針の先端の大きな偏位を避けるための正則化項である。

尤度関数は、フレームシーケンスからの一組の観察により計算される。たとえば、尤度には、最初のフレームと現在のフレームとの間の差分イメージ、従前のフレームと現在のフレームとの間の差分イメージ、ステアリングによるフィルタリングの応答、テンプレートマッチングおよび／またはオプティカルフローが含まれる。テンプレートマッチングは、現在の部分または線情報を、推定される部分または線情報のテンプレートと比較する。オプティカルフローは、観察者とシーン（フレーム）との間の動きの測定である。尤度に関する付加的なまたは異なるスコアまたはより少ないスコアを用いても良い。

（たとえば１つのステアリングビーム方向における）要素フレームにおける検出の代わりにまたはこれに加えて、合成されたフレームについて検出が行われても良い。これらの方法は、３Ｄおよび３Ｄ＋ｔの超音波フレームに適用可能である。３Ｄにおいて、１つのフレームにおける検出アルゴリズムが、３Ｄフィルタリング（たとえば、３Ｄのステアリングによるフィルタリングおよび３Ｄのヘッシアンフィルタリング）とともに適用される。３Ｄ＋ｔのイメージにおいて、時間ドメインにおいて連続的に取得される複数のボリュームにおける検出アルゴリズムが、ボリューム間の基準および動き履歴からの差分を用いて適用されてもよい。３Ｄの線状構造体を検出する際、ピクセル位置および配向も３Ｄである。

本発明は、種々の実施形態を参照して上記に記載したが、本発明の範囲から逸脱すること無く多くの変更および修正をなしうる。したがって、上述の記載は例示的なものであり限定するものではなく、添付の請求項が、すべての均等物を含め、本発明の内容および範囲を定める。

１０ システム、 １２ メモリ、 １６ 超音波システム 、 １８ トランスデューサ、 ２４ 針、 ２６ プロセッサ、 ２８ ディスプレイ

Claims (14)

1. 医用診断用超音波イメージにおいて針を強調するためのプログラムされたプロセッサにより実行可能な命令を表すデータが記録された、コンピュータ読み取り可能な不揮発性記録媒体において、前記記録媒体は、以下の命令すなわち、
   異なるイメージについての、超音波データにより表される、推定される複数の針それぞれについて第１の確率を計算し、
   前記異なるイメージにわたる、推定される針の各組み合わせについての第２の確率を決定し、なお、前記第２の確率は、前記第１の確率および偏位の罰則に基づいており、
   前記第２の確率がしきい値以下である組み合わせを除外し、
   前記異なるイメージについて超音波データの重みづけ合成を行い、なお、前記重みづけ処理は、前記組み合わせの他の１つについての前記第２の確率に基づいており、
   前記重みづけ合成から１つのイメージを生成する、
   ことを含む、コンピュータ読み取り可能な不揮発性記録媒体。
2. 前記計算は、前記超音波データの、ステアリングによるフィルタリングからのフィーチャを、機械学習分類器に入力することを含む、請求項１記載のコンピュータ読み取り可能な不揮発性記録媒体。
3. 従前の除外に基づいて限定された組み合わせについての決定および除外を反復することをさらに含む、請求項１記載のコンピュータ読み取り可能な不揮発性記録媒体。
4. 前記重みづけ合成は、前記第２の確率の正規化を含む、請求項１記載のコンピュータ読み取り可能な不揮発性記録媒体。
5. 前記イメージ生成は、ステアリングによる空間合成イメージの生成を含む、請求項１記載のコンピュータ読み取り可能な不揮発性記録媒体。
6. 前記第１の確率の計算は、線および部分の検出の階層的フレームワークにおいて、推定される針を検出することを含む、請求項１記載のコンピュータ読み取り可能な不揮発性記録媒体。
7. 医用診断用超音波イメージにおいて針を強調するためのシステムであって、前記システムは、
   異なる時点における、患者の領域および当該領域内の針を表すデータを記録するメモリと、
   前記異なる時点の最初の時点における領域を表すデータ内の線候補を識別し、ピクセルに基づいて前記線候補をスコア化し、候補部分についてしきい値を超えるスコアを有する線候補を検索し、前記異なる時点にわたる動きに基づいておよび基準データからの差分に基づいて候補部分をスコア化し、前記候補部分の１つまたは複数に沿ってデータの強度を高めるプロセッサと、
   前記高められた強度に基づいてイメージを表示するディスプレイと、
   を備える、ことを特徴とするシステム。
8. 前記データはデータフレームシーケンスを含む、請求項７記載のシステム。
9. 前記線候補を識別する前記プロセッサは、前記最初の時点についてのデータに、ステアリングによるフィルタリングを施し、前記線候補をスコア化する前記プロセッサは、前記ステアリングによるフィルタリングからの結果に対してハフ変換を適用する、請求項７記載のシステム。
10. 前記ピクセルに基づいて前記線候補をスコア化する前記プロセッサは、各線候補について、前記線候補に沿った各ピクセルのスコアを合計することを含む、請求項７記載のシステム。
11. 前記異なる時点全体にわたる動きに基づいてスコア化するプロセッサは、各候補部分について、端部から前記候補部分を分ける点の前記線候補に沿った一致した動きを識別することを含む、請求項７記載のシステム。
12. 基準データからの差分に基づいてスコア化する前記プロセッサは、前記候補部分に沿って現在のデータフレームから開始データフレームを減算することを含む、請求項７記載のシステム。
13. 前記プロセッサは、前記候補部分の少なくとも１つに基づいて、超音波スキャンのためのビームステアリングを制御する，請求項７記載のシステム。
14. 強度を高める前記プロセッサは、ステアリングによるフィルタリングに対する応答の大きさおよび配向に適合的に基づいた値を加えることを含む、請求項７記載のシステム。