JP6501796B2 - 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴 - Google Patents

Description

特許
本願は2014年5月14日に出願された欧州特許出願第14168298.9号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。

計算機断層撮影（CT）画像についてのモデル・ベースのセグメンテーションでは、セグメンテーションされるべき器官が概して同じ画像の見え方をもつことが想定される。表面モデルの各三角形について、局所的な画像の見え方を記述する境界検出特徴が学習される。超音波画像については、プローブに対するオブジェクトの相対位置または配向が変わると、画像の見え方が変わる。いくつかの応用については、取得プロトコルにおいて（たとえば経胸腔超音波心臓造影図（TTE: Transthoracic Echocardiograms）において）配向を定義することが可能だが、他のプロトコルについては、配向を定義することは可能ではない。これは、胎児超音波画像について特に重要になってくる。胎児は子宮内で自由に動いているため、胎児に対して固定した配向から画像を取得することを要求することは不可能である。正しくない一組の特徴を用いた適応を実行することは、セグメンテーションにおける不正確さを引き起こすことがある。

米国特許第6,443,896号（Detmer） 米国特許第6,530,885号（Entrekin et al.）

本開示は、医療システムに、より詳細には、セグメンテーションのためのオブジェクトの配向に応じてセグメンテーション・モデルを選択するよう構成された超音波撮像システムに関する。

本願の原理によれば、モデル・ベースのセグメンテーション・システムは複数のクラスターを含み、各クラスターは、セグメンテーションされるべきターゲットの配向を表わすよう形成される。一つまたは複数のモデルが各クラスターと関連付けられ、前記一つまたは複数のモデルは前記クラスターの配向と関連付けられた少なくとも一つのアスペクトを含む。比較ユニットが、メモリ記憶媒体において構成され、超音波画像をそれらのクラスターと比較して、最もよくマッチする配向を決定するよう構成され、その最もよくマッチする配向をもつクラスターに基づいて前記一つまたは複数のモデルを選択するよう構成される。モデル適応モジュールが、前記一つまたは複数のモデルを超音波画像に適応させるよう構成される。

もう一つのモデル・ベースのセグメンテーション・システムは、デジタル的にセグメンテーションされるべき子宮内胎児の配向を表わすために形成された超音波画像の複数のクラスターを含む。一つまたは複数のモデルが各クラスターと関連付けられ、前記一つまたは複数のモデルは前記クラスターの配向と関連付けられた少なくとも一つのアスペクトを含み、前記少なくとも一つのアスペクトは胎児の見え方モデルを含む。比較ユニットが、メモリ記憶媒体において構成され、胎児の超音波画像をそれらのクラスターと比較して、最もよくマッチする配向を決定するよう構成され、その最もよくマッチする配向をもつクラスターに基づいて前記一つまたは複数のモデルを選択するよう構成される。モデル適応モジュールが、前記一つまたは複数のモデルを超音波画像に適応させるよう構成される。

モデル・ベースの画像セグメンテーションのための方法は、セグメンテーションされるべきターゲットに対する超音波プローブの配向を判別する段階と；一つまたは複数のモデルを画像トレーニングされたクラスターと関連付ける段階であって、前記一つまたは複数のモデルは前記クラスターの配向と関連付けられた少なくとも一つのアスペクトを含む、段階と；超音波画像をそれらの画像トレーニングされたクラスターと比較して、最もよくマッチする配向を決定する段階と；その最もよくマッチする配向をもつ画像トレーニングされたクラスターに基づいて前記一つまたは複数のモデルを、前記超音波画像へのモデル適応のために選択する段階とを含む。

ある種の側面では、本発明はさらに、モデル・ベースの画像セグメンテーションのためのシステムであって、命令を含むことができる、システムを含む。前記命令は、実行されたときに、前記システムに、セグメンテーションされるべきターゲットに対する超音波プローブの配向を定義する入力データを受領する段階と；一つまたは複数のモデルを画像トレーニングされたクラスターと関連付ける段階であって、前記一つまたは複数のモデルは前記クラスターの配向と関連付けられた少なくとも一つのアスペクトを含む、段階と；超音波画像をそれらの画像トレーニングされたクラスターと比較して、最もよくマッチする配向を決定する段階と；その最もよくマッチする配向をもつ画像トレーニングされたクラスターに基づいて前記一つまたは複数のモデルを、前記超音波画像へのモデル適応のために選択する（５１２）段階と；前記超音波プローブとの関係での前記セグメンテーションされるべきターゲットの配向を識別する段階とを実行させるものである。超音波画像は、前記ターゲットに対する前記超音波プローブの前記配向に依存して、異なる配向において表示される胎児の解剖学的特徴を含むことができる。

本開示のこれらおよび他のオブジェクト、特徴および利点は、付属の図面との関連で読まれるべき、その例示的実施形態の以下の詳細な説明から明白となるであろう。

本開示は、以下の図面を参照して、好ましい実施形態の以下の記述を詳細に呈示する。
本願の原理に基づく、画像クラスターをトレーニングするよう構成された超音波撮像システムを示すブロック図／流れ図である。 本開示の例示的実施形態に基づく、配向モデルおよび超音波撮像システムを用いるモデル・ベースのセグメンテーション・システムを示すブロック図／流れ図である。 子宮内胎児の超音波画像を示し、本願の原理に従って胎児に対する撮像プローブの相対配向を示す図である。 本願の原理に基づく、子宮内胎児についての三つの例示的な超音波画像クラスターを示す図である。 本願の原理に基づく、子宮内胎児についての三つの例示的なモデルおよびそれぞれのアスペクト（たとえば、形および見え方モデル）を示す図である。 例示的実施形態に基づく、適切なモデルを決定するために画像クラスターを使う、ターゲットのセグメンテーション方法を示す流れ図である。

本願の原理によれば、モデル（単数または複数）の適応を実行するために、より正確なモデル選択を使って、モデル・ベースのセグメンテーションが実行される。超音波撮像では、撮像プローブは撮像データを収集する。撮像データは、プローブの配向に基づいて異なる仕方で見えることがある。すなわち、画像の見え方は、プローブに対する撮像されるオブジェクトの位置または配向が変わるときに変化する。ある実施形態では、胎児超音波画像が収集される。胎児は子宮内で自由に動くので、胎児に対する固定した方位から取得されるべき画像を定義するのは著しく困難である。たとえば、ユーザーは、胎児の頭部の左側を撮像しているのか右側を撮像しているのかを容易に識別することができないことがある。本願の原理によれば、プローブに対する胎児の配向に従って、解剖学的特徴が選ばれる。たとえば、胎児に対してプローブがどのような配向であるかを識別するのを支援するために、右耳が選ばれることができる。本発明のモデルのトレーニング・フェーズにおいて、種々の配向の画像が、画像の種々のクラスターにクラスタリングされ、各クラスターについて、撮像プローブに対して胎児の種々の配向を説明する特徴がトレーニングされる。本発明のモデルのセグメンテーション・フェーズでは、特定の配向に関連付けられた諸画像の最も近い配向クラスターが決定され、画像中の胎児の位置に最もよくマッチするどのセグメンテーション・モデルが用いられるべきかをリアルタイムで選択するために用いられる。モデル・ベースのセグメンテーションは、胎児または他のターゲットに対して実行されることができる。それにより、モデル（単数または複数）を画像に適応させ、モデル（単数または複数）に従って画像（単数または複数）を解析する。適切なモデルを選択することにより、リアルタイムで、セグメンテーション精度が改善され、画像処理時間が短縮される。

本発明は医療システムとの関連で記述されるが、本発明の教示はずっと広く、方向性の撮像を用いるいかなるシステムにも適用可能であることは理解されるはずである。いくつかの実施形態では、本願の原理は、複雑な生物システムまたは機械システムを追跡または解析することにおいて用いられる。特に、本願の原理は、肺、胃腸管、子宮、心臓、子宮内胎児、排泄器官、血管などといった身体のあらゆる領域における生物システムの内部追跡手順に適用可能である。図面に描かれる要素は、ハードウェアおよびソフトウェアのさまざまな組み合わせにおいて実装されてもよく、単一の要素または複数の要素において組み合わされうる諸機能を提供しうる。

図面に示されるさまざまな要素の機能は、専用のハードウェアならびに適切なソフトウェアとの関連でソフトウェアを実行できるハードウェアの使用を通じて提供されることができる。プロセッサによって提供されるとき、それらの機能は単一の専用プロセッサによって、単一の共有プロセッサによって、あるいは一部が共有されていてもよい複数の個々のプロセッサによって提供されることができる。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行する機能をもつハードウェアのみを指すものと解釈すべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（DSP）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（ROM）、ランダム・アクセス・メモリ（RAM）、不揮発性記憶などを含むことができる。

さらに、本発明の原理、側面および実施形態ならびにその個別的な例を記載する本稿のあらゆる陳述は、その構造上および機能上の等価物をいずれも包含することを意図されている。さらに、そのような等価物が現在知られている等価物および将来開発される等価物の両方を含むことが意図される。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物（すなわち構造に関わりなく同じ機能を実行する任意の要素）の両方を含むことが意図されている。よって、たとえば、当業者は、本稿で呈示されるブロック図が本発明の原理を具現する例示的なシステム・コンポーネントおよび／または回路の概念的な図を表していることを理解するであろう。同様に、あらゆるフローチャート、流れ図などがさまざまなプロセスを表しており、かかるプロセスは実質的にコンピュータ可読記憶媒体中に表現でき、よってコンピュータやプロセッサが明示的に示されているか否かによらず、コンピュータまたはプロセッサによって実行できることも理解されるであろう。

さらに、本発明の実施形態は、コンピュータまたは任意の命令実行システムによるまたはそれと関連した使用のためのプログラム・コードを提供するコンピュータ使用可能なまたはコンピュータ可読な記憶媒体からアクセス可能なコンピュータ・プログラム・プロダクトの形を取ることができる。本稿の目的のためには、コンピュータ使用可能なまたはコンピュータ可読な記憶媒体は、命令実行システム、装置またはデバイスによるまたはそれと関連した使用のために該プログラムを含む、記憶する、通信する、伝搬させるまたは転送することができる任意の装置であることができる。媒体は、電子的、磁気的、光学的、電磁的、赤外線または半導体システム（または装置またはデバイス）または伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体または固体メモリ、磁気テープ、リムーバブル・コンピュータ・ディスケット、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、剛性磁気ディスクおよび光ディスクを含む。光ディスクの現在の例は、コンパクトディスク‐読み出し専用メモリ（CD-ROM）、コンパクトディスク‐読み書き型（CD-R/W）、ブルーレイ（商標）およびDVDを含む。

ここで図面を参照する。図面において、同様の番号は同じまたは類似の要素を表わす。まず図１を参照するに、本願の原理に従って構築された超音波撮像システム１０がブロック図の形で示されている。図１の超音波診断撮像システムでは、超音波プローブ１２は、超音波を送信し、エコー情報を受信するためのトランスデューサ・アレイ１４を含む。多様なトランスデューサ・アレイが当技術分野においてよく知られている。たとえば、線形アレイ、凸アレイまたはフェーズドアレイである。トランスデューサ１４はたとえば、2Dおよび／または3D撮像のために、上下および方位角の次元方向両方において走査することができるトランスデューサ素子の二次元アレイ（図のような）を含むことができる。トランスデューサ・アレイ１４は、アレイ内のトランスデューサ素子による信号の送信および受信を制御する、プローブ１２内のマイクロビームフォーマー１６に結合される。この例では、マイクロビームフォーマー１６はプローブ・ケーブルによって送受切り換えスイッチ（T/Rスイッチ）１８に結合されている。このT/Rスイッチが送信と受信の間で切り換えを行ない、主ビームフォーマー２２を高エネルギーの送信信号から保護する。いくつかの実施形態では、T/Rスイッチ１８およびシステム内の他の要素は、別個の超音波システム・ベースではなく、トランスデューサ・プローブに含まれることができる。マイクロビームフォーマー１６の制御のもとでのトランスデューサ・アレイ１４からの超音波ビームの送信は、ユーザー・インターフェースまたはコントロール・パネル２４のユーザーの操作から入力を受領する、ビームフォーマー２２およびT/Rスイッチ１８に結合された送信コントローラ２０によって指揮される。送信コントローラ２０によって制御される機能の一つは、ビームが操縦される方向である。ビームはトランスデューサ・アレイから真正面に（直交方向に）、あるいはより広い視野のために異なる角度で方向制御されてもよい。マイクロビームフォーマー１６によって生成された部分的にビームフォーミングされた信号が主ビームフォーマー２２に結合され、そこでトランスデューサ素子の個々のパッチからの部分的にビームフォーミングされた信号が組み合わされてフルにビームフォーミングされた信号になる。

ビームフォーミングされた信号は信号プロセッサ２６に結合される。信号プロセッサ２６は、帯域通過フィルタリング、間引き、IおよびQ成分分離および高調波信号分離といったさまざまな仕方で受信されたエコー信号を処理できる。信号プロセッサ２６は、スペックル削減、信号複合化（signal compounding）およびノイズ消去といった追加的な信号向上をも実行してもよい。処理された信号はBモード・プロセッサ２８に結合される。Bモード・プロセッサ２８は、身体中の構造の撮像のために、振幅検出を用いることができる。Bモード・プロセッサによって生成された信号はスキャン・コンバーター３０および多断面再構成器（multiplanar reformatter）３２に結合される。スキャン・コンバーター３０は、所望される画像フォーマットにおいて、エコー信号を、該エコー信号がそこから受領された空間的関係において配列する。たとえば、スキャン・コンバーター３０はエコー信号を二次元（2D）の扇形フォーマットまたは角錐状の三次元（3D）画像に配列してもよい。多断面再構成器３２は、特許文献１に記載されるように、身体の体積領域における共通平面内の諸点から受領されるエコーをその平面の超音波画像に変換できる。特許文献１の内容はここに参照によってその全体において組み込まれる。体積レンダラー３４は、3Dデータセットのエコー信号を、所与の基準点から見た投影された3D画像に変換する。これはたとえば特許文献２に記載される。特許文献２の内容はここに参照によってその全体において組み込まれる。2Dまたは3D画像は、画像ディスプレイ３８上での表示のためのさらなる向上、バッファリングおよび一時的記憶のために、スキャン・コンバーター３０、多断面再構成器３２および体積レンダラー３４から画像プロセッサ３６に結合される。グラフィック・プロセッサ３６は、超音波画像と一緒に表示するためのグラフィック・オーバーレイを生成できる。これらのグラフィック・オーバーレイは、たとえば患者名、画像の日時、撮像パラメータなどといった標準的な識別情報を含むことができる。これらの目的のために、グラフィック・プロセッサ４０はユーザー・インターフェース２４から、タイプされた患者名のような入力を受領する。ユーザー・インターフェースは、複数の多断面再構成された（MPR）画像の表示の選択および制御のために、多断面再構成器３２にも結合されることができる。ある種の実施形態では、ディスプレイは、撮像されるターゲットに対してプローブがどのように配向されているかをユーザーに示すよう、たとえば、左耳の代わりに胎児の右耳との関係でプローブを示すよう、ユーザーに対してインジケータを示すよう構成されることができる。配向の識別は、本稿に記載される方法を使って実行されることができ、次いで、ディスプレイは、その情報から、ユーザーが解釈するためにインジケータを表示することができる。インジケータは、撮像されているターゲット（たとえば胎児）との関係で超音波プローブがどこに位置されているかを同定する入力データを受領することを通じてソフトウェアで実装されることができる。インジケータはたとえば、ターゲットに対する空間内でのプローブの配向および／またはデジタル表現の画像を同定する矢印、テキストを含むことができる。

メモリ・ユニットまたはシステム４２は、プロセッサ２６、２８、３６、４０または撮像システム１０の他の任意のコンポーネントのうちの一つまたは複数についてのデータまたは出力を記憶するための非一時的な記憶媒体を含んでいてもよい。ある特に有用な実施形態では、システム１０は、トレーニング・システムおよび撮像システムとして用いられてもよい。そのような場合、メモリ４２は、画像処理の間にターゲットの位置を決定するためのトレーニング・データを記憶するよう構成されたトレーニング・データベース４４を含んでいてもよい。トレーニング・データは、分類器４６によってクラスタリングされて、ターゲットの可能な位置に関係した諸クラスターを形成する。ある個別的な有用な実施形態では、分類器４６は、胎児の位置に基づいてクラスター４８を形成する。たとえば、一つのクラスターは、鼻のパースペクティブを含む複数の画像に基づいていてもよく、一つのクラスターは、横パースペクティブ（クラスター数を減らすため、左または右を含み、一方のセットは反転させる）を含む複数の画像に基づいていてもよく、一つのクラスターは、後頭部パースペクティブを含む複数の画像に基づいていてもよい、などである。用途に依存して（より多くてもより少なくても）いくつのクラスターが形成されてもよいことを注意しておくべきである。分類器４６は、トレーニングされたデータを収集された画像に対してスコア付けするまたはマッチングすることを、より簡単かつより正確にするため、画像内の特徴に重み付けを適用するよう構成されていてもよい。

トレーニング・データベース４４および分類器４６は、システムがトレーニングのために構成されていない場合には、システム１０から省略されてもよいことは理解されるはずである。その場合、システム１０は、別の時点で別のシステムによって収集されたトレーニング・データから導出されたクラスター４８を含むことになる。メモリ４２は、図１に描かれた要素の一つまたは複数に対してサービスし、それに結合されてもよい。

超音波撮像システム１０のトレーニング・データは処理システムまたはワークステーション１００（図２）に提供される。ワークステーション１００は、その中に撮像システム１０を含んでいてもよく、あるいは撮像システム１０は別個のユニットであってもよい。超音波撮像システム１０は、システム・モデルのトレーニングにおいて、およびリアルタイム画像の撮影のために用いられてもよい。これについては後述する。

図２を参照するに、ある実施形態に基づく処理システム１００が例示的に示されている。システム１００は、ワークステーションまたはコンソール１１２を含んでいてもよく、そこから手順が監督および／または管理される。ワークステーション１１２は好ましくは一つまたは複数のプロセッサ１１４と、プログラムおよびアプリケーションを記憶しているメモリ１１６とを含む。メモリ１１６は、モデルを構築するために用いられるトレーニング・データを記憶するよう構成されたトレーニング・データベース１１８を記憶していてもよい。

モデル・ベースのセグメンテーションのために、モデル（単数または複数）１４０は複数のアスペクト（aspect）を含む。ある実施形態では、モデルは、形状（shape）モデル１４２および見え方〔アピアランス〕（appearance）モデル１４４という少なくとも二つのアスペクトを含む。形状モデル１４２および／または見え方モデルの両方は、モデルのトレーニング・フェーズにおいてトレーニングされて、クラスター４８に対応する位置または配向をもつモデルを提供してもよい。形状モデル１４２は、セグメンテーションされるべきオブジェクトまたはターゲットの形状を記述する。形状モデル１４２は期待される形状を含み、ターゲットの期待される変形（variations）を含んでいてもよい。形状モデル１４２は要素のメッシュを含んでいてもよく、一つの具体例では、三角形のメッシュを含んでいてもよい。他の形の形状モデルおよび／またはメッシュ要素が使われてもよい。見え方モデル１４４では、期待される見え方がエンコードされる。メッシュの各エンティティ（三角形）について、それぞれの領域において画像がどのように見えるかが学習される。見え方モデル１４４は画像／ピクセル強度、勾配、テクスチャーなどについて情報を含んでいてもよい。

これらのモデル・アスペクト（たとえば形状モデル１４２および／または見え方モデル１４４）はそれぞれ複数のインスタンス１４６および１４８を含んでいてもよい。諸インスタンス１４６は、ターゲット１３２（たとえば子宮内胎児）の種々の位置に対応する完全なモデルを提供してもよい。モデルのこれらのインスタンス１４６および１４８は、クラスター４８内で提供されるクラスタリングされた位置に従ってトレーニングされる。

モデル適応およびセグメンテーションの間に、被験体１３０から画像を収集するために超音波撮像プローブ１２が用いられる。ある特に有用な実施形態では、被験体１３０は患者を含み、ターゲット１３２は胎児を含む。胎児は子宮内で自由に動くので、胎児の正確かつ効率的なセグメンテーションを提供するためには、胎児の位置を決定する必要がある。胎児（または他の動的なターゲット）の初期の諸画像から、胎児１３２に対するプローブ１２の位置／配向が決定できる。プローブ１２の位置は、医用デジタル撮像・通信（DICOM: Digital Imaging and Communications in Medicine）ヘッダに含まれるメタデータ（または他の格納されているデータ）に基づいて、画像処理方法に基づいて、画像中のプローブ１２および／または胎児１３２の目視による評価に基づいて、などで決定できる。プローブ１２の位置は、プローブ１２に対する胎児の配向に従って画像特徴を選ぶために用いられる。胎児の見え方はプローブ配向およびプローブ１２に対する胎児の位置とともに変化するので、胎児の位置を決定する必要がある。これは、収集された諸画像特徴を諸クラスター４８内の諸特徴と比較する画像処理によって実行できる。トレーニング・フェーズから、胎児配向はクラスタリングされ、各クラスターについて、特徴がトレーニングされる。探索された特徴に基づいて最も高い類似性スコアをもつクラスターが、所与の画像における胎児の配向として選択される。いくつかの実施形態では、システムは、胎児の位置を評価してその画像についての位置／配向を入力しうるユーザーからのユーザー入力を受け入れ、それにより、撮像されているターゲットとの関係でプローブがどんな配向にありうるかの追加的な示唆を提供することができる。

選択されたクラスターは、関連付けられたモデル・インスタンス（単数または複数）（たとえば１４６および１４８）をもつ。このモデル・インスタンスは、胎児に対するモデルの適正な配向を保証するためにリアルタイムでオンザフライで選択される。リアルタイムでのモデルの選択は、計算時間、オペレーター介入を低減し、その後のセグメンテーション・プロセスの精度を改善する。その後、選択されたモデルは、モデル・ベースのセグメンテーションにおいて用いられることができる。そこでは、ターゲット１３２（たとえば胎児）の測定および解析が実行できる。いくつかの実施形態では、セグメンテーションされた画像は、胎児サイズ、脳体積などの測定を許容する。

ワークステーション１１２は、被験体（患者）１３０または体積／ターゲット１３２の内部画像を見るためのディスプレイ１３８を含んでおり、超音波画像１３４を含んでいてもよい。ただし、他の型の画像が用いられてもよい。ディスプレイ１３８は、ユーザーがワークステーション１１２およびそのコンポーネントおよび機能またはシステム１００内の他の要素と対話することをも許容してもよい。これは、インターフェース１２０によってさらに容易にされる。インターフェース１２０はキーボード、マウス、ジョイスティック、触覚デバイスまたはフィードバックおよび／またはユーザーのワークステーション１１２との対話を許容する他の任意の周辺機器もしくはコントロールを含んでいてもよい。

ワークステーション１１２は、収集された画像における体積または平面を定義するよう画像または画像の諸部分をセグメンテーションすることができるセグメンテーション・モジュール１２２を含んでいる。ターゲットのリアルタイム画像または記憶された画像を解釈するために、同じまたは異なるワークステーション１１２が用いられてもよい。簡単のため、ワークステーション１１２はモデルをトレーニングすることおよびリアルタイム画像もしくは記憶された画像を画像処理することの両方のために構成されてもよい。本願の原理によれば、画像処理は、画像特徴を同定すること、これらの特徴をクラスターと関連付けて位置／配向を同定すること、クラスターに関連したモデル選択を使って画像をセグメンテーションすること、画像を解析することなどを含んでいてもよい。

セグメンテーション・モジュール１２２は、比較モジュールまたはユニット１２４を含み、超音波画像（収集画像１３４）をクラスター４８と比較して、それらの間の最もよくマッチする配向を決定するよう構成されている。ある実施形態では、超音波画像は、一つまたは複数の画像比較アルゴリズムを使って一つまたは複数のクラスターにおける諸画像と比較されることができる。一般に、当技術分野において知られているいかなる画像比較アルゴリズムが使われてもよい。たとえば、一つの画像を取り、ピクセルまたは他の画像情報を他の画像と比較して、比較される画像および／または諸画像の一部または全部の類似性の度合いを同定する。比較モジュール１２４は、画像をクラスターと比較し、類似性スコアを導出するために画像処理技法を用いてもよい。類似性スコアという用語は簡単のために用いられている。画像差に基づいて画像を消去することなどを含め、いかなる相対的なスコア付けシステムが用いられてもよいことは理解されるはずである。最良の類似性スコアが、選択されたクラスターを同定するために使われる。選択されたクラスターは、最もよくマッチする配向をもつ一つまたは複数のモデルを選択するために用いられる。

モデル適応モジュールまたはユニット１２６は、前記一つまたは複数のモデルを超音波画像に適応させるよう構成されている。適応（たとえばメッシュ生成）は、諸モデルを画像に相関させる既知の諸技法を使って実行されうる。

図３を参照するに、例示的な超音波画像３０２および３０４は、胎児３１４に対するプローブ３１２の位置を示している。トレーニング・フェーズでは、プローブに対する配向に応じて諸画像がクラスタリングされる。たとえば、胎児の頭部３０６は一般に、例示的に描かれているような、左からまたは右からの、二つの異なる横側から取得される。骨盤および大腿骨は前方から、左横側からまたは右横側から取得される。それぞれの配向について、相異なる特徴集合がトレーニングおよびクラスタリングされる。トレーニングは、同じ配向をもつ画像を集め、それらの画像をクラスタリングして、その位置における胎児について典型的である特徴を同定することを含みうる。これらのクラスターは、セグメンテーションされるべきリアルタイム画像に対する自動的な比較を提供するために用いられる。これらのクラスターは、胎児の所与の配向についての典型的な特徴を同定する。比較が実行されるとき、これらのクラスターは、スコア付けされ、最高の類似性スコアがその画像の配向として選択される。

クラスターの数は、所与の用途の目標に基づいて変わりうる。たとえば、クラスターの数は、計算時間を改善するために減らされてもよく、あるいはモデル当てはめの正確さを改善するために増やされてもよい。各クラスターは、それに関連付けられた、一つまたは複数のモデルまたはモデルのアスペクトを含む。

図４を参照するに、例示的な図は、プローブ３１２に対する胎児位置に関連付けられた三つのクラスターを示している。これらのクラスターは、複数の前向き画像をもつ第一のクラスター３２０、複数の横向き画像をもつ第二のクラスター３２２（左横および右横は、一方の側からの画像を、他方の側の画像に対応するよう反転させることによって、一緒にクラスタリングされてもよい）、および／または複数の後頭部画像をもつ第三のクラスター３２４を含んでいてもよい。より多数の（またはより少数の）クラスターが用いられてもよい。クラスターは、その特定の配向における複数の画像からの情報を含む。たとえば、その特定の配向に関連付けられた特徴の記録を生成するために、トレーニング・フェーズにおいて五つ以上の画像が一緒にクラスタリングされる。

図５を参照するに、各クラスターは、関連付けられたモデルまたは諸モデルの諸アスペクトを含む。これらのクラスターは、モデル４０２、４０４および４０６に関連付けられている。この場合、クラスター３２０、３２２および３２４にそれぞれ関連付けられた三つのモデル４０２、４０４および４０６がある。各モデル４０２、４０４および４０６は、表面アスペクトまたはモデル４１０および見え方アスペクトまたはモデル４１２を含む。必要に応じてまたは所望に応じて、追加的なまたは他のモデルが含められてもよい。ある実施形態では、形状モデル４１０は各配向について同じであってもよく、見え方モデル４１２だけが、異なるクラスタリングされた配向について異なっていてもよい。他の実施形態では、モデル４１０および４１２の両方がクラスター配向に基づいて選択される。それらのモデルは次いで、収集された画像への適応のために用いられる。モデル選択プロセスを本願の原理に従って調整することにより、より正確なモデル適応が達成できる。これは、より少ない計算時間、より早いモデル収束およびセグメンテーションされたモデルからの改善された測定精度につながる。

モデル・ベースのセグメンテーションは初期化および適応を含む。初期化の間、画像中のオブジェクトの大まかな位置および配向が決定される。適応の間に、モデルを画像に適応させるために特徴が用いられる。これは、増えていく自由度をもついくつかのサブステップにおいて実行される（剛体、アフィン、マルチアフィン、変形可能（deformable）など）。これらのサブステップは、既知の技法を使って実行されうる。

本願の原理によれば、初期化と適応の中間で追加的な段階（単数または複数）が導入される。第一に、超音波画像におけるプローブの位置が、メタデータまたは画像処理方法から決定される。次いで、プローブに対する初期化されたモデルの相対的な位置および配向が決定される。次いで、トレーニングからの最も近い（最も類似した）配向クラスターが決定され、その配向クラスターに基づく最良モデルに従って特徴が選ばれる。モデルは適応され、モデル・ベースのセグメンテーションが実行されることができる。

本願の実施形態は胎児超音波を使って記述してきた（たとえば胎児超音波プロダクトの一部であることができる）が、本願の原理は、任意のリアルタイム撮像システムを使って、解剖構造の任意の部分に対して用いられてもよい。たとえば、本願の原理は、超音波画像に基づく心臓のモデリングに適用可能である。

図６を参照するに、モデル・ベースの画像セグメンテーションのための方法が、本願の原理に従って例示的に示されている。ブロック５０２では、複数のクラスター（画像トレーニングされたクラスター）をトレーニングするために、システム・トレーニング段階が用いられてもよい。このプロセスは、特定の配向をもつターゲットの諸画像を集め、それらの画像を組み合わせてクラスターを形成することを含んでいてもよい。当技術分野において知られているクラスタリング技法が、クラスターを生成し、記憶するために用いられうる。各クラスターは、撮像プローブまたは他の基準に対するターゲットの異なる配向を表わす。ある実施形態では、セグメンテーションされるべきターゲットは子宮内胎児を含んでいてもよく、前記複数のクラスターは、セグメンテーションされるべきターゲットの複数の位置のそれぞれについての複数の超音波胎児画像を使ってトレーニングされる。

ブロック５０４では、撮像セッションの間に、超音波プローブが、セグメンテーションされるべきターゲットに対するある配向に位置決めされる。プローブの位置は、撮像装置（たとえば超音波プローブ）、DICOMヘッダ、外部設備、オペレーターの経験、位置合わせシステム、追跡センサー、計算などからのメタデータを使ってシステムによって決定または同定されることができる。ブロック５０６では、一つまたは複数のモデルが画像トレーニングされたクラスターと関連付けられる。ここで、モデルの配向はクラスターの配向に対応する。前記一つまたは複数のモデルは一つまたは複数のアスペクトを含む。モデル全体ではなく、アスペクトがクラスターの配向に関連付けられていてもよい。モデルのアスペクトは、形状モデル、見え方モデルなどを含んでいてもよい。たとえば、一つのアスペクトは見え方モデルを含んでいてもよく、該見え方モデルはセグメンテーションされるべきターゲットの種々の見え方配向を含む。別の例では、一つのアスペクトは形状モデルを含み、該形状モデルはセグメンテーションされるべきターゲットについての種々の形状配向を含む。

ブロック５０８では、収集された超音波画像が画像トレーニングされたクラスターと比較されて、最もよくマッチする配向を決定する。これは、自動比較が好ましいものの、目視によって実行されてもよい。ブロック５１０において、比較する段階は、超音波画像の特徴を、画像トレーニングされたクラスターにおける特徴と照合して、類似性スコアを決定することを含んでいてもよい。類似性スコアは、最もよくマッチする配向を決定することにおいて使われてもよい。ここで、画像トレーニングされたクラスターはそれぞれターゲットの配向を表わす。尤度、類似性スコアなどは、画像比較のための当技術分野において既知の技法を使って導出されうる。

ブロック５１２では、前記一つまたは複数のモデルは、超音波画像へのモデル適応のための最もよくマッチする配向をもつ画像トレーニングされたクラスターに基づいて選択される。ブロック５１４では、前記一つまたは複数のモデルは画像に適応される。モデルの選択および／または超音波画像への適応は、超音波撮像セッションの間に、たとえばリアルタイムで実行されてもよい。

付属の請求項を解釈するにあたり、以下のことを理解しておくべきである。
ａ）単語「有する／含む」は所与の請求項に挙げられている以外の他の要素または工程の存在を排除するものではない；
ｂ）要素の単数形は複数のそのような要素の存在を排除するものではない；
ｃ）請求項に参照符号があったとしても、その範囲を限定するものではない；
ｄ）いくつかの「手段」が同一の項目またはハードウェアまたはソフトウェアで実装される構造または機能によって表わされてもよい；
ｅ）工程の具体的なシーケンスは、特に断わりのない限り、必須であることは意図されていない。

超音波画像のモデル・ベースのセグメンテーションのための取得‐配向依存の特徴のための好ましい実施形態（これらは例示的であることが意図されており、限定するものではない）を記述してきたが、上記の教示に照らして当業者は修正や変形をすることができることを注意しておく。したがって、付属の請求項によって概説される本願で開示される実施形態の範囲内である変更が、開示されている本開示の特定の実施形態になされてもよいことは理解しておくものとする。このように特許法令によって求められる詳細さおよび具体さで記述してきたが、特許請求され特許状によって保護されることが所望されるものは、付属の請求項において記載される。

Claims (15)

1. セグメンテーションされるべきターゲットの超音波画像を取得するための超音波プローブに結合されるよう構成された撮像システムと；
   前記撮像システムに動作上関連したメモリとを有する超音波撮像システムであって、前記メモリは：
   超音波画像の複数のクラスターであって、各クラスターは前記超音波プローブに対する前記ターゲットのある配向に関連付けられた複数の画像を含む、複数のクラスターと；
   前記複数のクラスターの各クラスターに関連付けられた一つまたは複数のモデルであって、前記一つまたは複数のモデルは、複数のインスタンスを含む少なくとも一つのアスペクトを含み、各インスタンスはそれぞれのクラスターの配向に関連付けられている、一つまたは複数のモデルとを含み；
   前記メモリはさらに：
   前記超音波プローブを用いて取得された超音波画像を前記複数のクラスターと比較して最もよくマッチする配向を決定するよう構成され、前記最もよくマッチする配向に基づいて少なくとも一つのインスタンスを選択するようさらに構成されている、比較ユニットと；
   前記少なくとも一つのインスタンスを前記超音波画像に適応させ、セグメンテーションされるべき前記ターゲットの配向を同定するよう構成されたモデル適応モジュールと
   のための実行可能命令をさらに有する、
   超音波撮像システム。
2. 前記メモリがさらに、前記一つまたは複数のモデルを構築するためのトレーニング・データを含むトレーニング・データベースをさらに含む、請求項１記載のシステム。
3. セグメンテーションされるべき前記ターゲットは、胎児の解剖学的特徴を含む、請求項１記載のシステム。
4. 前記少なくとも一つのアスペクトはセグメンテーションされるべき前記ターゲットについての見え方モデル、セグメンテーションされるべき前記ターゲットについての形状モデルまたはその両方を含む、請求項１記載のシステム。
5. 前記比較ユニットは、前記超音波画像の特徴を、前記クラスター内の画像における特徴と比較し、前記最もよくマッチする配向を決定するための類似性スコアを決定するよう構成される、請求項１記載のシステム。
6. 前記モデル適応モジュールは、超音波撮像セッションの間に前記少なくとも一つのインスタンスを前記超音波画像に適応させるようさらに構成されている、請求項１記載のシステム。
7. 超音波画像の前記複数のクラスターのそれぞれが、デジタル的にセグメンテーションされるべき画像における子宮内胎児の異なる配向に関連付けられており、
   前記モデルが、前記胎児の見え方モデル、前記胎児の形状モデルまたはその両方を含み、
   前記比較ユニットが、前記胎児の取得された超音波画像を前記複数のクラスターと比較して最もよくマッチする配向を決定するよう構成されており、前記最もよくマッチする配向に基づいて前記複数のモデルからのあるモデルのインスタンスを選択するようさらに構成されており、
   前記モデル適応モジュールが、前記モデルの前記インスタンスを前記胎児の前記取得された超音波画像に適応させるよう構成されている、
   請求項１記載のシステム。
8. 前記比較ユニットは、前記取得された超音波画像の特徴を、前記クラスター内の画像における特徴と比較し、前記最もよくマッチする配向を決定するための類似性スコアを決定するようさらに構成されている、請求項７記載のシステム。
9. 前記モデル適応モジュールは、超音波撮像セッションの間にリアルタイムで前記モデルの前記インスタンスを前記超音波画像に適応させるよう構成されている、請求項７記載のシステム。
10. 超音波プローブを、セグメンテーションされるべきターゲットに対するある配向に位置決めする段階と；
    一つまたは複数のモデルを少なくとも一つの画像トレーニングされたクラスターと関連付ける段階であって、前記一つまたは複数のモデルは前記少なくとも一つの画像トレーニングされたクラスターの配向と関連付けられた少なくとも一つのアスペクトを含む、段階と；
    超音波画像を前記少なくとも一つの画像トレーニングされたクラスターを含む複数のクラスター内の画像と比較して最もよくマッチする配向を決定する段階と；
    前記最もよくマッチする配向に基づいて前記一つまたは複数のモデルを、前記超音波画像へのモデル適応のために選択する段階と；
    前記超音波プローブに対するセグメンテーションされるべき前記ターゲットの配向を同定する段階とを含む、
    超音波画像のモデル・ベースの画像セグメンテーションのための方法。
11. セグメンテーションされるべき前記ターゲットは子宮内胎児を含み、前記複数のクラスターは、前記子宮内胎児の複数の位置のそれぞれについて複数の超音波胎児画像を使ってトレーニングされる、請求項１０記載の方法。
12. 前記少なくとも一つのアスペクトは、それに関連付けられた配向クラスターを使って、セグメンテーションされるべき前記ターゲットについて選択された見え方モデルを含む、請求項１０記載の方法。
13. 前記少なくとも一つのアスペクトは、それに関連付けられた配向クラスターを使って、セグメンテーションされるべき前記ターゲットについて選択された形状モデルを含む、請求項１０記載の方法。
14. 比較することは、前記超音波画像の特徴を、前記画像トレーニングされたクラスターにおける特徴と照合し、前記最もよくマッチする配向を決定することにおいて使われる類似性スコアを決定することを含む、請求項１０記載の方法。
15. 超音波撮像セッションの間に前記一つまたは複数のモデルを前記超音波画像に適応させる段階をさらに含む、請求項１０記載の方法。

Images