JP4885952B2 - 漸進的モデル・ベースの適応 - Google Patents

Description

本発明は、複数のモデル要素を有する変形可能なモデルを、画像データ組における関心オブジェクトに適応させる適応システムに関する。本発明は、上記適応システムを備える画像データ組を獲得する獲得システムに更に関する。本発明は、上記適応システムを備えるワークステーションに更に関する。本発明は、複数のモデル要素を有する変形可能なモデルを、画像データ組における関心オブジェクトに適応させる方法に更に関する。本発明は、複数のモデル要素を有する変形可能なモデルを画像データ組における関心オブジェクトに適応させる命令を備える、コンピュータ装置によってロードする対象のコンピュータ・プログラム・プロダクトに更に関する。

本明細書の冒頭の段落に記載した類の適応方法の実施例は、J. Weese、V. Pekar、M.Kaus、 C.Lorenz、 S.Lobregt、及びR.Truyenによる、「Shape constrained deformable models for ３D medical image segmentation（17th International Conference on Information Processing in Medical Imaging （IPMI）, page 380-387, Davis, CA, USA, 2001, Springer Verlagにおいて公表されている）論文（以下、参考文献１として表す）によって知られている。上記論文には、三角形メッシュによって表される変形可能なモデルを用いた手法が開示されている。メッシュの三角形は、内力によって互いに相互作用する。内力は、モデル変形に逆らう。更に、各三角形は、画像内のその検出された対応する目標位置に、外力によって引き付られる。その意味で、各三角形の位置は、画像によって動く。モデル・エネルギは、互いに対する、三角形の位置に依存する内部エネルギ項と、画像内の対応する検出位置に対する、三角形の位置に依存する外部エネルギ項との和として定義される。２つの項は、前述の内力及び外力それぞれに対応する。モデル・エネルギの最小値では、モデルに作用する力は全て釣り合っており、モデルは、平衡状態にある。変形可能なモデルを表す三角形メッシュの三角形の平衡位置（この位置は、モデル・エネルギの最小値に対応する）を求めることによって、適応させた変形可能なモデルがもたらされる。適応させた変形可能なモデルを用いて、関心物体の形状及び構造を表す。参考文献１において公表されたＣＴ画像の研究の結果によって、変形可能なモデルの表面と、正確な参照セグメンテーションの表面との間の平均距離によって反映されるような、使用された変形可能なモデルの好適な全体的適応が明らかになっている。しかし、変形可能なモデルには、問題となる領域がいくつか存在している。適応させた変形可能なモデルの表面と、関心オブジェクトの正確な基準セグメンテーションの表面との間の距離は、平均距離の数倍を超え得る。

本発明の目的は、変形可能なモデルの、問題となる領域を削減する、本明細書の冒頭段落に記載した類の適応システムを提供することである。

本発明のこの目的は、複数のモデル要素を有する変形可能なモデルを画像データ組における関心オブジェクトに適応させる適応システムが、
画像によって動く少なくとも１つのモデル要素を複数のモデル要素から選択する選択器と、
変形可能なモデルのモデル・エネルギの最適化に基づいて、変形可能なモデルを適応させる適応器とを備え、モデル・エネルギが、複数のモデル要素の内部エネルギ、及び、画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、変形可能なモデルを適応させることで達成される。

複数のモデル要素からのモデル要素は、変形可能なモデルの表面領域に関する情報を有する。表面領域の形状に加えて、モデル要素は通常、表面領域の位置及び向きを有する。モデル要素の例には、変形可能なモデルを表すポリゴン・メッシュのポリゴンがある。本発明の適応システムは、モデル要素に形状、位置及び向きを割り当てることによって、変形可能なモデルを初期化するよう構成される。本発明の適応システムの選択器は、画像データ組と相互作用する、画像によって動く少なくとも１つのモデル要素を選択するよう構成される。モデル要素が、画像によって動くモデル要素か否かに関する情報は、モデル要素において、その表面領域の形状、位置及び向きとともに備えることが可能である。選択器は、この情報を得るよう構成することが可能である。適応器は、例えば、モデル・エネルギの最小値に対応するモデル要素の位置及び向きを計算するためにモデル・エネルギを最適化するよう構成される。モデル・エネルギは、互いに対するモデル要素の位置に依存する内部エネルギ寄与分を備える。更に、モデル・エネルギは、画像データ組に対する、選択器によって選択された、画像によって動くモデル要素の位置に依存する外部エネルギ寄与分を備える。外部エネルギ寄与分の原因である外力は、画像によって動くモデル要素を画像データ組におけるその目標位置、及び／又は偽位置それぞれとの間で引き付け、かつ／又ははねかえすことができる。モデル・エネルギの最小値に対応するモデル要素の位置は、結果として生じる適応させた変形可能なモデルを表す。

画像によって動くモデル要素を適応システムが選択的に選ぶことを可能にすることによって、本発明の適応システムは、適応可能性が低いモデル要素が、画像データ組との相互作用から除外され、かつ、よって、画像データ組によって、誤った位置に引き付けられ、かつ／又は押されることから除外されることを可能にする。画像データ組との相互作用から除外される対象の候補モデル要素は例えば、画像データ組の訓練組に適応させた変形可能なモデルにおいて問題となる領域を識別することによって判定することが可能である。問題となる領域に含まれるモデル要素が、画像データ組と相互作用することを除外することによって、変形可能なモデルの、問題となる前述の領域が削減される。

本発明の適応システムは、変形可能なモデルの、多次元画像データ組（特に、２D、３D、又は４D画像データ組）における関心オブジェクトへの適応に有用である。画像データ組は、多くの撮像モーダリティの何れかから得ることが可能である。画像データ組は例えば、容積測定磁気共鳴撮像（MRI）データ組（すなわち、３D）、時間依存容積測定コンピュータ断層撮影（CT）画像データ組（すなわち、４D）、又はプラナーX線画像（すなわち、２D）であり得る。

モデル・エネルギを最適化する本発明による適応システムの実施例は、モデル力場の最適化に基づいている。モデル・エネルギの勾配場は、モデル力場を一意に規定する。よって、モデル・エネルギの最適化は、力場の最適化によって行うことが可能である。例えば、モデル・エネルギの最小値に対応するモデル要素の位置を求めることは、ナル力場に実質的に相互に等しいモデル力場に対応するモデル要素の位置を求めることに基づいて達成することが可能である。

本発明による適応システムの実施例では、選択器は、画像によって動く少なくとも１つのモデル要素の選択を支援するための計算を行うよう構成される。例えば、選択器は、全モデル要素を、画像によって動くモデル要素として選択するよう構成される。適応器は、適応させた変形可能なモデルをもたらし、結果をもう一度選択器に伝達する最適化モデル・エネルギに対応するモデル要素の位置を計算するよう構成される。選択器は、適応させた変形可能なモデルをいくつかの領域に分割し、例えば、モデル領域、及び下にある画像データ組の類似度を計算することによって、各領域が画像データ組にどの程度うまく合うかを計算するよう構成される。選択器は、特定の所定閾値よりも大きな類似度尺度を有する領域に含まれる表面要素を有するモデル要素を、画像によって動くモデル要素として選択するよう更に構成される。

本発明による適応システムの更なる実施例では、選択器は、画像によって動く少なくとも１つのモデル要素を選択するための入力を受け取るよう構成される。例えば、選択器は、全モデル要素を、画像によって動くモデル要素として選択するよう構成される。適応器は、最適化モデル・エネルギに対応するモデル要素の位置を計算し、適応させた変形可能なモデルを選択器に伝達するよう構成される。選択器は、適応させた変形可能なモデル及び画像データ組を、適応システムに接続された表示装置に出力するよう構成される。ユーザは、適応させた変形可能なモデル、及び表示された画像データ組を視覚的に検査し、変形可能なモデルにおいて問題となる領域を示すことが可能である。例えば、ユーザは、マウスやトラックボールなどの、適応システムに接続されたユーザ入力装置を用いて、問題となる領域を丸で囲むことが可能である。選択器は、ユーザ入力を受け取り、丸で囲んだ領域の外側に含まれる表面要素を有するモデル要素を識別するよう更に構成される。次いで、選択器は、画像によって動くモデル要素として、丸で囲んだ領域の外側に含まれる表面要素を有する識別されたモデル要素を選択するよう構成される。

本発明による適応システムの更なる実施例では、適応システムは、変形可能なモデルを反復的に適応させる反復器を備える。反復器は、反復処理を終結させるための条件を計算するよう構成される。条件が満たされない場合、反復器は、適応処理を続行するよう構成される。条件が満たされた場合、反復器は、適応処理を終結させるよう構成される。

本発明による適応システムの更なる実施例では、適応システムは、複数のモデル要素それぞれの適応次数を判定する次数付け装置を備え、選択器は、適応次数に基づいて、かつ、反復サイクルに基づいて、画像によって動く少なくとも１つのモデル要素を選択するよう構成される。次数付け装置は、各モデル要素の適応次数を判定するよう構成される。選択器は、各モデル要素の適応次数を反復数と比較するよう構成される。反復数が、モデル要素の適応次数以上の場合、選択器は、このモデル要素を、画像によって動くモデル要素として選択するよう構成される。

本発明による適応システムの更なる実施例では、複数のモデル要素それぞれの適応次数は、複数のモデル要素それぞれの品質の尺度に基づいて判定される。モデル要素に含まれる特徴関数は、モデル要素が、画像によって動く要素である場合、変形可能なモデル適応中に、変形可能なモデルを引きつけるモデル要素の目標位置を計算するために用いられる。特徴関数は、モデル要素毎に最適化される。最適化された特徴関数の品質は、計算される目標位置の品質を判定し、モデル要素を、画像によって動くモデル要素とみなすために用いられる。

本発明による適応システムの更なる実施例では、適応システムは、複数のモデル要素それぞれの適応次数に基づいて複数のモデル要素それぞれを視覚化する視覚化器を備える。視覚化器は、一意のコード（例えば、色コード）を各適応次数に割り当てるよう構成される。モデル要素に対応する色コードは、モデル要素の表面要素に施される。視覚化器は、適応システムに接続された表示装置に、色コード化された変形可能なモデルを伝達し、それによって、変形可能なモデルの種々の領域の適応可能性を視覚化するよう構成される。

本発明による適応システムの更なる実施例では、適応システムは、適応させた変形可能なモデルに基づいて画像データ組におけるオブジェクトをセグメント化するセグメント化装置を備える。オブジェクトをセグメント化するセグメント化装置は、適応させた変形可能なモデルを用いて、モデル・ベースの画像セグメント化を行うことができる。

本発明の更なる目的は、変形可能なモデルの、問題となる領域を削減する、冒頭段落に記載した類の獲得システムを提供することである。これは、複数のモデル要素を備えた変形可能なモデルを画像データ組に適応させる適応システムを獲得システムが備えることで達成される。適応システムは、
画像によって動く少なくとも１つのモデル要素を複数のモデル要素から選択する選択器と、
変形可能なモデルのモデル・エネルギの最適化に基づいて、変形可能なモデルを適応させる適応器とを備える。モデル・エネルギは、複数のモデル要素の内部エネルギ、及び、画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、変形可能なモデルを適応させる。

本発明の更なる目的は、変形可能なモデルの、問題となる領域を削減する、本明細書の冒頭段落に記載した類のワークステーションを提供することである。これは、オブジェクト・モデルを画像データ組に適応させる適応システムを備えることで達成される。適応システムは、
画像によって動く少なくとも１つのモデル要素を複数のモデル要素から選択する選択器と、
変形可能なモデルのモデル・エネルギの最適化に基づいて、変形可能なモデルを適応させる適応器とを備え、モデル・エネルギは、複数のモデル要素の内部エネルギ、及び画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、変形可能なモデルを適応させる。

本発明の更なる目的は、変形可能なモデルの、問題となる領域を削減する、本明細書の冒頭段落に記載した類の方法を提供することである。これは、方法が、
画像によって動く少なくとも１つのモデル要素を複数のモデル要素から選択する選択工程と、
変形可能なモデルのモデル・エネルギの最適化に基づいて、変形可能なモデルを適応させる適応工程とを備えることで達成される。モデル・エネルギは、複数のモデル要素の内部エネルギ、及び、画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、変形可能なモデルを適応させる。

本発明の更なる目的は、変形可能なモデルの、問題となる領域を削減する、本明細書の冒頭段落に記載した類のコンピュータ・プログラム・プロダクトを提供することである。これは、コンピュータ装置（処理装置及びメモリを備える）によってロードされる対象のコンピュータ・プログラム・プロダクト（複数のモデル要素を備える変形可能なモデルを、オブジェクト・モデル組における関心オブジェクトに適応させる旨の命令を備える）は、ロードされた後、画像によって動く少なくとも１つのモデル要素を複数のモデル要素から選択するタスクと、変形可能なモデルのモデル・エネルギの最適化に基づいて、変形可能なモデルを適応させるタスクとを行うための機能を処理装置に提供することで達成される。モデル・エネルギは、複数のモデル要素の内部エネルギ、及び、画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、変形可能なモデルを適応させる。

前述の獲得システム、ワークステーション、方法、及び／又はコンピュータ・プログラム・プロダクト（適応システムの修正及びその変形に対応する）の前述の修正及び変形は、当業者によって本明細書及び特許請求の範囲に基づいて行うことが可能である。

本発明による適応システム、獲得システム、ワークステーション、方法、並びにコンピュータ・プログラムの前述及びその他の局面は、以下に表す実現形態及び実施例から、かつ、添付図面を参照して、明らかになり、それらによって明らかにされる。

同じ部分は、添付図面を通して同じ参照符号を用いて表す。

図１は、本発明による適応システムの機能を示す。図1(a)は、初期化された骨格モデル１１０の例を示す。骨格オブジェクト１００は、大腿骨骨片を表す。初期化された骨格モデル１１０は、骨格オブジェクト１００に大局的に合う訳でない。骨格モデル１１０の上部（すなわち、破線１２０より上の骨格モデル領域）はうまく初期化されている一方、骨格モデル１１０の下部（すなわち、破線１２０より下にある骨格モデル領域）はその正しい位置から離れている。よって、画像内の骨格モデルを表す三角形メッシュからの三角形の目標位置を検出する、参考文献１に開示された手法を用いれば、骨格モデルの上部からの三角形の目標位置が高精度に推定される。しかし、参照文献１の手法を用いて推定された、骨格モデルの下部からの三角形の目標位置の多くは誤りになる。よって、骨格モデル１１０の下部は、問題となる領域であり、この下部領域にあるモデル要素は、画像によって動く適応から除外すべきである。骨格モデル１００の上部にある、うまく初期化されたモデル要素のみが、画像によって動くモデル要素になるべきである。適応中、前述のモデル要素は、画像内の検出された目標位置に引き付けられる。骨格モデルの下部における三角形は、内力と互いに相互作用する。例えば参考文献１（Section 2.3 式(8)）において定義された内部エネルギから導き出すことが可能な前述の力は、骨格モデルの形状を維持する傾向にある骨格モデルの変形に逆らう。目標位置によって引き付けられる三角形に隣接した三角形のみが、目標位置によって引き付けられる三角形との内部相互作用によって特定の中間的な吸引を受ける。

図1(b)は、骨格モデル、及び適応後の図1(a)の骨格オブジェクトを示す。骨格モデルのうまく初期化された上部はここでは、骨格オブジェクトの対応する上部にうまく合っている。更に、骨格モデルの上部に隣接した領域は、骨格オブジェクトによく合っている。これは、正しい目標位置に比較的近い隣接した領域における三角形を移し、骨格モデルの形状を維持するよう下部の三角形を回転させる内力による。したがって、骨格モデル１３０の新たな上部（すなわち、破線１４０より上の骨格モデル領域）は、骨格オブジェクト１００にうまく適応させている。この部分はここでは、図１(a)における骨格モデルの比較的うまく初期化された上部よりもかなり大きい。

反復的に適応処理を繰り返すことによって、骨格モデル全部が骨格オブジェクト100によく適応させた状態になるまで、骨格モデル110のよく適応させた部分を増やすことが可能である。

図２は、複数のモデル要素を有する変形可能なモデルを、画像データ組における関心オブジェクトに適応させる適応システム２００の実施例を略示する。このシステムは、
画像データ組における変形可能なモデルを初期化する初期化器２１０と、
複数のモデル要素からの、画像によって動く少なくとも１つのモデル要素を選択する選択器２２０と、
変形可能なモデルのモデル・エネルギの最適化に基づいて変形可能なモデルを適応させる適応器２３０とを備え、モデル・エネルギは、複数のモデル要素の内部エネルギ、及び画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、変形可能なモデルを適応させる。任意的には、適応システム２００は、
変形可能なモデルを反復的に適応させる反復器２４０と、
複数のモデル要素それぞれの適応次数を判定する次数付け装置２５０と、
複数のモデル要素それぞれの適応次数に基づいて複数のモデル要素それぞれを視覚化する視覚化器２６０と、
画像データ組、変形可能なモデル、及び／又は、適応させた変形可能なモデルなどのデータを記憶するメモリ装置２７０と、
適応システム２００の装置との間でデータを受け取り、供給するメモリ・バス２７５とを更に備える。

図２に示す適応システム２００の実施例では、入力データに対する３つの入力コネクタ２８１、２８２及び２８３が存在している。第１の入力コネクタ２８１は、ハード・ディスクや磁気テープなどのデータ記憶装置からデータを受け取るよう構成される。第２の入力コネクタ２８２は、マウスやタッチ画面などのユーザ入力装置によって入力されるデータを受け取るよう構成される。第３の入力コネクタ283は、キーボードなどのユーザ入力装置によって入力されるデータを受け取るよう構成される。入力コネクタ２８１、２８２及び２８３は、入力制御装置２８０に接続される。

図２に示す適応システム２００の実施例では、出力データに対する２つの出力コネクタ291、及び292が存在している。第１の出力コネクタ291は、ハード・ディスクや磁気テープなどのデータ記憶装置にデータを出力するよう構成される。第２の出力コネクタ２９２は、データを表示装置に出力するよう構成される。出力コネクタ２９１及び２９２は、当該データを出力制御装置２９０から受け取る。

適応システム２００の入力コネクタ２８１、２８２及び２８３に入力装置を接続し、その出力コネクタ２９１及び２９２に出力装置を接続するためのやり方が多く存在していることを当業者は理解するであろう。前述のやり方は、限定列挙ではないが、無線及び有線接続、ディジタル・ネットワーク（ローカル・エリア・ネットワーク（LAN）やワイド・エリア・ネットワーク（WAN）など）、インターネット、ディジタル電話ネットワーク、及びアナログ電話ネットワークを含む。

メモリ装置２７０は、入力コネクタ２８１、２８２及び２８３の何れかを介して外部装置から入力データを受け取り、受け取られた入力データを記憶するよう構成される。データをメモリ装置２７０にロードすることによって、適応システム２００の他の装置による、適切なデータ部分に対するすばやいアクセスを適応システム２００に可能にする。入力データは、画像データ組及び変形可能なモデル・データを含み得る。メモリ装置２７０は、ランダム・アクセス・メモリ（RAM）、リード・オンリー・メモリ（ROM）や、ディスク・ドライブを備えたハード・ディスクなどの装置によって実現することが可能である。例えば、メモリ装置２７０は、画像データ組を記憶するRAM、及び変形可能なモデルの収集物を記憶するROMを含み得る。メモリ装置２７０は、画像データ組や変形可能なモデルなどのデータをメモリ・バス２７５を介して適応システム２００の装置に配信するよう構成される。あるいは、画像データ組やその他のデータを、適応システム２００の装置に直接、前述の装置によって要求される場合に、入力コネクタ２８１、２８２及び２８３の何れかを介して少なくとも１つの外部装置から供給することが可能である。前述に加えて、メモリ装置２７０は、初期化器２１０、選択器２２０、適応器２３０、反復器２４０、次数付け装置２５０、及び視覚化器２６０を含む、システムの他の装置との間でメモリ・バス２７５を介してデータを受け取り、供給するよう構成される。
本発明による適応システム２００の実施例では、適応システム２００の設定中に、画像データ組がメモリ装置２７０にロードされる。次いで、ユーザは、画像データ組に適応させる対象の変形可能なモデルを選択する。初期化器２１０は、変形可能なモデルを初期化するよう構成される。初期化は例えば、関心のオブジェクトの近くでの、変形可能なモデルの配置、変形可能なモデルの厳密な適応、及び変形可能なモデルのスケーリングを伴い得る。前述の処理は、ユーザ相互作用を伴い得る。あるいは、配置、厳密な適応、及びスケーリングを自動的に行うことが可能である。任意的には、変形可能なモデルの局所アフィン変換などの他の初期化手法も用いることが可能である。初期化された変形可能なモデルは、メモリ装置２７０に記憶される。

選択器２２０は、画像によって動く少なくとも１つのモデル要素を複数のモデル要素から選択するよう構成される。本発明による適応システム２００の実施例では、選択器２２０は、画像によって動く少なくとも１つのモデル要素の選択を支援するための計算を行うよう構成される。選択器２２０は、複数のモデル要素それぞれを、画像によって動くモデル要素として選択するよう構成される。以下に更に詳細に説明する対象の適応器２３０は、予備的に適応させた変形可能なモデルをもたらす最適化されたモデルのエネルギに対応するモデル要素位置を計算するよう構成される。適応器２３０は、予備的に適応させた変形可能なモデルをメモリ装置２７０に記憶するよう更に構成される。選択器２２０は、予備的に適応させた変形可能なモデルをいくつかの領域に分割し、各領域が画像データ組にどの程度うまく合っているかを計算するよう構成される。前述の分割は、分割の領域が、立方体グリッドの立方体内の位置を含む単純な立方体グリッドに基づき得る。選択器２２０は、例えば、予備的に適応させた変形可能なモデルの構造と、画像データ組における対応する構造との間のユークリッド距離（対応する位置における強度差の二乗の和の平方根）に基づく類似度尺度を計算するよう更に構成される。選択器２２０は、特定の所定閾値よりも大きな類似度尺度（又は特定の所定閾値よりも小さな距離）を有する領域に含まれる表面要素を備えたモデル要素を、適切な適応のための、画像によって動くモデル要素として選択するよう構成される。

本発明による適応システム２００の更なる実施例では、選択器２２０は、画像によって動く少なくとも１つのモデル要素を選択するための入力を受け取るよう構成される。選択器２２０は、全モデル要素を、画像によって動くモデル要素として選択するよう構成される。以下に更に詳細に説明する対象の適応器２３０は、予備的に適応させた変形可能なモデルをもたらす最適化されたモデル・エネルギに対応するモデル要素の位置を計算するよう構成される。適応器２３０は、予備的に適応させた変形可能なモデルをメモリ装置２７０に記憶するよう更に構成される。選択器２２０は、予備的に適応させた変形可能なモデル及び画像データ組を、第２の出力コネクタ２９２を介して適応システム２００に接続された表示装置に出力するよう構成される。ユーザは、予備的に適応させた変形可能なモデル、及び表示された画像データ組を視覚的に検査し、予備的に適応させた変形可能なモデルにおいて問題となる領域を示す。例えば、ユーザは、第２の入力コネクタ２８２を介して適応システム２００に接続された、マウスやトラックボールなどのユーザ入力装置を用いて、問題となる領域を丸で囲うことが可能である。選択器２２０は、ユーザ入力を受け取り、丸で囲った領域の外側に含まれる、表面要素を備えたモデル要素を識別するよう更に構成される。次いで、選択器は、適切な適応のための、画像によって動くモデル要素として、丸で囲んだ領域の外側に含まれる表面要素を有する識別されたモデル要素を選択するよう構成される。

適応器２３０は、例えば、モデル・エネルギの最小値に対応するモデル要素の位置及び向きを計算するためにモデル・エネルギを最適化するよう構成される。モデル・エネルギは、互いに対するモデル要素の位置に依存する内部エネルギ寄与分を備える。更に、モデル・エネルギは、画像データ組に対する、選択器２２０によって選択された、画像によって動くモデル要素の位置に依存する外部エネルギ寄与分を備える。外部エネルギ寄与分の原因である外力は、画像によって動くモデル要素を画像データ組内の目標位置に引き付け、かつ／又は、画像データ組における偽位置から、画像によって動くモデル要素をはねつける。モデル・エネルギの最小値に対応するモデル要素の位置は、適応させた変形可能なモデルを表す。モデル・エネルギの例の更に詳細な説明は、参照文献１のSection 2.2及び2.3において見つけることが可能である。

モデル・エネルギを最適化する本発明による適応システム２００の更なる実施例は、モデル力場の最適化に基づいている。モデル・エネルギの勾配場は、モデル力場を一意に規定する。よって、モデル・エネルギの最適化は、力場の最適化によって行うことが可能である。例えば、モデル・エネルギの最小値に対応するモデル要素の位置を求めることは、ナル力場に実質的に相互に等しいモデル力場に対応するモデル要素の位置を求めることに基づいて達成することが可能である。任意的には、一般化されたモデル力場は、粘性流のシミュレーションなどの制動力を更に備え得る。 この力場におけるモデル要素の動きは、シミュレートすることが可能である。制動力は、最適なモデル・エネルギに対応する安定した位置にモデル要素の位置が収束する一助となる。当業者は前述のシミュレーション手法が分かることになり、よって、前述の手法は、本出願の特許請求の範囲記載の範囲に含まれる。

本発明による適応システム２００の更なる実施例では、適応システム２００は、変形可能なモデルを反復的に適応させる反復器２４０を備える。反復器２４０は、適応処理を終結させるための条件を計算するよう構成される。例えば、反復器は、適応システム２００に接続された表示装置上に、画像データ組とともに、最も直近で適応させた変形可能なモデルを表示するよう構成される。ユーザは、適応させた変形可能なモデル、及び表示画像データ組を視覚的に検査し、変形可能なモデルにおいて問題となる領域が存在しているか否かを決定する。ユーザは、適応の結果に満足していない場合、適応処理を終結させるための条件を、満足していないに設定し、問題となる領域を示すことが可能である。選択器２２０は、画像によって動くモデル要素として、示された領域の外側に含まれる表面要素を有するモデル要素を選択することによって適応処理を続行するよう構成される。ユーザは、適応の結果に満足している場合、適応処理を終結させるための条件を、満足しているとして設定することが可能である。適応処理を終結させるための条件が満足されている場合、反復器２４０は、適応処理を終結させるよう構成される。

あるいは、適応処理を終結させるための条件は、ユーザ入力なしで計算される。本発明の実施例では、反復器２４０は、適応させた変形可能なモデルをいくつかの領域に分割し、各領域がどの程度うまく画像データ組に合うかを計算するよう構成される。前述の分割は、分割の領域が、立方体グリッドの立方体内の位置を含む単純な立方体グリッドに基づき得る。選択器240は、例えば、変形可能なモデルの構造と、画像データ組における対応する構造との間のユークリッド距離（対応する位置における強度差の二乗の和の平方根）に基づく類似度尺度を計算するよう更に構成される。分割の全領域は、類似度尺度が、特定の所定閾値よりも大きい（距離が、特定の所定閾値よりも短い）場合、適応処理を終結させるための条件が満たされ、反復器２４０は、適応処理を終結させるよう構成される。更に、適応が、先行反復工程と同じ領域において失敗した場合、反復器240は適応処理を終結するよう構成することができる。さもなければ、反復器２４０は、適応処理を終結させるための条件を、満たしていないに設定するよう構成され、選択器２２０は、特定の所定閾値よりも大きな類似度尺度（特定の所定閾値よりも短い距離）を有する領域に含まれる表面要素を有するモデル要素を、画像によって動く領域として選択することによって適応処理を続行するよう構成される。

当業者は、例えば、画像によって動くモデル要素の数、及び／又は類似度尺度を最大にするためのより高度な最適化手法を用いることが可能な、反復的な変形可能なモデル適応処理を終結させるための条件を規定するやり方は多く存在していること、及び前述の条件が、例証の目的のためのみであり、本発明の保護の範囲を限定しないことを理解するであろう。

本発明による適応システム２００の更なる実施例では、適応システム２００は、複数のモデル要素それぞれの適応次数を判定する次数付け装置２５０を備え、選択器２２０は、適応次数に基づいて、かつ、反復サイクルに基づいて、画像によって動く少なくとも１つのモデル要素を選択するよう構成される。次数付け装置２５０は、正の（すなわち、0を超える）整数の組（すなわち、適応次数）に対してモデル要素をマッピングするよう構成される。Nが、最大適応次数を表すものとする。選択器２２０は、各モデル要素の適応次数を反復数と比較するよう構成される。モデル要素の適応次数が反復数以下の場合、選択器２２０は、このモデル要素を、画像によって動くモデル要素として選択するよう構成される。反復器２４０は、反復サイクル毎に反復数を増やすよう更に構成される。反復数がNに等しくなると、モデル要素全ては、画像によって動くモデル要素として選択器２２０によって既に選択されており、反復器は、適応処理を終結させるよう構成される。

本発明の実施例では、モデル要素の適応次数は、予め定められており、変形可能なモデルのモデル要素とともに記憶される。次数付け装置２５０は変形可能なモデルに記憶されたモデル要素からの適応次数を読み取り、適応システム２００の装置に利用可能にするよう構成される。この手法は、適応次数の計算が、集約的でかつ時間がかかる処理の場合、特に有用である。

あるいは、次数付け装置は、モデル要素の適応次数を計算するよう構成される。例えば、三角形メッシュによって表す変形可能なモデルは、基準領域としてラベリングされた領域を備えることも可能である。次数付け装置は、この基準領域を読み取り、基準領域からの三角形のトポロジカル距離に１を足した値に等しいメッシュの全三角形の適応次数を設定するよう構成することが可能である。よって、基準領域において含まれる三角形は、基準次数１を取得し、この領域に隣接した三角形は適応次数２を取得する等である。あるいは、次数付け装置は、幾何学的な距離（例えば、基準領域に含まれる三角形の最も近い中心への三角形の中心の距離として定義される、基準領域への三角形のユ―クリッド距離）を計算するよう構成することが可能である。 あるいは、次数付け装置は、幾何学的な距離（例えば、基準領域に含まれる三角形の最も近い中心への、三角形の中心の距離として定義される、基準領域への三角形のユークリッド距離）を計算するよう構成することが可能である。幾何学的な距離は、適応次数組に（例えば、スケーリング係数又はスケーリング関数の、幾何学的な距離との積を求め、その積の整数部分の関数（整関数）を計算し、１を加算することによって）マッピングすることが可能である。

本発明による適応システム２００の更なる実施例では、複数のモデル要素それぞれの適応次数は、複数のモデル要素それぞれの品質の尺度に基づいて判定される。変形可能なモデルを表す三角形メッシュに含まれるモデル要素の適応次数を計算する特に効果的な手法の１つは、三角形メッシュの三角形に、最適特徴関数を割り当てる手法に基づく。まず、可能な候補特徴関数組を三角形毎に識別しなければならない。三角形メッシュの三角形に関連した候補関数の例には、三角形の法線上に投影された、三角形の中心位置における勾配がある。更に、特徴関数は、その先では特徴関数がナル関数である、三角形の中心位置における画像データ組の強度の境界を規定するクリッピング間隔の終端などの特定のパラメータに依存し得る。クリッピング間隔の境界を最適にすることが可能である。任意的には、特徴関数は、参考文献（Section2.1、式(2)）記載の加重距離ペナルティ項を備える。更に、距離ペナルティ項の重み係数は最適にすることが可能である。

特徴関数を用いて、変形可能な三角形メッシュ・モデルの三角形の目標位置を検出する。前述の目標位置は、三角形の中心を引き付ける。よって、特徴関数の品質は、目標位置の品質、及び、よって、適応処理の品質を判定する。モデル要素の適応次数を、対応する最適化された特徴関数の品質に基づかせることが効果的である。特徴関数を最適にする手法は、シミュレートされたサーチ手法に基づく。この手法では、関心オブジェクトを有する訓練画像データ組の集合（正確にセグメント化され（例えば、手作業のセグメント化手順によって）、変形可能なモデルを表すために使用するものと同じ三角形メッシュを使用してコード化される）を用いて、目的関数を定義する。目的関数への、各三角形の寄与分、及び各訓練画像データ組の寄与分は、候補特徴関数を用いて計算される三角形の目標位置と、訓練画像データ組を表す三角形メッシュにおける対応する三角形の位置との間の距離に依存する。目的関数は、訓練データ組全てからの寄与分、及び、三角形メッシュの三角形からの寄与分を累算する。この累算距離は、候補特徴関数組からの特徴関数の考えられる選択にわたって最適化される。最適化された目的関数の最適特徴関数は、それぞれのモデル要素とともに記憶することが可能である。上記モデル要素は、三角形メッシュの三角形も含む。更に、特徴関数の品質を計算する。特徴関数の品質は当該モデル要素とともに記憶することも可能である。次数付け装置２５０は、適応処理中に適応次数を取り出すよう構成される。特徴関数の品質は、例えば、目的関数に対する対応する三角形の寄与分に基づく。特徴関数の品質は、三角形の適応次数を表す正の（ゼロよりも大きな）整数の組にマッピングされる。任意的には、次数付け装置２５０は、最適特徴関数、及びモデル要素の適応次数を計算するよう構成することが可能である。

変形可能なモデルを表す三角形メッシュに含まれるモデル要素の適応次数を判定する更なる方法では、適応次数は解剖学的構造に基づく。例えば、図１に示す大腿骨の場合、大腿骨頭に含まれるモデル要素には、１の適応次数を割り当てることが可能であり、第１の隣接ゾーンに含まれるモデル要素は、２の適応次数を受けることができる等である。心臓の場合、心室及び心房に含まれるモデル要素は、１の適応次数を受けることが可能であり、肺動脈に含まれるモデル要素は、２の適応次数を受けることが可能である等である。

本発明による適応システム２００の更なる実施例では、適応システム２００は、複数のモデル要素それぞれの適応次数に基づいて複数のモデル要素それぞれを視覚化する視覚化器２６０を備える。適応次数は、可視光スペクトルにマッピングされる。最小適応次数は紫色で表す一方、最高適応次数は赤色で表す。他のマッピングも可能であり、他のコード（グレイ・コードやテクスチャ・コード）も可能である。モデル要素に対応する色コードは、モデル要素の表面要素に施される。視覚化器２６０は、適応システム２００に接続された表示装置に、色コード化された変形可能なモデルを伝達し、それによって、変形可能なモデルの種々の領域の適応可能性を視覚化するよう構成される。

本発明による適応システム２００の更なる実施例では、適応システム２００は、特定の任意のシステム・パラメータ、動作モード及び条件をユーザが設定することを可能にする設定装置を備える。例えば、 設定装置は、関心オブジェクトに適応させるための変形可能なモデルを選択し、最大反復数を限定し、かつ／又は、適応システム２００の使用毎にセッション・ログ・ファイルを作成し、出力するか否かというオプションを選択するよう構成することができる。

本発明による適応システム２００の他の実施例も考えられることを当業者は理解するであろう。とりわけ、システムの装置を再定義し、その機能を再割り当てすることが考えられる。例えば、本発明の適応システム２００の実施例では、選択器１２０及び反復器１４０は、２つの装置の機能を組み合わせた一制御装置として実現することが可能である。本発明による適応システム１００の更なる実施例では、先行実施例の選択器１２０を置き換える複数の選択器が存在し得る。各選択器は、画像によって動く要素を選択する別々の方法を用いるよう構成される。設定装置は、変形可能なモデルに基づいて設定段階中に一セレクタを選択するよう構成することが可能である。

初期化器２１０、選択器２２０、アダプタ２３０、反復器２４０、次数付け装置２５０、及び視覚化器２６０は、プロセッサを用いて実施することが可能である。通常、前述の機能はソフトウェア・プログラム・プロダクトの制御下で行う。実行中、ソフトウェア・プログラム・プロダクトは、メモリ（RAMなど）にロードされ、そこから実行される。プログラムは、バックグラウンド・メモリ（ROM、ハード・ディスクなど）、又は磁気記憶装置及び／若しくは光学式記憶装置からロードすることができ、あるいは、インターネットなどのネットワークを介してロードすることができる。任意的には、特定用途向集積回路によって、上記開示された機能が提供され得る。

本発明の適応システム２００の考えられる適用分野が多く存在している。特に効果的な適用分野は、医療画像データ組に対する適応システム２００の適用である。医療画像データ組における関心オブジェクトは、例えば、内臓、骨、及び／又は血管であり得る。更に、本願発明の適応システム２００は、関心オブジェクトの変形可能なモデルを規定することが可能である限り、他の知識範囲において有用であり得る。例えば、細胞構造の変形可能なモデルを細胞オブジェクトに適応させるために、細胞形態学において有用であり得る。

効果的には、本発明の適応システムは、画像データ組のセグメント化に更に用いることが可能である。図３は、セグメント化装置３１０、入力コネクタ３０１、及び出力コネクタ３０２との内部接続を介して接続された適応システム装置２００を備える適応システム３００の実施例を示す。適応システム装置２００は、画像データ組における関心オブジェクトに、変形可能なオブジェクト・モデルを適応させるよう構成される。適応させた変形可能なモデルは、関心オブジェクトの表現としてセグメント化装置３１０によって用いられる。任意的には、セグメント化システム３００は、 適応システム装置２００及びセグメント化装置３１０を画像データ組における別の関心オブジェクトに反復的に施すことが可能である。セグメント化装置３１０は、登録されたオブジェクト・モデルを出力コネクタ３０２に出力するよう更に構成することができる。

図４は、本発明の適応システムを用いた画像獲得システム４００の実施例を略示する。獲得システム４００は、適応システム２００、入力コネクタ４０１及び出力コネクタ４０２に内部接続を介して接続された獲得システム装置４１０を備える。この装置は効果的には、適応システム２００のロバストな画像処理機能を画像獲得システム４００に提供して、画像獲得システム４００の機能を拡充させる。獲得システム４００が、画像セグメント化に更に構成された場合、更なる処理機能は特に有用であることが分かり得る。画像獲得システムの例には、CTシステム、X線システム、MRIシステム、超音波システム、ポジトロン放出断層撮影（PET）システム、及び単光子放出コンピュータ断層撮影（SPECT）システムがある。

図５は、ワークステーション５００の実施例を略示する。システムはシステム・バス５０１を備える。プロセッサ５１０、メモリ５２０、ディスク入力／出力（I／O）アダプタ５３０、及びユーザ・インタフェース（UI）５４０は、動作するようシステム・バス５０１に接続される。ディスク記憶装置５３１は、動作するようディスクI／Oアダプタ５３０に結合される。キーボード５４１、マウス５４２及びディスプレイ５４３が、動作するようUI５４０に結合される。本発明の適応システム又はセグメント化システム（コンピュータ・プログラムとして実現される）は、ディスク記憶装置５３１に記憶される。ワークステーション５００は、プログラム及び入力データをメモリ５２０にロードし、プロセッサ５１０上でプログラムを実行するよう構成される。ユーザは、キーボード５４１及び／又はマウス５４２を用いてワークステーション５００に情報を入力することが可能である。ワークステーションは、表示装置５４３及び／又はディスク５３１に情報を出力するよう構成される。当業者は、当該技術分野において知られているワークステーションの他の実施例が多く存在しており、この実施例が、本発明を例証する目的を担い、この特定の実施例に本発明を限定するものとして解されるべきでないことを理解するであろう。

図6は、適応方法の実施例６００を略示した図である。第１の工程６１０は、開始工程である。この工程は、反復数ICを１に設定するなどの、方法のこの実施例において行われる設定を含む。変形可能なモデルを初期化する工程６２０では、変形可能なモデルは、画像データ組において初期化させる。初期化工程は例えば、関心オブジェクト近くでの、変形可能なモデルの配置、変形可能なモデルの厳密な適応、及び変形可能なモデルのスケーリングを伴い得る。モデル要素の適応次数を計算する工程６３０では、変形可能なモデルの複数のモデル要素に含まれるモデル要素の獲得次数が、例えば、基準領域からのトポロジカル距離に基づいて計算される。 画像によって動く少なくとも１つのモデル要素を選択する工程６４０では、モデル要素は、適応次数に基づいて分類される。IC以下の適応次数のモデル要素が、画像によって動くモデル要素になる。変形可能なモデルを適応させる工程６５０では、モデル・エネルギが最適化（例えば、最小化）される。画像によって動くモデル要素は、画像データ組と相互作用し、要素は全て互いに相互作用し合う。変形可能なモデルの最適な構成（すなわち、モデル・エネルギの最小値に対応するモデル要素の位置）は、適応させた変形可能なモデルを規定する。適応処理を終結させるための条件を検査し、反復数ICを増やす工程６６０では、反復数が、最大適応次数Nと比較される。IC＜Nの場合、ICは１だけ増やし、次いで、画像によって動く少なくとも１つのモデル要素を選択する工程６４０を行う。IC=Nの場合、適応方法の終了工程６７０を行う。任意的には、終結基準は更に、適応させた変形可能なモデルの品質の尺度に基づき得る。適応させた変形可能なモデルが画像データ組にうまく合う場合、適応方法の終了工程６７０を行う。更なる、又は別の終結基準を用いることも可能である。終結（END）工程６７０は、適応処理の結果の出力を含み得る。

本発明の適応システム２００は、コンピュータ・プログラム・プロダクトとして実現することができ、何れかの適切な媒体上（例えば、磁気テープ上、磁気ディスク上や光ディスク上など）に記憶することが可能である。このコンピュータ・プログラムは、処理装置及びメモリを備えたコンピュータ装置にロードすることが可能である。コンピュータ・プログラム・プロダクトはロードされた後、検出、登録及び／又はセグメント化のタスクを行う機能を処理装置に提供する。

本願発明の方法の前述の実施例の順序は必須でない。当業者は、本発明が意図する概念から逸脱しない限り、スレッド・モデル、マルチプロセッサ・システム、又は複数処理を用いて工程の順序を変更するか、又は工程を同時に実行することができる。

上記実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱しない限り、別の実施例を当業者が企図することができるであろう。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprising」の語は、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。

構成要素に語「a」又は「an」が先行していることは、前述の構成要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実現することが可能である。いくつかの装置を列挙したシステム・クレームでは、これらの装置のいくつかを、同一のハードウェア・アイテム又はソフトウェア・アイテムによって実施することが可能である。第１、第２、第３等の語を用いていることは、何れかの順序を示すものでない。これらの語は、名前として解釈されるものとする。

画像内の骨格オブジェクトに大局的に合わない初期化された骨格モデルの例を示す。 適応システムの実施例を略示した図である。 特定のオブジェクトをセグメント化するセグメント化装置を備える適応システムの実施例を略示した図である。 本発明の獲得装置を略示した図である。 ワークステーションの実施例を略示した図である。 適応方法の実施例を略示した図である。

Claims (12)

1. 複数のモデル要素を備える変形可能なモデルを、画像データ組における関心オブジェクトに適応させる適応システムであって、
   画像によって動く少なくとも１つのモデル要素を前記複数のモデル要素から選択する選択器と、
   前記変形可能なモデルのモデル・エネルギの最適化に基づいて前記変形可能なモデルを適応させる適応器とを備え、前記モデル・エネルギは、前記複数のモデル要素の内部エネルギ、及び、前記画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、前記変形可能なモデルを適応させる適応システム。
2. 請求項１記載の適応システムであって、前記モデル・エネルギの最適化が、モデル力場の最適化に基づく適応システム。
3. 請求項１記載の適応システムであって、前記選択器は、前記画像によって動く少なくとも１つのモデル要素を選択するための入力を受け取るよう構成された適応システム。
4. 請求項１記載の適応システムであって、前記変形可能なモデルを反復的に適応させる反復器を備える適応システム。
5. 請求項４記載の適応システムであって、前記複数のモデル要素それぞれの適応次数を判定する次数付け装置を備え、前記選択器は、前記適応次数に基づいて、かつ、反復サイクルに基づいて、前記画像によって動く少なくとも１つのモデル要素を選択するよう構成される適応システム。
6. 請求項５記載の適応システムであって、前記複数のモデル要素それぞれの適応次数は、前記複数のモデル要素それぞれの品質の尺度に基づいて判定される適応システム。
7. 請求項５又は６に記載の適応システムであって、前記複数のモデル要素それぞれの前記適応次数に基づいて前記複数のモデル要素それぞれを視覚化する視覚化器を備えた適応システム。
8. 請求項１乃至７の何れか一項に記載の適応システムであって、前記適応させた変形可能なモデルに基づいて前記関心オブジェクトをセグメント化するセグメント化装置を備える適応システム。
9. 複数のモデル要素を含む変形可能なモデルを、画像データ組における関心オブジェクトに適応させる請求項１乃至８の何れか一項に記載の適応システムを有する、画像データ組の獲得のための獲得システム。
10. 請求項１乃至８の何れか一項に記載の適応システムを備えるワークステーション。
11. 複数のモデル要素を備える変形可能なモデルを、画像データ組における関心オブジェクトに適応させる方法であって、
    画像によって動く少なくとも１つのモデル要素を前記複数のモデル要素から選択する選択工程と、
    前記変形可能なモデルのモデル・エネルギの最適化に基づいて、前記変形可能なモデルを適応させる適応工程とを備え、前記モデル・エネルギは、前記複数のモデル要素の内部エネルギ、及び、前記画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、前記変形可能なモデルを適応させる方法。
12. 処理装置及びメモリを備えるコンピュータ装置によってロードされる対象のコンピュータ・プログラムであって、複数のモデル要素を備える変形可能なモデルを、画像データ組における関心オブジェクトに適応させる旨の命令を備え、ロードされた後、
    画像によって動く少なくとも１つのモデル要素を前記複数のモデル要素から選択するタスクと、
    前記変形可能なモデルのモデル・エネルギの最適化に基づいて前記変形可能なモデルを適応させるタスクとを行うための機能を前記処理装置に提供し、前記モデル・エネルギは、前記複数のモデル要素の内部エネルギ、及び前記画像によって動く少なくとも１つのモデル要素の外部エネルギを備え、それによって、前記変形可能なモデルを適応させるコンピュータ・プログラム。

Images