JP6007102B2 - 画像情報に基づいた構造の輪郭の決定 - Google Patents

Description

本発明は、画像のセグメント化及び画像のレジストレーションに関する。さらに、本発明は、構造の輪郭の決定に関する。

画像のセグメント化は、一般に、データセットの選択された部分の選択及び／又は分離に関する。係るデータセットは、画像形成された被写体の画像情報を表し、選択された部分は、画像の特定の部分に関する。データセットは、一般に、データ値を多次元の幾何学的空間における位置に割り当てる多次元のデータセットである。たとえば、係るデータセットは、２次元画像又は３次元画像であり、この場合、データ値は、二次元平面又は三次元のボリュームにおける位置に割り当てられた、輝度値、グレイ値又は明度値のような画素値である。

US7010164は、多次元データセットから選択された領域をセグメント化する方法を開示する。本方法は、選択された領域の概要を表す形状モデルを構成し、適応メッシュを構成するステップを含む。適応メッシュは、選択された領域の近似的な輪郭を表す。適応メッシュは、形状モデルに基づいて初期化される。さらに、適応メッシュは、形状モデル及び選択された領域の特徴情報に基づいて変形される。このように、選択された領域のより正確な輪郭が得られる。

ある構造の輪郭を決定する改善されたシステムを有することが望まれる。

この課題に良好に対処するため、本発明の第一の態様ではシステムが提供される。
当該システムは、構造の近似的な輪郭を表す適応メッシュを初期化する初期化サブシステムと、前記構造は、第一の画像により少なくとも部分的に表され、前記構造は、第二の画像により少なくとも部分的に表され、
前記第一の画像の特徴情報と前記第二の画像の特徴情報とに基づいて前記適応メッシュを変形する変形サブシステムと、を備える。

適応メッシュは、第一の画像の特徴情報と第二の画像の特徴情報の両方の特徴情報に基づいて変形されるので、第一の画像において欠けている構造又は信頼できない構造に関する情報は、第二の画像の特徴情報から得られる。このように、両方の画像の特徴情報は、お互いを補足し合う。結果は、両方の画像により表される形状情報を反映する変形された適応メッシュである。輪郭は、構造の輪郭を表す。構造は、例えば人体、臓器又は集団である。輪郭は、３次元空間における表面を表す。代替的に、輪郭は、２次元空間における直線又は曲線を表す。

変形サブシステムは、複数の画像の特徴情報に基づいて、適応メッシュを変形させる。特に、適応メッシュは、２を超える画像の特徴情報に基づいて変形される。

変形サブシステムは、第一の画像の特徴情報と第二の画像の特徴情報とに依存して、適応メッシュの少なくとも１部に作用する力を決定する力決定サブシステムを備える。適応メッシュの一部に作用する力の決定において、第一の画像の特徴情報と第二の画像の特徴情報とを考慮することで、力を更に信頼することができる。さらに、結果として得られる変形されたメッシュは、２つの画像からの情報に基づいている。これは、結果として得られる変形されたメッシュを更に正確にする。画像の特徴情報は、信頼できると見なされる特徴情報が信頼できないと見なされる特徴情報よりも大きな程度に力を決定するように、例えば信頼基準に基づいて重み付けされる。

力決定サブシステムは、第一の画像のタイプ及び／又は第二の画像のタイプに依存して、適応メッシュの少なくとも１部に作用する力を決定する。画像のタイプは、画像形成のモダリティ又は画像の臨床応用、或いは例えば画像形成される人体部分を含む。力を決定する異なるやり方は、これら異なるタイプの画像のために使用され、これにより、適応メッシュは、異なるタイプの複数の画像に基づいて適応される。

変形サブシステムは、それぞれの画像を取得するために使用された特定の画像形成のモダリティ又はプロトコルについてトレーニングされたそれぞれのモデルを使用して、それぞれの画像から特徴情報を抽出する特徴情報抽出サブシステムを備える。これは、適切なやり方でメッシュを変形するのを助ける。さらに、特徴情報は、力を決定する力決定サブシステムにより使用される。

本システムは、それぞれの画像における特徴情報と適応メッシュとに基づいて、第一の画像、第二の画像及び／又は適応メッシュの間の位置合わせ（registration）を定義する座標変換を決定する変換決定サブシステムを備える。座標変換の生成に適応メッシュを含むことで、より正確な位置合わせが得られる。より正確な位置合わせは、変形サブシステムから得られる適応メッシュを改善する。

座標変換は、第一の画像の座標系と第二の画像の座標系との間の関連を定義する。係る座標変換は、２つの画像間の位置合わせを定義するために使用される。

座標変換は、アフィン変換である。係るアフィン変換は、動き、回転及び／又は拡大のような広範囲の差を表す。次いで、係る広範囲の変化は、モデルの適応を妨げる必要がない。

本システムは、構造の概要を表す形状モデルを提供する概要提供サブシステムを備える。さらに、変形サブシステムは、形状モデルに基づいて、適応メッシュを変形する。例えば、適応メッシュは、内部エネルギーに基づいて変形され、内部エネルギーは、形状モデルに依存して定義される。これは、例えば、多次元データセットにおける画像の特徴が適応メッシュを誤った境界、いわゆるフォルスアトラクタ（false attractors）に推し進める。

第一の画像と第二の画像は、例えば、X線、３次元回転X線、CT、MR、超音波、PET及びSPECT、磁性粒子画像形成のグループから、同じ又は２つの画像形成のモダリティを使用して取得される。例えば、本システムは、画像の取得を実行するために、そのグループの画像形成のモダリティを備える。代替的又は付加的に、何処かから画像データを検索するために入力が供給される場合がある。

第一の画像と第二の画像は、２つの異なる画像形成のモダリティを使用して取得される。異なる画像形成のモダリティの画像において現れる異なる特徴が結合されるか、又はモデルの適応において互いに補足し合う。

画像形成された被写体が、第二の画像の取得の間に含んでいなかったある構造を含む間、第一の画像が取得される。例えば、被写体は、第二の画像の取得の間ではなく、第一の画像の取得の間に注入された造影剤を含む。画像が取得される順序は、本発明では重要ではない。

第一の画像及び第二の画像は、同じ患者に関連する場合がある。第一の画像と第二の画像において目に見える異なる特徴は、同じ人体構造に関連すると想定される。

医療の画像形成のワークステーションは、上述されたシステムを備える。
医療の画像形成取得装置は、第一の画像を取得するスキャナ及び上述されたシステムを有する。

ある構造の輪郭を確立する方法は、構造の近似的な輪郭を表す適応メッシュを初期化するステップ、前記構造が、第一の画像により少なくとも部分的に表され、前記構造は、第二の画像により少なくとも部分的に表され、第一の画像の特徴情報と第二の画像の特徴情報とに基づいて適応メッシュを変形するステップと、を含む。

コンピュータプログラムは、上述された方法のステップをプロセッサシステムに実行させる命令を含む。

本発明の２以上の上述された実施の形態、実現、及び／又は態様は、有効なやり方で結合される場合があることを理解されるであろう。

記載されるシステムの変更及び変形に対応する、画像取得装置、ワークステーション、システム、及び／又はコンピュータプログラムの変更及び変形は、本明細書の記載に基づいて当業者により実行することができる。

当業者であれば、本方法は、限定されるものではないが標準的なX線画像形成、コンピュータ断層撮影（CT）、磁気共鳴画像形成（MRI）、超音波（US）、陽電子放出型断層撮影（PET）、単電子放出型コンピュータ断層撮影（SPECT）及び核医学（NM）のような、様々な取得モダリティにより取得される、例えば２次元（2D）、３次元（3D）又は４次元（4D、たとえば３D＋時間）画像といった、多次元画像データに適用される。

本発明のこれらの態様及び他の態様は、添付図面を参照して更に明らかとなり、記載される。
構造の輪郭を決定するシステムのブロック図である。 構造の輪郭を決定する方法のブロック図である。

１つの画像形成モダリティからの医用画像（2D，3D，4D）のセグメント化は、形状で束縛される変形可能なモデルを使用して自動的に実行される。タスク及び画像形成プロトコルに依存して、関心のある幾つかの構造は、目に見る事ができないか又は定義することが困難な場合がある。全ての必要とされる情報を提供するプロトコルが利用可能ではない場合、セグメント化タスクの解決において、複合様式のアプローチが役に立つ場合がある。ここで、関心のある全ての構造に関する相補的な情報は、包括的なセグメント化を提供する。

画像間の位置合わせパラメータに関する事前情報は、システムにとって事前に利用可能である。係る場合、異なる画像の候補となるシステム間の関係は、前もって知られている。それぞれの利用可能な画像について、関心のある構造に向かって共通のメッシュモデルの少なくとも１部を連帯して「引っ張る」、画像に基づいた力が決定される。同時の画像のセグメント化及び位置合わせも可能である。例えば、画像の座標系とメッシュの座標系との間の関係は、セグメント化と交互して反復的にリファインされる。

改善されたビューについて、目に見える解剖構造をもつ領域は、異なる画像形成モダリティから得られた画像において識別され、単一の合成画像において結合される。例えば、「局所的に最も有益な」画像のパッチ（すなわち、ある画像の位置で最も説得力のある境界情報を提供するモダリティからの画像部分）は、様々なソースからの画像情報を示す１つの全体的な表示を得るために結合される。ユーザインタフェースは、それぞれの画像形成モダリティにより提供された情報をチェック又は比較するため、相補的な画像間でユーザが（局所的に、例えば表示されるパッチ毎に）切り替えるのを可能にする。たとえば、両方の画像からの情報は、輪郭又は適応メッシュを含むモデルにエンコードされ、結合されたモデルが表示される。例えば、造影剤なしに、ある画像から石灰化が抽出され、造影剤により、別の画像から壁の厚さが抽出される。

画像間の位置合わせパラメータが事前に利用可能ではないか、又はこれらのパラメータを更に改善することが望まれる場合、レジストレーションプロセスが実行される。係るレジストレーションプロセスは、構成、アフィン又は更に非線形座標変換により、画像を互いに整合させることを含む。これは、位置合わせされている画像間のグローバルな整合機能を最適化することで行われる。整合機能は、画像のグレイ値（画像の強度）間のある種の相関（又は目的関数）を決定する。最適な整合は、この相関又は目的関数を最大にすることで達成される。代替的に（又はその後）、画像の特徴に基づいて、第一の画像及び／又は第二の画像を共通のメッシュに向ける「力“force”」が定義される。画像を共通のメッシュに揃える係る方法は、以下に更に詳細に記載される。

図１は、構造の輪郭を決定するシステムを例示する。係るシステムは、ハードウェア、ソフトウェア或いはその組み合わせで実現される。本システムは、画像形成モダリティ７から、又は例えばデータベースシステム８から画像データを取り出す入力６を備える。係るデータベースシステム８は、例えばPACSサーバを備える。画像は、例えばグレイ値の多次元アレイを備える。グレイ値は、コンピュータ断層撮影（CT）、又は磁気共鳴（MR）画像形成のような、画像形成のモダリティを使用して走査される被写体を表す。

初期化サブシステム１は、適応メッシュを初期化する。適応メッシュは、ある構造の近似的な輪郭を表す。係る構造は、例えば人体の臓器である。他の可能性のある例は、動物の臓器、又は非破壊検査における臓器でない被写体を含む。構造は、入力６を介して得られる第一の画像により少なくとも部分的に表される。さらに、構造は、入力６を介して得られた第二の画像により少なくとも部分的に表される。初期化サブシステムは、適応メッシュが初期化されるデフォルトの形状を使用するために構成される。代替的に、例えば画像の残りではなく異なるグレースケールを有する領域を識別することで、第一の画像と第二の画像における情報が使用される。次いで、適応メッシュは、前記領域の輪郭として初期化される。適応メッシュは、概要提供サブシステム５により提供される形状モデルに基づいて初期化される。例えば、適応メッシュは、概要提供サブシステム５により提供される形状モデルに等しくなるように初期化される。さらに、初期化サブシステムは、前に変形されたモデルで適応メッシュを初期化する。例えば、反復的に変形が行われる場合がある。

適応メッシュの変形は、変形サブシステム２により実行される。変形は、第一の画像の特徴情報と第二の画像の特徴情報とに基づいている。このように、特徴情報を得るために２つの情報源が使用される。特徴情報は、例えば勾配を含む。他の種類の特徴情報が当該技術分野で知られている。

変形サブシステムは、第一の画像の特徴情報と第二の画像の特徴情報とに依存して適応メッシュの少なくとも１部に作用する力を確定する力確定サブシステム３を備える。例えば、第一の画像は、適応メッシュの一部に近い第一の特徴を有する場合がある。しかし、第二の画像もまた、適応メッシュのその部分に近い第二の特徴を有する場合がある。力決定サブシステム３は、力の値を決定するとき、両方の特徴を考慮する。画像のうちの一方のみが適応メッシュの一部に近い関連する特徴を有するとき、適応メッシュのその部分に作用する力は、この特徴のみに基づいて決定される。変形サブシステム３は、それぞれの画像を取得するために使用される特定の画像形成モダリティ又はプロトコルについてトレーニングされたそれぞれのモデルを使用して、それぞれの画像から特徴情報を抽出する特徴情報抽出サブシステム１１を備える。このように、それぞれのモダリティにより提供される特定の特徴情報を利用することができる。

本システムは、第一の画像、第二の画像及び適応メッシュの間の位置合わせを定義する座標変換を決定する変換決定サブシステム４を更に備える。この位置合わせは、適応メッシュと、１以上の画像における特徴情報とに基づいている。適応メッシュの位置は、第一の画像又は第二の画像における点にマッピングされる。第一の画像の座標系と第二の画像の座標系との間の関係を定義する座標変換が決定される。例えば、適応メッシュは、画像のうちの１つの座標系に関して定義され、適応メッシュ及び画像のポイントを別の画像のポイントにマッピングする座標変換が決定される。このため、その他の画像の特徴情報が使用され、適応メッシュの形状と比較される。また、適応メッシュから異なる画像への座標変換を決定することができる。ある画像から他の画像への変換は、適応メッシュをそれぞれの画像にマッピングする変換から導出することができる。

位置合わせは、適応メッシュと、１以上の画像における特徴情報とに基づく場合がある。例えば、あるメッシュの画像への位置合わせが計算される。その後、位置合わせを表す変換が逆転され、２つの画像を位置合わせするために使用される。第一に、所与の画像について、固定された形状のメッシュは、（例えば、限定されるものではないが、アフィン変換といった）特定の変換を介して画像に位置合わせされる。この位置合わせは、メッシュのポイント（又はトライアングル）と、いわゆる外部エネルギーに繋がる、対応する画像のポイント（目標点又は目標面とも呼ばれる）との間で決定される「力」により制御される。例えば、係る外部エネルギーは、メッシュのポイントと目標とする構造との間に取り付けられた想像上のスプリングのエネルギー量として計算される。パラメータ変換に関して外部エネルギーを最小にすることで、メッシュは、画像と揃えられるか、位置合わせされる。２つの画像を位置合わせするため、必要に応じて変換が逆にされる。メッシュを何れかの画像に変換する代わりに、それぞれの画像をメッシュと揃えるために逆変換が使用される。これは、２つの画像間の位置合わせパラメータを決定する方法である。

座標変換決定サブシステム４は、アフィン変換を決定する。このように、座標変換において大きな変化が表現される。より詳細な変化は、変形サブシステム２及び／又は力決定サブシステム３により考慮される。

本システムは、構造の概要を表す形状モデルを提供する概要提供サブシステム５を備える。例えば、サブシステム５は、入力６を介して、形状モデルのデータベースへのアクセスを備えるか又は有する。これらの形状モデルは、例えば特定のタイプの被写体又は構造について平均的な形状を提供する。例えば、肺について、及び腎臓について、異なるモデルが提供される。ユーザ入力又は画像のメタデータは、データベースから形状モデルのうちの１つを選択するために使用される。変形サブシステム２は、形状モデルに基づいて、適応メッシュを変形する。このように、セグメント化された構造の一般的な形状は、変形プロセスの間に基準として使用される。形状モデルは、変換決定サブシステム４により使用される。概要提供サブシステム５は、複合様式の画像の特徴情報へのアクセスを更に提供する。例えば、どの画像特徴が特定の画像形成のモダリティからの画像に関して、及び／又は特定の人体の部位又は応用からの画像に関して考慮されるべきかを特定するデータベースが設けられる。

第一の画像及び第二の画像は、例えばCT，MR，超音波，PET及びSPETのグループからの１以上の画像形成のモダリティを使用して取得される。しかし、これらのモダリティは、限定された意味で構築されるべきではない。異なる画像形成のモダリティにより、異なる特徴情報が得られる。異なる画像形成のモダリティにより取得可能な特徴の情報は、相補的な場合がある。例えば、CT及びMRは、異なる種類の組織を表示する。同じモダリティを使用した複数の画像は、唯一の画像に比較して、更なる相補的な特徴情報を提供する場合がある。例えば、画像は、被写体の（好ましくはオーバラップしている）異なる部位に関連する場合がある。さらに、異なる種類の造影剤を印加した後又は印加しない後、或いは、時間を通して側式における造影剤の分布のダイナミクスを観察するために異なる時間について待った後に、異なる画像が取得される場合がある。

第一の画像と第二の画像は、例えば患者である同じ被写体に関連する。第一の画像は、画像形成される被写体が、第二の画像の取得の間に含まない構造を含んでいる間に取得される。例えば、造影剤の流入は、画像において可視化される。また、動いている物体を示している画像の系列が補足される場合があり、これらの画像は、本明細書で記載されるシステムで使用される。

成功した変形後の適応メッシュ、及び座標変換は、更なる処理のために後処理サブシステム９に送出される。例えば、データは、患者データベースのようなデータベースに記憶される。また、構造に関連する画像のグレイ値を識別するため、結果を使用することもできる。このように、計算及び比較が可能である。また、後処理サブシステム９は、１以上の画像にわたるオーバレイとして、輪郭の可視化を生成する。この可視化は、ディスプレイ１０でユーザに示される。

医用画像形成のワークステーションは、上述されたシステムを備える。医用画像形成のワークステーションは、例えば、ディスプレイ１０、キーボード及び／又はマウスのようなポインティングデバイス、ネットワークコネクション又は他の通信手段を含むユーザインタフェースを更に備える。通信手段は、入力６を介して画像情報を取得し、及び／又は変形されたメッシュ又は座標変換、或いはそれらから導出されたデータのような結果を記憶する。

医用画像形成取得装置は、第一の画像及び／又は第二の画像を取得するスキャナ、及び上述されたシステムを備える。例えば、医用画像形成装置は、医用画像形成ワークステーションの特徴を備える。

図２は、ある構造の輪郭を決定する方法の態様を例示する。ステップ２０１では、適応メッシュが初期化される。適応メッシュは、構造の近似的な輪郭を表し、構造は、第一の画像により少なくとも部分的に表され、構造は、第二の画像により少なくとも部分的に表される。ステップ２０２では、適応メッシュは、第一の画像の特徴情報と第二の画像の特徴情報とに基づいて変形される。変形ステップ２０２は、適応メッシュが収束するまで繰り返される。ステップ２０３で、座標変換が決定される。座標変換は、第一の画像、第二の画像及び適応メッシュとの間の位置合わせを定義する。座標変換は、それぞれの画像又は複数の画像における特徴情報と適応メッシュとに基づいている。座標変換は、複数の画像を位置合わせするか、又はメッシュを１以上の画像に位置合わせするために使用される。このステップの順序は、入れ替えられる場合があり、例えばステップ２０３は、ステップ２０２に先行する場合がある。また、ステップ２０２又は２０３の何れかが省略される場合がある。さらに、ステップ２０２及び２０３は、交互するやり方でステップ２０２と２０３を実行することで、反復的に実行される。このように、位置合わせは、更新されたメッシュからの利益を受け、メッシュの変形は、更新された座標変換からの利益を受ける。本方法は、コンピュータプログラムにより実現される場合がある。

他の画像により提供される情報を含めることで、欠けている情報をもつ画像をセグメント化する、複合様式のセグメント化が使用される場合がある。ある画像の大部分又は全ての目に見る事ができる構造を識別する、画像のセグメント化についてモデルに基づいたアプローチが使用される場合がある。異なる画像形成のモダリティについて最適化されているモデルに基づいたアプローチを結合することで、本システムは、それぞれの単一の画像における大部分又は全ての目に見る事ができる構造を識別するためにイネーブルにされる。（好ましくは異なる画像形成のモダリティから得られる）画像からの目に見える構造に関する利用可能な情報を結合することで、異なる画像が互いに補足し合う。これは、個々の画像のセグメント化に比較してセグメント化を改善する。さらに、異なる画像において識別された解剖学上のランドマーク間の発見された対応関係は、適切なユーザインタフェースで指摘される。

位置合わせ及びセグメント化を結合することができる。これは、画像において検出された目に見える構造（解剖学上のランドマーク）の比較に基づいて、位置合わせパラメータの最初の大雑把な推測をリファインすることで行われる。位置合わせは、（目に見える構造の位置を表す）幾何学的な情報により駆動されることが好ましい。しかし、グレイ値の全体の整合により位置合わせを進めることもできる。幾何学的な情報と向き合わせて所望の生体構造のモデルを使用することは、画像全体の代わりに関心のある解剖学上の構造を考慮するため、位置合わせの精度を改善する。また、最初の位置合わせは、患者に関してスキャナのジオメトリ間の関係に関する予備知識から取得される。

複合様式のセグメント化のフレームワークは、関心のある構造を表す適応メッシュで引き付ける画像に基づく力を決定することを含む。メッシュは、座標系に関して定義される。この座標系は、アフィン変換を介して画像の座標系に関連する。係るアフィン変換は、画像と共通のセグメント化の結果との位置合わせを決定する。

複合様式のセグメント化は、関心のある特定の構造の全ての利用可能な画像から導出される画像に基づく力を結合する。これらの画像に基づく力は、画像における目に見る事ができる構造に基づいている。画像に基づく力は、共通のメッシュを歩み寄りの位置に「引っ張る」。画像における特定の領域が関心のある領域を含まない場合、これらの領域は、画像に基づく力に寄与しない。しかし、関心のある構造が別の画像の対応する領域において利用可能な場合、この構造は、画像に基づいた力に寄与しない。これは、関心のある構造を明らかにしない画像領域により引き起こされる「ギャップに橋を架ける」方法を提供する。

適応メッシュモデルの所与の部分について、例えば適応表面モデルの一部を引き付ける力を考慮することで、表面モデルの一部が基づいている構造をどの画像（又は複数の画像）が表しているかを評価することができる。この評価に基づいて、結合された画像は、最重要の画像領域の「パッチワーク」として、異なる画像の部分から構成される。ユーザインタフェースは、どの画像が適応メッシュモードの所与の部分に寄与しているかの示唆を示す。さらに、ユーザインタフェースは、相補的な画像情報を評価するため、ユーザが所望の画像を可視化するのを可能にする。係る可視化は、局所的であり、例えば、合成画像が第一の画像の第一の部分を含む場合に、ユーザは、前記第一の部分を第二の画像の対応する部分で置き換え、可視化される新たな合成画像を得るのを選ぶ。

異なるモダリティから取得された複数の画像からの情報を結合することで、画像のそれぞれにおいて部分的にのみ目に見る事ができるが、全ての画像が考慮される場合には良好に定義される構造をセグメント化することが可能になる。更に、画像当たりの目に見える構造を共通のセグメント化の結果と比較することで、画像の座標系間の（アフィン）位置合わせが推定又はリファインされる。

複合様式のセグメント化のフレームワークでは、異なる画像I_nは、個別の座標系において取得される。例えば、患者は、異なるスキャナに配置されるか、走査方向が変わる場合がある。オフセット、再配向、及び幾何学的な歪によるスケーリング効果が考慮される場合がある。しかし、常にそうであるとは限らない。また、同じ座標系において複数の画像を取得することもできる。

共通のセグメント化に到達するため、第一に、基準の座標系が決定され、セグメント化の結果が表される場合がある。これは、以下、共通座標系（CCS）と呼ばれる。画像I_nは、“ICS_n”により示されるそれ自身の座標系を有する。また、全ての画像は同じ座標系を有することもできる。係る場合、ICS_nは、それぞれの画像nについて同じである。

幾つかの場合、座標系間の変換が知られている。さらに、全体的な線形変換は、CCSを任意のICS_nにマッピングすることが十分な場合がある。xをCCSにおける座標ベクトルとし、x'をICS_nにおける対応するベクトルとする。次いで、3×3行列M_n及び変換ベクトルt_nとする変換T_n＝{M_n,t_n}は、xをx’にマッピングする。

特徴情報の例として、勾配∇Iは、変換の下で変化する。勾配は、以下のように変換される（∇I’＝ICSにおける勾配、∇I＝I_nがCCSに変換される場合の勾配）。

ここで表記Tは行列転置である。ここで、変換された勾配∇I’が評価されるポイントx'は式(１)における変換を含む。

複合様式のセグメント化は、以下のように実現される。変形形状のモデルの内部エネルギーは、CCSにおいて決定される。外部エネルギーは、画像I_nの個々の画像について構成され、Σβ_n＝１として重み付け要素β_nにより蓄積される。

組み合わせて、共通のセグメント化は、I_nからの外力と形状モデルからの内力との間の「最良の妥協」を生成する。

座標系がT_nだけ異なる場合に外部のエネルギーの例となる定式化は、以下に記載される。外部のエネルギーと内部のエネルギーとを適応メッシュに適用することで、適用メッシュは、画像又は複数の画像における構造の輪郭を得るために変形される。標準的な座標系における例となる外部のエネルギーE_extは、以下のように書かれる（ここでc_iは、最適化を受けるメッシュポイントを表す）。

変形された座標系の場合に、E_ext,nを構成するため、画像I_nにおいてターゲットポイントが検出される。これは、三角形の中心c_i及び法線をCCSからICS_nに変換し、変換された三角形の中心の周りでターゲットポイントをサーチすることで行われる。ICS_nにおいて、検出されたターゲットポイントで勾配の方向∇I'/‖∇I’‖が決定される。

E_ext,nの第一のオプションは、x_i ^’targetをCCSに後方変換し、外部エネルギーを決定することである。「スプリング力」を考えると、スプリングは、CCSにおける三角形に取り付けられ、後方に変換されたターゲットプレーンに向かってメッシュを引っ張る。これは、例えば、式(２)を使用した勾配の後方変換、及び再正規化を含む。

ここでx_i ^targetは、後方に変換されたターゲットポイントであり、c_iは、CCSにおける三角形の中心である。別のオプションは、画像I_nにおいて、すなわちICS_nにおいてE_ext,nを定式化することである。

画像の座標系間の変換は未知である場合がある。これらの変換を発見することは、位置合わせのタスクを含む。この位置合わせのタスクは、セグメント化のタスクと組み合わせて解決される。

位置合わせの異なる態様が識別される場合があり、これらの態様は、M_n及びt_nの最初の大雑把な推定に到達するのを助ける。
画像のグロスオリエンテーション。たとえば、x-y平面における、軸に対する矢状（sagittal）又は冠状（coronal）のスライス（MR画像について、斜面も取得される）。この情報は、スキャナから入手される。
画像のスケーリング。通常、画像は、歪なしに距離空間において「ライブ」である。変換マトリクスM_nの最初の推測として、グロスオリエンテーション及びスケーリングファクタ１が使用される。
移動：画像は、未知の座標オフセットを有する。しかし、オブジェクトの位置を特定する技術は、関心のある臓器の位置を粗く特定するのを可能にする。

変換が、画像I_n毎にリファインされる。例えば、共通して適応されたメッシュの現在の例を選び、I_nだけについて外部エネルギーを最小にするように、変換T_nを最適化する。T_nは、次いで、共通のメッシュのそれぞれの画像への改善されたマッピングを示す。全ての画像についてこのステップを実行した後、更新された変換T_nを使用して複合様式のセグメント化を継続することができる。全てのT_nの反復的な複合様式のメッシュの適応及び再推定のこの手順は、T_nによりエンコードされる位置合わせパラメータを含む収束されたセグメント化となる。

本明細書で記載されたセグメント化及び／又は位置合わせ技術は、例えば、単一の画像形成のモダリティのみにより十分に記載することができない構造又は複雑な臓器のセグメント化について適用される場合がある。この技術は、完全な解剖学上の情報を含まない画像により表される構造のセグメント化についても更に適用される場合がある。異なる画像形成のモダリティからの相補的なスキャンは、係る欠けている情報を提供する場合がある。PET又はSPECT画像のような機能画像は、完全な解剖学上の情報を提供しない場合がある。本明細書で提供される技術を機能画像、及びCT又はMR画像のような解剖学上の画像に行うことで、改善されたセグメント化が得られる。さらに、機能画像と解剖学上の画像とを位置合わせするための技術が使用される場合がある。さらに、機能情報と解剖学上の情報の両者を示す合成画像を生成する技術が使用される場合がある。

ある構造の輪郭を決定する方法は、形状のモデルを初期化することで開始する。その構造又は部分は、第一の画像の位置で第一の画像において識別され、第一の画像の位置とは異なる第二の画像の位置で、第二の画像において識別される。第一の力の値は、初期化された形状のモデルの第一の部分と関連付けされ、第一の力の値は、第一の画像における構造に基づいており、初期化された形状のモデルの第一の部分は、第一の画像の位置に対応する。第二の力の値は、初期化された形状のモデルの第二の部分と関連付けされ、第二の力の値は、第二の画像における構造に基づいており、初期化された形状のモデルの第二の部分は、第二の画像の位置に対応する。初期化された形状のモデルの第一の部分の形状は、第一の力の値に基づいて調整される。初期化されたモデルの第二の部分の形状は、第二の力の値に基づいて調整される。初期化されたモデルの両方の部分がオーバラップする場合、両方の力の値に基づいて適応される場合がある。

本発明は、コンピュータプログラム、特に本発明を実現するために適合されるコンピュータプログラム又は記録媒体にも拡張されることを理解されたい。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形式のようなコード中間ソース及びオブジェクトコードの形式、及び、本発明に係る方法の実現での使用に適した他の形式である場合がある。また、係るプログラムは、多くの異なるアーキテクチャデザインを有することが理解される。例えば、本発明に係る方法又はシステムの機能を実現するプログラムコードは、１以上のサブルーチンに分割される場合がある。これらのサブルーチンの間で機能を分散する多くの異なりやり方は、当業者にとって明らかであろう。サブルーチンは、内蔵型のプログラムを形成するために１つの実行可能なファイルに共に記憶される場合がある。係る実行可能なファイルは、例えばプロセッサ命令及び／又はインタープリタ命令（例えばJava（登録商標）インタープリタ命令）といったコンピュータ実行可能な命令を含む場合がある。代替的に、１以上又は全てのサブルーチンは、少なくとも１つの外部のライブラリファイルに記憶される、例えばランタイムで、静的又は動的にメインプログラムとリンクされる。メインプログラムは、サブルーチンの少なくとも１つへの少なくとも１つの呼出しを含む。また、サブルーチンは、互いに関数呼出しを含む。コンピュータプログラムに関する実施の形態は、上述された方法の少なくとも１つの処理ステップのそれぞれに対するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに分割されるか、及び／又は、静的又は動的にリンクされる１以上のファイルに記憶される。コンピュータプログラムに関する別の実施の形態は、上述されたシステム及び／又はプログラムの少なくとも１つの手段のそれぞれに対応するコンピュータ実行可能な命令を備える。これらの命令は、サブルーチンに分割されるか、及び／又は静的又は動的にリンクされる１以上のファイルに記憶される。

コンピュータプログラムの記録媒体は、プログラムを担持可能なエンティティ又はデバイスである場合がある。例えば、媒体は、例えばCD ROM又は半導体ROMといったROM、例えばフロプティカルディスク又はハードディスクといった磁気記録媒体のような記憶媒体を含む。さらに、媒体は、電気又は光ケーブルを介して、或いは無線又は他の手段により伝達される電気又は光信号のような伝送媒体である場合がある。プログラムが係る信号で実現されるとき、媒体は、係るケーブル又は他のデバイス又は手段により構成される場合がある。代替的に、媒体は、プログラムが埋め込まれる集積回路である場合があり、この集積回路は、関連する方法を実行するために適合されるか、又は関連する方法の実効における使用のために適合される。

上述された実施の形態は、本発明を限定するものではなく例示するものである、当業者は、特許性空の範囲から逸脱することなしに多くの代替的に実施の形態を設計することができることに留意されたい。請求項では、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。動詞「備える“comprise”」及びその派生は、請求項で述べた以外の構成要素又はステップの存在を排除するものではない。構成要素に選考する冠詞“a”又は“an”は、複数の係る構成要素の存在を排除しない。本発明は、幾つかの個別の構成要素を含むハードウェアにより、適切にプログラムされたコンピュータにより実現される場合がある。幾つかの手段を列挙する装置の請求項では、これらの手段の幾つかは、同一アイテムのハードウェアにより実施される。所定の手段が相互に異なる従属の請求項で引用される事実は、これらの手段の向き合わせを利用することができないことを示すものではない。

Claims (14)

1. 構造の輪郭を決定するシステムであって、
   第一の画像により少なくとも部分的に表される構造と第二の画像により少なくとも部分的に表される構造の近似的な輪郭を表す共通の適応メッシュを初期化する初期化サブシステムであって、前記第一の画像及び前記第二の画像は異なる医用画像形成モダリティを使用して取得される、初期化サブシステムと、
   前記第一の画像の特徴情報と前記第二の画像の特徴情報とに基づいて前記適応メッシュを変形させる変形サブシステムとを備え、
   前記変形サブシステムは、前記第一の画像の特徴情報と前記第二の画像の特徴情報とに依存して前記適応メッシュの少なくとも１部に作用する力を決定する力決定サブシステムを有する、
   ことを特徴とするシステム。
2. 前記力決定サブシステムは、前記第一の画像のタイプ及び／又は第二の画像のタイプに依存して前記適応メッシュの少なくとも１部に作用する力を決定する、
   請求項１記載のシステム。
3. 前記変形サブシステムは、前記第一の画像及び前記第二の画像を取得するために使用される特定の画像形成のモダリティ又はプロトコルについてトレーニングされたそれぞれのモデルを使用して、前記第一の画像及び前記第二の画像から特徴情報を抽出する特徴情報抽出サブシステムを有する、
   請求項１記載のシステム。
4. 前記第一の画像及び前記第二の画像における特徴情報と前記適応メッシュに基づいて、前記適応メッシュと、前記第一の画像と前記第二の画像の少なくとも１つとの間の関係を定義する第一の座標変換を決定する変換決定サブシステムを更に備える、
   請求項１記載のシステム。
5. 前記変換決定サブシステムは、前記第一の座標変換に基づいて、前記第一の画像の座標系と前記第二の画像の座標系との間の関係を定義する第二の座標変換を決定する、
   請求項４記載のシステム。
6. 前記座標変換は、アフィン変換である、
   請求項４記載のシステム。
7. 前記構造の概要を表す形状モデルを提供する概要提供サブシステムを更に備え、
   前記変形サブシステムは、前記形状モデルにも基づいて前記適応メッシュを変形させる、
   請求項１記載のシステム。
8. 前記第一の画像及び第二の画像は、X線、コンピュータ断層撮影、磁気共鳴、超音波、陽電子放出型断層撮影、単電子放出型コンピュータ断層撮影、及び磁気粒子画像形成からなるグループから少なくとも１つの画像形成のモダリティを使用して取得される、
   請求項１記載のシステム。
9. 前記第一の画像と前記第二の画像は、２つの異なる画像形成のモダリティを使用して取得される、
   請求項１記載のシステム。
10. 前記第一の画像は、特定の物体が画像形成される被写体において見える間に取得されており、前記第二の画像は、前記特定の物体が前記画像形成される被写体において見えない間に取得されている、
    請求項１記載のシステム。
11. 請求項１記載のシステムを備える医用画像形成用のワークステーション。
12. 請求項１記載の、前記第一の画像を取得するスキャナと、前記システムとを備える医用画像形成取得装置。
13. 構造の輪郭を決定する方法であって、
    第一の画像により少なくとも部分的に表される構造と第二の画像により少なくとも部分的に表される構造の近似的な輪郭を表す共通の適応メッシュを初期化するステップであって、前記第一の画像及び前記第二の画像は異なる医用画像形成モダリティを使用して取得される、初期化するステップと、
    前記第一の画像の特徴情報と前記第二の画像の特徴情報とに基づいて前記適応メッシュを変形させるステップとを含み、
    前記変形させるステップは、前記第一の画像の特徴情報と前記第二の画像の特徴情報とに依存して前記適応メッシュの少なくとも１部に作用する力を決定する、
    ことを特徴とする方法。
14. プロセッサシステムに、請求項１３記載の方法のステップを実行させる命令を含むコンピュータプログラム。

Images