JP4152648B2 - 対象物に含まれる三次元画像をセグメント化する方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、モデルの表面上のネットワーク点を相互接続するメッシュのネットワークで表面が形成される変形可能なモデルを利用して、対象物のスライスを表示する少なくとも一つの二次元画像から対象物に含まれる三次元構造をセグメント化する方法に関わる。本発明は、このような方法を実行する画像処理装置、及び、この目的に適切なコンピュータプログラムに更に関わる。
【０００２】
【従来の技術】
この種類の方法は、１９９６年に雑誌：Mdeical Image Analysis,1(2):pp.91-108から発行された、McInerney外による文献“Deformable models in medical image analysis：a survey”から公知である。引用文献どおりに変形可能なモデルは、形状及び位置が内部エネルギー及び外部エネルギーの影響下で変化され得る弾性表面として表わされ得る。内部エネルギーは、モデルの形状（セグメント化されるべき構造に関する先行医学知識に基づいて形成され得る）を可能な限りよく保つ機能を担う。しかし外部エネルギーは、モデルの表面を対象物のエッジの方向に動かす。外部エネルギーは、三次元画像、つまり、構造を含む対象物の三次元表示であるデータセットから導き出される。メッシュは、モデルの表面上の３つの隣接するネットワーク点によってコーナー点が定められた三角形として成形されることが好ましい。
【０００３】
公知の方法によると、構造点は、セグメント化されるべき構造の表面、つまり、画像中の三角形の表面に対して垂直方向に延在する探索線の方向に探索され、このとき表面は画像データの著しい勾配によって通常特徴付けられる。モデルの表面を限定するネットワークのメッシュのためにこのような構造点を決定した後、モデルのネットワーク点は見つけられた構造点に基づいて新たに計算され、つまり、ネットワーク点は、内部エネルギー及び外部エネルギーの重み付けされた和が新しく見つけられるネットワーク点に対して最小値となるよう計算される。この方法によると、ネットワーク点の位置は、探索中に見つけられる直接的に隣接する構造点によってだけでなく全ての他の構造点によっても影響を与えられる。その後、この方法は、新しく計算されたネットワーク点を利用して何回か（反復的に）繰り返される。モデルは、反復毎に変形され、最後の反復後にモデルがとり得る形状は実際の対象物でセグメント化されるべき構造として考えることができる。
【０００４】
この公知の方法では、対象物の三次元画像は必要条件である。医用検査中、このような画像は、（Ｘ線）コンピュータ断層撮影法を手段として、又は、ＭＲ（＝磁気共鳴）方法を手段として生成される。三次元画像のためのデータ捕捉は、比較的長い期間を要し、コンピュータ断層撮影の場合には放射線に対する対象物の著しい露光を伴う。
【０００５】
【発明が解決しようとする課題】
本発明は、三次元構造のセグメント化に少数の二次元画像だけを必要とし、より少ない数の二次元画像が三次元画像よりもより速く（且つ、適用可能であれば、より少ない放射線負荷で）捕捉され得る前述の種類の方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この目的は、モデルの表面上のネットワーク点を相互接続するメッシュのネットワークによって表面が形成される変形可能なモデルを利用して、対象物のスライスを表示する少なくとも１つの二次元画像から対象物に含まれる三次元画像をセグメント化する方法を手段とする本発明によって実現され、この方法は、
ａ）画像を交差するメッシュを決定する段階と、
ｂ）段階ａ）において決定された各メッシュに対して、メッシュを横切り且つ画像中に延在する探索線の方向に構造の表面上に位置する夫々の構造点を探索する段階と、
ｃ）探索された構造点に基づいてモデルのネットワーク点を新たに計算する段階と、
ｄ）新しく計算されたネットワーク点に基づいて段階ａ）乃至段階ｃ）を何回か繰り返す段階とを有する。
【０００７】
本発明によると、構造を探索する方向の探索線は、メッシュの表面に対して垂直でなく画像（つまり、画像面）に延在する。構造点は、モデルの全てのメッシュについて探索されず、画像を交差するメッシュについてだけ探索される。それにも関わらず、このようにして探索された比較的少ない構造点は、より少数の構造点の近傍に位置するネットワーク点だけでなく全てのネットワーク点の再計算に十分である。セグメンテーションの質が三次元画像に基づいて見つけられるセグメンテーションの質に匹敵することが分かる。比較的少数の構造点だけを探索する必要があるため、セグメンテーションは、公知の方法よりも必要とする計算時間ははるかに少ない。
【０００８】
請求項２は、メッシュに対して垂直に延在する線（つまり、３つの隣接するネットワーク点によって画成される三角形に対する法線）が画像面に投影され、従って探索方向を限定する請求項１記載の方法の好ましいバージョンを記載する。しかしながら、他の探索方向、例えば、画像の勾配の方向も原則として可能である。
【０００９】
請求項３記載のバージョンでは、構造点が探索される方向の探索線の域が限定されている。この限定は、一方で探索の持続時間を減少させ、他方でノイズに対して頑丈（robust）にさせる。請求項４は、この探索域の好ましい位置を記載する。
【００１０】
請求項５は、本発明による方法を実施するのに適切な画像処理装置を記載し、請求項６はこのような画像処理装置に好適なコンピュータプログラムを記載する。
【００１１】
【発明の実施の形態】
本発明は、図面を参照して以下に詳細に説明される。
【００１２】
図１に示す画像処理装置は、メモリ２と共に画像処理及び制御プロセッサ１を含み、メモリ２は、セグメント化されるべき構造の変形可能なモデルを中に記憶し、検査されるべき対象物の一つ以上の二次元画像を記憶することができる。画像処理及び制御プロセッサは、バスシステム３を介して撮像装置（図示せず）、例えば、ＭＲ装置或いはＣＴ装置に接続されてもよい。画像処理及び制御プロセッサによってセグメント化される構造は、モニタ４に表示され得る。ユーザは、キーボード５或いは図１に示さない他の入力手段を通じて画像処理プロセッサにアクセスすることができる。
【００１３】
図２は、コンピュータプログラムのフローチャートを示し、このコンピュータプログラムに基づいて画像処理装置は構造をセグメント化する。段階１００における初期化後、段階１０１ではセグメント化されるべき構造のモデルＭ、並びに、このような構造を含む対象物のスライスを表示する一つ以上の画像がロードされる。
【００１４】
図３は、変形可能なモデルＭ、この場合、大腿骨の上端にある大腿骨の頭（大腿骨頭）を示す。当然のことながら、他の構造、例えば、脊柱の椎骨或いは臓器、例えば、心臓も変形可能なモデルを用いてセグメント化され得る。対象物の表面は、モデルの表面上の３つの隣接するネットワーク点を三角形のメッシュが毎回互いに接続させるネットワークによって形成される。
【００１５】
表面は、三角形に細分化されたモデルの代わりに、ネットワークのメッシュが三角形でなく、３つ以外の幾つかのネットワーク点を多角形の形状に互いにリンクさせる多角形構造によって限定されてもよい。
【００１６】
図３は、図面に対して垂直に延在し、他の解剖学的特徴に加えてセグメント化されるべき構造を含む対象物のスライスを表示する２つの二次元画像Ｉ_１及びＩ_２の面を示す。本例においてこの構造は、２つの互いに垂直な画像によってセグメント化される。しかしながら、これら画像は、異なる向きのスライス、例えば、平行スライスを表示してもよい。これら画像が構造の解剖学的な詳細を可能な限り多く再現することだけが重要である。２つの二次元画像の代わりに３つの二次元画像が使用されるとき、通常、より良いセグメンテーションが実現される。一般的にセグメンテーションの質は損なわれるが、セグメンテーションのために１つの二次元画像だけを利用することが原則として可能である。
【００１７】
更に、段階１０１では、画像面によって限定される断面中のモデルの断面が画像Ｉ_１及びＩ_２中の構造の輪郭に可能な限り対応するよう、一方で画像Ｉ_１及びＩ_２、他方でモデルＭが互いに対して方向付けられる。本発明による方法の残りの処理は、この反復的な選択より自動的に実行される。
【００１８】
段階１０２では、モデルの表面を限定するネットワークのどのメッシュが画像Ｉ_１又はＩ_２の面と交差するか、つまり、どのメッシュが画像面の両側に位置するネットワーク点を互いに接続させるかが決定される。これは、図４に示され、同図では、図面に対して垂直方向に延在する画像面は参照番号Ｉによって称され、三角形Ｔ_１・・・Ｔ_５はモデルの幾つかの三角形メッシュを表示する。メッシュＴ_１及びＴ_２の全てのコーナー点は、画像面Ｉの上に位置し、メッシュＴ_５の全てのコーナー点は画像面Ｉの下に位置する。しかしながら、メッシュＴ_３のコーナー点は、メッシュＴ_４のコーナー点と同様に画像の両側に位置する。
【００１９】
次の段階１０３では、関連するメッシュの近傍に位置する画像中の構造点が画像面を交差する全てのメッシュに対して決定される。これに関して図５を参照するに、同図では図面に対して垂直な画像面Ｉ及び図面に対して垂直な三角形の面が示される。従って、画像面Ｉより上のコーナー点ｘ_１ｍ、及び、三角形の画像面Ｉの下のコーナー点ｘ_３ｍだけが認識される。三角形は、９０°以外の角で画像面と交差する。その結果、三角形の中心ｘ’_ｉｍに対する法線も角を成して単一の点で画像面を通る。従って、画像中で構造点を探索することは、画像面Ｉに延在し、方向が画像面Ｉにおける法線ｎの投影方向に対応する線ｎ_ｉの方向に実施される（法線の投影及び法線ｎ自体は画像面Ｉに対して垂直に延在する面にある）。
【００２０】
探索線ｎ_ｉの始点は、三角形が画像面Ｉと交差する、線ｈの中心ｘ_ｉｅである。ここで、図面が画像面に対して平行に延在する図６に示すように、点ｘ_ｉｅの周りだけの限定された域においてだけ線ｎ_ｉ上で探索が実施される。従って計算時間が短縮され、探索される構造Ｓの点として比較的長い距離（つまり、探索域の反対側）に位置する点が識別されることが回避される。
【００２１】
以下の式、
【００２２】
【数１】

は、段階１０３の探索中に見つけられる構造の点ｘ_ｉｓに対して成り立つ。
【００２３】
既に説明した通り、ｘ_ｉｅは探索域及び交差線ｈの中心であり、ｎ_ｉは探索線の方向を特徴付ける長さ１のベクトルであり、δは探索線上で互いに続く２つの点の間の距離に対応する尺度係数であり、ｊ_ｉは関数
【００２４】
【数２】

が最小となるｊの整数値である。ここでＤは適切に選択された定数であり、関数Ｆ（ｘ）は関係
【００２５】
【数３】

に従って計算される。
【００２６】
ここでｇ（ｘ）は画像の勾配又は位置ｘにおける画像中の輝度値である。Ｆ（ｘ）は、ベクトルｎ_ｉとｇ（ｘ）とのスカラー積に対応するため、画像の勾配が探索方向に延在するとき、つまり、探索方向が構造Ｓのインタフェースに対して垂直方向に延在するとき（図６参照）（画像又は輝度値がこのインタフェースで変化すると仮定して）特に大きくなる。式（２）の関数Ｆ（ｘ）の符号は、この項が本願記載のインタフェースの場合には正となるよう選択される。Ｄの値は、始点ｘ_ｉｅの最も近くに位置する構造の点が優先され、方法がより安定することを確実にする。Ｄが０に等しい場合、長い距離のところに位置する構造点、及び、近くに位置する構造点は同じ優先度を持ち、セグメンテーションに関して探索域の長さが決定的な要素となる。
【００２７】
段階１０２において決定された全ての三角形に対して構造点ｘ_ｉｓが見つけられた後、変形可能なモデルの表面は見つけられた構造点に適合される（段階１０４及び１０５）。ネットワーク点（つまり、三角形のコーナー点）の位置は、いわゆるエネルギー関数
【００２８】
【数４】

が最小値となるようにして変化される。ここでは、Ｅ_ｅｘｔは見つけられた構造の点の方にネットワークを引っ張る外部エネルギーであり、Ｅ_ｉｎｔはネットワークの変形に対向する傾向がある内部エネルギーである。外部エネルギーＥ_ｅｘｔは関係
【００２９】
【数５】

に従って計算され、このとき加算は全ての三角形に対して行われる。ここでｘ’_ｉｍは三角形の中心の座標であり、ｇ（ｘ_ｉｓ）は構造点ｘ_ｉｓにおける画像の勾配であり、ｗ_ｉは重み付け係数であり、この重み付け係数を用いて外部エネルギーに対する構造点の効果が関係
【００３０】
【数６】

に従って重み付けされる。
【００３１】
式（６）どおりに重み付けは、アコレードの第２の項が（関連のある三角形がどの画像面とも交差していないため）出ない、或いは、（見つけられた構造の点が不十分な程度にだけ構造の特徴を含むため）負である全ての三角形に対して零である。これら全ての三角形（これら三角形に対して可能性として決定される構造点）は、従って、外部エネルギーに寄与しない。他の三角形は、
【００３２】
【数７】

となる寄与をし、この寄与は、見つけられる構造点ｘ_ｉｓの構造特徴がより著しくなると大きくなる。更に、寄与は、三角形の中心から構造点の方に指すベクトルに対する構造点における勾配の方向にも依存し、これら方向が平行或いは反平行であるとき最大となる。
【００３３】
内部エネルギーＥ_ｉｎｔは関係
【００３４】
【数８】

に従って計算される。
【００３５】
ここでｓはスケーリング係数、Ｒは回転マトリクス、及びΔ_ｉｊは変形されていないモデルＭにおけるネットワーク点ｘ_ｉと隣接するネットワーク点ｘ_ｊとの間の距離である。初めてループが完成したとき、ｓ＝１であり、Ｒは単位マトリクス（unity matrix）に対応する（つまり、対角要素が１の値を有し、全ての他のマトリクス要素が０の値を有する）。
【００３６】
式（７）によると、モデルの全てのＫのネットワーク点に対して加算は行われ、このとき周囲のネットワーク点ｘ_ｊｍからの距離を決定することが毎回必要となる。
【００３７】
従って、段階１０４では、新しい座標ｘ_ｉｍがモデルに対して計算され、つまり、式（４）乃至（７）に従って決定されたエネルギーが最小値となるようにして計算される（式（５）における三角形の中心ｘ’_ｉｍは関連する三角形のコーナー点ｘ_ｉｍから導出され得ることに注意する）。エネルギーＥが最小値となる座標ｘ_ｉｍの決定は、実際には、３Ｋ式で式の線形系を解くことであり、このときＫはモデルのネットワーク点の数である。
【００３８】
その後、ネットワーク点の新しく計算された座標ｘ_ｉｍに基づき、更新された値ｘ_ｉｍ及びｘ_ｊｍで式（７）に従うエネルギー関数が最小値となるスケーリング係数ｓ、又は、回転Ｒが決定される。段階１０４及び１０５の順序は入れ替えられ得る。ループが始めて完成すると、ｓ及びＲの値の計算が省略され、ｓ及びＲはループが更に完成されるときにだけ新たに計算される。段階１０４及び１０５の２つの段階は、同時に実施されてもよい。式の線形系は、３Ｋ＋４に４つの式で拡大される。
【００３９】
その後、ループ１０２・・・１０５が、段階１０４及び１０５中で決定される値に基づいて再び完成される。モデルのこの変更のため、前は画像面を交差しなかった幾つかの三角形が今では画像面を交差し、或いはその逆となり得る。ループ１０２・・・１０５が何回か完成され割り込み（interrupt）基準が満たされた後（例えば、ネットワーク点の位置が殆ど変化しない）、又は、決まった数の完成（例えば、３０乃至５０）、多数の変形後に得られるモデルは段階１０６において記憶されモニタ上に表示される。この変形されたモデルは、対象物の二次元画像に含まれる三次元構造のセグメンテーション、本例では大腿骨頭のセグメンテーションを表示する。これにより本発明による方法の実行が完了する。
【図面の簡単な説明】
【図１】本発明による方法を実施するのに好適な画像処理装置を示す図である。
【図２】本発明による方法の実行を示すフローチャートである。
【図３】モデル及び２つの画像の相対的な位置を示す図である。
【図４】モデルの一部及び一つの画像の面を示す図である。
【図５】画像面と交差する三角形の側面図である。
【図６】画像面と交差する三角形の平面図である。
【符号の説明】
１ 画像処理及び制御プロセッサ
２ メモリ
３ バスシステム
４ モニタ
５ キーボード
１００、１０１、１０２、１０３、１０４、１０５、１０６、１０７ 本発明による方法を実行するステップ

Claims (5)

1. モデルの表面上のネットワーク点を相互接続するメッシュのネットワークによって表面が形成される変形可能なモデルを利用して、対象物のスライスを表示する少なくとも１つの二次元画像から上記対象物に含まれる三次元構造をセグメント化する画像処理装置であって、上記画像処理装置は、
   上記モデルの表面上のネットワーク点を相互接続するメッシュのネットワークによって表面が形成される変形可能なモデルを記憶し、対象物のスライスを表示する少なくとも１つの二次元画像を記憶するメモリと、
   セグメント化された構造を表示する画像表示ユニットと、
   上記対象物に含まれる三次元構造をセグメント化する画像処理手段とを有し、上記セグメント化は、
   ａ）上記画像を交差する上記メッシュを決定する機能と、
   ｂ）上記機能ａ）において決定された上記各メッシュに対して、上記メッシュを横切り且つ上記画像に延在する探索線の方向に上記構造の上記表面に位置する夫々の構造点を探索する機能と、
   ｃ）上記探索された構造点に基づいて上記モデルのネットワーク点を新たに計算する機能と、
   ｄ）上記新しく計算されたネットワーク点に基づいて上記機能ａ）乃至機能ｃ）を何回か繰り返す機能とを有する画像処理装置。
2. 上記探索線の方向は、上記画像の面への上記メッシュに対して垂直な線の投影に対応する請求項１記載の画像処理装置。
3. 上記構造点の探索は、上記メッシュと上記画像の面との交線に対して対称的に位置する上記探索線の域に限定される請求項１記載の画像処理装置。
4. 上記探索線は上記メッシュと上記画像の面との交線の中心を通って延在する請求項１記載の画像処理装置。
5. モデルの表面上のネットワーク点を相互接続するメッシュのネットワークによって表面が形成される変形可能なモデルを利用して、対象物のスライスを表示する少なくとも１つの二次元画像から上記対象物に含まれる三次元構造をセグメント化する請求項１記載の画像処理装置用のコンピュータプログラムであって、
   ａ）上記画像を交差するメッシュを決定する段階と、
   ｂ）上記段階ａ）において決定された上記各メッシュに対して、上記メッシュを横切り且つ上記画像に延在する探索線の方向に上記構造の上記表面に位置する夫々の構造点を探索する段階と、
   ｃ）上記探索された構造点に基づいて上記モデルの上記ネットワーク点を新たに計算する段階と、
   ｄ）上記新しく計算されたネットワーク点に基づいて上記段階ａ）乃至ｃ）を何回か繰り返す段階とを含むコンピュータプログラム。

Images