JP4200979B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、ボリュームデータのうちユーザが関心のある領域（region of interest；ＲＯＩ）を指定する際に用いて好適な画像処理装置及びその方法に関する。

ボリュームセグメンテーションは、例えばコンピュータ断層撮影法（Computerized Tomography；ＣＴ）や磁気共鳴画像化法（Magnetic Resonance Imaging；ＭＲＩ）などによって得られたボリュームデータを視覚的或いは構造的に意味のある領域に分割する画像処理である。このボリュームセグメンテーションは、未加工のボリュームデータから形状や体積などの有用な情報を得るために不可欠な処理であるため、３０年近くに亘って研究されているが、全自動の手法は今もって存在しない。これは、ユーザが期待するセグメンテーション結果を得るには、エッジ検出やテクスチャ分析などの低次の情報から、物体の全体形状やトポロジーなどの高次の情報まで、幅広く高度な情報処理が必要なためである。とりわけ高次の情報は、ユーザの指示なしに自動的に生成することは不可能であると考えられている。

Tzeng, F.-Y., Lum, E. B., and Ma, K.-L., 2003,"A novel interface for higher-dimensional classification of volume data.", In Proceedings of IEEE Visualization 2003, IEEE, 505-512 Sherbondy, A., Houston, M., and Napel, S., 2003,"Fast volume segmentation with simultaneous visualization using programmable graphics hardware.", In Proceedings of IEEE Visualization 2003, IEEE, 171-176

ここで一番の問題は、このような情報をどのようにして与えるかである。対象が２次元の画像データであれば、所望の領域をマウスで直接指定することが可能であるが、対象が３次元のボリュームデータの場合、２次元情報しか与えられないマウスでは、所望の３次元領域を指定することは容易ではない。

そこで、従来は、ボリュームデータを一旦切断し、その断面に対してユーザが所望の領域を指定していた（例えば、非特許文献１，２を参照）。しかしながら、このような従来の手法では、ボリュームデータを切断する毎にユーザが所望の領域を指定しなければならず、処理が煩雑であるという問題があった。

本発明は、このような従来の実情に鑑みて提案されたものであり、ボリュームデータを切断することなく所望の３次元領域を指定することが可能な画像処理装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置は、ボリュームデータのうち所望の３次元領域を指定する画像処理装置であって、上記ボリュームデータが表示される表示手段と、上記表示手段に表示された上記ボリュームデータに対してユーザが２次元のパスを入力するための入力手段と、上記２次元のパスを上記ユーザの視点から見た奥行き方向に掃引して３次元曲面を作成すると共に該３次元曲面内に有限個のサンプリング点を定め、各サンプリング点で上記ボリュームデータの正規化されたグラディエントをサンプリングし、該３次元曲面における正規化された法線ベクトルと、上記正規化されたグラディエントとの内積であるスカラー値を各サンプリング点に設定し、該スカラー値が設定された３次元曲面内で動的計画法を用いて該スカラー値の総和が最大になる３次元のパスに変換するパス３次元化手段と、上記３次元のパスに基づいて、上記所望の３次元領域を指定する３次元領域指定手段とを備える。

また、上述した目的を達成するために、本発明に係る画像処理方法は、ボリュームデータのうち所望の３次元領域を指定する画像処理方法であって、表示手段に表示されたボリュームデータに対してユーザが描いた２次元のパスを入力する入力工程と、上記２次元のパスを上記ユーザの視点から見た奥行き方向に掃引して３次元曲面を作成すると共に該３次元曲面内に有限個のサンプリング点を定め、各サンプリング点で上記ボリュームデータの正規化されたグラディエントをサンプリングし、該３次元曲面における正規化された法線ベクトルと、上記正規化されたグラディエントとの内積であるスカラー値を各サンプリング点に設定し、該スカラー値が設定された３次元曲面内で動的計画法を用いて該スカラー値の総和が最大になる３次元のパスに変換するパス３次元化工程と、上記３次元のパスに基づいて、上記所望の３次元領域を指定する３次元領域指定工程とを有する。

本発明に係る画像処理装置及びその方法によれば、ボリュームデータが表示された平面に２次元のパスを直接描くことにより、ボリュームデータを切断することなく、所望の３次元領域を指定することが可能とされる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ボリュームデータから所望のセグメンテーション領域を取り出す画像処理装置に適用したものである。この画像処理装置によれば、例えば図１（Ａ）に示すような１０５×７３×７８ボクセルの頭部ＭＲＩデータに対してユーザが脳の輪郭の一部を２次元的になぞると、後述のように奥行き方向を自動的に計算し、図１（Ｂ）に示すように脳全体領域を取り出すことができる。

先ず、本実施の形態における画像処理装置の概略構成を図２に示す。図２に示すように、本実施の形態における画像処理装置１は、マウス１０からの入力を解釈する入力解釈部１１と、入力解釈部１１から供給された表示パラメータに基づいて、入力されたボリュームデータをレンダリング（可視化）するレンダリング画像表示部１２と、入力解釈部１１から供給された２次元のパス（ストローク）に奥行きを付加して３次元のパスに変換するパス３次元化部１３と、３次元のパスに基づいて、セグメンテーションを行う際の制約条件を発生させる制約条件発生部１４と、制約条件に基づいてボリュームデータのセグメンテーションを行うセグメンテーション実行部１５とから構成されている。

この画像処理装置１において、ユーザがマウス１０を操作すると、入力解釈部１１は、マウス１０からの入力が回転等の表示パラメータ設定用のものか、セグメンテーション領域情報を与えるものかを判断する。

前者である場合、すなわちユーザがレンダリング画像表示部１２に表示されたボリュームデータの表示パラメータを設定した場合、入力解釈部１１は、その表示パラメータをレンダリング画像表示部１２に供給する。レンダリング画像表示部１２は、表示パラメータに基づき、ボリュームデータを回転等して表示する。

一方、後者である場合、すなわちユーザがボリュームデータの表示されたレンダリング画像表示部１２の平面に２次元のパスを描いた場合、入力解釈部１１は、その２次元のパスをパス３次元化部１３に供給する。パス３次元化部１３は、この２次元のパスに奥行きを付加して３次元のパスに変換し、制約条件発生部１４は、３次元化されたパスに基づいて、セグメンテーションを行う際の制約条件を発生させる。そして、セグメンテーション実行部１５は、この制約条件に基づいてボリュームデータのセグメンテーションを行い、セグメンテーション結果を出力する。

以下、パス３次元化部１３、制約条件発生部１４及びセグメンテーション実行部１５における処理について詳細に説明する。

パス３次元化部１３は、ユーザがボリュームデータに描いた２次元のパスに奥行きを付加し、３次元のパスに変換する。ここで、セグメンテーション領域の輪郭は視覚的に際立っており、ユーザはその輪郭の近くに２次元のパスを描いたと仮定する。この仮定が成り立つ場合、３次元のパスはセグメンテーション領域のシルエットの近くを通っている。言い換えれば、ボリュームデータのグラディエント（輝度値が最も変化する方向）が視線方向に対して略垂直になっている。パス３次元化部１３は、このような３次元のパスを以下のようにして求める。

先ず、パス３次元化部１３は、２次元のパスを奥行き方向にスイープ（掃引）し、図３（Ａ）に示すような３次元の曲面（以下、「スイープ曲面」という。）を作成する。

次に、パス３次元化部１３は、図３（Ｂ）に示すように、スイープ曲面の奥行き方向をｘ、レンダリング画像表示部１２の表示面に平行な方向をｙとして座標系を設定する。すなわち、スイープ曲面の視点に近い方の端をｘ＝０とし、視点から遠い方の端をｘ＝Ｘ_ｍａｘとする。また、２次元パスの始点に対応する奥行き方向の直線をｙ＝０とし、終点に対応する奥行き方向の直線をｙ＝Ｙ_ｍａｘとする。

続いて、パス３次元化部１３は、スイープ曲面にサンプリング点の集合を設定する。サンプリング点は、パラメータ空間における格子点であり、以下、各格子点をＬ_ｉｊと表記する。なお、ｉ，ｊはそれぞれｘ，ｙ方向のインデクスを示し、１≦ｉ≦Ｘ_ｍａｘ，１≦ｊ≦Ｙ_ｍａｘである。

続いて、パス３次元化部１３は、各格子点Ｌ_ｉｊにおいて、シルエット係数Ｓ_ｉｊ＝｜Ｎ_ｉｊ・Ｇ_ｉｊ｜を計算する。ここで、図３（Ｃ）に示すように、Ｎ_ｉｊはスイープ曲面の正規化された法線ベクトルであり、Ｇ_ｉｊはボリュームデータの正規化されたグラディエントである。このシルエット係数Ｓ_ｉｊは、その点が現在の始点からどの程度シルエットに見えるかという度合いを表したものである。

ここで、ボリュームデータのグラディエントＧ_ｉｊは、例えば以下のようにして求めることができる。先ず、元のボリュームデータが色情報（Ｒ，Ｇ，Ｂ）を持っている場合には、Gray＝α×（0.299×Red＋0.587×Green＋0.114×Blue）という式に従ってグレイスケールに変換する。また、伝達関数などで元のボリューム値がフィルタリングされている場合には、フィルタ適用後の値を用いる。

実際のグラディエントの計算には、微分フィルタを用いる。これは、隣接ボクセルとの前進差分を計算することによって行う。例えば、ボリュームデータがＶ（ｘ，ｙ，ｚ）で表され、隣接ボクセルとの距離がΔｔである場合、グラディエントは、３次元ベクトル
（１／Δｔ）×（Ｖ（ｘ＋Δｔ，ｙ，ｚ）−Ｖ（ｘ，ｙ，ｚ），Ｖ（ｘ，ｙ＋Δｔ，ｚ）−Ｖ（ｘ，ｙ，ｚ），Ｖ（ｘ，ｙ，ｚΔｔ）−Ｖ（ｘ，ｙ，ｚ））
となる。しかしながら、ボリュームデータが細かい構造（高周波成分）を含む場合には、そのデータを直接用いてグラディエントを計算すると、データの細かなバラつきがグラディエント計算の結果を不安定にする可能性がある。そこで、ボリュームデータをスムージングして予め高周波成分を除去してからグラディエントを計算することが好ましい。スムージングは３次元のガウス関数で畳み込みを行うことで実現することができる。なお、ガウス関数で畳み込みを行った結果を微分することと、微分したガウス関数で畳み込みを行うこととは等価であるため、ガウス関数をｘ，ｙ，ｚの各軸方向に微分したフィルタを予め計算しておき、このフィルタを用いて畳み込みを行うようにしても構わない。スムージングカーネルの半径Ｒは、レンダリング画像表示部１２上でのボリュームデータの大きさに応じて動的に変化させる。この際、ユーザが描いた２次元のパスの不正確さを吸収するため、ボリュームデータの拡大率が高いほどスムージングカーネルの半径Ｒを小さくすることが好ましい。

続いて、パス３次元化部１３は、ユーザがボリュームデータに描いた２次元のパスの奥行きを計算するが、この奥行きを計算する問題は、図３（Ｄ）に示すように、上述した格子上において、辺ｙ＝０上の点から始まりｙ＝Ｙ_ｍａｘに至るパスのうち、パス上のシルエット係数の総和が最大になるものを探索する問題に帰着できる。このパスは、各ｙに対してｘの値が１つしかないため、関数ｘ＝ｆ（ｙ）のように表現できる。また、パスに連続性を持たせるため、｜ｆ（ｙ_ｉ）−ｆ（ｙ_ｉ＋１）｜≦ｃという条件を課す（例えばｃ＝１）。閉じたパスについては、さらに｜ｆ（ｙ_１）−ｆ（ｙ_ｍａｘ）｜≦ｃという条件を課す。この問題を解くには、動的計画法を用いればよい。なお、開いたパスに対しては動的計画法の計算を１度だけ行えばよいが、閉じたパスに対しては、｜ｆ（ｙ_１）−ｆ（ｙ_ｍａｘ）｜≦ｃを満たすため、辺ｘ方向のサンプル点の数だけ動的計画法の計算を行わなければならない。

最後に、パス３次元化部１３は、図３（Ｅ）に示すように、パラメータ空間で探索された最適パスに、対応する３次元位置を与えて３次元のパスを生成する。上述した図１のボリュームデータから脳全体領域を取り出す際のシルエット係数の格子と探索された最適パスとを図４に示す。

以上のようにして２次元のパスが３次元のパスに変換されると、制約条件発生部１４は、セグメンテーションを行う際の制約条件として束縛点集合を発生させる。この束縛点集合は前景と背景とを示す点集合であり、３次元のパスをオフセットさせた位置に生成される。ここで、オフセット方向ベクトルＤは、図５（Ａ）に示すように視線ベクトルと３次元パスの接線ベクトルとの外積の方向である。また、オフセットさせる距離ｅは、スムージングカーネルの半径Ｒに比例させる。したがって、３次元のパスの右側の＋ｅ×Ｄ／|Ｄ|だけオフセットさせた位置には前景の束縛点集合（図中○で示す）が生成され、３次元のパスの左側の−ｅ×Ｄ／|Ｄ|だけオフセットさせた位置には背景の束縛点集合（図中×で示す）が生成される。上述した図１のボリュームデータに対して発生された束縛点集合を図６に示す。

前景及び背景の束縛点集合が発生されると、セグメンテーション実行部１５は、この束縛点集合に基づいてボリュームデータのセグメンテーションを行い、セグメンテーション結果を出力する。セグメンテーション方法としては、例えば文献「Nock, R. and Nielsen, F., 2004,“Grouping with bias revisited.”, In IEEE International Conference on Computer Vision and Pattern Recognition, IEEE CS Press, A.B.L,-S. Davis, R. Chellapa, Ed., 460-465」に記載されている方法など、種々の方法を用いることができる。最も簡単には、前景と定められた点位置での色ベクトル（Ｒ，Ｇ，Ｂ）の平均と背景と定められた点位置での色ベクトル（Ｒ，Ｇ，Ｂ）の平均とを計算し、各ボクセルでの色ベクトルがこの２つの色ベクトルの何れとの距離が近いかによって前景か背景かを判別すればよい。なお、この距離としては、例えばユークリッド距離を用いることができる。

以下、実際のボリュームデータに適用した実施例について説明する。

本実施例では、図７（Ａ）に示すように、アーモンド入りのチョコレートクリスプをＯＣＴコンパウンドと称される包埋剤で固定し、４２μｍの厚さずつにスライスすることによって作成された１２６×８９×５３ボクセルのボリュームデータを用いた。このボリュームデータに伝達関数を適用することで、図７（Ｂ）に示すようにアーモンドを見やすくし、このアーモンド領域に対して図７（Ｃ）に示すように２次元のパスを描いた。この結果、アーモンド領域が取り出され、図７（Ｄ）に示すように境界が表示された。また、図７（Ｅ）に示すようにアーモンド周辺領域の小さな粒の輪郭に２次元のパスを描いた場合にも、図７（Ｆ）に示すようにその領域を取り出すことができた。

また、この画像処理装置１の実行速度を計測するため、３人の被験者に作業を行ってもらった。行ったタスクは、図１（Ａ）に示した頭部ＭＲＩデータとhigh-potential iron proteinと称される６６×６６×６６ボクセルのボリュームデータとに対して、所望の３次元領域をそれぞれ２０回ずつ選択してもらうというものである。この結果を図８に示す。図８の縦軸は、被験者が描いた２次元のパスを３次元のパスに変換し、束縛点集合が発生されるまでの時間を示し、横軸は、スイープ曲面上でのサンプル点の数（２次元のパスの長さに対応）を示す。また、実験には、Intel Xeon（商標） ３．２ＧＨｚ ＣＰＵと２ＧＢのＲＡＭとを搭載したコンピュータを用いた。

図８から分かるように、実行時間はほぼサンプル点の数に比例し、パスが開いているか閉じているかには殆ど影響されていない。これは、閉じたパスの場合には動的計画法の計算を何度も行う必要があるが、時間の殆どはグラディエントを計算するための畳み込み演算に費やされるためと考えられる。最終的なセグメンテーションまでの時間は、セグメンテーション方法に依存して０．５〜２０秒程度であった。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ボリュームデータから所望のセグメンテーション領域を取り出す場合に適用した例について説明したが、本発明はこれに限定されるものではなく、ボリュームデータのうち所望の３次元領域に色を付けるために当該３次元領域を指定する場合などにも適用可能である。

本実施の形態におけるボリュームセグメンテーションの一例を示す図である。 本実施の形態における画像処理装置の概略構成を示す図である。 ボリュームデータに描かれた２次元のパスに奥行きを付加して３次元のパスに変換する様子を示す図である。 図１のボリュームデータから脳全体領域を取り出す際のシルエット係数の格子と探索された最適パスとを示す図である。 ３次元のパスに基づいて、セグメンテーションを行う際の束縛点集合を発生させる様子を示す図である。 図１のボリュームデータに対して発生された束縛点集合を示す図である。 実際のボリュームデータに対してセグメンテーションを行った結果を示す図である。 本実施の形態における画像処理装置の実行速度を計測した結果を示す図である。

符号の説明

１ 画像処理装置、１０ マウス、１１ 入力解釈部、１２ レンダリング画像表示部、１３ パス３次元化部、１４ 制約条件発生部、１５ セグメンテーション実行部

Claims (3)

1. ボリュームデータのうち所望の３次元領域を指定する画像処理装置であって、
   上記ボリュームデータが表示される表示手段と、
   上記表示手段に表示された上記ボリュームデータに対してユーザが２次元のパスを入力するための入力手段と、
   上記２次元のパスを上記ユーザの視点から見た奥行き方向に掃引して３次元曲面を作成すると共に該３次元曲面内に有限個のサンプリング点を定め、各サンプリング点で上記ボリュームデータの正規化されたグラディエントをサンプリングし、該３次元曲面における正規化された法線ベクトルと、上記正規化されたグラディエントとの内積であるスカラー値を各サンプリング点に設定し、該スカラー値が設定された３次元曲面内で動的計画法を用いて該スカラー値の総和が最大になる３次元のパスに変換するパス３次元化手段と、
   上記３次元のパスに基づいて、上記所望の３次元領域を指定する３次元領域指定手段と
   を備える画像処理装置。
2. 上記３次元のパスに基づいて、上記所望の３次元領域を指定する際の付加情報として、前景と背景を示す点集合を上記ユーザの視線方向のベクトルと上記３次元のパスの接線ベクトルとの外積の方向に所定距離オフセットさせた位置に発生させる付加情報発生手段をさらに備える請求項１記載の画像処理装置。
3. ボリュームデータのうち所望の３次元領域を指定する画像処理方法であって、
   表示手段に表示されたボリュームデータに対してユーザが描いた２次元のパスを入力する入力工程と、
   上記２次元のパスを上記ユーザの視点から見た奥行き方向に掃引して３次元曲面を作成すると共に該３次元曲面内に有限個のサンプリング点を定め、各サンプリング点で上記ボリュームデータの正規化されたグラディエントをサンプリングし、該３次元曲面における正規化された法線ベクトルと、上記正規化されたグラディエントとの内積であるスカラー値を各サンプリング点に設定し、該スカラー値が設定された３次元曲面内で動的計画法を用いて該スカラー値の総和が最大になる３次元のパスに変換するパス３次元化工程と、
   上記３次元のパスに基づいて、上記所望の３次元領域を指定する３次元領域指定工程と
   を有する画像処理方法。

Images