JP4885042B2 - 画像処理方法および装置ならびにプログラム - Google Patents

Description

本発明は、ボリュームレンダリング法によって、多数の２次元画像の群からなる３次元画像データから擬似３次元画像を生成する画像処理方法および装置ならびにプログラムに関するものである。

被写体の３次元的な構造等の把握を容易にするため、ＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の２次元画像の群からなる被写体の３次元画像データを、コンピュータグラフィックスの技術等を用いて２次元平面上に立体的に可視化した擬似３次元画像を生成・表示する処理が行われている。

このような擬似３次元画像を生成する方法としては、たとえば特許文献１に示されているように、３次元画像を構成する各ボクセルに不透明度（Opacity）およびＲ、Ｇ、Ｂの色情報を割付け、観察する側から投影面の各画素へのボクセル追跡（レイキャスティング）を行い、被写体の組織間の境界面のみならず内部の情報構造も多重に透かして可視化するボリュームレンダリング法が知られている。

このようなボリュームレンダリング法においては、任意の光源を設定し、その光源により照明された３次元画像中の任意の点に対して、光源からその点に入射される光の入射方向と、その点における画素値の勾配値により規定された面の傾斜との関係に基づいて、立体感を表現する「陰影づけ」処理が行われている。

さらに、特許文献２では、３次元画像の全体領域のうち所望の領域のみが表示されるようにするマスキング処理を行った上で、ボリュームレンダリング法による擬似３次元画像を生成・表示することにより、被写体中の注目する部分のみを立体的に可視化し、読影者による観察性能を向上させる手法が提案されている。
特開２００６−０００３３８号公報 特開平７−２７１９９７号公報

ところで、３次元画像の全体領域のうち所望の領域のみが表示されるようにするマスキング処理を行い、ボリュームレンダリング法による擬似３次元画像の生成・表示する場合、表示領域と非表示領域とを隔てる境界面に、それらの両方の領域にかけて存在する被写体の断面が表示されるようになる。

しかし、３次元画像中の各点に対して、その点における画素値の勾配値により規定される面の傾斜に基づいて陰影処理を行う上記従来の技術では、その断面の各点における陰影処理が、その断面における被写体の内部領域の画素値の分布に基づいて行われるため、たとえば、図８に示すように、ボリュームレンダリングにより生成された擬似３次元画像中の被写体の断面が表示された領域Ａに、その被写体の内部領域の画素値の分布による不自然な模様が現れ、読影者による観察性能の低下を招く恐れがある。

本発明は、上記事情に鑑み、ボリュームレンダリング法によって生成される擬似３次元画像の、読影者による観察性能を向上させる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、その３次元画像をサンプリングした各探査点における輝度値を用いて、投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理方法において、３次元画像の各ボクセルが表示又は非表示されるように設定し、各探査点の近傍ボクセルにおける表示／非表示の情報を用いて、その各探査点が３次元画像における表示領域と非表示領域との境界に存在するものであるか否かを判断し、境界に存在すると判断された探査点における法線ベクトルを、その探査点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて決定し、決定された法線ベクトルに基づいてその探査点における輝度値を決定することを特徴とするものである。

ここで「３次元画像」というのは、多数の２次元画像の群からなる３次元画像データにより構成される仮想的３次元画像であり、「擬似３次元画像」というのは、ボリュームレンダリング法によって生成され、３次元的に可視表示される２次元画像を意味する。

本発明の画像処理装置は、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、その３次元画像をサンプリングした各探査点における輝度値を用いて、投影面上の画素の画素値を決定するレイキャスティング手段とを備えた、ボリュームレンダリング法によって擬似３次元画像を生成する画像処理装置において、３次元画像の各ボクセルが表示又は非表示されるように設定する表示設定手段と、各探査点の近傍ボクセルにおける表示・非表示の情報を用いて、その各探査点が前記３次元画像における表示領域と非表示領域との境界に存在するものであるか否かを判断する判断手段と、境界に存在すると判断された探査点における法線ベクトルを、その探査点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて決定するベクトル決定手段と、決定された法線ベクトルに基づいてその探査点における輝度値を決定する輝度値決定手段とを備えたことを特徴とするものである。

本発明の画像処理プログラムは、上記画像処理方法をコンピュータに実行させるものである。

本発明の画像処理方法および装置ならびにプログラムによれば、３次元画像の各ボクセルが表示又は非表示されるように設定し、ボリュームレンダリング法によって擬似３次元画像を生成するとき、表示領域と非表示領域との境界に存在する各点に対しては、その点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて陰影処理が行われるようにしたので、ボリュームレンダリングによって生成された擬似３次元画像に、上記表示領域と非表示領域との境界で現れる被写体の断面が滑らかな断面として表現でき、読影者による観察性能を向上することができる。

以下、図面を参照して、本発明の一実施の形態について説明する。

図１は、３次元医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。

モダリティ１は、被検体を表す３次元医用画像Ｖを取得するものであり、具体的には、ＣＴ装置やＭＲＩ装置、超音波診断装置等である。

画像保管サーバ２は、モダリティ１で取得された３次元医用画像Ｖや画像処理ワークステーション３での画像処理によって生成された医用画像を画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理ソフトウェア（たとえば、ＯＲＤＢ(Object Relational Database)管理ソフトウェア）を備えている。

画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した３次元医用画像Ｖに対して画像処理を行い、生成された画像を表示するコンピュータであり、特に、読影者からの要求を入力するキーボードやマウス等の入力装置と、取得した３次元医用画像Ｖを格納可能な容量の主記憶装置と、生成された画像を表示するディスプレイとを備えている。

画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）等のプロトコルに基づいている。

図２は、画像処理ワークステーション３のボリュームレンダリング機能に関連する部分を示すブロック図である。図に示すように、画像処理ワークステーション３は、読影者からの要求に応じて、読影対象の患者の３次元医用画像Ｖをモダリティ１や画像保管サーバ２から取得する画像取得手段１０、取得した３次元医用画像Ｖの各ボクセルが表示又は非表示されるように設定する表示設定手段２０、任意の視点と投影面上の各画素とを結ぶ複数の視線に沿って、３次元医用画像Ｖを所定の間隔でサンプリングした複数の探査点の輝度値と不透明度とを用いて、投影面上の画素の画素値を決定し、ボリュームレンダリング画像（擬似３次元画像）を生成するレイキャスティング手段６０、および生成されたボリュームレンダリング画像をディスプレイに表示する画像表示手段７０から構成されており、レイキャスティング手段６０は、各探査点における輝度値と不透明度をそれぞれ決定する輝度値決定手段４０と不透明度決定手段５０とを備える。また、輝度値決定手段４０は、各探査点の近傍ボクセルにおける表示・非表示の情報を用いて、その各探査点が、３次元医用画像Ｖにおける表示領域と非表示領域との境界に存在するものであるか否かを判断する判断手段４１、各探査点における法線ベクトルを決定する法線ベクトル決定手段４２、および決定された各探査点における法線ベクトルに基づいてその探査点の輝度値を算出する輝度値算出手段４３から構成されている。

次に、この医用画像処理システム、特に画像処理ワークステーション３によって、ボリュームレンダリング画像を生成する処理の流れについて説明する。

まず、画像取得手段１０が、読影者からの要求に応じて、読影対象の患者の３次元医用画像Ｖをモダリティ１や画像保管サーバ２から取得する。この３次元医用画像Ｖは、マルチスライス画像をボクセルに分割し、３次元座標空間内に配列してなるものであり、各ボクセルの位置は、被写体の左右方向をｘ軸、前後方向をｙ軸、上下方向をｚ軸とする３次元座標系で定義され、各ボクセルの画素値は、そのボクセルの位置の座標と関連づけられている。

次に、表示設定手段２０が、３次元医用画像Ｖの各ボクセルを表示又は非表示されるように設定する。たとえば、読影者が３次元医用画像Ｖ中の部分領域を選択的に表示又は非表示されるように指定する入力に基づいて、３次元医用画像Ｖの各ボクセルにおける表示・非表示の情報を有するマスクを作成する。

次に、レイキャスティング手段６０が、ボリュームレンダリング画像を構成する画素の画素値（出力画素値）を求める。まず、初期設定ファイルや読影者によるキーボードやマウス等からの入力等により設定された視点Ｅ、光源Ｓ、投影面Ｆ（大きさ、位置、画素数）により、たとえば、図３に示すように、その視点Ｅと投影面Ｆ上の投影画素の各々とを結ぶ複数の視線Ｅ_ｊ（ｊ＝１、２、…、Ｌ；Ｌは、視線の数）に沿って３次元医用画像Ｖを所定の間隔でサンプリングした複数の探査点Ｐ_ｊｉ（ｉ＝１、２、…、ｎ；ｎは、視線Ｅ_ｊ上の探査点の数）を設定する。次に、各視線Ｅ_ｊに沿って、各探査点Ｐ_ｊｉにおける輝度値ｂ(Ｐ_ｊｉ)と不透明度α(Ｐ_ｊｉ)とを後述する輝度値決定手段４０および不透明度決定手段３０により順次取得し、次の式（１）に示すように、それらの積を加算していき、不透明度αの累積が所定の閾値となるか、またはレイが対象としている３次元医用画像Ｖから抜け出たとき、その視線Ｅ_ｊに対する処理を終了し、加算結果をその視線Ｅ_ｊが通る投影面上の投影画素の出力画素値Ｃ_ｊとして決定する。

このような処理を各視線について行い、投影面上のすべての投影画素の出力画素値を決定し、ボリュームレンダリング画像を生成する。生成されたボリュームレンダリング画像は、画像表示手段７０によって画像処理ワークステーション３のディスプレイに表示される。

次に、輝度値決定手段４０によって、各探査点Ｐ_ｊｉにおける輝度値ｂ(Ｐ_ｊｉ)を決定する処理の流れについて説明する。

輝度値決定手段４０は、判断手段４１、法線ベクトル決定手段４２、および輝度値算出手段４３から構成されており、まず、判断手段４１が、各探査点Ｐ_ｊｉに対して、図４に示すように、その各探査点の近傍に存在する８つの近傍ボクセルにおける表示・非表示の情報を用いて、その各探査点Ｐ_ｊｉが、３次元医用画像Ｖにおける表示領域と非表示領域との境界に存在するものであるか否かが判断する。具体的には、表示設定手段２０において作成された各ボクセルの表示・非表示の情報を有するマスクを参照して、判断の対象となる探査点における８つの近傍ボクセルに、表示されるように設定されたボクセル（表示ボクセル）と非表示されるように設定されたボクセル（非表示ボクセル）が両方とも存在している場合、その探査点が表示領域と非表示領域との境界に存在するものであると判断し、８つの近傍ボクセルの全てが表示ボクセルである場合、又は８つの近傍ボクセルの全てが非表示ボクセルである場合は、その探査点が境界に存在するものではないと判断する。たとえば、図４では、表示ボクセルを白色で、非表示ボクセルを黒色で示しており、図示された探査点は、その探査点における８つの近傍ボクセルに、表示ボクセルと非表示ボクセルが両方とも存在するので、表示領域と非表示領域との境界に存在するものであると判断される。

次に、法線ベクトル決定手段４２が、判断手段４１において境界に存在すると判断された探査点Ｐ_ｊｉについて、図５に示すように、その探査点の近傍ボクセルにおける表示・非表示情報を用いて、表示領域と非表示領域との境界の面を規定し、その規定された面の法線ベクトルをその探査点における法線ベクトルＮ(Ｐ_ｊｉ)として決定する。

ここで、３次元空間上に並べられた各ボクセルの表示・非表示情報に基づいて面を規定する方法としては、たとえば、１格子を構成する８頂点の状態における基本パターンへの場合わけに基づいて、その格子内に等値面を規定するマーチングキューブ法（Marching Cubes）を使用することができる。図６は、マーチングキューブ法による１５通りの基本パターン示す図である。ここで、図示する白色の頂点を表示ボクセルとし、黒色の頂点を非表示ボクセルとしたとき、１格子を構成する８つのボクセルの表示・非表示の状態はそれらの基本パターンのいずれかに該当し、該当するパターンにおいて規定された面の法線ベクトルをその格子内に存在する探査点における法線ベクトルとして決定する。なお、該当する基本パターンが、格子内に複数の面を規定するものである場合には、たとえば、探査点からの最も近いボクセルを取得し、さらにそのボクセルに最も近い面の法線ベクトルをその探査点における法線ベクトルとして決定するなど、それらの複数の面のうち、適切な１つの面を選択する。

なお、表示領域と非表示領域との境界の面を規定する方法としては、上述したマーチングキューブ法に限らず、各ボクセルの表示・非表示情報により、表示領域と非表示領域とを隔てる滑らかな面を規定する他の方法を使用することもできる。

一方、判断手段４１において境界に存在しないと判断された探査点については、法線ベクトル決定手段４２が、下記の式（２）により、その探査点Ｐ_ｊｉにおける画素値の勾配により規定される面の法線ベクトルをその探査点における法線ベクトルＮ(Ｐ_ｊｉ)として決定する。

ここで、∇ｆ(Ｐ_ｊｉ)は、探査点Ｐ_ｊｉにおける画素値の勾配であり、探査点Ｐ_ｊｉにｘ軸方向、ｙ軸方向、又はｚ軸方向で近接する６つの近傍点における画素値を用いて、次の式（３）により求めることができる。

ここで、ｆはその点における画素値を表すものであり、上記各近傍点の画素値は、その近傍点が含まれる格子を構成する８つのボクセルの画素値を線形補間して求める。また、ここでは、簡単のため、Ｐ_ｊｉ＝（ｘ、ｙ、ｚ）としている。

なお、ここでは、境界に存在しないと判断された探査点について、その探査点における画素値の勾配により規定される面の法線ベクトルをその探査点における法線ベクトルとして決定する場合について説明したが、その探査点における画素値の勾配値に限らず、その探査点における不透明度の勾配値により規定される面に基づいて法線ベクトルを決定するなど、他の方法により法線ベクトルを決定してもよい。

次に、輝度値算出手段４３が、法線ベクトル決定手段４２において決定された各探査点Ｐ_ｊｉにおける法線ベクトルに基づいてその探査点の輝度値ｂ(Ｐ_ｊｉ)を、たとえば、次の式（４）により算出する。

ここで、ｈは、拡散反射によるシェーディング係数である。なお、本実施形態では、環境光や鏡面反射光については考慮していない。さらに、Ｌは、探査点Ｐ_ｊｉから光源Ｓへの単位方向ベクトル、「・」はベクトルの内積、ｃ(Ｐ_ｊｉ)は、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された色情報に基づき、割り当てられた色情報である。

次に、不透明度決定手段５０によって、上記各探査点Ｐ_ｊｉにおける不透明度α(Ｐ_ｊｉ)を決定する処理について説明する。まず、表示設定手段２０において作成された各ボクセルの表示・非表示の情報を有するマスクを参照して、各探査点Ｐ_ｊｉの近傍に存在する８つの近傍ボクセルの全てが非表示ボクセルであるか否かを判断する。８つの近傍ボクセルが全て非表示ボクセルである場合は、その探査点における不透明度を α(P_ｊｉ)=０ とし、その他の場合には、各探査点Ｐ_ｊｉにおける不透明度α(Ｐ_ｊｉ)を、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された不透明度に基づき、その探査点Ｐ_ｊｉおける画素値により決定する。なお、各探査点Ｐ_ｊｉの画素値は、その探査点が含まれる格子を構成する８つのボクセルの画素値を線形補間して求める。

なお、上記輝度値の決定処理と不透明度の決定処理とは、互いに独立した処理のため、直列処理で行う場合にはどちらの処理を先に行ってもよいし、並列処理により同時並行で行ってもよい。

このように本発明による画像処理の実施形態となる３次元医用画像処理システムでは、３次元医用画像Ｖの各ボクセルが表示又は非表示されるように設定し、ボリュームレンダリング法によって擬似３次元画像を生成する際に、表示領域と非表示領域との境界に存在する各点に対しては、その点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて陰影処理が行われるようにしたので、図７に示すように、ボリュームレンダリングによって生成された擬似３次元画像に、上記表示領域と非表示領域との境界で現れる被写体の断面Ａが滑らかな断面として表現でき、読影者による観察性能を向上することができる。

さらに、表示領域と非表示領域との境界に存在する各点に対して、マーチングキューブ法により表示領域と非表示領域との境界の面を規定するようにしたので、通常３２個の頂点を参照することにより取得される画素値の勾配により面を規定する従来の方法に比べ、参照する頂点の数を８個に低減でき、計算処理の量を大幅に減らすことができる。

なお、上記実施の形態では、３次元医用画像Ｖの全体領域のうち所望の領域のみが表示されるようにするマスキング処理を、不透明度決定手段５０において、表示設定手段２０により作成された各ボクセルの表示・非表示の情報を有するマスクを参照し、各探査点Ｐ_ｊｉの近傍に存在する８つの近傍ボクセルの全てが非表示ボクセルである場合、その探査点における不透明度を α(P_ｊｉ)=０ とすることにより実現する場合について説明したが、レイキャスティング手段６０において、各視線Ｅ_ｊに沿って、その視線Ｅ_ｊ上の各探査点Ｐ_ｊｉにおける輝度値ｂ(Ｐ_ｊｉ)と不透明度α(Ｐ_ｊｉ)との積を順次加算していくとき、その探査点Ｐ_ｊｉの近傍に存在する８つの近傍ボクセルの全てが非表示ボクセルである場合には、その探査点における計算を打ち切って次の探査点に進むようにして実現してもよい。

また、上記の実施形態では、画像処理ワークステーション３で画像処理と画像表示の両方を行うようにしたが、画像処理サーバを別途設けてネットワーク９に接続し、画像処理はこの画像処理サーバに行なわせるようにしてもよい。これにより、分散処理が図られ、たとえば、画像の表示を複数の端末で行なう場合には、高性能の画像処理ワークステーションを複数台設置する必要がなくなり、システム全体のコストの低減に資する。

本発明の実施の形態となる３次元医用画像処理システムの概略構成図 図１の画像処理ワークステーションのボリュームレンダリング機能を示すブロック図 レイキャスティング手段６０による探査点の設定処理を説明するための図 判断手段４１による判断処理を説明するための図 法線ベクトル決定手段４２により境界に存在すると判断された探査点における法線ベクトルを決定する処理を説明するための図 マーチングキューブ法による面の生成パターン示す図 本発明の画像処理により生成された擬似３次元画像の一例を示す図 従来の画像処理方法により生成された擬似３次元画像の一例を示す図

符号の説明

１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
９ ネットワーク
２０ 表示設定手段
４０ 輝度値決定手段
４１ 判断手段
４２ 法線ベクトル決定手段
４３ 輝度値算出手段
５０ 不透明度決定手段
６０ レイキャスティング手段
Ｓ 光源
Ｆ 投影面
Ｅ_ｊ 視線
Ｐ_ｊｉ 探査点

Claims (3)

1. 任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理方法において、
   前記３次元画像の各ボクセルが表示又は非表示されるように設定し、
   前記各探査点の近傍ボクセルにおける表示／非表示の情報を用いて、該各探査点が、前記３次元画像における表示領域と非表示領域との境界に存在するものであるか否かを判断し、
   前記境界に存在すると判断された探査点における法線ベクトルを、該探査点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて決定し、
   決定された法線ベクトルに基づいて当該探査点における輝度値を決定することを特徴とする画像処理方法。
2. 任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するレイキャスティング手段を備えた、ボリュームレンダリング法によって擬似３次元画像を生成する画像処理装置において、
   前記３次元画像の各ボクセルが表示又は非表示されるように設定する表示設定手段と、
   前記各探査点の近傍ボクセルにおける表示・非表示の情報を用いて、該各探査点が、前記３次元画像における表示領域と非表示領域との境界に存在するものであるか否かを判断する判断手段と、
   前記境界に存在すると判断された探査点における法線ベクトルを、該探査点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて決定する法線ベクトル決定手段と、
   決定された法線ベクトルに基づいて当該探査点における輝度値を決定する輝度値決定手段と
   を備えたことを特徴とする画像処理装置。
3. コンピュータに、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理を実行させるためのプログラムにおいて、
   前記３次元画像の各ボクセルが表示又は非表示されるように設定し、
   前記各探査点の近傍ボクセルにおける表示・非表示の情報を用いて、該各探査点が、前記３次元画像における表示領域と非表示領域との境界に存在するものであるか否かを判断し、
   前記境界に存在すると判断された探査点における法線ベクトルを、該探査点の近傍ボクセルにおける表示・非表示情報により規定される、表示領域と非表示領域との境界の面に基づいて決定し、
   決定された法線ベクトルに基づいて当該探査点の輝度値を決定することを実行させることを特徴とするプログラム。