JP6215057B2 - 可視化装置、可視化プログラムおよび可視化方法 - Google Patents

Description

本技術は、可視化装置、可視化プログラムおよび可視化方法に関する。

医療の現場において、医療向け測定機器である超音波エコー装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＣＴスキャン（Computed Tomography scan）装置等を利用して、心臓の心筋の断面等、臓器の情報を測定することが行われている。例えば心筋の断面の情報は、一般的には２次元の画像データである。

これに対して、三次元の複雑な構造を観測するための可視化方法としては、等値面表示、断面表示、ボリュームレンダリング（Volume Rendering）といった可視化手法がよく知られている。

そして、例えば特許文献１には、臓器の断面において、興味領域ＲＯＩ（Region of Interest。関心領域とも呼ぶ。）を設定して、当該興味領域にはボリュームレンダリングの結果を示すことによって、局所的に立体的な画像を認識可能にする技術が開示されている。しかしながら、この文献には、ボリュームレンダリングする際の不透明度（又は透明度）の設定については詳細には示されていないか又は輝度値に対して固定的な不透明度を設定するケースが示されているだけである。これでは、ユーザが望むような表示が得られない場合がある。

特開２００６−２５８８５号公報 特開平９−８１７８６号公報

従って、本発明の目的は、一側面として、関心領域に応じてその内部の構造を分かりやすく表示できるようにするための技術を提供することである。

本発明に係る可視化方法は、（Ａ）三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に当該輝度値の出現頻度に応じた不透明度を設定し、（Ｂ）関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した不透明度を用いて、三次元ボリュームデータに対して設定された断面以下の部分について三次元画像データを生成し、（Ｃ）断面におけるボクセルのデータから生成された断面画像と、三次元画像データとを重畳させて表示する処理を含む。

関心領域に応じてその内部の構造を分かりやすく表示できるようになる。

図１は、実施の形態に係る可視化装置の機能ブロック図である。 図２は、実施の形態に係るメインの処理フローを示す図である。 図３は、二次元画像データ生成処理の処理フローを示す図である。 図４は、通常の断面画像の一例を示す図である。 図５は、二次元画像データ生成処理で生成される断面画像の一例を示す図である。 図６は、三次元画像データ生成処理の処理フローを示す図である。 図７は、輝度値の出現頻度を表す図である。 図８は、輝度値の出現確率の分布を表す図である。 図９は、輝度値に対応する不透明度の一例を示す図である。 図１０は、通常の断面画像の一例を示す図である。 図１１は、関心領域の設定例を示す図である。 図１２は、本実施の形態の処理を行った結果の一例を示す図である。 図１３は、図１２の一部を拡大した結果の一例を示す図である。 図１４は、図１０における図１３と同じ部分を拡大した結果の一例を示す図である。 図１５は、コンピュータの機能ブロック図である。

図１に、本発明の実施の形態に係る可視化装置１００の機能ブロック図を示す。本可視化装置１００は、領域設定部１０１と、ボリュームデータ格納部１０２と、関心領域データ格納部１０３と、二次元画像データ処理部１０４と、三次元画像データ処理部１０５と、画像データ格納部１０６と、重畳表示処理部１０７と、表示部１０８とを有する。

ボリュームデータ格納部１０２は、処理の対象となる臓器などのボリュームデータを格納する。ボリュームデータは、ＣＴやＭＲＩで観測された臓器などの断面画像を、三次元空間に所定のスライス幅の間隔で配置したデータである。ボリュームデータにおいて、断面画像のピクセルに相当する単位をボクセルと呼び、ボクセルには輝度値が設定されている。なお、輝度値については例えば２５５階調に正規化されているものとする。

領域設定部１０１は、ユーザの指示に応じて、又は所定のアルゴリズムに応じて、ボリュームデータにおいて、関心領域を設定する処理を行い、関心領域を特定するデータを関心領域データ格納部１０３に格納する。

二次元画像データ処理部１０４は、例えばユーザによって指定された断面の二次元画像データを生成するものであって、変換部１０４１と、第１データ格納部１０４２と、断面設定部１０４３と、断面画像生成部１０４４とを有する。

変換部１０４１は、輝度値をＲＧＢＡ（Red Green Blue Alpha）形式のデータに変換する処理を行い、処理結果を第１データ格納部１０４２に格納する。断面設定部１０４３は、ユーザなどの指示に応じてボリュームデータにおいて表示対象の断面を設定する。断面画像生成部１０４４は、第１データ格納部１０４２に格納されているデータを用いて、設定された断面についての断面画像のデータを生成し、画像データ格納部１０６に格納する。

また、三次元画像データ処理部１０５は、関心領域において設定断面以下の部分について三次元画像データを生成するものであって、色データ生成部１０５１と、不透明度算出部１０５２と、第２データ格納部１０５３と、ボリュームレンダリング部１０５４とを有する。

色データ生成部１０５１は、関心領域における各ボクセルについて色データを生成し、第２データ格納部１０５３に格納する。不透明度算出部１０５２は、関心領域におけるボクセルの輝度値の出現頻度に応じて各輝度値に対して不透明度を算出し、第２データ格納部１０５３に格納する。ボリュームレンダリング部１０５４は、第２データ格納部１０５３に格納されたデータを用いて、設定された断面以下の部分についてボリュームレンダリングを行って、生成された三次元画像データを画像データ格納部１０６に格納する。

重畳表示処理部１０７は、画像データ格納部１０６に格納されているデータを用いて、断面画像と関心領域における三次元画像とを重ねて表示部１０８に表示する。

次に、図２乃至図１４を用いて、可視化装置１００の処理内容を説明する。まず、領域設定部１０１は、ボリュームデータにおいて関心領域の設定を行い、関心領域を特定するためのデータを関心領域データ格納部１０３に格納する（ステップＳ１）。関心領域の設定については、ユーザが手動で領域を設定したり、ユーザが観測したい輝度領域の範囲を閾値で指定する方法のほか、Region Growing法などによって設定する方法が用いられる。

そして、二次元画像データ処理部１０４は、ボリュームデータ格納部１０２及び関心領域データ格納部１０３に格納されているデータを用いて、二次元画像データ生成処理を実行し、生成された二次元の断面画像データを画像データ格納部１０６に格納する（ステップＳ３）。この処理については、図３乃至図５を用いて説明する。

変換部１０４１は、ボリュームデータ格納部１０２に格納されているボクセルの輝度値を、ＲＧＢＡ形式のデータに変換して、第１データ格納部１０４２に格納する（ステップＳ１１）。

本実施の形態では、ボクセルの輝度値を例えば２５６階調のグレースケールの色データに変換する。また、不透明度を表すα値については、関心領域内のボクセルについては背景が透過するように、例えば０（透明）を設定し、関心領域外のボクセルについては背景が透過しないようにするため、例えば２５５（不透明）を設定する。逆に、α値を透明度とした場合には、関心領域内のボクセルについては背景が透過するように、例えば２５５（透明）を設定し、関心領域外のボクセルについては背景が透過しないようにするため、例えば０（不透明）を設定する。本実施の形態では、不透明度または透明度のいずれをα値として使用しても良い。

そして、断面設定部１０４３は、例えばユーザの指示に従って、断面位置の設定を行う（ステップＳ１３）。断面設定部１０４３は、設定された断面位置のデータを、断面画像生成部１０４４及び三次元画像データ処理部１０５に出力する。

その後、断面画像生成部１０４４は、設定された断面位置でスライスした断面画像のデータを生成し、画像データ格納部１０６に格納する（ステップＳ１５）。

例えば、ＣＴやＭＲＩから得られる断面画像が例えば図４に示すような画像であり、関心領域が、図４の画像においておおよそ白部分に設定されている場合には、ステップＳ１５では図５のような断面画像が生成される。図５において関心領域（図４のおおよそ白部分）には、背景の灰色が透過しているが、関心領域外においては、図４と同様の画像が含まれている。

図２の処理の説明に戻って、三次元画像データ処理部１０５は、関心領域データ格納部１０３及びボリュームデータ格納部１０２に格納されているデータを用いて、三次元画像データ生成処理を実行し、生成された三次元画像データを画像データ格納部１０６に格納する（ステップＳ５）。この処理については、図６乃至図９を用いて説明する。

まず、三次元画像データ処理部１０５は、ボリュームデータ格納部１０２から、関心領域データ格納部１０３に格納されている関心領域を特定するためのデータに基づき、関心領域内のボリュームデータを抽出する（ステップＳ２１）。

そして、三次元画像データ処理部１０５における色データ生成部１０５１は、関心領域における色データを生成し、第２データ格納部１０５３に格納する（ステップＳ２３）。この処理については、抽出されたボリュームデータに含まれる各ボクセルの輝度値をそのまま採用しても良いが、より立体的な画像を生成するため、例えば光源を設定してＰｈｏｎｇシェーディング等のシェーディングの結果を用いる。例えば、Ｐｈｏｎｇシェーディングにおける拡散反射は、以下のように表される。

ここでｉ，ｊ，ｋはｘ軸、ｙ軸、ｚ軸それぞれの座標値を表し、Ｎは法線ベクトルを表し、Ｌは光源の方向ベクトルを表し、ｆ（ｉ，ｊ，ｋ）は座標（ｉ，ｊ，ｋ）の輝度値を表すものとする。そうすると、色データＣ（ｉ，ｊ，ｋ）は、以下のように表される。
Ｃ（ｉ，ｊ，ｋ）＝ｄｏｔ（Ｎ_i,j,k，Ｌ）×ｆ（ｉ，ｊ，ｋ）
ｄｏｔ（Ｘ，Ｙ）は、ベクトルＸとベクトルＹの内積を表す。

ここで法線ベクトルＮは、周囲のボクセルの輝度値の勾配から算出する。

ｇｒａｄ ｆ（ｉ，ｊ，ｋ）＝（（ｆ（ｉ＋１，ｊ，ｋ）−ｆ（ｉ＋１，ｊ，ｋ））／２，（ｆ（ｉ，ｊ＋１，ｋ）−ｆ（ｉ，ｊ＋１，ｋ））／２，（ｆ（ｉ，ｊ，ｋ＋１）−ｆ（ｉ，ｊ，ｋ＋１））／２）

また、不透明度算出部１０５２は、関心領域における輝度値の出現頻度に応じた不透明度を、各輝度値に対して算出し、算出結果を第２データ格納部１０５３に格納する（ステップＳ２５）。

本実施の形態では、関心領域において出現頻度の高い輝度値には低い不透明度を、出現頻度の低い輝度値には高い不透明度を割り当てる。これによって、関心領域における断面でより大きな面積を占めるであろう部分が、立体的な画像にて示されるようになるので、ユーザにとっては関心領域における内部構造が可視化されたように見える。

但し、医療画像のようなノイズの多い画像について出現頻度を単純にカウントすると、図７に示すような不連続な分布を示すことがある。そこで、滑らかな出現頻度の分布を求めるため、例えばParzen Windowを用いる。Parzen Windowは階級の幅に依存しない度数分布を得る手法で、ノイズが載った観測値に対して滑らかな分布を得ることができることで知られている。但し、Parzen Windowの代わりに、多項式近似や混合ガウス分布を用いてもよい。

例えば、図７に示すような分布が得られてParzen Windowを用いて求めた輝度値の出現確率分布は、図８に示すようになる。Parzen Windowは、ｉ＝１，．．．，ｎ個の観測値ｘ_iが与えられているとき、以下で示すような式で表される。

但し、ｆ_p（ｘ）は輝度値ｘが観測される出現確率を表し、Ｋ（ｚ）はカーネル関数であり、例えばGaussianカーネルを用いる。ｈは、バンド幅を表し、例えば５を用いている。

そして、出現確率が高い輝度値については不透明度を低くし、出現確率が低い輝度値については不透明度を高く設定する。すなわち、図８に示すような出現確率分布の場合には、図９に示すような不透明度の設定を行う。具体的には、輝度値ｘに対する不透明度ｆ_αは以下のように表される。

なお、ｆ_{α_max}は出現確率の最大値を表す。なお、不透明度ではなく透明度を算出するようにしても良い。

そして、ボリュームレンダリング部１０５４は、設定された断面位置以下の部分について、色データ及び不透明度データを用いてボリュームレンダリングを実行し、処理結果を画像データ格納部１０６に格納する（ステップＳ２７）。そして処理は呼び出し元の処理に戻る。

各ボクセルの色Ｃ（ｉ，ｊ，ｋ）と、不透明度ｆ_αとを用いてボリュームレンダリングを行うが、その代表的な手法にレイキャスティング法がある。レイキャスティング法はスクリーン上の各画素から視線に対応するレイ（ray）を飛ばし、交差するボクセルの値を重畳していくことで、スクリーン上のピクセル値を求める手法である。視点から近い順から交差するボクセルをｖ₀，ｖ₁，．．．，ｖ_mとした場合、ピクセル値は次のように表される。

なお、ｆ_viは、ボクセルｖ_iの輝度値を表す。

このようにすれば、関心領域における三次元画像データが生成される。

図２の処理の説明に戻って、重畳表示処理部１０７は、画像データ格納部１０６に格納されている断面画像データとボリュームレンダリング結果とを重畳させて、表示部１０８に表示させる（ステップＳ７）。

断面画像にはα値が設定されているので、当該断面画像に対してボリュームレンダリング結果をα値で合成する（αブレンディング）。上で述べたように、関心領域外の領域は不透明なので断面画像のみが表示され、関心領域は透明なのでボリュームレンダリングの結果が表示されるようになる。

ＣＴやＭＲＩでの測定結果が例えば図１０に示すような状態であるとする。そして、関心領域を図１１に示すように肺の部分に設定すると、本実施の形態によれば図１２に示すような画像が表示部１０８に表示される。このように肺の中の構造が可視化される。なお、関心領域の一部を拡大すると、図１３に示すような画像が得られる。一方、図１３と同様な範囲について、図１０の画像を拡大すると、図１４に示すような画像が得られる。このように、図１２や図１３のような表示がなされれば、ユーザは、関心領域内の構造を理解しやすくなる。

以上本発明の実施の形態を説明したが、本発明は実施の形態に限定されない。例えば、処理フローについては、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数ステップを並列に実行するようにしても良い。

図１に示した可視化装置１００の機能ブロック構成は、プログラムモジュールと対応しない場合もある。データ格納部の構成についても、ファイル構成とは一致しない場合もある。

上で述べた実施の形態では、どのような断面についても断面画像を生成できるようにボリュームデータ全体についてＲＧＢＡ形式のデータを生成するが、断面位置を先に指定して、断面部分のみＲＧＢＡ形式のデータを生成するようにしても良い。

さらに、可視化装置１００は、１台のコンピュータではなく、複数のコンピュータで構成される場合もある。

なお、上で述べた可視化装置１００は、コンピュータ装置であって、図１５に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると、以下のようになる。

本実施の形態に係る可視化方法は、（Ａ）三次元ボリュームデータにおいて設定された関心領域内に含まれるボクセルの輝度値毎に当該輝度値の出現頻度に応じた不透明度又は透明度を設定し、（Ｂ）関心領域内に含まれるボクセルの輝度値に応じた色データ及び不透明度又は透明度を用いて、三次元ボリュームデータに対して設定された断面以下の部分について三次元画像データを生成し、（Ｃ）断面におけるボクセルのデータから生成された断面画像と、三次元画像データとを重畳させて表示する処理を含む。

輝度値の出現頻度に応じた不透明度又は透明度を設定することで、関心領域内部の構造を明かすような画像が表示されるようになる。

また、上で述べた三次元画像データの生成が、ボリュームレンダリングで行われる場合もある。

さらに、上で述べた生成する処理が、関心領域内に含まれるボクセルの輝度値に基づきシェーディングを行って色データを生成する処理を含むようにしても良い。より立体的な構造が得られるようになる。

さらに、上で述べた断面におけるボクセルには、当該ボクセルの輝度値に応じた色データと、当該ボクセルが前記関心領域内であれば透明を表すα値又は関心領域外であれば不透明を表すα値とが設定されている場合もある。この場合、上で述べた表示する処理が、α値を用いて、断面画像と、三次元画像データとを重畳させるようにしても良い。これによって、断面のうち関心領域内のみ三次元画像が表示されるようになる。

なお、上で述べた設定する処理において、輝度値の出現頻度が高いほど透明になり、輝度値の出現頻度が低いほど不透明になるように、不透明度又は透明度を設定するようにしても良い。これによって内部構造が分かるようになる不透明度又は透明度が設定されるようになる。

また、上で述べた設定する処理において、輝度値の出現頻度の分布を滑らかな出現確率分布に変換し、出現確率が高いほど透明になり、出現確率が低いほど不透明になるように、不透明度又は透明度を設定するようにしても良い。平滑化すれば自然な形で不透明度又は透明度が設定される。

なお、上で述べたような処理をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に当該輝度値の出現頻度に応じた不透明度を設定し、前記関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した前記不透明度を用いて、前記三次元ボリュームデータに対して設定された断面以下の部分について三次元画像データを生成するデータ処理部と、
前記断面におけるボクセルのデータから生成された断面画像と、前記三次元画像データとを重畳させて表示する表示処理部と、
を有する可視化装置。

（付記２）
前記データ処理部が、ボリュームレンダリングを行って前記三次元画像データを生成する
付記１記載の可視化装置。

（付記３）
前記データ処理部が、
前記関心領域に含まれるボクセルの輝度値に基づきシェーディングを行うことにより、色データを生成する
付記１又は２記載の可視化装置。

（付記４）
前記断面におけるボクセルが前記関心領域に含まれない場合、前記関心領域に含まれるボクセルに設定された不透明度よりも高い不透明度が、前記関心領域に含まれないボクセルに設定される
付記１乃至３のいずれか１つ記載の可視化装置。

（付記５）
前記データ処理部が、
前記輝度値の出現頻度が高いほど透明になり、前記輝度値の出現頻度が低いほど不透明になるように、前記不透明度を設定する
付記１乃至４のいずれか１つ記載の可視化装置。

（付記６）
前記データ処理部が、
前記輝度値の出現頻度の分布を滑らかな出現確率分布に変換し、
出現確率が高いほど透明になり、出現確率が低いほど不透明になるように、前記不透明度又は透明度を設定する
付記１乃至４のいずれか１つ記載の可視化装置。

（付記７）
コンピュータに、
三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に当該輝度値の出現頻度に応じた不透明度を設定させ、
前記関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した前記不透明度を用いて、前記三次元ボリュームデータに対して設定された断面以下の部分について三次元画像データを生成させ、
前記断面におけるボクセルのデータから生成された断面画像と、前記三次元画像データとを重畳させて表示させる
可視化プログラム。

（付記８）
コンピュータが、
三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に当該輝度値の出現頻度に応じた不透明度を設定し、
前記関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した前記不透明度を用いて、前記三次元ボリュームデータに対して設定された断面以下の部分について三次元画像データを生成し、
前記断面におけるボクセルのデータから生成された断面画像と、前記三次元画像データとを重畳させて表示する
可視化方法。

１０１ 領域設定部
１０２ ボリュームデータ格納部
１０３ 関心領域データ格納部
１０４ 二次元画像データ処理部
１０５ 三次元画像データ処理部
１０６ 画像データ格納部
１０７ 重畳表示処理部
１０８ 表示部
１０４１ 変換部
１０４２ 第１データ格納部
１０４３ 断面設定部
１０４４ 断面画像生成部
１０５１ 色データ生成部
１０５２ 不透明度算出部
１０５３ 第２データ格納部
１０５４ ボリュームレンダリング部

Claims (6)

1. 三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に、当該輝度値の出現頻度が高いほど透明になり且つ当該輝度値の出現頻度が低いほど不透明になるように不透明度を設定し、前記関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した前記不透明度を用いて、前記三次元ボリュームデータに対して設定された断面の片側であって視点とは反対側にある部分について三次元画像データを生成するデータ処理部と、
   前記断面におけるボクセルのデータから生成された断面画像と、前記三次元画像データとを重畳させて表示する表示処理部と、
   を有する可視化装置。
2. 前記データ処理部が、ボリュームレンダリングを行って前記三次元画像データを生成する
   請求項１記載の可視化装置。
3. 前記データ処理部が、
   前記関心領域に含まれるボクセルの輝度値に基づきシェーディングを行うことにより、色データを生成する
   請求項１又は２記載の可視化装置。
4. 前記断面におけるボクセルが前記関心領域に含まれない場合、前記関心領域に含まれるボクセルに設定された不透明度よりも高い不透明度が、前記関心領域に含まれないボクセルに設定される
   請求項１乃至３のいずれか１つ記載の可視化装置。
5. コンピュータに、
   三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に、当該輝度値の出現頻度が高いほど透明になり且つ当該輝度値の出現頻度が低いほど不透明になるように不透明度を設定させ、
   前記関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した前記不透明度を用いて、前記三次元ボリュームデータに対して設定された断面の片側であって視点とは反対側にある部分について三次元画像データを生成させ、
   前記断面におけるボクセルのデータから生成された断面画像と、前記三次元画像データとを重畳させて表示させる可視化プログラム。
6. コンピュータが、
   三次元ボリュームデータにおいて所定の関心領域に含まれるボクセルの輝度値毎に、当該輝度値の出現頻度が高いほど透明になり且つ当該輝度値の出現頻度が低いほど不透明になるように不透明度を設定し、
   前記関心領域に含まれるボクセルの輝度値に応じた色データ及び設定した前記不透明度を用いて、前記三次元ボリュームデータに対して設定された断面の片側であって視点とは反対側にある部分について三次元画像データを生成し、
   前記断面におけるボクセルのデータから生成された断面画像と、前記三次元画像データとを重畳させて表示する可視化方法。