JP6719644B2 - ３次元画像処理装置および方法並びにプログラム - Google Patents

Description

本発明は、３次元画像から表示対象のサーフェスデータを生成し、そのサーフェスデータの面に色を割り当てて表示させる３次元画像処理装置および方法並びにプログラムに関するものである。

従来、ＣＴ（Computed Tomography）装置などによって撮影された画像を用いて作成された３次元画像から、心臓および肝臓などの領域を抽出し、抽出された領域の境界面に三角形のパッチを割り当てることで、サーフェスデータを生成し、表示することが行われている。

たとえば特開２０１３−２２２３６１号公報には、３次元画像から肝臓領域を抽出し、肝臓領域のサーフェスデータを生成し、その表面に対して、予め設定された凹凸パターンを表すテクスチャを貼り付けて表示させることが提案されている。

また、特開２００１−２０２５２７号公報には、雲などの非定形物体のサーフェスデータを表示する際、奥行情報を付加したテクスチャを予め作成しておき、奥行情報に応じてポリゴン面の前後にテクスチャを貼り付けることによって３次元表示を行うことが提案されている。

しかしながら、サーフェスデータを表示する際、サーフェスデータの色は、基本的に単色であり、物体の構造を把握するのには向いているが、臓器など複数の物体が混在している場合のその境界を把握できないという欠点がある。また、実際の物体とはかけ離れた人工的なものに見えるという欠点もある。

一方、ボリュームレンダリング処理では、３次元画像のボクセルに対して色を割り当て、レイキャストによって積算等をすることによって、多彩な色で表示することができるため、複数の物体が混在していても境界を把握でき、かつ、実際の物体に似た表示を行うことができる。

しかしながら、３次元画像全体にボリュームレンダリング処理を施したのでは、演算処理の負荷が大きく、高速な表示が難しく、色の調整にも時間がかかるという問題がある。

上述した特許文献１および特許文献２に記載のように、事前にテクスチャを生成しておき、サーフェスデータを表示する際に、そのテクスチャを割り当てることで、実際の物体に似たような表示にすることも可能だが、ボリュームレンダリングのように色の調整を容易に行うことができない。

本発明は、上記事情に鑑み、サーフェスデータをボリュームレンダリングと同じように表示し、色の調整を容易に行うことができる３次元画像処理装置および方法並びにプログラムを提供することを目的とするものである。

本発明の３次元画像処理装置は、３次元画像から表示対象を抽出し、表示対象の表面を表すサーフェスデータを生成するサーフェスデータ生成部と、サーフェスデータを構成する面の外側から内側に向けて、サーフェスデータの頂点を含む特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、色情報に基づいて、サーフェスデータの表面に色を割り当てる色情報取得部と、色が表面に割り当てられたサーフェスデータを表示部に表示させる表示制御部とを備える。

また、上記本発明の３次元画像処理装置において、色情報取得部は、サーフェスデータを構成する各面の頂点に対して法線方向を設定し、サーフェスデータを構成する各面の外側から内側に向けて法線方向に沿ってボリュームレンダリング処理を施すことができる。

また、上記本発明の３次元画像処理装置において、色情報取得部は、頂点に交わる複数の面のそれぞれ法線方向に基づいて、頂点の法線方向を算出することができる。

また、上記本発明の３次元画像処理装置において、色情報取得部は、頂点に交わる複数の面のそれぞれ法線方向の平均を算出することによって、頂点の法線方向を算出することができる。

また、上記本発明の３次元画像処理装置において、色情報取得部は、ボリュームレンダリング処理の際、特定の区間の各ボクセルに対して画素値に応じた色および不透明度を設定し、法線方向に沿って画素値に応じた色および不透明度を加算することができる。

また、上記本発明の３次元画像処理装置においては、画素値に応じた色の変更を受け付ける色変更受付部を備えることができる。

また、上記本発明の３次元画像処理装置において、色情報取得部は、サーフェスデータの各頂点を中心とする特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって各頂点の色情報を取得し、各頂点の色情報の補間処理を行うことによって、サーフェスデータの表面に色を割り当てることができる。

また、上記本発明の３次元画像処理装置において、色情報取得部は、サーフェスデータの各頂点から法線方向に沿って表示対象が連続している区間を特定の区間として設定することができる。

本発明の３次元画像処理方法は、３次元画像から表示対象を抽出し、表示対象の表面を表すサーフェスデータを生成し、サーフェスデータを構成する面の外側から内側に向けて、サーフェスデータの頂点を含む特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、色情報に基づいて、サーフェスデータの表面に色を割り当て、色が表面に割り当てられたサーフェスデータを表示部に表示させる。

本発明の３次元画像処理プログラムは、コンピュータを、３次元画像から表示対象を抽出し、表示対象の表面を表すサーフェスデータを生成するサーフェスデータ生成部と、サーフェスデータを構成する面の外側から内側に向けて、サーフェスデータの頂点を含む特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、色情報に基づいて、サーフェスデータの表面に色を割り当てる色情報取得部と、色が表面に割り当てられたサーフェスデータを表示部に表示させる表示制御部として機能させる。

本発明の他の３次元画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサを備え、プロセッサが、３次元画像から表示対象を抽出し、表示対象の表面を表すサーフェスデータを生成する処理と、サーフェスデータを構成する面の外側から内側に向けて、サーフェスデータの頂点を含む特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、色情報に基づいて、サーフェスデータの表面に色を割り当てる処理と、色が表面に割り当てられたサーフェスデータを表示部に表示させる処理とを実行するように構成されている。

本発明の３次元画像処理装置および方法並びにプログラムによれば、３次元画像から表示対象を抽出し、表示対象の表面を表すサーフェスデータを生成する。そして、サーフェスデータを構成する面の外側から内側に向けて、サーフェスデータの頂点を含む特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、その色情報に基づいて、サーフェスデータの表面に色を割り当てて表示部に表示させる。 これにより表示対象のサーフェスデータをボリュームレンダリングと同じように表示することができる。また、ボリュームレンダリング処理の際に用いるカラーテンプレートを変更するだけで、色の調整を容易に行うことができる。

本発明の３次元画像処理装置の一実施形態を用いた３次元画像表示システムの概略構成を示すブロック図 サーフェスデータの各頂点の色情報を取得する方法の一例を説明するための図 本発明の３次元画像処理装置の一実施形態を用いた３次元画像表示システムの作用を説明するためのフローチャート 心臓の３次元画像全体をボリュームレンダリングした例（ａ）と、心臓のサーフェスデータを単色表示した例（ｂ）と、図１の３次元画像表示システムによって心臓のサーフェスデータを表示した例（ｃ）を示す図 ボリュームレンダリング処理を行う特定の区間のその他の設定方法を説明するための図

以下、図面を参照して本発明の３次元画像処理装置の一実施形態を用いた３次元画像表示システムの一実施形態について説明する。図１は、本実施形態の３次元画像表示システムの概略構成を示すブロック図である。

本実施形態の３次元画像表示システムは、具体的には、図１に示すように、３次元画像処理装置１と、医用画像保管サーバ２と、表示部３と、入力部４とを備えている。

３次元画像処理装置１は、コンピュータに本実施形態の３次元画像処理プログラムをインストールしたものである。

３次元画像処理装置１は、中央処理装置（ＣＰＵ（central processing unit））、半導体メモリ、およびハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の３次元画像処理プログラムがインストールされており、この３次元画像処理プログラムが中央処理装置によって実行されることによって、図１に示す３次元画像取得部１０、サーフェスデータ生成部１１、色情報取得部１２および表示制御部１３が動作する。

３次元画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、３次元画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶される。そして、外部からの要求に応じてコンピュータにダウンロードされ、インストールされる。

３次元画像取得部１０は、予め撮影された患者の３次元医用画像６を取得するものである。３次元医用画像６は、たとえばＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置などによって撮影された画像である。本実施形態では、患者の心臓（本発明の表示対象に相当する）の３次元医用画像６を取得する場合について説明するが、これに限らず、肺、肝臓および頭部などその他の臓器でもよい。

３次元医用画像６は、医用画像保管サーバ２に患者の識別情報とともに予め保管されており、３次元画像取得部１０は、入力部４などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する３次元医用画像６を医用画像保管サーバ２から読み出して一時記憶するものである。

サーフェスデータ生成部１１は、３次元画像取得部１０によって取得された３次元医用画像６から心臓領域を抽出し、その心臓領域の表面を表すサーフェスデータを生成するものである。

サーフェスデータ生成部１１は、具体的には、たとえば閾値を用いた領域抽出または物体の形状認識などの公知な手法を用いて心臓領域を抽出し、その心臓領域とそれ以外の領域の境界面をマーチンキューブ法などを用いて算出することによって、多面体から構成されるサーフェスデータを生成する。

なお、サーフェスデータの生成方法としては、これに限らず、ポリゴンなどのパッチを複数縫い合わせた多面体のサーフェスデータを生成する方法であれば、その他の公知な手法を用いることができる。

色情報取得部１２は、サーフェスデータの表面に色を割り当てるものである。具体的には、色情報取得部１２は、サーフェスデータを構成する面の外側から内側に向けて、サーフェスデータの頂点を含む特定の区間の３次元医用画像６に対してボリュームレンダリング処理を施すことによって色情報を取得する。そして、その色情報に基づいて、サーフェスデータの表面に色を割り当てる。以下、色情報の取得方法について、より詳細に説明する。

まず、サーフェスデータを構成する各面の頂点に対して法線方向を設定する。具体的には、サーフェスデータが三角形のポリゴンからなる場合には、図２に示すように、三角形の各頂点Ｐ１〜Ｐ３に対して、それぞれ法線方向Ｄ１〜Ｄ３を設定する。法線方向Ｄ１を設定する方法としては、たとえば頂点Ｐ１に交わる各面の法線方向の平均値を頂点Ｐ１の法線方向Ｄ１とすればよい。同様に、頂点Ｐ２に交わる各面の法線方向の平均値を頂点Ｐ２の法線方向Ｄ２とし、頂点Ｐ３に交わる各面の法線方向の平均値を頂点Ｐ３の法線方向Ｄ３とする。なお、法線方向Ｄ１〜Ｄ３は、サーフェスデータの内側から外側へ向かう方向である。また、頂点の法線方向を求める方法としては、上記方法に限らず、たとえば頂点を通る曲面を演算し、その曲面の法線方向を求めるようにしてもよい。

そして、各頂点Ｐ１〜Ｐ３のそれぞれの法線方向Ｄ１〜Ｄ３について厚みＷを設定し、各頂点Ｐ１〜Ｐ３の位置からそれぞれの法線方向Ｄ１〜Ｄ３にＷ／２進んだ点から、法線方向Ｄ１〜Ｄ３の逆方向にＷだけ進んだ点までの間を特定の区間として設定し、その特定の区間の３次元医用画像６に対して、レイキャスト法によって外側から内側に向けてボリュームレンダリング処理を施すことによって、各頂点Ｐ１〜Ｐ３の色情報を取得する。

具体的には、色情報取得部１２には、３次元医用画像６の各ボクセルの画素値とその各画素値に応じた色および不透明度とを対応付けたカラーテーブルが予め設定されている。色情報取得部１２は、ボリュームレンダリング処理の際には、上記カラーテーブルを用いて、特定の区間の各ボクセルに対して画素値に応じた色および不透明度を設定し、法線方向Ｄ１〜Ｄ３に沿って画素値に応じた色および不透明度を加算することによって、各頂点Ｐ１〜Ｐ３の色情報を取得する。

そして、色情報取得部１２は、上述したように取得された各頂点の色情報を用いて、サーフェスデータをサーフェスレンダリングすることによって、サーフェスデータの各面に色を割り当てる。具体的には、各頂点の色情報を用いて補間処理を行って頂点間の色情報を取得することにより、サーフェスデータの各面に色を割り当てる。

図１に戻り、表示制御部１３は、上述したようにして色情報取得部１２によって色が表面に割り当てられたサーフェスデータを表示部３に表示させるものである。

医用画像保管サーバ２は、各種データを保存して管理するコンピュータであり、大容量記憶装置およびデータベース管理用プログラムを備えている。医用画像保管サーバ２は、予め撮影された３次元医用画像６などをネットワーク経由でＣＴ装置またはＭＲＩ装置などの撮影装置から取得し、大容量記憶装置に保存して管理する。

入力部４は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力部４は、たとえば患者の識別情報の設定入力などを受け付けるものである。また、本実施形態の入力部４は、上述したボリュームレンダリング処理の際に用いられるカラーテンプレートの色の変更を受け付けるものである。本実施形態においては、入力部４が、本発明の色変更受付部に相当するものである。

次に、本実施形態の３次元画像表示システムの作用について、図３に示すフローチャートを参照しながら説明する。

まず、ユーザによる患者の識別情報などの設定入力に応じて、患者の３次元医用画像６が３次元画像取得部１０によって取得される（Ｓ１０）。本実施形態においては、上述したように心臓の３次元医用画像６が取得される。

そして、３次元画像取得部１０によって取得された３次元医用画像６は、サーフェスデータ生成部１１に入力され、サーフェスデータ生成部１１は、入力された３次元医用画像６から心臓領域を抽出し、その心臓の表面を表すサーフェスデータを生成する（Ｓ１２）。

そして、サーフェスデータ生成部１１において生成されたサーフェスデータは、色情報取得部１２に入力され、色情報取得部１２は、上述したようにサーフェスデータの各頂点を含む特定の区間の３次元医用画像６に対してボリュームレンダリング処理を施すことによって、各頂点に対する色情報を取得する（Ｓ１４）。

次いで、色情報取得部１２は、各頂点の色情報を用いてサーフェスデータをサーフェスレンダリングすることによって、サーフェスデータの各面に色を割り当てる（Ｓ１６）。

そして、各面に色が割り当てられたサーフェスデータが、表示制御部１３によって表示部３に表示される（Ｓ１８）。

次いで、上述したようにしてサーフェスデータが表示された後、ユーザが入力部４を用いて、カラーテンプレートの色の変更を設定入力した場合には（Ｓ２０，ＹＥＳ）、その変更後のカラーテンプレートを用いて、再びサーフェスデータの各頂点を含む特定の区間の３次元医用画像６に対してボリュームレンダリング処理が施され、これにより各頂点に対する新たな色情報が再取得される（Ｓ１４）。

そして、再び各頂点の色情報を用いてサーフェスデータをサーフェスレンダリングすることによって、サーフェスデータの各面に変更後の色が割り当てられる（Ｓ１６）。

そして、各面に変更後の色が割り当てられたサーフェスデータが、表示制御部１３によって表示部３に表示される（Ｓ１８）。

なお、Ｓ２０においてカラーテンプレートの色の変更が設定入力されなかった場合には（Ｓ２０，ＮＯ）、そのまま処理を終了する。

上記実施形態の３次元画像表示システムによれば、ボリュームレンダリング処理によってサーフェスデータの色が決定されるため、サーフェスデータをボリュームレンダリングと同じように表示することができ、複数の物体が混在していても、その境界を把握でき、かつ、実際の物体に似たような色で表示することが可能となる。図４ａは、心臓の３次元画像全体をボリュームレンダリングした例であり、図４ｂは、心臓のサーフェスデータを単色表示した例であり、図４ｃは、上記実施形態の３次元画像表示システムによって心臓のサーフェスデータを表示した例を示している。

また、ボリュームレンダリング処理の際に用いるカラーテンプレートを変更するだけで、色の調整を容易に行うことができる。

また、３次元画像全体にボリュームレンダリング処理を施す場合よりも演算処理の負荷を軽くすることができ、高速表示が可能である。

なお、上記実施形態においては、各頂点を中心として厚みＷの範囲を特定の区間として設定し、この特定の区間についてボリュームレンダリング処理を施すようにしたが、特定の区間の設定方法としてはこれに限らず、各頂点を含む区間であれば、その他の設定方法を採用するようにしてもよい。

たとえば図５に示すように、心臓の表面から少し浮いたところに血管が存在する場合など、心臓領域Ｈの表面の頂点Ｐから法線方向外側で連続しない血管領域Ｂが存在する場合がある。このような場合において、上記実施形態のように各頂点を中心とした所定の厚みの範囲を特定の区間Ｓ２として設定した場合、連続していない血管領域Ｂまで含めてボリュームレンダリング処理が施されてしまう。これにより血管領域Ｂでボリュームレンダリング処理のレイキャストが止まってしまい、意図しない色がサーフェスデータの面に割り当てられる場合がある。

そこで、たとえば図５に示すように、頂点Ｐから法線方向に沿って心臓領域Ｈが連続している区間であって、予め設定された厚さを有する区間を特定の区間Ｓ１として設定し、この特定の区間Ｓ１についてボリュームレンダリング処理を施して頂点Ｐの色情報を取得するようにしてもよい。なお、心臓領域Ｈが連続している区間を求める方法としては、抽出された心臓領域Ｈの情報を利用してもよいし、ボリュームレンダリングの際に用いられるカラーテンプレートの不透明度を利用し、０以外の不透明度が連続する領域を連続している区間として求めるようにしてもよい。

また、上記実施形態においては、入力部４によって特定の区間の厚さの変更を受け付けるようにしてもよい。

１ ３次元画像処理装置
２ 医用画像保管サーバ
３ 表示部
４ 入力部
６ ３次元医用画像
１０ ３次元画像取得部
１１ サーフェスデータ生成部
１２ 色情報取得部
１３ 表示制御部
Ｂ 血管領域
Ｄ１-Ｄ３ 頂点の法線方向
Ｈ 心臓領域
Ｐ サーフェスデータの頂点
Ｐ１-Ｐ３ サーフェスデータの頂点
Ｓ１，Ｓ２ 特定の区間

Claims (10)

1. ３次元画像から表示対象を抽出し、前記表示対象の表面を表すサーフェスデータを生成するサーフェスデータ生成部と、
   前記サーフェスデータを構成する面の外側から内側に向けて、前記サーフェスデータの頂点を含む特定の区間の前記３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、前記色情報に基づいて、前記サーフェスデータの表面に色を割り当てる色情報取得部と、
   前記色が表面に割り当てられたサーフェスデータを表示部に表示させる表示制御部とを備えた３次元画像処理装置。
2. 前記色情報取得部が、前記サーフェスデータを構成する各面の頂点に対して法線方向を設定し、前記サーフェスデータを構成する各面の外側から内側に向けて前記法線方向に沿って前記ボリュームレンダリング処理を施す請求項１記載の３次元画像処理装置。
3. 前記色情報取得部が、前記頂点に交わる複数の面のそれぞれ法線方向に基づいて、前記頂点の法線方向を算出する請求項２記載の３次元画像処理装置。
4. 前記色情報取得部が、前記頂点に交わる複数の面のそれぞれ法線方向の平均を算出することによって、前記頂点の法線方向を算出する請求項３記載の３次元画像処理装置。
5. 前記色情報取得部が、前記ボリュームレンダリング処理の際、前記特定の区間の各ボクセルに対して画素値に応じた色および不透明度を設定し、前記法線方向に沿って前記画素値に応じた色および不透明度を加算する請求項２から４いずれか１項記載の３次元画像処理装置。
6. 前記画素値に応じた色の変更を受け付ける色変更受付部を備えた請求項５記載の３次元画像処理装置。
7. 前記色情報取得部が、前記サーフェスデータの各頂点を中心とする前記特定の区間の３次元画像に対してボリュームレンダリング処理を施すことによって前記各頂点の前記色情報を取得し、前記各頂点の色情報の補間処理を行うことによって、前記サーフェスデータの表面に色を割り当てる請求項１から６いずれか１項記載の３次元画像処理装置。
8. 前記色情報取得部が、前記サーフェスデータの各頂点から前記法線方向に沿って前記表示対象が連続している区間を前記特定の区間として設定する請求項２から６いずれか１項記載の３次元画像処理装置。
9. ３次元画像から表示対象を抽出し、前記表示対象の表面を表すサーフェスデータを生成し、
   前記サーフェスデータを構成する面の外側から内側に向けて、前記サーフェスデータの頂点を含む特定の区間の前記３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、
   前記色情報に基づいて、前記サーフェスデータの表面に色を割り当て、
   前記色が表面に割り当てられたサーフェスデータを表示部に表示させる３次元画像処理方法。
10. コンピュータを、
    ３次元画像から表示対象を抽出し、前記表示対象の表面を表すサーフェスデータを生成するサーフェスデータ生成部と、
    前記サーフェスデータを構成する面の外側から内側に向けて、前記サーフェスデータの頂点を含む特定の区間の前記３次元画像に対してボリュームレンダリング処理を施すことによって色情報を取得し、前記色情報に基づいて、前記サーフェスデータの表面に色を割り当てる色情報取得部と、
    前記色が表面に割り当てられたサーフェスデータを表示部に表示させる表示制御部として機能させる３次元画像処理プログラム。