JP5690608B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、三次元画像表示分野に関し、具体的には、三次元データの表示方法と表示装置に関し、三次元シーンにおいて視線方向に平行する切断面上の情報を利用して注目物体を選択し、視線方向に沿って選定された物体の二次元画像をレンダリングする方法を提供する。

情報技術の高速な発展に伴い、計算と測定技術によって取得されるデータは想像し難いスピードで増大しつつある。これからの数年間、人類によって産出および収集される情報量は人類の今まで得られた情報の合計を超え、大量の情報から必要な情報を迅速かつ有効に取り出すことがますます難しくなる。この問題を解決するために科学者たちによって様々なモデルと方法が提案され、そのなかの一つが可視化技術である。可視化技術は、大量の基礎データから必要な情報を取り出し、インタラクティブコンピュータグラフィックス技術によってユーザに表示することにより、情報をよりよく理解して速やかに対策を講ずるようにする。可視化は主に科学計算可視化と情報可視化の二種類に分類される。科学計算可視化は物理的なデータ、例えば、人体、地球、分子などに着目し、情報可視化は抽象的な非物理的なデータ、例えば、テキスト、統計データなどに用いられる。ここでは主に科学計算可視化に着目する。科学計算可視化は、コンピュータグラフィックスと画像処理技術を利用して科学計算過程において生ずるデータをグラフィックス画像に変換してディスプレイ装置を通してユーザに表示し、ユーザのデータに対するインタラクティブ処理ができるようにする。科学計算可視化の応用分野は非常に幅広く、主に医学、地質調査、気象学、分子モデリング、計算流体力学と有限要素解析などに応用されている。そのうち、医学データ可視化は非常に重要な応用であり、医学データは主に医学映像装置からコンピュータ断層撮影（ＣＴ）データ及び磁気共鳴画像（ＭＲI）データのような人体組織構造あるいは機能に対する測定データを取得する。

現在、科学計算可視化技術の中心は、三次元空間データフィールドの可視化である。ＣＴデータのような医学映像データは今のところいずれも正規化された三次元空間グリッドデータであり、三次元空間において離散グリッドポイント上に分布されているデータは、三次元連続のデータフィールドに対して断層撮影あるいはランダムサンプリングした後に補間演算によって取得する。三次元空間データフィールド可視化の役割は離散化された三次元空間グリッドデータフィールドを一定の規則に基づいてグラフィックスディスプレイ装置フレームバッファの中の二次元離散信号に変換させることである。即ち、各ピクセルのカラー値（Ｒ、Ｇ、Ｂ値）を生成する。三次元シーンから再構築された二次元画像は一つの特定の視角から複雑な三次元シーンを表現するものであり、ユーザはコンピューターグラフィックスインタラクティブ技術を利用して視点の位置を変更し、複数の異なる角度から三次元シーンを再構築することにより、複雑な三次元シーンに対して認識と理解をすることができる。一つの典型的な三次元空間データフィールド可視化の応用は、ＣＴデータに対する可視化である。医師は、ＣＴ装置から取得した患者の特定部位に対する撮影データを三次元可視化装置に入力し、インタラクティブ技術によって異なる視点から特定部位に対して観察を行い、その中からある特定人体組織の構造、形状を取得することにより、病変の位置を特定して患者に対する迅速な診断を行なう目的を達する。医学画像形成装置の発展に伴い、医学データ量が倍増し、三次元データフィールド可視化技術は放射線科医師の仕事効率を大幅に向上し、それによって、より速やかに病巣の位置を特定して診断を行うことができる。また、この技術を基に、データに対してインタラクティブ操作を行うことで、整形手術や放射線治療などのコンピュータシミュレーション手術および計画も実現することが可能である。

ボリュームレンダリング技術は、科学計算可視化において非常に重要な三次元ディスプレイ技術であり、優れたディスプレイ精度を有し、医学画像表示分野に幅広く応用されている。現代のコンピュータ断層撮影装置によって生成されるデータは三次元空間グリッド上に分布された離散データ（グリッド上の点は「ボクセル」と称する）であり、ボリュームレンダリングアルゴリズムの役割は離散して分布された三次元データを一定の規則に基づいてグラフィックスディスプレイ装置フレームバッファの中の二次元離散信号に変換させ、即ち、各ピクセルのカラー値、例えば（Ｒ、Ｇ、Ｂ）を生成する。ボリュームレンダリングにおいて最もよく用いられる方法はレイキャスティング法であり、主に次の三つのステップに分けられる。まず、ボクセルの数値に基づいてデータを分類し、各種類のデータに異なるカラー値と不透明度値を与えて様々な物質の異なる属性を正確に表示す。このプロセスは変換関数によって完成し、変換関数によってボクセルの数値をボクセルのカラーと不透明度値にマッピングする。次に、三次元データを再サンプリングし、即ち、スクリーン上の各ピクセルから視線方向に沿って一本の光線を放射して三次元データを貫通し、この光線に沿って三次元データから等間隔のサンプリングポイントを選択し、サンプリングポイント周囲の八つのボクセルに基づいて補間を行なってサンプリングポイントのカラーと不透明度の値を取得する。最後に、画像合成処理を行い、各光線上の各サンプリングポイントのカラー値および不透明度値を前から後へあるいは後から前へ合成して当該光線に対応するピクセルのカラー値を取得し、サンプリングポイントの合成方法は合成関数によって設定される。ボリュームレンダリングは異なる変換関数を設置することによりもっと精細で豊富な効果が得られるため、ボリュームデータに対する理解を大幅に高めることができる。

医学映像分野において、ＣＴあるいはＭＲＩ装置から取得した画像はいずれもグレースケール画像であるが、人体内部の様々な異なる組織間のグレースケール値は重なる現象が存在し、組織間の空間分布が極めて複雑であるため、ボリュームレンダリング技術を利用してボリュームデータに対して三次元再構築した結果には複数の組織が含まれることがあり、多くの組織あるいはその特定部位は別の組織あるいは自身によって遮られて、医師のボリュームレンダリング技術を利用して診断を行うことができなくなることがあり、これはボリュームレンダリング技術の医学分野における発展を妨げている。

国際公開ＷＯ２００６／０９９４９０ 特開２００３−９１７３５号公報

この問題を解決するためによく使われる一つの方法は、変換関数を設置することで異なる組織に異なる透明度値とカラーを設定することである。不透明度とカラーの設定は通常組織のグレースケール情報に基づくが、異なる組織のグレースケールは一部重なることがある。例えば、ＣＴ画像において脂肪と軟組織は似ているグレースケールゾーンを有し、血液と軟骨は似ているグレースケールゾーンを有し、骨格は高い密度を有し、ＣＴ画像では高いグレースケール値を呈するが、その周辺のグレースケールには広いグレースケール範囲を有し、すでに血液と軟組織のグレースケールゾーンをカバーしているため、変換関数を調整する方法では注目組織の表示を強調する目的に達することが非常に難しい。多次元変換関数は勾配などその他の情報を利用することが可能であるが、これらの多次元情報でも依然として組織を正確に識別することができない。

この問題を解決するためによく使われる別の方法は、分割技術を利用して注目組織をＣＴあるいはＭＲＩ画像から抽出することである。この方法によって異なる組織に異なる変換関数を設置し、異なる組織のレンダリング結果におけるレンダリングを制御することができるが、物体自身に遮られた部分は解決できない。医学画像の中の多くの組織は複雑な空間構造を有し、組織内部の異なる部位の間は互いに遮る。分割方法は組織に対する全体分割であり、一つの組織の異なる部位を識別することができないため、特定部位まで観察することはできない。

特許文献１には、不透明物体を透過して注目対象を表示する方法が公開されている。その方法は、一つの固定した閾値（グレースケールあるいは勾配）で不透明物体のゾーンを判断することにより光線上のサンプリングポイントの合成過程を制御し、不透明ゾーンを透過して注目物体をレンダリングすることである。しかし、このような閾値を固定する方法は複雑な不透明物体の範囲に対して正確な判断ができない。

特許文献２に記載された方法では、一定の方向に三次元データをいくつかのグループに分けて各グループのデータを特定の方法（例えば、平均値あるいは最大密度投影アルゴリズム）によって一つの二次元画像を生成し、このような一組の二次元画像においてユーザの注目物体を指定する。そして、三次元データにおけるその他のボクセルから注目物体までの距離を計算し、合成関数の中の一つの重み因子とする。例えば、注目物体に近いボクセルは比較的高い重みを与え、注目物体から離れたボクセルには比較的小さい重みを与えることで、ユーザの指定物体周辺のゾーンをファジー化してユーザの指定物体を鮮明に表示することができる。しかし、このような方法は先ず指定された物体を全体に分割しなければならず、なお指定物体自身のその他の部分に遮られた部位を表示することはできない。

本発明は、ボリュームレンダリングにおいて別の不透明物体に遮られてユーザの注目物体がレンダリングできない問題を解決する案を提供する。

一つの態様において、三次元シーンにおいて視線方向に平行する切断面上の情報を利用して注目物体を選択し、一つの曲面を生成して当該物体を通過する視線を二つの部分に分割し、視線の二つの部分に異なるレンダリングパラメーターを設置することで不透明ゾーンを透過してユーザの注目物体を表示する方法が提供される。

一つの態様において、視線方向に平行する切断面上の情報を利用してレンダリングする物体を選択し、一つの二次元分割曲面を生成して視線方向に選択された物体とそれに近接した物体を分離させることで、視線方向のレンダリング過程を制御し、選択された物体を単独にレンダリングする。

一つの態様における画像処理装置は、第１の三次元画像データに基づいて、指定制御ポイントを通過し且つ視線方向と交差する分割曲面を生成する分割曲面生成ユニットと、前記分割曲面で分割される前記第１の三次元画像データの一方に位置するサンプリングポイントと他方に位置するサンプリングポイントとに異なる変換関数及び合成方法を適用してレンダリングすることにより、第１の二次元画像を生成する第１の二次元画像生成ユニットと、前記第１の二次元画像生成ユニットによって生成された前記第１の二次元画像を表示する表示ユニットと、を含み、前記分割曲面生成ユニットは、前記指定制御ポイントの属性に基づいて、前記指定制御ポイントと同じ属性を有する各ポイントを前記分割曲面に生成することを特徴とするものである。
前記第１の二次元画像生成ユニットは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを削除してレンダリングすることにより、前記第１の二次元画像を生成することが好ましい。
前記分割曲面生成ユニットによって生成された分割曲面は、前記視線方向と平行する複数の光線の各々と前記分割曲面とが一点で交差することが好ましい。
前記第１の二次元画像生成ユニットは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを、視点の方向へ向かってサンプリングすることにより、前記第１の二次元画像を生成することが好ましい。

上記画像処理装置において、さらに、前記第１の三次元画像データを含み、より広範囲のデータである第２の三次元画像データに単一の変換関数及び合成方法を適用してレンダリングすることにより、第２の二次元画像を生成する第２の二次元画像生成ユニットと、前記第１の三次元画像データの前記視線方向と垂直になる方向への投影に基づいて、第３の二次元画像を生成する第３の二次元画像生成ユニットと、前記第３の二次元画像において制御ポイントを指定する制御ポイント指定ユニットと、を含み、前記表示ユニットはさらに前記第２の二次元画像と前記第３の二次元画像を表示し、且つ前記表示ユニットはウィンドウの形式で前記第２の二次元画像の対応位置に前記第１の二次元画像を表示し、前記第２の二次元画像の対応部分をカバーすることが好ましい。
前記属性は、前記指定制御ポイントのグレースケール値、前記指定制御ポイントのカラー値の属性により構成されたグループの中から選択された少なくとも一つの属性であることがもっと好ましい。
前記分割曲面生成ユニットは、前記指定制御ポイントに対応するボクセルを種とし、種とした前記ボクセルに隣接するボクセルの属性が所定の条件を満たす場合に前記隣接するボクセルを前記種に加える処理を繰り返し実行する局部分割方法によって前記分割曲面を生成することがもっと好ましい。

一つの態様における画像処理方法は、ボリュームレンダリングにより画像を生成する画像処理装置の画像処理方法であって、分割曲面生成ユニットが、第１の三次元画像データに基づいて、指定制御ポイントを通過し且つ視線方向と交差する分割曲面を生成するステップと、第１の二次元画像生成ユニットが、前記分割曲面で分割される前記第１の三次元画像データの一方に位置するサンプリングポイントと他方に位置するサンプリングポイントとに異なる変換関数及び合成方法を適用してレンダリングすることにより、第１の二次元画像を生成するステップと、を含み、前記分割曲面を生成するステップは、前記指定制御ポイントの属性に基づいて、前記指定制御ポイントと同じ属性を有する各ポイントを前記分割曲面に生成することを特徴とするものである。
前記第１の二次元画像を生成するステップは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを削除してレンダリングすることにより、前記第１の二次元画像を生成することが好ましい。
前記分割曲面は、前記視線方向と平行する複数の光線の各々と前記分割曲面とが一点で交差することが好ましい。
前記第１の二次元画像を生成するステップは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを、視点の方向へ向かってサンプリングすることにより、前記第１の二次元画像を生成することが好ましい。

上記画像処理方法において、さらに、第２の二次元画像生成ユニットが、前記第１の三次元画像データを含み、より広範囲のデータである第２の三次元画像データに単一の変換関数及び合成方法を適用してレンダリングすることにより、第２の二次元画像を生成するステップと、第３の二次元画像生成ユニットが、前記第１の三次元画像データの前記視線方向に垂直になる方向への投影に基づいて、第３の二次元画像を生成し、制御ポイント指定ユニットが、前記第３の二次元画像において前記指定制御ポイントを指定するステップと、表示ユニットが、前記第１の二次元画像をウィンドウの形式で前記第２の二次元画像の対応位置に表示し、前記第２の二次元画像の対応部分をカバーするステップと、を含むことが好ましい。
前記属性は、前記指定制御ポイントのグレースケール値、前記指定制御ポイントのカラー値の属性により構成されたグループの中から選択された少なくとも一つの属性であることがもっと好ましい。
前記分割曲面を生成するステップは、前記指定制御ポイントに対応するボクセルを種とし、種とした前記ボクセルに隣接するボクセルの属性が所定の条件を満たす場合に前記隣接するボクセルを前記種に加える処理を繰り返し実行する局部分割方法によって生成することがもっと好ましい。

上記態様によれば、ユーザは三次元シーンのレンダリングウィンドウからサブウィンドウを選択して、当該ウィンドウ内で視線方向に沿って三次元シーンの中の不透明物体に遮られた物体あるいはその特定部位をレンダリングすることができる。
上記態様によれば、ユーザのボリュームレンダリングウィンドウの中から選択したサブウィンドウをフォーカスウィンドウと称し、ユーザはフォーカスウィンドウの形状や大きさを変更でき、且つボリュームレンダリングウィンドウの内部でフォーカスウィンドウを移動することができる。
上記態様によれば、ユーザはフォーカスウィンドウと直交する一つの平面からレンダリングする物体を選択する。直交平面は視線の方向に平行し、レンダリングする物体あるいは当該物体の特定部位を貫通し、当該物体の三次元シーンを貫通する断面情報を表示し、三次元データをサンプリングして得られてもよく、当該平面を投影面とする一般のレンダリング技術、例えばボリュームレンダリング方法によって得られた結果でもよい。
上記態様によれば、直交平面と投影平面の交線は、ユーザの選択したサブウィンドウ内に位置し、ユーザは交線のフォーカスウィンドウ内の位置に対して調整を行い、直交面のボリュームデータの中の位置を調整してユーザの注目物体の位置を迅速に特定することができる。
上記態様によれば、直交平面はユーザの注目物体を選択するように一つの制御ポイントを提供し、ユーザは注目物体の辺縁まで制御ポイントを移動し、システムは当該制御ポイントに基づいて一つの二次元曲面を自動的に生成して光線方向に注目物体をその他の物体から分割する。分割曲面の範囲はフォーカスウィンドウを底面とするフォーカス空間内に制限され、フォーカス空間の高さは視線方向に平行する。
上記態様によれば、分割曲面はフォーカスウィンドウから放射したすべての光線を二つの部分に分割し、片方の部分は注目物体の前面に遮る不透明ゾーンを貫通し、他方の部分は注目物体に直接照射し、光線の二つの部分に異なる変換関数を設置することで不透明ゾーンを透過して注目物体を表示することができる。
上記態様によれば、フォーカスゾーンの内部において、分割曲面を出発点として、光線の反対方向に沿ってサンプリングして合成を行なうことで他方の注目物体の背面をレンダリングすることもできる。

本発明によれば、ボリュームレンダリングにおいて別の不透明物体に遮られてユーザの注目物体がレンダリングできない問題が解決される。

典型的な三次元シーンであり、人体頸部の略図である。 視線方向に平行し、ボリュームレンダリングメインウィンドウと直交する切断面図である。 二次元平面内の分割曲線の生成過程を示す図である。 三次元空間において一つのフォーカス空間およびその内部の図２に示した一つの切断面（「物体選択面」と称する）を示す図である。 フォーカス空間において物体選択点に基づいて生成された一つの分割曲面を示す図である。 フォーカスウィンドウにレンダリングした結果の一例を示す図である。 分割曲面の他の機能を示す図であり、視点の位置を移動せずにユーザの注目物体の背面をレンダリングすることができる。 三次元空間において互いに遮る三種類の物体を有する状況を示す図であり、ユーザは必用に応じてレンダリングする物体を選択することができる。 システムのインターフェースの一例を示す図であり、主にボリュームレンダリングメインウィンドウ、フォーカスウィンドウ、物体選択ウィンドウ、およびいくつかの制御ボタンを含む。 フォーカスウィンドウの大きさの選択を説明する略図である。 フォーカスウィンドウの大きさの選択を説明する略図である。 システムの操作フローチャートを示す図である。 システムのハードウェアの概略構成図である。 本システムのさらに具体的なハードウェア構成図である。

以下、図面に基づいて本発明の最適な実施の形態について詳しく説明する。説明過程において、本発明の理解に混乱をもたらすことを避けるために、本発明にとって不必要な細部と機能については説明を省略する。

本発明は、ボリュームレンダリングにおいて、別の不透明物体に遮られることによりユーザの注目物体をレンダリングすることができない問題を解決する。

図１は、典型的な三次元シーンである。図において、ボリュームデータ１０１は人体頸部ＣＴ撮影データの略図であり、図には頸椎１０２と頸動脈１０３の二種類の主な組織が示されている。射線１０４は視点１０６から発した一本の視線であり、平行投影方式において射線１０４は投影平面１０５に垂直になり（平行投影ボリュームレンダリング視点の位置は無限に遠いところにある）、三次元ボリュームデータを貫通する。光線投影ボリュームレンダリングアルゴリズムにおいて投影平面１０５の一つのピクセルは視線方向に平行する一本の光線に対応し、一組の光線が投影平面から放射されて三次元ボリュームデータの内部に入って再サンプリングを行ない、合成関数によって投影平面上の対応するピクセルカラー値を生成し、すべての視線の合成が完成すると一枚の完璧なボリュームレンダリング結果が得られる。従来のボリュームレンダリング過程において光線は最初に頸椎に当たり、頸椎のグレースケール値が頸動脈より遥かに大きく、高い不透明度値を有し、同時に、合成関数において後のサンプリングポイントは結果に対する貢献がますます小さくなり、最終結果において頸椎に遮られた動脈部分が見えなくなる。投影面がボリュームデータの外部に位置するため、光線が頸椎を避けて直接頸動脈に到達することはできない。本発明は高いグレースケール値を有する頸椎を透過して頸椎に遮られた部分の頸動脈を直接レンダリングする案を提供する。

図２は、図１に示す空間において視線方向に平行し、ボリュームデータに直交する切断面２０１を示す。当該切断面２０１と投影面は一本の線分２０６上に直交し、当該線分２０６は切断面２０１の投影面内における視線方向の投影である。ピクセル２０７は交線２０６上にあり、ピクセル２０７から放射された一本の光線２０５は切断面２０１上にある。切断面２０１に表示されているのは頸椎２０２と頚動脈２０３の切断面２０１上の断面情報である。光線２０５は最初に頸椎２０２に到達し、前から後ろへの合成過程において、光線の前部に位置するサンプリングポイントがボリュームレンダリング合成関数においてもっと大きい重み値を有し、且つ頸椎２０２はもっと大きい不透明度を有するため、レンダリング結果において頸椎２０２はその後の頸動脈を遮る。曲線２０４は切断面２０１内の一本の理想的な曲線で、曲線２０４は頸椎２０２と頸動脈２０３を分割して曲線の両側に分布させることができる。このように、曲線２０４は同時に光線２０５も二つの部分に切断する。曲線２０４の左側の部分は頸椎を貫通し、曲線２０４の右側の部分は頸動脈を貫通するため、光線上の二つの部分のサンプリングポイントに異なる変換関数と柔軟な合成方法を採用することができる。例えば、頸椎２０２部分を貫通するサンプリングポイントを合成関数から削除して、頸椎２０２を透過して直接頸動脈２０３を表示することができる。

図３では、切断面３０１内において如何に正確な分割曲線３０４を見つけるかについて説明する。投影平面と切断面３０１がある直交平面は直線３０６で交差し、交線３０６の内部から「フォーカス線分」と称する線分３０８を選択して、フォーカス線分３０８を幅とし、視線を高さとして新しい物体選択面３１０を構成する。物体選択面３１０の内部においてユーザの注目物体の位置特定と選択のために「物体選択ポイント」と称する制御ポイント３０９を提供し、物体選択ポイント３０９に対応するボクセルを基に、物体選択面３１０の内部において曲線３０４を自動的に生成する。当該曲線３０４は物体選択面の内部において頸椎３０２と頸動脈３０３を分割することができ、「分割曲線」と称する。分割曲線３０４はフォーカス線分３０８上のピクセル３０７から発した光線３０５を二つの部分に分割し、これによってそれぞれの光線部分に異なる変換関数を設定して頸椎に遮られた一部の頸動脈をレンダリングすることができる。

図４は、図３に基づいた三次元空間での拡張であり、投影平面４０６のボリュームレンダリングウィンドウからサブウィンドウ４０７を選択し、「フォーカスウィンドウ」と称する。フォーカスウィンドウ４０７を底とし、視線を高さとして三次元空間を定義し、三次元空間のボリュームデータ内に位置する部分をフォーカス空間４０４と称する。物体選択面４０５はフォーカス空間４０４の内部に位置し且つ視線方向に平行し、フォーカスウィンドウ４０７と「制御線」と称する一本の線分４０８上に交差する。制御線４０８の位置（と角度）を制御することにより物体選択面４０５のボリュームデータの中での位置（と角度）を調整し、これによってボリュームデータにおいて速やかに注目物体の位置を特定することができる。ユーザが物体選択面４０５において頸椎４０２と頸動脈４０３の間あるいは頸動脈４０３の辺縁上に位置する一つのポイント（物体選択ポイント）を選択すると、システムは自動的に当該ポイントを基にフォーカス空間４０４の内部で分割曲面を生成し、当該曲面は頸椎と頸動脈を分割することができる。

図５は、フォーカス空間５０１における頸椎５０２と頸動脈５０３の間の一つの分割曲面５０５について説明する。物体選択ポイント５０４は分割曲面５０５上に位置する。投影面５０６上のフォーカスウィンドウ５０７の中のピクセル５０８から放射した一本の光線５０９は分割曲面５０５とボクセル５１０で交差し、当該光線上のボリュームレンダリング過程はボクセル５１０を境界点とする。分割曲面５０５はユーザの選択した物体選択ポイント５０４を基にフォーカス空間内で局部分割方法によって生成され、例えば、物体選択ポイントを種ポイントして、フォーカス空間内で一定の条件と方向に基づいて成長する。ゾーン成長は基本的な画像分割方法であり、予め定義した成長基準に従ってピクセルあるいはゾーンをより大きいゾーンに集合する処理方法である。基本的な処理方法は、一組の「種ポイント」から始めて成長ゾーンを形成し、種に類似する隣ゾーンのピクセルを種に加えて、繰り返し演算により、最終的に属性の一致するゾーンを分割して取り出す。本発明において、前記属性は物体選択ポイントのグレースケール値、物体選択ポイントのカラー値、あるいは物体選択ポイントの勾配値と勾配方向でよい。図５に示す三次元データにおいて、頸椎５０２と頸動脈５０３の間の空間は背景ゾーンであり、背景ゾーンのボクセルと頸椎および頸動脈のボクセルは固定した閾値Ｔによって区別することができる。物体選択ポイント５０４も背景ゾーンの内部にあり、このときの成長条件、即ち類似性基準は、種ポイントに隣接するボクセルの値が背景ボクセル値の範囲内にあるかどうかに設定するこができ、成長の方向はすでに生成した曲面のフォーカスウィンドウ５０７内における投影が単調な生長になることを保証し、これは分割曲面５０５がフォーカスウィンドウ５０７から放射された各光線と一つの交点だけを有することを保証するためである。その他のもっと複雑な状況については、例えば、頸椎と頸動脈の間の特定部位は背景ポイントが存在しない場合、一つの簡単な閾値を成長条件とすることができなくなり、もっと有効な成長条件を設けて分割曲面５０５を正確に生成しなければならない。

図６は、当該方法を用いて得られた結果を示す。ボリュームレンダリングメインウィンドウ６０３において頸椎６０１によって遮られた一部の頸動脈６０２がフォーカスウィンドウ６０４に表示されている。

図７は、分割曲面７０５を使用する他の方法を示す。投影平面と切断面７０１がある直交平面は直線７０６で交差し、交線７０６の内部からフォーカス線分７０８を選択し、フォーカス線分７０８を幅とし、視線を高さとして新しい物体選択面７１４を構成する。物体選択ポイント７０４に基づいて分割曲面７０５を確定した後に、視線の方向は二つの選択の可能性がある。一つは、上述のように最初の視線７０９の方向に沿って前へ向かってサンプリングする選択で、頸動脈７０３の前部シーンをレンダリングすることができる。もう一つは最初の視線７０９の逆方向７１０に沿ってサンプリングする選択で、レンダリング結果は頸椎７０２の背景シーンであり、この効果は視点の位置を１８０度回転させると同時に頸動脈７０３を飛び越えたレンダリング結果と同じである（交線７０６とピクセル７０７はそれぞれ交線７１１とピクセル７１２に回転され、視線方向は７１３に回転される）。これにより放射科医師の作業効率を向上することができる。

図８は、さらに複雑な三次元シーンを示す。切断面８０１には頸椎８０２、頸動脈８０３、および頸内静脈８０４の三つの組織があり、そのうち頸動脈８０３の右側の一部ゾーンが頸内静脈８０４によって遮られている。ユーザはレンダリングしたい物体の辺縁ゾーン付近のボクセルを選択して出発点として、例えば、図８において頸動脈８０３と頸内静脈８０４の中間位置にあるボクセル８０６を出発点として、対応する分割曲面を生成することができる。当該ボクセル８０６から生成された分割曲面８０５は物体選択面８０７の内部で頸動脈８０３と頸内静脈８０４を分離させる。分割曲面と視線の交点を出発点とし、視線の方向に沿ってサンプリングと合成を行なうと、頸内静脈８０４の前面部分のレンダリング結果が得られ、視線方向の逆方向に沿ってサンプリングと合成を行なうと、頸動脈８０３の背面部位のレンダリング結果が得られる。

図９は、システムのユーザ操作インターフェースであり、図において、システムのメインウィドウ９０１は三次元データレンダリングの投影平面であり、記号９０３はフォーカスウィドウ選択ボタンであり、図９では長方形と円形の二種類のフォーカスウィンドウオプションが提供されている。ユーザはどれか一つ、例えば、図９に示す長方形フォーカスウィンドウ９０５を選択して、メインウィドウ９０１の中にドラッグして、メインウィドウ９０１の中でフォーカスウィンドウ９０５の長さと幅の属性を変更することが可能で、同時にそれをドラッグして異なるゾーンを選択することもできる。記号９０４はフォーカス線分の制御エリアであり、フォーカス線分は中心点がフォーカスウィンドウに位置し、長さがフォーカスウィドウ内に制限された一本の線分である。ユーザはフォーカス線分の制御ゾーン９０４を通してフォーカス線分の角度を変更することができる。記号９０２は視線に平行し、メイン投影面に交差する切断面であり、切断面９０２の位置はフォーカス線分によって制御され、メイン投影面との交線はフォーカス線分と重なる。切断面９０２は視線方向の二次元断面情報を表示し、ユーザに深さ方向の情報を提供する。ユーザシステムはユーザの注目物体の位置特定のために制御ポイント９０６を提供し、制御ポイント９０６の初期位置は切断面９０２の左側にある。ユーザは制御ポイント９０６をドラッグしてユーザの注目物体の辺縁位置まで移動させることができ、システムは当該制御ポイント９０６の位置を自動的に検出し、制御ポイント９０６の位置が固定した後、システムは当該位置を基に、フォーカウィドウの内部で分割曲面を生成する。当該曲面はボリュームレンダリング過程におけるサンプリングポイントの開始位置を制御し、これによってメインウィドウ９０１におけるフォーカスウィンドウ９０５のレンダリング結果を得て、頸椎を透過して頸動脈の正面を見ることができる。
フォーカスウィンドウ９０５の大きさは、ユーザによる自由選択が可能である。三次元データの中の物体の形状および分布は通常複雑で、フォーカスウィンドウの大きさの自由調整はユーザにもっと柔軟に制御可能な表示方法を提供する。

図１０は、もう一つの簡単で普通の三次元シーンを示す。密封された直方体のケース１００２の中に一個の球形の物体１００３が入っており、切断面１００１は上述のような視線方向に平行する切断面である。物体選択面１００６は切断面１００１内においてフォーカス空間内に制限されたゾーンであり、上述の方法を用いて、物体選択面１００６の内部の球体１００３と直方体１００２の間の位置で制御ポイント１００４を選択し、一つの曲面１００５を生成して球体１００３と正方体１００２を分離させ、最終的にフォーカスウィンドウ内に完璧な球体が表示される。

図１１に示すように、フォーカスウィンドウの大きさを調整して切断面１１０１内の物体選択面１１０６が直方体１１０２と球体１１０３を同時にカバーするようにすると、制御ポイント１１０４を通過する分割曲面１１０５は直方体１１０２を貫通することになる。このとき、フォーカスウィンドウ内に表示される内容は球体１１０３の部分だけではなく、分割曲面にカバーされた直方体１１０２の一部ゾーンも含まれるが、この部分の内容は曲面の生成方法によって決められ、異なる方法によって異なる結果が得られ、その情報は実際の意味がなく、ただフォーカスウィンドウ内に球体と直方体の相対位置情報を提供しただけである。ユーザが引き続きフォーカスウィンドウを拡大していくと、この無意味な情報の占める割合は増える一方であり、ユーザの注目物体に対する観察に悪い影響を及ぼすことになる。したがって、観察しようとする物体の大きさおよびその周辺物体の分布状況に基づいて適当なウィンドウの大きさを決める必要があり、ユーザは常にウィンドウの大きさを調整しなければならない。

図１２は、システムの操作フローチャートである。
先ず、ステップＳ１２０１において、規則的な三次元ＣＴ断層撮影データなどのような三次元データを取得する。
その後、ステップＳ１２０２において、従来のボリュームレンダリングアルゴリズム（例えば、光線投影アルゴリズム）を用いて二次元スクリーン上に選定された視点から三次元データに対してレンダリングを行ない、結果を二次元ディスプレイスクリーンのフレームバッファに保存するとともに、ユーザの操作インターフェースのメインウィンドウ内に表示する。
ステップＳ１２０３において、ユーザは操作インターフェースの中からフォーカスウィンドウを選択して、当該フォーカスウィンドウをメインウィンドウ内にドラッグする。
続いて、ステップＳ１２０４において、システムは自動的にフォーカスウィンドウに垂直になる切断面を生成し、当該切断面を物体選択ウィンドウ内に表示する。
ステップＳ１２０５において、ユーザは物体選択ウィンドウの中で視線方向の三次元データを見ることができ、この方向で注目物体を選択することができる。物体選択ウィンドウ内には注目物体を選択するための制御ポイントがあり、ユーザは物体選択ウィンドウ内で制御ポイントを注目物体の辺縁に移動させることができる。
ステップＳ１２０６において、システムは当該制御ポイントを基に、自動的に一つの曲面を生成して注目物体をその近隣物体から分離させる。生成された分割曲面はフォーカスウィンドウ内のピクセルから発した光線を二つの部分に分割し、片方の部分は注目物体の前面に遮られた物体を貫通し、他方の部分は直接注目物体の表面に照射する。
ステップＳ１２０７において、システムは単独に第二の部分の光線に対してサンプリングと合成を行なって直接注目物体を表示してもよく、二つの光線に異なる変換関数を設けて注目物体の前面に遮られた一部ゾーンを半透明効果になるようにしてもよい。
ステップＳ１２０８において、ユーザは引き続き制御ポイントを移動してその他の物体を選択することができる。
ステップＳ１２０９において、ユーザはフォーカスウィンドウの位置と大きさを調整して注目物体の位置を特定してもよく、同時に、フォーカスウィンドウ内の物体選択面の投影線分を制御することにより物体選択面の空間投影位置を調整してもよい。物体選択ウィンドウの内容は物体選択面のボリュームデータにおける位置に応じて常に更新される。

図１３は、本システムのハードウェアの構成図である。コンピュータ１３０２は汎用コンピュータであり、主にプロセッサ１３０３、メモリ１３０４、およびデータストレージ１３０５を含む。ユーザ入力装置１３０１とディスプレイユニット１３０６は共にユーザとコンピュータ１３０２の間のインタラクティブタスクを実現する。プロセッサ１３０３とメモリ１３０４はユーザのインタラクティブに基づいて、ユーザの必要とするデータの処理を実行する。

図１４は、本システムのさらに具体的なハードウェアの構成図である。
データ取得ユニット１４０１は、規則的な三次元ＣＴ断層撮影データなどのような三次元データの取得に用いられる。メインウィドウレンダリングユニット１４０２（第２の二次元画像生成ユニット）は、ある視点から三次元データに対するレンダリング作業を実行する。三次元データインタラクティブユニット１４０３はユーザが一つ特定の視点を選択して三次元物体を観察することを許可する。フォーカスウィンドウの選択と調整ユニット１４０４は、ユーザの異なる形状のフォーカスウィンドウの選択と、フォーカスウィンドウの大きさとメインウィンドウにおける位置の調整を許可する。物体選択面の生成と更新ユニット１４０７（第３の二次元画像生成ユニット）は、フォーカスウィンドウの位置と形状に基づいて表示内容を更新する。注目物体選択ユニット１４０８（制御ポイント指定ユニット）は、物体選択面内において注目物体の選択機能を提供する。分割面生成ユニット１４０９（分割曲面生成ユニット）は、ユーザが物体選択面上で選択した制御ポイントの位置に基づいて自動的に一つの分割曲面を生成する。変換関数生成ユニット１４１０は、ユニット１４０９によって生成された分割曲面に基づいてフォーカスウィンドウの中から発した光線を二つの部分に分割して異なる変換関数を設置し、即ち光線の貫通する三次元データボクセルに対してカラーと不透明度の値を設置する。フォーカスウィンドウレンダリングユニット１４０５（第１の二次元画像生成ユニット）は、合成関数生成ユニット１４１１によって生成された合成関数を利用してフォーカス空間の三次元データに対してレンダリングを行い、結果をフォーカスウィンドウ内に表示する。

上述において、それぞれのステップについて複数の実例を列挙し、発明者は互いに関連する実例をできる限り示したが、これは決してこれらの実例が必ず相応する記号に応じて対応関係が存在することを意味することではない。選択された実例に与えた条件の間に矛盾さえなければ、異なるステップにおいて、記号が対応しない実例を選択して相応する技術案を構成することができる。このような技術案も本発明の範囲内に含まれている。

気をつけなければならないのは、上述において、例示の方法のみで本発明の技術案について説明したが、本発明が上記のステップとユニットの構成だけに限られていることではない。可能な場合、必要に応じてステップとユニットの構成に対して調整と選択を行ってもよい。そのため、いくつかのステップとユニットは必ずしも本発明の全体思想を実施するために必要とする要素ではない。したがって、本発明の必要とする技術特徴は本発明の全体思想を実施するための最低要求のみに限られており、上述の具体的な例示には制限されない。

ここで公開されている本発明の実施例のその他の設置は、先に概述し後で詳しく述べる方法の実施例のステップと操作を実行するソフトウェアプログラムを含む。もっと詳しくは、コンピュータプログラム製品は以下のような実施例である。コンピュータ読取可能な記録媒体を有し、コンピュータ読取可能な記録媒体にコンピュータプログラムロジックがコーディングされており、コンピュータ装置で実行されるとき、コンピュータプログラムロジックは関連する操作を提供することで上記一方向代理転送暗号化案を提供する。コンピュータシステムの少なくとも一つのプロセッサで実行されると、コンピュータプログラムロジックはプロセッサに本発明の実施例に述べた操作（方法）を実行させる。本発明のこのような設置は典型的に、光記録媒体（例えば、ＣＤ−ＲＯＭ）、フロッピー（登録商標）ディスクあるいはハードディスクなどのようなコンピュータ読取可能な記録媒体上に設置あるいはエンコードされたソフトウェア、コードと／あるいはその他のデータ構造として、あるいは一つまたは複数のＲＯＭやＲＡＭやＰＲＯＭチップ上のファームウェアあるいはマイクロコードのその他の媒体として、あるいは専用集積回路（ＡＳＩＣ）あるいは一つまたは複数のモジュールの中のダウンロード可能なソフトウェア画像、共用データベースなどとして提供される。ソフトウェアあるいはファームウェアあるいはこのような配置はコンピュータ装置に取り付けられて、コンピュータ装置の一つあるいは複数のプロセッサが本発明の実施例に述べた技術を実行するようにする。一組のデータ通信装置あるいはその他の実体中のコンピュータ装置を結び付けて操作を行うソフトウェアプロセスも本発明によるシステムを提供することができる。本発明によるシステムは複数のデータ通信装置上の複数のソフトウェアプロセス、あるいは一組の小型専用コンピュータ上で作動しているすべてのソフトウェアプロセス、あるいはシングルコンピュータ上で作動しているすべてのソフトウェアプロセスの間に分布されてもよい。

厳格に言うと、本発明の実施例はデータ通信装置上のソフトウェアプログラム、ソフトウェアとハードウェア、あるいは単独のソフトウェアと／あるいは単独の回路として実現することが可能であることを理解すべきである。

以上、最適な実施例を結び付けて本発明について説明したが、本分野の技術者が本発明の趣旨と範囲を超えない状況の下で、その他の様々な変更、入れ替えおよび追加をすることができる。そのため、本発明の範囲は上述の特定の実施例に限らず、添付の請求項により限定されるべきであることを理解しなければならない。

１０１…ボリュームデータ、１０２…頸椎、１０３…頸動脈、１０４…射線（視線）、１０５…投影平面、１０６…視点、
２０１…切断面、２０２…頸椎、２０３…頸動脈、２０４…曲線、２０５…光線、２０６…線分（交線）、２０７…ピクセル、
３０１…切断面、３０２…頸椎、３０３…頸動脈、３０４…分割曲線、３０５…光線、３０６…交線、３０７…ピクセル、３０８…フォーカス線分、３０９…制御ポイント、３１０…物体選択面、
４０２…頸椎、４０３…頸動脈、４０４…フォーカス空間、４０５…物体選択面、４０６…投影平面、４０７…フォーカスウィンドウ、４０８…制御線、
５０１…フォーカス空間、５０２…頸椎、５０３…頸動脈、５０４…物体選択ポイント、５０５…分割曲面、５０６…投影面、５０７…フォーカスウィンドウ、５０８…ピクセル、５０９…光線、５１０…ボクセル、
１３０１…ユーザ入力装置、１３０２…コンピュータ、１３０３…プロセッサ、１３０４…メモリ、１３０５…データストレージ、１３０６…ディスプレイユニット。

Claims (14)

1. 第１の三次元画像データに基づいて、指定制御ポイントを通過し且つ視線方向と交差する分割曲面を生成する分割曲面生成ユニットと、
   前記分割曲面で分割される前記第１の三次元画像データの一方に位置するサンプリングポイントと他方に位置するサンプリングポイントとに異なる変換関数及び合成方法を適用してレンダリングすることにより、第１の二次元画像を生成する第１の二次元画像生成ユニットと、
   前記第１の二次元画像生成ユニットによって生成された前記第１の二次元画像を表示する表示ユニットと、を含み、
   前記分割曲面生成ユニットは、前記指定制御ポイントの属性に基づいて、前記指定制御ポイントと同じ属性を有する各ポイントを前記分割曲面に生成することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１の二次元画像生成ユニットは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを削除してレンダリングすることにより、前記第１の二次元画像を生成することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記分割曲面生成ユニットによって生成された分割曲面は、前記視線方向と平行する複数の光線の各々と前記分割曲面とが一点で交差することを特徴とする画像処理装置。
4. 請求項１〜３の何れか一つに記載の画像処理装置において、
   前記第１の二次元画像生成ユニットは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを、視点の方向へ向かってサンプリングすることにより、前記第１の二次元画像を生成することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一つに記載の画像処理装置において、さらに、
   前記第１の三次元画像データを含み、より広範囲のデータである第２の三次元画像データに単一の変換関数及び合成方法を適用してレンダリングすることにより、第２の二次元画像を生成する第２の二次元画像生成ユニットと、
   前記第１の三次元画像データの前記視線方向と垂直になる方向への投影に基づいて、第３の二次元画像を生成する第３の二次元画像生成ユニットと、
   前記第３の二次元画像において制御ポイントを指定する制御ポイント指定ユニットと、
   を含み、
   前記表示ユニットはさらに前記第２の二次元画像と前記第３の二次元画像を表示し、且つ前記表示ユニットはウィンドウの形式で前記第２の二次元画像の対応位置に前記第１の二次元画像を表示し、前記第２の二次元画像の対応部分をカバーする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記属性は、前記指定制御ポイントのグレースケール値、前記指定制御ポイントのカラー値の属性により構成されたグループの中から選択された少なくとも一つの属性であることを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記分割曲面生成ユニットは、前記指定制御ポイントに対応するボクセルを種とし、種とした前記ボクセルに隣接するボクセルの属性が所定の条件を満たす場合に前記隣接するボクセルを前記種に加える処理を繰り返し実行する局部分割方法によって前記分割曲面を生成することを特徴とする画像処理装置。
8. ボリュームレンダリングにより画像を生成する画像処理装置の画像処理方法であって、
   分割曲面生成ユニットが、第１の三次元画像データに基づいて、指定制御ポイントを通過し且つ視線方向と交差する分割曲面を生成するステップと、
   第１の二次元画像生成ユニットが、前記分割曲面で分割される前記第１の三次元画像データの一方に位置するサンプリングポイントと他方に位置するサンプリングポイントとに異なる変換関数及び合成方法を適用してレンダリングすることにより、第１の二次元画像を生成するステップと、を含み、
   前記分割曲面を生成するステップは、前記指定制御ポイントの属性に基づいて、前記指定制御ポイントと同じ属性を有する各ポイントを前記分割曲面に生成することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、
   前記第１の二次元画像を生成するステップは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを削除してレンダリングすることにより、前記第１の二次元画像を生成することを特徴とする画像処理方法。
10. 請求項８または９に記載の画像処理方法において、
    前記分割曲面は、前記視線方向と平行する複数の光線の各々と前記分割曲面とが一点で交差することを特徴とする画像処理方法。
11. 請求項８〜１０の何れか一つに記載の画像処理方法において、
    前記第１の二次元画像を生成するステップは、前記分割曲面で分割される前記第１の三次元画像データの視点側に位置するサンプリングポイントを、視点の方向へ向かってサンプリングすることにより、前記第１の二次元画像を生成することを特徴とする画像処理方法。
12. 請求項８〜１１のいずれか一つに記載の画像処理方法において、さらに、
    第２の二次元画像生成ユニットが、前記第１の三次元画像データを含み、より広範囲のデータである第２の三次元画像データに単一の変換関数及び合成方法を適用してレンダリングすることにより、第２の二次元画像を生成するステップと、
    第３の二次元画像生成ユニットが、前記第１の三次元画像データの前記視線方向に垂直になる方向への投影に基づいて、第３の二次元画像を生成し、制御ポイント指定ユニットが、前記第３の二次元画像において前記指定制御ポイントを指定するステップと、
    表示ユニットが、前記第１の二次元画像をウィンドウの形式で前記第２の二次元画像の対応位置に表示し、前記第２の二次元画像の対応部分をカバーするステップと、を含むことを特徴とする画像処理方法。
13. 請求項８に記載の画像処理方法において、
    前記属性は、前記指定制御ポイントのグレースケール値、前記指定制御ポイントのカラー値の属性により構成されたグループの中から選択された少なくとも一つの属性であることを特徴とする画像処理方法。
14. 請求項８に記載の画像処理方法において、
    前記分割曲面を生成するステップは、前記指定制御ポイントに対応するボクセルを種とし、種とした前記ボクセルに隣接するボクセルの属性が所定の条件を満たす場合に前記隣接するボクセルを前記種に加える処理を繰り返し実行する局部分割方法によって生成することを特徴とする画像処理方法。

Images