JP4352962B2 - 画像生成方法 - Google Patents

Description

本発明は、複数の画像データから新たな画像を生成する方法であって、特に、ＭＲＩなどの断層像撮影装置により取得した複数の断層像を利用し、単純に撮影した断層像よりも高精細な断層像を生成する方法に関する。

本発明に関連する従来技術として、以下の文献などが知られている。 衛星で撮影された画像やカメラで撮影された画像から、高精細な画像を生成する方法について述べられている。非特許文献１では、カメラの位置姿勢が既知として、複数の画像の重なる領域について近傍の画素値を利用し、元の画像の画素であるピクセルよりも細かいミクセル（model pixels）単位の高精細な画像を生成する方法が述べられている。特許文献１では、低分解能の入力画像を補間した画像にデコンボリューション処理を施すことにより、最初から高精細に撮影したような画像を生成する方法について述べられている。デコンボリューション処理を行う際に必要となるPSF(Point Spread Function)については、実測する方法と、パラメータから計算により求める方法が述べられている。

特開２００１−４３３６１号公報 P. Cheeseman, et al.「Super-Resolved Surface Reconstruction From Multiple Images」NASA Technical Report FIA-94-12(1994)。

画像の表示装置に関する技術進歩により、大画面の表示環境が利用できるようになってきている。医療用の画像についても、大画面で表示したいという要望が存在する。しかしながら、現状の製品においては、ＭＲＩの画像の画素数は256×256ピクセル、ＣＴの画素数は512×512ピクセルが一般的であり、大画面で表示するためには、より高精細な画像データを取得するということが必要となる。

ＭＲＩはＸ線を利用していないため、患者に対して非侵襲という特性があるため、計測時間をかけることにより高精細化を達成することは可能である。一方、Ｘ線ＣＴでも、被写体が人間でなく、エンジンなどの工業製品や、発掘された文化財、植物などであれば、計測時間をかけることは可能である。

例えば、ＭＲＩにより３次元のボリュームデータを通常撮影できる分解能の２倍のデータを生成する方法について図３に示す。まず初期位置にてボリュームデータを撮影する（ステップ１００）。図２(a)の２２が撮影されたボリュームデータであると考える。次に撮影位置をｘ軸方向に1/2画素だけずらし(ステップ１０２)、他の撮影パラメータはそのままでボリュームデータを撮影する（ステップ１０４）。次は撮影位置をｙ軸方向に1/2画素だけずらし(ステップ１０６)、ボリュームデータを撮影する（ステップ１０８）。このとき撮影されたボリュームデータは図２(b)の２４のようになる。同様にして撮影位置をｘ軸方向に-1/2画素ずらし（ステップ１１０）、ボリュームデータを撮影し(ステップ１１２)、さらに撮影位置をｚ軸方向に1/2画素ずらし(ステップ１１４)、ボリュームデータを撮影し（ステップ１１６）、撮影位置をｙ軸方向に-1/2画素ずらし（ステップ１１８）、ボリュームデータを撮影し（ステップ１２０）、撮影位置をｘ軸方向に1/2画素ずらし（ステップ１２２）、ボリュームデータを撮影し（ステップ１２４）、最後に撮影位置をｙ軸方向に1/2画素ずらし(ステップ１２６)、ボリュームデータを撮影する（ステップ１２８）。以上のように撮影された８つのボリュームデータを利用することにより、図２の２０で示されるような、各ボリュームデータの２倍の分解能をもったボリュームデータを生成する（ステップ１３０）。

しかしながら、上記のような方法においては、1/2画素ずらした撮影を精度よく行うことが難しいという課題が存在する。また、通常の計測時間に対して８倍の計測時間がかかってしまい，患者を長時間同じ姿勢にしておくことは困難であり、上記フローの中で、休憩を入れることが必要となる。すると、休憩後の撮影位置について、休憩前の位置に正確に合わせる必要があるが、完全に同じ位置に合わせることは困難である。

複数の画像データを利用し、画像のずれを検出するステップと、画像のずれを利用して画像を生成するステップを設ける。

画像データの生成を効率よく行うことができる。

以下、本発明の画像生成に関する実施の形態を実施例を用いて説明する。

以下、実施例１について、図１に概要を示す。

まず、ＭＲＩなどの断層像撮影手段１により、複数の断層像データ１０〜１２を撮影する。各断層像データは同一の対象（患者）を撮影したものであり、1枚の断層像でもかまわないが、ここでは３次元のデータ（ボリュームデータ）であると考える。また、各断層像データは撮影位置以外の撮影パラメータは同一であるものとし、時間的に連続して撮影されたものではなくてもよいものとする。

次に、位置ずれ推定手段３により、各断層像データ間の位置ずれについて推定を行う。次に、推定された位置ずれから、各断層像データを用いて、高精細画像生成手段５により、元の断層像データよりも細かい解像度のデータとして、高精細断層像データ１４を生成する。

図６を用いて本実施例における画像生成装置の構成例を説明する。

断層像撮影装置４１は、少なくとも断層画像再構成部４２と撮影データ記憶部４３からなる。撮影データ記憶部４３には、ボリュームデータ４４などの、複数の断層像画像セットが記憶される。

高精細断層像データ生成装置４５では、複数のボリュームデータ４４を利用し、元のデータよりも高解像度のボリュームデータを生成する。高精細断層像データ生成装置４５は、ユーザからの入力を受付ける入力部４６と画像表示部４７を持ち、さらに、以下の要素から構成される。

ボリュームデータ幾何変換部４８は、断層像撮影装置４１からのデータを利用して、ボリュームデータ４４のうちの一つを基準として幾何変換を行った幾何変換後ボリュームデータ５３を生成する。さらに、補間ボリュームデータ生成部４９は、幾何変換後ボリュームデータ５３から、補間後ボリュームデータ５４を生成する。さらに、位置ずれ推定部５０は、幾何変換後ボリュームデータ５３と補間後ボリュームデータ５４を用いて、高精細化テーブル５５を作成する。高精細ボリュームデータ生成部５１は幾何変換後ボリュームデータ、高精細化テーブルを利用し、高精細ボリュームデータ５６を生成する。
ここで、高精細断層像データ生成装置ないで利用するデータは、データ記憶部５２に記憶されているが、物理的にはことなる装置に記憶されていても構わない。逆に、断層像撮影装置４１と高精細断層像データ生成装置は、物理的に同じ装置に実装されても構わない。

図４のフローチャートに沿って、断層像データがボリュームデータである場合を例として、位置ずれ推定手段３について説明する。位置ずれ推定手段では、まず、断層像撮影手段により撮影された各ボリュームデータを元ボリュームデータとし、そのうちの一つのボリュームデータを基準ボリュームデータとする。各ボリュームデータは前述のように、時間的に連続して撮影したものではなく、サブボクセル（ボクセルはボリュームデータの画素、サブボクセルはボクセルよりも小さい画素）単位で位置をずらして撮影した場合を例として、説明する。そのため、断層像撮影時に、レーザマーカなどを用いて、ある程度の位置合わせは行うものの、位置ずれや、変形があることが考えられる。

基準ボリュームデータ以外の各ボリュームデータについて処理を行う（ステップ２００）。まず、基準ボリュームデータとその他の各ボリュームデータにおいて、およその対応点として、４点以上指定する（ステップ２０２）。このステップにおいては、比較する二つのボリュームデータの断面画像を並べて表示することにより、対応する血管の分岐点などを特徴点としておよその対応点を決めるなどの方法を用いればよい。

次に、前記の対応関係を利用し、基準ボリュームデータに、その他のボリュームデータを合わせるように、アフィン変換により幾何変換を行うためのパラメータを求め、幾何変換ボリュームデータを生成する（ステップ２０４）。ここで、対応点は４点あれば、幾何変換パラメータを求めることが可能であるが、対応関係の誤差が最小となるような変換パラメータを求める方法をとれば、４点以上の対応点を用いても構わない。また、４点以上の対応点を利用し、非線形の幾何変換手法を用いても構わない。

次に、さらに細かな対応付けを行うための準備を行うため、幾何変換ボリュームデータを、それぞれ目標とする高精細データと同じ分解能となるように補間を行い、補間後ボリュームデータを生成する（ステップ２０６）。このときの補間計算には、キュービックコンボリューションなどの高画質の補間方法を用いる。

以上の処理を基準ボリュームデータ以外の各ボリュームデータについて行った後（ステップ２００）、基準ボリュームデータについてもステップ２０６と同様に、目標とする高精細データと同じ分解能となるように補間を行い、補間後ボリュームデータを生成する（ステップ２０６）。

続いて全ボリュームデータについて（ステップ２１０）、高精細化テーブルの計算を行う。各補間後ボリュームデータについて、基準とする補間後ボリュームデータと局所的なマッチングを求めることにより、オリジナルボリュームデータのボクセルより細かなサブボクセル単位の位置ずれを求め、対応位置を高精細化テーブルに記憶する（ステップ２１２）。局所的なマッチングについては、例えば、注目するボクセルを中心とした３×３×３ボクセル程度の大きさのブロックについて、５×５×５ボクセル程度の探索範囲において、相互相関関数を用いることにより、もっとも相関が高い位置を求める方法などを用いればよい。なお、マッチングをとるブロックの大きさや探索範囲は、オリジナルデータに対する補間後データの細かさや、画素数などに依存して適当に決めればよい。

そして、高精細画像生成手段5において、ステップ２１２で生成した高精細化テーブルを利用し、高精細ボリュームデータを生成する（ステップ２１４）。

図５、図７を用いて、図４のステップ２１２における高精細化テーブルの生成方法の一例を説明する。

まず、高精細化テーブルについて説明する。高精細化テーブル３０は、目標とする高精細ボリュームデータのボクセル数分のテーブル要素３６を持ち，各テーブル要素はオリジナルの基準ボリュームデータと幾何変換後ボリュームデータを合せたボリュームデータセットの数であるＮ個分の記憶領域を持っているものとする。各テーブル要素には、テーブル要素の表わす高精細ボリュームデータのボクセル位置に対応する、オリジナルの基準ボリュームデータまたは幾何変換後ボリュームデータのボクセル位置を記憶する。そのため、例えば図９のように、各テーブル要素６１は、オリジナルの基準ボリュームデータまたは幾何変換後ボリュームデータにおけるボクセル位置（整数値）６２、高精細ボリュームデータ中の対応位置（小数値）６３の記憶領域をＮ個持つものとする。

高精細化テーブルの生成については、まず、上記のように用意した高精細化テーブルを初期化する（ステップ３０１）。例えば、各テーブル要素の値が入力されていない状態を示す値として、全て-1の値で初期化する。

次に、オリジナルの基準ボリュームデータＯのボクセル位置に対応する高精細化テーブル要素の基準ボリュームデータ用の記憶位置に、基準ボリュームデータＯのボクセル位置を記憶する。例えば、基準ボリュームデータＯのボクセル位置(1,1,0)（単位はボクセル）を、高精細化テーブル要素[2,2,0]（図５中３８、テーブル要素の位置は四角括弧で表わす）に記憶する。

次に、基準ボリュームデータＯ以外のボリュームデータについて処理済みかチェックし（ステップ３０３）、全ボリュームデータについて高精細化テーブルに対応を記憶する。まず、対象とする幾何変換後ボリュームデータを選択する（ステップ３０４）。選択された幾何変換後ボリュームデータ（Ａとする）の全ボクセルの対応づけが終了したら（ステップ３０５）、ステップ３０３へ戻る。対応づけが終了していない場合は、選択された幾何変換後ボリュームデータＡのボクセル位置を順に選択する（ステップ３０６）。

次に選択した幾何変換後ボリュームデータＡに対応する補間後ボリュームデータＡ’において、選択したボクセル位置に対応する位置を決定する（ステップ３０７）。

例えば、図８に示したボリュームデータの一部のように、幾何変換後ボリュームデータＡを各軸２倍に補間した場合、幾何変換後ボリュームデータＡのボクセル位置５１が黒丸で表された位置、補間されたボクセル位置５２が白丸で表された位置であるとする。例えば図中５３の位置のボクセルは、幾何変換後ボリュームデータＡ中の位置(1,1,0)のボクセルが、補間後ボリュームデータＡ’中の位置[2,2,0]に対応していることになる。

次に、現在選択しているボクセル位置について、補間後の基準ボリュームデータＯ’とのマッチング探索範囲内について（ステップ３０８）、マッチングの度合いを求める。

まず、あらかじめ指定しておいたマッチング計算用のブロック範囲を、選択している補間後ボリュームデータＡ’中のボクセル位置の周囲に設定し、基準補間後ボリュームデータＯ’の対応するブロック位置を決定する（ステップ３０９）。このとき、基準ボリュームデータＯ’と、現在計算中のボリュームデータＡ’の位置関係は、図４のステップ２０４によりおよそ一致している状況であるはずなので、探索範囲は、例えば、数ボクセルずれた位置まででもよい。また、探索する際の位置ずらしステップは、高精細ボリュームデータのサブピクセル単位とし、例えば１０分の１程度のステップでずらしながら探索するものとする。

次にステップ３０９で求めた計算中の補間後ボリュームデータＡ’と基準補間後ボリュームデータＯ’のマッチング計算範囲について、相関値を求める（ステップ３１０）。全探索範囲において相関値を求めた後（ステップ３０８）、最も相関が高かった位置を選択する（ステップ３１１）。そして、その位置の情報を高精細化テーブルに設定する（ステップ３１２）。例えばこの時、計算中のボリュームデータＡのボクセル位置(1,1,0)に対応する補間後ボリュームデータＡ’のボクセル位置（2,2,0）が、最も基準補間後ボリュームデータＯ’と相関が高い位置が(3.2, 2.3, 0.4)であったとするとき、高精細化テーブルのテーブル要素[3,2,0]の現在計算中のボリュームデータＡを記憶する領域に、ボクセル位置：(1,1,0)、対応位置：(0.2, 0.3, 0.4)を格納する。

現在計算中のボリュームデータＡのボクセル位置全てに対する計算を終了したら（ステップ３０５）、ステップ３０３へ戻り、全ボリュームデータ分の計算が終了したら（ステップ３０３）、高精細化映像を生成する手順に進む。

以上の方法により、目標とする高精細ボリュームデータを求めるための、各ボリュームデータセットの対応付けが求められたことになる。上記の実施例のように、補間後ボリュームデータを利用してマッチング計算を行うことにより、ボクセルの位置合わせの精度が向上できる。

高精細ボリュームデータ生成手段の例を、図１０を用いて説明する。説明を理解しやすくするために、２次元データを３つの２次元データを用いて高精細化する例を用い、オリジナルデータに対して、各軸２倍の高精細データを生成する場合を考える。

まず、３つの２次元データのうち、一つを基準データＯ，残りをデータＡ，データＢとする。高精細データのピクセル位置に対応する位置が図１０の丸印（黒丸、白丸含む）で示されているとき、基準オリジナルデータＯのピクセル位置は黒丸７２で表わされる。次に、図１の位置ずれ推定手段３により、データＡのピクセル位置が、高精細データにおいて対応する位置として、バツ印７３で、データＢのピクセル位置が三角印７４で表わされているとする。

ここで、高精細データのピクセル位置７０[x,y]のピクセル値を求める例について説明する。このとき、ピクセル位置７０の周囲の領域７１内に存在するピクセル値を用いて補間計算を行うこととする。この領域７１は、オリジナルデータに対してどれだけ高精細化するかによって、大きさを決めればよく、例えば、３倍の解像度の高精細データを生成するならば、注目ピクセルを中心とした一辺3ピクセルの長さの正方形範囲とするなどすればよい。また、３次元のボリュームデータの場合には、立方体領域を設定すればよい。

図１０の例の場合には、領域７１内に存在する基準データＯのピクセル７２、７５、７６、７７と、データＡのピクセル７３と、データＢのピクセル７４を用いて、位置７０のピクセル値Vを求める。領域７１内に存在するピクセルは、高精細化テーブルを調べることで見つける。この例では、[x,y-1]のテーブル要素にデータＡの対応ピクセル情報が、[x,y]のテーブル要素にデータＢの対応ピクセル情報が記憶されており、テーブル要素[x-1, y-1],[x+1,y-1],[x-1,y+1],[x+1,y+1]には基準データＯの対応ピクセル情報が記憶されている。

位置７０のピクセル値の計算方法について説明する。例えば、基準データＯの高精細化データに対応するピクセル７２，７５，７６，７７のピクセル値がそれぞれ、Vo1, Vo2, Vo3, Vo4とする。同様に、位置７３に対応するデータＡのピクセル値がVa、位置７４に対応するデータＢのピクセル値がVbとする。また、テーブル要素[x,y-1]に記憶されたデータＡの対応位置情報が(xa,ya)、テーブル要素[x,y]に記憶されたデータＢの対応位置情報が(xb,yb)であるとする。このとき、位置７０のピクセル値Ｖは、位置７０までの距離の逆数の比に応じた以下の式などにより求めれば良い。

ここで、テーブル要素の対応位置情報が(0,0)のデータが１つのみ存在する場合には、そのピクセル値をＶとし、複数存在する場合には、その平均をＶとすればよい。
以上の方法を、３次元に拡張することにより、高精細ボリュームデータを求めることができる。

以上で述べた実施例によれば、休憩を挟みながら、患者の負担を軽減しつつ、異なる時刻に撮影された断層像データであるボリュームデータを利用し、元のボリュームデータよりも高精細なボリュームデータを求めることが可能となる。また、Ｘ線ＣＴを用いた非破壊検査などにおいても、一度計測したあとに、より高精細なデータが必要となった場合に、計測時間の短縮を図ることが可能である。

また、患者の負担増加を最小限にしつつ、高精細の断層像を生成することが可能となり、より細かな部分の診断が可能となったり、大画面ディスプレイで表示する際のボケが低減し、複数人による同時の画像観察が行えるなどの効果がある。また、本発明によれば、断層像撮影装置自体に対する変更は必要なく、撮影された画像データを利用した後処理として実装することが可能であり、既導入施設に対しても適用することが容易となる。

また、連続した長時間の撮影を行うことなく、高精細な画像を取得することを容易になる。

本発明の実施例の概略図である。 位置をずらして撮影したボリュームデータと、それから生成される高精細のボリュームデータの関係を示した図である。 従来の方法により高精細なボリュームデータを生成するためのフローチャートである。 位置ずれ推定手段３の処理を説明するフローチャートである。 位置ずれ推定手段３により生成される高精細化テーブルの例である。 実施例１による装置構成の例である。 高精細化テーブルを作成する図４ステップ２１２の例である。 高精細化テーブルと、補間前データとの位置関係を説明するための例である。 高精細化テーブルのテーブル要素に記憶するデータの例である。 高精細化テーブルに記憶されたデータを利用し、高精細データのピクセル値を求める方法を説明するための例である。

符号の説明

１．断層像取得手段
３．位置ずれ推定手段
５．高精細画像生成手段
２０．高精細ボリュームデータ
２２、２４．元のボリュームデータ
３０．高精細化テーブル

Claims (4)

1. 撮影手段により撮影された撮影対象に対する複数の画像データを取得するステップと、
   前記複数の画像データから選択した基準画像データと他の画像データの画像間の位置の対応点を指定するステップと、
   前記基準画像データから前記画像データよりも高い解像度の補間後基準画像データを生成し、かつ、前記対応点を用いて前記他の画像データを幾何変換した幾何変換画像データから、前記画像データよりも高い解像度の補間後幾何変換画像データを生成するステップと、
   前記画像間における前記撮影対象の撮影位置のずれ量を、前記補間後幾何変換画像データについて前記補間後基準画像データとマッチングを行うことにより、前記画像データのボクセルよりも細かいサブボクセル単位で検出する検出ステップと、
   前記補間後基準画像データ、補間後幾何変換画像データ及び前記検出したずれ量を用いて複数の画像データから該画像データよりも高い解像度の新たな画像を生成する生成ステップとを有することを特徴とする画像生成方法。
2. 前記画像データは、複数の３次元データを有しており、
   前記検出ステップは、前記撮影対象の所定の領域における前記画像間の３次元データを比較し、前記比較した３次元データの対応関係に基づいて前記撮影位置のずれ量を検出することを特徴とする請求項１記載の画像生成方法。
3. 前記生成ステップは、前記画像データ毎に、前記撮影対象の所定の領域に含まれる３次元データから所定の座標位置の新たな３次元データを生成することを特徴とする請求項１または２記載の画像生成方法。
4. 前記生成ステップは，上記の検出した位置ずれ量をもとに，いずれか一つの画像データが有する複数の３次元データと、前記複数の３次元データを含む領域に含まれる他の画像データの３次元データとを用いて計算し、新たな３次元データを生成することを特徴する請求項３記載の画像生成方法。

Images