JP5106472B2 - 原画像復元データ生成方法および装置 - Google Patents

Description

本発明は、ホログラフィックメモリーシステム等の画像伝送／記録システムにおいて、劣化の少ない原画像復元データを得る技術に関し、特に、原画像を生成する表示素子と撮像素子との間に互いの画素ピッチの相対的なピッチずれまたは位相ずれが生じるような画像伝送／記録システムに対して好適な原画像復元データ生成方法および装置に関するものである。

デジタルホログラムでは、一般に、液晶表示素子等の表示素子（空間光変調素子）によりレーザ光を変調して原画像用の物体光を生成し、この物体光を光学的にフーリエ変換するとともに記録用参照光と干渉せしめ、ホログラム記録媒体上に原画像データを担持した干渉縞を記録する。再生時には再生用参照光を、該干渉縞が記録されているホログラム記録媒体上に照射し、干渉縞からの回折光をレンズで平行光に戻して画像を再生し、この再生画像を撮像素子（ＣＣＤやＣＭＯＳセンサ）により撮像することにより、原画像に対応した撮像データを取得するように構成されている。

撮像素子により取得された撮像データは、一般に、原画像データを忠実に復元したものとはならず、画像データの伝送・記録過程において何らかの劣化作用を受けたり、不要な雑音信号が付加されたりしたものとなる。従来、このような撮像データにおける劣化過程を行列で表現し得る線形作用と捉え、撮像データに対して、該行列の逆変換行列（以下「復元変換行列」と称する）を作用せしめる演算処理を行うことによって、原画像データを忠実に復元しようとする画像復元手法が知られている（下記非特許文献１参照）。

このような画像復元手法は、写真等のデジタル画像の劣化の復元を目的とするものであって、ホログラフィックメモリーシステムへの適用を特に意図したものではないが、撮像データから原画像データを推定しているホログラフィックメモリーシステムに対しても十分適用が可能と考えられる。なお、上述の劣化過程は一般には正則正方行列として表せないため、通常の逆行列を上記復元変換行列として用いることはできない。このため、一般逆行列（一般逆フィルタ）（下記非特許文献２，３参照）、正則化一般逆行列（正則化一般逆フィルタ）（下記非特許文献１参照）、射影フィルタ族（射影フィルタ、部分射影フィルタ、平均射影フィルタの総称）、パラメトリック射影フィルタ族（パラメトリック射影フィルタ、パラメトリック部分射影フィルタ、パラメトリックウィーナー射影フィルタの総称）（下記非特許文献１，４参照）等が、復元変換行列として用いられる。

また、これまでホログラフィックメモリーシステムでは、ホログラム記録媒体の位置精度の不確定性に起因して、再生画像全体の位置ずれやの回転等が起きる現象が問題視されてきた。従来、このような現象の対策として、記録時に、画像全体の位置ずれや回転等の判別指標となる所定のマーカー信号（同期信号）を画像データに重畳しておき、再生時に、このマーカー信号を検出して、再生画像の回転や拡大縮小を行う技術が知られている（下記特許文献１，２参照）。

特許第３７３７２９２号公報 特開２００８−１３９１２５号公報

信号と画像の復元［３］ 小川英光 電子通信学会誌 Vol.71 No.7 1988 線形代数 新井仁之 日本評論社出版（2006） 射影行列・一般逆行列・特異値分解 柳井晴夫、竹内啓 東京大学出版会（1983） Thefamily of parametric projection filters and it's properties for perturbation H.Imai, et al. IEICE Trans. Inf. & Syst.Vol.E80-D no.8 pp.788-794, 1997

ホログラフィックメモリーシステムで用いられる表示素子の画素ピッチは、一般に、撮像素子の画素ピッチとは一致しておらず、撮像素子の画素ピッチよりも若干大きいものとなっている（例えば、撮像素子の画素ピッチが9.0μｍに対して、表示素子の画素ピッチが10.4μｍ）。

このため、表示素子の各画素と撮像素子の各画素との間には、互いの画素ピッチが一致しないことによる相対的なずれ（ピッチずれ）が発生する状態となっている。なお、表示素子の画素ピッチと撮像素子の画素ピッチとを互いに一致させたとしても、表示素子の各画素と撮像素子の各画素とが空間的に精密に１対１に対応するように表示素子および撮像素子を配設することは困難であり、現実的には、互いの画素ピッチを一致させた場合でも、両者間における相対的なずれ（位相ずれ）は発生すると考えられる。

このような相対的なピッチずれまたは位相ずれは、主に、次のような２つの問題の要因となる。

１つは、撮像素子による画像記録密度の低下である。すなわち、撮像素子による撮像とは、表示素子により生成された画像を撮像素子の各画素によりサンプリングしていることに相当するので、表示素子の画素ピッチと撮像素子の画素ピッチとが互いに異なる場合には、撮像素子の画素ピッチを基準としてサンプリング定理を満足するようにする必要がある。例えば、表示素子の画素ピッチが10.4μｍ、撮像素子の画素ピッチが9.0μｍである場合には、画素配列の縦方向および横方向共に、表示素子の１画素（１輝点）に対して撮像素子の２画素（２ピクセル）以上を対応させる必要がある。実際には、表示素子と撮像素子との相対的な位置ずれを考慮して、画素配列の縦方向および横方向共に、表示素子の１画素に対して撮像素子の３画素が対応するように、すなわち、２次元的に見れば、表示素子の１画素に撮像素子の９画素が対応するように設定されており、このことが、撮像素子による画像記録密度を低下させる要因となっていた。

もう１つは、撮像素子による撮像データ（出力信号）における歪の増加とノイズレベルの上昇である。その影響を分かり易くするため、図６に示すような縦縞画像を用いた場合のコンピュータシミュレーション結果を例にとって説明する。この縦縞画像は、画素ピッチが縦横10.4μｍの表示素子を用いて、横方向に１０画素単位で黒白を繰り返す矩形の周期信号として生成したものであり、横方向のどの１ラインをとっても同一矩形波の繰り返し信号となるので、横方向の１次元信号として取り扱うことができる。この１次元信号としての縦縞画像のスペクトル分布は、図７に示すように、基本波に対して奇数次高調波が整然と並ぶものとなる。また、ノイズレベルは、基本波に対して−８０ｄＢ程度となっている。

この縦縞画像を、画素ピッチが縦横9.0μｍの撮像素子により撮像（撮像倍率は１倍）したときの、横方向１ラインの出力信号のスペクトル分布は、図８に示すように、特に高周波領域でのスペクトルが大きく乱れたものとなり、ノイズレベルも基本波に対して４０ｄｂ程度上昇している。

このように、表示素子の各画素と撮像素子の各画素との間に生じる相対的なピッチずれまたは位相ずれは、撮像素子による画像記録密度の低下や撮像データの大幅な劣化の要因となるが、これまで、有効な対策が実施されていなかった。なお、上述したような問題は、ホログラフィックメモリーシステムに限られたものではなく、表示素子を介して生成された原画像を撮像素子により撮像し、その撮像データから原画像データを構築（推定）する種々の画像伝送／記録システムにおいて同様に懸念されるものである。

本発明は、このような事情に鑑みなされたものであり、画像伝送／記録システムにおいて、表示素子の各画素と撮像素子の各画素との間に相対的なピッチずれまたは位相ずれが発生する場合でも、劣化の少ない原画像の復元データを得ることができ、かつ撮像素子による画像記録密度を向上させることが可能な原画像復元データ生成方法および装置を提供することを目的とする。

上記課題を解決するため、本発明に係る原画像復元データ生成方法は、表示素子を介して生成された原画像を撮像素子により撮像し、該原画像に対応した撮像データを取得する画像伝送／記録システムにおいて、該撮像データから該原画像の復元データを構築する原画像復元データ生成方法であって、
前記原画像の所定領域に所定周期のピッチずれ／位相ずれ検出用信号を予め重畳しておき、
前記撮像データにおける前記ピッチずれ／位相ずれ検出用信号の撮像状態に基づき、前記表示素子の各画素と前記撮像素子の各画素との間の相対的なピッチずれまたは位相ずれを求め、
前記ピッチずれまたは位相ずれに基づき、該ピッチずれまたは位相ずれに起因して発生する前記撮像データの劣化を修復する復元変換行列を求め、
前記撮像データを前記復元変換行列により再配列することにより、前記復元データを構築する、ことを特徴とするものである。

また、本発明に係る原画像復元データ生成装置は、表示素子を介して生成された原画像を撮像素子により撮像して該原画像に対応した撮像データを取得する画像伝送／記録システムにおいて、該撮像データから該原画像の復元データを構築する原画像復元データ生成装置であって、
前記原画像の所定領域に所定周期のピッチずれ／位相ずれ検出用信号を重畳するピッチずれ／位相ずれ検出用信号重畳手段と、
前記撮像データにおける前記ピッチずれ／位相ずれ検出用信号の撮像状態に基づき、前記表示素子の各画素と前記撮像素子の各画素との間の相対的なピッチずれまたは位相ずれを求めるピッチずれ／位相ずれ算定手段と、
前記ピッチずれまたは位相ずれに基づき、該ピッチずれまたは位相ずれに起因して発生する前記撮像データの劣化を修復する復元変換行列を求める復元変換行列生成手段と、
前記撮像データを前記復元変換行列により再配列することにより、前記復元データを構築する原画像復元データ構築手段と、を備えてなることを特徴とする。

本発明に係る原画像復元データ生成装置において、前記ピッチずれ／位相ずれ検出用信号は、前記表示素子の画素の縦配列方向に所定の周期を有する縦方向ピッチずれ／位相ずれ検出用信号と、該画素の横配列方向に所定の周期を有する横方向ピッチずれ／位相ずれ検出用信号とを、少なくとも１つずつ含んでなる、とすることが好ましい。

また、前記復元変換行列は、一般逆行列、正則化一般逆行列、射影フィルタ族およびパラメトリック射影フィルタ族のいずれかからなるとすることができ、前記画像伝送／記録システムは、ホログラフィックメモリーシステムとすることができる。

本発明に係る原画像復元データ生成方法および装置によれば、原画像に重畳されたピッチずれ／位相ずれ検出用信号の撮像状態により表示素子と前記撮像素子との相対的なピッチずれまたは位相ずれを求めるとともに、該ピッチずれまたは位相ずれに起因して発生する前記撮像データの劣化を修復する復元変換行列を求め、この復元変換行列により撮像データを再配列することにより原画像の復元データを構築するので、表示素子と撮像素子との間に相対的なピッチずれまたは位相ずれが発生する場合でも、劣化の少ない原画像の復元データを得ることが可能となる。

また、表示素子の各１画素と撮像素子の各１画素とが互いに１対１に対応するような設定としても、原画像を良好に復元することができるので、撮像素子による画像記録密度を大幅に向上させることが可能となる。

一実施形態に係る原画像復元データ生成装置を搭載したホログラフィックメモリーシステムの概略構成図である。 図１に示す原画像復元データ生成装置の構成を示すブロック図である。 ピッチずれ／位相ずれ検出用信号の一例を示す図である。 表示素子と撮像素子との関係を簡略化して示す模式図である。 ピッチずれの求め方の概要を示す模式図である。 効果検証に用いた原画像の一例を示す図である。 原画像データのスペクトル分布を示すグラフ（シミュレーション）である。 撮像データのスペクトル分布を示すグラフ（シミュレーション）である。 原画像復元データのスペクトル分布を示すグラフ（シミュレーション）である。 撮像データのスペクトル分布を示すグラフ（実験）である。 原画像復元データのスペクトル分布を示すグラフ（実験）である。

以下、本発明の実施形態について、上記図面を参照しながら詳細に説明する。

まず、図１に示すホログラフィックメモリーシステムの概要について説明する。このホログラフィックメモリーシステムは、ホログラム記録媒体１１への原画像データの記録および再生が可能なホログラム記録再生システムとして構成されたものであり、本発明の一実施形態に係る原画像復元データ生成装置２５を搭載している。以下、本システムを情報記録機能と情報再生機能とに分けて説明する。

＜情報記録機能＞
図１に示すように、レーザ光源１から出射されたコヒーレントなレーザ光束は、発散レンズ２およびコリメートレンズ３からなるビームエキスパンダにより光束径を拡大され、半波長板４を透過し反射ミラー５により反射された後、偏光ビームスプリッタ６により２系の光束に分岐され、それぞれ信号光（物体光：実際にはＳＬＭ（空間光変調素子）８により信号光とされる）および参照光として機能せしめられる。

上記参照光は、ミラー２６により反射され、光束を適宜通過／遮断するためのシャッタ２３を介してホログラム記録媒体１１上の所定の領域に照射される。一方、上記信号光は、偏光ビームスプリッタ７を介してＳＬＭ８に照射される。

ＳＬＭ８は、本実施形態における表示素子を構成するものであり、液晶表示パネルやＤＭＤ（デジタルマイクロミラーデバイス：Digital Micromirror Device）等のライトバルブからなる。ＳＬＭ８上の各画素（ピクセル）が原画像データ（ページデータ）上の２値のデジタル情報に応じて光を通過（図１の例では反射）／遮断することで、空間的に光を変調する。この変調処理により原画像データを担持した信号光が生成される。

ＳＬＭ８から出射された信号光は、入射した状態とは偏光方向が変化しており、偏光ビームスプリッタ７において反射され、シャッタ９を通過した後フーリエ変換レンズ（ＦＴＬ：Fourier Transform Lens）１０によって光学的にフーリエ変換されてホログラム記録媒体１１へ照射される。このときホログラム記録媒体１１中の信号光が照射される領域へ、別角度から、上記参照光が同時に照射されるので、記録媒体１１内部の体積中に干渉縞が生じ、この縞分布を屈折率分布などの形態で記録媒体１１の記録領域に転写することによりホログラム記録が行われる。

また、異なる原画像データをＳＬＭ８に表示させつつ、参照光のホログラム記録媒体１１への入射角度を少しずつ変化させることにより、互いに異なる原画像データを記録媒体１１中の同一領域へ多重記録することが可能となり、より高密度な情報格納が可能となる。

＜情報再生機能＞
次に、情報再生時においては、シャッタ２３を通過した参照光は、情報記録時と同様の入射角度および位置において、ホログラム記録媒体１１の所定の領域に照射される。なお、シャッタ９は閉じた状態とされる。

すなわち、所望の原画像データを再生する場合には、まず、この所望の原画像データを記録した情報記録時と同一の参照光入射条件となるように設定して、参照光をホログラム記録媒体１１に入射せしめることにより、所望の原画像データを担持した再生光（回折光）がホログラム記録媒体１１から出力され、この再生光がフーリエ変換レンズ１２を介してＣＣＤ１３（本実施形態における撮像素子）に入射し撮像されるようになっている。

次に、原画像復元データ生成装置２５について説明する。

この原画像復元データ生成装置２５は、画像処理や各種演算処理を行うコンピュータあるいはＦＰＧＡ（Field Programmable Gate Array）等のハードウエアにより構成され、各種プログラムを格納したハードディスク等の記憶手段や、各種演算処理を行うＣＰＵを備えるとともに、これらＣＰＵおよびメモリ内のプログラム等により構成されるピッチずれ／位相ずれ検出用信号重畳手段３１、ピッチずれ／位相ずれ算定手段３２、復元変換行列生成手段３３および原画像復元データ構築手段３４を備えてなる（図２参照）。

上記周期信号重畳手段３１は、上記ＳＬＭ８を用いて、原画像の所定領域に所定周期のピッチずれ／位相ずれ検出用信号を重畳するものであり、上記ピッチずれ／位相ずれ算定手段３２は、上記ＣＣＤ１３により得られた撮像データにおける上記ピッチずれ／位相ずれ検出用信号の撮像状態に基づき、ＳＬＭ８とＣＣＤ１３との相対的なピッチずれまたは位相ずれを求めるものである。

また、上記復元変換行列生成手段３３は、求められたピッチずれまたは位相ずれに基づき、該ピッチずれまたは位相ずれに起因して発生する撮像データの劣化を修復する復元変換行列を求めるものであり、上記原画像復元データ構築手段３４は、求められた復元変換行列を用いて撮像データを再配列することにより、原画像の復元データを構築するものである。

以下、本発明の一実施形態に係る原画像復元データ生成方法（以下「本実施形態方法」と称する）について説明する。なお、本実施形態方法は、上述の原画像復元データ生成装置２５により実行される。

まず、ホログラム記録媒体１１に記録する原画像データ（図示略）上に、図３に示すピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄを重畳する。このピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄは、上記ピッチずれ／位相ずれ検出用信号重畳手段３１により駆動されたＳＬＭ８によって、該ＳＬＭ８に照射された平行光が変調されることにより形成される。

図３に示すように、ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄは、縦方向に所定周期で黒白（２値）のパターンを繰り返す縦方向ピッチずれ／位相ずれ検出用信号として構成されており、ピッチずれ／位相ずれ検出用信号４２Ａ〜４２Ｄは、横方向に所定周期で黒白のパターンを繰り返す横方向ピッチずれ／位相ずれ検出用信号として構成されている。

また、ピッチずれ／位相ずれ検出用信号４１Ａとピッチずれ／位相ずれ検出用信号４２Ａ、ピッチずれ／位相ずれ検出用信号４１Ｂとピッチずれ／位相ずれ検出用信号４２Ｂ、ピッチずれ／位相ずれ検出用信号４２Ｃとピッチずれ／位相ずれ検出用信号４２Ｃ、およびピッチずれ／位相ずれ検出用信号４１Ｄとピッチずれ／位相ずれ検出用信号４２Ｄは各々組をなし、原画像データ領域の四隅にそれぞれ配置される。このように縦方向ピッチずれ／位相ずれ検出用信号と横方向ピッチずれ／位相ずれ検出用信号との組を原画像データ領域の四隅に配置することにより、各検出用信号を高精度に検出することが可能となる。また、これらのピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄを、ホログラム記録媒体１１から再生された画像全体の位置ずれや回転等を検出するマーカー信号としても利用することができる。

なお、ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄにおける繰り返しパターンの周期（ピッチ）および長さの設定は、予想される再生画像の画質に応じて適宜決定される。再生像画質が比較的良いと予想される場合には、細かいピッチ（例えば、１画素または数画素置きのピッチ）で、かつ短くする（例えば、数周期分の長さとする）ことができるが、再生像画質が悪いと予想される場合には、より粗いピッチ（例えば、数十画素置きのピッチ）で、かつ長く（例えば、十数周期以上の長さに）設定される。

次に、ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄが重畳された原画像（以下「検出用信号付原画像」と称する）の情報を担持した物体光を、フーリエ変換レンズ１０により光学的にフーリエ変換してホログラム記録媒体１１の所定位置に照射するとともに、ホログラム記録媒体１１の同じ位置に他の方向から記録用参照光を照射する。この物体光と記録用参照光との光干渉により、検出用信号付原画像のフーリエ変換像（フラウンホーファー回折像）の情報を担持した干渉縞が形成され、該干渉縞がホログラム記録媒体１１に記録される。

再生時には、シャッタ２３により物体光を遮光して、再生用参照光のみをホログラム記録媒体１１に照射する。照射された再生用参照光は、ホログラム記録媒体１１中に記録された干渉縞により回折され、この回折光がフーリエ変換レンズ１２により光学的に逆フーリエ変換されることによって、ＣＣＤ１３の撮像面上に再生像が形成される。この再生像をＣＣＤ１３により撮像することにより上記検出用信号付原画像の撮像データが取得される。なお、ＣＣＤ１３による撮像倍率は1.0倍（原画像の大きさとＣＣＤ１３の撮像面に形成される再生像の大きさとが互いに等しい）とされている。

ＣＣＤ１３により取得された撮像データは原画像復元データ生成装置２５に入力され、該原画像復元データ生成装置２５において、原画像を忠実に復元させるための原画像データ復元処理が実行される。この原画像データ復元処理は、以下の手順で行われる。なお、この原画像データ復元処理に先立って、ホログラム記録媒体１１から再生された再生画像全体の位置ずれや回転等の有無が判別される。この判別には、上記ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄが用いられ、回転等が有る場合には、それらを補正するための補正処理が行われる。以下の手順では、このような回転等は無いものとして説明する。

〈１〉まず、図２に示すピッチずれ／位相ずれ算定手段３２において、ＳＬＭ８とＣＣＤ１３との相対的なピッチずれまたは位相ずれ（本実施形態では、ＳＬＭ８の画素ピッチ（例えば、縦横10.4μｍ）とＣＣＤ１３の画素ピッチ（例えば、縦横9.0μｍ）とが互いに異なることにより生じるピッチずれ）が求められる。

ピッチずれ／位相ずれ算定手段３２では、ＣＣＤ１３により取得された撮像データのうち、特に、上記ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄの撮像データ（撮像状態）に基づき、ＳＬＭ８とＣＣＤ１３との相対的なピッチずれが縦方向および横方向の方向別に求められる。すなわち、ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄの撮像データ（撮像状態）に基づき縦方向のピッチずれが求められ、ピッチずれ／位相ずれ検出用信号４２Ａ〜４２Ｄの撮像データ（撮像状態）に基づき横方向のピッチずれが求められる。

〈２〉次いで、復元変換行列生成手段３３において、上記ピッチずれに起因して発生する撮像データの劣化を修復する復元変換行列が求められる。

〈３〉次に、原画像復元データ構築手段３４において、上記復元変換行列を用いて撮像データを再配列することにより、原画像の復元データが構築される。

なお、上記復元変換行列は、数学的には次のように説明される。

なお、上述の定式化は１次元データを想定したものであり、２次元の画像データに対しては２次元の変換操作が必要となる。サイズ変換操作と劣化過程とを同時に考慮する必要があるが、サイズ変換操作と劣化過程とは、行列操作としては同一であるので、以下では、サイズ変換操作に着目した場合の定式化（ここでは、復元変換行列を一般逆行列で構成する）について説明する。

長方形行列に対して定義される一般逆行列の表現方法は種々存在するが、その１つとして次のようなものがある。

すなわち、ｍ×ｎ行列Ａの一般逆行列Ａ^＋を、
rankＡ＝ｍのとき、Ａ^＋＝Ａ^ｔ・（Ａ・Ａ^ｔ）^-1
rankＡ＝ｎのとき、Ａ^＋＝（Ａ^ｔ・Ａ）^-1・Ａ^ｔ
と表すものである。なお、添え字「ｔ」は転置行列、「-1」は逆行列であることを示す。

次に、２次元データでの取り扱いを説明する。

表示素子と撮像素子との対応関係を単純化した図４に示すように、表示素子の画素ピッチは撮像素子の画素ピッチよりも一般に大きいので、表示素子により形成される原画像データの行列Ｓ(s1,s2)と撮像素子により得られた撮像画データの行列Ｃ（c1,c2）との間には、s1＜c1、s2＜c2なる関係が成立する。この関係は、行列の横方向と縦方向のサイズ変換になるので、縦方向および横方向のサイズ変換行列を各々Ｖ（c1,s1）およびＨ（s2,c2）とすれば、原画像データの行列Ｓと撮像データの行列Ｃとの間には、下式（３）の関係が成立する。

Ｖ・Ｓ・Ｈ＝Ｃ …… （３）

ここで、ＶおよびＨに一般逆行列が存在し、それらをＶ^＋およびＨ^＋（サイズ変換操作に対する復元変換行列）とすれば、上式（３）の関係から、下式（４）およびこれを整理した下式（５）の関係が得られる。なお、Ｉ_s1とＩ_s2は単位行列を表す。

Ｖ^＋・Ｖ・Ｓ・Ｈ・Ｈ^＋＝Ｉ_s1・Ｓ・Ｉ_s2＝Ｖ^＋・Ｃ・Ｈ^＋ …… （４）
Ｓ＝Ｖ^＋・Ｃ・Ｈ^＋ …… （５）

よって、縦方向のサイズ変換行列Ｖと横方向のサイズ変換行列Ｈを求めることができれば、縦方向および横方向のサイズ変換操作に対する復元変換行列Ｖ^＋およびＨ^＋は数学的に算出することができるので、上式（４）、（５）の関係を用いて撮像データから、サイズ変換操作がなされていない状態を推定した、原画像の復元データを求めることが可能となる。

以上の議論は、上述のピッチずれに起因して発生する撮像データの劣化を修復する復元変換行列に対しても同様に適用し得る。すなわち、縦方向のピッチずれに起因する劣化過程を表す変換行列（「Ｖ₁」とする）と横方向のピッチずれに起因する劣化過程を表す変換行列（「Ｈ₁」とする）を求めることができれば、縦方向のピッチずれに起因する劣化過程に対する復元変換行列（「Ｖ₁ ^＋」とする）および横方向のピッチずれに起因する劣化過程に対する復元変換行列（「Ｈ₁ ^＋」とする）は数学的に算定することができるので、ピッチずれに起因する劣化を受けていない状態を推定した、原画像の復元データを求めることが可能となる。

そして、これらの変換行列Ｈ₁，Ｈ₁は、上述の手順〈１〉で述べたように、上記ピッチずれ／位相ずれ検出用信号４１Ａ〜４１Ｄ，４２Ａ〜４２Ｄの撮像データに基づきピッチずれを具体的に算出することによって求めることができる。ここで、その求め方の具体例について説明する。なお、以下では簡単化のため、原画像データおよびピッチずれ／位相ずれ検出用信号を１次元信号とした場合について説明を行い、それを２次元に拡張することとする。

図５に示すように、ＳＬＭで形成される位相ずれ検出用信号を３ビット（１，０，１）の１次元信号とし、これをＣＣＤの画素で撮像する場合を考える。また、ＳＬＭおよびＣＣＤの画素ピッチ（画素サイズ）をそれぞれ1.1および1.0とし、ｘの初期ずれが生じているものとする。

上式（６）の関係を、変換行列Ａ₀を用いてベクトルで表現すると下式（７）となる。また、この変換行列Ａ₀を成分表示すると下式（８）となる。

Ａ₀ ^＋＝（Ａ₀ ^ｔ・Ａ₀）^-1・Ａ₀ ^ｔ …… （９）
ここで、Ａ₀は４×３行列であり、rankＡ₀＝３となることを用いた。

上式（１０）は、４ビットデータが３ビットデータヘ、レートが変換されることを示しており、サンプリングレートの変換すなわち、リサンプリング（再配列）を行っていることになる。なお、ここでのデータの取り扱いは、表示素子（ＳＬＭ）の１面を１単位としてもよいし、該１面を複数に分割してその一部を１単位としてもよい。

以上のことから、上記初期ずれｘの値を具体的に算出することができれば、上記復元変換行列Ａ₀ ^＋を求めることができることが分かる。初期ずれｘの値は、以下のように算出することが可能である。

すなわち図５から、初期ずれｘの値の範囲は、次の４つに場合分けすることができる。

よって、ＣＣＤの出力（c₀1〜c₀5）を測定することにより、初期ずれｘの値を求めることができる。

例えば、出力データがc₀1＝0.67、c₀2＝0.43、c₀3＝0.47、c₀4＝0.67、c₀5＝0の場合、上記[1]の条件では、下記のようにｘの値は確定しない。

同様に、上記[2]の条件では、c₀3＝1≠0.47、上記[3]の条件では、c₀4＝1≠0.67となり、やはりｘの値は確定しない。

これに対し、上記[4]の条件では、x＝0.33と確定するので、初期ずれｘの値を0.33と求めることができる。

他の例として、測定データがc₀1＝0.18，c₀2＝0.92，c₀3＝1，c₀4＝0.98，c₀5＝12の場合、c₀3＝1なので、上記[3]の条件式を用いて、x＝0.82と求めることができる。

以上の議論は、原画像データおよびピッチずれ／位相ずれ検出用信号を２次元信号とした場合でも、同様に適用することができる。

すなわち、ＳＬＭの入力信号を行列Ｓ₁（∈Ｒ^ｊ×ｋ）、（ｊ＜ｋ）、ＣＣＤの出力信号を行列Ｃ₁（∈Ｒ^ｍ×ｎ）、（ｍ＜ｎ）で表し、ｍ＞ｊ、ｎ＞ｋとした場合には、これらの行列Ｓ₁，Ｃ₁の間には、上述の変換行列Ｖ₁，Ｈ₁および復元変換行列Ｖ₁ ^＋，Ｈ₁ ^＋を用いた、下式（１１），（１２）の関係が成立する。

Ｖ₁・Ｓ₁・Ｈ₁＝Ｃ₁ …… （１１）
Ｓ₁＝Ｖ₁ ^＋・Ｃ₁・Ｈ₁ ^＋ …… （１２）
ここで、Ｖ₁∈Ｒ^ｍ×ｊ，ｍ＞ｊであるから、ｍ×ｊ行列Ｖ₁に対してrankＶ₁＝ｊとなり、Ｖ₁ ^＋＝Ｖ₁ ^ｔ・（Ｖ₁・Ｖ₁ ^ｔ）^-1で表される。

また、Ｈ₁∈Ｒ^ｋ×ｎ，ｎ＞ｋであるから、ｋ×ｎ行列Ｈ₁に対してrankＨ₁＝ｋとなり、Ｈ₁ ^＋＝（Ｈ₁ ^ｔ・Ｈ₁）^-1・Ｈ₁ ^ｔで表される。

以下、本発明の効果について、コンピュータシミュレーションおよび実際のホログラフィックメモリーシステムを用いた実験により検証する。

原画像としては、図６に示すような縦縞画像を用いている。この縦縞画像は、画素ピッチが縦横10.4μｍの表示素子（ＳＬＭ）を用いて、横方向に１０画素単位で黒白を繰り返す矩形の周期信号として生成したものであり、横方向のどの１ラインをとっても同一矩形波の繰り返し信号となるので、横方向の１次元信号として取り扱うことができる。なお、この原画像は、図３に示すデータ領域に配置される。

この原画像データのスペクトル分布を求めると、図７に示すように、基本波に対して奇数次高調波が整然と並ぶものとなる。また、ノイズレベルは、基本波に対して−８０ｄＢ程度となっている。

この原画像を、画素ピッチが縦横9.0μｍの撮像素子（ＣＣＤ）により撮像（撮像倍率は１倍）したときの、横方向１ラインの撮像信号（出力信号）のスペクトル分布は、表示素子と撮像素子との間のピッチずれが要因となって、図８に示すように、特に高周波数領域でのスペクトルが大きく乱れたものとなる（９次高調波で１０ｄＢ程度の低下）。また、ノイズレベルも基本波に対して大幅に上昇している（図７では基本波レベルに対して−８０ｄＢ程度であった基本波近傍のノイズが、図８では−３０ｄＢ程度となっている）。

この撮像信号を、本発明を適用して再配列（リサンプリング）し、原画像復元データを構築する。その復原画像復元データのスペクトル分布は、図９に示すように、ノイズレベルが大幅に低下したものとなっている。なお、画像の伝送装置や記録装置を設計する上では、伝送／記録信号のＳＮＲ（Signal to Noise Ratio）をできるだけ高く保つために機器ノイズは伝送路ノイズや媒体ノイズより大幅に低くすることが求められる。実際のシステム設計では、基本波近傍の低域におけるノイズレベルを、少なくとも基本波に対し−５０ｄＢ以下に抑えたいという要望がある。図９によれば、これが十分に達成されている。

同様に、実際のホログラフィックメモリーシステムを用いた実験において、原画像を撮像素子（ＣＣＤ）により撮像したときの、撮像データのスペクトル分布は、図１０に示すものとなっている。図８に示したコンピュータシミュレーション結果に対し、高調波レベルの関係やノイズレベルなどがよく似ている。なお、表示素子（ＳＬＭ）と撮像素子（ＣＣＤ）との関係、原画像の構成等は、コンピュータシミュレーションと同等である。

この撮像データを、本発明を適用して再配列（リサンプリング）し、原画像復元データを構築する。その原画像復元データのスペクトル分布は、図１１に示すものとなっている。これによれば、基本波近傍の低域において、ノイズレベルが基本波に対し−５０ｄＢ以下となっており、上述の要望に十分応えたものとなっている。

以上説明したように、本発明によれば、表示素子と撮像素子との間に相対的なピッチずれまたは位相ずれが発生する場合でも、劣化の少ない原画像の復元データを得ることが可能となる。

また、従来では、画素ピッチの違いを考慮して、表示素子の１画素に撮像素子の９画素を対応させていたのに対し、本発明を適用することにより、表示素子の各１画素に撮像素子の各１画素を対応させることが可能となるので、撮像素子による画像記録密度を大幅（９倍以上）に向上させることが可能となる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に態様が限定されるものではなく、種々の態様を採用することが可能である。

例えば、上述の実施形態では、縦方向ピッチずれ／位相ずれ検出用信号と横方向ピッチずれ／位相ずれ検出用信号との組を原画像データ領域の四隅にそれぞれ配置しているが、縦方向位ピッチずれ／位相ずれ検出用信号と横方向ピッチずれ／位相ずれ検出用信号との組は１組以上あればよく、その配置領域も原画像データ領域の隅に限られず、原画像データ領域の中央部分に配置することも可能である。

また、上述の実施形態では、復元変換行列を一般逆行列によって構成しているが、復元変換行列を、正則化一般逆行列や射影フィルタ族、またはパラメトリック射影フィルタ族によって構成することも可能であり、その場合でも、上述したのと同等の効果を得ることができる。

また、上述の実施形態は、本発明をホログラフィックメモリーシステムに適用したものであるが、本発明は、ホログラフィックメモリーシステムに適用が限られたものではなく、表示素子を介して生成された原画像を撮像素子により撮像し、その撮像データから原画像データを構築（推定）する種々の画像伝送／記録システムに対し、同様に適用することが可能である。

１ レーザ光源
２ 発散レンズ
３ コリメートレンズ
４ 半波長板
５，２６ ミラー
６，７ 偏光ビームスプリッタ
８ ＳＬＭ（表示素子）
９，２３ シャッタ
１０，１２，２２，２４ レンズ
１１ ホログラム記録媒体
１３ ＣＣＤ（撮像素子）
２５ 原画像復元データ生成装置
３１ ピッチずれ／位相ずれ検出用信号重畳手段
３２ ピッチずれ／位相ずれ算定手段
３３ 復元変換行列生成手段
３４ 原画像復元データ構築手段
４１Ａ〜４１Ｄ ピッチずれ／位相ずれ検出用信号（縦方向ピッチずれ／位相ずれ検出用信号）
４２Ａ〜４２Ｄ ピッチずれ／位相ずれ検出用信号（横方向ピッチずれ／位相ずれ検出用信号）

Claims (5)

1. 表示素子を介して生成された原画像を撮像素子により撮像し、該原画像に対応した撮像データを取得する画像伝送／記録システムにおいて、該撮像データから該原画像の復元データを構築する原画像復元データ生成方法であって、
   前記原画像の所定領域に所定周期のピッチずれ／位相ずれ検出用信号を予め重畳しておき、
   前記撮像データにおける前記ピッチずれ／位相ずれ検出用信号の撮像状態に基づき、前記表示素子の各画素と前記撮像素子の各画素との間の相対的なピッチずれまたは位相ずれを求め、
   前記ピッチずれまたは位相ずれに基づき、該ピッチずれまたは位相ずれに起因して発生する前記撮像データの劣化を修復する復元変換行列を求め、
   前記撮像データを前記復元変換行列により再配列することにより、前記復元データを構築する、ことを特徴とする原画像の復元データ生成方法。
2. 表示素子を介して生成された原画像を撮像素子により撮像して該原画像に対応した撮像データを取得する画像伝送／記録システムにおいて、該撮像データから該原画像の復元データを構築する原画像復元データ生成装置であって、
   前記原画像の所定領域に所定周期のピッチずれ／位相ずれ検出用信号を重畳するピッチずれ／位相ずれ検出用信号重畳手段と、
   前記撮像データにおける前記ピッチずれ／位相ずれ検出用信号の撮像状態に基づき、前記表示素子の各画素と前記撮像素子の各画素との間の相対的なピッチずれまたは位相ずれを求めるピッチずれ／位相ずれ算定手段と、
   前記ピッチずれまたは位相ずれに基づき、該ピッチずれまたは位相ずれに起因して発生する前記撮像データの劣化を修復する復元変換行列を求める復元変換行列生成手段と、
   前記撮像データを前記復元変換行列により再配列することにより、前記復元データを構築する原画像復元データ構築手段と、を備えてなることを特徴とする原画像復元データ生成装置。
3. 前記ピッチずれ／位相ずれ検出用信号は、前記表示素子の画素の縦配列方向に所定の周期を有する縦方向ピッチずれ／位相ずれ検出用信号と、該画素の横配列方向に所定の周期を有する横方向ピッチずれ／位相ずれ検出用信号とを、少なくとも１つずつ含んでなる、ことを特徴とする請求項２記載の原画像復元データ生成装置。
4. 前記復元変換行列は、一般逆行列、正則化一般逆行列、射影フィルタ族およびパラメトリック射影フィルタ族のいずれかからなる、ことを特徴とする請求項２または３記載の原画像復元データ生成装置。
5. 前記画像伝送／記録システムは、ホログラフィックメモリーシステムである、ことを特徴とする請求項２〜４までのいずれか１項記載の原画像復元データ生成装置。
   

Images