JP6626367B2 - 立体像調整装置及び立体像調整方法 - Google Patents

Description

本発明は、立体像調整方法及び立体像調整装置に関し、特に、インテグラル立体方式で再生される立体像についての立体像調整装置及び立体像調整方法に関する。

空間像再生方式の１つであるインテグラル立体方式では、水平方向と垂直方向に視差のある裸眼立体映像表示が可能である。一般的にインテグラル立体方式では、ディスプレイ前面に光学素子アレイ（例えばレンズアレイ）を配置し、対応する要素画像をディスプレイに表示することで、立体像を再生することができる。なお、光学素子アレイを構成する光学素子を要素光学素子という。例えば、レンズアレイを構成するレンズを要素レンズという。

実際の表示システムでは、光学素子アレイとディスプレイとの位置関係誤差や光学的な歪み等により、要素画像と要素光学素子（例えば要素レンズ）との位置関係にずれが生じる。特に、ディスプレイにプロジェクタを使用した場合、投射歪みの影響により要素画像に幾何学的歪みが生じ、立体像の再生品質低下の大きな要因となる。そのため、ディスプレイに表示する要素画像と、光学素子アレイを構成する要素光学素子との位置合わせを高精度に行うことがインテグラル立体方式の課題となっていた。

従来、複数台のプロジェクタを使用したインテグラル立体ディスプレイの開発例が開示されている（非特許文献１参照）。非特許文献１に記載されている方法では、水平方向と垂直方向との２種類のグレイコードパターン(縞パターン)を投射し、観察者側から、カメラで撮影することで、要素画像の補正を行っている。

また、他の従来技術として、プロジェクタでスクリーン枠に位置検出用のマーカーを表示する方法が開示されている（特許文献１参照）。特許文献１に記載されている方法では、画面内への立体表示と、スクリーン枠へのマーカー表示とを同時に行うことができるため、熱や振動といったシステム稼働中の位置ずれに対して、表示を中断することなく補正ができるという利点がある。

特開２００８−２１９１９０号公報

H. Liao, et. al, "Scalable High-resolution integral videography autostereoscopic display with a seamless multiprojection system", Applied Optics, Vol. 44, No. 3, 2005

しかしながら、非特許文献１に記載されている方法では、２次元のグレイコードパターンを使用することから、要素画像の補正精度はカメラ解像度や撮影距離によって制約され、サブピクセルレベルでの高精度な補正は困難であった。
また、特許文献１の方法では、スクリーンの周囲に配置された映像を表示しない枠へマーカーを表示するので、スクリーンの中央部等の画面内側に局所的な歪みがある場合には、そのような歪の補正に対応することができない。

本発明は、以上のような問題点に鑑みてなされたものであり、インテグラル立体方式において、光学素子アレイに対して要素画像の位置を高い精度で補正できる立体像調整装置及び立体像調整方法を提供することを課題とする。

前記課題を解決するために、本発明に係る立体像調整装置は、位置を検出するマーカーを用いて立体像を調整する立体像調整装置であって、要素画像生成手段と、検出器と、補正値算出手段と、を備えることとした。

かかる構成によれば、立体像調整装置は、要素画像生成手段によって、立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する。そして、立体像調整装置は、検出器によって、前記立体映像表示装置の前記表示面に前記要素画像群を表示することで再生された複数のマーカーの立体像を検出する。そして、立体像調整装置は、補正値算出手段によって、各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する。そして、立体像調整装置は、要素画像群の生成、再生された複数のマーカーの立体像の検出、前記補正値の算出、前記補正値に基づく要素画像群の補正の一連の処理を、前記奥行き距離を大きくしながら繰り返し行う。
このように立体像調整装置では、マーカー自体を立体像として用いており、マーカーの立体像では、表示面からの奥行き距離を用いて位置を補正することができる。この奥行き距離を大きくしていくと、マーカーの立体像についての基準位置から検出位置までのずれが大きくなることから、光学素子アレイを介した要素画像における補正値をより細かく求めることができる。したがって、立体像調整装置では、サブピクセルレベルの補正をすることができ、従来の２次元の平面パターンを利用する補正方法に比べて高精度な補正が可能になる。

また、前記課題を解決するために、本発明に係る立体像調整方法は、位置を検出するマーカーを用いて立体像を調整する立体像調整方法であって、要素画像生成工程と、立体像検出工程と、補正値算出工程と、要素画像補正工程と、を一連の補正処理として含み、初めに、立体映像表示装置の表示面近傍に事前に設定された初期奥行き距離だけ離間させて複数のマーカーの立体像を表示して、前記一連の補正処理を行い、その後、前記表示面から複数のマーカーの立体像までの奥行き距離を大きくした上で前記一連の処理を繰り返すことで、複数のマーカーの立体像を調整することとした。

かかる手順によれば、立体像調整方法は、要素画像生成工程にて、要素画像生成手段によって、立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する。そして、立体像調整方法は、再生表示工程にて、前記立体映像表示装置によって、前記表示面に表示された前記要素画像群から複数のマーカーの立体像を再生表示する。そして、立体像調整方法は、立体像検出工程にて、検出器によって、再生された複数のマーカーの立体像を検出する。そして、立体像調整方法は、補正値算出工程にて、補正値算出手段によって、各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする前記基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する。そして、立体像調整方法は、要素画像補正工程にて、前記要素画像生成手段によって、算出された前記補正値をもとに、前記表示面に表示される要素画像群全体を補正する。

本発明によれば、マーカー自体を立体像として用いているので、インテグラル立体方式において、光学素子アレイに対して要素画像の位置を高い精度で補正できる。

本発明の第１実施形態に係る立体像調整装置の構成を表す概略図である。 立体像マーカーの説明図であり、（ａ）は再生表示される立体像マーカー、（ｂ）はその輝度分布、（ｃ）は対応する要素画像群をそれぞれ示している。 立体像マーカーの画面内での配置例を示す図である。 立体像マーカーの表示位置の誤差の説明図であり、（ａ）は奥行き距離が小さい場合、（ｂ）は奥行き距離が大きい場合をそれぞれ示している。 本発明の第１実施形態に係る立体像調整方法の流れを表すフローチャートである。 図５に示す事前校正工程の流れを表すフローチャートである。 図５に示す補正値算出処理の流れを表すフローチャートである。 （ａ）〜（ｄ）は立体像マーカーの他の例を示す図である。 本発明の第４実施形態に係る立体像調整方法の流れを表すフローチャートである。 （ａ）〜（ｃ）は立体映像表示装置を追加する場合に用いる立体像マーカーの表示パターンの一例である。 （ａ）〜（ｃ）は立体映像表示装置を追加する場合に用いる立体像マーカーの表示パターンの他の例である。

図１を参照し、本発明の実施形態に係る立体像調整装置１００及び立体像調整方法について、説明する。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするために誇張していることがある。

［立体映像表示装置］
まず、立体像調整方法において立体像調整装置１００と協働する立体映像表示装置について説明する。ここでは光学素子アレイとしてレンズアレイ２２０を用いたインテグラル方式の立体映像表示装置２００の場合について説明する。この立体映像表示装置２００は、画像表示部２１０と、レンズアレイ２２０と、を備えている。

画像表示部２１０は、プロジェクタ２１１でスクリーン２１２に画像を投影表示するものである。画像表示部２１０には、各要素レンズ２２１に1対1で対応した要素画像群が表示される。この立体像調整方法では、位置を検出するマーカーの立体像（以下、立体像マーカーという）を再生するための要素画像群を表示する。画像表示部２１０は、１回の表示で画面内に複数個の立体像マーカーを表示する。なお、要素画像群は要素画像生成手段１２０により生成する。

画像表示部２１０の前面（表示面の近傍に）には、レンズアレイ２２０が配置されている。このレンズアレイ２２０は、２次元に配列された微小な要素レンズ２２１で構成されている。レンズアレイ２２０には、要素レンズ２２１が密集した状態で配置されている。レンズアレイ２２０のサイズは、画像表示部２１０の表示面（スクリーン２１２）のサイズと同程度である。図１では、８個の要素レンズ２２１を一次元で図示したが、要素レンズの個数は任意であり、典型的には数万以上となる。

本実施形態では、一例として、要素レンズ２２１が両凸レンズであるものとした。なお、要素レンズ２２１の形状は円形に限らず、正方形でもよい。また、要素レンズ２２１の配列は、俵積状いわゆるラインオフセット状であるものとしたが、正方格子状（グリッド構造）としてもよい。

レンズアレイ２２０と画像表示部２１０の表示面との距離は、例えば数ｍｍ程度であり、概ね、要素レンズ２２１の焦点距離と同様の距離である。このレンズアレイ２２０には、表示面に表示された要素画像からの光が入射する。これにより、インテグラル立体映像を再生することができる。

実際のシステムを構成した場合、各要素画像と各要素レンズ２２１との位置関係は、画像表示部２１０に表示された画像の幾何学ひずみや倍率、回転、さらにレンズアレイ２２０の要素レンズ２２１の配列誤差等から、要素画像と要素レンズ２２１の位置にずれが生じている。そのため、立体映像表示装置２００によって再生される立体像は、このずれにより、歪むとともに、視域や再生奥行き位置等が正しくない立体像が生成される。

［立体像調整装置］
立体像調整装置１００は、位置を検出するマーカーを用いて立体像を調整する装置であり、検出器１１０と、要素画像生成手段１２０と、補正値算出手段１３０と、を備えている。

＜検出器＞
検出器１１０は、立体映像表示装置２００の表示面に要素画像群を表示することで再生された複数の立体像マーカーを検出するものである。検出器１１０は、例えばフォトディテクターやデジタルカメラから構成され、本実施形態では単一のカメラであるものとする。このように、検出器１１０にカメラを使用する場合、ピント位置を立体像マーカーの奥行き位置に制御する。また、内部パラメータが既知であり、撮影画像に対してはカメラ光学系の歪み補正を行うものとする。検出器１１０は、観察者側から、立体像（表示面の近傍に複数個再生された立体像マーカー）を捉える。

＜要素画像生成手段＞
要素画像生成手段１２０は、所定の位置に立体像マーカーが再生されるように要素画像群を生成するものである。ここで、所定の位置とは、立体映像表示装置２００の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置である。つまり、所定の位置は、３次元空間の位置であり、基準位置は画面内の位置（２次元空間の位置）である。なお、基準位置は、この立体像調整装置の利用者が、立体像マーカーを表示させたい所望の位置であり、例えば事前校正で求めた表示装置の画面内を表す位置情報で特定することができる。

この要素画像生成手段１２０は、画像処理手段で構成され、要素画像の生成方法は特に限定されない。要素画像生成手段１２０は、補正値算出手段１３０から補正係数が入力されると、この補正係数を使用して、画像処理で要素画像群全体に対して、要素画像のひずみを補正する補正処理を行う。

＜立体像マーカー＞
ここで、再生される立体像マーカーについて説明する。マーカーの形状の具体例として、余弦二乗の輝度分布を持つ円を使用する方法が下記参考文献１に記載されている。
参考文献１：金澤勝、外３名、"副尺視力に基づく画像解像度と階調の相乗効果の一検討とマルチ画面の位置合わせ用信号への適用"、映像情報メディア学会誌 vol. 57, no. 11, 2003, p. 1491-1500

本実施形態では、例えば、図２（ａ）に示すように、立体像マーカーＭが、正面視で円形状であり、中心ほど高い輝度分布を有しているものとする。なお、円形の外側の黒色の部分は、表示面の背景を表している。この立体像マーカーＭのｘ軸方向の輝度分布を図２（ｂ）に示す。また、図２（ｃ）に示すような要素画像群Ｉ_eを画像表示部２１０に表示し、レンズアレイ２２０を介して観察すると、図２（ａ）に示す立体像マーカーＭを検出することができる。なお、要素画像群Ｉ_eは多数の要素レンズ２２１に対応している。

図３は、レンズアレイ２２０を介して、一例として水平１１個×垂直７個の合計７７個の立体像マーカーを再生表示した状態を模式的に示す。なお、レンズアレイ２２０において立体像が表示されるべき範囲の四隅Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄が、立体映像表示装置２００の表示面の四隅に相当する。

＜立体像マーカーの奥行き距離＞
立体像マーカーは、奥行き距離が大きければ大きいほど、高感度にずれ量を検出できる。図４（ａ）及び図４（ｂ）は、要素画像の位置のずれと立体像の再生位置（検出位置）のずれの関係を示している。このうち、図４（ａ）では、表示面から所定の奥行き距離（ｆ＋ｚ₁）の位置に、立体像マーカーの基準位置を黒丸で表し、立体像マーカーの再生位置（検出位置）を白丸で表している。ここで、ｆは要素レンズ２２１の焦点距離、ｚ₁は、レンズアレイ２２０を基準とした奥行き距離である。また、要素レンズ２２１に対応する要素画像が表示された表示面から焦点距離ｆだけ離間してレンズアレイ２２０が配置されている。立体像マーカーは、いくつかの画素が関わって再生されている。ここでは、１３画素からなる要素画像を一次元で模式的に示し、要素画像の位置のずれΔｐは２画素であるもとして示した。このときの立体像の再生位置のずれ（誤差）はΔｇ₁である。

また、図４（ｂ）では、同様に、表示面から所定の奥行き距離（ｆ＋ｚ₂）の位置に、立体像マーカーの基準位置を黒丸で表し、立体像マーカーの再生位置（検出位置）を白丸で表している。ここで、ｚ₂は、レンズアレイ２２０を基準とした奥行き距離である。このときの立体像の再生位置のずれ（誤差）はΔｇ₂である。

そして、要素画像の位置のずれをΔｐ、立体像の再生位置のずれをΔｇ、レンズの焦点距離をｆ、立体像のレンズアレイ２２０からの奥行き距離をｚとすると、式（１）の関係がある。なお、Δｇはマーカーによって異なる。

ここで、奥行き距離と補正精度の関係について述べる。立体像を、要素レンズ２２１の焦点距離ｆのＮ倍の奥行き位置に表示したとき、要素画像の位置誤差Δｐ［ｍｍ］が、立体像ではＮ×Δｐ［ｍｍ］の位置誤差として検出される。画素ピッチをＰ［ｍｍ］とすると、検出器１１０で立体像を検出するときの分解能がＮ×Ｐ［ｍｍ］より細かければ、サブピクセル単位で補正を行うことが可能となる。よって、奥行き距離が大きいほど、補正を高精度で行うことができる。

＜補正値算出手段＞
図１に戻って立体像調整装置１００の構成の説明を続ける。
補正値算出手段１３０は、各立体像マーカーから検出された検出位置と各マーカーを表示させようとする基準位置との誤差に基づいて、表示面に表示される要素画像群全体を補正するための補正値を算出するものである。この補正値算出手段１３０は、誤差値算出手段１３１と、位置ずれ算出手段１３２と、補正値生成手段１３３と、を備えている。

誤差値算出手段１３１は、検出器１１０で捉えたデータを解析し、図２（ａ）に示した立体像マーカーＭの輝度分布の最も高い中心位置を当該立体像マーカーＭの位置として検出する。具体的には、誤差値算出手段１３１は、図２（ｂ）で示した輝度パターンを抜き出し、二次式で近似して頂点座標を求める。あるいは、誤差値算出手段１３１は、図２（ａ）に示した立体像マーカーＭの画像から、周辺画素との輝度勾配の積算が最大となる一点を求めてもよい。この誤差値算出手段１３１は、立体像マーカーＭの検出位置と基準位置との誤差値をマーカー毎に算出する。なお、図４に示した記号と同様に表すと、立体像マーカーＭの誤差値とは、ｘ方向の再生位置のずれΔｇ_x、及びｙ方向の再生位置のずれΔｇ_yのことである。

位置ずれ算出手段１３２は、誤差値から要素画像における位置のずれをマーカー毎に算出するものである。なお、図４に示した記号と同様に表すと、要素画像における位置のずれは、ｘ方向のずれΔｐ_x及びｙ方向のずれΔｐ_yのことであり、後記する式（２）に示す記号と同様に表すと、ｘ方向のずれｄ_x（ｘ，ｙ）及びｙ方向のずれｄ_y（ｘ，ｙ）のことである。この要素画像における位置のずれは、要素画像の離散的な補正値となる。ここで、離散的とは、マーカー毎に算出されていることを意味する。この位置ずれ算出手段１３２は、全ての立体像マーカーに対して、前記式（１）からΔｐを算出することで、要素画像の離散的な補正値を得ることができる。

補正値生成手段１３３は、すべてのマーカーについて算出した要素画像における位置のずれから、要素画像の全画素の位置を補正するための歪補正値を補間生成するものである。補正値生成手段１３３は、離散的な補正値から、要素画像群全体の補正値を補間生成するための補正係数を算出する。図３に示したように、画面上でマーカーの全個数が７７個であれば、７７個の離散的な補正値を用いて、それらの間を埋めるため補正係数を算出する。補正値生成手段１３３は、算出した補正係数を、要素画像生成手段１２０に出力する。

具体的な方法としては、誤差分布を最小二乗法により４次元の多項式で近似する方法が下記参考文献２に記載されている。
参考文献２：日下部裕一、金澤勝、岡野文男、"超高精細映像表示システムのコンバーゼンス誤差と素子位置調整の自動化"、映像情報メディア学会誌vol. 60, no. 2, 2006, p. 234-241

この方法を利用して補正値の近似式を導出する例を示す。例えば、水平方向について考えると、立体像マーカーの検出位置座標を（ｘ，ｙ）、対応する要素画像の水平方向の補正値をｄ_x（ｘ，ｙ）としたとき、式（２）でＥが最小となる補正係数ａ_x（ｉ，ｊ）を求めればよい。また、補正係数ａ_x（ｉ，ｊ）を使用して、補正値の近似式は式（３）のようになる。

式（３）を要素画像の全ての画素に適用することで、要素画像全体の補正を行うことができる。ただし、計算時間を短縮するために、任意の個数のサンプル点のみ補正値を補間生成し、残りの画素は線形補間により補正値を求めてもよい。以上、水平方向の補正について述べたが、垂直方向についても同様である。

立体像調整装置１００は、上記構成により、要素画像群の生成、再生された複数の立体像マーカーの検出、補正値の算出、補正値に基づく要素画像群の補正、の一連の処理を、立体像マーカーの奥行き距離を大きくしながら繰り返し行う。

［立体像調整方法の流れ］
次に、立体像調整方法の流れについて図５を参照して説明する。立体像調整装置１００は、立体映像表示装置２００と協働して、位置を検出するマーカーを用いて以下のステップＳ１３Ａ〜ステップＳ１７Ｂの一連の補正処理を繰り返すことで、立体像を調整する。この立体像調整方法では、一連の補正処理の前に、例えば事前校正を予め行っておく（ステップＳ１０）。この事前校正の詳細については後記する。

立体像調整装置１００は、例えば、要素画像生成手段１２０に開始指示が入力されるまで待機し（ステップＳ１１:Ｎｏ）、開始指示が入力されたと判定した場合（ステップＳ１１:Ｙｅｓ）、一連の処理を開始する。

要素画像生成手段１２０は、立体映像表示装置２００の表示面から所定の奥行き距離Ｄに関する識別子を整数ｉとした奥行き距離Ｄ_iを設定する（ステップＳ１２）。ここで、各奥行き距離Ｄ_iは、事前に設定されており、このうち、奥行き距離の初期値（初期奥行き距離Ｄ₀）は、立体映像表示装置２００の表示面近傍に設定されている。なお、識別子ｉの初期値は０であり、ｉの値が大きいほど奥行き距離Ｄ_iも大きいものとする。

要素画像生成手段１２０は、設定された奥行き距離Ｄ_iだけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、立体像マーカーが再生されるように表示面に表示される要素画像群を生成する（ステップＳ１３Ａ：要素画像生成工程）。
また、立体映像表示装置２００は、表示面に表示された要素画像群から立体像マーカーを再生表示する（ステップＳ１３Ｂ：再生表示工程）。なお、この要素画像生成工程と再生表示工程とは一対の処理工程であり、連続的に行われる。

そして、立体像調整装置１００は、検出器１１０によって、再生された立体像マーカーを検出する（ステップＳ１４Ａ：立体像検出工程）。また、立体像調整装置１００は、補正値算出手段１３０によって、立体像マーカーの位置を検出する（ステップＳ１４Ｂ）。なお、検出器１１０が、立体像マーカーの位置検出を行うようにしてもよい。

そして、立体像調整装置１００は、要素画像生成手段１２０によって、全マーカーの表示が終了したか否かを判別する（ステップＳ１５）。表示されていないマーカーがある場合（ステップＳ１５：Ｎｏ）、要素画像生成手段１２０は、ステップＳ１３Ａに戻る。

一方、ステップＳ１５において、全マーカーの表示が終了した場合（ステップＳ１５：Ｙｅｓ）、立体像調整装置１００は、補正値算出手段１３０によって、表示面に表示される要素画像群全体を補正するための補正値を算出する補正値算出処理を行う（ステップＳ１６：補正値算出工程）。この補正値算出処理の詳細については後記する。

そして、立体像調整装置１００では、補正値算出手段１３０によって算出された補正値をもとに、要素画像生成手段１２０が、表示面に表示される要素画像群全体を補正することで、各立体像マーカーの要素画像を補正する（ステップＳ１７Ａ：要素画像補正工程）。続いて、立体映像表示装置２００は、補正された要素画像群から複数の立体像マーカーを再生表示する（ステップＳ１７Ｂ）。なお、ステップＳ１７Ａ及びステップＳ１７Ｂは一対の処理工程であり、連続的に行われる。

そして、人が立体像を観察して、補正されたことを確認し、問題なければ終了指示を装置に入力する。そして、立体像調整装置１００は、例えば、要素画像生成手段１２０に終了指示が入力されたと判定した場合（ステップＳ１８：Ｙｅｓ）、処理を終了する。
一方、人が立体像を観察して、微調整が必要だと思えば、奥行き距離の変更指示を装置に入力する。例えば、要素画像生成手段１２０に、奥行き距離の変更指示が入力されたと判定した場合（ステップＳ１８:Ｎｏ）、奥行き距離Ｄに関する識別子ｉに１を加え（ステップＳ１９）、ステップＳ１２に戻る。すなわち、立体映像表示装置２００の表示面から立体像マーカーまでの奥行き距離Ｄ_iを以前よりも大きくした状態で、前記一連の処理を繰り返す。ステップＳ１９は、少なくとも１回は行う。上記流れにより、順次、立体像マーカーを、表示面からの奥行き距離を大きくしながら、表示し、一連の補正処理を行って、補正精度を高めていくことができる。

＜事前校正工程＞
事前校正工程（ステップＳ１０）は、カメラ（検出器１１０）とレンズ（レンズアレイ２２０）との位置関係を取得する工程である。図６に示すように、検出器１１０は、立体映像表示装置２００の表示面の四隅を検出する（ステップＳ１０Ａ）。すなわち、検出器１１０は、図３に示すようなレンズアレイ２２０の四隅Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄を捉える。具体的には、検出器１１０で撮影した画像を基に、四隅の位置を手動で指定する。

次に、補正値算出手段１３０によって、表示面の四隅が検出器１１０に投影された位置を算出する（ステップＳ１０Ｂ）。このように、本実施形態では、マーカーに対して予め設定された基準位置は、表示面の四隅が検出器１１０に投影された位置から算出されている。なお、表示面の四隅Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄の検出精度は、マーカーの基準位置の算出精度に影響するため、サブピクセルレベルで高精度に検出を行うものとする。

＜補正値算出処理＞
図５に示す補正値算出処理の流れについて図７を参照して説明する。
まず、補正値生成手段１３３は、例えば、立体像マーカーの識別子ｋの初期値を１に設定する（ステップＳ１６１）。そして、誤差値算出手段１３１は、ｋ番目の立体像マーカーについて、その検出位置と基準位置との誤差値を算出する（ステップＳ１６２：誤差値算出工程）。そして、位置ずれ算出手段１３２は、ｋ番目の立体像マーカーについて、誤差値から要素画像における位置のずれ（離散的な補正値）を算出する（ステップＳ１６３：位置ずれ算出工程）。続いて、補正値生成手段１３３は、すべての立体像マーカーの選択が終了したか否かを判別する（ステップＳ１６４）。

全立体像マーカーの選択が終了した場合（ステップＳ１６４：Ｙｅｓ）、補正値生成手段１３３は、すべての立体像マーカーについて算出した要素画像における位置のずれ（離散的な補正値）から、要素画像の全画素の位置を補正するための歪補正値を補間生成する（補正値生成工程）。すなわち、補正値生成手段１３３は、まず、算出した要素画像における位置の補正値（位置のずれから、要素画像における位置の誤差分布を近似する多項式（前記した式（３））のための補正係数を算出する（ステップＳ１６５）。そして、補正値生成手段１３３は、この算出された補正係数を用いて多項式から要素画像の少なくとも一部の画素の位置の補正値を補間生成する（ステップＳ１６６）。

一方、前記ステップＳ１６４において、選択されていない立体像マーカーがある場合（ステップＳ１６４：Ｎｏ）、補正値生成手段１３３は、立体像マーカーの識別子ｋに１を加え（ステップＳ１６７）、ステップＳ１６２に戻る。

本実施形態によれば、再生される立体像の位置を検出するためのマーカー自体が立体像であり、この奥行き距離を大きくしていくと、立体像マーカーについての基準位置から検出位置までのずれが大きくなることから、従来の２次元の平面パターンを利用する補正方法に比べて高精度な補正が可能になる。

（第２実施形態）
立体像マーカーは、輝度分布を持つ円形状に限定されるものではなく、図８に例示した形状でも構わない。
図８（ａ）に示す立体像マーカーＭａは、正面視で十字形状である。
図８（ｂ）に示す立体像マーカーＭｂは、ドットパターンの形状であり、全体として見れば十字の中心及び十字の両端部に対応した合計５か所にドットが配置されている。
図８（ｃ）に示す立体像マーカーＭｃは、十字形状に輝度分布を持つ形状を組み合わせたものである。
図８（ｄ）に示す立体像マーカーＭｄは、ドットパターンと、輝度分布と、カラーとを組み合わせたものである。中心には輝度分布を持つ青い円形が配置され、その周囲であって全体として見れば十字の両端部に対応した合計４か所に赤いドットが配置されている。

例えば十字形状の場合、補正値算出手段１３０（例えば誤差値算出手段１３１）は、検出器１１０で捉えたデータを解析し、図８（ａ）に示す立体像マーカーＭａの形状から、表示された立体像マーカーの再生位置を検出すると共に、立体像の回転方向（再生方向）も検出する。

具体的には、補正値算出手段１３０は、エッジ検出で形状を抜き出し、十字形状の水平方向、垂直方向の座標の最小値、最大値から４つの端点を検出し、対向した２つの端点を繋ぐ２つの線分の交点位置を当該立体像マーカーの位置として検出すると共に、線分のいずれかの傾きを再生方向として検出する。

ここで、再生方向の傾きを補正する場合、補正角度をθ、画像中心を（Ｃ_x，Ｃ_y）、立体像マーカーの検出座標を（ｘ，ｙ）、補正後の座標を（ｘ′，ｙ′）として、式（４）及び式（５）により回転補正を行うことができる。この回転補正は、図７のステップＳ１６２に入る前の前段処理として行うことができる。

（第３実施形態）
第１実施形態では、画像表示部２１０は、１回の表示で画面内に複数個の立体像マーカーを表示するものとしたが、以下の（１）〜（３）のように、時間分割で異なる位置又は／及び異なる形状で立体像マーカーを順次再生表示するようにしてもよい。

（１）立体像マーカーを異なる位置で表示する具体例は、最初に、図３に示すように水平１１個×垂直７個の合計７７個の立体像マーカーを表示し、次に、立体像マーカーの０．５個分だけ水平方向に位置をずらし、水平方向に隣り合う２つの立体像マーカーの中間位置に、立体像マーカーが表示されるように表示することができる。この場合、マーカーの個数を実質的に増やす効果がある。なお、立体像マーカーの０．５個分だけシフトする方向は、水平方向に限るものではなく、垂直方向であってもよい。また、水平及び垂直方向に均等にずらして斜め４５度の位置に表示してもよいし、４５度以外の角度で斜めにマーカーを表示することもできる。

（２）また、立体像マーカーを異なる形状で表示する具体例は、最初に、図２（ａ）に示すように輝度分布を持つ立体像マーカーＭを表示し、次に、図８（ａ）に示すように十字形状の立体像マーカーＭａを表示することができる。
（３）さらに、立体像マーカーを異なる位置且つ異なる形状で表示してもよい。

これらの場合の立体像調整方法の流れは、次の点が変更される。
ステップＳ１３Ｂ（図５参照）にて、立体映像表示装置２００が立体像マーカーを再生表示するので、この時点で人が立体像マーカーを観察することができる。そして、立体像マーカーを異なる位置や異なる形状で表示したい場合、変更指示を装置に入力する。

そして、立体像調整装置１００の要素画像生成手段１２０は、変更指示が入力されると、全マーカーの表示が終了していないと判別し（ステップＳ１５：Ｎｏ）、要素画像生成手段１２０は、ステップＳ１３Ａに戻って、変更指示に応じた要素画像群を生成する。
なお、上記（１）〜（３）のいずれの方法で時分割処理を行うのか事前に決めておく。

（第４実施形態）
本発明の立体像調整方法は、複数台の立体映像表示装置２００を使用した立体像の調整にも適用することができる。例えば２台であれば、１台目の立体映像表示装置２００を移動させて、その同じ位置に２台目の立体映像表示装置２００を設置してもよいし、異なる位置に設置しておいてもよい。第４実施形態に係る立体像調整装置１００の構成は、第１実施形態と同様であるが、立体像マーカーの基準位置を再設定する点が相違する。ここでは、一例として補正値算出手段１３０が基準位置を再設定することした。

この立体像調整方法では、まず、複数台の立体映像表示装置２００の中で、基準となる立体映像表示装置２００を決定しておく。そして、基準となる立体映像表示装置２００（第１の立体映像表示装置）では、事前校正により立体像マーカーの基準位置を決定する。そして、立体像調整装置１００を用い、立体像マーカーを生成するための要素画像の補正処理をして、立体像を予め調整しておく。別の立体映像表示装置２００（第２の立体映像表示装置）では、事前校正は不要である。

［立体像調整方法の流れ］
第４実施形態に係る立体像調整方法の流れについて図９を参照して説明する。ここでは、既に、１台目の立体映像表示装置２００を用いて一連の処理を繰り返すことで、再生表示される複数の立体像マーカーを調整し終えており、再生表示位置が補正済みの立体像マーカーを表示可能となっているものとする。

まず、立体像調整装置１００において、要素画像生成手段１２０は、奥行き距離Ｄ_iを設定する（ステップＳ１２）。なお、識別子ｉの初期値は０である。そして、要素画像生成手段１２０は、設定された奥行き距離Ｄ_iだけ離間した位置に、１台目の立体映像表示装置２００によって、表示位置が補正済みの立体像マーカーが再生されるように要素画像群を生成する（ステップＳ２３Ａ）。そして、１台目の立体映像表示装置２００によって、調整済みの複数の立体像マーカーを再生表示する（ステップＳ２３Ｂ）。なお、ステップＳ２３Ａ及びステップＳ２３Ｂは一対の処理工程である。

次に、立体像調整装置１００は、検出器１１０によって、１台目の立体映像表示装置２００によって再生表示された複数の立体像マーカーを検出する（ステップＳ２４Ａ）。そして、立体像調整装置１００は、補正値算出手段１３０によって、複数の立体像マーカーの位置を検出する（ステップＳ２４Ｂ）。なお、検出器１１０が、立体像マーカーの位置検出を行うようにしてもよい。

そして、補正値算出手段１３０は、これら複数の立体像マーカーの検出位置、すなわち、補正済みの立体像マーカーの再生表示位置を、２台目の立体映像表示装置２００で表示する複数の立体像マーカーにとっての基準位置として新たに設定する。

続いて、要素画像生成手段１２０は、設定された奥行き距離Ｄ_iだけ離間した位置であり、かつ、設定された基準位置に、２台目の立体映像表示装置２００によって追加する立体像マーカーが再生されるように要素画像群を生成する（ステップＳ３３Ａ）。そして、２台目の立体映像表示装置２００によって、追加する立体像マーカーを再生表示する（ステップＳ３３Ｂ）。なお、ステップＳ３３Ａ及びステップＳ３３Ｂは一対の処理工程である。

ステップＳ３３Ｂに続く、以下のステップＳ１４Ａ〜ステップＳ１９の処理では、２台目の立体映像表示装置２００を用いて、図５に示す処理と同様の処理を行うので詳細な説明を省略する。なお、２台目の立体映像表示装置２００を用いるので、ステップＳ１５でＮｏの場合にステップＳ３３Ａに戻る。

このようにして、２台目の立体映像表示装置２００の表示面から立体像マーカーまでの奥行き距離Ｄ_iを以前よりも大きくした状態で、前記一連の処理を繰り返すことにより、２台目の立体映像表示装置２００によって再生表示される立体像マーカーを調整することができる。

２台目の立体映像表示装置２００を用いた具体例について図１０（ａ）〜図１０（ｃ）を参照して説明する。以下では、補正済みの１台目の立体映像表示装置２００に用いる立体像マーカーのことを第１の立体像マーカーと呼び、追加する２台目の立体映像表示装置２００に用いる立体像マーカーを第２の立体像マーカーと呼ぶ。

ここでは、第２の立体像マーカーの位置を、第１の立体像マーカーの位置に重ねた状態が分かるように、それぞれのマーカーを直径が異なる２つの同心円で示した。
第１の立体像マーカーは、同心円の重複部（小さな円）を黒で示し、それ以外を白で示している。
第２の立体像マーカーは、同心円の重複部（小さな円）を白で示し、それ以外を黒で示している。
第１の立体像マーカーと第２の立体像マーカーとは互いに重ねて円の中心を一致させると、１つの黒い円になるような形状である。
なお、これらの形状は一例であって、立体像マーカーはこれらの形状に限るものではない。例えば、第１の立体像マーカーと第２の立体像マーカーとを同一形状としつつ色分けにより、ずれを検出し易いようにしてもよい。また、時間分割で、第１の立体像マーカーを再生表示して検出を行った後、第２の立体像マーカーのみを再生表示するようにしてもよい。

図１０（ａ）は、補正済みの１台目の立体映像表示装置２００の表示面に第１の立体像マーカーの要素画像を４行×５列の配置で表示し、レンズアレイ２２０を通して再生された第１の立体像マーカーを検出した状態を模式的に表している。

図１０（ｂ）は、第１の立体像マーカーの検出位置を基準位置とした上で、２台目の立体映像表示装置２００を用いて、そのレンズアレイ２２０を通して初期奥行き距離で再生された第２の立体像マーカーを検出した状態を模式的に表している。

図１０（ｃ）は、２台目の立体映像表示装置２００を用いて、第２の立体像マーカーの奥行き距離を大きくして一連の補正処理を繰り返した後に、そのレンズアレイ２２０を通して再生された第２の立体像マーカーを検出した状態を模式的に表している。

図１０（ａ）〜図１０（ｃ）に示す例では、全ての第２の立体像マーカーが、全ての第１の立体像マーカーに重なるように位置合わせすることとしたが、図１１（ａ）〜図１１（ｃ）に示すように、その一部だけが重なるように位置合わせをしてもよい。

図１１（ａ）は、補正済みの１台目の立体映像表示装置２００の表示面に第１の立体像マーカーの要素画像を４行×５列の配置で表示し、レンズアレイ２２０の一方の側（図において左）に再生された第１の立体像マーカーを検出した状態を模式的に表している。

図１１（ｂ）は、第１の立体像マーカーの他方の端部の一列（図において右端の一列）の検出位置を、第２の立体像マーカーの一方の端部の一列（図において左端の一列）の基準位置とした上で、２台目の立体映像表示装置２００を用いて、そのレンズアレイ２２０を通して初期奥行き距離で再生された第２の立体像マーカーを検出した状態を模式的に表している。

図１１（ｃ）は、２台目の立体映像表示装置２００を用いて、第２の立体像マーカーの奥行き距離を大きくして一連の補正処理を繰り返した後に、そのレンズアレイ２２０を通して再生された第２の立体像マーカーを検出した状態を模式的に表している。
なお、立体映像表示装置２００間で立体像マーカーが重なる範囲については、表示システムの構成に合わせて任意に設定することができる。

第４実施形態によれば、基準となる立体映像表示装置２００で再生した立体像マーカーから検出した検出位置を、別の立体映像表示装置２００で再生する立体像マーカーの基準位置として、別の立体映像表示装置２００で再生した立体像マーカーの位置を、この基準位置に合わせていくことで、複数台の立体映像表示装置２００を使用した立体像の調整をすることができる。

以上、本発明の各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、検出器１１０は、カメラであるものとしたが、検出器１１０に例えばフォトディテクターを使う場合、事前校正では、レンズアレイ２２０の四隅に２次元マーカーや発光素子を設置して検出器１１０で捉えるようにしてもよい。

また、検出器１１０は、単体のカメラであるものとしたが、複数の視点から立体像を撮影して当該立体像の３次元位置を検出する多視点カメラであってもよい。このようにすることで、立体像マーカーの再生位置の検出精度を高めることができる。

補正値算出手段１３０の誤差値算出手段１３１が、検出器１１０で捉えたデータを解析し、立体像マーカーの位置を検出するものとしたが、検出器１１０自体が、立体像マーカーの位置を測定して検出するようにしてもよい（ステップＳ１４Ｂの変形例）。

立体映像表示装置２００は、画像表示部２１０の前面に、光学素子アレイとしてレンズアレイ２２０を使用したが、代わりにピンホールアレイを配置してもよい。
画像表示部２１０は、プロジェクタ２１１でスクリーン２１２に画像を投影表示するものとしたが、代わりに、液晶パネルやＥＬ（Electroluminescence）等を利用した直視型ディスプレイであってもよい。この直視型ディスプレイとしては、スーパーハイビジョン（７６８０×４３２０画素）の透過型液晶ディスプレイが好適に用いられる。また、直視型ディスプレイのバックライトは、面状光源でもよいし、点光源アレイでもよい。

立体像調整装置１００では、全体処理の統括は、補正値生成手段１３０又は要素画像生成手段１２０で行うことができるし、それらとは別に専用の統括処理手段を設けてもよい。立体像調整装置１００において、補正値生成手段１３０と要素画像生成手段１２０とを分けて説明したが、これら２つの機能を１つのコンピュータで実現することもできる。

１００ 立体像調整装置
１１０ 検出器
１２０ 要素画像生成手段
１３０ 補正値算出手段
１３１ 誤差値算出手段
１３２ 位置ずれ算出手段
１３３ 補正値生成手段
２００ 立体映像表示装置
２１０ 画像表示部
２１１ プロジェクタ
２１２ スクリーン
２２０ レンズアレイ（光学素子アレイ）
２２１ 要素レンズ（要素光学素子）

Claims (10)

1. 位置を検出するマーカーを用いて立体像を調整する立体像調整装置であって、
   立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する要素画像生成手段と、
   前記立体映像表示装置の前記表示面に前記要素画像群を表示することで再生された複数のマーカーの立体像を検出する検出器と、
   各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする前記基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する補正値算出手段と、を備え、
   要素画像群の生成、再生された複数のマーカーの立体像の検出、前記補正値の算出、前記補正値に基づく要素画像群の補正の一連の処理を、前記奥行き距離を大きくしながら繰り返し行うことを特徴とする立体像調整装置。
2. 前記補正値算出手段は、
   検出位置と基準位置との誤差値をマーカー毎に算出する誤差値算出手段と、
   前記誤差値から要素画像における位置のずれをマーカー毎に算出する位置ずれ算出手段と、
   すべてのマーカーについて算出した前記要素画像における位置のずれから、前記要素画像の全画素の位置を補正するための歪補正値を補間生成する補正値生成手段と、を備えることを特徴とする請求項１に記載の立体像調整装置。
3. マーカーの立体像は、正面視で円形状であり、中心ほど高い輝度分布を有し、
   前記検出器は、前記立体像の輝度分布の最も高い中心位置を当該立体像の位置として検出することを特徴とする請求項１又は請求項２に記載の立体像調整装置。
4. マーカーの立体像は、正面視で十字形状であり、
   前記検出器は、前記十字形状の水平方向及び垂直方向における４つの端点を検出し、対向した２つの端点を繋ぐ２つの線分の交点位置を当該立体像の位置として検出すると共に、前記線分のいずれかの傾きを当該立体像の再生方向として検出することを特徴とする請求項１又は請求項２に記載の立体像調整装置。
5. 前記検出器は、単一のカメラ、又は、複数の視点から立体像を撮影して当該立体像の３次元位置を検出する多視点カメラであることを特徴とする請求項１から請求項４のいずれか一項に記載の立体像調整装置。
6. 位置を検出するマーカーを用いて立体像を調整する立体像調整方法であって、
   要素画像生成手段によって、立体映像表示装置の表示面から所定の奥行き距離だけ離間した位置であり、かつ、マーカーを表示させようとする予め設定された基準位置に、マーカーの立体像が再生されるように前記表示面に表示される要素画像群を生成する要素画像生成工程と、
   前記立体映像表示装置によって、前記表示面に表示された前記要素画像群から複数のマーカーの立体像を再生表示する再生表示工程と、
   検出器によって、再生された複数のマーカーの立体像を検出する立体像検出工程と、
   補正値算出手段によって、各マーカーの立体像から検出された検出位置と各マーカーを表示させようとする前記基準位置との誤差に基づいて、前記表示面に表示される要素画像群全体を補正するための補正値を算出する補正値算出工程と、
   前記要素画像生成手段によって、算出された前記補正値をもとに、前記表示面に表示される要素画像群全体を補正する要素画像補正工程と、を一連の補正処理として含み、
   初めに、前記立体映像表示装置の表示面近傍に事前に設定された初期奥行き距離だけ離間させて複数のマーカーの立体像を表示して、前記一連の補正処理を行い、
   その後、前記表示面から複数のマーカーの立体像までの奥行き距離を大きくした上で前記一連の処理を繰り返すことで、複数のマーカーの立体像を調整することを特徴とする立体像調整方法。
7. 前記立体映像表示装置によって、一度に複数の立体像を再生表示することを特徴とする請求項６に記載の立体像調整方法。
8. 前記立体映像表示装置によって、時間分割で異なる位置又は／及び異なる形状で立体像を順次再生表示することを特徴とする請求項６に記載の立体像調整方法。
9. 前記要素画像生成工程の前に事前校正工程を有し、
   前記事前校正工程は、
   前記検出器によって、前記立体映像表示装置の前記表示面の四隅を検出する工程と、
   前記補正値算出手段によって、前記表示面の四隅が前記検出器に投影された位置を算出する工程と、を有し、
   マーカーに対して予め設定された基準位置は、前記表示面の四隅が前記検出器に投影された位置から算出されることを特徴とする請求項６から請求項８のいずれか一項に記載の立体像調整方法。
10. 前記立体映像表示装置を用いて前記一連の処理を繰り返すことで、再生表示される複数のマーカーの立体像を調整した後に、当該立体映像表示装置によって、調整された複数のマーカーの立体像を再生表示する工程と、
    前記検出器によって、前記再生表示された複数のマーカーの立体像を検出する工程と、をさらに含み、
    前記補正値算出手段が、マーカーを表示させようとする基準位置に代えて、各マーカーの立体像から検出された検出位置を新たな基準位置に設定した上で、
    追加された別の立体映像表示装置によって、初めに、複数のマーカーそれぞれに対して、当該別の立体映像表示装置の表示面近傍に事前に設定された初期奥行き距離だけ離間した位置であり、かつ、前記新たな基準位置に、前記複数のマーカーの立体像を再生表示して、前記一連の補正処理を行い、
    その後、前記別の立体映像表示装置の前記表示面から複数のマーカーの立体像までの奥行き距離を大きくした上で前記一連の処理を繰り返すことで、前記別の立体映像表示装置によって再生表示される複数のマーカーの立体像を調整することを特徴とする請求項９に記載の立体像調整方法。