JP6748563B2 - 立体映像測定装置及び立体映像測定方法 - Google Patents

Description

本発明は、立体映像測定装置及び立体映像測定方法に関し、特に、インテグラル立体表示方式で再生される立体像の誤差を測定する立体映像測定装置及び立体映像測定方法に関する。

一般的にインテグラル立体表示方式では、ディスプレイ前面にレンズアレイを配置し、対応する要素画像をディスプレイに表示することで、水平及び垂直方向に視差のある裸眼立体映像を表示することができる。特に、輝点を表示画面の所定の位置に形成する方式では、複数の表示デバイスを用いることで、輝点の数を増やすなどして、表示特性を向上することが可能である（非特許文献１、２参照）。

しかし、実際の表示装置では、要素画像とレンズアレイとの位置ずれや光学的な歪みにより、立体像の再生位置に誤差が生じる。そこで、立体像の再生位置に誤差が生じないように予め表示装置を補正調整する方法として、例えば、水平方向と垂直方向との２種類のグレイコードパターン（縞パターン）を投射し、観察者側から、カメラで撮影することで、要素画像の補正を行う方法（非特許文献３参照）が知られている。

渡邉隼人、外５名、「複数の高精細プロジェクターを用いたインテグラル立体表示」、映像情報メディア学会年次大会講演予稿集、2016年8月17日、34C-5 M. Yamasaki, et al., "High-density Light Field Reproduction Using Overlaid Multiple Projection Images", Proc. SPIE vol.7237, Stereoscopic Displays and Applications XX, 723709 (February 17, 2009) H. Liao, et. al, "Scalable High-resolution integral videography autostereoscopic display with a seamless multiprojection system", Applied Optics, Vol. 44, No. 3, 2005

しかしながら、従来技術では、要素画像とレンズアレイとの位置ずれが要素レンズ直径より大きかったり、位置ずれが非線形に生じていたりした場合に、充分な精度で要素画像を補正することができず、立体像の再生位置に誤差が生じないようにすることが困難であった。そこで、再生された立体像の位置誤差を測定した結果を、逆に、表示装置の補正調整に利用することで精度を高める手法が考えられる。この手法では、立体像である位置検出用のマーカーが所望の３次元位置に再生されるように要素画像を生成することでマーカーを再生し、それをカメラ等の検出器で撮影（検出）することでマーカーの再生位置誤差を測定する。ただし、測定前に検出器をどのように校正すればよいのか、測定中にマーカーをどのように撮影すればよいのか自明ではない。

検出器の位置校正の方法として、一般的には、キャリブレーションパターンの使用が考えられる。しかし、キャリブレーションパターンを設置する手間が掛かり、且つ、キャリブレーションパターンをディスプレイ自体に搭載したり、取り外したりするときの振動などの悪影響が問題となる。

マーカーの撮影の方法として、拡散板をマーカーの結像位置に設置し、カメラのピント位置を拡散板に合わせて撮影する方法が考えられる。しかし、拡散板を設置する手間が掛かり、且つ、マーカーの表示位置を変更する場合には、カメラのピント位置の変更が必要になり、カメラの内部パラメーターが変化することで補正精度が悪化することが問題となる。

本発明は、以上のような問題点に鑑みてなされたものであり、インテグラル立体表示方式において、立体像が再生される位置の誤差を簡便に測定することのできる立体映像測定装置及び立体映像測定方法を提供することを課題とする。

前記課題を解決するために、本発明に係る立体映像測定装置は、複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定装置であって、要素画像生成手段と、検出器と、誤差値測定手段と、を備えることとした。

かかる構成によれば、立体映像測定装置は、要素画像生成手段によって、前記インテグラル立体表示装置により所定位置に立体映像であるマーカーが再生されるように前記要素画像を生成する。
そして、立体映像測定装置は、検出器によって、前記インテグラル立体表示装置の表示画面に前記光学素子に対応して形成された輝点の位置と輝度とを検出する。
そして、立体映像測定装置は、誤差値測定手段によって、前記インテグラル立体表示装置で白表示を行ったときに検出された輝点の位置と輝度とを用いて前記検出器を校正する演算を行い、前記インテグラル立体表示装置において前記要素画像を投射したときに検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する。

また、前記課題を解決するために、本発明に係る立体映像測定方法は、複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定方法であって、要素画像生成手段と、検出器と、誤差値測定手段と、を備える立体映像測定装置によって、前記検出器の事前校正を実施する事前校正工程と、前記立体映像測定装置によって、立体映像であるマーカーが再生された位置の誤差値を測定する測定工程と、を有することとした。

かかる手順によれば、立体映像測定方法は、事前校正工程に、前記インテグラル立体表示装置によって、白表示を行うことで前記インテグラル立体表示装置の表示画面に前記光学素子に対応した輝点を形成する第１表示工程と、前記検出器によって、前記表示画面を記録する記録工程と、前記表示画面に形成された輝点の位置と輝度とを検出する第１検出工程と、前記誤差値測定手段によって、前記検出器を校正する演算を行う演算工程と、を含む。
そして、立体映像測定方法は、測定工程に、前記要素画像生成手段によって、前記マーカーが所定位置に再生されるように前記要素画像を生成する生成工程と、前記インテグラル立体表示装置によって、前記要素画像を投射することで前記表示画面に輝点を形成して前記マーカーを所定位置に表示する第２表示工程と、前記検出器によって、前記表示画面に形成された輝点の位置と輝度とを検出する第２検出工程と、前記誤差値測定手段によって、前記検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する演算工程と、を含む。

本発明によれば、立体映像測定装置は、キャリブレーションパターンや拡散板を設置することなく表示画面を直接撮影することができる。そのため、立体像の再生位置誤差を簡便に測定することができる。

本発明の第１実施形態に係る立体映像測定装置の構成を表す概略図である。 側面視における輝点形成位置の説明図である。 正面視における輝点の説明図であり、（ａ）はレンズアレイ、（ｂ）は図２に対応する輝点形成位置を示している。 マーカーの説明図であり、（ａ）は再生表示されるマーカー、（ｂ）はその輝度分布、（ｃ）はマーカーの画面内での配置例である。 輝点の投影位置の説明図である。 検出された輝点の説明図であり、（ａ）はマーカーを構成する輝点、（ｂ）は撮影画像中の輝点、（ｃ）は（ｂ）の一部拡大図を示している。 再生位置誤差の説明図である。 本発明の第１実施形態に係る立体映像測定方法の流れを表すフローチャートである。 図８に示す事前校正工程の流れを表すフローチャートである。 図８に示す再生位置誤差算出処理の流れを表すフローチャートである。 ベクトルの最接位置を説明するための説明図である。

図１を参照し、本発明の実施形態に係る立体映像測定装置及び立体映像測定方法について、説明する。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするために誇張していることがある。

［インテグラル立体表示装置の構成］
立体映像測定方法に用いるシステムは、インテグラル立体表示装置と、立体映像測定装置と、により構成される。まず、インテグラル立体表示装置について説明する。ここでは光学素子アレイとしてレンズアレイを用いた場合について説明する。図１に示すインテグラル立体表示装置２０は、要素画像投射部２１と、レンズアレイ（光学素子アレイ）２２と、を備えている。

要素画像投射部２１は、レンズアレイ２２に要素画像を投射するものであり、ここでは、プロジェクタ２３と、コリメーターレンズ２４と、を備えている。
プロジェクタ２３は、各要素レンズ（光学素子）２５に1対1で対応した要素画像群を投射する。
コリメーターレンズ２４は、プロジェクタ２３とレンズアレイ２２との間に配設され、プロジェクタ２３からの光が入射し、入射光を平行光にして出射する。

この立体映像測定方法では、位置を検出するマーカーを再生するための要素画像群を表示する。要素画像投射部２１は、１回の表示で画面内に複数個のマーカーを表示する。なお、要素画像群は要素画像生成手段１２により生成する。

レンズアレイ２２には、プロジェクタ２３からコリメーターレンズ２４を介して投射された要素画像が入射する。これにより、インテグラル立体映像を再生することができる。このレンズアレイ２２には、複数の要素レンズ２５が２次元に配列されている。レンズアレイ２２には、微小な要素レンズ２５が密集した状態で配置されている。図１では、７個の要素レンズ２５を一次元で図示したが、要素レンズの個数は任意であり、典型的には数万以上となる。

本実施形態では、一例として、要素レンズ２５が両凸レンズであるものとした。なお、要素レンズ２５の形状は円形に限らず、正方形でもよい。また、要素レンズ２５の配列は、正方格子状（グリッド構造）であるものとしたが、俵積状いわゆるラインオフセット状としてもよい。

ここでは、インテグラル立体表示装置２０が、表示画面内の所定の位置に輝点を形成する場合について説明する。例として、図２及び図３に、レンズアレイ２２への入射光を平行光としたときに輝点が形成される位置を示す。図３（ａ）は、正面視におけるレンズアレイ２２、図３（ｂ）は正面視における輝点形成位置１０１を示している。

図２では、レンズアレイ２２を構成する要素レンズの焦点距離をｆとして、レンズアレイ２２をＺ＝−ｆの位置に設置しているものとする。このとき、輝点形成位置１０１は、表示画面、すなわち、Ｚ＝０（ＸＹ平面）に位置している。なお、インテグラル立体表示装置２０の表示画面は、厳密には、レンズアレイ２２から要素レンズ２５の焦点距離と同様の距離（例えば数ｍｍ程度）離間している。
各輝点は、レンズアレイ２２に所定の投射角度θで平行光１０２を入射したときに形成されたものである。図２において、符号１０３は、要素画像（要素レンズ２５の１個分の画像）の投射光線を示している。

図２のようにレンズアレイ２２に所定の角度θで平行光１０２を入射したとき、例えば要素レンズ２５ａの光軸１０４に対する輝点形成位置のシフト量ｇは、要素レンズ２５ａの焦点距離ｆと投射角度θとを用いて、次の式（１）で算出することができる。

ｇ＝ｆ×ｔａｎθ … 式（１）

［立体映像測定装置の構成］
次に立体映像測定装置について説明する。図１に示す立体映像測定装置１０は、インテグラル立体表示装置２０により表示された立体映像を測定する装置であり、検出器１１と、要素画像生成手段１２と、誤差値測定手段１３と、を備えている。

検出器１１は、インテグラル立体表示装置２０の表示画面に要素レンズ２５に対応して形成された輝点の位置と輝度とを検出するものである。
この検出器１１は、後記するように事前校正工程において（白表示を行ったときに）、表示画面に形成された全輝点の位置と輝度とを単一の視点で検出する。
また、検出器１１は、後記するように測定工程において（要素画像を投射したときに）表示画面に形成された輝点の位置と輝度を、白表示を行ったときと同じ視点で検出する。

検出器１１は、例えばデジタルカメラ又はフォトディテクターである。本実施形態では、一例として検出器１１は単一のデジタルカメラであるものとする。このように検出器１１にカメラを使用する場合、ピント位置が、インテグラル立体表示装置２０の表示画面、すなわち、図２のＺ＝０に形成された輝点の位置になるように制御する。また、一例として内部パラメーターが既知であり、撮影画像に対してはカメラ光学系の歪み補正を行うものとする。

要素画像生成手段１２は、インテグラル立体表示装置２０により所定位置に立体映像であるマーカーが再生されるように要素画像を生成するものである。この要素画像生成手段１２は、画像処理手段で構成され、要素画像の生成方法は特に限定されない。
ここで、所定位置とは、インテグラル立体表示装置２０の表示画面から所定の奥行き距離だけ離間した３次元空間の位置である。所定位置については、この立体映像測定装置１０の利用者が、マーカーを表示させたい所望の位置を決定することができる。なお、単一の検出器１１で単一の視点でマーカーを検出する場合、マーカーの近似的な位置として、奥行きを除いた２次元の位置（画面内の位置）を検出する。

ここで、再生されるマーカーについて図４（ａ）〜図４（ｃ）を参照して説明する。
図４（ａ）は、再生表示されるマーカーの形状の一例である。本実施形態では、マーカーＭが、正面視で例えば円形状であり、中心ほど高い輝度分布を有しているものとする。なお、円形の外側の黒色の部分は、表示画面の背景を表している。

例えば、ｘｙ平面上で−π／２≦ｘ≦π／２、−π／２≦ｙ≦π／２としたときに、マーカーの輝度は例えばｃｏｓｘ×ｃｏｓｙのように表すことができる。図４（ｂ）は、このマーカーＭのｘ軸方向の輝度分布を示す。

図４（ｃ）はマーカーの画面内での配置例である。ここでは、レンズアレイ２２を介して、一例として水平１１個×垂直７個の合計７７個のマーカーを再生表示した状態を模式的に示す。なお、マーカーの個数や３次元位置（個数と配置）はこれらに限定されるものではない。マーカーを画面全体に配置することで、マーカーの再生位置誤差について、画面全体の分布を算出することができる。

なお、マーカーの再生可能な奥行き範囲は、インテグラル立体表示装置２０の調整状態と検出器１１の設置位置とにより決定する。もしも調整精度が低い状態で、奥行きのある位置にマーカーを表示すると、再生像に歪みや欠落が生じる。そこで、事前校正工程にて、最初は奥行き距離が短い位置にマーカーを表示してインテグラル立体表示装置２０を粗調整し、その後、マーカーの位置を変化させながら、段階的にインテグラル立体表示装置２０を微調整するなど、利用用途に応じて、適切に奥行き位置を決定することが好ましい。

誤差値測定手段１３は、立体映像測定装置１０において要素画像の生成以外の計算処理を行うものであり、主として、立体像の再生位置に関して奥行きを除いた２次元の誤差値を測定する。
誤差値測定手段１３は、後記する事前校正工程にて、インテグラル立体表示装置２０で白表示を行ったときに検出された輝点の位置と輝度とを用いて検出器１１を校正する演算を行うために、補正係数算出手段１４と、位置校正手段１５と、歪係数算出手段１６と、内部パラメーター校正手段１７と、を備えている。
また、誤差値測定手段１３は、後記する測定工程にて、インテグラル立体表示装置２０において要素画像を投射したときに検出された輝点の位置と輝度とを用いてマーカーを構成する輝点の位置と輝度とを求める演算を行い、所定位置に対するマーカーが再生された位置の誤差値を測定するために、誤差算出手段１８を備えている。

補正係数算出手段１４は、事前校正工程にて白表示を行ったときに検出された全輝点の輝度に基づいて輝度値のばらつきを補正するための補正係数を輝点毎に算出するものである。なお、本実施形態では、事前校正工程において、補正係数算出手段１４が、検出器１１で捉えたデータを解析し、輝点の位置及び輝度を検出するものとした。検出器１１では、輝点は輝度分布を有する微小な点群として捉えられるため、補正係数算出手段１４は、撮影画像を二値化してラベリング処理するか、輝度勾配の頂点を算出することによって、各輝点の中心位置を、輝点形成位置１０１（図２）として検出する。インテグラル立体表示装置２０の表示画面の全体における輝点形成位置１０１の分布については、前記した式（１）で示した例のように、レンズアレイ２２の配列、各要素レンズ２５の位置座標及び焦点距離、要素画像投射部２１の構成（投射角度）から算出することができる。補正係数算出手段１４は、輝点形成位置の分布と同一の分布の検出点群を輝点とみなし、それ以外の検出点はノイズとして除去する。なお、輝点の輝度値は、撮影画像における輝点の画素値の平均により求めることができる。

補正係数算出手段１４で算出する補正係数は、レンズアレイ２２を構成する各要素レンズ２５の成形誤差によって生じる輝度値のばらつきを、後記する測定工程において補正（正規化）するための係数である。補正係数算出手段１４は、白表示を行ったときに単一の視点で検出器１１によって捉えたデータを解析することで検出した各輝点の輝度値に基づいて、全輝度値の平均値又は中央値を求め、それを基準値とする。補正係数算出手段１４は、各輝点について、輝度値と基準値との比を求め、各輝点の輝度値の補正係数とする。なお、輝度値が極端に低い輝点については、要素レンズ２５が不良であるものとみなし、計算対象から除去するようにしてもよい。

位置校正手段１５は、事前校正工程にて白表示を行ったときに検出された全輝点の位置に基づいて検出器１１の位置及び姿勢についてキャリブレーションを行うものである。
位置校正手段１５は、検出された輝点の位置に実座標を割り当て、下記の参考文献１などで記載されている一般的な校正手法を用いることで、検出器１１の位置と姿勢を算出する。ここで、実座標の原点については、任意の位置を指定するか、画面中央の１つの輝点のみ異なる色となるように表示し、これを原点とする。

（参考文献１）Zhang, Zhengyou, "A flexible new technique for camera calibration" IEEE Transactions on pattern analysis and machine intelligence 22.11 (2000), 1330-1334

歪係数算出手段１６は、事前校正工程にて白表示を行ったときに検出器１１の位置を変えることにより多視点で検出された全輝点の位置に基づいて画像の位置歪みを補正するための歪み係数を算出するものである。これは、輝点形成位置の歪みを補正するための処理である。
インテグラル立体表示装置２０の設計が理想的であれば歪は発生しないが、実際の表示装置では、要素レンズ２５の成形誤差や、レンズアレイ２２前段のコリメーターレンズ２４のレンズ歪みにより、輝点形成位置に歪みが生じる場合がある。輝点形成位置の歪みは、立体像の再生位置誤差の測定精度低下の原因となる。

歪係数算出手段１６は、歪み係数の算出にあたっては、歪みモデルを考慮した透視投影変換モデルを作成する。歪みが放射方向に生じると仮定して、一般的な透視投影変換モデルに歪みモデルを加えた例を以下の式（２）〜式（７）に示す。

ただし、式（２）〜式（７）において、スモールｘ、ｙ、ｚは、カメラ座標系である。Ｒは回転、ｔは平行移動を示す行列であり、これらによって検出器１１の姿勢を示す。（ｕ，ｖ）は、画像座標（投影面座標）で表した、撮影画像中の輝点形成位置である。（Ｘ’，Ｙ’，Ｚ）は、ワールド座標で表した、理想的な（無歪の）輝点形成位置である。（Ｘ，Ｙ，Ｚ）は、ワールド座標で表した、歪みを含む輝点形成位置である。ｋ₁、ｋ₂、ｋ₃は、放射方向の歪み係数である。なお、カメラの内部パラメーターは既知（校正済）であるものとし、焦点距離ｆ_x、ｆ_yと画像中心ｃ_x、ｃ_yは既知とする。

歪係数算出手段１６は、前記した式（２）に基づいて作成した再投影誤差の評価関数に対して、レーベンバーグ・マーカート法などの最適化アルゴリズムを適用することで、歪み係数ｋ₁、ｋ₂、ｋ₃を含む未知数の算出を行う。なお、輝点形成位置の検出情報は、多視点で検出する必要がある。

内部パラメーター校正手段１７は、検出器１１が内部パラメーター未校正のデジタルカメラであるときに、その内部パラメーターを校正するためのものである。この内部パラメーター校正手段１７は、事前校正工程にて白表示を行ったときにデジタルカメラの位置を変えることにより多視点で検出された全輝点の位置に基づいて、デジタルカメラの内部パラメーターを校正する。内部パラメーター校正手段１７は、前記した参考文献１などで記載されている一般的な校正手法を適用することで、内部パラメーターを算出する。なお、カメラの位置を変えると、前記した式（２）における姿勢Ｒ，ｔが変化することになる。

誤差算出手段１８は、再生されたマーカーを構成する輝点の位置及び輝度を算出し、マーカーの理論的な輝度分布に近似させることで、マーカーが再生された位置の誤差値を算出するものである。なお、本実施形態では、測定工程において、誤差算出手段１８が、検出器１１で捉えたデータを解析し、輝点の位置及び輝度を検出するものとした。

誤差算出手段１８は、測定工程にて要素画像を投射したときに検出された輝点をマーカーについての所定位置に投影することで、再生されたマーカーを構成する輝点の位置を検出する。ここで、輝点の投影位置について図５を参照して説明する。図５は、図２と同様な３次元空間を用いた輝点の投影位置の説明図である。図５において、図２と同様な構成には同様の符号を付して説明を省略する。

マーカーＭの所望の３次元の再生位置についての奥行き位置をＺ＝ｄの位置とする。つまり、マーカーの奥行き距離をｄとする。なお、図５では、簡便のため、マーカーを構成する輝点は、Ｙ軸に平行な一次元配列の４つの要素レンズから形成されているものとしているが、図６のように４×４の２次元配列の輝点を想定している。
図５に示すように、マーカーＭを構成する要素画像の画素１２１，１２２，１２３，１２４はそれぞれ異なる輝点形成位置１０１を通過し、Ｚ＝ｄに設定された輝点の投影位置１１１において、マーカーの立体像を結像する。なお、マーカーの立体像は輝点間隔（＝要素レンズ間隔）でサンプリングされ、要素画像は、輝点に対する視点に応じた輝度情報になる。このとき、検出器１１は、ピント位置を輝点形成位置１０１に合わせており、誤差算出手段１８は、検出器１１で捉えたデータを解析し、次のようにして輝点形成位置１０１の輝点の位置及び輝度を検出する。

まず、輝点の位置に関しては、画像座標（投影面座標）で表した、撮影画像中の輝点形成位置を（ｕ，ｖ）、マーカーの奥行き距離をｄ、輝点の投影位置を(Ｘ_d，Ｙ_d，ｄ)とすると、前記した式（２）においてＸをＸ_dに置き換えると共に、ＹをＹ_dに置き換えた次の式（８）から、未知数Ｘ_d，Ｙ_dを求めることで、輝点の投影位置(Ｘ_d，Ｙ_d，ｄ)を算出する。

次に、輝点の輝度の検出方法について、図６（ａ）〜図６（ｃ）を参照（適宜図５参照）して説明する。ここでは、マーカーが４×４個の１６個の輝点で構成されているものとする。なお、実際の表示装置では、人間が離れた距離で観察したときは、輝点間隔が目の分解能と比べて密な状態となり、輝点として識別されずに立体像が知覚されることになる。

図６（ａ）は概ね二点鎖線で示す外周を持つマーカーＭにおいて、マーカーを構成する４×４個の輝点を示す。輝点１３１，１３２，１３３，１３４は、図５においてマーカーＭを構成する要素画像の画素１２１，１２２，１２３，１２４により形成されたものである。

図６（ｂ）は、検出器１１によって撮影された撮影画像１４０を示している。撮影画像１４０に記録された輝点１４１，１４２，１４３，１４４は、図５において投影位置１１１ではなく輝点形成位置１０１にピントを合わせて撮影された輝点である。
図６（ｃ）は、図６（ｂ）の撮影画像１４０において輝点１４１を含む領域１４０ａの拡大図である。検出器１１の解像度に応じて異なるが、撮影画像１４０において輝点１４１は例えば数十個の画素で形成される。よって、誤差算出手段１８は、撮影画像１４０における輝点を構成する数十画素の画素値の平均として輝点の輝度値を検出することができる。

誤差算出手段１８は、測定工程にて要素画像を投射したときに検出された輝度値に輝点毎の補正係数を乗じることで、再生されたマーカーを構成する輝点の輝度値を算出する。
本実施形態では、誤差算出手段１８は、検出された輝度値に対して、補正係数算出手段１４によって算出された輝点毎の補正係数を乗じることで、マーカーＭを構成する輝点の輝度値を算出する。

誤差算出手段１８は、再生されたマーカーを構成する輝点の輝度分布をマーカーの理論的な輝度分布に近似させる演算によってマーカーが再生された位置の誤差値を算出する。
マーカーが再生された位置の誤差値（再生位置誤差）は、３次元の誤差値であるが、本実施形態では、近似的に、奥行きを除いた２次元の誤差値として扱う。この場合、投影面におけるｘ方向及びｙ方向の再生位置誤差をｅ_x、ｅ_yとする。

図７に示す例では、誤差算出手段１８は、検出された再生位置１５０のマーカーを構成する輝点により算出された輝度値を、正しい位置である再生予定位置１６０のマーカーの理論的な輝度値に近似させることで、マーカーの再生位置誤差ｅ_x、ｅ_yを算出する。
具体的には、誤差算出手段１８は、次の式（９）で表される評価関数Ｅが最小となるように、最小二乗法により、再生位置誤差ｅ_x、ｅ_yおよび調整係数ａを算出する。

ただし、（Ｘ_d，Ｙ_d，ｄ）はマーカーを構成する輝点の投影位置、Ｌ_Iはマーカーを構成する輝点の輝度、Ｌ_Mはマーカーの輝度の理論値である。なお、マーカーの輝度の理論値としては、例えば、図４（ｂ）に例示した輝度分布ｃｏｓｘ×ｃｏｓｙ等を用いることができる。

［立体映像測定方法の流れ］
次に、立体映像測定方法の流れについて図８を参照（適宜、図１参照）して説明する。立体映像測定方法は、立体映像測定装置１０によって、検出器１１の事前校正を実施する事前校正工程（ステップＳ１１）と、立体映像測定装置１０によって、立体映像であるマーカーが再生された位置の誤差値を測定する測定工程（ステップＳ１３〜ステップＳ１６）と、を有する。なお、本実施形態では、単一の検出器１１を使用する。

事前校正（ステップＳ１１）では、主として検出器１１の位置校正と輝点の輝度値の補正係数の算出を行う。この事前校正工程の詳細については後記する。そして、立体映像測定装置１０は、例えば、要素画像生成手段１２に開始指示が入力されるまで待機し（ステップＳ１２:Ｎｏ）、開始指示が入力されたと判定した場合（ステップＳ１２:Ｙｅｓ）、測定工程を開始する。

そして、立体映像測定装置１０は、要素画像生成手段１２によって、マーカーを表示させようとする予め設定された所定位置に、マーカーが再生されるように要素画像群を生成する（ステップＳ１３：生成工程）。また、インテグラル立体表示装置２０は、ステップＳ１３で生成された要素画像群を投射することで表示画面に輝点を形成してマーカーを所定位置に再生表示する（ステップＳ１４：第２表示工程）。

そして、立体映像測定装置１０は、検出器１１によって、再生されたマーカーを検出する。そして、人がマーカーを目視して、マーカーの再生像が検出可能かどうか確認する。マーカーの再生像に欠落があったり、再生像の歪みが大きかったりするなど、検出が不可能である場合（ステップＳ１５：Ｎｏ）、ステップＳ１３へ戻り、マーカーの奥行き距離を小さくした上で、再び要素画像の生成を行う。

一方、再生像に欠落等の問題がなければ、再生位置誤差の算出指示を装置に入力する。そして、立体映像測定装置１０は、例えば、誤差値測定手段１３に再生位置誤差の算出指示が入力されたと判定した場合（ステップＳ１５：Ｙｅｓ）、誤差値測定手段１３は、マーカーを構成する輝点の位置と輝度に関する検出情報から再生位置誤差を算出する（ステップＳ１６）。なお、再生位置誤差算出処理の詳細については後記するが、算出した再生位置誤差を、表示装置についての既存の補正調整手法などに適用するようにしてもよい。

そして、マーカーの再生位置を変化させたり、マーカーの配置を変更させたりして、更に再生位置誤差の測定を行う場合（ステップＳ１７：Ｎｏ）、ステップＳ１３に戻る。さらなる測定が必要ない場合、例えば、要素画像生成手段１２に終了指示が入力されたと判定した場合（ステップＳ１７：Ｙｅｓ）、立体映像測定装置１０は、処理を終了する。

次に、事前校正工程について図９を参照（適宜、図２及び図３参照）して説明する。事前校正工程（ステップＳ１１）において、まず、図２及び図３（ｂ）に示すように、インテグラル立体表示装置２０は、白表示を行うことでインテグラル立体表示装置２０の表示画面に要素レンズ２５に対応した輝点を形成する。このとき、インテグラル立体表示装置２０は、白を表示して全ての画素を発光し、全輝点を最大輝度で発光する（ステップＳ２１：第１表示工程）。なお、全輝点の形成位置の分布は既知であるものとする。また、例えば、図２に示すように、レンズアレイ２２への入射光を平行光１０２とする。

図９のステップＳ２２は輝点形成位置の歪み補正に関する分岐処理であり、ステップＳ２３はカメラの内部パラメーター校正に関する分岐処理である。ここでは、一連の処理の中で、必要に応じてステップＳ２２及びステップＳ２３のどちらか片方の分岐処理だけを実施している。
例えば、本実施形態のように、カメラの内部パラメーターが校正済みの前提で、さらに輝点形成位置の歪み補正が必要である場合（ステップＳ２２:Ｎｏ）、ステップＳ２８に進み、後記するように輝点形成位置の歪み係数を算出する。なお、輝点形成位置の歪み係数を算出するためには、カメラの内部パラメーターが既知である必要がある。
一方、カメラの内部パラメーターが未校正である場合（ステップＳ２３:Ｎｏ）、ステップＳ２９に進み、後記するように内部パラメーターを推定する。なお、カメラの内部パラメーターを校正するためには輝点形成位置の歪み補正が行われている必要がある。

そして、輝点形成位置の歪み補正が不要である場合（ステップＳ２２:Ｙｅｓ）、且つ、カメラの内部パラメーターが校正済みである場合（ステップＳ２３:Ｙｅｓ）、ステップＳ２４に進み、検出器１１で、インテグラル立体表示装置２０の表示画面を撮影する。

ステップＳ２４（記録工程）では、インテグラル立体表示装置２０の視域内に検出器１１を設置し、表示画面を捉える。本実施形態のように検出器１１がデジタルカメラであるときは、ピント位置を輝点形成位置に合わせ、検出器１１によって、表示画面を記録する。

そして、立体映像測定装置１０の誤差値測定手段１３は、補正係数算出手段１４によって、白表示を行ったときに検出器１１で捉えたデータを解析し、全ての輝点の位置と輝度を検出する（ステップＳ２５：第１検出工程）。なお、検出精度を高めるために、事前に表示画面を黒表示した状態で撮影し、背景差分法を用いてもよい。

そして、誤差値測定手段１３は、補正係数算出手段１４によって、輝度値の補正係数を算出する（ステップＳ２６）。なお、輝度値の補正係数は、測定工程において輝度値のばらつきを補正するための係数であり、輝点毎に算出される。

そして、誤差値測定手段１３は、位置校正手段１５によって、検出された全輝点の位置に基づいて検出器１１を位置校正する演算を行う。すなわち、位置校正手段１５は、検出された輝点の位置に実座標を割り当て、検出器１１の位置と姿勢を算出する（ステップＳ２７：演算工程）。

前記したステップＳ２２でＮｏの場合、誤差値測定手段１３は、歪係数算出手段１６によって、多視点で検出された全輝点の位置に基づいて、輝点形成位置の歪み係数を算出する（ステップＳ２８）。具体的には、歪係数算出手段１６は、前記した式（２）に基づいて作成した再投影誤差の評価関数に対して、レーベンバーグ・マーカート法などの最適化アルゴリズムを適用することで、歪み係数ｋ₁、ｋ₂、ｋ₃を含む未知数の算出を行う。その際に、表示画面の撮影処理（ステップＳ２４に相当する処理）と、輝点の検出処理（ステップＳ２５に相当する処理）とを、検出器１１の位置を変化させながら複数回実施することで、表示画面に形成された全輝点の位置を多視点で検出する。なお、輝点の形成位置に歪みがない場合や、以前に歪み係数の算出を行っている場合、ステップＳ２８を実施する必要はない。

前記したステップＳ２３でＮｏの場合、誤差値測定手段１３は、内部パラメーター校正手段１７によって、多視点で検出された全輝点の位置に基づいて内部パラメーターを推定する（ステップＳ２９）。具体的には、内部パラメーター校正手段１７は、検出した多視点での輝点形成位置（Ｘ，Ｙ，Ｚ）の検出情報に対し、前記参考文献１などで記載されている一般的な校正手法を適用することで、内部パラメーターを算出する。なお、輝点形成位置の検出情報が多視点で必要であるため、表示画面の撮影処理（ステップＳ２４に相当する処理）と、輝点の検出処理（ステップＳ２５に相当する処理）とを、検出器１１の位置を変化させながら複数回実施する。

次に、再生位置誤差算出処理について図１０を参照（適宜、図１、図５〜７及び図９参照）して説明する。まず、インテグラル立体表示装置２０の視域内に検出器１１を設置し、表示画面を捉える。そして、インテグラル立体表示装置２０は、要素画像群を投射することで表示画面に輝点を形成してマーカーＭを所定位置に再生表示する（図８のステップＳ１４：第２表示工程）。このとき、検出器１１の設置位置は、事前校正工程のステップＳ２４の処理のときと同じ視点で検出できるように同じ位置とする。そして、本実施形態のように検出器１１がデジタルカメラであるときは、ピント位置を事前校正工程から変化させず輝点形成位置に合わせたままとし、検出器１１によって、表示画面を撮影する（ステップＳ３１）。これにより、表示画面に形成された輝点の位置が検出される。

そして、立体映像測定装置１０の誤差値測定手段１３は、誤差算出手段１８によって、検出器１１で捉えたデータを解析し、マーカーＭを構成する輝点の位置と輝度を検出する（ステップＳ３２：第２検出工程）。ここで、表示画面に形成される全輝点についての輝点形成位置１０１については、事前校正工程のステップＳ２５の処理で算出しているため、マーカーＭを構成する輝点の位置に関しては、その位置情報を利用する。そして、誤差算出手段１８は、マーカーＭを構成する各輝点（１３１〜１３４：図６（ａ）参照）の輝度値をそれぞれ算出する。ここで、輝点の輝度値は、輝点を構成する画素値の平均として検出することができる（図６（ｃ）参照）。なお、輝度値が一定以上で隣接した輝点群を、マーカーＭを構成する輝点群とみなす。

そして、誤差値測定手段１３は、誤差算出手段１８によって、輝度値の正規化を行う（ステップＳ３３：演算工程）。すなわち、誤差算出手段１８は、ステップＳ３２にて検出された輝度値に対して、事前校正工程のステップＳ２６の処理で算出した輝点毎の補正係数を乗じることで、マーカーＭを構成する輝点の輝度値を算出する。

そして、誤差値測定手段１３は、誤差算出手段１８によって、輝点をマーカーの所望の再生位置に投影する（図１０のステップＳ３４：演算工程、図５参照）。これにより、誤差値測定手段１３は、マーカーＭを構成する輝点の位置を算出する。

そして、誤差値測定手段１３は、誤差算出手段１８によって、マーカーＭを構成する輝点の輝度分布を、マーカーの輝度分布の理論値に近似して再生位置誤差を算出する（図１０のステップＳ３５：演算工程、図７参照）。

本実施形態に係る立体映像測定装置１０によれば、検出器１１で捉えた輝点の位置と輝度情報とを利用して、検出器１１の位置校正と立体像の再生位置誤差の測定を行うことができる。したがって、キャリブレーションパターンや拡散板を設置することなく表示画面を直接撮影することができるので、立体像の再生位置誤差を簡便に測定することができる。
また、立体像を撮影する際に、拡散板をマーカーの再生位置に設置する必要がないので、マーカーの再生位置を変化させるたびに拡散板を移動させる手間を省くことができる。

（第２実施形態）
以下、複数の検出器１１を用いる形態を第２実施形態として説明する。なお、第１実施形態と同じ構成には同じ符号を付して適宜説明を省略する。

例えば、マーカーの所望の再生位置（理論値）を（Ｃ_x，Ｃ_y，ｄ）とおいて、前記したステップＳ３５で算出する再生位置誤差ｅ_x、ｅ_yを併せて用いると、マーカー（再生像）の中心位置Ｐは、（Ｃ_x＋ｅ_x，Ｃ_y＋ｅ_y，ｄ）と表すことができる。この前提の下、まず、誤差算出手段１８は、各検出器１１において、カメラの中心位置と再生像の中心位置とが成すベクトルを算出する。例えば、ｎ個の検出器１１のうちのｉ番目（ｉ＝１，２，…，ｎ）のカメラの中心位置Ａ_iを始点とし、各カメラで検出した再生像の中心位置Ｐ_i（Ｃ_x＋ｅ_xi，Ｃ_y＋ｅ_yi，ｄ）を終点とするベクトルを、カメラ毎に求める。

そして、誤差算出手段１８は、全ベクトルの最接位置を算出することで、３次元の再生位置誤差を測定できる。ここで、ベクトルの交点ではなくベクトルの最接位置を算出するのは、実際の測定では、測定値の誤差により、３次元空間内ではベクトルが交点を持たず、ねじれの関係になるからである。例えば２つのベクトル（ベクトルｖ₁，ベクトルｖ₂）から計算する場合、図１１に示すように、１つの直線がベクトルｖ₁，ｖ₂に直交するときの交点であるベクトルｖ₁上の最近傍点aとベクトルｖ₂上の最近傍点ｂとの中点ｍを、最小二乗法を用いて算出することになる。

誤差算出手段１８は、一般化すると、ｎ個の各ベクトルとの距離の総和が最小となる一点を最接位置として求める。具体的には、再生位置をＰ＝（Ｃ_x＋ｅ_x，Ｃ_y＋ｅ_y，ｄ）、カメラ毎に求めた各ベクトルをｖ_i、これら各ベクトルの単位ベクトルをｖ_i′、各カメラの中心位置をＡ_iとして、三平方の定理によりＰと各ベクトルｖ_iとの距離を求めると、それらの二乗和Ｅは次の式（１０）で表すことができる。

なお、式（１０）の右辺において、ＰやＡ_iは位置ベクトルであり、記号「・」はベクトルの内積である。この式（１０）における二乗和Ｅが最小となるＰを算出することで、再生位置誤差ｅ_x、ｅ_yおよびｄを算出することができる。

本実施形態によれば、立体像の３次元の再生位置誤差を算出することができる。なお、複数の検出器１１を用いることで複数の視点から立体像を撮影する場合について説明したが、これに限らず、単一の検出器１１を移動させながら複数の視点から立体像を撮影するようにしても、立体像の３次元の再生位置誤差を算出することができる。

以上、本発明の各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、インテグラル立体表示装置２０において、要素画像投射部２１は、プロジェクタ２３とコリメーターレンズ２４の代わりにバックライトと液晶パネルを用いて構成してもよい。又は、コリメーターレンズを用いずに、プロジェクタ２３の直接光をレンズアレイ２２に入射することとしてもよい。

また、誤差値測定手段１３の補正係数算出手段１４や誤差算出手段１８が、検出器１１で捉えたデータを解析し、輝点の位置を検出するものとしたが、検出器１１自体が、輝点の位置を測定して検出するようにしてもよい。
検出器１１は、カメラであるものとしたが、検出器１１に例えばフォトディテクターを使うようにしてもよい。

立体映像測定装置１０では、全体処理の統括は、誤差値測定手段１３又は要素画像生成手段１２で行うことができるし、それらとは別に専用の統括処理手段を設けてもよい。立体映像測定装置１０において、誤差値測定手段１３と要素画像生成手段１２とを分けて説明したが、これら２つの機能を１つのコンピュータで実現することもできる。

本発明は、複数の表示デバイスを用いた方式にも適用できる。たとえば、複数のプロジェクタを用いた表示装置の場合、１台のプロジェクタでマーカーを再生し、他のプロジェクタは非表示として測定を行う。各プロジェクタの視域が重複していれば、検出器は同じ位置に設置したままで構わない。視域が重複していない場合はプロジェクタごとに検出器の移動が必要になるが、各視点においてワールド座標の原点を共有して検出器の位置校正を行うことで、システム全体の補正調整が可能となる。

レンズアレイ２２を使用して輝点を表示画面内の所定位置に形成する方式のインテグラル立体表示装置２０を対象としていたが、ピンホールや点光源などを使用するその他のインテグラル方式においても適用できる。直視型のパネルを使った方式や、プロジェクタと拡散板を使った方式など、拡散光をレンズアレイに入射するインテグラル立体表示方式においても、図３（ａ）の要素レンズ２５の位置を、図３（ｂ）の輝点形成位置１０１とみなし、要素レンズ２５の輝度を輝点の輝度とみなすことで、本発明を適用することが可能である。

１０ 立体映像測定装置
１１ 検出器
１２ 要素画像生成手段
１３ 誤差値測定手段
１４ 補正係数算出手段
１５ 位置校正手段
１６ 誤差算出手段
１７ 歪係数算出手段
１８ 内部パラメーター校正手段
２０ インテグラル立体表示装置
２１ 要素画像投射部
２２ レンズアレイ（光学素子アレイ）
２５ レンズ（光学素子）
１０１ 輝点形成位置
Ｍ マーカー

Claims (11)

1. 複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定装置であって、
   前記インテグラル立体表示装置により所定位置に立体映像であるマーカーが再生されるように前記要素画像を生成する要素画像生成手段と、
   前記インテグラル立体表示装置の表示画面に前記光学素子に対応して形成された輝点の位置と輝度とを検出する検出器と、
   前記インテグラル立体表示装置で白表示を行ったときに検出された輝点の位置と輝度とを用いて前記検出器を校正する演算を行い、前記インテグラル立体表示装置において前記要素画像を投射したときに検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する誤差値測定手段と、
   を備えることを特徴とする立体映像測定装置。
2. 前記検出器は、前記インテグラル立体表示装置で白表示を行ったときに前記表示画面に形成された全輝点の位置と輝度とを単一の視点で検出し、
   前記誤差値測定手段は、
   前記白表示を行ったときに検出された全輝点の輝度に基づいて輝度値のばらつきを補正するための補正係数を輝点毎に算出する補正係数算出手段と、
   前記白表示を行ったときに検出された全輝点の位置に基づいて前記検出器の位置及び姿勢についてキャリブレーションを行う位置校正手段と、を備える請求項１に記載の立体映像測定装置。
3. 前記検出器は、前記要素画像を投射したときに前記表示画面に形成された輝点の位置と輝度を前記単一の視点で検出し、
   前記誤差値測定手段は、
   前記要素画像を投射したときに検出された輝度値に前記輝点毎の補正係数を乗じることで、再生されたマーカーを構成する輝点の輝度値を算出し、前記要素画像を投射したときに検出された輝点を前記マーカーについての前記所定位置に投影することで、再生されたマーカーを構成する輝点の位置を算出し、前記再生されたマーカーを構成する輝点の輝度分布を前記マーカーの理論的な輝度分布に近似させる演算によって前記マーカーが再生された位置の誤差値を算出する誤差算出手段を備える請求項２に記載の立体映像測定装置。
4. 前記誤差値測定手段は、
   前記インテグラル立体表示装置で白表示を行ったときに前記検出器の位置を変えることにより多視点で検出された全輝点の位置に基づいて画像の位置歪みを補正するための歪み係数を算出する歪係数算出手段を備える請求項１から請求項３のいずれか一項に記載の立体映像測定装置。
5. 前記検出器は、デジタルカメラであり、
   前記誤差値測定手段は、前記インテグラル立体表示装置で白表示を行ったときに前記デジタルカメラの位置を変えることにより多視点で検出された全輝点の位置に基づいて、前記デジタルカメラの内部パラメーターを校正する内部パラメーター校正手段を備える請求項１から請求項４のいずれか一項に記載の立体映像測定装置。
6. 前記検出器は、デジタルカメラ又はフォトディテクターであり、
   前記誤差値測定手段は、奥行きを除いた２次元の誤差値又は３次元の誤差値を測定する、請求項１から請求項４のいずれか一項に記載の立体映像測定装置。
7. 複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定方法であって、
   要素画像生成手段と、検出器と、誤差値測定手段と、を備える立体映像測定装置によって、前記検出器の事前校正を実施する事前校正工程と、
   前記立体映像測定装置によって、立体映像であるマーカーが再生された位置の誤差値を測定する測定工程と、を有し、
   前記事前校正工程は、
   前記インテグラル立体表示装置によって、白表示を行うことで前記インテグラル立体表示装置の表示画面に前記光学素子に対応した輝点を形成する第１表示工程と、
   前記検出器によって、前記表示画面を記録する記録工程と、
   前記表示画面に形成された輝点の位置と輝度とを検出する第１検出工程と、
   前記誤差値測定手段によって、前記検出器を校正する演算を行う演算工程と、を含み、
   前記測定工程は、
   前記要素画像生成手段によって、前記マーカーが所定位置に再生されるように前記要素画像を生成する生成工程と、
   前記インテグラル立体表示装置によって、前記要素画像を投射することで前記表示画面に輝点を形成して前記マーカーを所定位置に表示する第２表示工程と、
   前記検出器によって、前記表示画面に形成された輝点の位置と輝度とを検出する第２検出工程と、
   前記誤差値測定手段によって、前記検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する演算工程と、
   を含むことを特徴とする立体映像測定方法。
8. 前記事前校正工程は、
   前記検出器によって、前記白表示を行うことで前記表示画面に形成された全輝点の位置と輝度とを、単一の視点で検出し、
   前記誤差値測定手段によって、前記単一の視点で検出された全輝点の輝度に基づいて輝度値のばらつきを補正するための補正係数を輝点毎に算出する工程と、
   前記白表示を行ったときに検出された全輝点の位置に基づいて前記検出器の位置及び姿勢についてキャリブレーションを行う工程と、を含む請求項７に記載の立体映像測定方法。
9. 前記測定工程は、
   前記検出器によって、前記要素画像が投射されたときに前記表示画面に形成された輝点の位置と輝度を、前記単一の視点で検出し、
   前記誤差値測定手段によって、
   前記検出された輝度値に前記輝点毎の補正係数を乗じることで、再生されたマーカーを構成する輝点の輝度値を算出する工程と、
   前記検出され輝点を前記マーカーについての前記所定位置に投影することで、再生されたマーカーを構成する輝点の位置を算出する工程と、
   前記再生されたマーカーを構成する輝点の輝度分布を前記マーカーの理論的な輝度分布に近似させる演算によって前記マーカーが再生された位置の誤差値を算出する工程と、を含む請求項８に記載の立体映像測定方法。
10. 前記事前校正工程は、
    前記検出器の位置を変えて前記記録工程と前記検出工程とを複数回行うことで、前記白表示を行うことにより前記表示画面に形成された全輝点の位置を多視点で検出し、
    前記誤差値測定手段によって、前記多視点で検出された全輝点の位置に基づいて画像の位置歪みを補正するための歪み係数を算出する工程を含む請求項７に記載の立体映像測定方法。
11. 前記検出器は、デジタルカメラであり、
    前記事前校正工程は、
    前記デジタルカメラの位置を変えて前記記録工程と前記検出工程とを複数回行うことで、前記白表示を行うことで前記表示画面に形成された全輝点の位置を多視点で検出し、
    前記誤差値測定手段によって、前記多視点で検出された全輝点の位置に基づいて、前記デジタルカメラの内部パラメーターを校正する工程を含む請求項７に記載の立体映像測定方法。