JP6748563B2 - Stereoscopic image measuring device and stereoscopic image measuring method - Google Patents

Stereoscopic image measuring device and stereoscopic image measuring method Download PDF

Info

Publication number
JP6748563B2
JP6748563B2 JP2016230387A JP2016230387A JP6748563B2 JP 6748563 B2 JP6748563 B2 JP 6748563B2 JP 2016230387 A JP2016230387 A JP 2016230387A JP 2016230387 A JP2016230387 A JP 2016230387A JP 6748563 B2 JP6748563 B2 JP 6748563B2
Authority
JP
Japan
Prior art keywords
marker
image
bright
detector
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016230387A
Other languages
Japanese (ja)
Other versions
JP2018088595A (en
Inventor
隼人 渡邉
隼人 渡邉
河北　真宏
真宏 河北
直人 岡市
直人 岡市
久幸 佐々木
久幸 佐々木
三科　智之
智之 三科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2016230387A priority Critical patent/JP6748563B2/en
Publication of JP2018088595A publication Critical patent/JP2018088595A/en
Application granted granted Critical
Publication of JP6748563B2 publication Critical patent/JP6748563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、立体映像測定装置及び立体映像測定方法に関し、特に、インテグラル立体表示方式で再生される立体像の誤差を測定する立体映像測定装置及び立体映像測定方法に関する。 The present invention relates to a stereoscopic image measuring device and a stereoscopic image measuring method, and more particularly, to a stereoscopic image measuring device and a stereoscopic image measuring method for measuring an error of a stereoscopic image reproduced by an integral stereoscopic display method.

一般的にインテグラル立体表示方式では、ディスプレイ前面にレンズアレイを配置し、対応する要素画像をディスプレイに表示することで、水平及び垂直方向に視差のある裸眼立体映像を表示することができる。特に、輝点を表示画面の所定の位置に形成する方式では、複数の表示デバイスを用いることで、輝点の数を増やすなどして、表示特性を向上することが可能である（非特許文献１、２参照）。 Generally, in the integral stereoscopic display method, a lens array is arranged on the front surface of the display and corresponding elemental images are displayed on the display, so that a naked-eye stereoscopic image having parallax in the horizontal and vertical directions can be displayed. In particular, in a method of forming bright spots at predetermined positions on a display screen, it is possible to improve display characteristics by increasing the number of bright spots by using a plurality of display devices (Non-Patent Document 1). 1 and 2).

しかし、実際の表示装置では、要素画像とレンズアレイとの位置ずれや光学的な歪みにより、立体像の再生位置に誤差が生じる。そこで、立体像の再生位置に誤差が生じないように予め表示装置を補正調整する方法として、例えば、水平方向と垂直方向との２種類のグレイコードパターン（縞パターン）を投射し、観察者側から、カメラで撮影することで、要素画像の補正を行う方法（非特許文献３参照）が知られている。 However, in an actual display device, an error occurs in the reproduction position of the stereoscopic image due to the positional deviation between the elemental image and the lens array and optical distortion. Therefore, as a method of correcting and adjusting the display device in advance so that an error does not occur in the reproduction position of the stereoscopic image, for example, two types of gray code patterns (stripe patterns) in the horizontal direction and the vertical direction are projected, and the observer side Therefore, there is known a method (see Non-Patent Document 3) for correcting an elemental image by photographing with a camera.

渡邉隼人、外５名、「複数の高精細プロジェクターを用いたインテグラル立体表示」、映像情報メディア学会年次大会講演予稿集、2016年8月17日、34C-5Hayato Watanabe, 5 others, "Integral 3D display using multiple high-definition projectors", Proceedings of Annual Conference of the Institute of Image Information and Television Engineers, August 17, 2016, 34C-5 M. Yamasaki, et al., "High-density Light Field Reproduction Using Overlaid Multiple Projection Images", Proc. SPIE vol.7237, Stereoscopic Displays and Applications XX, 723709 (February 17, 2009)M. Yamasaki, et al., "High-density Light Field Reproduction Using Overlaid Multiple Projection Images", Proc. SPIE vol.7237, Stereoscopic Displays and Applications XX, 723709 (February 17, 2009) H. Liao, et. al, "Scalable High-resolution integral videography autostereoscopic display with a seamless multiprojection system", Applied Optics, Vol. 44, No. 3, 2005H. Liao, et. al, "Scalable High-resolution integral videography autostereoscopic display with a seamless multiprojection system", Applied Optics, Vol. 44, No. 3, 2005

しかしながら、従来技術では、要素画像とレンズアレイとの位置ずれが要素レンズ直径より大きかったり、位置ずれが非線形に生じていたりした場合に、充分な精度で要素画像を補正することができず、立体像の再生位置に誤差が生じないようにすることが困難であった。そこで、再生された立体像の位置誤差を測定した結果を、逆に、表示装置の補正調整に利用することで精度を高める手法が考えられる。この手法では、立体像である位置検出用のマーカーが所望の３次元位置に再生されるように要素画像を生成することでマーカーを再生し、それをカメラ等の検出器で撮影（検出）することでマーカーの再生位置誤差を測定する。ただし、測定前に検出器をどのように校正すればよいのか、測定中にマーカーをどのように撮影すればよいのか自明ではない。 However, in the prior art, when the positional deviation between the elemental image and the lens array is larger than the elemental lens diameter or the positional deviation occurs non-linearly, the elemental image cannot be corrected with sufficient accuracy, and the stereoscopic image cannot be corrected. It was difficult to prevent an error in the image reproduction position. Therefore, it is conceivable to use the result of measuring the position error of the reproduced stereoscopic image for the correction adjustment of the display device to improve the accuracy. In this method, a marker for position detection, which is a stereoscopic image, is reproduced by generating an element image so that the marker is reproduced at a desired three-dimensional position, and the marker is reproduced (photographed) by a detector such as a camera. By doing so, the playback position error of the marker is measured. However, it is not obvious how the detector should be calibrated before the measurement or how the marker should be photographed during the measurement.

検出器の位置校正の方法として、一般的には、キャリブレーションパターンの使用が考えられる。しかし、キャリブレーションパターンを設置する手間が掛かり、且つ、キャリブレーションパターンをディスプレイ自体に搭載したり、取り外したりするときの振動などの悪影響が問題となる。 As a method for calibrating the position of the detector, use of a calibration pattern is generally considered. However, it takes time and effort to install the calibration pattern, and adverse effects such as vibration when the calibration pattern is mounted on or removed from the display itself become a problem.

マーカーの撮影の方法として、拡散板をマーカーの結像位置に設置し、カメラのピント位置を拡散板に合わせて撮影する方法が考えられる。しかし、拡散板を設置する手間が掛かり、且つ、マーカーの表示位置を変更する場合には、カメラのピント位置の変更が必要になり、カメラの内部パラメーターが変化することで補正精度が悪化することが問題となる。 As a method of photographing the marker, a method in which a diffusion plate is installed at the image forming position of the marker and the focus position of the camera is aligned with the diffusion plate can be considered. However, it takes time and effort to install the diffuser plate, and when changing the display position of the marker, it is necessary to change the focus position of the camera, and the internal parameters of the camera change, which deteriorates the correction accuracy. Is a problem.

本発明は、以上のような問題点に鑑みてなされたものであり、インテグラル立体表示方式において、立体像が再生される位置の誤差を簡便に測定することのできる立体映像測定装置及び立体映像測定方法を提供することを課題とする。 The present invention has been made in view of the above problems, and in the integral stereoscopic display method, a stereoscopic image measuring device and a stereoscopic image that can easily measure an error in a position where a stereoscopic image is reproduced. It is an object to provide a measurement method.

前記課題を解決するために、本発明に係る立体映像測定装置は、複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定装置であって、要素画像生成手段と、検出器と、誤差値測定手段と、を備えることとした。 In order to solve the above problems, a stereoscopic image measuring device according to the present invention includes an optical element array in which a plurality of optical elements are two-dimensionally arranged, and an element image projection unit that projects an element image on the optical element array. A stereoscopic image measuring device for measuring a stereoscopic image displayed by the integral stereoscopic display device has an element image generating means, a detector, and an error value measuring means.

かかる構成によれば、立体映像測定装置は、要素画像生成手段によって、前記インテグラル立体表示装置により所定位置に立体映像であるマーカーが再生されるように前記要素画像を生成する。
そして、立体映像測定装置は、検出器によって、前記インテグラル立体表示装置の表示画面に前記光学素子に対応して形成された輝点の位置と輝度とを検出する。
そして、立体映像測定装置は、誤差値測定手段によって、前記インテグラル立体表示装置で白表示を行ったときに検出された輝点の位置と輝度とを用いて前記検出器を校正する演算を行い、前記インテグラル立体表示装置において前記要素画像を投射したときに検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する。 According to this configuration, the stereoscopic image measuring device generates the elemental image by the elemental image generating means so that the integral stereoscopic display device reproduces the marker which is the stereoscopic image at a predetermined position.
Then, the stereoscopic image measuring device detects the position and the brightness of the bright spot formed corresponding to the optical element on the display screen of the integral stereoscopic display device by the detector.
Then, the stereoscopic image measuring device performs an arithmetic operation for calibrating the detector by using the position and the brightness of the bright spot detected when the white display is performed by the integral stereoscopic display device by the error value measuring means. , The integral stereoscopic display device performs a calculation to obtain the position and brightness of the bright spots forming the marker using the positions and brightness of the bright spots detected when projecting the element image, and the predetermined position The error value of the position where the marker is reproduced is measured.

また、前記課題を解決するために、本発明に係る立体映像測定方法は、複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定方法であって、要素画像生成手段と、検出器と、誤差値測定手段と、を備える立体映像測定装置によって、前記検出器の事前校正を実施する事前校正工程と、前記立体映像測定装置によって、立体映像であるマーカーが再生された位置の誤差値を測定する測定工程と、を有することとした。 In order to solve the above-mentioned problems, a stereoscopic image measuring method according to the present invention includes an optical element array in which a plurality of optical elements are two-dimensionally arranged, and an element image projection unit that projects an element image on the optical element array. And a stereoscopic image measuring method for measuring a stereoscopic image displayed by an integral stereoscopic display device having an element image generating unit, a detector, and an error value measuring unit. It was decided to include a pre-calibration step of performing a pre-calibration of the detector, and a measurement step of measuring an error value of a position where a marker which is a stereoscopic image is reproduced by the stereoscopic image measuring device.

かかる手順によれば、立体映像測定方法は、事前校正工程に、前記インテグラル立体表示装置によって、白表示を行うことで前記インテグラル立体表示装置の表示画面に前記光学素子に対応した輝点を形成する第１表示工程と、前記検出器によって、前記表示画面を記録する記録工程と、前記表示画面に形成された輝点の位置と輝度とを検出する第１検出工程と、前記誤差値測定手段によって、前記検出器を校正する演算を行う演算工程と、を含む。
そして、立体映像測定方法は、測定工程に、前記要素画像生成手段によって、前記マーカーが所定位置に再生されるように前記要素画像を生成する生成工程と、前記インテグラル立体表示装置によって、前記要素画像を投射することで前記表示画面に輝点を形成して前記マーカーを所定位置に表示する第２表示工程と、前記検出器によって、前記表示画面に形成された輝点の位置と輝度とを検出する第２検出工程と、前記誤差値測定手段によって、前記検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する演算工程と、を含む。 According to such a procedure, the stereoscopic image measuring method includes a bright point corresponding to the optical element on the display screen of the integral stereoscopic display device by performing white display by the integral stereoscopic display device in the pre-calibration step. A first display step of forming, a recording step of recording the display screen by the detector, a first detecting step of detecting the position and the brightness of a bright spot formed on the display screen, and the error value measurement Calculating means for calibrating the detector by means.
Then, the stereoscopic image measuring method includes a generating step of generating the element image so that the marker is reproduced at a predetermined position by the element image generating means in the measuring step, and the element by the integral stereoscopic display device. A second display step of forming a bright spot on the display screen by projecting an image to display the marker at a predetermined position; and a position and brightness of the bright spot formed on the display screen by the detector. The second detection step of detecting and the calculation of the position and brightness of the bright spots forming the marker using the detected position and brightness of the bright spot by the error value measuring means, and the predetermined position Calculating the error value of the position at which the marker was reproduced with respect to.

本発明によれば、立体映像測定装置は、キャリブレーションパターンや拡散板を設置することなく表示画面を直接撮影することができる。そのため、立体像の再生位置誤差を簡便に測定することができる。 According to the present invention, the stereoscopic image measuring device can directly photograph the display screen without installing a calibration pattern or a diffusion plate. Therefore, the reproduction position error of the stereoscopic image can be easily measured.

本発明の第１実施形態に係る立体映像測定装置の構成を表す概略図である。It is a schematic diagram showing composition of a stereoscopic image measuring device concerning a 1st embodiment of the present invention. 側面視における輝点形成位置の説明図である。It is explanatory drawing of the bright spot formation position in a side view. 正面視における輝点の説明図であり、（ａ）はレンズアレイ、（ｂ）は図２に対応する輝点形成位置を示している。3A and 3B are explanatory diagrams of bright spots in a front view, FIG. 3A illustrates a lens array, and FIG. 2B illustrates bright spot formation positions corresponding to FIG. マーカーの説明図であり、（ａ）は再生表示されるマーカー、（ｂ）はその輝度分布、（ｃ）はマーカーの画面内での配置例である。It is explanatory drawing of a marker, (a) is a marker reproduced and displayed, (b) is the brightness|luminance distribution, (c) is an example of arrangement|positioning of a marker in a screen. 輝点の投影位置の説明図である。It is explanatory drawing of the projection position of a bright spot. 検出された輝点の説明図であり、（ａ）はマーカーを構成する輝点、（ｂ）は撮影画像中の輝点、（ｃ）は（ｂ）の一部拡大図を示している。It is explanatory drawing of the detected bright spot, (a) is the bright spot which comprises a marker, (b) is the bright spot in a picked-up image, (c) has shown the one part enlarged view of (b). 再生位置誤差の説明図である。It is explanatory drawing of a reproduction position error. 本発明の第１実施形態に係る立体映像測定方法の流れを表すフローチャートである。3 is a flowchart showing a flow of a stereoscopic image measuring method according to the first embodiment of the present invention. 図８に示す事前校正工程の流れを表すフローチャートである。9 is a flowchart showing the flow of the pre-calibration process shown in FIG. 8. 図８に示す再生位置誤差算出処理の流れを表すフローチャートである。9 is a flowchart showing a flow of a reproduction position error calculation process shown in FIG. 8. ベクトルの最接位置を説明するための説明図である。It is an explanatory view for explaining the closest position of a vector.

図１を参照し、本発明の実施形態に係る立体映像測定装置及び立体映像測定方法について、説明する。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするために誇張していることがある。 A stereoscopic image measuring apparatus and a stereoscopic image measuring method according to an embodiment of the present invention will be described with reference to FIG. 1. The sizes and positional relationships of members shown in the drawings may be exaggerated for clarity.

［インテグラル立体表示装置の構成］
立体映像測定方法に用いるシステムは、インテグラル立体表示装置と、立体映像測定装置と、により構成される。まず、インテグラル立体表示装置について説明する。ここでは光学素子アレイとしてレンズアレイを用いた場合について説明する。図１に示すインテグラル立体表示装置２０は、要素画像投射部２１と、レンズアレイ（光学素子アレイ）２２と、を備えている。 [Configuration of integral stereoscopic display device]
The system used for the stereoscopic image measuring method includes an integral stereoscopic display device and a stereoscopic image measuring device. First, the integral stereoscopic display device will be described. Here, a case where a lens array is used as the optical element array will be described. The integral stereoscopic display device 20 shown in FIG. 1 includes an element image projection unit 21 and a lens array (optical element array) 22.

要素画像投射部２１は、レンズアレイ２２に要素画像を投射するものであり、ここでは、プロジェクタ２３と、コリメーターレンズ２４と、を備えている。
プロジェクタ２３は、各要素レンズ（光学素子）２５に1対1で対応した要素画像群を投射する。
コリメーターレンズ２４は、プロジェクタ２３とレンズアレイ２２との間に配設され、プロジェクタ２３からの光が入射し、入射光を平行光にして出射する。 The elemental image projection unit 21 projects an elemental image onto the lens array 22, and includes a projector 23 and a collimator lens 24 here.
The projector 23 projects an element image group corresponding to each element lens (optical element) 25 on a one-to-one basis.
The collimator lens 24 is disposed between the projector 23 and the lens array 22, receives the light from the projector 23, and collimates the incident light to emit the parallel light.

この立体映像測定方法では、位置を検出するマーカーを再生するための要素画像群を表示する。要素画像投射部２１は、１回の表示で画面内に複数個のマーカーを表示する。なお、要素画像群は要素画像生成手段１２により生成する。 In this stereoscopic image measuring method, an element image group for reproducing a marker for detecting a position is displayed. The element image projection unit 21 displays a plurality of markers on the screen with one display. The element image group is generated by the element image generating means 12.

レンズアレイ２２には、プロジェクタ２３からコリメーターレンズ２４を介して投射された要素画像が入射する。これにより、インテグラル立体映像を再生することができる。このレンズアレイ２２には、複数の要素レンズ２５が２次元に配列されている。レンズアレイ２２には、微小な要素レンズ２５が密集した状態で配置されている。図１では、７個の要素レンズ２５を一次元で図示したが、要素レンズの個数は任意であり、典型的には数万以上となる。 The elemental image projected from the projector 23 via the collimator lens 24 enters the lens array 22. As a result, it is possible to reproduce the integral stereoscopic video. In this lens array 22, a plurality of element lenses 25 are two-dimensionally arranged. In the lens array 22, minute element lenses 25 are arranged in a dense state. In FIG. 1, the seven element lenses 25 are illustrated in a one-dimensional manner, but the number of element lenses is arbitrary, and is typically tens of thousands or more.

本実施形態では、一例として、要素レンズ２５が両凸レンズであるものとした。なお、要素レンズ２５の形状は円形に限らず、正方形でもよい。また、要素レンズ２５の配列は、正方格子状（グリッド構造）であるものとしたが、俵積状いわゆるラインオフセット状としてもよい。 In the present embodiment, as an example, the element lens 25 is a biconvex lens. The shape of the element lens 25 is not limited to the circular shape, but may be a square shape. Further, although the element lenses 25 are arranged in the shape of a square lattice (grid structure), they may be formed in the shape of a bag or a so-called line offset.

ここでは、インテグラル立体表示装置２０が、表示画面内の所定の位置に輝点を形成する場合について説明する。例として、図２及び図３に、レンズアレイ２２への入射光を平行光としたときに輝点が形成される位置を示す。図３（ａ）は、正面視におけるレンズアレイ２２、図３（ｂ）は正面視における輝点形成位置１０１を示している。 Here, a case where the integral stereoscopic display device 20 forms a bright spot at a predetermined position in the display screen will be described. As an example, FIGS. 2 and 3 show positions where bright spots are formed when the incident light on the lens array 22 is collimated. 3A shows the lens array 22 in front view, and FIG. 3B shows the bright spot forming position 101 in front view.

図２では、レンズアレイ２２を構成する要素レンズの焦点距離をｆとして、レンズアレイ２２をＺ＝−ｆの位置に設置しているものとする。このとき、輝点形成位置１０１は、表示画面、すなわち、Ｚ＝０（ＸＹ平面）に位置している。なお、インテグラル立体表示装置２０の表示画面は、厳密には、レンズアレイ２２から要素レンズ２５の焦点距離と同様の距離（例えば数ｍｍ程度）離間している。
各輝点は、レンズアレイ２２に所定の投射角度θで平行光１０２を入射したときに形成されたものである。図２において、符号１０３は、要素画像（要素レンズ２５の１個分の画像）の投射光線を示している。 In FIG. 2, it is assumed that the lens array 22 is installed at the position of Z=−f, where f is the focal length of the element lens forming the lens array 22. At this time, the bright spot forming position 101 is located on the display screen, that is, Z=0 (XY plane). The display screen of the integral stereoscopic display device 20 is strictly separated from the lens array 22 by the same distance (for example, about several mm) as the focal length of the element lens 25.
Each bright spot is formed when the parallel light 102 is incident on the lens array 22 at a predetermined projection angle θ. In FIG. 2, reference numeral 103 indicates a projection light beam of an elemental image (an image of one elemental lens 25).

図２のようにレンズアレイ２２に所定の角度θで平行光１０２を入射したとき、例えば要素レンズ２５ａの光軸１０４に対する輝点形成位置のシフト量ｇは、要素レンズ２５ａの焦点距離ｆと投射角度θとを用いて、次の式（１）で算出することができる。 When parallel light 102 is incident on the lens array 22 at a predetermined angle θ as shown in FIG. 2, for example, the shift amount g of the bright spot formation position with respect to the optical axis 104 of the element lens 25a is projected with the focal length f of the element lens 25a. It can be calculated by the following formula (1) using the angle θ.

ｇ＝ｆ×ｔａｎθ … 式（１） g=f×tan θ Equation (1)

［立体映像測定装置の構成］
次に立体映像測定装置について説明する。図１に示す立体映像測定装置１０は、インテグラル立体表示装置２０により表示された立体映像を測定する装置であり、検出器１１と、要素画像生成手段１２と、誤差値測定手段１３と、を備えている。 [Configuration of stereoscopic image measurement device]
Next, the stereoscopic image measuring device will be described. The stereoscopic image measuring device 10 shown in FIG. 1 is a device for measuring a stereoscopic image displayed by the integral stereoscopic display device 20, and includes a detector 11, an element image generating means 12, and an error value measuring means 13. I have it.

検出器１１は、インテグラル立体表示装置２０の表示画面に要素レンズ２５に対応して形成された輝点の位置と輝度とを検出するものである。
この検出器１１は、後記するように事前校正工程において（白表示を行ったときに）、表示画面に形成された全輝点の位置と輝度とを単一の視点で検出する。
また、検出器１１は、後記するように測定工程において（要素画像を投射したときに）表示画面に形成された輝点の位置と輝度を、白表示を行ったときと同じ視点で検出する。 The detector 11 detects the position and the brightness of the bright spot formed corresponding to the element lens 25 on the display screen of the integral stereoscopic display device 20.
As will be described later, this detector 11 detects the position and brightness of all bright spots formed on the display screen from a single viewpoint in the pre-calibration step (when white display is performed).
Further, the detector 11 detects the position and brightness of the bright spots formed on the display screen (when projecting the elemental image) in the measurement step, as will be described later, from the same viewpoint as when white display is performed.

検出器１１は、例えばデジタルカメラ又はフォトディテクターである。本実施形態では、一例として検出器１１は単一のデジタルカメラであるものとする。このように検出器１１にカメラを使用する場合、ピント位置が、インテグラル立体表示装置２０の表示画面、すなわち、図２のＺ＝０に形成された輝点の位置になるように制御する。また、一例として内部パラメーターが既知であり、撮影画像に対してはカメラ光学系の歪み補正を行うものとする。 The detector 11 is, for example, a digital camera or a photo detector. In the present embodiment, the detector 11 is, for example, a single digital camera. When the camera is used as the detector 11 as described above, the focus position is controlled so as to be the display screen of the integral stereoscopic display device 20, that is, the position of the bright spot formed at Z=0 in FIG. As an example, the internal parameters are known, and the distortion of the camera optical system is corrected for the captured image.

要素画像生成手段１２は、インテグラル立体表示装置２０により所定位置に立体映像であるマーカーが再生されるように要素画像を生成するものである。この要素画像生成手段１２は、画像処理手段で構成され、要素画像の生成方法は特に限定されない。
ここで、所定位置とは、インテグラル立体表示装置２０の表示画面から所定の奥行き距離だけ離間した３次元空間の位置である。所定位置については、この立体映像測定装置１０の利用者が、マーカーを表示させたい所望の位置を決定することができる。なお、単一の検出器１１で単一の視点でマーカーを検出する場合、マーカーの近似的な位置として、奥行きを除いた２次元の位置（画面内の位置）を検出する。 The elemental image generating means 12 generates an elemental image so that the integral stereoscopic display device 20 reproduces a marker which is a stereoscopic image at a predetermined position. The element image generation means 12 is composed of an image processing means, and the element image generation method is not particularly limited.
Here, the predetermined position is a position in a three-dimensional space that is separated from the display screen of the integral stereoscopic display device 20 by a predetermined depth distance. Regarding the predetermined position, the user of the stereoscopic image measuring device 10 can determine the desired position where the marker is to be displayed. When the single detector 11 detects a marker from a single viewpoint, a two-dimensional position (position within the screen) excluding depth is detected as an approximate position of the marker.

ここで、再生されるマーカーについて図４（ａ）〜図４（ｃ）を参照して説明する。
図４（ａ）は、再生表示されるマーカーの形状の一例である。本実施形態では、マーカーＭが、正面視で例えば円形状であり、中心ほど高い輝度分布を有しているものとする。なお、円形の外側の黒色の部分は、表示画面の背景を表している。 Here, the marker to be reproduced will be described with reference to FIGS. 4(a) to 4(c).
FIG. 4A is an example of the shape of the marker that is reproduced and displayed. In the present embodiment, it is assumed that the marker M has, for example, a circular shape when viewed from the front, and has a higher brightness distribution toward the center. The black portion outside the circle represents the background of the display screen.

例えば、ｘｙ平面上で−π／２≦ｘ≦π／２、−π／２≦ｙ≦π／２としたときに、マーカーの輝度は例えばｃｏｓｘ×ｃｏｓｙのように表すことができる。図４（ｂ）は、このマーカーＭのｘ軸方向の輝度分布を示す。 For example, when −π/2≦x≦π/2 and −π/2≦y≦π/2 on the xy plane, the marker brightness can be expressed as cosx×cosy, for example. FIG. 4B shows the luminance distribution of the marker M in the x-axis direction.

図４（ｃ）はマーカーの画面内での配置例である。ここでは、レンズアレイ２２を介して、一例として水平１１個×垂直７個の合計７７個のマーカーを再生表示した状態を模式的に示す。なお、マーカーの個数や３次元位置（個数と配置）はこれらに限定されるものではない。マーカーを画面全体に配置することで、マーカーの再生位置誤差について、画面全体の分布を算出することができる。 FIG. 4C is an example of the arrangement of the markers on the screen. Here, as an example, a state in which a total of 77 markers of 11 horizontal×7 vertical are displayed through the lens array 22 is schematically shown. The number of markers and the three-dimensional position (number and arrangement) are not limited to these. By arranging the markers on the entire screen, it is possible to calculate the distribution of the marker reproduction position errors on the entire screen.

なお、マーカーの再生可能な奥行き範囲は、インテグラル立体表示装置２０の調整状態と検出器１１の設置位置とにより決定する。もしも調整精度が低い状態で、奥行きのある位置にマーカーを表示すると、再生像に歪みや欠落が生じる。そこで、事前校正工程にて、最初は奥行き距離が短い位置にマーカーを表示してインテグラル立体表示装置２０を粗調整し、その後、マーカーの位置を変化させながら、段階的にインテグラル立体表示装置２０を微調整するなど、利用用途に応じて、適切に奥行き位置を決定することが好ましい。 The reproducible depth range of the marker is determined by the adjustment state of the integral stereoscopic display device 20 and the installation position of the detector 11. If a marker is displayed at a position with a depth when the adjustment accuracy is low, the reproduced image will be distorted or missing. Therefore, in the pre-calibration step, the integral stereoscopic display device 20 is first roughly adjusted by displaying the marker at a position with a short depth distance, and then the integral stereoscopic display device is gradually changed while changing the position of the marker. It is preferable to appropriately determine the depth position according to the intended use such as fine adjustment of 20.

誤差値測定手段１３は、立体映像測定装置１０において要素画像の生成以外の計算処理を行うものであり、主として、立体像の再生位置に関して奥行きを除いた２次元の誤差値を測定する。
誤差値測定手段１３は、後記する事前校正工程にて、インテグラル立体表示装置２０で白表示を行ったときに検出された輝点の位置と輝度とを用いて検出器１１を校正する演算を行うために、補正係数算出手段１４と、位置校正手段１５と、歪係数算出手段１６と、内部パラメーター校正手段１７と、を備えている。
また、誤差値測定手段１３は、後記する測定工程にて、インテグラル立体表示装置２０において要素画像を投射したときに検出された輝点の位置と輝度とを用いてマーカーを構成する輝点の位置と輝度とを求める演算を行い、所定位置に対するマーカーが再生された位置の誤差値を測定するために、誤差算出手段１８を備えている。 The error value measuring means 13 performs a calculation process other than the generation of the element image in the stereoscopic video measuring device 10, and mainly measures a two-dimensional error value with respect to the reproduction position of the stereoscopic image excluding the depth.
The error value measuring means 13 performs an operation for calibrating the detector 11 by using the position and brightness of the bright spot detected when white display is performed on the integral stereoscopic display device 20 in a pre-calibration step described later. In order to do so, the correction coefficient calculation means 14, the position calibration means 15, the distortion coefficient calculation means 16, and the internal parameter calibration means 17 are provided.
In addition, the error value measuring means 13 uses the positions and brightness of the bright spots detected when the elemental image is projected in the integral stereoscopic display device 20 in the measurement step described later to determine the bright spots forming the marker. An error calculating unit 18 is provided to perform a calculation for obtaining the position and the brightness and measure the error value of the position where the marker is reproduced with respect to the predetermined position.

補正係数算出手段１４は、事前校正工程にて白表示を行ったときに検出された全輝点の輝度に基づいて輝度値のばらつきを補正するための補正係数を輝点毎に算出するものである。なお、本実施形態では、事前校正工程において、補正係数算出手段１４が、検出器１１で捉えたデータを解析し、輝点の位置及び輝度を検出するものとした。検出器１１では、輝点は輝度分布を有する微小な点群として捉えられるため、補正係数算出手段１４は、撮影画像を二値化してラベリング処理するか、輝度勾配の頂点を算出することによって、各輝点の中心位置を、輝点形成位置１０１（図２）として検出する。インテグラル立体表示装置２０の表示画面の全体における輝点形成位置１０１の分布については、前記した式（１）で示した例のように、レンズアレイ２２の配列、各要素レンズ２５の位置座標及び焦点距離、要素画像投射部２１の構成（投射角度）から算出することができる。補正係数算出手段１４は、輝点形成位置の分布と同一の分布の検出点群を輝点とみなし、それ以外の検出点はノイズとして除去する。なお、輝点の輝度値は、撮影画像における輝点の画素値の平均により求めることができる。 The correction coefficient calculating means 14 calculates a correction coefficient for correcting the variation of the brightness value for each bright point based on the brightness of all the bright points detected when the white display is performed in the pre-calibration step. is there. In the present embodiment, in the pre-calibration step, the correction coefficient calculation means 14 analyzes the data captured by the detector 11 to detect the position and brightness of the bright spot. In the detector 11, the bright spots are recognized as a minute point group having a luminance distribution, and therefore the correction coefficient calculating unit 14 binarizes the captured image and performs the labeling process, or calculates the apex of the luminance gradient. The center position of each bright spot is detected as the bright spot forming position 101 (FIG. 2). Regarding the distribution of the bright spot formation positions 101 on the entire display screen of the integral stereoscopic display device 20, the arrangement of the lens array 22, the position coordinates of each element lens 25, and It can be calculated from the focal length and the configuration (projection angle) of the element image projection unit 21. The correction coefficient calculation means 14 regards the detection point group having the same distribution as the distribution of the bright spot formation positions as bright points, and removes the other detection points as noise. The brightness value of the bright spot can be obtained by averaging the pixel values of the bright spots in the captured image.

補正係数算出手段１４で算出する補正係数は、レンズアレイ２２を構成する各要素レンズ２５の成形誤差によって生じる輝度値のばらつきを、後記する測定工程において補正（正規化）するための係数である。補正係数算出手段１４は、白表示を行ったときに単一の視点で検出器１１によって捉えたデータを解析することで検出した各輝点の輝度値に基づいて、全輝度値の平均値又は中央値を求め、それを基準値とする。補正係数算出手段１４は、各輝点について、輝度値と基準値との比を求め、各輝点の輝度値の補正係数とする。なお、輝度値が極端に低い輝点については、要素レンズ２５が不良であるものとみなし、計算対象から除去するようにしてもよい。 The correction coefficient calculated by the correction coefficient calculation means 14 is a coefficient for correcting (normalizing) the variation in the brightness value caused by the molding error of each element lens 25 forming the lens array 22 in the measurement process described later. The correction coefficient calculation means 14 is based on the brightness value of each bright spot detected by analyzing the data captured by the detector 11 from a single viewpoint when white display is performed, or the average value of all brightness values or Obtain the median value and use it as the reference value. The correction coefficient calculation means 14 obtains the ratio between the brightness value and the reference value for each bright point, and uses it as the correction coefficient for the brightness value of each bright point. It should be noted that a bright point having an extremely low luminance value may be regarded as a defective element lens 25 and may be removed from the calculation target.

位置校正手段１５は、事前校正工程にて白表示を行ったときに検出された全輝点の位置に基づいて検出器１１の位置及び姿勢についてキャリブレーションを行うものである。
位置校正手段１５は、検出された輝点の位置に実座標を割り当て、下記の参考文献１などで記載されている一般的な校正手法を用いることで、検出器１１の位置と姿勢を算出する。ここで、実座標の原点については、任意の位置を指定するか、画面中央の１つの輝点のみ異なる色となるように表示し、これを原点とする。 The position calibrating means 15 calibrates the position and orientation of the detector 11 based on the positions of all bright spots detected when white display is performed in the pre-calibration step.
The position calibration means 15 calculates the position and orientation of the detector 11 by assigning real coordinates to the positions of the detected bright spots and using a general calibration method described in Reference 1 below. .. Here, with respect to the origin of the real coordinates, an arbitrary position is designated, or only one bright point in the center of the screen is displayed so as to have a different color, and this is used as the origin.

（参考文献１）Zhang, Zhengyou, "A flexible new technique for camera calibration" IEEE Transactions on pattern analysis and machine intelligence 22.11 (2000), 1330-1334 (Reference 1) Zhang, Zhengyou, "A flexible new technique for camera calibration" IEEE Transactions on pattern analysis and machine intelligence 22.11 (2000), 1330-1334

歪係数算出手段１６は、事前校正工程にて白表示を行ったときに検出器１１の位置を変えることにより多視点で検出された全輝点の位置に基づいて画像の位置歪みを補正するための歪み係数を算出するものである。これは、輝点形成位置の歪みを補正するための処理である。
インテグラル立体表示装置２０の設計が理想的であれば歪は発生しないが、実際の表示装置では、要素レンズ２５の成形誤差や、レンズアレイ２２前段のコリメーターレンズ２４のレンズ歪みにより、輝点形成位置に歪みが生じる場合がある。輝点形成位置の歪みは、立体像の再生位置誤差の測定精度低下の原因となる。 The distortion coefficient calculation means 16 corrects the positional distortion of the image based on the positions of all bright spots detected from multiple viewpoints by changing the position of the detector 11 when white display is performed in the pre-calibration step. The distortion coefficient of is calculated. This is a process for correcting the distortion of the bright spot formation position.
If the integral stereoscopic display device 20 is ideally designed, no distortion occurs. However, in an actual display device, a bright spot is generated due to a molding error of the element lens 25 and a lens distortion of the collimator lens 24 in the preceding stage of the lens array 22. The formation position may be distorted. The distortion of the bright spot forming position causes a decrease in measurement accuracy of the reproduction position error of the stereoscopic image.

歪係数算出手段１６は、歪み係数の算出にあたっては、歪みモデルを考慮した透視投影変換モデルを作成する。歪みが放射方向に生じると仮定して、一般的な透視投影変換モデルに歪みモデルを加えた例を以下の式（２）〜式（７）に示す。 The distortion coefficient calculation means 16 creates a perspective projection conversion model in consideration of the distortion model when calculating the distortion coefficient. Assuming that distortion occurs in the radial direction, examples of adding a distortion model to a general perspective projection transformation model are shown in the following expressions (2) to (7).


ただし、式（２）〜式（７）において、スモールｘ、ｙ、ｚは、カメラ座標系である。Ｒは回転、ｔは平行移動を示す行列であり、これらによって検出器１１の姿勢を示す。（ｕ，ｖ）は、画像座標（投影面座標）で表した、撮影画像中の輝点形成位置である。（Ｘ’，Ｙ’，Ｚ）は、ワールド座標で表した、理想的な（無歪の）輝点形成位置である。（Ｘ，Ｙ，Ｚ）は、ワールド座標で表した、歪みを含む輝点形成位置である。ｋ1、ｋ2、ｋ3は、放射方向の歪み係数である。なお、カメラの内部パラメーターは既知（校正済）であるものとし、焦点距離ｆx、ｆyと画像中心ｃx、ｃyは既知とする。 However, in Expressions (2) to (7), the small x, y, and z are camera coordinate systems. R is a matrix showing rotation and t is a matrix showing parallel movement, and these show the attitude of the detector 11. (U, v) is a bright spot formation position in the captured image, which is represented by image coordinates (projection plane coordinates). (X', Y', Z) is an ideal (non-distortion) bright spot formation position expressed in world coordinates. (X, Y, Z) is a bright spot formation position including distortion expressed in world coordinates. k 1 , k 2 and k 3 are distortion coefficients in the radial direction. The internal parameters of the camera are known (calibrated), and the focal lengths f x and f y and the image centers c x and c y are known.

歪係数算出手段１６は、前記した式（２）に基づいて作成した再投影誤差の評価関数に対して、レーベンバーグ・マーカート法などの最適化アルゴリズムを適用することで、歪み係数ｋ1、ｋ2、ｋ3を含む未知数の算出を行う。なお、輝点形成位置の検出情報は、多視点で検出する必要がある。 The distortion coefficient calculation means 16 applies an optimization algorithm such as the Levenberg-Markt method to the reprojection error evaluation function created based on the above-described equation (2), and thus the distortion coefficients k 1 and k An unknown number including 2 and k 3 is calculated. Note that the detection information of the bright spot formation position needs to be detected from multiple viewpoints.

内部パラメーター校正手段１７は、検出器１１が内部パラメーター未校正のデジタルカメラであるときに、その内部パラメーターを校正するためのものである。この内部パラメーター校正手段１７は、事前校正工程にて白表示を行ったときにデジタルカメラの位置を変えることにより多視点で検出された全輝点の位置に基づいて、デジタルカメラの内部パラメーターを校正する。内部パラメーター校正手段１７は、前記した参考文献１などで記載されている一般的な校正手法を適用することで、内部パラメーターを算出する。なお、カメラの位置を変えると、前記した式（２）における姿勢Ｒ，ｔが変化することになる。 The internal parameter calibrating means 17 is for calibrating the internal parameters when the detector 11 is a digital camera with no internal parameters calibrated. The internal parameter calibrating means 17 calibrates the internal parameters of the digital camera based on the positions of all bright spots detected from multiple viewpoints by changing the position of the digital camera when white display is performed in the pre-calibration process. To do. The internal parameter calibrating means 17 calculates the internal parameter by applying the general calibration method described in the above-mentioned reference document 1 and the like. It should be noted that if the position of the camera is changed, the postures R and t in the above equation (2) will change.

誤差算出手段１８は、再生されたマーカーを構成する輝点の位置及び輝度を算出し、マーカーの理論的な輝度分布に近似させることで、マーカーが再生された位置の誤差値を算出するものである。なお、本実施形態では、測定工程において、誤差算出手段１８が、検出器１１で捉えたデータを解析し、輝点の位置及び輝度を検出するものとした。 The error calculating means 18 calculates the position and brightness of the bright spots constituting the reproduced marker and approximates the theoretical brightness distribution of the marker to calculate the error value of the reproduced position of the marker. is there. In the present embodiment, in the measuring step, the error calculating means 18 analyzes the data captured by the detector 11 to detect the position and brightness of the bright spot.

誤差算出手段１８は、測定工程にて要素画像を投射したときに検出された輝点をマーカーについての所定位置に投影することで、再生されたマーカーを構成する輝点の位置を検出する。ここで、輝点の投影位置について図５を参照して説明する。図５は、図２と同様な３次元空間を用いた輝点の投影位置の説明図である。図５において、図２と同様な構成には同様の符号を付して説明を省略する。 The error calculating means 18 detects the position of the bright spots constituting the reproduced marker by projecting the bright spots detected when the elemental image is projected in the measuring step onto the predetermined positions of the markers. Here, the projection position of the bright spot will be described with reference to FIG. FIG. 5 is an explanatory diagram of projected positions of bright spots using the same three-dimensional space as in FIG. In FIG. 5, the same components as those in FIG.

マーカーＭの所望の３次元の再生位置についての奥行き位置をＺ＝ｄの位置とする。つまり、マーカーの奥行き距離をｄとする。なお、図５では、簡便のため、マーカーを構成する輝点は、Ｙ軸に平行な一次元配列の４つの要素レンズから形成されているものとしているが、図６のように４×４の２次元配列の輝点を想定している。
図５に示すように、マーカーＭを構成する要素画像の画素１２１，１２２，１２３，１２４はそれぞれ異なる輝点形成位置１０１を通過し、Ｚ＝ｄに設定された輝点の投影位置１１１において、マーカーの立体像を結像する。なお、マーカーの立体像は輝点間隔（＝要素レンズ間隔）でサンプリングされ、要素画像は、輝点に対する視点に応じた輝度情報になる。このとき、検出器１１は、ピント位置を輝点形成位置１０１に合わせており、誤差算出手段１８は、検出器１１で捉えたデータを解析し、次のようにして輝点形成位置１０１の輝点の位置及び輝度を検出する。 The depth position of the desired three-dimensional reproduction position of the marker M is set to Z=d. That is, the depth distance of the marker is d. Note that, in FIG. 5, for the sake of simplicity, the bright spots forming the marker are formed of four element lenses in a one-dimensional array parallel to the Y-axis, but as in FIG. A bright spot in a two-dimensional array is assumed.
As shown in FIG. 5, the pixels 121, 122, 123, and 124 of the element image forming the marker M pass through different bright spot forming positions 101, respectively, and at the bright spot projection position 111 set to Z=d, Form a stereoscopic image of the marker. The three-dimensional image of the marker is sampled at the bright spot interval (=element lens interval), and the element image becomes luminance information according to the viewpoint with respect to the bright spot. At this time, the detector 11 aligns the focus position with the bright spot formation position 101, and the error calculation unit 18 analyzes the data captured by the detector 11 and performs the bright spot formation position 101 brightening as follows. Detect the position and brightness of the points.

まず、輝点の位置に関しては、画像座標（投影面座標）で表した、撮影画像中の輝点形成位置を（ｕ，ｖ）、マーカーの奥行き距離をｄ、輝点の投影位置を(Ｘd，Ｙd，ｄ)とすると、前記した式（２）においてＸをＸdに置き換えると共に、ＹをＹdに置き換えた次の式（８）から、未知数Ｘd，Ｙdを求めることで、輝点の投影位置(Ｘd，Ｙd，ｄ)を算出する。 First, regarding the position of the bright spot, the bright spot formation position in the captured image expressed by image coordinates (projection plane coordinates) is (u, v), the depth distance of the marker is d, and the bright spot projection position is (X d, Y d, When d), is replaced with an X to X d in the equation (2), the Y from the following equation (8) is replaced with Y d, by obtaining unknown X d and Y d , The projection position (X d , Y d , d) of the bright spot is calculated.

次に、輝点の輝度の検出方法について、図６（ａ）〜図６（ｃ）を参照（適宜図５参照）して説明する。ここでは、マーカーが４×４個の１６個の輝点で構成されているものとする。なお、実際の表示装置では、人間が離れた距離で観察したときは、輝点間隔が目の分解能と比べて密な状態となり、輝点として識別されずに立体像が知覚されることになる。 Next, a method of detecting the brightness of the bright spot will be described with reference to FIGS. 6A to 6C (see FIG. 5 as appropriate). Here, it is assumed that the marker is composed of 4×4 16 bright points. Note that in an actual display device, when a human observes at a distance, the bright spot interval becomes denser than the resolution of the eyes, and a stereoscopic image is perceived without being identified as bright spots. ..

図６（ａ）は概ね二点鎖線で示す外周を持つマーカーＭにおいて、マーカーを構成する４×４個の輝点を示す。輝点１３１，１３２，１３３，１３４は、図５においてマーカーＭを構成する要素画像の画素１２１，１２２，１２３，１２４により形成されたものである。 FIG. 6(a) shows 4×4 bright spots forming a marker in a marker M having an outer circumference indicated by a two-dot chain line. The bright points 131, 132, 133, and 134 are formed by the pixels 121, 122, 123, and 124 of the elemental images that form the marker M in FIG.

図６（ｂ）は、検出器１１によって撮影された撮影画像１４０を示している。撮影画像１４０に記録された輝点１４１，１４２，１４３，１４４は、図５において投影位置１１１ではなく輝点形成位置１０１にピントを合わせて撮影された輝点である。
図６（ｃ）は、図６（ｂ）の撮影画像１４０において輝点１４１を含む領域１４０ａの拡大図である。検出器１１の解像度に応じて異なるが、撮影画像１４０において輝点１４１は例えば数十個の画素で形成される。よって、誤差算出手段１８は、撮影画像１４０における輝点を構成する数十画素の画素値の平均として輝点の輝度値を検出することができる。 FIG. 6B shows the captured image 140 captured by the detector 11. Bright spots 141, 142, 143, and 144 recorded in the captured image 140 are bright spots captured by focusing on the bright spot forming position 101 instead of the projection position 111 in FIG.
FIG. 6C is an enlarged view of a region 140a including the bright spot 141 in the captured image 140 of FIG. 6B. Although different depending on the resolution of the detector 11, the bright spot 141 is formed by, for example, several tens of pixels in the captured image 140. Therefore, the error calculating unit 18 can detect the brightness value of the bright spot as the average of the pixel values of several tens of pixels that form the bright spot in the captured image 140.

誤差算出手段１８は、測定工程にて要素画像を投射したときに検出された輝度値に輝点毎の補正係数を乗じることで、再生されたマーカーを構成する輝点の輝度値を算出する。
本実施形態では、誤差算出手段１８は、検出された輝度値に対して、補正係数算出手段１４によって算出された輝点毎の補正係数を乗じることで、マーカーＭを構成する輝点の輝度値を算出する。 The error calculating means 18 calculates the brightness value of the bright spots constituting the reproduced marker by multiplying the brightness value detected when the element image is projected in the measuring step by the correction coefficient for each bright spot.
In the present embodiment, the error calculating unit 18 multiplies the detected brightness value by the correction coefficient for each bright point calculated by the correction coefficient calculating unit 14 to obtain the brightness value of the bright point forming the marker M. To calculate.

誤差算出手段１８は、再生されたマーカーを構成する輝点の輝度分布をマーカーの理論的な輝度分布に近似させる演算によってマーカーが再生された位置の誤差値を算出する。
マーカーが再生された位置の誤差値（再生位置誤差）は、３次元の誤差値であるが、本実施形態では、近似的に、奥行きを除いた２次元の誤差値として扱う。この場合、投影面におけるｘ方向及びｙ方向の再生位置誤差をｅx、ｅyとする。 The error calculating means 18 calculates an error value at the position where the marker is reproduced by an operation of approximating the brightness distribution of the bright points forming the reproduced marker to the theoretical brightness distribution of the marker.
The error value at the position where the marker is reproduced (reproduction position error) is a three-dimensional error value, but in the present embodiment, it is approximately treated as a two-dimensional error value excluding the depth. In this case, reproduction position errors in the x and y directions on the projection plane are defined as e x and e y .

図７に示す例では、誤差算出手段１８は、検出された再生位置１５０のマーカーを構成する輝点により算出された輝度値を、正しい位置である再生予定位置１６０のマーカーの理論的な輝度値に近似させることで、マーカーの再生位置誤差ｅx、ｅyを算出する。
具体的には、誤差算出手段１８は、次の式（９）で表される評価関数Ｅが最小となるように、最小二乗法により、再生位置誤差ｅx、ｅyおよび調整係数ａを算出する。 In the example shown in FIG. 7, the error calculating means 18 uses the brightness value calculated by the bright spots forming the marker of the detected reproduction position 150 as the theoretical brightness value of the marker at the reproduction scheduled position 160 which is the correct position. The reproduction position errors e x and e y of the marker are calculated by approximating
Specifically, the error calculating means 18 calculates the reproduction position errors e x , e y and the adjustment coefficient a by the least squares method so that the evaluation function E represented by the following equation (9) is minimized. To do.

ただし、（Ｘd，Ｙd，ｄ）はマーカーを構成する輝点の投影位置、ＬIはマーカーを構成する輝点の輝度、ＬMはマーカーの輝度の理論値である。なお、マーカーの輝度の理論値としては、例えば、図４（ｂ）に例示した輝度分布ｃｏｓｘ×ｃｏｓｙ等を用いることができる。 However, (X d , Y d , d) is the projected position of the bright spots forming the marker, L I is the brightness of the bright spots forming the marker, and L M is the theoretical value of the brightness of the marker. As the theoretical value of the brightness of the marker, for example, the brightness distribution cosx×cosy illustrated in FIG. 4B can be used.

［立体映像測定方法の流れ］
次に、立体映像測定方法の流れについて図８を参照（適宜、図１参照）して説明する。立体映像測定方法は、立体映像測定装置１０によって、検出器１１の事前校正を実施する事前校正工程（ステップＳ１１）と、立体映像測定装置１０によって、立体映像であるマーカーが再生された位置の誤差値を測定する測定工程（ステップＳ１３〜ステップＳ１６）と、を有する。なお、本実施形態では、単一の検出器１１を使用する。 [Flow of 3D image measurement method]
Next, the flow of the stereoscopic image measurement method will be described with reference to FIG. 8 (see FIG. 1 as appropriate). The stereoscopic image measuring method includes a pre-calibration step (step S11) of performing a pre-calibration of the detector 11 by the stereoscopic image measuring device 10 and an error of a position at which a marker which is a stereoscopic image is reproduced by the stereoscopic image measuring device 10. And a measurement step of measuring a value (steps S13 to S16). In this embodiment, a single detector 11 is used.

事前校正（ステップＳ１１）では、主として検出器１１の位置校正と輝点の輝度値の補正係数の算出を行う。この事前校正工程の詳細については後記する。そして、立体映像測定装置１０は、例えば、要素画像生成手段１２に開始指示が入力されるまで待機し（ステップＳ１２:Ｎｏ）、開始指示が入力されたと判定した場合（ステップＳ１２:Ｙｅｓ）、測定工程を開始する。 In the pre-calibration (step S11), the position of the detector 11 is calibrated and the correction coefficient of the brightness value of the bright spot is calculated. The details of this pre-calibration process will be described later. Then, the stereoscopic image measuring apparatus 10 waits until a start instruction is input to the element image generation unit 12 (step S12: No), and when it is determined that the start instruction is input (step S12: Yes), the measurement is performed. Start the process.

そして、立体映像測定装置１０は、要素画像生成手段１２によって、マーカーを表示させようとする予め設定された所定位置に、マーカーが再生されるように要素画像群を生成する（ステップＳ１３：生成工程）。また、インテグラル立体表示装置２０は、ステップＳ１３で生成された要素画像群を投射することで表示画面に輝点を形成してマーカーを所定位置に再生表示する（ステップＳ１４：第２表示工程）。 Then, the stereoscopic image measuring apparatus 10 causes the element image generating unit 12 to generate an element image group so that the marker is reproduced at a predetermined position where the marker is to be displayed (step S13: generating step). ). In addition, the integral stereoscopic display device 20 forms a bright spot on the display screen by projecting the element image group generated in step S13 and reproduces and displays the marker at a predetermined position (step S14: second display step). ..

そして、立体映像測定装置１０は、検出器１１によって、再生されたマーカーを検出する。そして、人がマーカーを目視して、マーカーの再生像が検出可能かどうか確認する。マーカーの再生像に欠落があったり、再生像の歪みが大きかったりするなど、検出が不可能である場合（ステップＳ１５：Ｎｏ）、ステップＳ１３へ戻り、マーカーの奥行き距離を小さくした上で、再び要素画像の生成を行う。 Then, the stereoscopic image measuring device 10 detects the reproduced marker by the detector 11. Then, a person visually checks the marker to confirm whether the reproduced image of the marker can be detected. When detection is impossible due to a missing image in the reproduced image of the marker or a large distortion of the reproduced image (step S15: No), the process returns to step S13 to reduce the depth distance of the marker and then again. Generate element images.

一方、再生像に欠落等の問題がなければ、再生位置誤差の算出指示を装置に入力する。そして、立体映像測定装置１０は、例えば、誤差値測定手段１３に再生位置誤差の算出指示が入力されたと判定した場合（ステップＳ１５：Ｙｅｓ）、誤差値測定手段１３は、マーカーを構成する輝点の位置と輝度に関する検出情報から再生位置誤差を算出する（ステップＳ１６）。なお、再生位置誤差算出処理の詳細については後記するが、算出した再生位置誤差を、表示装置についての既存の補正調整手法などに適用するようにしてもよい。 On the other hand, if there is no problem such as missing in the reproduced image, a reproduction position error calculation instruction is input to the apparatus. Then, when the stereoscopic image measuring apparatus 10 determines that the reproduction position error calculation instruction has been input to the error value measuring unit 13 (step S15: Yes), the error value measuring unit 13 determines that the bright points forming the marker are bright spots. A reproduction position error is calculated from the detection information relating to the position and the luminance (step S16). The details of the reproduction position error calculation process will be described later, but the calculated reproduction position error may be applied to an existing correction adjustment method for the display device.

そして、マーカーの再生位置を変化させたり、マーカーの配置を変更させたりして、更に再生位置誤差の測定を行う場合（ステップＳ１７：Ｎｏ）、ステップＳ１３に戻る。さらなる測定が必要ない場合、例えば、要素画像生成手段１２に終了指示が入力されたと判定した場合（ステップＳ１７：Ｙｅｓ）、立体映像測定装置１０は、処理を終了する。 When the reproduction position error is further measured by changing the reproduction position of the marker or changing the arrangement of the markers (step S17: No), the process returns to step S13. When no further measurement is necessary, for example, when it is determined that the end instruction has been input to the element image generating unit 12 (step S17: Yes), the stereoscopic image measuring apparatus 10 ends the process.

次に、事前校正工程について図９を参照（適宜、図２及び図３参照）して説明する。事前校正工程（ステップＳ１１）において、まず、図２及び図３（ｂ）に示すように、インテグラル立体表示装置２０は、白表示を行うことでインテグラル立体表示装置２０の表示画面に要素レンズ２５に対応した輝点を形成する。このとき、インテグラル立体表示装置２０は、白を表示して全ての画素を発光し、全輝点を最大輝度で発光する（ステップＳ２１：第１表示工程）。なお、全輝点の形成位置の分布は既知であるものとする。また、例えば、図２に示すように、レンズアレイ２２への入射光を平行光１０２とする。 Next, the pre-calibration step will be described with reference to FIG. 9 (see FIGS. 2 and 3 as appropriate). In the pre-calibration step (step S11), first, as shown in FIG. 2 and FIG. 3B, the integral stereoscopic display device 20 performs white display to display an element lens on the display screen of the integral stereoscopic display device 20. A bright spot corresponding to 25 is formed. At this time, the integral stereoscopic display device 20 displays white, emits light from all pixels, and emits all bright spots at maximum brightness (step S21: first display step). It is assumed that the distribution of the formation positions of all bright spots is known. Further, for example, as shown in FIG. 2, the incident light on the lens array 22 is parallel light 102.

図９のステップＳ２２は輝点形成位置の歪み補正に関する分岐処理であり、ステップＳ２３はカメラの内部パラメーター校正に関する分岐処理である。ここでは、一連の処理の中で、必要に応じてステップＳ２２及びステップＳ２３のどちらか片方の分岐処理だけを実施している。
例えば、本実施形態のように、カメラの内部パラメーターが校正済みの前提で、さらに輝点形成位置の歪み補正が必要である場合（ステップＳ２２:Ｎｏ）、ステップＳ２８に進み、後記するように輝点形成位置の歪み係数を算出する。なお、輝点形成位置の歪み係数を算出するためには、カメラの内部パラメーターが既知である必要がある。
一方、カメラの内部パラメーターが未校正である場合（ステップＳ２３:Ｎｏ）、ステップＳ２９に進み、後記するように内部パラメーターを推定する。なお、カメラの内部パラメーターを校正するためには輝点形成位置の歪み補正が行われている必要がある。 Step S22 of FIG. 9 is a branching process regarding the distortion correction of the bright spot formation position, and step S23 is a branching process regarding the internal parameter calibration of the camera. Here, in the series of processes, only one of the branch processes of step S22 and step S23 is performed as necessary.
For example, if the internal parameters of the camera have been calibrated as in the present embodiment, and it is necessary to further correct the distortion of the bright spot formation position (step S22: No), the process proceeds to step S28 and the brightness is corrected as described below. The distortion coefficient at the point forming position is calculated. In addition, in order to calculate the distortion coefficient of the bright spot formation position, the internal parameters of the camera need to be known.
On the other hand, when the internal parameters of the camera are not calibrated (step S23: No), the process proceeds to step S29, and the internal parameters are estimated as described later. In order to calibrate the internal parameters of the camera, it is necessary to correct the distortion of the bright spot formation position.

そして、輝点形成位置の歪み補正が不要である場合（ステップＳ２２:Ｙｅｓ）、且つ、カメラの内部パラメーターが校正済みである場合（ステップＳ２３:Ｙｅｓ）、ステップＳ２４に進み、検出器１１で、インテグラル立体表示装置２０の表示画面を撮影する。 Then, when the distortion correction of the bright spot formation position is not necessary (step S22: Yes) and the internal parameters of the camera have been calibrated (step S23: Yes), the process proceeds to step S24, and the detector 11 The display screen of the integral stereoscopic display device 20 is photographed.

ステップＳ２４（記録工程）では、インテグラル立体表示装置２０の視域内に検出器１１を設置し、表示画面を捉える。本実施形態のように検出器１１がデジタルカメラであるときは、ピント位置を輝点形成位置に合わせ、検出器１１によって、表示画面を記録する。 In step S24 (recording step), the detector 11 is installed in the visual field of the integral stereoscopic display device 20 and the display screen is captured. When the detector 11 is a digital camera as in the present embodiment, the focus position is aligned with the bright spot formation position, and the display screen is recorded by the detector 11.

そして、立体映像測定装置１０の誤差値測定手段１３は、補正係数算出手段１４によって、白表示を行ったときに検出器１１で捉えたデータを解析し、全ての輝点の位置と輝度を検出する（ステップＳ２５：第１検出工程）。なお、検出精度を高めるために、事前に表示画面を黒表示した状態で撮影し、背景差分法を用いてもよい。 Then, the error value measuring means 13 of the stereoscopic image measuring device 10 analyzes the data captured by the detector 11 when the white display is performed by the correction coefficient calculating means 14 to detect the positions and the brightness of all the bright spots. (Step S25: first detection step). In addition, in order to improve the detection accuracy, it is possible to use the background subtraction method by capturing an image with the display screen displayed in black in advance.

そして、誤差値測定手段１３は、補正係数算出手段１４によって、輝度値の補正係数を算出する（ステップＳ２６）。なお、輝度値の補正係数は、測定工程において輝度値のばらつきを補正するための係数であり、輝点毎に算出される。 Then, the error value measuring means 13 calculates the correction coefficient of the brightness value by the correction coefficient calculating means 14 (step S26). The correction coefficient of the brightness value is a coefficient for correcting the dispersion of the brightness value in the measurement process, and is calculated for each bright point.

そして、誤差値測定手段１３は、位置校正手段１５によって、検出された全輝点の位置に基づいて検出器１１を位置校正する演算を行う。すなわち、位置校正手段１５は、検出された輝点の位置に実座標を割り当て、検出器１１の位置と姿勢を算出する（ステップＳ２７：演算工程）。 Then, the error value measuring means 13 performs a calculation for calibrating the position of the detector 11 based on the positions of all bright spots detected by the position calibrating means 15. That is, the position calibrating means 15 assigns the actual coordinates to the positions of the detected bright points and calculates the position and orientation of the detector 11 (step S27: calculation step).

前記したステップＳ２２でＮｏの場合、誤差値測定手段１３は、歪係数算出手段１６によって、多視点で検出された全輝点の位置に基づいて、輝点形成位置の歪み係数を算出する（ステップＳ２８）。具体的には、歪係数算出手段１６は、前記した式（２）に基づいて作成した再投影誤差の評価関数に対して、レーベンバーグ・マーカート法などの最適化アルゴリズムを適用することで、歪み係数ｋ1、ｋ2、ｋ3を含む未知数の算出を行う。その際に、表示画面の撮影処理（ステップＳ２４に相当する処理）と、輝点の検出処理（ステップＳ２５に相当する処理）とを、検出器１１の位置を変化させながら複数回実施することで、表示画面に形成された全輝点の位置を多視点で検出する。なお、輝点の形成位置に歪みがない場合や、以前に歪み係数の算出を行っている場合、ステップＳ２８を実施する必要はない。 In the case of No in step S22 described above, the error value measuring unit 13 calculates the distortion coefficient of the bright spot forming position based on the positions of all the bright spots detected by the multi-viewpoint by the distortion coefficient calculating unit 16 (step). S28). Specifically, the distortion coefficient calculating unit 16 applies an optimization algorithm such as the Levenberg-Markt method to the evaluation function of the reprojection error created based on the above-described equation (2) to obtain the distortion. An unknown number including the coefficients k 1 , k 2 and k 3 is calculated. At that time, by performing the imaging process of the display screen (the process corresponding to step S24) and the bright spot detection process (the process corresponding to step S25) multiple times while changing the position of the detector 11. The positions of all bright spots formed on the display screen are detected from multiple viewpoints. If there is no distortion in the formation position of the bright spots, or if the distortion coefficient has been calculated before, step S28 need not be performed.

前記したステップＳ２３でＮｏの場合、誤差値測定手段１３は、内部パラメーター校正手段１７によって、多視点で検出された全輝点の位置に基づいて内部パラメーターを推定する（ステップＳ２９）。具体的には、内部パラメーター校正手段１７は、検出した多視点での輝点形成位置（Ｘ，Ｙ，Ｚ）の検出情報に対し、前記参考文献１などで記載されている一般的な校正手法を適用することで、内部パラメーターを算出する。なお、輝点形成位置の検出情報が多視点で必要であるため、表示画面の撮影処理（ステップＳ２４に相当する処理）と、輝点の検出処理（ステップＳ２５に相当する処理）とを、検出器１１の位置を変化させながら複数回実施する。 In the case of No in step S23 described above, the error value measuring means 13 estimates the internal parameters based on the positions of all bright spots detected from multiple viewpoints by the internal parameter correcting means 17 (step S29). Specifically, the internal parameter calibrating means 17 uses the general calibration method described in Reference 1 or the like for the detected information of the bright spot formation positions (X, Y, Z) at the detected multi-viewpoints. The internal parameters are calculated by applying Since the detection information of the bright spot formation position is required from multiple viewpoints, the shooting process of the display screen (the process corresponding to step S24) and the bright spot detection process (the process corresponding to step S25) are detected. This is performed multiple times while changing the position of the container 11.

次に、再生位置誤差算出処理について図１０を参照（適宜、図１、図５〜７及び図９参照）して説明する。まず、インテグラル立体表示装置２０の視域内に検出器１１を設置し、表示画面を捉える。そして、インテグラル立体表示装置２０は、要素画像群を投射することで表示画面に輝点を形成してマーカーＭを所定位置に再生表示する（図８のステップＳ１４：第２表示工程）。このとき、検出器１１の設置位置は、事前校正工程のステップＳ２４の処理のときと同じ視点で検出できるように同じ位置とする。そして、本実施形態のように検出器１１がデジタルカメラであるときは、ピント位置を事前校正工程から変化させず輝点形成位置に合わせたままとし、検出器１１によって、表示画面を撮影する（ステップＳ３１）。これにより、表示画面に形成された輝点の位置が検出される。 Next, the reproduction position error calculation processing will be described with reference to FIG. 10 (see FIGS. 1, 5 to 7 and 9 as appropriate). First, the detector 11 is installed in the visual field of the integral stereoscopic display device 20 and the display screen is captured. Then, the integral stereoscopic display device 20 forms a bright spot on the display screen by projecting the element image group and reproduces and displays the marker M at a predetermined position (step S14 in FIG. 8: second display step). At this time, the installation position of the detector 11 is set to the same position so that it can be detected from the same viewpoint as in the process of step S24 of the pre-calibration process. Then, when the detector 11 is a digital camera as in the present embodiment, the focus position is not changed from the pre-calibration step and is kept at the bright spot formation position, and the display screen is photographed by the detector 11 ( Step S31). As a result, the position of the bright spot formed on the display screen is detected.

そして、立体映像測定装置１０の誤差値測定手段１３は、誤差算出手段１８によって、検出器１１で捉えたデータを解析し、マーカーＭを構成する輝点の位置と輝度を検出する（ステップＳ３２：第２検出工程）。ここで、表示画面に形成される全輝点についての輝点形成位置１０１については、事前校正工程のステップＳ２５の処理で算出しているため、マーカーＭを構成する輝点の位置に関しては、その位置情報を利用する。そして、誤差算出手段１８は、マーカーＭを構成する各輝点（１３１〜１３４：図６（ａ）参照）の輝度値をそれぞれ算出する。ここで、輝点の輝度値は、輝点を構成する画素値の平均として検出することができる（図６（ｃ）参照）。なお、輝度値が一定以上で隣接した輝点群を、マーカーＭを構成する輝点群とみなす。 Then, the error value measuring means 13 of the stereoscopic image measuring apparatus 10 analyzes the data captured by the detector 11 by the error calculating means 18 to detect the position and brightness of the bright spots forming the marker M (step S32: Second detection step). Here, since the bright spot formation positions 101 for all the bright spots formed on the display screen are calculated in the process of step S25 of the pre-calibration step, the positions of the bright spots forming the marker M are Use location information. Then, the error calculating unit 18 calculates the brightness value of each bright point (131 to 134: see FIG. 6A) forming the marker M. Here, the brightness value of the bright spot can be detected as an average of the pixel values forming the bright spot (see FIG. 6C). It is to be noted that adjacent bright spot groups having a brightness value of a certain value or more are regarded as bright spot groups forming the marker M.

そして、誤差値測定手段１３は、誤差算出手段１８によって、輝度値の正規化を行う（ステップＳ３３：演算工程）。すなわち、誤差算出手段１８は、ステップＳ３２にて検出された輝度値に対して、事前校正工程のステップＳ２６の処理で算出した輝点毎の補正係数を乗じることで、マーカーＭを構成する輝点の輝度値を算出する。 Then, the error value measuring unit 13 normalizes the brightness value by the error calculating unit 18 (step S33: calculation step). That is, the error calculating means 18 multiplies the brightness value detected in step S32 by the correction coefficient for each bright point calculated in the process of step S26 of the pre-calibration step, thereby forming the bright points forming the marker M. The brightness value of is calculated.

そして、誤差値測定手段１３は、誤差算出手段１８によって、輝点をマーカーの所望の再生位置に投影する（図１０のステップＳ３４：演算工程、図５参照）。これにより、誤差値測定手段１３は、マーカーＭを構成する輝点の位置を算出する。 Then, the error value measuring means 13 causes the error calculating means 18 to project the bright point at the desired reproduction position of the marker (step S34 in FIG. 10: calculation step, see FIG. 5). As a result, the error value measuring means 13 calculates the positions of the bright points forming the marker M.

そして、誤差値測定手段１３は、誤差算出手段１８によって、マーカーＭを構成する輝点の輝度分布を、マーカーの輝度分布の理論値に近似して再生位置誤差を算出する（図１０のステップＳ３５：演算工程、図７参照）。 Then, the error value measuring unit 13 calculates the reproduction position error by the error calculating unit 18 by approximating the luminance distribution of the bright points forming the marker M to the theoretical value of the luminance distribution of the marker (step S35 in FIG. 10). : Calculation step, see FIG. 7).

本実施形態に係る立体映像測定装置１０によれば、検出器１１で捉えた輝点の位置と輝度情報とを利用して、検出器１１の位置校正と立体像の再生位置誤差の測定を行うことができる。したがって、キャリブレーションパターンや拡散板を設置することなく表示画面を直接撮影することができるので、立体像の再生位置誤差を簡便に測定することができる。
また、立体像を撮影する際に、拡散板をマーカーの再生位置に設置する必要がないので、マーカーの再生位置を変化させるたびに拡散板を移動させる手間を省くことができる。 According to the stereoscopic image measuring device 10 according to the present embodiment, the position of the bright spot captured by the detector 11 and the luminance information are used to perform position calibration of the detector 11 and measurement of a reproduction position error of the stereoscopic image. be able to. Therefore, the display screen can be directly photographed without installing a calibration pattern or a diffusing plate, and thus a reproduction position error of a stereoscopic image can be easily measured.
Further, since it is not necessary to install the diffusion plate at the reproduction position of the marker when capturing a stereoscopic image, it is possible to save the labor of moving the diffusion plate each time the reproduction position of the marker is changed.

（第２実施形態）
以下、複数の検出器１１を用いる形態を第２実施形態として説明する。なお、第１実施形態と同じ構成には同じ符号を付して適宜説明を省略する。 (Second embodiment)
Hereinafter, a mode using a plurality of detectors 11 will be described as a second embodiment. The same components as those in the first embodiment are designated by the same reference numerals, and the description will not be repeated.

例えば、マーカーの所望の再生位置（理論値）を（Ｃx，Ｃy，ｄ）とおいて、前記したステップＳ３５で算出する再生位置誤差ｅx、ｅyを併せて用いると、マーカー（再生像）の中心位置Ｐは、（Ｃx＋ｅx，Ｃy＋ｅy，ｄ）と表すことができる。この前提の下、まず、誤差算出手段１８は、各検出器１１において、カメラの中心位置と再生像の中心位置とが成すベクトルを算出する。例えば、ｎ個の検出器１１のうちのｉ番目（ｉ＝１，２，…，ｎ）のカメラの中心位置Ａiを始点とし、各カメラで検出した再生像の中心位置Ｐi（Ｃx＋ｅxi，Ｃy＋ｅyi，ｄ）を終点とするベクトルを、カメラ毎に求める。 For example, if the desired reproduction position (theoretical value) of the marker is set to (C x , C y , d) and the reproduction position errors e x and e y calculated in step S35 are used together, the marker (reproduction image) center position P of) can be expressed as (C x + e x, C y + e y, d). Under this premise, the error calculating means 18 first calculates the vector formed by the center position of the camera and the center position of the reproduced image in each detector 11. For example, starting from the center position A i of the i-th (i=1, 2,..., N) camera among the n detectors 11, the center position P i (C x of the reproduced image detected by each camera) A vector whose end point is +e xi , C y +e yi , d) is obtained for each camera.

そして、誤差算出手段１８は、全ベクトルの最接位置を算出することで、３次元の再生位置誤差を測定できる。ここで、ベクトルの交点ではなくベクトルの最接位置を算出するのは、実際の測定では、測定値の誤差により、３次元空間内ではベクトルが交点を持たず、ねじれの関係になるからである。例えば２つのベクトル（ベクトルｖ1，ベクトルｖ2）から計算する場合、図１１に示すように、１つの直線がベクトルｖ1，ｖ2に直交するときの交点であるベクトルｖ1上の最近傍点aとベクトルｖ2上の最近傍点ｂとの中点ｍを、最小二乗法を用いて算出することになる。 Then, the error calculating means 18 can measure the three-dimensional reproduction position error by calculating the closest position of all the vectors. Here, the reason why the closest position of the vector is calculated instead of the intersection point of the vector is that the vector does not have the intersection point in the three-dimensional space due to the error of the measurement value in the actual measurement, and the vector has a twist relationship. .. For example, when calculating from two vectors (vector v 1 and vector v 2 ), as shown in FIG. 11, the nearest point on the vector v 1 which is the intersection when one straight line is orthogonal to the vectors v 1 and v 2. The midpoint m between a and the nearest point b on the vector v 2 is calculated using the least squares method.

誤差算出手段１８は、一般化すると、ｎ個の各ベクトルとの距離の総和が最小となる一点を最接位置として求める。具体的には、再生位置をＰ＝（Ｃx＋ｅx，Ｃy＋ｅy，ｄ）、カメラ毎に求めた各ベクトルをｖi、これら各ベクトルの単位ベクトルをｖi′、各カメラの中心位置をＡiとして、三平方の定理によりＰと各ベクトルｖiとの距離を求めると、それらの二乗和Ｅは次の式（１０）で表すことができる。 The error calculating means 18, when generalized, finds, as the closest position, a point at which the total sum of the distances to the n vectors is the smallest. Specifically, a reproduction position P = (C x + e x , C y + e y, d), each vector obtained for each camera v i, the unit vectors of each vector v i ', the center of each camera When the distance between P and each vector v i is obtained by the Pythagorean theorem with the position being A i , the sum of squares E thereof can be expressed by the following equation (10).

なお、式（１０）の右辺において、ＰやＡiは位置ベクトルであり、記号「・」はベクトルの内積である。この式（１０）における二乗和Ｅが最小となるＰを算出することで、再生位置誤差ｅx、ｅyおよびｄを算出することができる。 In the right side of Expression (10), P and A i are position vectors, and the symbol “·” is an inner product of the vectors. The reproduction position errors e x , e y, and d can be calculated by calculating P that minimizes the sum of squares E in the equation (10).

本実施形態によれば、立体像の３次元の再生位置誤差を算出することができる。なお、複数の検出器１１を用いることで複数の視点から立体像を撮影する場合について説明したが、これに限らず、単一の検出器１１を移動させながら複数の視点から立体像を撮影するようにしても、立体像の３次元の再生位置誤差を算出することができる。 According to this embodiment, a three-dimensional reproduction position error of a stereoscopic image can be calculated. Although the case where a stereoscopic image is captured from a plurality of viewpoints by using a plurality of detectors 11 has been described, the present invention is not limited to this, and a stereoscopic image is captured from a plurality of viewpoints while moving a single detector 11. Even in this case, the three-dimensional reproduction position error of the stereoscopic image can be calculated.

以上、本発明の各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、インテグラル立体表示装置２０において、要素画像投射部２１は、プロジェクタ２３とコリメーターレンズ２４の代わりにバックライトと液晶パネルを用いて構成してもよい。又は、コリメーターレンズを用いずに、プロジェクタ２３の直接光をレンズアレイ２２に入射することとしてもよい。 Although the respective embodiments of the present invention have been described above, the present invention is not limited to these, and the invention can be carried out within a range not changing the gist thereof. For example, in the integral stereoscopic display device 20, the element image projection unit 21 may be configured by using a backlight and a liquid crystal panel instead of the projector 23 and the collimator lens 24. Alternatively, the direct light of the projector 23 may be incident on the lens array 22 without using the collimator lens.

また、誤差値測定手段１３の補正係数算出手段１４や誤差算出手段１８が、検出器１１で捉えたデータを解析し、輝点の位置を検出するものとしたが、検出器１１自体が、輝点の位置を測定して検出するようにしてもよい。
検出器１１は、カメラであるものとしたが、検出器１１に例えばフォトディテクターを使うようにしてもよい。 Further, the correction coefficient calculating means 14 and the error calculating means 18 of the error value measuring means 13 analyze the data captured by the detector 11 and detect the position of the bright spot. The position of the point may be measured and detected.
Although the detector 11 is a camera, the detector 11 may be a photodetector, for example.

立体映像測定装置１０では、全体処理の統括は、誤差値測定手段１３又は要素画像生成手段１２で行うことができるし、それらとは別に専用の統括処理手段を設けてもよい。立体映像測定装置１０において、誤差値測定手段１３と要素画像生成手段１２とを分けて説明したが、これら２つの機能を１つのコンピュータで実現することもできる。 In the stereoscopic video measuring device 10, the overall processing can be controlled by the error value measuring means 13 or the element image generating means 12, or a dedicated controlling processing means may be provided separately from them. In the stereoscopic image measuring device 10, the error value measuring means 13 and the element image generating means 12 are described separately, but these two functions can be realized by one computer.

本発明は、複数の表示デバイスを用いた方式にも適用できる。たとえば、複数のプロジェクタを用いた表示装置の場合、１台のプロジェクタでマーカーを再生し、他のプロジェクタは非表示として測定を行う。各プロジェクタの視域が重複していれば、検出器は同じ位置に設置したままで構わない。視域が重複していない場合はプロジェクタごとに検出器の移動が必要になるが、各視点においてワールド座標の原点を共有して検出器の位置校正を行うことで、システム全体の補正調整が可能となる。 The present invention can also be applied to a system using a plurality of display devices. For example, in the case of a display device using a plurality of projectors, one projector reproduces the marker and the other projectors do not display, and perform measurement. If the viewing areas of the projectors overlap, the detectors may remain installed at the same position. If the viewing zones do not overlap, it is necessary to move the detector for each projector, but by compensating the position of the detector by sharing the origin of the world coordinates at each viewpoint, the entire system can be corrected and adjusted. Becomes

レンズアレイ２２を使用して輝点を表示画面内の所定位置に形成する方式のインテグラル立体表示装置２０を対象としていたが、ピンホールや点光源などを使用するその他のインテグラル方式においても適用できる。直視型のパネルを使った方式や、プロジェクタと拡散板を使った方式など、拡散光をレンズアレイに入射するインテグラル立体表示方式においても、図３（ａ）の要素レンズ２５の位置を、図３（ｂ）の輝点形成位置１０１とみなし、要素レンズ２５の輝度を輝点の輝度とみなすことで、本発明を適用することが可能である。 The target was the integral stereoscopic display device 20 in which a bright spot is formed at a predetermined position in the display screen by using the lens array 22, but it is also applied in other integral systems using a pinhole, a point light source, or the like. it can. Even in the integral stereoscopic display method in which diffused light is incident on the lens array, such as a method using a direct-view type panel or a method using a projector and a diffusion plate, the position of the element lens 25 in FIG. It is possible to apply the present invention by regarding the luminance of the element lens 25 as the luminance of the bright spot and regarding it as the bright spot forming position 101 of 3(b).

１０ 立体映像測定装置
１１ 検出器
１２ 要素画像生成手段
１３ 誤差値測定手段
１４ 補正係数算出手段
１５ 位置校正手段
１６ 誤差算出手段
１７ 歪係数算出手段
１８ 内部パラメーター校正手段
２０ インテグラル立体表示装置
２１ 要素画像投射部
２２ レンズアレイ（光学素子アレイ）
２５ レンズ（光学素子）
１０１ 輝点形成位置
Ｍ マーカー 10 stereoscopic image measuring device 11 detector 12 element image generating means 13 error value measuring means 14 correction coefficient calculating means 15 position calibrating means 16 error calculating means 17 distortion coefficient calculating means 18 internal parameter calibrating means 20 integral stereoscopic display device 21 elemental image Projection unit 22 Lens array (optical element array)
25 lens (optical element)
101 Bright spot formation position M marker

Claims (11)

複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定装置であって、
前記インテグラル立体表示装置により所定位置に立体映像であるマーカーが再生されるように前記要素画像を生成する要素画像生成手段と、
前記インテグラル立体表示装置の表示画面に前記光学素子に対応して形成された輝点の位置と輝度とを検出する検出器と、
前記インテグラル立体表示装置で白表示を行ったときに検出された輝点の位置と輝度とを用いて前記検出器を校正する演算を行い、前記インテグラル立体表示装置において前記要素画像を投射したときに検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する誤差値測定手段と、
を備えることを特徴とする立体映像測定装置。 Stereoscopic image measurement for measuring a stereoscopic image displayed by an integral stereoscopic display device including an optical element array in which a plurality of optical elements are two-dimensionally arranged, and an element image projection unit that projects an element image on the optical element array. A device,
Element image generating means for generating the element image so that the marker which is a stereoscopic image is reproduced at a predetermined position by the integral stereoscopic display device,
A detector for detecting the position and brightness of the bright spots formed corresponding to the optical elements on the display screen of the integral stereoscopic display device,
A calculation is performed to calibrate the detector using the position and brightness of the bright spots detected when white is displayed on the integral stereoscopic display device, and the element image is projected on the integral stereoscopic display device. The position and the brightness of the bright spot detected at this time are used to calculate the position and the brightness of the bright spot constituting the marker, and the error value of the position where the marker is reproduced with respect to the predetermined position is measured. Error value measuring means,
A stereoscopic image measuring device comprising: 前記検出器は、前記インテグラル立体表示装置で白表示を行ったときに前記表示画面に形成された全輝点の位置と輝度とを単一の視点で検出し、
前記誤差値測定手段は、
前記白表示を行ったときに検出された全輝点の輝度に基づいて輝度値のばらつきを補正するための補正係数を輝点毎に算出する補正係数算出手段と、
前記白表示を行ったときに検出された全輝点の位置に基づいて前記検出器の位置及び姿勢についてキャリブレーションを行う位置校正手段と、を備える請求項１に記載の立体映像測定装置。 The detector detects the position and brightness of all bright spots formed on the display screen when performing white display in the integral stereoscopic display device from a single viewpoint,
The error value measuring means,
A correction coefficient calculating unit that calculates, for each bright point, a correction coefficient for correcting the variation in the brightness value based on the brightness of all the bright points detected when performing the white display,
The stereoscopic image measuring device according to claim 1, further comprising: a position calibrating unit that calibrates a position and a posture of the detector based on positions of all bright spots detected when the white display is performed. 前記検出器は、前記要素画像を投射したときに前記表示画面に形成された輝点の位置と輝度を前記単一の視点で検出し、
前記誤差値測定手段は、
前記要素画像を投射したときに検出された輝度値に前記輝点毎の補正係数を乗じることで、再生されたマーカーを構成する輝点の輝度値を算出し、前記要素画像を投射したときに検出された輝点を前記マーカーについての前記所定位置に投影することで、再生されたマーカーを構成する輝点の位置を算出し、前記再生されたマーカーを構成する輝点の輝度分布を前記マーカーの理論的な輝度分布に近似させる演算によって前記マーカーが再生された位置の誤差値を算出する誤差算出手段を備える請求項２に記載の立体映像測定装置。 The detector detects the position and brightness of the bright spots formed on the display screen when projecting the elemental image from the single viewpoint,
The error value measuring means,
By multiplying the brightness value detected when the element image is projected by the correction coefficient for each bright point, the brightness value of the bright point forming the reproduced marker is calculated, and when the element image is projected. By projecting the detected bright point to the predetermined position of the marker, the position of the bright point that constitutes the regenerated marker is calculated, and the luminance distribution of the bright point that constitutes the regenerated marker is calculated as the marker. The stereoscopic image measuring apparatus according to claim 2, further comprising an error calculating unit that calculates an error value of a position at which the marker is reproduced by an operation of approximating the theoretical luminance distribution. 前記誤差値測定手段は、
前記インテグラル立体表示装置で白表示を行ったときに前記検出器の位置を変えることにより多視点で検出された全輝点の位置に基づいて画像の位置歪みを補正するための歪み係数を算出する歪係数算出手段を備える請求項１から請求項３のいずれか一項に記載の立体映像測定装置。 The error value measuring means,
A distortion coefficient for correcting positional distortion of an image is calculated based on the positions of all bright spots detected from multiple viewpoints by changing the position of the detector when white is displayed on the integral stereoscopic display device. The stereoscopic image measuring device according to any one of claims 1 to 3, further comprising: 前記検出器は、デジタルカメラであり、
前記誤差値測定手段は、前記インテグラル立体表示装置で白表示を行ったときに前記デジタルカメラの位置を変えることにより多視点で検出された全輝点の位置に基づいて、前記デジタルカメラの内部パラメーターを校正する内部パラメーター校正手段を備える請求項１から請求項４のいずれか一項に記載の立体映像測定装置。 The detector is a digital camera,
The error value measuring means changes the position of the digital camera when white is displayed on the integral stereoscopic display device, and based on the positions of all bright spots detected from multiple viewpoints, the internal of the digital camera The stereoscopic image measurement device according to claim 1, further comprising an internal parameter calibrating unit that calibrates a parameter. 前記検出器は、デジタルカメラ又はフォトディテクターであり、
前記誤差値測定手段は、奥行きを除いた２次元の誤差値又は３次元の誤差値を測定する、請求項１から請求項４のいずれか一項に記載の立体映像測定装置。 The detector is a digital camera or photo detector,
The stereoscopic image measuring device according to claim 1, wherein the error value measuring unit measures a two-dimensional error value or a three-dimensional error value excluding a depth. 複数の光学素子が２次元配列された光学素子アレイと、前記光学素子アレイに要素画像を投射する要素画像投射部と、を有するインテグラル立体表示装置により表示された立体映像を測定する立体映像測定方法であって、
要素画像生成手段と、検出器と、誤差値測定手段と、を備える立体映像測定装置によって、前記検出器の事前校正を実施する事前校正工程と、
前記立体映像測定装置によって、立体映像であるマーカーが再生された位置の誤差値を測定する測定工程と、を有し、
前記事前校正工程は、
前記インテグラル立体表示装置によって、白表示を行うことで前記インテグラル立体表示装置の表示画面に前記光学素子に対応した輝点を形成する第１表示工程と、
前記検出器によって、前記表示画面を記録する記録工程と、
前記表示画面に形成された輝点の位置と輝度とを検出する第１検出工程と、
前記誤差値測定手段によって、前記検出器を校正する演算を行う演算工程と、を含み、
前記測定工程は、
前記要素画像生成手段によって、前記マーカーが所定位置に再生されるように前記要素画像を生成する生成工程と、
前記インテグラル立体表示装置によって、前記要素画像を投射することで前記表示画面に輝点を形成して前記マーカーを所定位置に表示する第２表示工程と、
前記検出器によって、前記表示画面に形成された輝点の位置と輝度とを検出する第２検出工程と、
前記誤差値測定手段によって、前記検出された輝点の位置と輝度とを用いて前記マーカーを構成する輝点の位置と輝度とを求める演算を行い、前記所定位置に対する前記マーカーが再生された位置の誤差値を測定する演算工程と、
を含むことを特徴とする立体映像測定方法。 Stereoscopic image measurement for measuring a stereoscopic image displayed by an integral stereoscopic display device including an optical element array in which a plurality of optical elements are two-dimensionally arranged, and an element image projection unit that projects an element image on the optical element array. Method,
A pre-calibration step of performing a pre-calibration of the detector by a stereoscopic image measuring device including an element image generating unit, a detector, and an error value measuring unit,
A measuring step of measuring an error value of a position where a marker which is a stereoscopic image is reproduced by the stereoscopic image measuring device,
The pre-calibration step,
A first display step of forming a bright spot corresponding to the optical element on a display screen of the integral stereoscopic display device by performing white display by the integral stereoscopic display device;
A recording step of recording the display screen by the detector,
A first detection step of detecting the position and brightness of a bright spot formed on the display screen;
A calculation step of performing a calculation for calibrating the detector by the error value measuring means,
The measuring step is
A generation step of generating the element image by the element image generation means so that the marker is reproduced at a predetermined position;
A second display step of forming a bright spot on the display screen by projecting the elemental image and displaying the marker at a predetermined position by the integral stereoscopic display device;
A second detection step of detecting the position and the brightness of the bright spot formed on the display screen by the detector;
By the error value measuring means, the position and brightness of the bright spots forming the marker are calculated using the position and brightness of the detected bright spot, and the position where the marker is reproduced with respect to the predetermined position. An arithmetic step for measuring the error value of
A method for measuring a stereoscopic image, comprising: 前記事前校正工程は、
前記検出器によって、前記白表示を行うことで前記表示画面に形成された全輝点の位置と輝度とを、単一の視点で検出し、
前記誤差値測定手段によって、前記単一の視点で検出された全輝点の輝度に基づいて輝度値のばらつきを補正するための補正係数を輝点毎に算出する工程と、
前記白表示を行ったときに検出された全輝点の位置に基づいて前記検出器の位置及び姿勢についてキャリブレーションを行う工程と、を含む請求項７に記載の立体映像測定方法。 The pre-calibration step,
By the detector, the position and brightness of all bright spots formed on the display screen by performing the white display is detected from a single viewpoint,
By the error value measuring means, a step of calculating, for each bright point, a correction coefficient for correcting the variation of the brightness value based on the brightness of all the bright points detected from the single viewpoint,
The stereoscopic image measuring method according to claim 7, further comprising: calibrating the position and orientation of the detector based on the positions of all bright spots detected when the white display is performed. 前記測定工程は、
前記検出器によって、前記要素画像が投射されたときに前記表示画面に形成された輝点の位置と輝度を、前記単一の視点で検出し、
前記誤差値測定手段によって、
前記検出された輝度値に前記輝点毎の補正係数を乗じることで、再生されたマーカーを構成する輝点の輝度値を算出する工程と、
前記検出され輝点を前記マーカーについての前記所定位置に投影することで、再生されたマーカーを構成する輝点の位置を算出する工程と、
前記再生されたマーカーを構成する輝点の輝度分布を前記マーカーの理論的な輝度分布に近似させる演算によって前記マーカーが再生された位置の誤差値を算出する工程と、を含む請求項８に記載の立体映像測定方法。 The measuring step is
By the detector, the position and brightness of the bright spots formed on the display screen when the element image is projected are detected from the single viewpoint,
By the error value measuring means,
Multiplying the detected luminance value by the correction coefficient for each bright point, calculating the luminance value of the bright point constituting the reproduced marker,
By projecting the detected bright spots at the predetermined positions for the markers, calculating the positions of the bright spots constituting the reproduced markers,
9. The step of calculating an error value at the position where the marker is reproduced by an operation of approximating the brightness distribution of the bright spots constituting the reproduced marker to the theoretical brightness distribution of the marker. 3D image measurement method. 前記事前校正工程は、
前記検出器の位置を変えて前記記録工程と前記検出工程とを複数回行うことで、前記白表示を行うことにより前記表示画面に形成された全輝点の位置を多視点で検出し、
前記誤差値測定手段によって、前記多視点で検出された全輝点の位置に基づいて画像の位置歪みを補正するための歪み係数を算出する工程を含む請求項７に記載の立体映像測定方法。 The pre-calibration step,
By changing the position of the detector and performing the recording step and the detecting step a plurality of times, the positions of all bright spots formed on the display screen by performing the white display are detected from multiple viewpoints,
8. The stereoscopic image measuring method according to claim 7, further comprising the step of calculating a distortion coefficient for correcting positional distortion of an image based on the positions of all bright spots detected from the multiple viewpoints by the error value measuring means. 前記検出器は、デジタルカメラであり、
前記事前校正工程は、
前記デジタルカメラの位置を変えて前記記録工程と前記検出工程とを複数回行うことで、前記白表示を行うことで前記表示画面に形成された全輝点の位置を多視点で検出し、
前記誤差値測定手段によって、前記多視点で検出された全輝点の位置に基づいて、前記デジタルカメラの内部パラメーターを校正する工程を含む請求項７に記載の立体映像測定方法。 The detector is a digital camera,
The pre-calibration step,
By performing the recording step and the detecting step a plurality of times by changing the position of the digital camera, the positions of all bright spots formed on the display screen by performing the white display are detected from multiple viewpoints.
8. The stereoscopic image measuring method according to claim 7, further comprising the step of calibrating internal parameters of the digital camera based on the positions of all bright spots detected from the multiple viewpoints by the error value measuring means.
JP2016230387A 2016-11-28 2016-11-28 Stereoscopic image measuring device and stereoscopic image measuring method Active JP6748563B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016230387A JP6748563B2 (en) 2016-11-28 2016-11-28 Stereoscopic image measuring device and stereoscopic image measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016230387A JP6748563B2 (en) 2016-11-28 2016-11-28 Stereoscopic image measuring device and stereoscopic image measuring method

Publications (2)

Publication Number Publication Date
JP2018088595A JP2018088595A (en) 2018-06-07
JP6748563B2 true JP6748563B2 (en) 2020-09-02

Family

ID=62493903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016230387A Active JP6748563B2 (en) 2016-11-28 2016-11-28 Stereoscopic image measuring device and stereoscopic image measuring method

Country Status (1)

Country Link
JP (1) JP6748563B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7312585B2 (en) * 2019-03-27 2023-07-21 日本放送協会 Positional deviation correction amount calculation device and its program

Also Published As

Publication number Publication date
JP2018088595A (en) 2018-06-07

Similar Documents

Publication Publication Date Title
US8866902B2 (en) Correction information calculating device, image processing apparatus, image display system, and image correcting method
US10319111B2 (en) Image projection device for 3D measurement and calibration method for calibration of camera and projector
US8711213B2 (en) Correction information calculating device, image processing apparatus, image display system, and image correcting method
JP5535431B2 (en) System and method for automatic calibration and correction of display shape and color
JP5687654B2 (en) Image processing apparatus, stereoscopic image display apparatus, image processing method, and image processing program
US8730130B1 (en) System and method for automatically aligning immersive displays
WO2006100991A1 (en) Method of and apparatus for automatically adjusting alignement of a projector with respect to a projection screen
US20130222776A1 (en) Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection
TWI484283B (en) Image measurement method, image measurement apparatus and image inspection apparatus
JP4131214B2 (en) Inclination angle detection apparatus and inclination angle detection method
CN110505468B (en) Test calibration and deviation correction method for augmented reality display equipment
KR20170089744A (en) Autostereoscopic display with efficient barrier parameter estimation method
JP5818674B2 (en) Image processing apparatus, method, program, and image display apparatus
JP5313187B2 (en) Stereoscopic image correction apparatus and stereoscopic image correction method
JP2011075336A (en) Three-dimensional shape measuring instrument and method
JP6748563B2 (en) Stereoscopic image measuring device and stereoscopic image measuring method
US7834996B2 (en) Inspection apparatus and method
JP6626367B2 (en) Stereoscopic image adjustment device and stereoscopic image adjustment method
JP5906139B2 (en) Correction apparatus, program thereof, and stereoscopic imaging system
JP4695557B2 (en) Element image group correction apparatus, element image group acquisition system, element image group correction method, and element image group correction program
WO2020203236A1 (en) Image processing device, image processing method, and program
JP6118624B2 (en) Multi-projector system and multi-projector adjustment method
KR102591397B1 (en) Method and optical system for characterizing displays
WO2011086616A1 (en) Image evaluation method and image evaluation system
WO2023047622A1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200807

R150 Certificate of patent or registration of utility model

Ref document number: 6748563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250