JP5767500B2 - Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus - Google Patents
Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus Download PDFInfo
- Publication number
- JP5767500B2 JP5767500B2 JP2011084374A JP2011084374A JP5767500B2 JP 5767500 B2 JP5767500 B2 JP 5767500B2 JP 2011084374 A JP2011084374 A JP 2011084374A JP 2011084374 A JP2011084374 A JP 2011084374A JP 5767500 B2 JP5767500 B2 JP 5767500B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- group
- element image
- light wave
- arrangement information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、立体像を表示するための画像を生成する技術及び立体像を表示する技術に係り、特に、IP(Integral Photography;インテグラルフォトグラフィ)方式の立体像を表示するための画像を生成する立体画像補正装置およびそのプログラム、ならびに、立体像を表示するための立体画像表示装置に関する。 The present invention relates to a technique for generating an image for displaying a stereoscopic image and a technique for displaying a stereoscopic image, and in particular, generates an image for displaying an IP (Integral Photography) type stereoscopic image. The present invention relates to a stereoscopic image correction apparatus, a program thereof, and a stereoscopic image display apparatus for displaying a stereoscopic image.
一般に、レンズアレイや空間フィルタを通して被写体の三次元情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する手法として、IP方式が知られている。 In general, among the methods for acquiring three-dimensional information of a subject through a lens array or a spatial filter, an IP method is known as a method for capturing and displaying a stereoscopic image using a minute optical element array.
ここで、図8(a)および図8(b)を用いてIP方式に基づく通常の立体画像撮影について説明する。図8(a)に示す立体画像撮影装置は、矢印で示す撮影方向114から、例えば、凸レンズで構成されたレンズ群112を通して被写体111を撮影する。ここで撮影方向114は、立体画像撮影装置がレンズ群112の前方(図8(a)では左方)に配置された被写体111を撮影する方向である。このときレンズ群112の後方(図8(a)では右方)の撮影板113には、レンズ群112を構成する凸レンズの個数と同じ個数だけ被写体111の像、例えば、像115が結像する。ここで、撮影板113は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、CCD(Charge Coupled Device)撮像素子である。
Here, normal stereoscopic image capturing based on the IP system will be described with reference to FIGS. 8A and 8B. The stereoscopic image capturing apparatus illustrated in FIG. 8A captures an object 111 from a capturing
図8(b)には、一平面状に凸レンズを配列したレンズ群122と表示素子123により構成される立体画像表示装置、および立体像121、観察方向124、レンズ群の像125を示している。ここで、表示素子123には、図8(a)に示した立体画像撮影装置の撮影板113により撮影された像115に対応する像125を表示する。この表示素子123は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置から表示させた結果、図8(b)に示すように、被写体111が存在した場所と同じ場所に立体像121が生成される。ただし、立体像121は逆視像として生成される。すなわち、図8(a)に示すように、撮影方向114から見た場合には、被写体111の円柱が角柱に対して手前に存在している。ところが、図8(b)に示すように、被写体111に対応する立体像121では、観察方向124から見て、角柱が円柱の手前に生成されている。
FIG. 8B shows a stereoscopic image display device including a
なお、図8(a)、図8(b)には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ(空間フィルタ)を使用しても良い。 In FIGS. 8A and 8B, the lens group is displayed as a minute optical element array, and the operation has been described on the assumption that the three-dimensional information of the subject is acquired and displayed using this lens group. As a minute optical element array, a minute aperture array (spatial filter) may be used.
図8(a)において、被写体111の角柱の大きさ(高さ)をxc、レンズ群112から被写体111の角柱までの距離をzc、レンズ群112から像115が撮影される面までの距離をdc、レンズ群112を構成する凸レンズピッチをpc、レンズ群112を構成する凸レンズにより生成される被写体の像の大きさ(高さ)をkcとする。また、図8(b)において、立体像121の角柱の大きさ(高さ)をxr、レンズ群122から立体像121の角柱までの距離をzr、レンズ群122から像125が表示される面までの距離をdr、レンズ群122を構成する凸レンズピッチをpr、表示素子123に表示される個々の像の大きさ(高さ)をkrとする。この場合、xcとxrの関係は、非特許文献1により式(101)で表される。
In FIG. 8A, the size (height) of the prism of the subject 111 is xc, the distance from the
前記した式(102a)〜式(102c)の関係から、図8(a)に示した立体画像撮影装置のレンズ群112を構成する凸レンズのピッチpcと、図8(b)に示した立体画像表示装置のレンズ群122を構成する凸レンズのピッチprとを異なるものとすることで、被写体111に対する立体像121の大きさの比率xr/xcを制御できることが導かれる。また、同様に、撮影された被写体の像115の大きさkcと、表示する像125の大きさkrとを変化させることで、被写体111に対する立体像121の大きさの比率xr/xcを制御できることが導かれる。
From the relationship of the above formulas (102a) to (102c), the pitch pc of the convex lenses constituting the
また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図8(a)に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を図8(b)に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている(特許文献1参照)。 Conventionally, in order to solve the problem of generating a reverse-view image in which the depth is inverted compared to the subject, the information acquired by the stereoscopic image capturing apparatus shown in FIG. A stereoscopic image depth conversion device that inputs the information after the input to the stereoscopic image display device shown in FIG. 8B and finally generates a stereoscopic image with the correct depth is disclosed (see Patent Document 1).
特許文献1で開示されている立体画像奥行き変換装置について図9(a)および図9(b)を参照して説明する。図9(a)に示すのは、図8(a)で取得した像131、第1の仮想的なレンズアレイ132、仮想的に生成される立体像133、第2の仮想的なレンズアレイ134、第2の仮想的なレンズアレイ134により生成される像135(仮想的に生成された立体像133の像)である。ここで、像135は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。
A stereoscopic image depth conversion device disclosed in Patent Document 1 will be described with reference to FIGS. 9 (a) and 9 (b). FIG. 9A shows the image 131 acquired in FIG. 8A, the first
図9(b)に示すのは、図9(a)で演算処理により生成された像141(つまり図9(a)における像135)、一平面状に凸レンズを配列したレンズ群142、立体像143、観察方向144である。図9(b)に示すように、例えば図8(b)の立体画像表示装置の動作の結果、観察方向144から見て、円柱が角柱に対して手前に観察されることとなる。立体像143は、図8(a)における被写体の奥行き関係と等価である。
FIG. 9B shows an image 141 generated by the arithmetic processing in FIG. 9A (that is, the image 135 in FIG. 9A), a
特許文献1に記載された手法に、前記した式(102a)〜式(102c)の関係から導かれる立体像の大きさの比率を制御する方法を組み合わせれば、逆視像が生成される問題を解決しつつ、正しい奥行きの立体像を生成することが可能である。しかしながら、この場合には、被写体111に対する立体像121の大きさの比率xr/xcを変化させようとするときには、比率xr/xcに応じて光学系の装置を変更しなければならないため、実際上困難が伴う。そこで、従来、立体画像撮影装置や立体画像表示装置という光学的な装置に依存することなく、演算処理を用いて、被写体の凹凸と同じ再生像の比率を制御する立体画像変換装置が開示されている(特許文献2参照)。
If a method described in Patent Document 1 is combined with a method for controlling the ratio of the size of a stereoscopic image derived from the relationship of the expressions (102a) to (102c) described above, a problem of generating a reverse-view image It is possible to generate a stereoscopic image with the correct depth while solving the above. However, in this case, in order to change the ratio xr / xc of the size of the
このように、特許文献1あるいは特許文献2に記載されたような立体画像の変換方法を用いることで、立体画像撮影装置で取得した立体情報を、演算処理を用いて、立体画像表示装置で表示されたときに所望の再生像となるように変換することができる。 In this way, by using the stereoscopic image conversion method as described in Patent Document 1 or Patent Document 2, the stereoscopic information acquired by the stereoscopic image capturing device is displayed on the stereoscopic image display device using arithmetic processing. When it is done, it can be converted to a desired reproduced image.
しかしながら、非特許文献1において指摘されているように、立体画像撮影装置のレンズ群と、立体画像表示装置のレンズ群との間に相対的な位置ずれが生じていると、再生像の画質を劣化させる原因となってしまう。
例えば、図10(a)に示した立体画像撮影装置のレンズ群112と図10(b)に示した立体画像表示装置のレンズ群122では、レンズ群112を構成する凸レンズ112b1の位置と、レンズ群122において、凸レンズ122b1に対応して設けられる凸レンズ122b1の位置とがずれている。このような場合、立体画像撮影装置でレンズ群112を通して被写体を撮影して取得した立体画像を立体画像表示装置でレンズ群122を通して再生像として表示するときに、立体画像表示装置の凸レンズ122b1から出射された光線121b1の方向が、他の凸レンズから出射された光線の方向とずれてしまうので、立体像121にぶれやぼけ等が生じてしまい、立体像121の画質の劣化を生じてしまうことになる。
However, as pointed out in Non-Patent Document 1, if there is a relative displacement between the lens group of the stereoscopic image capturing device and the lens group of the stereoscopic image display device, the image quality of the reproduced image is reduced. It will cause deterioration.
For example, the position of the convex lens 112b1 constituting the
この画質劣化は、特許文献1に記載された方法のように、演算処理により正しい奥行きの立体像を生成する場合においても生じる可能性がある。例えば、図11(a)、図11(b)に示すように、第1、第2の仮想的なレンズアレイ132、134と、レンズ群142bとの間に相対的な位置ずれが生じている場合、図11(b)に示すレンズ群142bを構成するレンズ142b1から出射される光線143b1の進む方向は、他のレンズから出射される光線でなる立体像143の結像位置からずれてしまい、その結果、立体像の画質の劣化を招いてしまうことになる。
またこの画質劣化は、特許文献2に記載された方法のように、演算処理により、被写体の大きさから変化させた立体像を生成する場合においても生じる可能性がある。
This image quality degradation may occur even when a stereoscopic image having a correct depth is generated by arithmetic processing, as in the method described in Patent Document 1. For example, FIG. 11 (a), the as shown in FIG. 11 (b), the first, second
Further, this image quality degradation may also occur when a stereoscopic image changed from the size of the subject is generated by arithmetic processing, as in the method described in Patent Document 2.
かかる事情に鑑み、本発明は、被写体の撮影に用いる立体画像撮影装置のレンズ群と、被写体の表示に用いる立体画像表示装置のレンズ群との間に相対的な位置ずれがある場合に、これらの光学的な装置に依存することなく演算処理を用いて、立体画像撮影装置で取得された立体情報を、立体画像として表示されたときに相対的な位置ずれが補正された再生像となる画像情報へと変換することが可能な立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置を提供することを課題とする。 In view of such circumstances, the present invention is effective when there is a relative misalignment between the lens group of the stereoscopic image capturing apparatus used for photographing the subject and the lens group of the stereoscopic image display apparatus used for displaying the subject. An image that becomes a reconstructed image in which the relative positional deviation is corrected when the stereoscopic information acquired by the stereoscopic image photographing device is displayed as a stereoscopic image using arithmetic processing without depending on the optical device. It is an object of the present invention to provide a stereoscopic image correction apparatus that can be converted into information, a program thereof, and a stereoscopic image display apparatus.
本発明は、前記課題を達成するために創案されたものであり、まず、請求項1に記載の立体画像補正装置は、第1要素光学レンズ群を通して被写体を撮影することにより取得された第1要素画像群を補正し、第2要素光学レンズ群を通して立体像として表示される第2要素画像群を生成する立体画像補正装置であって、第1配置情報取得手段と、分配手段と、第1要素画像変換手段と、加算手段と、第2配置情報取得手段と、再分配手段と、第2要素画像変換手段と、を備えることとした。 The present invention has been developed to achieve the above-described object. First, the stereoscopic image correction apparatus according to claim 1 is obtained by photographing a subject through a first element optical lens group. element images corrected, a stereoscopic image correction device for generating a second component image group to be displayed as a stereoscopic image through the second lens component group, and the first arrangement information acquisition unit, a distribution unit, the first An element image conversion unit, an addition unit, a second arrangement information acquisition unit, a redistribution unit, and a second element image conversion unit are provided.
かかる構成によれば、立体画像補正装置は、第1配置情報取得手段によって、第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する。
次に、立体画像補正装置は、分配手段によって、第1配置情報取得手段で取得されたそれぞれの第1要素光学レンズの配置情報に従って、第1要素画像群を、要素画像毎に分配する。このように、第1要素画像群を分配するときに、立体画像撮影装置の第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を用いることで、第1要素画像群を、それぞれの第1要素光学レンズの要素画像領域に属する要素画像毎に正確に分配することができる。
According to such a configuration, the stereoscopic image correction apparatus acquires the arrangement information of the respective first element optical lenses constituting the first element optical lens group by the first arrangement information acquisition unit.
Next, the stereoscopic image correction device distributes the first element image group for each element image according to the arrangement information of each first element optical lens acquired by the first arrangement information acquisition means by the distribution means . As this, when distributing the first element images, by using the arrangement information of each of the first lens component constituting the first lens component group of the three-dimensional image photographing apparatus, the first element image group Can be accurately distributed for each element image belonging to the element image area of each first element optical lens.
また、立体画像補正装置は、第1要素画像変換手段によって、分配手段によって分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第1の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する。第1要素画像変換手段に入力されるそれぞれの要素画像は、前記した分配手段において、第1要素画像群を、第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの要素画像領域に従って分配することにより得られたものである。したがって、第1要素画像変換手段によって、分配手段で分配されたそれぞれの要素画像の光波情報を、第1の仮想的な開口群を通過した光波情報に変換することで、それぞれの要素画像の光波情報を、あたかも、第1要素光学レンズ群を通過した光の波動を表す光波情報に変換するような演算処理を実行する。
さらに、立体画像補正装置は、加算手段によって、第1要素画像変換手段で変換されたそれぞれの要素画像の光波情報を分配された数だけ加算する。したがって、第1要素画像群のそれぞれの要素画像が第1要素画像変換手段によって変化を受けた結果として、要素画像群の中間生成段階の状態となる。
Further, the stereoscopic image correction apparatus separates light wave information representing each elemental image distributed by the distributing unit as light waves by the first elemental image converting unit at a predetermined distance from the image plane of the elemental image. Then, it is converted into light wave information representing a wave of light that has passed through a first virtual aperture group composed of an optical element or a spatial filter for each element image virtually arranged and propagated to a predetermined distance. . Each element image input to the first element image conversion means is divided into the first element image group according to the element image area of each first element optical lens constituting the first element optical lens group. It was obtained by distributing. Thus, the first elemental image converting means, the light wave information of each element image distributed by the distribution means, by converting the lightwave information passing through the first virtual aperture groups, the light wave of each element image information, though, performs arithmetic processing for converting the lightwave information representing the wave of light passing through the first lens component groups.
Further, the stereoscopic image correction apparatus adds the light wave information of each element image converted by the first element image conversion unit by the adding unit by the distributed number. Therefore, each element image of the first element image group is changed by the first element image conversion means, and the intermediate generation stage state of the element image group is obtained.
またさらに、立体画像補正装置は、第2配置情報取得手段によって、第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する。
次に、立体画像補正装置は、再分配手段によって、第2配置情報取得手段で取得されたそれぞれの第2要素光学レンズの配置情報に従って、加算手段によって加算された光波情報を、第2要素画像群を構成する要素画像毎に再分配する。
Still further, the stereoscopic image correction device acquires the arrangement information of each second element optical lens constituting the second element optical lens group by the second arrangement information acquisition unit.
Next, the stereoscopic image correction apparatus uses the redistribution unit to add the light wave information added by the addition unit according to the arrangement information of each second element optical lens acquired by the second arrangement information acquisition unit, to the second element image. Redistribution is performed for each element image constituting the group.
そして、立体画像補正装置は、第2要素画像変換手段によって、再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第2の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する。したがって、第2の仮想的な開口群を通過することで、それぞれの要素画像が変化を受けた結果として、いわば再撮影された要素画像の状態となる。ここで、第2要素画像変換手段に入力される要素画像の光波情報は、前記した再分配手段によって、加算手段で加算された要素画像の光波情報を第2要素光学レンズ群の配置情報に従って要素画像毎に再分配したものである。したがって、第2要素画像変換手段によって、この要素画像の光波情報を、第2の仮想的な開口群を通過した光の波動を表す光波情報に変換することで、立体画像撮影装置で撮影された第1要素画像群を、あたかも、立体画像表示装置の第2要素光学レンズに光学的に表示して再撮影したかのような演算処理を実行する。 Then, the stereoscopic image correction apparatus uses the second element image conversion unit to optically distribute the light wave information of each element image distributed by the redistribution unit on the image surface of the element image. The light wave information is converted into light wave information representing a wave of light that has propagated through a second virtual aperture group composed of an element or a spatial filter until the image is formed. Therefore, by passing through the second virtual aperture group, as a result of the change in each element image, the state of the re-photographed element image is obtained. Here, elements lightwave information element image input to the second element image converting means, the re-distribution means described above, the light wave information are added by the adding means element image in accordance with the arrangement information of the second lens component group Redistributed for each image. Therefore, the light image information of the element image is converted by the second element image conversion means into light wave information representing the wave of light that has passed through the second virtual aperture group, and is captured by the stereoscopic image capturing device. Arithmetic processing is executed as if the first element image group was optically displayed on the second element optical lens of the stereoscopic image display device and re-photographed.
そして、立体画像補正装置は、結合手段によって、第2要素画像変換手段で変換された要素画像の光波情報を、再分配された数だけ結合することで第2要素画像群を生成する。これにより、立体画像として表示されたときに、ぶれやぼけ等がない良好な画質の再生像となる第2要素画像群を生成することができる。 Then, the stereoscopic image correction apparatus generates the second element image group by combining the light wave information of the element images converted by the second element image conversion unit by the redistributed number by the combining unit. As a result, it is possible to generate a second element image group that is a reproduced image with good image quality without blurring or blurring when displayed as a stereoscopic image.
また、請求項2の立体画像補正プログラムは、第1要素光学レンズ群を通して被写体を撮影することにより取得された第1要素画像群を補正し、第2要素光学レンズ群を通して立体像として表示される第2要素画像群を生成するために、コンピュータを、第1配置情報取得手段、分配手段、第1要素画像変換手段、加算手段、第2配置情報取得手段、再分配手段、第2要素画像変換手段、結合手段、として機能させることとした。 The stereoscopic image correction program according to claim 2 corrects the first element image group acquired by photographing the subject through the first element optical lens group, and displays it as a stereoscopic image through the second element optical lens group. In order to generate the second element image group, the computer is connected to a first arrangement information acquisition unit, a distribution unit, a first element image conversion unit, an addition unit, a second arrangement information acquisition unit, a redistribution unit, and a second element image conversion. It was made to function as a means and a coupling means.
かかる構成によれば、立体画像補正プログラムは、第1配置情報取得手段によって、第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する。
次に、立体画像補正プログラムは、分配手段によって、第1配置情報取得手段で取得されたそれぞれの第1要素光学レンズの配置情報に従って、第1要素画像群を、要素画像毎に分配する。
また、立体画像補正プログラムは、第1要素画像変換手段によって、分配手段によって分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第1の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する。
さらに、立体画像補正プログラムは、加算手段によって、第1要素画像変換手段で変換されたそれぞれの要素画像の光波情報を分配された数だけ加算する。
またさらに、立体画像補正プログラムは、第2配置情報取得手段によって、第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する。
次に、立体画像補正プログラムは、再分配手段によって、第2配置情報取得手段で取得されたそれぞれの第2要素光学レンズの配置情報に従って、加算手段によって加算された光波情報を、第2要素画像群を構成する要素画像毎に再分配する。
そして、立体画像補正プログラムは、第2要素画像変換手段によって、再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第2の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する。
そして、立体画像補正プログラムは、結合手段によって、第2要素画像変換手段で変換された要素画像の光波情報を、再分配された数だけ結合することで第2要素画像群を生成する。
According to such a configuration, the stereoscopic image correction program acquires the arrangement information of the respective first element optical lenses constituting the first element optical lens group by the first arrangement information acquisition unit.
Next, the stereoscopic image correction program distributes the first element image group for each element image according to the arrangement information of each first element optical lens acquired by the first arrangement information acquisition means by the distribution means.
In addition, the stereoscopic image correction program separates light wave information representing each element image distributed by the distribution unit as light waves by the first element image conversion unit at a predetermined distance from the image plane of the element image. Then, it is converted into light wave information representing a wave of light that has passed through a first virtual aperture group composed of an optical element or a spatial filter for each element image virtually arranged and propagated to a predetermined distance. .
Further, the stereoscopic image correction program adds the light wave information of each elemental image converted by the first elemental image converting unit by the adding unit by the distributed number.
Furthermore, the stereoscopic image correction program acquires the arrangement information of each second element optical lens constituting the second element optical lens group by the second arrangement information acquisition unit.
Next, the stereoscopic image correction program uses the redistribution means to add the light wave information added by the addition means according to the arrangement information of each second element optical lens acquired by the second arrangement information acquisition means, to the second element image. Redistribution is performed for each element image constituting the group.
Then, the stereoscopic image correction program is configured to calculate the optical wave information for each element image obtained by virtually arranging the light wave information of each element image distributed by the redistribution means on the image plane of the element image by the second element image conversion means. The light wave information is converted into light wave information representing a wave of light that has propagated through a second virtual aperture group composed of an element or a spatial filter until the image is formed.
Then, the stereoscopic image correction program generates a second element image group by combining the light wave information of the element images converted by the second element image converting unit by the redistributed number by the combining unit.
また、請求項3に記載の立体画像表示装置は、第1要素光学レンズ群を通して被写体を撮影することにより取得された第1要素画像群を補正し、第2要素光学レンズ群を通して立体像として表示される第2要素画像群を生成し、この第2要素画像群を立体像として表示する立体画像表示装置であって、第1配置情報取得手段と、分配手段と、第1要素画像変換手段と、加算手段と、第2配置情報取得手段と、再分配手段と、第2要素画像変換手段と、結合手段と、表示素子と、第2要素光学レンズ群と、を備えることとした。 The stereoscopic image display apparatus according to claim 3 corrects the first element image group acquired by photographing the subject through the first element optical lens group, and displays the corrected image as a stereoscopic image through the second element optical lens group. A stereoscopic image display apparatus for generating a second element image group to be displayed and displaying the second element image group as a stereoscopic image, wherein the first arrangement information acquisition means, the distribution means, the first element image conversion means, And adding means, second arrangement information acquisition means, redistribution means, second element image conversion means, combining means, display elements, and a second element optical lens group.
かかる構成によれば、立体画像表示装置は、第1配置情報取得手段によって、第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する。
次に、立体画像表示装置は、分配手段によって、第1配置情報取得手段で取得されたそれぞれの第1要素光学レンズの配置情報に従って、第1要素画像群を、要素画像毎に分配する。
また、立体画像表示装置は、第1要素画像変換手段によって、分配手段によって分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第1の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する。
さらに、立体画像表示装置は、加算手段によって、第1要素画像変換手段で変換されたそれぞれの要素画像の光波情報を分配された数だけ加算する。
またさらに、立体画像表示装置は、第2配置情報取得手段によって、第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する。
次に、立体画像表示装置は、再分配手段によって、第2配置情報取得手段で取得されたそれぞれの第2要素光学レンズの配置情報に従って、加算手段によって加算された光波情報を、第2要素画像群を構成する要素画像毎に再分配する。
続いて、立体画像表示装置は、第2要素画像変換手段によって、再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第2の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する。
そして、立体画像表示装置は、結合手段によって、第2要素画像変換手段で変換された要素画像の光波情報を、再分配された数だけ結合することで第2要素画像群を生成する。
そして、立体画像表示装置は、表示素子によって、結合手段で生成された第2要素画像群を表示し、第2要素光学レンズ群によって、この表示素子から出力された第2要素画像群の光波を通過させて再生像を結像する。これによれば、ぶれやぼけ等のない良好な画質の再生像を表示することができる。
According to such a configuration, the stereoscopic image display device acquires the arrangement information of the respective first element optical lenses constituting the first element optical lens group by the first arrangement information acquisition unit.
Next, in the stereoscopic image display device, the distribution unit distributes the first element image group for each element image according to the arrangement information of each first element optical lens acquired by the first arrangement information acquisition unit.
Further, the stereoscopic image display apparatus separates the light wave information representing each element image distributed by the distribution unit as a light wave by the first element image conversion unit at a predetermined distance from the image plane of the element image. Then, it is converted into light wave information representing a wave of light that has passed through a first virtual aperture group composed of an optical element or a spatial filter for each element image virtually arranged and propagated to a predetermined distance. .
Further, the stereoscopic image display device adds the light wave information of each element image converted by the first element image conversion unit by the number of the distribution by the adding unit.
Still further, the stereoscopic image display device acquires the arrangement information of each second element optical lens constituting the second element optical lens group by the second arrangement information acquisition unit.
Next, the stereoscopic image display device uses the redistribution unit to add the light wave information added by the addition unit according to the arrangement information of each second element optical lens acquired by the second arrangement information acquisition unit, to the second element image. Redistribution is performed for each element image constituting the group.
Subsequently, the stereoscopic image display device uses the second element image conversion unit to add the light wave information of each element image distributed by the redistribution unit to each element image virtually arranged on the image plane of the element image. The light wave information is converted into light wave information representing a wave of light that has propagated through a second virtual aperture group constituted by an optical element or a spatial filter until the image is formed.
Then, the stereoscopic image display device generates the second element image group by combining the light wave information of the element images converted by the second element image conversion unit by the redistributed number by the combining unit.
Then, the stereoscopic image display device displays the second element image group generated by the combining unit by the display element, and the second element image group output from the display element by the second element optical lens group. Pass through to form a reconstructed image. According to this, it is possible to display a reproduced image with good image quality without blurring or blurring.
本発明は、以下に示す効果を奏するものである。
請求項1に記載の発明によれば、立体画像撮影装置の第1要素光学レンズ群と立体画像表示装置の第2要素光学レンズ群の相対的な位置ずれによって立体像として表示されたときに画質が劣化した再生像となる第1要素画像群を、この相対的な位置ずれに応じて補正することで、立体像として表示されたときに良好な画質の再生像となる第2要素画像群を生成することができる。
また、請求項2に記載の発明によれば、立体画像補正プログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することで、立体画像補正装置と同等の効果を奏することができる。
請求項3に記載の発明によれば、立体画像表示装置は、立体画像撮影装置の第1要素光学レンズ群と立体画像表示装置の第2要素光学レンズ群の相対的な位置ずれによって立体像として表示されたときに画質が劣化した再生像となる第1要素画像群を、この相対的な位置ずれに応じて補正することで、立体像として表示されたときに良好な画質の再生像となる第2要素画像群を生成し、この再生像を表示することができる。
The present invention has the following effects.
According to the first aspect of the present invention, the image quality is displayed when a stereoscopic image is displayed due to the relative displacement between the first element optical lens group of the stereoscopic image capturing device and the second element optical lens group of the stereoscopic image display device. By correcting the first element image group that becomes a reproduced image with deteriorated in accordance with the relative positional deviation, the second element image group that becomes a reproduced image with good image quality when displayed as a three-dimensional image is obtained. Can be generated.
According to the second aspect of the present invention, the computer in which the stereoscopic image correction program is installed can achieve the same effects as the stereoscopic image correction apparatus by realizing each function based on this program. .
According to the third aspect of the present invention, the stereoscopic image display device is converted into a stereoscopic image by a relative positional shift between the first element optical lens group of the stereoscopic image photographing device and the second element optical lens group of the stereoscopic image display device. By correcting the first element image group, which is a reproduced image with degraded image quality when displayed, according to this relative positional shift, a reproduced image with good image quality is displayed when displayed as a stereoscopic image. A second element image group can be generated and this reproduced image can be displayed.
[立体画像補正装置の構成の概要]
まず、本実施形態の立体画像補正装置の構成の概要について図1および図2を参照して説明する。本実施形態の立体画像補正装置10は、立体画像撮影装置20において、図2(a)に示した第1要素光学レンズ群を通過して被写体を撮影することで取得した第1要素画像群の光波を、立体画像表示装置30において、図2(b)に示した第2要素光学レンズ群を通過して再生像として表示するために用いる第2要素画像群に変換するものである。
[Outline of configuration of stereoscopic image correction apparatus]
First, an outline of the configuration of the stereoscopic image correction apparatus according to the present embodiment will be described with reference to FIGS. 1 and 2. The stereoscopic image correction apparatus 10 according to the present embodiment includes a first element image group acquired by photographing a subject through the first element optical lens group illustrated in FIG. In the stereoscopic
ここで、図2(a)に示すように、立体画像撮影装置20の第1要素光学レンズ群は、複数の第1要素光学レンズが同一平面上に配列されて構成されており、また、図2(b)に示すように、立体画像表示装置30の第2要素光学レンズ群は、複数の第2要素光学レンズが同一平面上に配列されて構成されている。ここで、図2(a)および(b)に示すように、第1要素光学レンズ群は、第1要素光学レンズが隙間なく配列されて構成されている一方で、第2要素光学レンズ群は、1行目に配列された第2要素光学レンズと2行目に配列された第2要素光学レンズとの間に、隙間δが形成されていることにより、図2(a)に示した第1要素光学レンズ群と図2(b)に示した第2要素光学レンズ群との間には、相対的な位置ずれがあることになる。
Here, as shown in FIG. 2A, the first element optical lens group of the stereoscopic
本実施形態の立体画像補正装置10は、このように、立体画像撮影装置20の第1要素光学レンズ群と、立体画像表示装置30の第2要素光学レンズ群との間に相対的な位置ずれがある場合に、立体画像として表示されたときに、劣化した再生像となる第1要素画像群の光波を、この相対的な位置ずれに応じて補正し、立体画像として表示されたときに、画質の良好な再生像となる第2要素画像群を生成するものである。
より具体的には、立体画像補正装置10は、立体画像撮影装置20において、被写体の像を形成する複数の第1要素光学レンズが同一平面上に配列された第1要素光学レンズ群を通過して被写体を撮影することで取得した第1要素画像群の光波を、立体画像表示装置30において、複数の第2要素光学レンズが同一平面上に配列された第2要素光学レンズ群を通過して再生像として表示するために用いる第2要素画像群に変換するものである。
As described above, the stereoscopic image correction apparatus 10 of the present embodiment has a relative positional shift between the first element optical lens group of the stereoscopic
More specifically, the stereoscopic image correction apparatus 10 passes through a first element optical lens group in which a plurality of first element optical lenses forming an image of a subject are arranged on the same plane in the stereoscopic
この立体画像補正装置10に入力される第1要素画像群は、立体画像撮影装置20において、CCD等の撮像素子によって撮影された映像信号である。そして、立体画像補正装置10で生成された第2要素画像群は、立体画像表示装置30において、液晶パネル等の情報表示デバイスに表示される。立体画像撮影装置20および立体画像表示装置30としては、例えば、図8(a)および図8(b)に例示したような構成を採用することができる。
The first element image group input to the stereoscopic image correction apparatus 10 is a video signal captured by an imaging element such as a CCD in the stereoscopic
立体画像補正装置10は、例えば、CPU(Central Processing Unit)等の演算装置と、メモリ、ハードディスク等の記憶装置(記憶手段)と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、LAN(Local Area Network)等の通信回線を介して各種情報の送受信を行うインタフェース装置と、LCD(Liquid Crystal Display)等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この立体画像補正装置10は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより、図1に示す第1配置情報取得手段11と、第2配置情報取得手段12と、分配手段13と、第1要素画像変換手段14と、加算手段15と、再分配手段16と、第2要素画像変換手段17と、結合手段18とが実現される。
The stereoscopic image correction apparatus 10 includes, for example, a calculation device such as a CPU (Central Processing Unit), a storage device (storage means) such as a memory and a hard disk, and an input device that detects input of information from the outside such as a mouse and a keyboard. An interface device that transmits and receives various types of information via a communication line such as a LAN (Local Area Network), a computer having a display device such as an LCD (Liquid Crystal Display), and a program installed in the computer Is done. The stereoscopic image correction apparatus 10 includes a first arrangement
第1配置情報取得手段11は、立体画像撮影装置20の第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する。また、第2配置情報取得手段12は、立体画像表示装置30の第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する。ここでの配置情報とは、例えば、第1要素光学レンズ(第2要素光学レンズ)毎の要素画像領域である。但し、後記する分配手段13(再分配手段16)において、第1要素光学レンズ(第2要素光学レンズ)の大きさが既知の場合、第1要素光学レンズ(第2要素光学レンズ)の位置情報であってもよい。
The first arrangement
分配手段13は、第1要素画像群の光波を、第1配置情報取得手段11で取得された、第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報に従って要素画像毎に分配するものである。ここでは、分配された要素画像をm(−M≦m≦M)で識別することとする。第1要素画像変換手段14は、この分配された例えば(2M+1)個の要素画像毎に機能する。そして、分配された要素画像mは、その後、加算手段15で加算される。そして、再分配手段16は、加算された要素画像を、第2配置情報取得手段12で取得された、第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報に従って再び分配する。このとき再分配された要素画像をn(−N≦n≦N)で識別することとする。第2要素画像変換手段17は、この再分配された例えば(2N+1)個の要素画像毎に機能する。そして、再分配された要素画像nは、その後、結合手段18で結合され第2要素画像群が生成されることとなる。
The
[立体画像補正装置の演算処理で想定する仮想的な開口群の概要]
次に、本実施形態の立体画像補正装置10の演算処理で想定する仮想的な開口群の概要について図3を参照(適宜図1参照)して説明する。図1に示す第1要素画像変換手段14は、分配手段13で分配された要素画像の光波を、第1の仮想的な開口群41を通過して第2の仮想的な開口群42へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表したものである。また、開口群を構成する要素(開口)は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を凸レンズ(要素レンズ)で表すこととする。また、第1の仮想的な開口群41と第2の仮想的な開口群42とは所定距離Lだけ離間している。また、第1の仮想的な開口群41が仮想的なレンズアレイであれば、この所定距離Lは、要素レンズの焦点距離とすることができる。なお、第1および第2の仮想的な開口群41,42は、実際には存在せず、立体画像補正装置10が演算処理を行うために想定したものである。
[Outline of virtual aperture group assumed in calculation processing of stereoscopic image correction apparatus]
Next, an outline of a virtual aperture group assumed in the calculation process of the stereoscopic image correction apparatus 10 of the present embodiment will be described with reference to FIG. 3 (refer to FIG. 1 as appropriate). The first element image conversion means 14 shown in FIG. 1 propagates the light wave of the element image distributed by the distribution means 13 through the first
図3において、第1要素画像群の光波は、第1の要素画像面43から出射して、図4において厚み方向を示した平面状の第1および第2の仮想的な開口群41,42を、左から右へ通過して第2の要素画像面44に入射する。また、k1は第1要素画像群におけるm番目の要素画像の領域を示し、d1は第1要素画像群(第1の要素画像面43)から第1の仮想的な開口群41までの距離を示す。同様に、k2は第2要素画像群におけるn番目の要素画像の領域を示し、d2は第2の仮想的な開口群42から第2要素画像群(第2の要素画像面44)までの距離を示す。
In FIG. 3, the light waves of the first element image group are emitted from the first
また、図3において、p1は第1の仮想的な開口群41を形成する要素レンズのピッチを示し、p2は第2の仮想的な開口群42を形成する要素レンズのピッチを示す。本実施形態では、以下の式(1)で表されるピッチの比ΦをΦ=1として設定する。つまり、第1および第2の仮想的な開口群41,42の要素レンズ(開口)のピッチは同じである。なお、第1の仮想的な開口群41あるいは第2の仮想的な開口群42の要素レンズ(開口)のピッチにばらつきがある場合、各要素レンズ(開口)間のピッチの平均値あるいは他の統計量を代表することで、第1の仮想的な開口群41のピッチp1あるいは第2の仮想的な開口群42のピッチp2とみなすものとする。
In FIG. 3, p 1 indicates the pitch of the element lenses that form the first
[立体画像補正装置の詳細な構成]
<第1配置情報取得手段>
第1配置情報取得手段11は、立体画像撮影装置20の第1要素光学レンズ群(図2(a)参照)を構成するそれぞれの第1要素光学レンズの配置情報を取得するものである。
例えば、第1配置情報取得手段11は、非特許文献3(非特許文献3:Proc. SPIE, vol.6803, pp.68030G1-68030G9, 2008)に記載された手法を用いて検出された第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの要素画像領域を配置情報として取得する。この手法によれば、立体画像撮影装置20の第1要素光学レンズ群に平行光線を入射し、それぞれの第1要素光学レンズにより生成される点像の位置を重心法により検出することにより、それぞれの第1要素光学レンズの要素画像領域を配置情報として取得する。第1配置情報取得手段11は、このようにして自ら配置情報を検出してもよいし、前記した手法を用いて他の装置によって検出された配置情報を取得してもよい。
例えば、前記した手法を用いて図示しない手段によって検出された配置情報が、図示しない記憶手段にメタデータとして予め記憶されている場合、第1配置情報取得手段11は、適宜のタイミングで図示しない記憶手段から配置情報を読み出すようにしてもよい。
[Detailed Configuration of Stereoscopic Image Correction Device]
<First arrangement information acquisition means>
The first arrangement
For example, the first arrangement
For example, when arrangement information detected by a means (not shown) using the above-described method is stored in advance as metadata in a storage means (not shown), the first arrangement information acquisition means 11 stores a memory (not shown) at an appropriate timing. The arrangement information may be read from the means.
また例えば、立体画像撮影装置20が放送局のカメラである場合、放送局側で各カメラにおける配置情報を予め取得しておき、放送番組の配信時に、放送番組にその放送番組を撮影したカメラにおける配置情報を多重化して送信するようになっていてもよい。そして、例えば、立体画像表示装置30がテレビ受信機であり、立体画像補正装置10がテレビ受信機に組み込んで構成される場合、立体画像表示装置30において放送番組が受信されると、この放送番組に多重化された配置情報を第1配置情報取得手段11が取得するようにしてもよい。
Further, for example, when the stereoscopic
さらに例えば、放送局側で動画あるいは静止画等のデータフォーマット内にその動画あるいは静止画等を撮影した立体画像撮影装置20の第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を埋め込んでおき、立体画像表示装置30において、動画あるいは静止画等のダウンロード時に、動画あるいは静止画等と共にダウンロードされた配置情報を第1配置情報取得手段11が取得するようにしてもよい。
第1配置情報取得手段11は、このようにして取得した配置情報を、分配手段13に出力する。
Further, for example, the arrangement of the first element optical lenses constituting the first element optical lens group of the stereoscopic
The first arrangement
<第2配置情報取得手段>
第2配置情報取得手段12は、立体画像表示装置30の第2要素光学レンズ群(図2(b)参照)を構成するそれぞれの第2要素光学レンズの配置情報を取得するものである。
第2配置情報取得手段12は、例えば、第1配置情報取得手段11において説明したのと同様に、非特許文献3(非特許文献3:Proc. SPIE, vol.6803, pp.68030G1-68030G9, 2008)に記載された手法を用いて第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの要素画像領域を配置情報として取得する。第2配置情報取得手段12は、このようにして自ら配置情報を検出してもよいし、前記した手法を用いて他の装置によって検出された配置情報を取得してもよい。例えば、前記した手法を用いて図示しない手段によって検出された配置情報が、図示しない記憶手段にメタデータとして予め記憶されている場合、第2配置情報取得手段12は、適宜のタイミングで図示しない記憶手段から配置情報を読み出すようにしてもよい。
<Second arrangement information acquisition means>
The second arrangement
The second arrangement information acquisition means 12 is, for example, the same as described in the first arrangement information acquisition means 11, Non-Patent Document 3 (Non-Patent Document 3: Proc. SPIE, vol.6803, pp.68030G1-68030G9, 2008), element image regions of the respective second element optical lenses constituting the second element optical lens group are acquired as arrangement information. The second arrangement
また例えば、製造メーカにおいて立体画像表示装置30毎に第2要素光学レンズ群を構成する第2要素光学レンズの配置情報が予め測定され、この配置情報が立体画像表示装置30毎に、自装置内の図示しない記憶手段に予め記憶されている場合、第2配置情報取得手段12は、適宜のタイミングで図示しない記憶手段からこの配置情報を読み出すようにしてもよい。あるいは、立体画像表示装置30の製造メーカが立体画像表示装置30毎の配置情報を保有しており、この配置情報のダウンロードが許可されている場合、第2配置情報取得手段12は、適宜のタイミングで自装置の配置情報をダウンロードするようにしてもよい。
第2配置情報取得手段12は、このようにして取得した第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を、再分配手段16に出力する。
Further, for example, the arrangement information of the second element optical lens constituting the second element optical lens group is measured in advance for each stereoscopic
The second arrangement
なお、図1では、第1配置情報取得手段11と第2配置情報取得手段12が、それぞれ、外部から配置情報を取得する場合を例示したが、これに限定されず、前記したように、第1配置情報取得手段11が立体画像撮影装置20から、あるいは、第2配置情報取得手段12が立体画像表示装置30から直接配置情報を取得してもよいことはもちろんである。
1 illustrates the case where the first arrangement
<分配手段>
分配手段13は、入力された映像信号(第1要素画像群の光波)を要素画像単位に分配するものである。入力された映像信号(第1の要素画像面43から出射する光波)は、第1要素画像群を構成する各要素画像の光波の束に相当し、これを第1要素画像群t1と表記することとする。この分配手段13は、入力された映像信号における第1要素画像群t1を、第1配置情報取得手段11で取得された配置情報に従って要素画像毎に分配する。つまり、分配手段13は、入力画像全体(第1要素画像群t1)から、例えば、第1配置情報取得手段11で取得されたm番目の第1要素レンズの要素画像領域に対応する領域を、m番目の要素画像として抽出する。これによれば、第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報に従って第1要素画像群t1を要素画像毎に分配するため、入力画像全体(第1要素画像群t1)を、それぞれの第1要素光学レンズが撮影した要素画像毎に正確に分配することができる。
<Distributing means>
The distribution means 13 distributes the input video signal (the light wave of the first element image group) in element image units. The input video signal (the light wave emitted from the first element image plane 43) corresponds to a bundle of light waves of each element image constituting the first element image group, and this is expressed as a first element image group t1. I will do it. The
そして、分配手段13は、入力された映像信号における第1要素画像群t1のm番目の要素画像の光波(gs,m(xs,m,ys,m))を、このm番目の要素画像に予め対応付けられている第1要素画像変換手段14に出力する。ここで、xs,mは、入力画像全体(第1要素画像群)におけるm番目の要素画像の中心を原点とした場合のx座標を示す。同様に、ys,mは、入力画像全体(第1要素画像群)におけるm番目の要素画像の中心を原点とした場合のy座標を示す。
Then, the distributing
<第1要素画像変換手段>
第1要素画像変換手段14は、図1に示すように、光波計算手段14aと、位相シフト手段14bと、光波計算手段14cとを備えている。
<First element image conversion means>
As shown in FIG. 1, the first element image conversion means 14 includes a light wave calculation means 14a, a phase shift means 14b, and a light wave calculation means 14c.
≪光波計算手段14a≫
光波計算手段14aは、要素画像の光波から、フレネル近似(Fresnel diffraction)に基づいて、第1の仮想的な開口群41(図3参照)を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段14aは、第1の仮想的な開口群41のm番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(2)により要素画像毎の光波(Ri,m(xo,m,yo,m))を演算する。
<< Light wave calculating means 14a >>
The light wave calculation means 14a calculates the light wave incident on the element lens constituting the first virtual aperture group 41 (see FIG. 3) from the light wave of the element image based on Fresnel approximation. is there. That is, the light wave calculation means 14a uses a general Fresnel approximation as a signal corresponding to the light wave reaching the m-th element lens of the first
ここで、xo,mは、第1の仮想的な開口群41のm番目の要素レンズの光軸中心を原点とした場合のx座標である。同様に、yo,mは、第1の仮想的な開口群41の要素レンズ群のm番目の開口部の光軸中心を原点とした場合のy座標である。また、f1は、第1の仮想的な開口群41の要素レンズの焦点距離を示す。また、kは、波数2π/λ(λは光波の波長)である。この要素画像毎の光波(Ri,m(xo,m,yo,m))は、位相シフト手段14bに出力される。
Here, x o, m is the x coordinate when the optical axis center of the m-th element lens of the first
≪位相シフト手段14b≫
位相シフト手段14bは、入力された要素画像の光波(Ri,m(xo,m,yo,m))から、位相を、第1の仮想的な開口群41の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段14bは、以下の式(3)に示すように、光波(Ri,m(xo,m,yo,m))を、第1の仮想的な開口群41の要素レンズに相当する位相分だけシフトさせることで、第1の仮想的な開口群41の要素レンズから出射する光波に相当する信号(Ro,m(xo,m,yo,m))を演算する。この光波(Ro,m(xo,m,yo,m))は、光波計算手段14cへ出力される。
<< Phase shift means 14b >>
The phase shift means 14b corresponds to the element lens of the first
≪光波計算手段14c≫
光波計算手段14cは、第1の仮想的な開口群41の要素レンズから出射する光波、すなわち、位相シフト手段14bから入力された要素画像の光波(Ro,m(xo,m,yo,m))をフレネル近似することで、第2の仮想的な開口群42(図3参照)の要素レンズに入射する光波を演算するものである。つまり、光波計算手段14cは、第2の仮想的な開口群42の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式(4)により要素画像毎の光波(Rd,m(xd,m,yd,m))を演算する。この要素画像毎の光波(Rd,m(xd,m,yd,m))は加算手段15へ出力される。
<< Light wave calculating means 14c >>
The light wave calculation means 14c is a light wave emitted from the element lens of the first
式(4)において、xd,mは、第1の仮想的な開口群41のm番目の要素レンズの光軸中心を原点とした場合の、第2の仮想的な開口群42の入射面におけるx座標である。同様に、yd,mは、第1の仮想的な開口群41のm番目の要素レンズの光軸中心を原点とした場合の、第2の仮想的な開口群42の入射面におけるy座標を示す。また、Lは、第1の仮想的な開口群41と第2の仮想的な開口群42との距離である。また、積分計算を実施する範囲は、m番目の要素画像(要素画像(m))の拡がる範囲と等価に設定することとする。第1要素画像群におけるm番目の要素画像が広がる範囲wの一例を図4に示す。この場合、第1要素画像群におけるm番目の要素画像が広がる範囲wは式(5)で表わされる。なお、k1は第1要素画像群におけるm番目の要素画像の領域を示し、d1は第1要素画像群(第1の要素画像面43)から第1の仮想的な開口群41までの距離を示す。
In Expression (4), x d, m is the incident surface of the second virtual aperture group 42 when the optical axis center of the m-th element lens of the first
なお、前記したように、第1要素画像変換手段14に入力される要素画像の光波は、立体画像撮影装置20で取得された第1要素画像群t1を、分配手段13によって、第1要素光学レンズ群を構成する第1要素光学レンズの配置情報に従って要素画像毎に分配することで得られたものである。このため、第1要素画像変換手段14によって、例えばm番目の要素画像の光波を、第1の仮想的な開口群のm番目の開口を通過した光波に相当する光波に変換する処理は、このm番目の要素画像の光波を、第1要素光学レンズ群のm番目の第1要素光学レンズを通過した光波に変換することに相当することになる。
Note that, as described above, the light wave of the element image input to the first element image conversion unit 14 converts the first element image group t1 acquired by the stereoscopic
<加算手段>
加算手段15は、第1要素画像変換手段14で変換されたそれぞれの要素画像の光波を、分配手段13で分配された数だけ、第2の仮想的な開口群42の入射面で加算するものである。この加算手段15では、それぞれの要素画像の光波を分配手段13で分配された数だけ加算することで、立体像を仮想的に再現した状態を算出している。加算手段15は、第1の仮想的な開口群41の要素レンズの画角に対応する光波を加算する。この加算手段15は、第1の仮想的な開口群42の要素レンズから出射されて第2の仮想的な開口群42の要素レンズの入射面に到達する光波(Rd,m(xd,m,yd,m))を、第2の仮想的な開口群42の領域内で加算する。つまり、第2の仮想的な開口群42の入射面での光波に相当する信号として、以下の式(6)により、第2の仮想的な開口群42の入射面での光波(Rp(xp,yp))を演算する。
<Adding means>
The adding means 15 adds the light waves of the respective element images converted by the first element image converting means 14 by the number distributed by the distributing means 13 on the incident surface of the second virtual aperture group 42. It is. The adding means 15 calculates the state in which the stereoscopic image is virtually reproduced by adding the light waves of the respective element images by the number distributed by the distributing
ここで、xpは、第2の仮想的な開口群42の中心を原点とした場合のx座標であり、同様に、ypは、第2の仮想的な開口群42の中心を原点とした場合のy座標である。この光波(Rp(xp,yp))は再分配手段16へ出力される。 Here, x p is an x coordinate when the center of the second virtual aperture group 42 is the origin, and similarly, y p is the center of the second virtual aperture group 42 as the origin. This is the y coordinate. This light wave (R p (x p , y p )) is output to the redistribution means 16.
<再分配手段>
再分配手段16は、加算手段15で加算された光波を、第2要素画像群を構成する要素画像毎に再分配するものである。この再分配手段16は、加算手段15から入力された光波(Rp(xp,yp))を、第2配置情報取得手段12で取得された第2要素光学レンズ群の第2配置情報に従って、要素画像単位に分割する。つまり、再分配手段16は、例えば、第2配置情報取得手段12からn番目の第2要素レンズの要素画像領域が入力されると、加算手段15で加算された光波から、n番目の第2要素レンズの要素画像領域に対応する領域に属する光波を、n番目の要素画像として抽出する。
<Redistribution means>
The redistribution means 16 redistributes the light wave added by the addition means 15 for each element image constituting the second element image group. The
光波(Rp(xp,yp))を再分配した要素画像ごとの光波として、第2の仮想的な開口群42を構成するn番目の要素レンズに対応する光波を、(Rp,n(xp,n,yp,n))とする。ここで、再分配手段16は、第2の仮想的な開口群42を構成する各要素レンズに入力された光波(Rp,n(xp,n,yp,n))を、第2の仮想的な開口群42を横成するn番目の要素レンズに予め対応付けられている第2要素画像変換手段17に出力する。 As a light wave for each element image obtained by redistributing the light wave (R p (x p , y p )), a light wave corresponding to the n-th element lens constituting the second virtual aperture group 42 is represented by (R p, n ( xp, n , yp , n )). Here, the redistribution means 16 converts the light wave (R p, n (x p, n , y p, n )) input to each element lens constituting the second virtual aperture group 42 into the second Is output to the second element image conversion means 17 that is associated in advance with the nth element lens that lies across the virtual aperture group 42.
<第2要素画像変換手段>
第2要素画像変換手段17は、再分配手段16で分配された要素画像の光波を、第2の仮想的な開口群42を通過して結像するまでの距離だけ伝搬した光波に変換するものである。つまり、第2要素画像変換手段17は、再分配手段16によって第2要素光学レンズの配置情報に基づいて要素画像毎に再分配されたそれぞれの要素画像の光波を、それぞれの第2要素光学レンズを通過して結像するまでの距離だけ伝搬した光波に変換するものである。
<Second element image conversion means>
The second element image conversion means 17 converts the light wave of the element image distributed by the redistribution means 16 into a light wave that has propagated through the second virtual aperture group 42 until the image is formed. It is. In other words, the second element image conversion means 17 converts the light waves of the respective element images redistributed for each element image based on the arrangement information of the second element optical lenses by the redistribution means 16 to the respective second element optical lenses. Is converted into a light wave that has been propagated by a distance until it forms an image after passing through.
この第2要素画像変換手段17は、再分配手段16から入力された光波を、第2の仮想的な開口群42の要素レンズ(焦点距離f2)の開口領域に再分配した後、その要素レンズ(焦点距離f2)を通過する光波に変換し、さらに、その要素レンズの焦点距離f2だけ光波を伝搬させる。第2要素画像変換手段17は、例えば(2N+1)個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第2要素画像群が構成されることとなる。これを第2要素画像群t2と表記することとする。つまり、第2要素画像変換手段17は、第2要素画像群t2を演算する。第2要素画像変換手段17は、図1に示すように、位相シフト手段17aと、光波計算手段17bとを備えている。 The second element image conversion means 17 redistributes the light wave input from the redistribution means 16 to the aperture region of the element lens (focal length f 2 ) of the second virtual aperture group 42, and then It converts into a light wave that passes through the lens (focal length f 2 ), and further propagates the light wave by the focal length f 2 of the element lens. The second element image conversion unit 17 functions for each (2N + 1) element images, for example, to propagate a bundle of light waves of each element image. The second element image group is composed of a bundle of light waves of the element images that propagate. This is expressed as a second element image group t2. That is, the second element image conversion unit 17 calculates the second element image group t2. As shown in FIG. 1, the second element image conversion means 17 includes a phase shift means 17a and a light wave calculation means 17b.
≪位相シフト手段17a≫
位相シフト手段17aは、再分配手段16から入力された光波(Rp,n(xp,n,yp,n))から、位相を、第2の仮想的な開口群42の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段17aは、以下の式(7)に示すように、光波(Rp,n(xp,n,yp,n))を、第2の仮想的な開口群42の要素レンズに相当する位相分だけシフトさせることで、第2の仮想的な開口群42の要素レンズから出射する光波に相当する信号(Rr,n(xp,n,yp,n))を演算する。
<< Phase shift means 17a >>
The
ここで、xp,nは、第2の仮想的な開口群42のn番目の要素レンズの光軸中心を原点とした場合のx座標である。同様に、yp,nは、第2の仮想的な開口群42のn番目の要素レンズの光軸中心を原点とした場合のy座標である。また、f2は、第2の仮想的な開口群42の要素レンズの焦点距離である。この要素画像毎の光波(Rr,n(xp,n,yp,n))は、光波計算手段17bへ出力される。 Here, xp, n is the x coordinate when the optical axis center of the nth element lens of the second virtual aperture group 42 is the origin. Similarly, yp , n is the y coordinate when the center of the optical axis of the nth element lens of the second virtual aperture group 42 is the origin. F 2 is the focal length of the element lens of the second virtual aperture group 42. The light wave (R r, n (x p, n , y p, n )) for each element image is output to the light wave calculation means 17b.
≪光波計算手段17b≫
光波計算手段17bは、第2の仮想的な開口群42の要素レンズ毎の光波をフレネル近似することで、第2の仮想的な開口群42の要素レンズから出射し、第2の要素画像面44(図4参照)に到達する光波を演算するものである。すなわち、光波計算手段17bは、以下の式(8)により、第2の仮想的な開口群42のn番目の要素レンズから出射されて第2の要素画像面44に到達する光波(Re,n(xe,n,ye,n))を演算する。
<< Light wave calculating means 17b >>
The light wave calculating means 17b emits the light wave of each element lens of the second virtual aperture group 42 from the element lens of the second virtual aperture group 42 by performing Fresnel approximation, and the second element image plane The light wave reaching 44 (see FIG. 4) is calculated. That is, the light wave calculation means 17b calculates the light wave (R e, E) emitted from the nth element lens of the second virtual aperture group 42 and reaching the second element image plane 44 by the following equation (8) . n (x e, n , y e, n )) is calculated.
ここで、xe,nは、出力画像全体(第2要素画像群)におけるn番目の要素画像の中心からのx座標である。同様に、ye,nは出力画像全体におけるn番目の要素画像の中心からのy座標である。この光波計算手段17bで演算された光波(Re,n(xe,n,ye,n))は結合手段18へ出力される。
Here, x e, n is an x coordinate from the center of the n-th element image in the entire output image (second element image group). Similarly, y e, n is the y coordinate from the center of the nth element image in the entire output image. The light wave (R e, n (x e, n , y e, n )) calculated by the light
なお、前記したように、第2要素画像変換手段17に入力される要素画像の光波は、加算手段15から入力された要素画像の光波を、再分配手段16によって、第2要素光学レンズ群を構成する第2要素光学レンズの配置情報に従って要素画像毎に分配することで得られたものである。このため、第2要素画像変換手段17によって、例えばm番目の要素画像の光波を、第2の仮想的な開口群のm番目の開口を通過した光波に相当する光波に変換する処理は、このm番目の要素画像の光波を、あたかも、第2要素光学レンズ群のm番目の第2要素光学レンズに表示して再撮影する処理に相当することになる。 As described above, the light wave of the element image input to the second element image conversion means 17 is changed from the light wave of the element image input from the addition means 15 to the second element optical lens group by the redistribution means 16. This is obtained by distributing for each element image in accordance with the arrangement information of the second element optical lens constituting. For this reason, the second element image conversion means 17 converts, for example, the light wave of the m-th element image into a light wave corresponding to the light wave that has passed through the m-th opening of the second virtual opening group. This corresponds to the process of displaying the light wave of the m-th element image on the m-th second element optical lens of the second element optical lens group and re-photographing.
<結合手段>
結合手段18は、第2要素画像変換手段17で変換された光波を、再分配手段16で再分配された数だけ結合することで、第2要素画像群を生成するものである。この結合手段18は、第2要素画像変換手段17から出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第2要素画像群t2となる映像信号を生成する。この結合手段18で得られた第2要素画像群t2は、立体画像表示装置30(図1参照)へ出力される。
<Coupling means>
The combining means 18 generates a second element image group by combining the light waves converted by the second element image converting means 17 by the number redistributed by the redistributing means 16. This combining means 18 calculates the sum of the powers of the light waves from the light waves for each element image output from the second element image conversion means 17, that is, a video signal in which the size of the stereoscopic image is converted, that is, Then, a video signal to be the second element image group t2 is generated. The second element image group t2 obtained by the combining
ここで、第2要素画像変換手段17から出力される第2の要素画像面44に到達する光波(Re,n(xe,n,ye,n))の電力は、光の振幅の2乗で表わすことができる。また、第1要素画像群t1の各要素画像として発せられた光波は、インコヒーレント(波長や位相が一定ではない)であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段18は、以下の式(9)に示すように、第2の要素画像面44に到達する各要素画像の光波(例えばn番目の要素画像であればその光波は(Re,n(xe,n,ye,n))である)の2乗を計算し、その和をとることで、第2要素画像群t2全体の映像信号を得る。
Here, the power of the light wave (R e, n (x e, n , y e, n )) reaching the second element image plane 44 output from the second element image conversion means 17 is the light amplitude. It can be expressed as a square. Moreover, since the light wave emitted as each element image of the first element image group t1 is incoherent (the wavelength and phase are not constant), the phase of the light wave can be regarded as uncorrelated. Therefore, as shown in the following formula (9), the combining
この第2要素画像群t2は、立体画像表示装置30に出力される。
図5(b)に示すように、立体画像補正装置10の結合手段18から出力された第2要素画像群t2が立体画像表示装置30に入力されると、立体画像表示装置30は、表示素子によって、この第2要素画像群t2を表示する。そして、表示素子に表示された第2要素画像群t2の光波が、表示素子の前方に配置された第2要素光学レンズ群を通過することにより、第2要素画像群t2の光波が収束し、被写体が存在したのと同じ位置に再生像が生成される。
The second element image group t2 is output to the stereoscopic
As shown in FIG. 5B, when the second element image group t2 output from the combining
ここで、本実施形態では、第1および第2の仮想的な開口群41,42のピッチの比ΦをΦ=1としている。被写体111の大きさをxcとし、再生される立体像121の大きさをxrとすると、両者の関係は、前記した式(101)の通りである。つまり、前記した式(101)において、α=γとすると、被写体111の大きさxcと、再生される立体像121の大きさxrとの関係は、以下の式(10)で表わされることとなる。
Here, in the present embodiment, the pitch ratio Φ of the first and second
したがって、立体画像撮影装置20における要素レンズのピッチpc(図8(a)参照)と、立体画像表示装置30(図1参照)における要素レンズのピッチpr(図8(b)参照)とが等しい場合には、被写体の大きさxc(図8(a)参照)と、再生される立体像の大きさxr(図8(b)参照)とが等しくなる。 Therefore, the pitch p c of the element lens in the stereoscopic image capturing device 20 (see FIG. 8A), and the pitch p r of the element lens in the stereoscopic image display device 30 (see FIG. 1) and Are equal to each other, the size x c of the subject (see FIG. 8A) is equal to the size x r of the reproduced stereoscopic image (see FIG. 8B).
またここで、図5(a)および図5(b)に示すように、立体画像表示装置30の第2要素光学レンズ群と、立体画像撮影装置20の第1要素光学レンズ群との間で、相対的な位置ずれが生じている。しかし、立体画像補正装置10によって、前記したような演算処理を行って、立体画像撮影装置20で取得された第1要素画像群t1の光波を、相対的な位置ずれに応じて補正して第2要素画像群t2を生成したことにより、この第2要素画像群t2を立体画像表示装置30において再生像として表示すると、図5(b)に示すように、ぶれやぼけ等がない良好な画質の立体像121となる。
Further, here, as shown in FIGS. 5A and 5B, between the second element optical lens group of the stereoscopic
つまり、立体画像補正装置10は、立体画像撮影装置20の第1要素光学レンズ群を通して被写体を撮影することで取得した第1要素画像群を、第1要素光学レンズ群を構成する第1要素光学レンズの要素画像領域毎に正確に分配し、このそれぞれの要素画像の光波を伝搬させて加算することで仮想的な立体像を作り出し、この仮想的に作り出した立体像を、第2要素光学レンズ群を構成する第2要素光学レンズの位置情報に基づいて再分配し、このそれぞれの要素画像の光波を伝搬させて加算することで第2要素画像群を生成しているため、生成された第2要素画像群を、第2要素光学レンズを通して立体像として表示したときに、ぶれやぼけ等がない良好な画質の立体像121が得られることになる。
That is, the stereoscopic image correction apparatus 10 uses the first element optical group constituting the first element optical lens group from the first element image group acquired by photographing the subject through the first element optical lens group of the stereoscopic
このように、本実施形態の立体画像補正装置10によれば、立体画像撮影装置20の第1要素光学レンズ群と立体画像表示装置30の第2要素光学レンズ群との間の相対的な位置ずれに応じて、立体画像撮影装置20で取得された第1要素画像群t1を補正し、立体像として表示されたときに、画質の良好な第2要素画像群t2を生成することができる。
Thus, according to the stereoscopic image correction apparatus 10 of the present embodiment, the relative position between the first element optical lens group of the stereoscopic
以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。 Although the present embodiment has been described above, the present invention is not limited to this, and can be implemented in various ways without changing the gist thereof.
例えば、本実施形態では、図4に示したように、第1の仮想的な開口群41を形成する要素レンズのピッチp1と、第2の仮想的な開口群42を形成する要素レンズのピッチp2のピッチの比ΦをΦ=1として設定したがこれに限定されない。例えば、図6に示すように、第1の仮想的な開口群41を形成する要素レンズのピッチp1と、第2の仮想的な開口群42を形成する要素レンズのピッチp3のピッチの比ΦをΦ≠1としてもよい。つまり、第1および第2の仮想的な開口群41,42の要素レンズ(開口)のピッチを異ならせてもよい。なお、図6では、Φ<1の状態が図示されているが、Φ>1と設定してもよい。このように、前記した(1)で表されるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。
For example, in this embodiment, as shown in FIG. 4, the pitch p 1 of the element lenses that form the first
図6に示すように第1および第2の仮想的な開口群41,42の要素レンズ(開口)のピッチを異ならせた場合、要素画像の光波は、開口のピッチが互いに異なる2つの仮想的な開口群を通過するので、第1要素画像群の領域の長さと第2要素画像群の領域の長さとが異なることとなる。そのため、この第2要素画像群が立体画像として表示された場合に、第1要素画像群が立体画像として表示された場合とは像の大きさが異なる再生像を表示することができる。
As shown in FIG. 6, when the pitches of the element lenses (apertures) of the first and second
ここで、第1および第2の仮想的な開口群41,42の要素レンズ(開口)のピッチを異ならせた場合、被写体111の大きさxcと、再生される立体像121の大きさxrとの関係は、以下の式(11)で表わされる。
Here, when having different pitches of the first and second virtual element lens of
つまり、図1において、立体画像撮影装置20における要素レンズのピッチpcと、立体画像表示装置30における要素レンズのピッチprとが仮に等しかったとしても、第1の仮想的な開口群41の要素レンズのピッチp1と、第2の仮想的な開口群42の要素レンズのピッチp2とを制御することで、被写体111の大きさxcに対する再生される立体像121の大きさxrを変化させることが可能となる。
That is, in FIG. 1, the pitch p c of the element lenses in the three-dimensional
なお、説明の都合上、前記した式(10)および式(11)の説明において、前記した式(101)においてαとγとが等しい場合について記述したが、本発明では、前記した式(101)においてα≠γとしてもよい。同様に、立体画像撮影装置20における要素レンズのピッチpcと、立体画像表示装置30における要素レンズのピッチprとが等しい場合について記述したが、pc≠prとしてもよい。
For convenience of explanation, the case where α and γ are equal in the above-described equation (101) has been described in the above-described equations (10) and (11). However, in the present invention, the above-described equation (101) is described. ) May be α ≠ γ. Similarly, the pitch p c of the element lenses in the three-dimensional
またさらに、本実施形態では、立体画像撮影装置20の第1要素光学レンズ群における第1要素光学レンズのピッチと、立体画像表示装置30の第2要素光学レンズ群における第2要素光学レンズのピッチとが同じであるものとして説明したが、これらが異なる場合には、例えば、第1の仮想的な開口群41のピッチに合わせて、第2の仮想的な開口群42のピッチを変えてもよい。
Furthermore, in the present embodiment, the pitch of the first element optical lens in the first element optical lens group of the stereoscopic
例えば、立体画像撮影装置20における画面サイズが20インチで立体画像撮影装置20における画面サイズが50インチの場合、第1要素光学レンズ群における第1要素光学レンズの数と、第2要素光学レンズ群における第2要素光学レンズの数が同じであるとすると、第1要素光学レンズ群における第1要素光学レンズのピッチは1mmであり、第2要素光学レンズ群における第2要素光学レンズのピッチは2.5mmとなる。
このように立体画像撮影装置20と立体画像表示装置30との画面サイズが合致していない場合、立体画像撮影装置20で取得された第1要素画像群を、そのまま立体画像表示装置30に表示しようとすると、立体画像表示装置30の画面サイズに合致した適切な大きさで表示することができず、縮小されあるいは一部分のみが拡大された再生像となってしまう。
For example, when the screen size of the stereoscopic
When the screen sizes of the stereoscopic
そこで、第1の仮想的な開口群41のピッチに合わせて第2の仮想的な開口群42のピッチを変える、つまり、第2要素光学レンズ群における第2要素光学レンズが、第1要素光学レンズ群における第1要素光学レンズのピッチおよび数と同じピッチおよび数で配列された第2の仮想的な開口群42を作り出し、第1要素画像群の光波を、この第1および第2の仮想的な開口群41、42を通過した光波に変換して第2要素画像群を生成する。これにより、立体像として表示されたときに、画質が良好であり、かつ、立体画像表示装置30の画面サイズに応じた割合の再生像となる第2要素画像群を生成することができる。
Therefore, the pitch of the second virtual aperture group 42 is changed in accordance with the pitch of the first
また、本実施形態では、前記した式(2)、式(4)および式(8)の演算において、フレネル近似を用いる式を示したが、ホイへンス・フレネル(Huygens-Fresnel)の原理による積分や、フランフォーファ近似(Fraunhofer diffraction)による積分を用いて演算してもよい。 Further, in the present embodiment, the formula using the Fresnel approximation is shown in the calculations of the formulas (2), (4), and (8) described above, but it is based on the Huygens-Fresnel principle. The calculation may be performed using integration or integration by Fraunhofer diffraction.
また、本実施形態では、前記した式(2)、式(3)、式(7)および式(8)の演算において、第1の仮想的な開口群41の要素レンズの焦点距離f1、第2の仮想的な開口群42の要素レンズの焦点距離f2をそれぞれ用いたが、これに限定されない。すなわち、焦点距離は、第1の仮想的な開口群41を構成する要素レンズ毎に異なっていてもよいし、第2の仮想的な開口群42を構成する要素レンズ毎に異なっていてもよい。
In the present embodiment, the focal lengths f 1 of the element lenses of the first
また、本実施形態では、第1要素画像群を、立体像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像としたが、これに限定されない。例えば、第1要素画像群を、立体画像として表示されたときに、被写体の凹凸と同じ再生像となる複数の要素画像を用いてもよい。この場合、図示しない手段によって、立体像として表示されたときに被写体の凹凸と同じ再生像となる要素画像群を構成する個々の要素画像をそれぞれ点対称に反転させることで第1要素画像群を生成し、この第1要素画像群を、立体画像補正装置10の分配手段に出力する。 In the present embodiment, the first element image group is a plurality of element images that are reproduced images in which the unevenness of the subject is reversed when displayed as a stereoscopic image. However, the present invention is not limited to this. For example, when the first element image group is displayed as a stereoscopic image, a plurality of element images that have the same reproduced image as the unevenness of the subject may be used. In this case, the first element image group is obtained by inverting the individual element images that constitute the element image group that is the same reproduced image as the unevenness of the subject when displayed as a three-dimensional image by means not shown in the drawing so as to be point-symmetrically reversed. The first element image group is generated and output to the distribution unit of the stereoscopic image correction apparatus 10.
また、本実施形態では、第1の仮想的な開口群41を構成する要素レンズの数や密度と、第2の仮想的な開口群42を構成する要素レンズの数や密度との関係について記述していないが、これらの関係は任意である。例えば、図7に示すように、第1の仮想的な開口群51を構成する要素レンズが粗に少ない数で配置され、第2の仮想的な開口群42を構成する要素レンズが密に多数で配置されていてもよい。この場合、第1の仮想的な開口群51を構成する要素レンズのピッチはp4であり、図3に示した第1の仮想的な開口群41を構成する要素レンズのピッチp1とは異なっている。
In this embodiment, the relationship between the number and density of the element lenses constituting the first
また、立体画像補正装置10は、前記したようにハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現されるものとした。このプログラム(立体画像補正プログラム)は、通信回線を介して提供することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。また、立体画像補正装置10は、前記した各手段を演算回路によって実現することも可能である。 In addition, the stereoscopic image correction apparatus 10 is realized by controlling the hardware resources described above by the cooperation of the hardware apparatus and software as described above. This program (stereoscopic image correction program) can be provided via a communication line, or can be written on a recording medium such as a CD-ROM and distributed. In addition, the stereoscopic image correction apparatus 10 can also realize each of the above-described units with an arithmetic circuit.
また、本実施形態では、第1および第2の仮想的な開口群41,42を構成する開口を要素レンズとして説明したが、ピンホール等の空間フィルタに置き換えてもよい。この場合、要素レンズの焦点距離f1,f2に対応する距離は任意の距離とすることができる。
In the present embodiment, the apertures constituting the first and second
また、本実施形態の立体画像補正装置10では、光波の伝搬に波動光学的な演算を適用したが、これに限定されない。例えば、特許文献2(特許文献2:特開2009−21708)に記載されたような幾何光学的な演算を適用してもよい。 Further, in the stereoscopic image correction apparatus 10 of the present embodiment, wave optical calculation is applied to the propagation of the light wave, but the present invention is not limited to this. For example, a geometric optical calculation as described in Patent Document 2 (Patent Document 2: Japanese Unexamined Patent Application Publication No. 2009-21708) may be applied.
また、立体画像補正装置10は、立体画像撮影装置20や立体画像表示装置30に組み込んで構成することもできる。例えば、立体画像撮影装置20が放送局のカメラ等であり、立体画像表示装置30が放送局から提供された立体画像を受信して表示するテレビ受像機であるような場合、立体画像補正装置10を立体画像表示装置30に組み込んで構成すると好ましい。このような場合、立体画像補正装置10を立体画像撮影装置20に組み込んで構成すると、放送局側で、膨大な数のテレビ受像機からそれぞれ取得した配置情報とカメラの配置情報とに応じて、それぞれのテレビ受像機に応じた立体画像を生成しなければならないため放送局側の負担が大きくなってしまう。これに対し、立体画像補正装置10を立体画像表示装置30に組み込んで構成すると、膨大な数のテレビ受像機が、各々、放送局から立体画像と配置情報とを取得し、この配置情報と自装置の配置情報とに応じて立体画像を補正すればよいため、利便性が高くなる。
Further, the stereoscopic image correction apparatus 10 can be configured by being incorporated in the stereoscopic
10 立体画像補正装置
11 第1配置情報取得手段
12 第2配置情報取得手段
13 分配手段
14 第1要素画像変換手段
14a 光波計算手段
14b 位相シフト手段
14c 光波計算手段
15 加算手段
16 再分配手段
17 第2要素画像変換手段
17a 位相シフト手段
17b 光波計算手段
18 結合手段
20 立体画像撮影装置
30 立体画像表示装置
DESCRIPTION OF SYMBOLS 10 Stereoscopic
Claims (3)
前記第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する第1配置情報取得手段と、
この第1配置情報取得手段で取得された前記それぞれの第1要素光学レンズの配置情報に従って、前記第1要素画像群を、要素画像毎に分配する分配手段と、
この分配手段で分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第1の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する第1要素画像変換手段と、
この第1要素画像変換手段で変換されたそれぞれの要素画像の光波情報を前記分配された数だけ加算する加算手段と、
前記第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する第2配置情報取得手段と、
この第2配置情報取得手段で取得された前記それぞれの第2要素光学レンズの配置情報に従って、前記加算手段によって加算された光波情報を、前記第2要素画像群を構成する要素画像毎に再分配する再分配手段と、
この再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第2の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する第2要素画像変換手段と、
この第2要素画像変換手段で変換された光波情報を、前記再分配された数だけ結合することで、前記第2要素画像群を生成する結合手段と、を備える
ことを特徴とする立体画像補正装置。 A stereoscopic image correction apparatus that corrects a first element image group acquired by photographing a subject through a first element optical lens group and generates a second element image group that is displayed as a stereoscopic image through the second element optical lens group Because
First arrangement information acquisition means for acquiring arrangement information of each first element optical lens constituting the first element optical lens group;
Distributing means for distributing the first element image group for each element image according to the arrangement information of the respective first element optical lenses acquired by the first arrangement information acquiring means,
An optical element for each element image in which light wave information representing each element image distributed by the distribution means as a wave of light is virtually arranged at a predetermined distance from the image plane of the element image, or First element image conversion means for converting light wave information representing a wave of light that has passed through a first virtual aperture group constituted by a spatial filter and propagated to a predetermined distance ;
Adding means for adding light wave information of each element image converted by the first element image converting means by the distributed number;
Second arrangement information acquisition means for acquiring arrangement information of each second element optical lens constituting the second element optical lens group;
In accordance with the arrangement information of the respective second element optical lenses acquired by the second arrangement information acquisition means, the light wave information added by the adding means is redistributed for each element image constituting the second element image group. Redistribution means to
A second virtual aperture composed of an optical element or a spatial filter for each element image in which the light wave information of each element image distributed by the redistribution means is virtually arranged on the image surface of the element image. Second element image conversion means for converting into light wave information representing a wave of light propagated by a distance until passing through the group to form an image;
3D image correction comprising: combining means for generating the second element image group by combining the light wave information converted by the second element image converting means by the redistributed number. apparatus.
前記第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する第1配置情報取得手段、
この第1配置情報取得手段で取得された前記それぞれの第1要素光学レンズの配置情報に従って、前記第1要素画像群を、要素画像毎に分配する分配手段、
この分配手段で分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第1の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する第1要素画像変換手段、
この第1要素画像変換手段で変換されたそれぞれの要素画像の光波情報を前記分配された数だけ加算する加算手段、
前記第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する第2配置情報取得手段、
この第2配置情報取得手段で取得された前記それぞれの第2要素光学レンズの配置情報に従って、前記加算手段によって加算された光波情報を、前記第2要素画像群を構成する要素画像毎に再分配する再分配手段、
この再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第2の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する第2要素画像変換手段、
この第2要素画像変換手段で変換された光波情報を、前記再分配された数だけ結合することで、前記第2要素画像群を生成する結合手段、として機能させる
ための立体画像補正プログラム。 A computer for correcting a first element image group obtained by photographing a subject through the first element optical lens group and generating a second element image group displayed as a stereoscopic image through the second element optical lens group. The
First arrangement information acquisition means for acquiring arrangement information of each of the first element optical lenses constituting the first element optical lens group;
Distributing means for distributing the first element image group for each element image according to the arrangement information of the respective first element optical lenses acquired by the first arrangement information acquiring means,
An optical element for each element image in which light wave information representing each element image distributed by the distribution means as a wave of light is virtually arranged at a predetermined distance from the image plane of the element image, or First element image conversion means for converting light wave information representing a wave of light that has passed through a first virtual aperture group constituted by a spatial filter and propagated to a predetermined distance ;
Adding means for adding light wave information of each element image converted by the first element image converting means by the distributed number;
Second arrangement information acquisition means for acquiring arrangement information of each second element optical lens constituting the second element optical lens group;
In accordance with the arrangement information of the respective second element optical lenses acquired by the second arrangement information acquisition means, the light wave information added by the adding means is redistributed for each element image constituting the second element image group. Redistribution means,
A second virtual aperture composed of an optical element or a spatial filter for each element image in which the light wave information of each element image distributed by the redistribution means is virtually arranged on the image surface of the element image. A second element image converting means for converting light wave information representing a wave of light propagated by a distance until passing through the group to form an image;
A stereoscopic image correction program for causing light wave information converted by the second element image conversion means to function as a combining means for generating the second element image group by combining the redistributed number of light wave information .
前記第1要素光学レンズ群を構成するそれぞれの第1要素光学レンズの配置情報を取得する第1配置情報取得手段と、
この第1配置情報取得手段で取得された前記それぞれの第1要素光学レンズの配置情報に従って、前記第1要素画像群を、要素画像毎に分配する分配手段と、
この分配手段で分配されたそれぞれの要素画像を光の波動として表した光波情報を、当該要素画像の画像面から予め定めた距離に離間して仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第1の仮想的な開口群を通過して予め定めた距離まで伝搬した光の波動を表す光波情報に変換する第1要素画像変換手段と、
この第1要素画像変換手段で変換されたそれぞれの要素画像の光波情報を前記分配された数だけ加算する加算手段と、
前記第2要素光学レンズ群を構成するそれぞれの第2要素光学レンズの配置情報を取得する第2配置情報取得手段と、
この第2配置情報取得手段で取得された前記それぞれの第2要素光学レンズの配置情報に従って、前記加算手段によって加算された光波情報を、前記第2要素画像群を構成する要素画像毎に再分配する再分配手段と、
この再分配手段で分配されたそれぞれの要素画像の光波情報を、当該要素画像の画像面に仮想的に配置した当該要素画像毎の光学素子または空間フィルタで構成される第2の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光の波動を表す光波情報に変換する第2要素画像変換手段と、
この第2要素画像変換手段で変換された光波情報を、前記再分配された数だけ結合することで、前記第2要素画像群を生成する結合手段と、
この結合手段で生成された前記第2要素画像群を表示する表示素子と、
この表示素子から出力された要素画像の光波を通過させる前記第2要素光学レンズ群と、を備える
ことを特徴とする立体画像表示装置。 The first element image group acquired by photographing the subject through the first element optical lens group is corrected, and a second element image group that is displayed as a stereoscopic image is generated through the second element optical lens group. A stereoscopic image display device displaying a group of element images as a stereoscopic image,
First arrangement information acquisition means for acquiring arrangement information of each first element optical lens constituting the first element optical lens group;
Distributing means for distributing the first element image group for each element image according to the arrangement information of the respective first element optical lenses acquired by the first arrangement information acquiring means,
An optical element for each element image in which light wave information representing each element image distributed by the distribution means as a wave of light is virtually arranged at a predetermined distance from the image plane of the element image, or First element image conversion means for converting light wave information representing a wave of light that has passed through a first virtual aperture group constituted by a spatial filter and propagated to a predetermined distance ;
Adding means for adding light wave information of each element image converted by the first element image converting means by the distributed number;
Second arrangement information acquisition means for acquiring arrangement information of each second element optical lens constituting the second element optical lens group;
In accordance with the arrangement information of the respective second element optical lenses acquired by the second arrangement information acquisition means, the light wave information added by the adding means is redistributed for each element image constituting the second element image group. Redistribution means to
A second virtual aperture composed of an optical element or a spatial filter for each element image in which the light wave information of each element image distributed by the redistribution means is virtually arranged on the image surface of the element image. Second element image conversion means for converting into light wave information representing a wave of light propagated by a distance until passing through the group to form an image;
Combining means for generating the second element image group by combining the light wave information converted by the second element image converting means by the redistributed number;
A display element for displaying the second element image group generated by the combining means;
A stereoscopic image display device comprising: the second element optical lens group that transmits light waves of an element image output from the display element.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084374A JP5767500B2 (en) | 2011-04-06 | 2011-04-06 | Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084374A JP5767500B2 (en) | 2011-04-06 | 2011-04-06 | Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012220614A JP2012220614A (en) | 2012-11-12 |
JP5767500B2 true JP5767500B2 (en) | 2015-08-19 |
Family
ID=47272215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011084374A Active JP5767500B2 (en) | 2011-04-06 | 2011-04-06 | Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5767500B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101293576B1 (en) | 2013-01-08 | 2013-08-16 | 동서대학교산학협력단 | System of depth control in three-dimensional integral imaging display |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4272464B2 (en) * | 2003-05-02 | 2009-06-03 | 日本放送協会 | Stereoscopic image correction apparatus and method |
JP4832833B2 (en) * | 2005-09-01 | 2011-12-07 | 株式会社バンダイナムコゲームス | Arrangement lens specification deriving method, program, information storage medium, and arrangement lens specification deriving device |
JP4829924B2 (en) * | 2008-05-08 | 2011-12-07 | 日本放送協会 | Stereoscopic image conversion apparatus and program thereof |
JP5354252B2 (en) * | 2008-05-13 | 2013-11-27 | 独立行政法人情報通信研究機構 | 3D display manufacturing system, 3D display system, and 3D display system manufacturing method |
-
2011
- 2011-04-06 JP JP2011084374A patent/JP5767500B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012220614A (en) | 2012-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9503633B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US8810672B2 (en) | Image processing method, image processing device, and recording medium for synthesizing image data with different focus positions | |
JP2009300268A (en) | Three-dimensional information detection device | |
JP2013038503A (en) | Image processing apparatus, and image processing method and program | |
US9740015B2 (en) | Three-dimensional imaging system based on stereo hologram having nine-to-one microlens-to-prism arrangement | |
JP4928476B2 (en) | Stereoscopic image generating apparatus, method thereof and program thereof | |
JP2013009274A (en) | Image processing device, image processing method, and program | |
JP4676862B2 (en) | Stereoscopic image re-photographing device | |
WO2013001880A1 (en) | Three-dimensional imaging device and electronic equipment provided with same | |
JP2011217411A (en) | Image synthesizing method and imaging apparatus | |
JP4829924B2 (en) | Stereoscopic image conversion apparatus and program thereof | |
JP2007256673A (en) | Element image group imaging apparatus and stereoscopic image display device | |
JP4729011B2 (en) | Element image group conversion device, stereoscopic image display device, and element image group conversion program | |
JP5767500B2 (en) | Stereoscopic image correction apparatus and program thereof, and stereoscopic image display apparatus | |
JP2020028114A (en) | Stereoscopic image generation device and program thereof | |
JP5001570B2 (en) | Hologram data creation device, hologram data creation method, and hologram data creation program | |
JP4695557B2 (en) | Element image group correction apparatus, element image group acquisition system, element image group correction method, and element image group correction program | |
JP5088973B2 (en) | Stereo imaging device and imaging method thereof | |
JP2005069936A (en) | Three-dimensional image forming method, and method for deriving distance from three-dimensional object | |
JP7257272B2 (en) | DEPTH MAP GENERATION DEVICE AND PROGRAM THEREOF, AND 3D IMAGE GENERATION DEVICE | |
JP2014060649A (en) | Depth range calculation device and program of the same | |
JP2003005315A (en) | Stereoscopic image photographing device | |
JP6118527B2 (en) | Spatial distortion correction apparatus and program thereof | |
JP2013243602A (en) | Imaging device and control method of the same | |
JP2006184434A (en) | Stereoscopic image photographic device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140130 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5767500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |