JP7061445B2 - 立体画像生成装置及びそのプログラム - Google Patents
立体画像生成装置及びそのプログラム Download PDFInfo
- Publication number
- JP7061445B2 JP7061445B2 JP2017201560A JP2017201560A JP7061445B2 JP 7061445 B2 JP7061445 B2 JP 7061445B2 JP 2017201560 A JP2017201560 A JP 2017201560A JP 2017201560 A JP2017201560 A JP 2017201560A JP 7061445 B2 JP7061445 B2 JP 7061445B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- pixel
- distance
- stereoscopic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
立体画像生成装置は、軸ずれ量算出手段によって、画素間距離と、差分距離と、光学素子の焦点距離と、撮像素子のサイズと、表示素子のサイズとに基づいて、撮像カメラが備える撮像レンズと撮像素子との軸ずれ量を算出する。
立体画像生成装置は、立体画像生成手段によって、撮像カメラアレイが撮像した被写体画像から要素画像群を生成する。
このように、立体画像生成装置は、撮像カメラが備える撮像レンズの光軸と撮像素子の中心軸とをずらすことで、立体画像の奥行きを圧縮することができる。
立体画像生成装置は、軸ずれ量算出手段によって、画素間距離と、差分距離と、光学素子の焦点距離と、撮像素子のサイズと、表示素子のサイズとに基づいて、撮像カメラが備える撮像レンズと撮像素子との軸ずれ量を算出する。
立体画像生成装置は、立体画像生成手段によって、撮像カメラアレイを介して被写体画像を生成し、被写体画像から要素画像群を生成する。
このように、立体画像生成装置は、仮想的な撮像カメラが備える撮像レンズの光軸と撮像素子との中心軸をずらすことで、立体画像の奥行きを圧縮することができる。
このように、立体画像生成装置は、撮像カメラが備える撮像レンズの光軸と撮像素子の中心軸とをずらしたのと同等の処理を行うことで、立体画像の奥行きを圧縮することができる。
本発明に係る立体画像生成装置は、撮像レンズの光軸と撮像素子の中心軸とをずらした撮像カメラアレイで取得した複数の被写体画像から、立体像の奥行きを圧縮した要素画像群を生成するので、立体画像表示装置が解像度の高い奥行き範囲で立体像を表示することができる。
本実施形態では、奥行きの圧縮原理を説明した後、立体画像表示システムについて説明する。
[奥行きの圧縮原理]
以下、奥行きの圧縮原理として、立体画像表示装置と立体画像撮像装置との関係、撮像カメラによる置換、立体画像撮像装置の非線形圧縮特性、軸ずれによる奥行きの圧縮について、順に説明する。
立体画像表示装置10は、被写体αの立体像をIP方式で表示するディスプレイである。例えば、立体画像表示装置10は、図1に示すように、表示素子11と、表示用レンズアレイ12とを備える。
表示用レンズアレイ12は、表示用要素レンズ13(例えば、微小な凸レンズ)を2次元状に配列したものである。
撮像用レンズアレイ92は、撮像用要素レンズ93(例えば、微小な凸レンズ)を2次元状に配列したものである。
奥行き制御レンズ94は、一般的な凸レンズである。奥行き制御レンズ94の焦点距離をDfとする。ここで、焦点距離Dfには、撮像用レンズアレイ92が位置する。
図3には、被写体αからの光線を撮像素子91が取得する様子を図示した。なお、図3では、説明を分かり易くするため、各撮像用要素レンズ93の主点を通過する光線のみを図示すると共に、光線を撮像素子91から被写体αの方向の矢印で図示した(図4~図9も同様)。
立体画像の奥行きを圧縮(圧縮)するには、図9に示すように、撮像素子91及び撮像用レンズアレイ92を、奥行き制御レンズ94の撮像素子91側の主平面γよりもΔfだけ離す。この主平面γからの距離Δfに応じて、立体画像の奥行きが圧縮される。
図13に示すように、奥行き制御レンズ94から撮像用レンズアレイ92までの距離がL1の場合を考える。この場合、各要素画像内の一番上の画素に入射する光線は、主平面β上の点Pを角度θで通過する。
図14に示すように、奥行き制御レンズ94から撮像用レンズアレイ92までの距離がL2の場合を考える(ここでは、距離L1<距離L2)。この場合、各要素画像内の一番上の画素に入射する光線は、主平面β上で同一点Pを角度φで通過する。なお、角度θ,φは、光線と立体画像撮像装置90の光軸とのなす角である(θ≠φ)。
立体画像撮像装置90の距離Δfを調整することで立体像の奥行きを圧縮できる。また、立体画像撮像装置90を1台以上の撮像カメラ21で置換できると共に、撮像カメラ21の軸をずらすことで、立体画像撮像装置90で距離Δfを調整したときと同様、立体像の奥行き圧縮の効果が得られる。そして、立体画像表示装置10のパラメータを、立体画像撮像装置90のパラメータとして扱って、撮像カメラ21の軸ずれを計算できる。
図15を参照し、本発明の第1実施形態に係る立体画像表示システム1について説明する。
立体画像表示システム1は、被写体αの立体像を表示するものであり、図15に示すように、立体画像表示装置10と、撮像カメラアレイ20と、立体画像生成装置30と、を備える。
立体画像生成装置30は、撮像カメラアレイ20が撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。図15に示すように、立体画像生成装置30は、パラメータ入力手段31と、画素位置変換テーブル生成手段32と、画素位置変換テーブル記憶手段33と、演算手段34と、撮像カメラ制御手段35と、被写体画像入力手段36と、要素画像群生成手段(立体画像生成手段)37と、を備える。
撮像カメラアレイ20の仕様には、要素画像の中心画素から計算対象画素までの画素間距離と、撮像素子25のサイズとが含まれる。
画素位置変換テーブルは、撮像カメラ21で撮像した被写体画像の各画素を、要素画像群を構成する要素画像の各画素に対応付けた情報である。つまり、画素位置変換テーブルは、画素単位の情報である。
なお、画素位置変換テーブルは、立体画像表示装置10の仕様が変化しない場合、参照可能である。言い換えるなら、画素位置変換テーブルは、立体画像表示装置10の仕様が変化した場合、再度生成する必要がある。
なお、位置算出手段341は、垂直方向と同様、各撮像カメラ21の水平方向及び奥行き方向の位置も算出する。
ここで、奥行き最大表示距離Dfは、奥行き制御レンズ94の焦点距離Dfと対応している。例えば、立体画像表示装置10及び立体画像撮像装置90が同一サイズであれば、奥行き最大表示距離Df及び焦点距離Dfの値も同一となる。また、立体画像表示装置10及び立体画像撮像装置90のサイズが異なる場合、奥行き最大表示距離Df及び焦点距離Dfは、そのサイズ比に応じた関係となる(主平面γからの距離Δf及び差分距離Δfも同様)。
図10を参照し、倍率mの算出について説明する。
図10に示すように、距離Bは、奥行き最大表示距離Dfと差分距離Δfとの和(合計距離)である。また、距離Aは、撮像用レンズアレイ92より距離Bだけ離れた位置(Z3)から、仮想レンズアレイ95までの距離である。
ここで、撮像素子91の奥行き位置をZ1とし、このZ1を原点とする。また、撮像用レンズアレイ92の奥行き位置をZ2とし、奥行き制御レンズ94の奥行き位置をZ3とする。また、主平面βの奥行き位置をZ4とし、仮想レンズアレイ95の奥行き位置をZ5とする。この場合、奥行き位置Z1~Z5は、下記の式(4)で表すことができる。
一方、被写体αが仮想レンズアレイ95よりも撮像素子91の反対側に位置する状態で要素画像群を撮像した場合を考える。この場合、その要素画像群を表示素子11に表示すると、被写体αが窪んだような立体像を形成する。
また、撮像カメラ制御手段35は、制御信号の軸ずれ量だけ、各撮像カメラ21の撮像素子25をずらす。さらに、撮像カメラ制御手段35は、制御信号の画角に各撮像カメラ21の画角を一致させる。
このとき、撮像カメラ制御手段35は、被写体αのサイズを変更することが困難、かつ、前記倍率mが1より大きい場合、隣接する撮像カメラ21の間隔及び軸ずれ量が倍率mだけ小さくなるように、各撮像カメラ21の位置を修正する。
その後、要素画像群生成手段37は、生成した要素画像群を立体画像表示装置10に出力する。
図18を参照し、立体画像生成装置30の動作について説明する(適宜図14参照)。
ここで、画素位置変換テーブル記憶手段33は、画素位置変換テーブルを予め記憶していることとする。
位置算出手段341は、ステップS1で入力したパラメータを参照し、奥行き最大表示距離と、表示用要素レンズ13の焦点距離と、画素間距離とに基づいて、各撮像カメラ21の位置を算出する(ステップS2)。
被写体画像入力手段36は、ステップS6の指令に応じて各撮像カメラ21が撮像した被写体画像の入力を受け付ける(ステップS7)。
以上のように、立体画像生成装置30は、撮像レンズ27と撮像素子25との軸をずらし、立体像の奥行きを圧縮できる。これにより、立体画像生成装置30は、立体画像表示装置10が解像度の高い立体像を表示でき、立体画像の画質を向上させることができる。
図19を参照し、本発明の第2実施形態に係る立体画像表示システム1Bについて、第1実施形態と異なる点を説明する。
仮想カメラとは、被写体αの3次元モデルを配置した3次元空間内での視点位置及び視点方向や画角等を設定するときの基準である。つまり、CGでは、仮想カメラで被写体αを撮像したような要素画像群を生成する。
立体画像表示システム1Bは、被写体αの立体画像を表示するものであり、図19に示すように、立体画像表示装置10と、立体画像生成装置30Bと、を備える。
立体画像生成装置30Bは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、仮想カメラ設定手段35B、要素画像群生成手段37B及び3次元モデル入力手段38以外は、第1実施形態と同様のため、説明を省略する。
3次元モデルの生成手法は、特に制限されないが、例えば、ポリゴン等にテクスチャマッピングを施すことで生成できる。
具体的には、仮想カメラ設定手段35Bは、仮想3次元空間において、制御信号の位置に各仮想カメラを配置する。また、仮想カメラ設定手段35Bは、制御信号の軸ずれ量だけ、各仮想カメラの撮像素子と撮像レンズとをずらして設定する。また、仮想カメラ設定手段35Bは、制御信号の画角に一致するように各仮想カメラの画角を設定する。
具体的には、要素画像群生成手段37Bは、各仮想カメラを配置した仮想3次元空間内に3次元モデル入力手段38から入力した3次元モデルを配置する。ここで、要素画像群生成手段37Bは、仮想レンズアレイのレンズ面において、奥行き圧縮前後で被写体の大きさが変化しないように、3次元モデルのサイズを倍率mだけ拡大又は縮小する。そして、要素画像群生成手段37Bは、各仮想カメラで3次元モデルを撮像することで、被写体画像を生成する。さらに、要素画像群生成手段37Bは、第1実施形態と同様、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで、要素画像群を生成する。
図20を参照し、立体画像生成装置30Bの動作について説明する(適宜図19参照)。
ここで、画素位置変換テーブル記憶手段33は、画素位置変換テーブルを予め記憶していることとする。
なお、ステップS1~S5の処理は、第1実施形態と同様のため、説明を省略する。
3次元モデル入力手段38は、被写体の3次元形状及び色情報を表した3次元モデルの入力を受け付ける(ステップS11)。
要素画像群生成手段37Bは、ステップS10で設定した仮想カメラを介して、ステップS11で入力した3次元モデルの被写体画像を生成し、被写体画像から要素画像群を生成する(ステップS12)。
以上のように、立体画像生成装置30Bは、CGにより被写体画像を生成する場合でも、第1実施形態と同様の効果を奏する。これにより、立体画像生成装置30Bは、立体画像表示装置10が解像度の高い立体像を表示可能となり、立体画像の画質を向上させることができる。
本発明の第3実施形態に係る立体画像表示システム1C(図23)について、第1実施形態と異なる点を説明する。
ここで、撮像カメラ21が3板式、かつ、立体画像表示装置10(図1)が投射型の場合、RGB各色が同一位置となるので、色ずれが発生しない。一方、撮像カメラ21が単板式、又は、立体画像表示装置10がRGBストライプ構造などの場合、それらサブピクセルの構造に起因してRGB各色の位置が微妙に異なるので、色ずれが発生じてしまう。特に、立体画像表示装置10が直視型ディスプレイ(RGBストライプ構造が一般的)であり、高解像度の画像を撮像するために撮像カメラ21が3板式であることが多く、撮像カメラ21を立体画像表示装置10のサブピクセルに対応して配列することが好ましい。
また、図22では、説明を簡易にするために撮像カメラ21Cを9台のみ図示した。
なお、画素位置情報の統合とは、基準色(緑色)の被写体画像の画素位置に参照色(赤色、青色)の被写体画像の画素位置をサブピクセルレベルで一致させることである。
なお、画素位置変換テーブルが画素単位の情報であるのに対し、撮像カメラ21Cがサブピクセル単位で配列されている。従って、各画素位置変換テーブルは、1つのグループを構成する3台の撮像カメラ21のうち、基準色である緑色の撮像カメラ21Cに対応する。図22では、画素位置変換テーブルは、G2,G5,G8カメラに対応する。
図23を参照し、立体画像表示システム1Cの構成について説明する。
立体画像表示システム1Cは、被写体αの立体画像を表示するものであり、図23に示すように、立体画像表示装置10と、立体画像生成装置30Cと、を備える。
立体画像生成装置30Cは、撮像カメラアレイ20Cが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、撮像カメラ制御手段35C、被写体画像入力手段36C及び要素画像群生成手段37C以外は、前記した各実施形態と同様のため、説明を省略する。
また、対応画素とは、参照色の被写体画像において、基準色の被写体画像の注目画素と同一座標の画素のことである。
図24を参照し、軸ずれ量dyに応じた画素位置の画素値の取得手法について説明する(適宜図23参照)。
図25を参照し、立体画像生成装置30Cの動作について説明する。
なお、ステップS1~S5の処理は、前記した各実施形態と同様のため、説明を省略する。
被写体画像入力手段36Cは、ステップS6Cの指令に応じて各撮像カメラ21Cが撮像した単色の被写体画像の入力を受け付ける(ステップS7C)。
要素画像群生成手段37Cは、ステップS20で生成した被写体画像から、軸ずれ量dyに応じた画素位置の画素値を取得して要素画像群を生成する(ステップS8C)。
以上のように、立体画像生成装置30Cは、被写体画像から取得する画素位置を軸ずれ量dyに応じてずらすことで、第1実施形態と同様の効果を奏する。これにより、立体画像生成装置30Cは、立体画像表示装置10が解像度の高い立体像を表示可能となり、立体画像の画質を向上させることができる。
図26を参照し、本発明の第4実施形態に係る立体画像表示システム1Dについて、第3実施形態と異なる点を説明する。
つまり、第4実施形態では、仮想カメラアレイは、RGBの何れか一色のみを撮像する単色の仮想カメラを第3実施形態と同様に配置している。
図26を参照し、立体画像表示システム1Dの構成について説明する。
立体画像表示システム1Dは、被写体αの立体画像を表示するものであり、図26に示すように、立体画像表示装置10と、立体画像生成装置30Dと、を備える。
立体画像生成装置30Dは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、仮想カメラ設定手段35D及び要素画像群生成手段37D以外は、第3実施形態と同様のため、説明を省略する。
具体的には、仮想カメラ設定手段35Dは、仮想3次元空間において、制御信号の位置に各仮想カメラを配置する。また、仮想カメラ設定手段35Dは、制御信号の画角に一致するように各仮想カメラの画角を設定する。一方、仮想カメラ設定手段35Dは、第2実施形態と異なり、仮想カメラの撮像素子の中心軸をずらす制御を行わない。
なお、要素画像群生成手段37Dは、仮想カメラにより被写体画像を生成する以外、第3実施形態と同様のため、説明を省略する。
図27を参照し、立体画像生成装置30Dの動作について説明する。
なお、ステップS1~S5,S11の処理は、前記した各実施形態と同様のため、説明を省略する。
要素画像群生成手段37Dは、ステップS10Dで設定した仮想カメラを介して、ステップS11で入力した3次元モデルの被写体画像を生成する。そして、RGBデータ交換処理手段371は、RBGデータ交換処理を行い、カラーの被写体画像を生成する(ステップS20D)。
要素画像群生成手段37Dは、ステップS20Dで生成した被写体画像から、軸ずれ量dyに応じた画素位置の画素値を取得して要素画像群を生成する(ステップS12D)。
以上のように、立体画像生成装置30Dは、CGにより被写体画像を生成する場合でも、第3実施形態と同様の効果を奏する。
本発明の第5実施形態に係る立体画像表示システム1E(図23)について、第3実施形態と異なる点を説明する。
第3実施形態では、撮像カメラアレイ20Cが単色カメラアレイであるのに対し、第5実施形態では、撮像カメラアレイ20Eが、カラーカメラを配列したカラーカメラアレイである点が異なる。
RGBの何れか一色を撮像する単色カメラよりも、RGBの全色を撮像できるカラーカメラの方が一般的である。そこで、撮像カメラアレイ20Eは、図21に示すように、単色カメラに代えて、カラーで撮像可能な撮像カメラ21Eを配列したものである。つまり、撮像カメラアレイ20Eは、30台の撮像カメラ21Eを搭載した昇降部材22を10段備える。
なお、RGBデータ交換処理により、G2,G5,G8カメラ位置以外に対応する被写体画像も合成されるが、本実施形態では利用しない(図28では破線で図示)。
その後、図28に示すように、第3実施形態と同様、画素位置変換テーブルを参照し、各被写体画像の画素位置を変換することで、要素画像群を生成する。
図23に戻り、立体画像表示システム1Eの構成について説明する。
立体画像表示システム1Eは、被写体αの立体画像を表示するものであり、図23に示すように、立体画像表示装置10と、立体画像生成装置30Eと、を備える。
立体画像生成装置30Eは、撮像カメラアレイ20Eが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、被写体画像入力手段36E及び要素画像群生成手段37E以外は、前記した各実施形態と同様のため、説明を省略する。
RGBデータ交換処理手段371Eは、被写体画像入力手段36Cからのカラーの被写体画像に対して、RGBデータ交換処理を施すものである。
なお、要素画像群生成手段37E及びRGBデータ交換処理手段371Eは、処理対象の被写体画像が単色であるかカラーであるか以外、第3実施形態と同様のため、説明を省略する。
図25を参照し、立体画像生成装置30Eの動作について説明する。
なお、ステップS1~S6C,S8Cの処理は、前記した各実施形態と同様のため、説明を省略する。
RGBデータ交換処理手段371Eは、ステップS7Eで入力されたカラーの被写体画像に対して、RGBデータ交換処理を施し、被写体画像を生成する(ステップS20E)。
以上のように、立体画像生成装置30Eは、カラーカメラアレイを用いる場合でも、第3実施形態と同様の効果を奏する。
図26を参照し、本発明の第6実施形態に係る立体画像表示システム1Fについて、第5実施形態と異なる点を説明する。
つまり、本実施形態では、仮想カメラアレイは、RGBの全色を撮像するカラーの仮想カメラを第5実施形態と同様に配置している。
図26を参照し、立体画像表示システム1Fの構成について説明する。
立体画像表示システム1Fは、被写体αの立体画像を表示するものであり、図26に示すように、立体画像表示装置10と、立体画像生成装置30Fと、を備える。
立体画像生成装置30Fは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、仮想カメラ設定手段35F及び要素画像群生成手段37F以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段37Fは、仮想カメラにより被写体画像を生成する以外、第5実施形態と同様のため、説明を省略する。
図27を参照し、立体画像生成装置30Fの動作について説明する。
なお、ステップS1~S5,S11の処理は、前記した各実施形態と同様のため、説明を省略する。
要素画像群生成手段37Fは、ステップS10Fで設定した仮想カメラを介して、ステップS11で入力した3次元モデルの被写体画像を生成する。そして、RGBデータ交換処理手段371Eは、RBGデータ交換処理を行い、画素位置がサブピクセルレベルで一致した被写体画像を生成する(ステップS20F)。
以上のように、立体画像生成装置30Fは、CGにより被写体画像を生成する場合でも、第5実施形態と同様の効果を奏する。
図29を参照し、本発明の第7実施形態に係る立体画像表示システム1G(図30)について、第5実施形態と異なる点を説明する。
また、第5実施形態では、画素位置変換テーブルが画素単位であるのに対し(図28では3個)、第7実施形態では、画素位置変換テーブルがサブピクセル単位である点も異なる(図29では9個)。
図30を参照し、立体画像表示システム1Gの構成について説明する。
立体画像表示システム1Gは、被写体αの立体画像を表示するものであり、図30に示すように、立体画像表示装置10と、立体画像生成装置30Gと、を備える。
立体画像生成装置30Gは、撮像カメラアレイ20Eが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、画素位置変換テーブル生成手段32G、要素画像群生成手段37G及びダウンサンプリング手段39以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段37Gは、全ての撮像カメラ21Eが撮像した被写体画像から要素画像群を生成する以外、第5実施形態と同様のため、説明を省略する。
その後、ダウンサンプリング手段39は、ダウンサンプリングした縮小要素画像群を立体画像表示装置10に出力する。
図31を参照し、立体画像生成装置30Gの動作について説明する。
なお、ステップS1~S20Eの処理は、前記した各実施形態と同様のため、説明を省略する。
ダウンサンプリング手段39は、ステップS8Gで生成した要素画像群をダウンサンプリングする(ステップS21)。
以上のように、立体画像生成装置30Gは、第5実施形態と同様の効果に加え、要素画像群をダウンサンプリングすることで、サブピクセルの開口率を小さくし、よりシャープな立体画像を生成することができる。
図32を参照し、本発明の第8実施形態に係る立体画像表示システム1Hについて、第7実施形態と異なる点を説明する。
第7実施形態では、撮像カメラアレイ20Eが実写した画像を処理対象とするのに対して、第8実施形態では、仮想カメラアレイによりCG画像を処理対象とする点が異なる。
図32を参照し、立体画像表示システム1Hの構成について説明する。
立体画像表示システム1Hは、被写体αの立体画像を表示するものであり、図32に示すように、立体画像表示装置10と、立体画像生成装置30Hと、を備える。
立体画像生成装置30Hは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、要素画像群生成手段37H以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段37Hは、仮想カメラにより被写体画像を生成する以外、第7実施形態と同様のため、説明を省略する。
図33を参照し、立体画像生成装置30Hの動作について説明する。
要素画像群生成手段37Hは、ステップS20Fで生成した被写体画像から、軸ずれ量dyに応じた画素位置の画素値を取得して要素画像群を生成する(ステップS12H)。
なお、ステップS1~S20F,S21の処理は、第6実施形態及び第7実施形態と同様のため、説明を省略した。
以上のように、立体画像生成装置30Hは、CGにより被写体画像を生成する場合でも、第7実施形態と同様の効果を奏する。
図34を参照し、本発明の第9実施形態に係る立体画像表示システム1I(図35)について、第7実施形態と異なる点を説明する。
第9実施形態では、RGBデータ交換処理を行わず、サブピクセルを考慮したダウンサンプリングを行う点が第7実施形態と異なる。
図35を参照し、立体画像表示システム1Iの構成について説明する。
立体画像表示システム1Iは、被写体αの立体画像を表示するものであり、図35に示すように、立体画像表示装置10と、立体画像生成装置30Iと、を備える。
立体画像生成装置30Iは、撮像カメラアレイ20Eが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、要素画像群生成手段37I及びダウンサンプリング手段39I以外は、前記した各実施形態と同様のため、説明を省略する。
具体的には、要素画像群生成手段37Iは、画素位置変換テーブルを参照し、被写体画像の画素位置を変換することで要素画像群を生成する。このとき、要素画像群生成手段37Iは、各被写体画像から、軸ずれ量算出手段343で算出した軸ずれ量dyに応じた画素位置の画素値を取得する。
その後、要素画像群生成手段37Iは、生成した要素画像群をダウンサンプリング手段39Iに出力する。
図36を参照し、サブピクセルを考慮したダウンサンプリングについて、説明する。
図36に示すように、ダウンサンプリング手段39Iは、要素画像群生成手段37Gからの要素画像群γに、注目画素PGと、この注目画素に隣接する隣接画素PR,PBとを設定する。そして、ダウンサンプリング手段39Iは、注目画素PGのG値と、隣接画素PRのR値と、隣接画素PBのB値とを、縮小要素画像γSの注目画素PSの画素値(RGB値)とする。
図37を参照し、立体画像生成装置30Iの動作について説明する。
なお、ステップS1~S7Eの処理は、前記した各実施形態と同様のため、説明を省略する。
ダウンサンプリング手段39Iは、ステップS8Gで生成した要素画像群を、サブピクセルを考慮してダウンサンプリングする(ステップS21I)。
以上のように、立体画像生成装置30Iは、第7実施形態と同様、要素画像群をダウンサンプリングすることで、サブピクセルの開口率を小さくし、よりシャープな立体画像を生成することができる。
図38を参照し、本発明の第10実施形態に係る立体画像表示システム1Jについて、第9実施形態と異なる点を説明する。
第9実施形態では、撮像カメラアレイ20Eが実写した画像を処理対象とするのに対して、第10実施形態では、仮想カメラアレイによりCG画像を処理対象とする点が異なる。
図38を参照し、立体画像表示システム1Jの構成について説明する。
立体画像表示システム1Jは、被写体αの立体画像を表示するものであり、図38に示すように、立体画像表示装置10と、立体画像生成装置30Jと、を備える。
立体画像生成装置30Jは、仮想カメラアレイが撮像した被写体画像から、立体画像表示装置10が表示する要素画像群を生成するものである。
なお、要素画像群生成手段37J以外は、前記した各実施形態と同様のため、説明を省略する。
なお、要素画像群生成手段37Jは、仮想カメラにより被写体画像を生成する以外、第9実施形態と同様のため、説明を省略する。
図39を参照し、立体画像生成装置30Jの動作について説明する(適宜図38参照)。
要素画像群生成手段37Jは、ステップS11で入力した3次元モデルの被写体画像を生成し、被写体画像から要素画像群をサブピクセル単位で生成する(ステップS12J)
なお、ステップS1~S11,S21Iの処理は、前記した各実施形態と同様のため、説明を省略した。
以上のように、立体画像生成装置30Jは、CGにより被写体画像を生成する場合でも、第9実施形態と同様の効果を奏する。
前記した各実施形態では、立体画像撮像装置において、撮像用要素レンズのレンズ間隔が、撮像素子の画素間隔の整数倍(整数画素間隔)であることとして説明したが、本発明は、これに限定されない。
つまり、本発明は、撮像用要素レンズのレンズ間隔が、撮像素子の画素間隔の整数倍でなくともよい(非整数画素間隔)。
参考文献2:稲本 他,“視点の内挿を利用した多視点サッカー映像の自由視点鑑賞システム,”2002年映像情報メディア学会冬季大会,7-2
前記した第3実施形態~第10実施形態では、撮像カメラアレイの配列をサブピクセルに対応させると説明したが、本発明は、これに限定されない。すなわち、第1実施形態及び第2実施形態において、隣接する撮像カメラの画素値を補間することで、色ずれを抑制できる。
v1’=(v1×2/3)+(v0×1/3)
前記した各実施形態では、光学素子アレイが表示用要素レンズ等の光学素子を2次元に配列した表示用レンズアレイであることとして説明したが、本発明は、これに限定されない。例えば、光学素子アレイは、要素レンズを1次元に配列したレンズアレイであってもよい。また、光学素子アレイは、かまぼこ型の要素レンズ(レンチキュラーレンズ)を1次元に配列したレンチキュラーレンズアレイであってもよい。さらに、光学素子アレイは、ピンホールを1次元又は2次元に配列したピンホールアレイであってもよい。さらに、本発明は、IP方式だけでなく、視差バリア方式にも適用できる。
例えば、被写体が静止している場合、1台の撮像カメラを移動させ、順次、撮像カメラに被写体画像を撮像させてもよい。この場合、全ての位置で被写体画像を撮像した後、第1実施形態と同様の手法で要素画像群を生成できる。
10 立体画像表示装置
11 表示素子
12 表示用レンズアレイ(光学素子アレイ)
13 表示用要素レンズ(光学素子)
20,20C,20E 撮像カメラアレイ
21,21C,21E 撮像カメラ
22 昇降部材
23 支柱
25 撮像素子
27 撮像レンズ
30,30B,30C~30J 立体画像生成装置
31 パラメータ入力手段
32,32G 画素位置変換テーブル生成手段
33 画素位置変換テーブル記憶手段
34 演算手段
341 位置算出手段
343 軸ずれ量算出手段
345 倍率算出手段
347 画角算出手段
35,35C 撮像カメラ制御手段
35B,35D,35F 仮想カメラ設定手段(撮像カメラ制御手段)
36,36C,36E 被写体画像入力手段
37,37B,37C~37J 要素画像群生成手段(立体画像生成手段)
371,371E RGBデータ交換処理手段(画素位置修正手段)
38 3次元モデル入力手段
39,39I ダウンサンプリング手段(画像縮小手段)
90 立体画像撮像装置
91 撮像素子
92 撮像用レンズアレイ
93 撮像用要素レンズ
94 奥行き制御レンズ
95 仮想レンズアレイ
Claims (11)
- 1以上の撮像カメラを備える撮像カメラアレイが撮像した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置が表示する立体像の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、
前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置に前記撮像カメラを移動させ、前記軸ずれ量算出手段が算出した軸ずれ量だけ前記撮像レンズと前記撮像素子とをずらす撮像カメラ制御手段と、
前記撮像カメラアレイが撮像した被写体画像から前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。 - 前記奥行き最大表示距離と前記差分距離との和である合計距離と、前記光学素子アレイより前記合計距離だけ離れた位置から前記光学素子アレイの反対側に位置する仮想的な光学素子アレイまでの距離との比である倍率を算出する倍率算出手段、をさらに備え、
前記撮像カメラ制御手段は、隣接する前記撮像カメラの間隔を前記倍率だけ変更するように前記位置算出手段が算出した位置を修正し、修正した当該位置に前記撮像カメラを移動させ、前記軸ずれ量算出手段が算出した軸ずれ量に前記倍率を乗じた値だけ前記撮像レンズと前記撮像素子とをずらすことを特徴とする請求項1に記載の立体画像生成装置。 - 仮想的な撮像カメラを配列した仮想的な撮像カメラアレイを介して生成した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、
前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置及び前記軸ずれ量算出手段が算出した軸ずれ量で前記仮想的な撮像カメラを設定する撮像カメラ制御手段と、
前記撮像カメラアレイを介して前記被写体画像を生成し、当該被写体画像から前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。 - 仮想的な撮像カメラを配列した仮想的な撮像カメラアレイを介して生成した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、
前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置に前記仮想的な撮像カメラを設定する撮像カメラ制御手段と、
前記撮像カメラアレイを介して前記被写体画像を生成し、当該被写体画像から前記軸ずれ量に応じた画素位置の画素値を取得して前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。 - 前記奥行き最大表示距離と前記差分距離との和である合計距離と、前記光学素子アレイより前記合計距離だけ離れた位置から前記光学素子アレイの反対側に位置する仮想的な光学素子アレイまでの距離との比である倍率を算出する倍率算出手段、をさらに備え、
前記立体画像生成手段は、前記被写体画像に含まれる被写体のサイズに前記倍率を乗じて前記要素画像群を生成することを特徴とする請求項3又は請求項4に記載の立体画像生成装置。 - 1以上の撮像カメラを備える撮像カメラアレイが撮像した被写体画像から、複数の光学素子を配列した光学素子アレイ及び表示素子を備える立体画像表示装置の奥行きに応じて、前記立体画像表示装置が表示する要素画像群を生成する立体画像生成装置であって、
前記立体画像表示装置の奥行き最大表示距離と、前記光学素子の焦点距離と、前記要素画像群を構成する要素画像の中心画素から前記撮像カメラ毎の計算対象画素までの画素間距離と、前記光学素子アレイから後方奥行き最大表示位置までの差分距離と、前記撮像カメラが備える撮像素子のサイズと、前記表示素子のサイズとを入力するパラメータ入力手段と、
前記奥行き最大表示距離と、前記光学素子の焦点距離と、前記画素間距離とに基づいて、前記撮像カメラの位置を算出する位置算出手段と、
前記画素間距離と、前記差分距離と、前記光学素子の焦点距離と、前記撮像素子のサイズと、前記表示素子のサイズとに基づいて、前記撮像カメラが備える撮像レンズと前記撮像素子との軸ずれ量を算出する軸ずれ量算出手段と、
前記位置算出手段が算出した位置に前記撮像カメラを移動させる撮像カメラ制御手段と、
前記撮像カメラアレイが撮像した被写体画像から前記軸ずれ量に応じた画素位置の画素値を取得して前記要素画像群を生成する立体画像生成手段と、
を備えることを特徴とする立体画像生成装置。 - 前記奥行き最大表示距離と前記差分距離との和である合計距離と、前記光学素子アレイより前記合計距離だけ離れた位置から前記光学素子アレイの反対側に位置する仮想的な光学素子アレイまでの距離との比である倍率を算出する倍率算出手段、をさらに備え、
前記撮像カメラ制御手段は、隣接する前記撮像カメラの間隔を前記倍率だけ変更するように前記位置算出手段が算出した位置を修正し、修正した当該位置に前記撮像カメラを移動させ、
前記立体画像生成手段は、前記軸ずれ量に前記倍率を乗じた値だけ前記画素位置を変更することを特徴とする請求項6に記載の立体画像生成装置。 - 前記撮像カメラアレイは、前記表示素子のサブピクセルで構成された画素単位のグループで、前記サブピクセルのうち予め定めた基準色の撮像カメラと、前記基準色以外の参照色の撮像カメラとを配列し、
前記基準色の撮像カメラで撮像した被写体画像の基準色の画素位置情報に、前記参照色の撮像カメラで撮像した被写体画像の参照色の画素位置情報を統合することで、前記グループ毎に1つの前記被写体画像を生成する画素位置修正手段、をさらに備え、
前記立体画像生成手段は、前記画素位置修正手段が生成した被写体画像から前記要素画像群を生成することを特徴とする請求項1から請求項7の何れか一項に記載の立体画像生成装置。 - 前記撮像カメラアレイは、前記表示素子のサブピクセルに対応するように前記撮像カメラを配列し、
前記撮像カメラで撮像した被写体画像における前記サブピクセルのうち予め定めた基準色の画素位置情報に、当該撮像カメラに隣接する他の撮像カメラで撮像した被写体画像における前記基準色以外の参照色の画素位置情報を統合することで、前記撮像カメラ毎に1つの前記被写体画像を生成する画素位置修正手段、をさらに備え、
前記立体画像生成手段は、前記画素位置修正手段が生成した被写体画像から前記要素画像群を生成し、
前記立体画像生成手段が生成したサブピクセル単位の要素画像群を、前記サブピクセルで構成された画素単位の縮小要素画像群に縮小して前記立体画像表示装置に出力する画像縮小手段、をさらに備えることを特徴とする請求項1から請求項7の何れか一項に記載の立体画像生成装置。 - 前記撮像カメラアレイは、前記表示素子のサブピクセルに対応するように前記撮像カメラを配列し、
前記立体画像生成手段が生成した要素画像群の注目画素における前記サブピクセルのうち予め定めた基準色の画素値と、当該注目画素に隣接する隣接画素における前記基準色以外の参照色の画素値とを、縮小後要素画像群における注目画素の基準色及び参照色の画素値とすることで、前記立体画像生成手段が生成したサブピクセル単位の要素画像群を前記サブピクセルで構成された画素単位の縮小要素画像群に縮小して前記立体画像表示装置に出力する画像縮小手段、をさらに備えることを特徴とする請求項1から請求項7の何れか一項に記載の立体画像生成装置。 - コンピュータを、請求項1から請求項10の何れか一項に記載の立体画像生成装置として機能させるための立体画像生成プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017026075 | 2017-02-15 | ||
JP2017026075 | 2017-02-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018133795A JP2018133795A (ja) | 2018-08-23 |
JP7061445B2 true JP7061445B2 (ja) | 2022-04-28 |
Family
ID=63247659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017201560A Active JP7061445B2 (ja) | 2017-02-15 | 2017-10-18 | 立体画像生成装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7061445B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7308045B2 (ja) * | 2019-02-12 | 2023-07-13 | 日本放送協会 | 立体画像生成システム、並びに、立体画像生成装置及びそのプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014107752A (ja) | 2012-11-28 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
JP2015043187A (ja) | 2013-08-26 | 2015-03-05 | 日本放送協会 | 画像生成装置および画像生成プログラム |
JP2015094831A (ja) | 2013-11-11 | 2015-05-18 | キヤノン株式会社 | 立体撮像装置およびその制御方法、制御プログラム |
JP2016045644A (ja) | 2014-08-21 | 2016-04-04 | 日本放送協会 | 画像生成装置、画像生成方法、及びプログラム |
-
2017
- 2017-10-18 JP JP2017201560A patent/JP7061445B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014107752A (ja) | 2012-11-28 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
JP2015043187A (ja) | 2013-08-26 | 2015-03-05 | 日本放送協会 | 画像生成装置および画像生成プログラム |
JP2015094831A (ja) | 2013-11-11 | 2015-05-18 | キヤノン株式会社 | 立体撮像装置およびその制御方法、制御プログラム |
JP2016045644A (ja) | 2014-08-21 | 2016-04-04 | 日本放送協会 | 画像生成装置、画像生成方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018133795A (ja) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4476905B2 (ja) | 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム | |
JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
US7609906B2 (en) | Method and system for acquiring and displaying 3D light fields | |
KR101629479B1 (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
JP4942221B2 (ja) | 高解像度仮想焦点面画像生成方法 | |
CN100565589C (zh) | 用于深度感知的装置和方法 | |
RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
KR20100067656A (ko) | 3차원 디스플레이에 대한 렌더링 개선 | |
JP6750183B2 (ja) | 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム | |
AU2005331138A1 (en) | 3D image generation and display system | |
WO2006112488A1 (en) | Method for producing multi-viewpoint image for three-dimensional image display and program therefor | |
US9183670B2 (en) | Multi-sample resolving of re-projection of two-dimensional image | |
CN108141578A (zh) | 呈现相机 | |
US20100302234A1 (en) | Method of establishing dof data of 3d image and system thereof | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
US8797383B2 (en) | Method for stereoscopic illustration | |
Berretty et al. | Real-time rendering for multiview autostereoscopic displays | |
JP2015104107A (ja) | Ip立体映像推定装置及びそのプログラム | |
JP7061445B2 (ja) | 立体画像生成装置及びそのプログラム | |
JPH07240945A (ja) | 仮想空間生成提示装置 | |
JP7308045B2 (ja) | 立体画像生成システム、並びに、立体画像生成装置及びそのプログラム | |
JP2009021708A (ja) | 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム | |
JP4377656B2 (ja) | インテグラルフォトグラフィ撮影装置およびインテグラルフォトグラフィ表示装置 | |
JP6313569B2 (ja) | 立体映像生成装置、そのプログラム及び立体映像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7061445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |