JP6313569B2 - 立体映像生成装置、そのプログラム及び立体映像表示装置 - Google Patents

Description

本願発明は、立体像を縮小又は拡大した立体映像を生成する立体映像生成装置、そのプログラム、及び、この立体映像を立体表示する立体映像表示装置に関する。

従来から、専用の立体メガネが不要な立体表示方式として、多眼方式、インテグラルフォトグラフィ（以下、ＩＰ）及びホログラフィが知られている。
以下、従来の立体表示方式のうち、ＩＰに着目して説明する。このＩＰは、レンズアレイや空間フィルタを通して、被写体が存在する空間の情報を取得するものである（非特許文献１）。

図１２を参照し、従来の立体映像撮影装置１１０について説明する。
図１２に示すように、立体映像撮影装置１１０は、一平面状に凸レンズが配列されたレンズ群１１２と、撮像素子１１３とを備える。また、図１２には、被写体１１１と、撮影方向１１４と、レンズ群１１２によって結像される被写体１１１の像１１５とを図示した。

立体映像撮影装置１１０は、レンズ群１１２を通して、被写体１１１を撮影する。撮像素子１１３には、レンズ群１１２を構成する凸レンズと同じ数だけ被写体１１１の像１１５が撮影される。以下、被写体１１１の像１１５を「要素画像」と呼ぶ。

図１３を参照し、従来の立体映像表示装置１２０について説明する。
図１３に示すように、立体映像表示装置１２０は、一平面状に凸レンズを配列したレンズ群１２２と、表示素子１２３とを備える。また、図１３には、立体像１２１と、観察方向１２４と、レンズ群１２２の像１２５とを図示した。

表示素子１２３は、立体映像撮影装置１１０で撮影された要素画像１１５に対応する要素画像１２５を表示する。この結果、図１２に示すように、立体映像表示装置１２０は、被写体１１１が存在した場所と同じ位置に立体像１２１を生成する。

ただし、図１２に示すように、撮影方向１１４から見た場合、被写体１１１の円柱が角柱に対して手前に存在する。一方、図１３に示すように、被写体１１１に対応する立体像１２１は、観察方向１２４から見て、角柱が円柱の手前に生成される。つまり、被写体１１１と比較して奥行きが反転した逆視像が生成される。この逆視像を回避するためには、個々の要素画像１１５を点対称に反転した上で、表示素子１２３に表示すればよいことが知られている。

なお、図１２，図１３では、微小な凸レンズからなるレンズ群１１２，１２２を用いて、空間の情報の取得及び表示する例を説明したが、レンズ群１１２，１２２として、微小開口アレイ（空間フィルタ）を使用してもよい。

「三次元画像工学」大越孝敬著、朝倉書店、１９９１年

従来のＩＰでは、被写体１１１からレンズ群１１２までの距離と、立体像１２１からレンズ群１２２までの距離とが等しくなる。また、多眼方式でも、撮像時における被写体から一次元の光学素子アレイまでの距離と、表示時における立体像から一次元の光学素子アレイまでの距離とが等しくなる。さらに、ホログラフィにおいても、撮像時における被写体から干渉縞までの距離と、表示時における立体像から干渉縞までの距離とが等しくなる。

しかしながら、現実の三次元空間又はコンピュータ等で想定した仮想的な三次元空間において、被写体が微小な場合、表示画面に対して立体像が小さすぎるため、立体像を拡大することが好ましい。また、現実又は仮想の三次元空間において、被写体が巨大な場合、表示画面に対して立体像が大きすぎるため、立体像を縮小することが好ましい。

本願発明は、立体像を適切なサイズに縮小又は拡大する立体映像生成装置、そのプログラム及び立体映像表示装置を提供することを課題とする。

前記した課題に鑑みて、本願発明に係る立体映像生成装置は、三次元空間における被写体と、被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、立体像が縮小又は拡大された立体映像を生成する立体映像生成装置であって、被写体情報入力手段と、座標変換規則入力手段と、座標変換手段と、立体映像生成手段と、を備えることを特徴とする。

かかる構成によれば、立体映像生成装置は、被写体情報入力手段によって、三次元空間における被写体の形状及びサイズを示す被写体情報が入力される。また、立体映像生成装置は、座標変換規則入力手段によって、被写体と立体映像表示手段とのサイズに応じて立体像が縮小又は拡大されるように、予め設定された前記三次元空間と前記立体映像との座標変換規則が入力される。

また、立体映像生成装置は、座標変換手段によって、座標変換規則に従って、被写体情報で表される被写体が含まれる三次元空間を座標変換することで、立体映像に含まれる立体像の形状及びサイズを求める。そして、立体映像生成装置は、立体映像生成手段によって、座標変換手段で求めた立体像の形状及びサイズに基づいて、立体映像表示手段に対して適切なサイズに縮小又は拡大された立体像が含まれる立体映像を生成する。さらに、立体映像生成装置は、座標変換規則入力手段に、立体映像表示手段の解像度が最大となる奥行範囲に基づいて予め設定された座標変換規則が入力される。

座標変換規則とは、現実又は仮想の三次元空間の座標系と、立体映像の座標系とを対応付けた規則のことである。
座標変換とは、三次元空間の座標系を、立体映像の座標系に変換する処理のことである。
三次元空間とは、被写体が存在する現実の空間、又は、コンピュータで生成した被写体が含まれる仮想的な空間のことである。

また、前記した課題に鑑みて、本願発明に係る立体映像表示装置は、三次元空間における被写体と、被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、立体像が縮小又は拡大された立体映像を表示する立体映像表示装置であって、本願発明に係る立体映像生成装置と、立体映像生成装置で生成された立体映像を表示する立体映像表示手段と、を備えることを特徴とする。
かかる構成によれば、立体映像表示装置は、立体映像表示手段に対して適切なサイズに縮小又は拡大された立体像が含まれる立体映像を表示する。

本願発明によれば、以下のような優れた効果を奏する。
本願発明によれば、立体映像表示手段に対して立体像を適切なサイズに縮小又は拡大するので、この立体像が大きすぎる又は小さすぎることがなく、この立体像が含まれる立体映像を見易くすることができる。

本願発明の第１実施形態に係る立体映像表示装置の概略図である。 図１の立体映像表示装置の動作を示すフローチャートである。 図１の立体映像生成装置の構成を示すブロック図である。 図３の座標変換規則入力手段に入力された座標変換規則の第１例を説明する説明図である。 図３の座標変換規則入力手段に入力された座標変換規則の第２例を説明する説明図である。 図３の座標変換手段による座標変換を説明する説明図であり、（ａ）は座標変換前の三次元空間の座標系を表し、（ｂ）は座標変換後の立体映像の座標系を表す。 図１の立体映像生成装置の動作を示すフローチャートである。 本願発明の第２実施形態において、座標変換規則を説明する説明図である。 本願発明の第３実施形態において、座標変換規則を説明する説明図である。 本願発明の第４実施形態において、解像度特性を説明する説明図である。 本願発明の第４実施形態において、座標変換規則を説明する説明図である。 従来の立体映像撮影装置を説明する説明図である。 従来の立体映像表示装置を説明する説明図である。

（第１実施形態）
以下、本願発明の実施形態に係る立体映像表示装置１の概略、動作を説明した後、立体映像生成装置１０の構成、動作を説明する。
なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

［立体映像表示装置の概略］
図１を参照し、立体映像表示装置１の概略について、説明する。
図１に示すように、立体映像表示装置１は、ＩＰで立体映像を表示するものであり、立体映像生成装置１０と、立体映像表示手段２０と、信号線３０とを備える。

立体映像生成装置１０は、被写体のサイズと、立体映像表示手段２０に備えられた表示画面２１とのサイズに応じて、被写体の立体像が縮小又は拡大された立体映像を生成するものである。そして、立体映像生成装置１０は、信号線３０を介して、生成した立体映像を立体映像表示手段２０に出力する。
立体映像生成装置１０の構成は、後記する。

立体映像表示手段２０は、立体映像生成装置１０から入力された立体映像をＩＰで立体表示するものである。この立体映像表示手段２０は、撮像素子２３と、レンズアレイ２５とを備える。

撮像素子２３は、立体映像生成装置１０から入力された立体映像（要素画像群）を表示するものである。つまり、撮像素子２３は、レンズアレイ２５が備える凸レンズ２５ａに、この凸レンズ２５ａに対応した要素画像の光を出射する。

レンズアレイ２５は、凸レンズ２５ａが二次元状に配置されたものであり、表示画面２１を構成する。つまり、レンズアレイ２５が、立体映像表示手段２０の表示画面２１を構成する。従って、レンズアレイ２５のサイズが、表示画面２１のサイズ（表示画面２１の対角線長さ）となる。
信号線３０は、立体映像生成装置１０及び立体映像表示手段２０を接続するケーブルである。

［立体映像表示装置の動作］
＜ステップＳ１＞
図２を参照し、立体映像表示装置１の動作について、説明する（適宜図１参照）。
図２に示すように、立体映像表示装置１は、三次元空間における被写体の形状（三次元形状）及びサイズ（水平、垂直及び奥行きのレンジ）を取得する（ステップＳ１）。
このステップＳ１では、立体映像表示装置１は、例えば、三次元スキャナ、多視点映像又はＩＰの立体撮像装置を用いて、現実の三次元空間における被写体の形状及びサイズを取得することができる。

ここで、三次元スキャナを用いる手法は、下記の参考文献１に記載されている。この参考文献１に記載の手法は、被写体の周囲に複数設定された測定位置で、非接触で被写体の形状を測定するものである。そして、参考文献１に記載の手法では、各測定動作で得られた被写体の断片的な形状及びサイズを示す測定データを用いて、被写体全体の形状及びサイズを求める。
参考文献１：特許第４３１５１６９号公報

また、多視点映像を用いる手法は、下記の参考文献２に記載されている。この参考文献２に記載の手法は、多視点カメラで被写体を撮影し、被写体と背景とを分離し、被写体の形状及びサイズを示す３次元モデルを生成するものである。
参考文献２：K. Hisatomi et al.,“A Method of Video Production Using Dynamic 3D Models and its Application to Making Scenes of a Crowd”,SMPTE Motion Imaging Journal, vol.118, no.7,p.29-36,2009

また、ＩＰの立体撮像装置を用いる手法は、下記の参考文献３に記載されている。この参考文献３に記載の手法は、被写体の要素画像を取得し、コンピュータにより３次元シーンを再構築し、この３次元シーンに含まれる被写体の形状及びサイズを求めるものである。
参考文献３：S-H.Hong et al.,“Three-dimensional volumetric object reconstruction using computational integral imaging”，Opt.Express，vol.12,pp.483-491,2004

＜ステップＳ２＞
立体映像表示装置１は、立体映像生成装置１０によって、被写体と表示画面２１とのサイズに応じて、被写体の立体像が縮小又は拡大されるように制御し、立体映像に含まれる立体像の形状及びサイズを求める（ステップＳ２）。
ステップＳ２の詳細は、図７で説明する。

＜ステップＳ３，Ｓ４＞
立体映像表示装置１は、立体映像生成装置１０（立体映像生成手段１６）によって、ステップＳ２で形状及びサイズを求めた立体像が含まれる立体映像を生成する（ステップ３）。
立体映像表示装置１は、立体映像表示手段２０によって、ステップＳ３で生成した立体映像を表示する（ステップＳ４）。
これにより、立体映像表示装置１は、レンズアレイ２５を通して、表示画面２１に対して適切なサイズの立体像を形成することができる。

［立体映像生成装置の構成］
図３を参照し、立体映像生成装置１０の構成について、説明する（適宜図１参照）。
図３に示すように、立体映像生成装置１０は、被写体情報入力手段１１と、被写体情報記憶手段１２と、座標変換規則入力手段１３と、座標変換規則記憶手段１４と、座標変換手段１５と、立体映像生成手段１６とを備える。

被写体情報入力手段１１は、被写体情報が入力され、入力された被写体情報を被写体情報記憶手段１２に書き込むものである。この被写体情報は、三次元空間における被写体の形状及びサイズを示す情報であり、図２のステップＳ１で取得する。
被写体情報記憶手段１２は、被写体情報を記憶するメモリ、ＨＤＤ等の記憶手段である。

座標変換規則入力手段１３は、外部から座標変換規則が入力され、入力された座標変換規則を座標変換規則記憶手段１４に書き込むものである。例えば、座標変換規則は、映像制作者又は観察者が任意に定めることができる。
座標変換規則記憶手段１４は、座標変換規則を記憶するメモリ、ＨＤＤ等の記憶手段である。

＜座標変換規則の第１例：線形の関係＞
図４を参照し、座標変換規則入力手段１３に入力された座標変換規則の第１例について、説明する（適宜図３参照）。
以下、水平方向（ｘ軸）、垂直方向（ｙ軸）及び奥行方向（ｚ軸）からなる三次元座標系のうち、奥行方向に着目して、座標変換規則を説明する。

図４では、被写体が含まれる三次元空間の奥行座標がｚ_ｃであり、立体像が含まれる立体映像の奥行座標がｚ_ｍである。また、三次元空間の奥行座標ｚ_ｃの最大値がｚ_ｃｎであり、三次元空間の奥行座標ｚ_ｃの最小値がｚ_ｃｆである。また、立体映像の奥行座標ｚ_ｍの最大値がｚ_ｍｎであり、立体映像の奥行座標ｚ_ｍの最小値がｚ_ｍｆである。
図４では、レンズアレイ２５は、原点０（ｚ＝０）であって、ｘ軸−ｙ軸平面上にレンズ中心が位置することとする（図５，図６，図８〜図１１も同様）。

図４に示すように、座標変換規則は、被写体と表示画面２１とのサイズに応じて立体像が縮小又は拡大されるように、被写体が含まれる三次元空間の奥行座標ｚ_ｃと立体像が含まれる立体映像の奥行座標ｚ_ｍとを対応付けたものである。つまり、三次元空間の奥行座標ｚ_ｃが座標変換前の奥行座標であり、立体映像の奥行座標ｚ_ｍが座標変換後の奥行座標である。

図４の座標変換規則は、三次元空間の奥行座標ｚ_ｃと、立体映像の奥行座標ｚ_ｍとが線形の関係になっており、直線の傾きが被写体サイズの変換率を表している。例えば、この座標変換規則は、ｚ_ｍ＝ｚ_ｃ／２の関係が成立することから、三次元空間の奥行座標ｚ_ｃを１／２に縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。この座標変換規則は、現実又は仮想の三次元空間において、被写体のサイズが表示画面２１のサイズよりも巨大な場合、表示画面２１に対して立体像が適切なサイズに縮小されるために有効である。

図４では、被写体を縮小する例を示したが、被写体を拡大してもよい（不図示）。例えば、この座標変換規則は、ｚ_ｍ＝２ｚ_ｃの関係が成立することから、三次元空間の奥行座標ｚ_ｃを２倍に拡大したのが立体映像の奥行座標ｚ_ｍであることを表す。この座標変換規則は、現実又は仮想の三次元空間において、被写体のサイズが表示画面２１のサイズよりも微小な場合、表示画面２１に対して立体像が適切なサイズに拡大されるために有効である。

＜座標変換規則の第２例：領域毎に設定＞
また、図４では、全ての奥行座標で同一の座標変換規則を設定する例を示したが、奥行座標を奥行方向で複数の領域に区切り、領域毎に座標変換規則を設定してもよい。
以下、図５を参照し、座標変換規則の第２例として、領域毎に座標変換規則を設定する例について、説明する（適宜図３参照）。

図５に示すように、座標変換規則は、ｚ_ｃ２≦ｚ_ｃ≦ｚ_ｃ１の領域と、ｚ_ｃｆ≦ｚ_ｃ＜ｚ_ｃ２の領域と、ｚ_ｃ１＜ｚ_ｃ≦ｚ_ｃｎの領域とに設定される。ここで、三次元空間の奥行座標ｚ_ｃ１，ｚ_ｃ２は、０≦ｚ_ｃ１≦ｚ_ｃｎ、ｚ_ｃｆ≦ｚ_ｃ２＜０を満たす。また、立体映像の奥行座標ｚ_ｍ１，ｚ_ｍ２は、三次元空間の奥行座標ｚ_ｃ１，ｚ_ｃ２に対応する。

ｚ_ｃ２≦ｚ_ｃ≦ｚ_ｃ１の領域では、座標変換規則は、ｚ_ｍ＝ｚ_ｃ／２が成立することから、三次元空間の奥行座標ｚ_ｃを１／２に縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。
ｚ_ｃｆ≦ｚ_ｃ＜ｚ_ｃ２の領域、及び、ｚ_ｃ１＜ｚ_ｃ≦ｚ_ｃｎの領域では、座標変換規則は、ｚ_ｍ＝ｚ_ｃ／４が成立することから、三次元空間の奥行座標ｚ_ｃを１／４に縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。

このように、立体映像生成装置１０は、領域毎に座標変換規則を設定することで、より柔軟に奥行き感を調整し、多様な立体像の表現が可能となる。
また、立体像は、レンズアレイ２５から離れる程、その解像度が劣化する。しかし、立体映像生成装置１０は、立体像がレンズアレイ２５から離れる程、奥行方向に縮小することで、解像度の劣化を回避できる。

なお、座標変換規則は、奥行方向だけでなく、水平方向及び垂直方向にも適用される。つまり、立体映像生成装置１０は、水平方向、垂直方向及び奥行方向で同一の座標変換規則を適用することになる。

＜座標変換の具体例＞
図６を参照し、座標変換手段１５について、説明を続ける（適宜図３参照）。
座標変換手段１５は、座標変換規則記憶手段１４の座標変換規則に従って、被写体情報記憶手段１２の被写体情報で表される被写体が含まれる三次元空間を座標変換することで、立体映像に含まれる立体像の形状及びサイズを求めるものである。そして、座標変換手段１５は、求めた立体像の形状及びサイズを立体映像生成手段１６に出力する。

図６（ａ）に示すように、被写体情報が、円筒状、立方体状及び三角柱状の被写体を３つ表すこととする。また、座標変換手段１５は、被写体を１/２に縮小する座標変換規則（図４）を用いることとする。

この場合、座標変換手段１５は、３つの被写体が含まれる三次元空間（図６（ａ））の座標系を、図４の座標変換規則に従って１/２に縮小し、図６（ｂ）に示す立体映像の座標系を求める。そして、座標変換手段１５は、図６（ｂ）の立体映像の座標系において、被写体の形状及びサイズを求める。従って、図６（ｂ）の立体像は、図６（ａ）の被写体と比較して、形状が同一のまま、水平方向、垂直方向及び奥行方向でサイズが１/２に縮小されている。

図３に戻り、立体映像生成装置１０の構成について、説明を続ける。
立体映像生成手段１６は、座標変換手段１５から入力された立体像の形状及びサイズに基づいて、立体映像を生成するものである。例えば、立体映像生成手段１６は、下記参考文献４に記載の手法を用いて、立体映像としての要素画像群を生成する。そして、立体映像生成手段１６は、生成した立体映像を立体映像表示手段２０に出力する。

この参考文献４に記載の手法は、コンピュータに立体像の形状及びサイズを入力し、コンピュータの計算により、要素画像群を生成するものである。
参考文献４：Y.Igarashi et al.,“3-D display system using a computer generated integral photograph”,Jpn.J.Appl.Phys.,17(1978) ,pp.1683-1684.

［立体映像生成装置の動作］
図７を参照し、立体映像生成装置１０の動作（図２のステップＳ２）について、説明する（適宜図３参照）。
立体映像生成装置１０は、被写体情報入力手段１１によって、被写体情報が入力され、入力された被写体情報を被写体情報記憶手段１２に書き込む（ステップＳ２１）。

立体映像生成装置１０は、座標変換規則入力手段１３によって、外部から座標変換規則が入力され、入力された座標変換規則を座標変換規則記憶手段１４に書き込む（ステップＳ２２）。

立体映像生成装置１０は、座標変換手段１５によって、ステップＳ２２で記憶された座標変換規則に従って、被写体情報で表される被写体が含まれる三次元空間を座標変換し、立体映像に含まれる立体像の形状及びサイズを求める（ステップ２３）。

以上、本願発明の第１実施形態に係る立体映像生成装置１０は、表示画面２１に対して立体像を適切なサイズに縮小又は拡大するので、この立体像が大きすぎる又は小さすぎることがなく、この立体像が含まれる立体映像を見易くすることができる。
さらに、立体映像生成装置１０は、線形の座標変換規則（図４）を用いるので、簡易な演算処理で座標変換を行うことができる。

（第２実施形態）
図８を参照し、本願発明の第２実施形態に係る立体映像生成装置１０Ａの構成について、第１実施形態と異なる点を説明する（適宜図３参照）。
立体映像生成装置１０Ａは、線形の座標変換規則（図４）の代わりに、非線形の座標変換規則を用いる点が、第１実施形態と異なる。このため、立体映像生成装置１０Ａは、座標変換規則入力手段１３の代わりに、座標変換規則入力手段１３Ａを備える。

座標変換規則入力手段１３Ａは、図８の座標変換規則が入力されるものである。そして、座標変換規則入力手段１３Ａは、入力された座標変換規則を座標変換規則記憶手段１４に書き込む。

図８に示すように、座標変換規則は、三次元空間の奥行座標ｚ_ｃと、立体映像の奥行座標ｚ_ｍとが非線形の関係になっている。具体的には、この座標変換規則では、ｚ_ｃ≧０のときにｚ_ｍ＝（ｚ_ｃ）^αの関係が成立し、ｚ_ｃ＜０のときにｚ_ｍ＝−｛（ｚ_ｃ）^α｝の関係が成立する。従って、この座標変換規則は、三次元空間の奥行座標ｚ_ｃをα乗（係数α＜１）で縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。

図８では、被写体を縮小する例を示したが、係数α＞１として、被写体を拡大してもよい。
また、図８では、全ての奥行座標で同一の座標変換規則を設定する例を示したが、第１実施形態と同様、奥行座標を奥行方向で複数の領域に区切り、領域毎に座標変換規則を設定してもよい。

以上、本願発明の第２実施形態に係る立体映像生成装置１０Ａは、第１実施形態と同様の理由により、立体像が含まれる立体映像を見易くすることができる。
さらに、立体映像生成装置１０Ａは、非線形の座標変換規則（図８）を用いるので、簡易な演算処理で座標変換を行うことができる。

（第３実施形態）
図９を参照し、本願発明の第３実施形態に係る立体映像生成装置１０Ｂの構成について、第１，第２実施形態と異なる点を説明する（適宜図３参照）。
立体映像生成装置１０Ｂは、線形の座標変換規則（図４）と、非線形の座標変換規則（図８）とを併用する点が、第１，第２実施形態と異なる。このため、立体映像生成装置１０Ａは、座標変換規則入力手段１３，１３Ａの代わりに、座標変換規則入力手段１３Ｂを備える。

座標変換規則入力手段１３Ｂは、図９の座標変換規則が入力されるものである。そして、座標変換規則入力手段１３Ｂは、入力された座標変換規則を座標変換規則記憶手段１４に書き込む。

図９に示すように、座標変換規則は、ｚ_ｃ２≦ｚ_ｃ≦ｚ_ｃ１の領域と、ｚ_ｃ１＜ｚ_ｃ≦ｚ_ｃｎの領域と、ｚ_ｃｆ≦ｚ_ｃ＜ｚ_ｃ２の領域とに設定される。
ｚ_ｃ２≦ｚ_ｃ≦ｚ_ｃ１の領域では、座標変換規則では、ｚ_ｃ≧０のときにｚ_ｍ＝（ｚ_ｃ）^αの関係が成立し、ｚ_ｃ＜０のときにｚ_ｍ＝−｛（ｚ_ｃ）^α｝の関係が成立する。従って、この座標変換規則は、三次元空間の奥行座標ｚ_ｃをα乗（係数α＜１）で縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。
ｚ_ｃ１＜ｚ_ｃ≦ｚ_ｃｎの領域、及び、ｚ_ｃｆ≦ｚ_ｃ＜ｚ_ｃ２の領域では、座標変換規則は、ｚ_ｍ＝ｚ_ｃ／４が成立することから、三次元空間の奥行座標ｚ_ｃを１／４に縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。

図９では、奥行座標を３つの領域に区切って座標変換を行う例を示したが、奥行座標を３以外の領域に区切ってもよい。

以上、本願発明の第３実施形態に係る立体映像生成装置１０Ｂは、第１，第２実施形態と同様の理由により、立体像が含まれる立体映像を見易くすることができる。
さらに、立体映像生成装置１０Ｂは、線形及び非線形を組み合わせた座標変換規則（図９）を用いるので、より柔軟に奥行き感を調整し、多様な立体像の表現が可能となる。

（第４実施形態）
図１０，図１１を参照し、本願発明の第４実施形態に係る立体映像生成装置１０Ｃの構成について、第１実施形態と異なる点を説明する（適宜図３参照）。

図１０に示すように、ＩＰは、レンズアレイ２５に近い程、解像度が高く、レンズアレイ２５から奥行方向で離れるに従って、解像度が劣化することが知られている（参考文献５）。
参考文献５：H.Hoshino et al.:“Analysis of resolution limitation of integral photography”，J.Opt.Soc.Am.A,vol.15,pp.2059-2065, 1998

図１０では、立体像の解像度が縦軸であり、奥行座標が横軸である。図１０の解像度特性は、ｚ_ｍ２≦ｚ_ｍ≦ｚ_ｍ１の範囲で解像度が最大（＝１．０）となることを示す。つまり、立体映像表示装置１は、ｚ_ｍ２≦ｚ_ｍ≦ｚ_ｍ１の範囲で、立体像を最大解像度で表示できる。この範囲を外れると解像度が急に低下し、奥行方向で離れるに従って、解像度の低下割合が少なくなる。そして、奥行座標ｚ_ｍｆ，ｚ_ｍｎで解像度が最大解像度の半分（＝０．５）となる。

立体映像生成装置１０Ｃは、立体像の解像度特性（図１０）に基づいた座標変換規則を用いる。このため、立体映像生成装置１０Ｃは、座標変換規則入力手段１３の代わりに、座標変換規則入力手段１３Ｃを備える。

座標変換規則入力手段１３Ｃは、図１１の座標変換規則が入力されるものである。そして、座標変換規則入力手段１３Ｃは、入力された座標変換規則を座標変換規則記憶手段１４に書き込む。

図１１に示すように、座標変換規則は、図１０の解像度特性に基づいて、ｚ_ｃ２≦ｚ_ｃ≦ｚ_ｃ１の領域と、ｚ_ｃ１＜ｚ_ｃ≦ｚ_ｃｎの領域と、ｚ_ｃｆ≦ｚ_ｃ＜ｚ_ｃ２の領域とに設定される。
ｚ_ｃ２≦ｚ_ｃ≦ｚ_ｃ１の領域では、座標変換規則は、ｚ_ｍ＝ｚ_ｃ／２が成立することから、三次元空間の奥行座標ｚ_ｃを１／２に縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。
ｚ_ｃ１＜ｚ_ｃ≦ｚ_ｃｎの領域、及び、ｚ_ｃｆ≦ｚ_ｃ＜ｚ_ｃ２の領域では、座標変換規則は、ｚ_ｍ＝ｚ_ｃ／４が成立することから、三次元空間の奥行座標ｚ_ｃを１／４に縮小したのが立体映像の奥行座標ｚ_ｍであることを表す。

すなわち、この座標変換規則では、図１０の最大解像度で立体像を表示できる範囲に、立体映像の奥行範囲が対応している（ｚ_ｍ２≦ｚ_ｍ≦ｚ_ｍ１）。さらに、この座標変換規則では、立体映像における奥行位置の最大値ｚ_ｍｎ及び最小値ｚ_ｍｆが、図１０で最大解像度の半分に対応している。

さらに、図１１の座標変換規則は、最大解像度で立体像を表示できる範囲（ｚ_ｍ２≦ｚ_ｍ≦ｚ_ｍ１）と、図６（ａ）で被写体が配置された奥行範囲（ｚ_ｃｆ≦ｚ_ｃ≦ｚ_ｃｎ）とを対応させることが好ましい。これによって、立体映像生成装置１０Ｃは、最高解像度の範囲内に被写体の立体像が含まれることになり、立体映像の品質がより向上する。
なお、図１１では、座標変換規則が線形の関係であるが、図８と同様、非線形の関係であってもよい。

以上、本願発明の第４実施形態に係る立体映像生成装置１０Ｃは、第１実施形態と同様の理由により、立体像が含まれる立体映像を見易くすることができる。

（変形例１）
本願発明に係る立体映像表示手段１は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
前記した各実施形態では、立体映像表示手段１がＩＰを用いるとして説明したが、本願発明は、多眼方式又はホロフラフィ方式で立体表示を行ってもよい。

多眼方式の場合、図２のステップＳ３の処理において、下記の参考文献６に記載の手法を用いて、立体映像（多眼映像）を生成してもよい。
参考文献６：T.Kanade,P.Rander,and P.J.Narayanan,“Virtualized Reality: Constructing Virtual Worlds from Real Scenes”,IEEE Multimedia,Vol.4,No.1,pp.34-47,Jan.1997.

ホログラフィ方式の場合、図２のステップＳ３の処理において、下記の参考文献７に記載の手法を用いて、立体映像（干渉縞）を生成してもよい。
参考文献７：M.C.King,A.M.Noll,and D.H.Berry,“A New Approach to Computer-Generated Holography”,APPLIED OPTICS 475,Vol.9,No.2,February 1970

（変形例２）
前記した各実施形態では、線形の座標変換規則、非線形の座標変換規則、線形と非線形とを併用した座標変換規則について説明したが、本発明は、これに限定されない。つまり、立体映像表示装置１は、これら３つの手法を映像制作者又は観察者が任意に切り替えて、立体表示を行ってもよい。

（その他変形例）
前記した各実施形態では、立体映像生成装置１０に被写体情報が入力されるとして説明したが、被写体情報入力手段１１の代わりに、被写体情報を取得する被写体情報取得手段（不図示）を備えてもよい。

立体映像表示装置１は、現実の三次元空間に存在する被写体だけでなく、コンピュータによる仮想的な三次元空間に存在する被写体も扱うことができる。この場合、立体映像表示装置１では、仮想的な三次元空間における被写体の形状及びサイズが既知であることとする。

立体映像生成装置１０は、コンピュータが備えるＣＰＵ（Central Processing Unit）、メモリ、ＨＤＤ（Hard Disk Drive）等のハードウェア資源を、前記した被写体情報入力手段１１、座標変換規則入力手段１３、座標変換手段１５及び立体映像生成手段１６として協調動作させる立体映像生成プログラムとして実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 立体映像表示装置
１０，１０Ａ，１０Ｂ，１０Ｃ 立体映像生成装置
１１ 被写体情報入力手段
１２ 被写体情報記憶手段
１３，１３Ａ，１３Ｂ，１３Ｃ 座標変換規則入力手段
１４ 座標変換規則記憶手段
１５ 座標変換手段
１６ 立体映像生成手段
２０ 立体映像表示手段
２３ 撮像素子
２５ レンズアレイ
３０ 信号線

Claims (7)

1. 三次元空間における被写体と、前記被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、前記立体像が縮小又は拡大された立体映像を生成する立体映像生成装置であって、
   前記三次元空間における被写体の形状及びサイズを示す被写体情報が、入力される被写体情報入力手段と、
   前記被写体と前記立体映像表示手段とのサイズに応じて前記立体像が縮小又は拡大されるように、予め設定された前記三次元空間と前記立体映像との座標変換規則が入力される座標変換規則入力手段と、
   前記座標変換規則に従って、前記被写体情報で表される被写体が含まれる三次元空間の座標を座標変換することで、前記立体映像に含まれる立体像の形状及びサイズを求める座標変換手段と、
   前記座標変換手段で求めた立体像の形状及びサイズに基づいて、前記立体映像を生成する立体映像生成手段と、
   を備え、
   前記座標変換規則入力手段は、前記立体映像表示手段の解像度が最大となる奥行範囲に基づいて予め設定された前記座標変換規則が入力されることを特徴とする立体映像生成装置。
2. 三次元空間における被写体と、前記被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、前記立体像が縮小又は拡大された立体映像を生成する立体映像生成装置であって、
   前記三次元空間における被写体の形状及びサイズを示す被写体情報が、入力される被写体情報入力手段と、
   前記被写体と前記立体映像表示手段とのサイズに応じて前記立体像が縮小又は拡大されるように、予め設定された前記三次元空間と前記立体映像との座標変換規則が入力される座標変換規則入力手段と、
   前記座標変換規則に従って、前記被写体情報で表される被写体が含まれる三次元空間の座標を座標変換することで、前記立体映像に含まれる立体像の形状及びサイズを求める座標変換手段と、
   前記座標変換手段で求めた立体像の形状及びサイズに基づいて、前記立体映像を生成する立体映像生成手段と、
   を備え、
   前記座標変換規則入力手段は、前記立体映像を複数の領域に分割し、前記領域毎に、前記三次元空間の座標と前記立体映像の座標とが線形の関係になるように予め設定された前記座標変換規則が入力されることを特徴とする立体映像生成装置。
3. 三次元空間における被写体と、前記被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、前記立体像が縮小又は拡大された立体映像を生成する立体映像生成装置であって、
   前記三次元空間における被写体の形状及びサイズを示す被写体情報が、入力される被写体情報入力手段と、
   前記被写体と前記立体映像表示手段とのサイズに応じて前記立体像が縮小又は拡大されるように、予め設定された前記三次元空間と前記立体映像との座標変換規則が入力される座標変換規則入力手段と、
   前記座標変換規則に従って、前記被写体情報で表される被写体が含まれる三次元空間の座標を座標変換することで、前記立体映像に含まれる立体像の形状及びサイズを求める座標変換手段と、
   前記座標変換手段で求めた立体像の形状及びサイズに基づいて、前記立体映像を生成する立体映像生成手段と、
   を備え、
   前記座標変換規則入力手段は、前記立体映像を複数の領域に分割し、前記領域毎に、前記三次元空間の座標と前記立体映像の座標とが非線形の関係になるように予め設定された前記座標変換規則が入力されることを特徴とする立体映像生成装置。
4. 三次元空間における被写体と、前記被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、前記立体像が縮小又は拡大された立体映像を生成する立体映像生成装置であって、
   前記三次元空間における被写体の形状及びサイズを示す被写体情報が、入力される被写体情報入力手段と、
   前記被写体と前記立体映像表示手段とのサイズに応じて前記立体像が縮小又は拡大されるように、予め設定された前記三次元空間と前記立体映像との座標変換規則が入力される座標変換規則入力手段と、
   前記座標変換規則に従って、前記被写体情報で表される被写体が含まれる三次元空間の座標を座標変換することで、前記立体映像に含まれる立体像の形状及びサイズを求める座標変換手段と、
   前記座標変換手段で求めた立体像の形状及びサイズに基づいて、前記立体映像を生成する立体映像生成手段と、
   を備え、
   前記座標変換規則入力手段は、前記立体映像を奥行き方向で複数の領域に分割し、前記領域毎に、前記三次元空間の座標と前記立体映像の座標とが線形の関係又は非線形の関係になるように予め設定された前記座標変換規則が入力されることを特徴とする立体映像生成装置。
5. コンピュータを、請求項１に記載の立体映像生成装置として機能させるための立体映像生成プログラム。
6. 三次元空間における被写体と、前記被写体の立体像を立体表示する立体映像表示手段とのサイズに応じて、前記立体像が縮小又は拡大された立体映像を表示する立体映像表示装置であって、
   請求項１に記載の立体映像生成装置と、
   前記立体映像生成装置で生成された立体映像を表示する前記立体映像表示手段と、
   を備えることを特徴とする立体映像表示装置。
7. 前記立体映像表示手段は、インテグラルフォトグラフィ方式、多眼方式又はホロフラフィ方式の何れかで前記立体映像を表示することを特徴とする請求項６に記載の立体映像表示装置。

Images