JP6585938B2 - 立体像奥行き変換装置およびそのプログラム - Google Patents

Description

本発明は、インテグラルフォトグラフィ方式の立体像の奥行きを変換する立体像奥行き変換装置およびそのプログラムに関する。

一般に、任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、平面上に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている（例えば、特許文献１参照）。

このＩＰ方式について、図１２を参照して、凸レンズ群を利用した例で説明する。
ＩＰ方式は、図１２（ａ）に示すように、撮像装置１００によって、平面上に２次元配列された複数の要素レンズ（凸レンズ）Ｌｐからなるレンズアレー（凸レンズ群）Ｌａを介して、被写体Ｏから出た光を撮像する。このとき、要素レンズＬｐの焦点距離ｆだけ離間した撮像面Ｅにおいて、要素レンズＬｐのレンズ間隔で、複数の要素画像ｅ（要素画像群）が撮像されることになる。
そして、ＩＰ方式は、図１２（ｂ）に示すように、撮像時と同じ仕様のレンズアレーＬａを介して、表示装置２００の表示面Ｄに図１２（ａ）で撮像した複数の要素画像ｅ（要素画像群）を表示する。このとき、撮像された被写体空間と同様の光線が再生され、観察者Ｍは、被写体Ｏを立体像Ｔとして視認することができる。

このＩＰ方式では、実体のある被写体を１台の撮像装置で撮像して要素画像群を生成する以外にも、コンピュータグラフィックス（ＣＧ）で生成された仮想空間上の３次元データ、複数のカメラで撮影された映像から生成された３次元データ等の立体像３次元モデルから要素画像群を生成する手法が提案されている（特許文献２，特許文献３，非特許文献１参照）。

特開２００７−７１９２２号公報 特開２００９−１７５８６６号公報 特開２０１２−８４１０５号公報

池谷，久富，片山，岩舘，「多視点映像からのインテグラル立体像生成手法〜スポーツシーンの３次元モデル生成と立体映像変換〜」，映像情報メディア学会誌，Vol.67，No.7，pp.J229-J240（2013）

しかし、特許文献１等に記載の手法で用いられるＩＰ方式では、表示される立体像の奥行き位置が表示装置の凸レンズ群（レンズアレー）あるいはピンホール群から離れると解像度が低下するという奥行き再現範囲の問題が知られている（例えば、以下の参考文献１）。
（参考文献１：H. Hoshino, F. Okano, H. Isono, and I. Yuyama:“Analysis of resolution limitation of integral photography,” J.Opt.Soc.Am.A, Vol.15, No.8(1998)）

この問題について、図１３を参照し、レンズアレーを用いた例で、簡単に説明する。
図１３に、観察者Ｍがレンズアレーからある距離（視距離Ｌ）だけ離間して立体像を視認したときの立体像の奥行き位置と解像度（空間周波数）との関係を示す。図１３において、横軸（ｚ軸）は立体像奥行き位置、縦軸（γ軸）は立体像の解像度である空間周波数を示す。ここで、立体像の空間周波数とは、レンズアレー位置（ｚ＝０）から、ある距離（立体像奥行き位置）に再生された立体像を観察位置で観察した場合の単位角度内に再生できる縞の数の最大値（視覚あたりの解像度）であり、単位はｃｐｄ（cycles per degree）である。例えば、１度あたりで６０画素視認可能であれば、空間周波数は３０ｃｐｄとなる。

図１３に示すように、ＩＰ方式で再生される立体像の解像度（空間周波数γ）は、レンズアレー位置（ｚ＝０）近傍の前後一定の奥行き再現範囲で立体像の最大解像度（ナイキスト周波数）を維持し、その範囲を超えると急激に低下する特性を有する。この最大解像度は、レンズアレーを構成する要素レンズの間隔（ピッチ）で特定され、この奥行き再現範囲を超えた立体像は、レンズアレーの位置から離れるにつれてボケてしまう。またこれは、ＩＰ方式においては、原理的に立体像がボケずに表示可能な奥行き再現範囲が存在することを意味する。

したがって、特許文献２，３に記載の手法により、立体像３次元モデルから要素画像群を生成し、立体像を表示すると、所定の奥行き再現範囲内ではボケのない立体像を表示することが可能である。しかし、この手法は、所定の奥行き再現範囲を超えた立体像については、ボケが大きくなってしまうという問題がある。なお、このボケのない奥行き再現範囲は、要素画像の画素数を増やすことで広げることもできるが、ハードウェア的な限界がある。

この奥行き再現範囲の問題に対し、解像度で特定される奥行き再現範囲内に立体像３次元モデルを線形に圧縮して、当該範囲内で立体像を表示させることも考えられる。しかし、この手法を用いた場合、表示される立体像は、全体的に奥行き方向に潰れた不自然なものとなってしまう。

本発明は、このような問題に鑑みてなされたものであり、立体像３次元モデルの奥行きを、所定の解像度を満たす奥行き再現範囲内に変換するとともに、奥行き方向の歪みを感じにくい立体像を表示することが可能なＩＰ方式の要素画像群を生成する立体像奥行き変換装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る立体像奥行き変換装置は、立体像３次元モデルの奥行きを圧縮変換して、所定解像度を満たしてＩＰ方式の立体像を表示可能な要素画像群を生成する立体像奥行き変換装置であって、奥行き再現範囲算出手段と、最大圧縮率算出手段と、変換関数選択手段と、奥行き変換手段と、要素画像生成手段と、を備える構成とした。

かかる構成において、立体像奥行き変換装置は、奥行き再現範囲算出手段によって、立体像を表示する対象となる立体像表示装置の画素間隔、要素レンズの焦点距離、および、観察者から立体像表示装置までの視距離に基づいて、所定の解像度を満たして立体像が再現される奥行き再現範囲を算出する。この奥行き再現範囲を立体像の表示範囲とすれば、所定の解像度を満たす立体像が表示されることになる。
そして、立体像奥行き変換装置は、最大圧縮率算出手段によって、立体像表示装置の観察者から見た奥行き再現範囲の手前側位置を基準として、立体像３次元モデルの最大奥行き値を、奥行き再現範囲の観察者から見た奥側位置の奥行き値に変換する最大圧縮率を算出する。

そして、立体像奥行き変換装置は、変換関数選択手段によって、奥行き再現範囲の手前側位置を基準として、当該手前側位置よりも奥側の奥行き値を、立体像３次元モデルの前後関係を保持しつつ、かつ、手前側位置から遠いほど圧縮率を大きくして、奥行き再現範囲内の奥行き値に変換する変換関数であって、奥行き方向の圧縮の度合いの異なる複数の変換関数の中から、最大圧縮率算出手段で算出された最大圧縮率が大きいほど、圧縮の度合いの大きい変換関数を選択する。
そして、立体像奥行き変換装置は、奥行き変換手段によって、変換関数選択手段で選択された変換関数により、立体像３次元モデルの奥行きを変換する。この変換関数としては、シグモイド関数等を用いることができる。
これによって、観察者に近い立体像では奥行きの圧縮率が小さく、観察者から遠い立体像については奥行きの圧縮率が大きくなる。

このように、奥行き再現範囲における観察者側で圧縮率を小さくし、奥側の圧縮率を大きくしても、人間の知覚特性からは、立体像に対する不自然さは感じにくい。例えば、以下の参考文献２に記載されているように、人間の奥行きを知覚する感度は、見る対象が遠くなるほど低下することが知られている。
（参考文献２：James E. Cutting: Perceiving Layout and Knowing Distances: The Integration , Relative Potency, and Contextual Use of Different Information about Depth”Epstein, William (Ed); Rogers, Sheena J. (Ed), (1995). Perception of space and motion. Handbook of perception and cognition (2nd ed.)., (pp. 69-117) (1995)）
この参考文献２には、ＩＰ方式で再現可能な奥行きの手がかり（両眼の輻輳、両眼視差、焦点調節、運動視差）のすべてにおいて、見る対象が遠くなるほど感度が低下する旨が記載されている。

すなわち、奥行き変換手段は、このような人間の知覚特性に基づき、観察者に近い立体像では奥行きの圧縮率を小さく、観察者から遠い立体像については奥行きの圧縮率を大きくしている。そのため、奥行きが圧縮された立体像であっても、観察者は不自然さを感じにくくなる。

そして、立体像奥行き変換装置は、要素画像生成手段によって、奥行き変換手段で奥行きが変換された立体像３次元モデルから、立体像表示装置の要素レンズごとの要素画像を生成し、要素画像群を生成する。
このように生成された要素画像群を立体像表示装置に表示することで、観察者に立体像を視認させることができる。

なお、立体像奥行き変換装置は、コンピュータを、奥行き再現範囲算出手段、奥行き変換手段、要素画像生成手段として機能させるための立体像奥行き変換プログラムで動作させることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明は、所定の解像度を満たす奥行き再現範囲に立体像を表示することが可能な要素画像群を生成することができる。また、本発明は、観察者に近い立体像では奥行きの圧縮率が小さく、観察者から遠い立体像については奥行きの圧縮率が大きくなる立体像を表示する要素画像群を生成することができる。
本発明により生成された要素画像群は、ＩＰ方式の立体像表示装置で表示されることで、観察者にボケを知覚させない立体像として表示されることになる。また、本発明により生成された要素画像群は、観察者に近いほど奥行きの圧縮率が小さいため、表示された立体像は、人間の知覚特性から、遠近感における不自然さを感じにくいものとなる。

本発明の実施形態に係る立体像奥行き変換装置を備えたインテグラル立体像表示システムの全体構成を示す構成図である。 本発明の第１実施形態に係る立体像奥行き変換装置の構成を示すブロック構成図である。 ＩＰ方式における所定解像度を満たす奥行き再現範囲を説明するためのグラフ図である。 ＩＰ方式における立体像の解像度を説明するための説明図である。 本発明の実施形態に係る立体像奥行き変換装置の立体像３次元モデルの座標系（ｘｙｚ座標系）を示す図であって、（ａ）はｘｙ座標、（ｂ）はｙｚ座標を示す。 本発明の実施形態に係る立体像奥行き変換装置の奥行き変換手段が用いる変換関数の例を示すグラフ図である。 本発明の実施形態に係る立体像奥行き変換装置の奥行き変換手段が奥行き変換時に行う幅変換処理を説明するための図であって、（ａ）は幅変換前の状態、（ｂ）は幅変換後の状態を示す。 本発明の実施形態に係る立体像奥行き変換装置の要素画像生成手段における要素画像の生成手法を説明するための説明図である。 本発明の第１実施形態に係る立体像奥行き変換装置の動作を示すフローチャートである。 本発明の第２実施形態に係る立体像奥行き変換装置の構成を示すブロック構成図である。 本発明の第２実施形態に係る立体像奥行き変換装置の動作を示すフローチャートである。 ＩＰ方式の概要を説明するための図であって、（ａ）は撮像系、（ｂ）は表示系を示す。 ＩＰ方式の立体像表示装置における解像度と立体像の奥行き位置との関係を示すグラフ図である。

以下、本発明の実施形態について図面を参照して説明する。
〔インテグラル立体像表示システムの構成〕
最初に、図１を参照して、本発明の実施形態に係る立体像奥行き変換装置を備えたインテグラル立体像表示システムＳの構成について説明する。

インテグラル立体像表示システムＳは、観察者Ｍの視距離に応じて、予め定めた解像度を満たす奥行き再現範囲にＩＰ方式の立体像Ｔを表示するものである。
このインテグラル立体像表示システムＳは、図１に示すように、立体像奥行き変換装置１と、立体像表示装置２と、測距装置３と、を備える。

立体像奥行き変換装置１は、観察者Ｍと立体像表示装置２との距離（視距離）に応じて、立体像Ｔが所定解像度を満たす奥行き再現範囲で再現されるように、立体像Ｔの奥行きを変換するものである。この立体像奥行き変換装置１は、測距装置３から観察者Ｍの視距離を入力し、立体像３次元モデルから、視距離に応じた奥行き再現範囲内でＩＰ方式の画像（要素画像群）を生成する。このとき、立体像奥行き変換装置１は、表示対象の前後関係を保持しつつ、表示対象が遠方であるほど、より大きい圧縮率で、奥行き再現範囲内に収まるような要素画像群を生成する。
この立体像奥行き変換装置１は、生成した要素画像群を立体像表示装置２に出力する。なお、この立体像奥行き変換装置１については、後で詳細に説明する。

立体像表示装置２は、ＩＰ方式の立体像を表示する一般的なＩＰ立体像表示装置である。例えば、図１２（ｂ）で説明した表示装置２００である。この立体像表示装置２は、立体像奥行き変換装置１から要素画像群を入力し、図示を省略したレンズアレーを介して要素画像群を表示することで、観察者Ｍに対して立体像Ｔを視認させる。

測距装置３は、立体像表示装置２から観察者Ｍまでの視距離を測定するものである。この測距装置３は、例えば、一般的な距離センサー等で構成することができる。また、測距装置３は、例えば、２台のカメラで撮影した観察者Ｍのカメラ画像から、強膜反射法や角膜・瞳孔反射法によって、観察者Ｍの左右の角膜をそれぞれ検出し、三角測量の原理により、３次元の視点位置を求め、視距離を測定することとしてもよい。
この測距装置３は、測定した視距離を立体像奥行き変換装置１に出力する。
なお、インテグラル立体像表示システムＳは、予め固定の値を視距離（例えば、画面高の３倍等、推奨の視距離）とする形態であってもよい。その場合、インテグラル立体像表示システムＳは、測距装置３を構成から省略してもよい。

このように、インテグラル立体像表示システムＳは、観察者Ｍの視距離に応じて、観察者Ｍから見て、所定の解像度を満たした立体像Ｔを視認させることができる。また、インテグラル立体像表示システムＳは、観察者Ｍに近い立体像については圧縮率を小さくし、遠い立体像については圧縮率を大きくして奥行きを変換するため、奥行き方向の潰れを感じにくい立体像Ｔを表示することができる。
以下、立体像奥行き変換装置１の構成および動作について詳細に説明する。

≪第１実施形態≫
〔立体像奥行き変換装置の構成〕
まず、図２を参照（適宜図１参照）して、本発明の第１実施形態に係る立体像奥行き変換装置１の構成について説明する。
図２に示すように、立体像奥行き変換装置１は、奥行き再現範囲算出手段１０と、奥行き変換手段１１と、要素画像生成手段１２と、を備える。

奥行き再現範囲算出手段１０は、観察者がある視距離だけ離れて立体像表示装置２を視認したときに、所定解像度を満たす立体像が再現される奥行き再現範囲を算出するものである。この奥行き再現範囲算出手段１０は、立体像表示装置２の画素間隔、レンズアレー（要素レンズ）の焦点距離と、視距離とを入力し、当該視距離において、所定の解像度（例えば、３０ｃｐｄ）以上で立体像が再現される奥行き再現範囲を算出する。

なお、立体像表示装置２の特定情報である画素間隔、レンズアレー（要素レンズ）の焦点距離は、表示パラメータとして、外部から入力されるものとする。また、視距離は、測距装置３から測定された値として、あるいは、図示を省略した入力手段から指定された値として、入力されるものとする。
ここでは、奥行き再現範囲算出手段１０は、立体像表示装置２の表示面（より具体的には、レンズアレーの位置）から、所定の解像度を満たす観察者に最も近い位置（手前側位置）と、最も遠い位置（奥側位置）とを算出し、奥行き再現範囲とする。

ここで、図３，図４を参照して、奥行き再現範囲算出手段１０が算出する奥行き再現範囲について具体的に説明する。
図３は、観察者Ｍが観察位置で立体像表示装置２を視認したときの立体像の解像度（空間周波数）と、立体像の奥行き位置との関係を示している。なお、縦軸は、立体像の解像度（空間周波数）、横軸は、立体像表示装置２のレンズアレー位置を原点“０”とした立体像の奥行き位置を示している。また、観察者Ｍの位置は、立体像表示装置２（レンズアレー位置）から、視距離Ｌだけ離間していることとする。

図３に示すように、所定の解像度（例えば、３０ｃｐｄ）以上で立体像を再現可能な奥行きの範囲（奥行き再現範囲）は、観察者Ｍから見て、レンズアレー位置よりも手前の手前側位置Ｄ_{ｆｒｏｎｔ}と、レンズアレー位置よりも奥の奥側位置Ｄ_ｂａｃｋとによって特定される範囲（Ｄ_{ｌｉｍｉｔ}）となる。
すなわち、奥行き再現範囲算出手段１０は、所定解像度を満たす観察者に最も近い手前側位置Ｄ_{ｆｒｏｎｔ}と、最も遠い奥側位置Ｄ_ｂａｃｋとを算出することで、所定解像度での奥行き再現範囲Ｄ_{ｌｉｍｉｔ}を特定する。

ここで、図４に示すように、要素画像ｅの画素ｇのピッチ（画素間隔）をδ、レンズアレーＬａ（要素レンズＬｐ）の焦点距離をｆ、観察者Ｍの視距離をＬとする。すると、レンズアレーＬａからｚ（ここでは、観察者Ｍ方向を正とする）だけ離れた位置に表示される立体像Ｔの画素（投影画素Ｇ）のピッチ（画素間隔）Δは、以下の式（１）で表され、空間周波数（観視空間周波数）βは、以下の式（２）で表される。

そこで、奥行き再現範囲算出手段１０は、所定解像度をβ_０としたときの奥行き再現範囲のレンズアレー位置よりも手前（観察者側）の手前側位置Ｄ_{ｆｒｏｎｔ}、および、レンズアレー位置よりも奥の奥側位置Ｄ_ｂａｃｋを、それぞれ、以下の式（３）、式（４）により算出する。

なお、観察者Ｍが視距離Ｌの位置で視認する立体像Ｔの最大空間周波数β_ｎは、レンズアレーＬａの要素レンズＬｐのレンズピッチｐによって、以下の式（５）により決まってしまう。

すなわち、任意の奥行き位置に生成される立体像の空間周波数γは、以下の式（６）に示すように、レンズピッチｐで決まる最大空間周波数β_ｎと、前記式（２）で計算される観視空間周波数βとを比較した結果の低い方に制限されることになる。

そこで、奥行き再現範囲算出手段１０が奥行き再現範囲を算出するために用いる所定の解像度は、β_ｎを超えない値とする。
図１に戻って、立体像奥行き変換装置１の構成について説明を続ける。

奥行き再現範囲算出手段１０は、測定あるいは指定された視距離において、手前側位置Ｄ_{ｆｒｏｎｔ}（図３参照）と奥側位置Ｄ_ｂａｃｋ（図３参照）とを、所定解像度を満たす奥行き再現範囲として、奥行き変換手段１１に出力する。

奥行き変換手段１１は、表示対象となる立体像３次元モデルの奥行きを、予め定めた変換関数を用いて、奥行き再現範囲算出手段１０で算出された奥行き再現範囲内に変換するものである。この立体像３次元モデルは、立体像として表示したい対象の色、形状、位置等を表すデータであって、例えば、コンピュータグラフィックス（ＣＧ）で生成された３次元データ、複数のカメラで撮影された映像から生成された３次元データ等である。

また、立体像３次元モデルの座標系は、例えば、図５に示すようなｘｙｚ座標系である。すなわち、図５（ａ）に示すように、立体像表示装置２の表示面を正面視したときの水平方向をｘ方向、垂直方向をｙ方向とする。また、図５（ｂ）に示すように、立体像表示装置２の表示面（具体的には、レンズアレーＬａ）を側面視したときの水平方向（奥行き方向）をｚ方向、垂直方向をｙ方向とする。もちろん、立体像３次元モデルの座標系は相対的なものであるため、これに限定されるものではない。なお、観察者Ｍから見て、手前側位置Ｄ_{ｆｒｏｎｔ}よりも手前には、立体像３次元モデルを配置しないこととする。

このような立体像３次元モデルの座標系において、奥行き変換手段１１は、立体像３次元モデルの奥行き方向の前後関係を保持しつつ、表示対象が遠方であるほど、より大きい圧縮率で、立体像が奥行き再現範囲内に収まるように、予め定めた変換関数を用いて、立体像３次元モデルの奥行きを変換する。この変換関数については、後で詳細に説明する。
この奥行き変換手段１１は、奥行きを変換した立体像３次元モデルを、要素画像生成手段１２に出力する。

（変換関数の例）
次に、図６を参照して、奥行き変換手段１１が用いる変換関数の例について説明する。
図６では、変換関数Ｆをｚ′＝Ｆ（ｚ）とし、立体像３次元モデルの奥行き座標（変換前の奥行き値）をｚ、変換された立体像の奥行き座標（変換後の奥行き値）をｚ′とする。また、ここでは、説明を簡易化するため、奥行き再現範囲の手前側位置Ｄ_{ｆｒｏｎｔ}を、奥行き座標ｚ＝０にシフトして説明する。もちろん、奥行き再現範囲の奥側位置Ｄ_ｂａｃｋも、手前側位置Ｄ_{ｆｒｏｎｔ}と同様のシフト量でシフトしている。

この変換関数Ｆは、奥行き再現範囲の手前側位置Ｄ_{ｆｒｏｎｔ}の奥行き値において、変換前の奥行き値ｚと変換後の奥行き値ｚ′とが一致するとともに、傾きが“１”となる接線を有する。ここで、傾きが“１”とは、変換前の奥行き値ｚの増加量に対する変換後の奥行き値ｚ′の増加量の比率が一致することをいう。また、変換関数Ｆは、ｚが大きくなるにつれて、ｚ′＝Ｄ_ｂａｃｋを漸近線として、ｚ′がＤ_ｂａｃｋに漸近する関数である。
この変換関数Ｆは、シグモイド関数等、種々の関数で実現することができる。例えば、変換関数として、以下の式（７）〜式（９）に示す変換関数Ｆ_１〜Ｆ_３のいずれかを用いることができる。なお、Ｄ_{ｌｉｍｉｔ}は、手前側位置Ｄ_{ｆｒｏｎｔ}と奥側位置Ｄ_ｂａｃｋとで特定される奥行き再現範囲の大きさである。

この変換関数Ｆ_１〜Ｆ_３は、図６に示すように、奥行き値ｚが大きくなるにつれて、変換関数Ｆ_１が最も早く漸近線ｚ′＝Ｄ_ｂａｃｋに接近し、以下、変換関数Ｆ_２、Ｆ_３の順で遅く漸近線ｚ′＝Ｄ_ｂａｃｋに接近する。

奥行き変換手段１１は、これら変換関数のうちの１つを予め保持し、立体像３次元モデルの奥行きを変換する。なお、立体像３次元モデルの表示範囲として奥行きが既知の場合、奥行き変換手段１１は、表示範囲の最大奥行きが浅いほど、奥行き値ｚが大きくなるにつれて、漸近線ｚ′＝Ｄ_ｂａｃｋに接近するのが早い変換関数（例えば、変換関数Ｆ_１）を用いることが好ましい。

このような変換関数を用いることで、奥行き変換手段１１は、奥行き値ｚが小さいほど、ｚ′＝ｚの関係により近く、圧縮率を小さくして奥行き値を変換する。また、奥行き変換手段１１は、奥行き値ｚが大きいほど、圧縮率を大きくし、ｚ′＝Ｄ_ｂａｃｋに接近して、奥行き再現範囲内に収まるように奥行き値を変換する。

なお、奥行き値が観察者に近づくと、観察者の網膜に映る立体像の大きさは拡大する。そこで、奥行き変換手段１１は、奥行きを変換するとともに、当該奥行きの圧縮率と同じ圧縮率で、当該奥行きに対応する立体像３次元モデルの水平方向および垂直方向の大きさ（立体像の横幅および縦幅）を圧縮変換することが好ましい。
その場合、図７（ａ）に示すように、立体像表示装置２において、立体像３次元モデルの表示対象の奥行き幅をＤ_{ｏｒｉｇｉｎ}とし、図７（ｂ）に示すように、Ｄ_{ｆｒｏｎｔ}とＤ_ｂａｃｋとで特定される奥行き変換後の奥行き再生範囲をＤ_{ｌｉｍｉｔ}としたとき、変換前の立体像の横幅Ｗ_{ｏｒｉｇｉｎ}、縦幅Ｈ_{ｏｒｉｇｉｎ}（不図示）は、それぞれ、以下の式（１０）および式（１１）により、変換後の奥行き値ｚ′における横幅Ｗ、縦幅Ｈとすればよい。

すなわち、図５（ａ）に示すｘｙ座標に置き換えたとき、立体像３次元モデルのｘ座標値およびｙ座標値を、それぞれ、以下の式（１２）および式（１３）により、変換後のｘｙ座標値ｘ′、ｙ′とすればよい。

このように、奥行き変換手段１１は、奥行きに応じて、立体像の横幅および縦幅を変換することで、観察者の網膜に映る立体像の大きさを奥行きに応じた大きさに変換することができる。
図２に戻って、立体像奥行き変換装置１の構成について説明を続ける。

要素画像生成手段１２は、奥行き変換手段１１で奥行きが変換された立体像３次元モデルから、要素レンズごとの要素画像を生成し、ＩＰ方式で立体像を表示するための要素画像群を生成するものである。なお、要素画像を生成するために必要となる立体像表示装置２の特定情報（例えば、縦横の画素数および画素間隔、レンズアレー（要素レンズ）の縦横のレンズ数およびレンズ間隔ならびに焦点距離）は、表示パラメータとして外部から入力することとする。
この立体像３次元モデルから要素画像を生成する手法は、既知の手法を用いればよい。例えば、〔背景技術〕で説明した特許文献２、特許文献３、非特許文献１等の手法を用いればよい。
この要素画像生成手段１２は、生成した要素画像群を立体像表示装置２に出力する。なお、立体像をリアルタイムで表示しないのであれば、要素画像生成手段１２は、図示を省略した記憶装置に要素画像群を記憶することとしてもよい。

ここで、図８を参照して、要素画像生成手段１２が行う要素画像の生成手法の例について説明する。
図８に示すように、要素画像生成手段１２は、光線追跡法を用いて、要素画像ｅを構成する画素ｇの画素値を１画素ずつ求める。
この要素画像生成手段１２は、要素画像ｅを表示する表示面Ｄと、表示面Ｄから焦点距離ｆだけ離間し、要素画像ｅに対応する位置に配置された要素レンズＬｐが平面上に２次元配列されたレンズアレーＬａとで構成される立体像表示装置２を対象として、要素画像ｅを生成する。

具体的には、要素画像生成手段１２は、画素ｇから、焦点距離ｆだけ離間した対応する要素レンズＬｐのレンズ中心Ｌｃを向く単位ベクトルｖを求める。そして、要素画像生成手段１２は、単位ベクトルｖの延長戦上で、レンズアレーＬａから視距離Ｌだけ離れた位置に仮想カメラＣを配置し、画素ｇの方向を撮影する。このとき、要素画像生成手段１２は、仮想カメラＣの中心で撮影される立体像３次元モデルの表面Ａの画素ｇ_Ａの値を画素ｇの画素値とする。
そして、要素画像生成手段１２は、すべての要素画像ｅの画素数分、画素値を求めることで、立体像を表示するための要素画像群を生成する。

以上説明したように立体像奥行き変換装置１を構成することで、立体像奥行き変換装置１は、立体像３次元モデルから、奥行き方向に対する不自然さを感じにくく、所定の解像度でボケを知覚させない立体像を表示可能な要素画像群を生成することができる。
なお、立体像奥行き変換装置１は、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（立体像奥行き変換プログラム）で動作させることができる。

〔立体像奥行き変換装置の動作〕
次に、図９を参照（構成については適宜図２参照）して、本発明の第１実施形態に係る立体像奥行き変換装置１の動作について説明する。
まず、立体像奥行き変換装置１は、立体像表示装置２から観察者までの視距離と、表示パラメータとを外部から入力する（ステップＳ１）。なお、この視距離は、固定の距離値として入力される形態であってもよいし、測距装置３による測定結果として入力される形態であってもよい。

そして、立体像奥行き変換装置１は、奥行き再現範囲算出手段１０によって、ステップＳ１で入力された視距離および表示パラメータから、所定の解像度を満たす観察者に最も近い手前側位置と、最も遠い奥側位置とを奥行き再現範囲として算出する（ステップＳ２）。すなわち、奥行き再現範囲算出手段１０は、視距離をＬ、所定解像度をβ_０、立体像表示装置２の要素画像の画素間隔をδ、レンズアレー（要素レンズ）の焦点距離をｆとしたとき、前記式（３）および式（４）により、所定解像度を満たす観察者に最も近い手前側位置Ｄ_{ｆｒｏｎｔ}と、最も遠い奥側位置Ｄ_ｂａｃｋとを算出する。

その後、立体像奥行き変換装置１は、表示対象となる立体像３次元モデルを入力する（ステップＳ３）。
そして、立体像奥行き変換装置１は、奥行き変換手段１１によって、所定解像度を満たす手前側位置_{ｆｒｏｎｔ}よりも奥側の立体像３次元モデルの奥行きを、予め定めた変換関数（前記式（７）、式（８）、式（９）等）を用いて、ステップＳ２で算出された奥行き再現範囲内に変換する（ステップＳ４）。このとき、奥行き変換手段１１は、立体像３次元モデルの奥行き変換に伴い、その変換比率に応じて、立体像の横幅および縦幅を変換することが好ましい。

そして、立体像奥行き変換装置１は、要素画像生成手段１２によって、ステップＳ４で奥行きが変換された立体像３次元モデルから、ステップＳ１で入力された表示パラメータに基づいて、ＩＰ方式で立体像を表示するための要素画像群を生成する（ステップＳ５）。その後、立体像奥行き変換装置１は、生成した要素画像群を外部（立体像表示装置２）に出力する（ステップＳ６）。

以上の動作によって、立体像奥行き変換装置１は、立体像３次元モデルから、奥行き方向に対する不自然さを感じにくく、所定の解像度でボケを知覚させない立体像を表示可能な要素画像群を生成することができる。

≪第２実施形態≫
〔立体像奥行き変換装置の構成〕
次に、図１０を参照（適宜図１参照）して、本発明の第２実施形態に係る立体像奥行き変換装置１Ｂの構成について説明する。
立体像奥行き変換装置１（図２参照）は、奥行きを変換する変換関数として、予め定めた１つの関数を用いる構成であった。一方、立体像奥行き変換装置１Ｂは、立体像３次元モデルの奥行きに応じて、変換関数を選択する構成としている。

図１０に示すように、立体像奥行き変換装置１は、奥行き再現範囲算出手段１０と、奥行き変換手段１１Ｂと、要素画像生成手段１２と、最大圧縮率算出手段１３と、変換関数選択手段１４と、を備える。
奥行き再現範囲算出手段１０および要素画像生成手段１２は、図２で説明した立体像奥行き変換装置１と同一の構成であるため、同一の符号を付して説明を省略する。なお、奥行き再現範囲算出手段１０が算出する奥行き再現範囲は、最大圧縮率算出手段１３および奥行き変換手段１１Ｂに出力される。

奥行き変換手段１１Ｂは、表示対象となる立体像３次元モデルの奥行きを、変換関数選択手段１４で選択された変換関数を用いて、奥行き再現範囲算出手段１０で算出された奥行き再現範囲内に変換するものである。
すなわち、奥行き変換手段１１Ｂは、選択された変換関数を用いること以外、図２で説明した奥行き変換手段１１と同じである。よって、ここでは、奥行き変換手段１１Ｂの詳細な説明は省略する。

最大圧縮率算出手段１３は、立体像３次元モデルの奥行きを、奥行き再現範囲算出手段１０で算出された奥行き再現範囲内に変換した場合の最大圧縮率を算出するものである。この最大圧縮率算出手段１３は、算出した最大圧縮率を変換関数選択手段１４に出力する。
具体的には、最大圧縮率算出手段１３は、奥行き再現範囲算出手段１０で算出された奥行き再現範囲の手前側位置を基準として、立体像３次元モデルの最大奥行き値を、奥行き再現範囲の観察者から見た奥側位置の奥行き値に変換する最大圧縮率を算出する。
すなわち、図７（ａ）に示したように、立体像３次元モデルの表示対象の最大奥行き幅をＤ_{ｏｒｉｇｉｎ}とし、図７（ｂ）に示したように、奥行き再現範囲をＤ_{ｌｉｍｉｔ}としたとき、最大圧縮率算出手段１３は、以下の式（１４）により、最大圧縮率ｒを算出する。

変換関数選択手段１４は、最大圧縮率算出手段１３で算出された最大圧縮率に基づいて、予め定めた複数の変換関数の中から１つを選択するものである。この変換関数選択手段１４は、選択した変換関数を奥行き変換手段１１Ｂに通知する。
ここで、変換関数は、図６で説明したように、ｚ＝０（手前側位置Ｄ_{ｆｒｏｎｔ}）でｚ′＝ｚ（傾き“１”）の接線を有し、ｚが大きくなるにつれて、ｚ′＝Ｄ_ｂａｃｋを漸近線として、ｚ′がＤ_ｂａｃｋに漸近する関数である。

変換関数選択手段１４は、例えば、図６で示した複数の変換関数Ｆ_１〜Ｆ_３（前記式（７）〜式（９））を予め保持し、最大圧縮率が予め定めた第１レベル値よりも小さければ、奥行きの変化が小さい変換関数Ｆ_１を選択し、最大圧縮率が予め定めた第２レベル値よりも大きければ、奥行きの変化が大きい変換関数Ｆ_３を選択する。また、変換関数選択手段１４は、最大圧縮率が第１レベル値と第２レベル値との間であれば、変換関数Ｆ_２を選択する。

以上説明したように立体像奥行き変換装置１Ｂを構成することで、立体像奥行き変換装置１Ｂは、立体像３次元モデルから、奥行き方向に対する不自然さを感じにくく、所定の解像度でボケを知覚させない立体像を表示可能な要素画像群を生成することができる。また、立体像奥行き変換装置１Ｂは、最大圧縮率に応じて、変換関数を変えるため、立体像奥行き変換装置１よりもさらに奥行き方向に対する不自然さを感じにくくすることができる。
なお、立体像奥行き変換装置１Ｂは、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（立体像奥行き変換プログラム）で動作させることができる。

〔立体像奥行き変換装置の動作〕
次に、図１１を参照（構成については適宜図１０参照）して、本発明の第２実施形態に係る立体像奥行き変換装置１Ｂの動作について説明する。

ステップＳ１０，Ｓ１１は、図９で説明した立体像奥行き変換装置１（図２参照）のステップＳ１，Ｓ２と同じ動作であるため説明を省略する。
立体像奥行き変換装置１Ｂは、ステップＳ１１において、所定解像度を満たす観察者に最も近い手前側位置と、最も遠い奥側位置とを奥行き再現範囲として算出した後、最大圧縮率算出手段１３によって、立体像３次元モデルの奥行きを、ステップＳ１１で算出された奥行き再現範囲内に変換した場合の最大圧縮率を算出する（ステップＳ１２）。

そして、立体像奥行き変換装置１Ｂは、変換関数選択手段１４によって、ステップＳ１２で算出された最大圧縮率の大きさに基づいて、予め定めた複数の変換関数の中から１つを選択する（ステップＳ１３）。すなわち、変換関数選択手段１４は、最大圧縮率が大きければ、奥行きの変化が大きい変換関数を、最大圧縮率が小さければ、奥行きの変化が小さい変換関数を選択する。
その後、立体像奥行き変換装置１Ｂは、表示対象となる立体像３次元モデルを入力する（ステップＳ１４）。

そして、立体像奥行き変換装置１Ｂは、奥行き変換手段１１Ｂによって、ステップＳ１３で選択された変換関数を用いて、立体像３次元モデルの奥行きを奥行き再現範囲内に変換する（ステップＳ１５）。このとき、奥行き変換手段１１Ｂは、立体像３次元モデルの奥行き変換に伴い、その変換比率に応じて、立体像の横幅および縦幅を変換することが好ましい。
以降のステップＳ１６，Ｓ１７は、図９で説明した立体像奥行き変換装置１（図２参照）のステップＳ５，Ｓ６と同じ動作であるため説明を省略する。

以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
例えば、ここでは、奥行き再現範囲算出手段１０は、視距離や表示パラメータを逐次入力することとしたが、これらが固定した値であれば、立体像奥行き変換装置１Ｂの内部に予め設定しておくこととしてもよい。

また、例えば、奥行き変換手段１１，１１Ｂの変換関数の例として、前記式（７）〜式（９）を例示したが、これに限定されるものではない。すなわち、表示対象の前後関係を保持しつつ、表示対象が遠方であるほど、より大きい圧縮率で、奥行き再現範囲内に収まるような変換関数であればよく、双曲線正接関数、グーデルマン関数等であっても構わない。
また、変換関数選択手段１４では、例示した３つの変換関数から１つを選択することとしたが、変換関数の数は３つに限定されるものではなく、２つあるいは４つ以上であっても構わない。

Ｓ インテグラル立体像表示システム
１，１Ｂ 立体像奥行き変換装置
１０ 奥行き再現範囲算出手段
１１，１１Ｂ 奥行き変換手段
１２ 要素画像生成手段
１３ 最大圧縮率算出手段
１４ 変換関数選択手段

Claims (4)

1. 立体像３次元モデルの奥行きを圧縮変換して、所定解像度を満たしてＩＰ方式の立体像を表示可能な要素画像群を生成する立体像奥行き変換装置であって、
   前記立体像を表示する立体像表示装置の画素間隔、要素レンズの焦点距離および視距離に基づいて、前記所定解像度を満たす立体像が再現される奥行き再現範囲を算出する奥行き再現範囲算出手段と、
   前記立体像表示装置の観察者から見た前記奥行き再現範囲の手前側位置を基準として、前記立体像３次元モデルの最大奥行き値を、前記奥行き再現範囲の前記観察者から見た奥側位置の奥行き値に変換する最大圧縮率を算出する最大圧縮率算出手段と、
   前記奥行き再現範囲の手前側位置を基準として、当該手前側位置よりも奥側の奥行き値を、前記立体像３次元モデルの前後関係を保持しつつ、かつ、前記手前側位置から遠いほど圧縮率を大きくして、前記奥行き再現範囲内の奥行き値に変換する変換関数であって、奥行き方向の圧縮の度合いの異なる複数の前記変換関数の中から、前記最大圧縮率算出手段で算出された最大圧縮率が大きいほど、圧縮の度合いの大きい変換関数を選択する変換関数選択手段と、
   前記変換関数選択手段で選択された変換関数によって、前記立体像３次元モデルの奥行きを変換する奥行き変換手段と、
   前記奥行き変換手段で奥行きが変換された立体像３次元モデルから、前記要素レンズごとの要素画像を生成し、前記要素画像群を生成する要素画像生成手段と、
   を備えることを特徴とする立体像奥行き変換装置。
2. 前記変換関数は、前記奥行き再現範囲の前記手前側位置の奥行き値において、変換前の奥行き値と変換後の奥行き値とが一致するとともに、傾きが“１”となる接線を有し、前記変換前の奥行き値が大きくなるにつれて、前記変換後の奥行き値が、前記奥行き再現範囲の前記観察者から見た奥側位置の奥行き値に漸近する関数であることを特徴とする請求項１に記載の立体像奥行き変換装置。
3. 前記奥行き変換手段は、奥行きを変換するとともに、当該奥行きの前記圧縮率と同じ圧縮率で、当該奥行きに対応する前記立体像３次元モデルの水平方向および垂直方向の大きさを圧縮変換することを特徴とする請求項１または請求項２に記載の立体像奥行き変換装置。
4. コンピュータを、請求項１から請求項３のいずれか一項に記載の立体像奥行き変換装置として機能させるための立体像奥行き変換プログラム。

Images