JP6018468B2 - 奥行き範囲算出装置及びそのプログラム - Google Patents

Description

本願発明は、インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、被写体の立体像の視差範囲及び奥行き範囲を算出する奥行き範囲算出装置及びそのプログラムに関する。

従来から、任意の視点から自由に立体映像を視聴することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。

以下、図１１，図１２を参照して、ＩＰ方式に基づく通常の立体画像撮影及び立体画像表示について説明する。図１１に示すように、立体画像撮影装置９１０は、同一平面上に凸レンズを配列したレンズ群９１２と、撮像板９１３とを備える。また、図１１には、被写体９１１と、立体画像撮影装置９１０の撮影方向９１４と、レンズ群９１２によって結像される被写体９１１の要素画像９１５とを図示した。この被写体９１１は、撮影方向９１４から見た場合、円柱が角柱に対して手前になる。

この立体画像撮影装置９１０は、レンズ群９１２を通して被写体９１１を撮影する。すると、撮像板９１３には、レンズ群９１２を構成する凸レンズと同じ数だけ被写体９１１の要素画像９１５が撮影される。

図１２に示すように、立体画像表示装置９２０は、同一平面上に凸レンズを配列したレンズ群９２２と、表示素子９２３とを備える。また、図１２には、立体像９２１と、観察者９２６の観察方向９２４と、要素画像９２５と、観察者９２６とを図示した。この表示素子９２３は、立体画像撮影装置９１０の撮像板９１３により撮影された要素画像９１５に対応する要素画像９２５を表示する。

この結果、図１２に示すように、立体像９２１は、表示素子９２３からの距離が、図１１の被写体９１１と撮像板９１３との距離に等しくなるように生成される。このとき、被写体９１１に対応する立体像９２１は、観察方向９２４から見た場合、角柱が円柱の手前になる。つまり、ＩＰ方式に基づく通常の立体画像撮影では、図１１の被写体９１１と比較して、奥行きが反転した逆視像（立体像９２１）が生成される。

なお、図１１，図１２では、光学素子アレイは、微小な凸レンズが配列されたレンズ群９１２であることとして説明したが、微小なピンホールが配列された開口アレイ（空間フィルタ)であってもよい。
また、表示素子９２３は、撮影板１１３により撮影された要素画像９２５を表示することとして説明したが、計算機（不図示）で生成された像を表示してもよい。

そこで、前記した逆視像の間題を解決するための発明が提案されている（例えば、特許文献１）。この特許文献１に記載の発明は、図１１の立体画像撮影装置９１０で取得した情報に対して演算処理を行い、演算処理後の情報を図１２の立体画像表示装置９２０に入力し、最終的に正しい奥行きの立体像９２１を生成するものである。

以下、図１３，図１４を参照して、特許文献１に記載の画像奥行き変換装置９３０について説明する。図１３に示すように、画像奥行き変換装置９３０は、図１１の立体画像撮影装置９１０で撮影した要素画像９３１を入力し、この要素画像９３１が第１の仮想レンズアレイ９３２を通じて仮想的に形成された立体像９３３を、演算処理により求める。そして、画像奥行き変換装置９３０は、この立体像９３３が第２の仮想レンズアレイ９３４を通じて仮想的に形成された要素画像９３５を、演算処理により求める。

図１４に示すように、立体画像表示装置９４０は、図１２の立体画像表示装置９２０と同一構成であり、表示素子９４５を介して、図１３の画像奥行き変換装置９３０が生成した要素画像９４１(つまり、図１３の要素画像９３５)を表示する。この結果、要素画像９４１に対応する立体像９４３は、観察方向９４４から見た場合、円柱が角柱に対して手前になり、図１１の被写体９１１と対比して、奥行きが等価になる。

特開２００７−１１４４８３号公報

しかし、従来技術では、立体表示装置で実際に立体像を表示する前に、その立体像がどの範囲まで視差及び奥行きを有するか把握できないという問題がある。つまり、観察者が立体像を見たときの奥行き範囲及び視差範囲は、その立体像を実際に表示するまで把握できない。この奥行き範囲及び視差範囲を事前に把握できれば、立体映像の効果的な演出や編集が可能になるため、その実現が強く要望されている。

そこで、本願発明は、前記した問題を解決し、ＩＰ方式による被写体の立体像の奥行き範囲及び視差範囲を算出できる奥行き範囲算出装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願第１発明に係る奥行き範囲算出装置は、インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、被写体の立体像の視差範囲及び奥行き範囲を算出する奥行き範囲算出装置であって、距離平面画像生成手段と、距離平面画像記憶手段と、視差範囲算出手段と、奥行き範囲算出手段と、を備えることを特徴とする。

かかる構成によれば、奥行き範囲算出装置は、距離平面画像生成手段によって、立体画像撮影装置が撮影した映像信号である要素画像群を入力し、立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、要素画像群から焦点距離だけ離した位置に仮想配置して、要素画像群の各画素の画素値を、仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成する。

また、奥行き範囲算出装置は、距離平面画像記憶手段によって、距離に対応付けて、距離平面画像生成手段で生成された距離平面ごとの距離平面画像を記憶する。ここで、奥行き方向で積層された距離平面画像は、仮想要素光学系群から任意の距離にある複数の距離平面で構成された立体空間（三次元空間）において、被写体の立体像の三次元形状モデルを表す。

また、奥行き範囲算出装置は、視差範囲算出手段によって、仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で距離平面画像の全画素の画素値がゼロとなる位置を被写体の立体像の近点及び遠点としてそれぞれ算出し、近点と遠点との角度視差量の差分を視差範囲として算出する。

このように、距離平面画像及び観察者位置の両方が仮想要素光学系群を基準とするから、被写体の立体像の位置と観察者位置とは、同一座標系で記述できる。このため、視差範囲算出手段は、観察者と、被写体の立体像との位置関係を同一座標系で記述して、視差範囲を算出できる。

また、奥行き範囲算出装置は、奥行き範囲算出手段によって、観察者位置と近点との距離、及び、観察者位置と遠点との距離をそれぞれ算出し、２つの距離の差分を奥行き範囲として算出する。つまり、奥行き範囲算出手段は、視差範囲算出手段と同様、観察者と、被写体の立体像との位置関係を同一座標系で記述して、奥行き範囲を算出できる。

また、本願第２発明に係る奥行き範囲算出装置は、距離平面画像生成手段が、入力された要素画像群を、要素画像群を表示する立体画像表示装置の要素画像の大きさに分割する分割手段と、この分割手段で分割された要素画像ごとに、要素画像の各画素の画素値を、当該画素と当該要素画像に対応する仮想要素光学系の中心とを通る直線が、仮想要素光学系群からの距離が異なる予め設定された距離平面と交わる点の画素に割り当てる画素割当手段と、この画素割当手段で距離平面に画素値が割り当てられた要素画像ごとの画像を、要素画像の数だけ加算し平均化することで、要素画像群の距離平面に対応する距離平面画像を生成する結合手段と、を備えることを特徴とする。

かかる構成によれば、奥行き範囲算出装置は、光線追跡法により、要素画像の光線を、仮想要素光学系を介して、立体画像表示装置に備えられた表示素子を仮想した仮想表示素子から各距離平面まで到達させ、距離平面画像を正確に生成することができる。

また、本願第３発明に係る奥行き範囲算出装置は、立体画像撮影装置が撮影した要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する遅延手段をさらに備え、距離平面画像生成手段が、要素画像群及び遅延手段が遅延させた遅延要素画像群から、距離平面画像を生成し、距離平面画像記憶手段が、要素画像群及び遅延要素画像群から生成された距離平面画像をそれぞれ記憶し、視差範囲算出手段が、要素画像群及び遅延要素画像群の距離平面画像から、視差範囲をそれぞれ算出し、奥行き範囲算出手段が、要素画像群及び遅延要素画像群の距離平面画像から、奥行き範囲をそれぞれ算出し、視差範囲算出手段が算出した要素画像群と遅延要素画像群との視差範囲の変化量を視差変化量として算出する視差変化量算出手段と、奥行き範囲算出手段が算出した要素画像群と遅延要素画像群との奥行き範囲の変化量を奥行き変化量として算出する奥行き変化量算出手段と、をさらに備えることを特徴とする。

かかる構成によれば、奥行き範囲算出装置は、遅延時間内での視差範囲の変化量を示す視差変化量と、遅延時間内での奥行き範囲の変化量を示す奥行き変化量とを求めることができる。

また、本願第４発明に係る奥行き範囲算出装置は、視差範囲算出手段で算出された視差範囲が予め設定された視差範囲閾値を超えるか否かを判定し、視差範囲が視差範囲閾値を超えるときに警告する視差範囲警告手段と、奥行き範囲算出手段で算出された奥行き範囲が予め設定された奥行き範囲閾値を超えるか否かを判定し、奥行き範囲が奥行き範囲閾値を超えるときに警告する奥行き範囲警告手段と、をさらに備えることを特徴とする。
かかる構成によれば、奥行き範囲算出装置は、視差範囲や奥行き範囲が観察者の許容限度を超えるような場合に警告できる。

また、本願第５発明に係る奥行き範囲算出装置は、視差変化量算出手段で算出された視差変化量が予め設定された視差変化量閾値を超えるか否かを判定し、視差変化量が視差変化量閾値を超えるときに警告する視差変化量警告手段と、奥行き変化量算出手段で算出された奥行き変化量が予め設定された奥行き変化量閾値を超えるか否かを判定し、奥行き変化量が奥行き変化量閾値を超えるときに警告する奥行き変化量警告手段と、をさらに備えることを特徴とする。
かかる構成によれば、奥行き範囲算出装置は、視差範囲や奥行き範囲が観察者の許容限度を超えて変化するような場合に警告できる。

なお、本願第１発明に係る奥行き範囲算出装置は、一般的なコンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、距離平面画像生成手段、視差範囲算出手段、奥行き範囲算出手段、として機能させるための奥行き範囲算出プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本願発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、奥行き方向で積層された距離平面画像が被写体の立体像の三次元形状モデルを表すと共に、距離平面画像及び観察者位置の両方が仮想要素光学系群を基準とする。これによって、本願第１発明によれば、観察者と被写体の立体像との位置関係を同一座標系で記述できるので、距離平面画像生成手段に記憶された距離平面画像から、ＩＰ方式による被写体の立体像の奥行き範囲及び視差範囲を算出することができる。

本願第２発明によれば、各距離平面における距離平面画像を正確に生成するので、視差範囲及び奥行き範囲の精度を向上させることができる。
本願第３発明によれば、遅延時間内での視差変化量及び奥行き変化量を求められるので、立体映像の演出や編集をより効果的に行うことができる。

本願第４発明によれば、視差範囲や奥行き範囲が観察者の許容限度を超えるような場合に警告できるので、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。
本願第５発明によれば、視差範囲や奥行き範囲が観察者の許容限度を超えて変化するような場合に警告できるので、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。

本願発明の第１実施形態に係る奥行き情報生成装置の構成を示すブロック図である。 図２の距離平面画像生成手段において、要素画像からの光線及び要素画像の拡がる範囲を説明する図である。 図２の距離平面画像生成手段が算出した距離平面画像を説明する図である。 図１の距離平面画像生成手段の構成を示すブロック図である。 図１の体積画素分布記憶手段が記憶する体積画素分布を説明する図である。 図１の奥行き情報生成装置における視差範囲及び奥行き範囲の算出を説明する図である。 図１の奥行き情報生成装置の動作を示すフローチャートである。 本願発明の第２実施形態に係る奥行き情報生成装置の構成を示すブロック図である。 本願発明の第３実施形態に係る奥行き情報生成装置の構成を示すブロック図である。 本願発明の第４実施形態に係る奥行き情報生成装置の構成を示すブロック図である。 従来のＩＰ方式において、被写体の撮影を説明する図である。 従来のＩＰ方式において、立体像の表示を説明する図である。 従来のＩＰ方式において、奥行き反転の解消を説明する図である。 従来のＩＰ方式において、奥行き反転が解消した要素画像群の表示を説明する図である。

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［奥行き情報生成装置の構成］
図１を参照して、本願発明の第１実施形態に係る奥行き情報生成装置（奥行き範囲算出装置）１の構成について説明する。
奥行き情報生成装置１は、インテグラルフォトグラフィ方式を用いた立体画像撮影装置９１０が被写体を撮影した要素画像群から、被写体の立体像の視差範囲及び奥行き範囲を算出し、これら視差範囲及び奥行き範囲を奥行き情報として出力するものである。このため、奥行き情報生成装置１は、図１に示すように、距離平面画像生成手段１０と、体積画素分布記憶手段（距離平面画像記憶手段）２０と、視差範囲算出手段３０と、奥行き範囲算出手段４０とを備える。

また、奥行き情報生成装置１は、光学素子情報と、立体画像撮影装置９１０が撮影した要素画像群とが入力される。このとき、奥行き情報生成装置１は、立体画像撮影装置９１０が実際に撮影した要素画像群の代わりに、この要素画像群と等価な映像信号が計算機（不図示）で生成され、この映像信号が入力されてもよい。
この要素画像群は、立体画像表示装置（不図示）で表示した場合、奥行きが正しい立体像が生成されるものである。

前記した立体画像表示装置は、立体映像を表示するものであり、要素光学系が２次元平面上に配列された要素光学系群を備える。
要素光学系は、例えば、凸レンズ等の要素レンズからなる要素光学素子、又は、微小開口からなる要素ピンホール（空間フィルタ）である。この場合、要素光学系群は、要素光学素子が２次元平面上に配列された要素光学素子群、又は、要素ピンホールが２次元平面上に配列された要素ピンホール群となる。そして、要素光学系群は、要素画像群から、その焦点距離だけ離れた位置に配置される。

前記した光学素子情報は、立体画像表示装置が備える要素光学系（要素レンズ又は要素ピンホール）の特性および配置を示す情報である。
例えば、仮想要素光学系として要素レンズを仮想した場合、光学素子情報は、その要素レンズのピッチ（図２の符号ｐ_ｒ）と、焦点距離と、開口幅とが予め設定されている。
また、例えば、仮想要素光学系として要素ピンホールを仮想した場合、光学素子情報は、その要素ピンホールのピッチと、開口幅とが予め設定されている。

なお、奥行き情報生成装置１が実際に要素光学系を備える訳でなく、この立体画像表示装置に備えられた要素光学系（要素レンズ又は要素ピンホール）や要素光学系群（要素レンズ群又は要素ピンホール群）を仮想して演算する。このため、仮想要素光学系（仮想要素レンズ又は仮想要素ピンホール）、及び、仮想要素光学系群（仮想要素レンズ群又は仮想要素ピンホール群）と呼ばれる。以下、仮想要素光学系を仮想要素レンズとして説明する。

距離平面画像生成手段１０は、入力された要素画像群から、光線追跡法により、距離平面ごとの距離平面画像を算出するものである。
ここで、図２を参照して、距離平面画像生成手段１０が距離ごとに生成する距離平面画像について説明する。

図２に示すように、距離平面画像生成手段１０は、要素画像群Ｇの画像面に対して、立体画像表示装置における要素レンズ群と表示面までの距離ｄ_ｒと同じ距離だけ仮想的に離間して配置した仮想要素レンズ群２００を介して、光路追跡を行うことで、要素画像群Ｇの各画素の画素値を、任意の距離Ｌ_１，Ｌ_２，…，Ｌ_ｎごとに割り当てて、平面画像（距離平面画像）ｔ_１，ｔ_２，…，ｔ_ｎを生成する。

ここで、距離Ｌ_１，Ｌ_２，…，Ｌ_ｎは、予め定めた複数の距離であって、その数および間隔は任意に定めることができる。また、距離平面は、距離Ｌ_１，Ｌ_２，…，Ｌ_ｎが異なるように設定された仮想要素レンズ群２００に平行な平面である。なお、距離平面を多く設定すれば、それだけ歪み補正の効果を高めることができるが、演算量は増加する。そこで、距離平面の数および間隔は、要素画像群Ｇの画素数等に応じて定めることが好ましい。

距離平面画像生成手段１０は、図２に示すように、ある要素画像の画素ｇから、対応する仮想要素レンズ（仮想的な開口〔仮想ピンホール〕）２００_Ｌの中心を通る直線が任意の距離の平面と交わる座標上の画素に、画素ｇの画素値を割り当てる。すなわち、距離平面画像生成手段１０は、要素画像の画素ｇの画素値を、平面画像ｔ_１，…，ｔ_ｎとの交点の画素ｇ_１，…，ｇ_ｎの画素値とする。
これによって、図２に示すように、ある要素画像の画像領域ｋ_ｒの画素の画素値は、対応する仮想要素レンズ２００_Ｌを介して拡がり（ｗ_１，…，ｗ_ｎ）を持って距離平面に割り当てられる。例えば、要素画像の画像領域ｋ_ｒが距離Ｌ_１の距離平面において拡がる範囲ｗ_１は、以下の式（１）で表される。

また、仮想要素レンズ群２００から最も離れた距離Ｌ_ｎに到達する要素画像の画像領域ｋ_ｒの範囲ｗ_ｎについても、式（１）と同様に求めることができる。
すなわち、距離平面画像生成手段１０が生成する立体を構成する平面画像（体積画素分布）は、奥行き方向であるｚ方向においては、仮想要素レンズ群２００に最も近い距離Ｌ_１から、仮想要素レンズ群２００から最も遠い距離Ｌ_ｎの範囲に生成され、ｘｙ方向においては、仮想要素レンズ群２００から最も遠い距離Ｌ_ｎにおいて要素画像群の画素値が割り当てられる最大の拡がり範囲、すなわち、要素画像群の大きさよりも上下左右にそれぞれｗ_ｎ／２分だけ大きい範囲に生成される。

図３を参照して、距離平面画像ｔについて説明する。
図３では、ｘ軸を水平方向とし、ｙ軸を垂直方向とし、ｚ軸を奥行き方向とする。そして、円筒体及び三角錐体の２物体を被写体とし、これら円筒体及び三角錐体の底面をｚ軸に向けて撮影した場合を考える。この場合、距離平面画像ｔにおいて、画素値がゼロを超える画素分布範囲は、ｚ軸から見た円筒体の立体像α及び三角錐体の立体像βを表すことになる。
なお、図３では、距離平面画像ｔにおいて、画素値がゼロを超える画素分布範囲をドットで図示し、立体像αを細かいドットで図示し、立体像βを粗いドットで図示した。

さらに、図４を参照して、距離平面画像生成手段１０の構成について説明する。
図２で説明した複数の距離平面画像からなる体積画素分布を生成するため、距離平面画像生成手段１０は、分割手段１１と、要素画像変換手段１３と、結合手段１５と、を備える。
以下の説明では、要素画像群が−Ｍ番目からＭ番目までの要素画像で構成され、この要素画像と対応するように、要素画像変換手段１３（１３_−Ｍ，…，１３_０，…，１３_Ｍ）が備えられることとする。

分割手段１１は、入力された光学素子情報に基づいて、立体画像撮影装置９１０から入力された要素画像群を、要素画像の大きさに分割するものである。ここで、分割手段１１は、入力された要素画像群を、入力された光学素子情報に設定された位置情報（仮想要素レンズのピッチ）で分割する。そして、分割手段１１は、分配された要素画像群のｍ番目の要素画像を、ｍ番目の要素画像に予め対応付けられている要素画像変換手段１３に出力する（但し、−Ｍ≦ｍ≦Ｍ）。

なお、分割手段１１は、立体画像撮影装置と立体画像表示装置とで、要素画像の大きさ（サイズ、解像度）が異なる場合、立体画像表示装置の要素画像の大きさに合うように、ダウンコンバート、アップコンバート等の画像変換処理を行うことが好ましい。

要素画像変換手段１３は、光路追跡を行うことで、分割手段１１から入力された要素画像を、予め設定された距離における平面画像に変換するものであり、画素割当手段１３ａを備える。

画素割当手段１３ａは、要素画像の画素ごとに、当該画素から仮想要素レンズの中心を通る直線が、予め設定された距離平面と交わる座標に、当該画素の画素値を割り当てるものである。これによって、要素画像ごとの距離平面画像が生成される。その後、画素割当手段１３ａは、要素画像ごとの距離平面画像を、結合手段１５に出力する。

結合手段１５は、要素画像変換手段１３（画素割当手段１３ａ）で生成された要素画像ごとの距離平面画像を、距離平面において要素画像群の要素画像分だけ結合するものである。すなわち、結合手段１５は、予め設定された距離平面において、要素画像ごとに生成された距離平面画像の画素値を割り当てることで、要素画像群に対応した距離平面画像を生成する。
なお、結合手段１５は、距離平面画像の同一の座標に異なる要素画像の画素値が割り当てられている場合、同一の座標に割り当てられた画素値を加算し平均化することで、当該座標の画素値とする。
この結合手段１５は、要素画像群に対応して生成した距離平面画像を、距離に対応付けて体積画素分布記憶手段２０（図１参照）に書き込む。

以上のように、距離平面画像生成手段１０は、仮想要素レンズ群から任意の距離に設定した距離平面ごとの距離平面画像を算出し、距離平面ごとの距離平面画像を体積画素分布記憶手段２０に書き込む。そして、距離平面画像生成手段１０は、全ての距離平面について距離平面画像の書き込みが終了した後、奥行き情報生成命令（不図示）を視差範囲算出手段３０及び奥行き範囲算出手段４０に出力する。

図１に戻り、奥行き情報生成装置１の構成について説明を続ける。
体積画素分布記憶手段２０は、距離平面画像生成手段１０によって書き込まれた距離平面ごとの距離平面画像を、距離に対応付けて、立体空間上の体積画素分布として記憶するメモリ、ハードディスク等の記憶装置である。

図５を参照して、体積画素分布Ｖについて説明する。
この体積画素分布Ｖは、図５に示すように、距離平面画像ｔ_１，ｔ_２，…，ｔ_ｎを奥行き方向（ｚ軸）に積層したものである（但し、ｎは距離平面の数）。従って、体積画素分布Ｖは、仮想要素レンズ群から任意の距離にある複数の距離平面で構成された立体空間において、画素を分布させた状態に相当し、立体像α、βの三次元形状モデルを表すことになる。

図１に戻り、奥行き情報生成装置１の構成について説明を続ける。
視差範囲算出手段３０は、仮想要素レンズ群を基準に予め設定された観察者位置において、奥行き方向で距離平面画像の全画素の画素値がゼロとなる位置を被写体の立体像の近点及び遠点としてそれぞれ算出し、近点と遠点との角度視差量の差分を視差範囲として算出するものである。
奥行き範囲算出手段４０は、観察者位置と近点との距離、及び、観察者位置と遠点との距離をそれぞれ算出し、これら距離の差分を奥行き範囲として算出するものである。

＜視差範囲及び奥行き範囲の算出＞
図６を参照して、視差範囲算出手段３０による視差範囲と、奥行き範囲算出手段４０による奥行き範囲の算出とを説明する。
図６では、観察者位置ａは、仮想要素レンズ群に対する観察者の右目、左目の位置に予め設定されたこととする。

また、被写体の立体像と立体空間との境界は、ｚ軸方向で体積画素分布Ｖがゼロとなる境界位置、つまり、ｚ軸方向で距離平面画像の全画素の画素値がゼロとなる位置である。そして、この被写体の立体像と立体空間との境界がそれぞれ、立体像の近点ｎ及び立体像の遠点ｆとなる。具体的には、立体像の近点ｎは、体積画素分布Ｖがゼロとなる境界位置のうち、手前側（観察者位置ａに近い側）の境界位置である。一方、立体像の遠点ｆは、体積画素分布Ｖがゼロとなる境界位置のうち、奥側（観察者位置ａから遠い側）の境界位置である。なお、予め設定した奥行き方向の範囲の中で、体積画素分布Ｖがゼロとなる位置が複数存在した場合、その中で最も奥側を遠点とし、最も手前側を近点とする。

ここで、体積画素分布Ｖ及び観察者位置ａの両方が仮想要素レンズ群を基準とするから、立体像α、βの位置と観察者位置ａとは、同一座標系で記述できる。このため、例えば、立体像βの像点ｄと観察者位置ａとの距離Ｄ_ｄが求められる。この距離Ｄ_ｄは、像点ｄの奥行きである。そして、像点ｄの視差は、距離Ｄ_ｄと、予め設定された左右両目の間隔とから、三角測量の原理により求めることができる。従って、像点ｄと同様、立体像の近点ｎ，遠点ｆの距離Ｄ_ｎ，距離Ｄ_ｆを求めれば、立体像の近点ｎ，遠点ｆにおける視差範囲及び奥行き範囲を算出することができる。

まず、視差範囲算出手段３０は、被写体の立体像と立体空間との境界により、立体像の近点ｎと、立体像の遠点ｆとを算出する。また、視差範囲算出手段３０は、距離平面画像生成手段１０から奥行き情報生成命令が入力されると、体積画素分布記憶手段２０に記憶された体積画素分布Ｖを読み出す。また、視差範囲算出手段３０は、観察者位置aと立体像の近点ｎとの距離Ｄ_ｎを算出し、観察者位置aと立体像の遠点ｆとの距離Ｄ_ｆを算出する。そして、視差範囲算出手段３０は、立体像の近点ｎでの角度視差量θ_ｎと、立体像の遠点ｆでの角度視差量θ_ｆとを算出する。さらに、視差範囲算出手段３０は、これら角度視差量θ_ｎ，θ_ｆの差分（θ_ｎ−θ_ｆ）を視差範囲として算出し、奥行き範囲算出手段４０に出力する。

次に、奥行き範囲算出手段４０は、被写体の立体像と立体空間との境界により、立体像の近点ｎと、立体像の遠点ｆとを算出する。また、奥行き範囲算出手段４０は、距離平面画像生成手段１０から奥行き情報生成命令が入力されると、体積画素分布記憶手段２０に記憶された体積画素分布Ｖを読み出す。また、奥行き範囲算出手段４０は、観察者位置aと立体像の近点ｎとの距離Ｄ_ｎを算出し、観察者位置aと立体像の遠点ｆとの距離Ｄ_ｆを算出する。そして、奥行き範囲算出手段４０は、距離Ｄ_ｆ，Ｄ_ｎの差分（Ｄ_ｆ−Ｄ_ｎ）を奥行き範囲として算出する。その後、奥行き範囲算出手段４０は、算出した奥行き範囲と、視差範囲算出手段３０から入力された視差範囲とを、奥行き情報として出力する。
なお、観察者位置は、体積画素分布（立体空間）の内外に関わらず、任意の位置に設定できる。

［奥行き情報生成装置の動作］
図７を参照して、図１の奥行き情報生成装置１の動作について説明する（適宜図１参照）。
奥行き情報生成装置１は、距離平面画像生成手段１０によって、入力された要素画像群から、仮想要素レンズ群を介して、光線追跡法により、距離平面ごとの画素分布である距離平面画像を算出する（ステップＳ１）。

奥行き情報生成装置１は、距離平面画像生成手段１０によって、距離平面ごとの距離平面画像を、立体空間上の体積画素分布として、体積画素分布記憶手段２０に書き込む（ステップＳ２）。
奥行き情報生成装置１は、視差範囲算出手段３０によって、観察者位置において、被写体の立体像の近点と遠点との角度視差量の差分を視差範囲として算出する（ステップＳ３）。
奥行き情報生成装置１は、奥行き範囲算出手段４０によって、観察者位置と被写体の立体像の近点との距離、及び、観察者位置と被写体の立体像の遠点との距離をそれぞれ算出し、これら距離の差分を奥行き範囲として算出する（ステップＳ４）。

以上のように、本願発明の第１実施形態に係る奥行き情報生成装置１は、波動光学演算により、各距離平面における距離平面画像を正確に生成し、この距離平面画像を奥行き方向に積層した体積画素分布を記憶する。そして、奥行き情報生成装置１は、記憶された体積画素分布から、観察者が被写体の立体像を見た場合の視差範囲及び奥行き範囲を、実際に立体表示装置で立体像を表示する前に、高い精度で算出することができる。

（第２実施形態）
図８を参照して、本願発明の第２実施形態に係る奥行き情報生成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
この奥行き情報生成装置１Ｂは、算出した視差範囲及び奥行き範囲が所定の閾値を超えた場合に警告する点が、第１実施形態と異なる。

このため、図８に示すように、奥行き情報生成装置１Ｂは、距離平面画像生成手段１０と、体積画素分布記憶手段２０と、視差範囲算出手段３０と、奥行き範囲算出手段４０と、視差範囲警告手段５０と、奥行き範囲警告手段６０とを備える。

この距離平面画像生成手段１０及び体積画素分布記憶手段２０は、図１の各手段と同様のため、説明を省略する。
また、視差範囲算出手段３０が視差範囲を視差範囲警告手段５０に出力し、奥行き範囲算出手段４０が奥行き範囲を奥行き範囲警告手段６０に出力する以外、図１の各手段と同様のため、説明を省略する。

視差範囲警告手段５０は、視差範囲算出手段３０から入力された視差範囲が視差範囲閾値を超えるか否かを判定し、視差範囲が視差範囲閾値を超えるときに警告するものである。ここで、視差範囲警告手段５０は、警告方法が特に制限されず、視差範囲の警告メッセージを映像信号に付加してもよい。また、視差範囲警告手段５０は、この警告メッセージを予め設定されたメールアドレスに送信してもよく、所定の警告音を鳴らしてもよい。
この視差範囲閾値は、例えば、視差範囲が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

奥行き範囲警告手段６０は、奥行き範囲算出手段４０から入力された奥行き範囲が奥行き範囲閾値を超えるか否かを判定し、奥行き範囲が奥行き範囲閾値を超えるときに警告するものである。ここで、視差範囲警告手段５０は、視差範囲警告手段５０と同様の警告方法で警告する。
この奥行き範囲閾値は、例えば、奥行き範囲が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

以上のように、本願発明の第２実施形態に係る奥行き情報生成装置１Ｂは、第１実施形態と同様の効果に加え、視差範囲や奥行き範囲が観察者の許容限度を超えるような場合に警告できるため、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。

（第３実施形態）
図９を参照して、本願発明の第３実施形態に係る奥行き情報生成装置１Ｃの構成について、第１実施形態と異なる点を説明する。
この奥行き情報生成装置１Ｃは、入力された要素画像群を遅延時間だけ遅延させて、この遅延時間内での視差範囲の変化量を示す視差変化量と、遅延時間内での奥行き範囲の変化量を示す奥行き変化量とを求める点が、第１実施形態と異なる。

このため、図９に示すように、奥行き情報生成装置１Ｃは、距離平面画像生成手段１０_１，１０_２と、体積画素分布記憶手段２０_１，２０_２と、視差範囲算出手段３０_１，３０_２と、奥行き範囲算出手段４０_１，４０_２と、遅延手段７０と、奥行き情報記憶手段８０_１，８０_２と、視差変化量算出手段９０と、奥行き変化量算出手段１００とを備える。

以下の説明では、立体画像撮影装置９１０から要素画像群が入力された時刻をＴ_１とし、後記する遅延手段７０での遅延処理後の時刻をＴ_２とする。従って、遅延時間が（Ｔ_２−Ｔ_１）となり、遅延時間（Ｔ_２−Ｔ_１）だけ遅延させた要素画像群を遅延要素画像群と呼ぶ。

この距離平面画像生成手段１０_１、体積画素分布記憶手段２０_１、視差範囲算出手段３０_１及び奥行き範囲算出手段４０_１は、時刻Ｔ_１の要素画像群を扱う以外、図１の各手段と同様のため、説明を省略する。
また、距離平面画像生成手段１０_２、体積画素分布記憶手段２０_２、視差範囲算出手段３０_２及び奥行き範囲算出手段４０_２は、時刻Ｔ_２の遅延要素画像群を扱う以外、図１の各手段と同様のため、説明を省略する。

遅延手段７０は、立体画像撮影装置９１０から入力された要素画像群を遅延時間（Ｔ_２−Ｔ_１）だけ遅延させて、遅延要素画像群を距離平面画像生成手段１０_２に出力するものである。この遅延手段７０は、例えば、要素画像群を記憶するフレームメモリ（不図示）と、このフレームメモリを制御する制御手段（不図示）とで構成される。
この遅延時間（Ｔ_２−Ｔ_１）は、例えば、微少時間を示すような、任意の値で予め設定される。

奥行き情報記憶手段８０_１は、奥行き範囲算出手段４０_１から入力された時刻Ｔ_１の奥行き情報（視差範囲及び奥行き範囲）を記憶するメモリ、ハードディスク等の記憶装置である。
奥行き情報記憶手段８０_２は、奥行き範囲算出手段４０_２から入力された時刻Ｔ_２の奥行き情報（視差範囲及び奥行き範囲）を記憶するメモリ、ハードディスク等の記憶装置である。

視差変化量算出手段９０は、奥行き情報記憶手段８０_１に記憶された時刻Ｔ_１の視差範囲θ_１と、奥行き情報記憶手段８０_２に記憶された時刻Ｔ_２の視差範囲θ_２とを読み出して、視差範囲θ_１，θ_２の変化量を視差変化量θ_ｄｉｆとして算出するものである。つまり、視差変化量算出手段９０は、以下の式（２）に示すように、視差範囲θ_１，θ_２の差分（θ_２−θ_１）を遅延時間（Ｔ_２−Ｔ_１）で除算することで、視差変化量θ_ｄｉｆを算出する。その後、視差変化量算出手段９０は、この視差変化量θ_ｄｉｆを出力する。
θ_ｄｉｆ＝（θ_２−θ_１）／（Ｔ_２−Ｔ_１） …式（２）

奥行き変化量算出手段１００は、奥行き情報記憶手段８０_１に記憶された時刻Ｔ_１の奥行き範囲Ｄ_１と、奥行き情報記憶手段８０_２に記憶された時刻Ｔ_２の奥行き範囲Ｄ_２とを読み出して、奥行き範囲Ｄ_１，Ｄ_２の変化量を奥行き変化量Ｄ_ｄｉｆとして算出するものである。つまり、奥行き変化量算出手段１００は、以下の式（３）に示すように、奥行き範囲（Ｄ_２−Ｄ_１）の差分を遅延時間（Ｔ_２−Ｔ_１）で除算することで、奥行き変化量Ｄ_ｄｉｆを算出する。その後、奥行き変化量算出手段１００は、この奥行き変化量Ｄ_ｄｉｆを出力する。
Ｄ_ｄｉｆ＝（Ｄ_２−Ｄ_１）／（Ｔ_２−Ｔ_１） …式（３）

以上のように、本願発明の第３実施形態に係る奥行き情報生成装置１Ｃは、第１実施形態と同様の効果に加え、遅延時間内での視差変化量及び奥行き変化量を求められるので、立体映像の演出や編集をより効果的に行うことができる。

（第４実施形態）
図１０を参照して、本願発明の第４実施形態に係る奥行き情報生成装置１Ｄの構成について、第３実施形態と異なる点を説明する。
この奥行き情報生成装置１Ｄは、算出した視差変化量及び奥行き変化量が所定の閾値を超えた場合に警告する点が、第３実施形態と異なる。

このため、図１０に示すように、奥行き情報生成装置１Ｄは、距離平面画像生成手段１０_１，１０_２と、体積画素分布記憶手段２０_１，２０_２と、視差範囲算出手段３０_１，３０_２と、奥行き範囲算出手段４０_１，４０_２と、遅延手段７０と、奥行き情報記憶手段８０_１，８０_２と、視差変化量算出手段９０と、奥行き変化量算出手段１００と、視差変化量警告手段１１０と、奥行き変化量警告手段１２０とを備える。

この距離平面画像生成手段１０_１，１０_２、体積画素分布記憶手段２０_１，２０_２、視差範囲算出手段３０_１，３０_２、奥行き範囲算出手段４０_１，４０_２、遅延手段７０、奥行き情報記憶手段８０_１，８０_２は、図９の各手段と同様のため、説明を省略する。
視差変化量算出手段９０が視差変化量を視差変化量警告手段１１０に出力し、奥行き変化量算出手段１００が奥行き変化量を奥行き変化量警告手段１２０に出力する以外、図９の各手段と同様のため、説明を省略する。

視差変化量警告手段１１０は、視差変化量算出手段９０から入力された視差変化量が視差変化量閾値を超えるか否かを判定し、視差変化量が視差変化量閾値を超えるときに警告するものである。ここで、視差変化量警告手段１１０は、図８の視差範囲警告手段５０と同様の警告方法で警告する。
この視差変化量閾値は、例えば、視差変化量が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

奥行き変化量警告手段１２０は、奥行き変化量算出手段１００から入力された奥行き変化量が奥行き変化量閾値を超えるか否かを判定し、奥行き変化量が奥行き変化量閾値を超えるときに警告するものである。ここで、奥行き変化量警告手段１２０は、図８の視差範囲警告手段５０と同様の警告方法で警告する。
この奥行き変化量閾値は、例えば、奥行き変化量が観察者の許容限度を超えたことを示すような、任意の値で予め設定される。

以上のように、本願発明の第４実施形態に係る奥行き情報生成装置１Ｄは、第３実施形態と同様の効果に加え、視差範囲や奥行き範囲が観察者の許容限度を超えて変化するような場合に警告できるので、観察者にとって見づらい立体映像が表示される事態を低減させて、立体映像の品質を向上させることができる。

なお、各実施形態では、体積画素分布を用いて、視差範囲、奥行き範囲、視差変化量及び奥行き変化量を算出することとしたが、本願発明は、これに限定されない。例えば、本願発明は、体積画素分布から、視差の分布、特定の被写体に対する立体映像の奥行きの時間変化、複数の時刻における視差変化量や奥行き変化量を算出してもよい。

１，１Ｂ，１Ｃ，１Ｄ 奥行き情報生成装置（奥行き範囲算出装置）
１０，１０_１，１０_２ 距離平面画像生成手段
１１ 分割手段
１３ 要素画像変換手段
１３ａ 画素割当手段
１５ 結合手段
２０，２０_１，２０_２ 体積画素分布記憶手段（距離平面画像記憶手段）
３０，３０_１，３０_２ 視差範囲算出手段
４０，４０_１，４０_２ 奥行き範囲算出手段
５０ 視差範囲警告手段
６０ 奥行き範囲警告手段
７０ 遅延手段
８０_１，８０_２ 奥行き情報記憶手段
９０ 視差変化量算出手段
１００ 奥行き変化量算出手段
１１０ 視差変化量警告手段
１２０ 奥行き変化量警告手段

Claims (6)

1. インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、前記被写体の立体像の視差範囲及び奥行き範囲を算出する奥行き範囲算出装置であって、
   前記立体画像撮影装置が撮影した映像信号である要素画像群を入力し、前記要素画像群を表示する立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、前記要素画像群から前記焦点距離だけ離した位置に仮想配置して、当該要素画像群の各画素の画素値を、前記仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成する距離平面画像生成手段と、
   前記距離に対応付けて、前記距離平面画像生成手段で生成された距離平面ごとの距離平面画像を記憶する距離平面画像記憶手段と、
   前記仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で前記距離平面画像の全画素の画素値がゼロとなる位置を前記被写体の立体像の近点及び遠点としてそれぞれ算出し、当該近点と当該遠点との角度視差量の差分を前記視差範囲として算出する視差範囲算出手段と、
   前記観察者位置と前記近点との距離、及び、前記観察者位置と前記遠点との距離をそれぞれ算出し、２つの当該距離の差分を前記奥行き範囲として算出する奥行き範囲算出手段と、
   を備えることを特徴とする奥行き範囲算出装置。
2. 前記距離平面画像生成手段は、
   前記入力された要素画像群を、前記立体画像表示装置の要素画像の大きさに分割する分割手段と、
   この分割手段で分割された要素画像ごとに、当該要素画像の各画素の画素値を、当該画素と当該要素画像に対応する前記仮想要素光学系の中心とを通る直線が、前記仮想要素光学系群からの距離が異なる予め設定された距離平面と交わる点の画素に割り当てる画素割当手段と、
   この画素割当手段で前記距離平面に画素値が割り当てられた要素画像ごとの画像を、要素画像の数だけ加算し平均化することで、前記要素画像群の距離平面に対応する距離平面画像を生成する結合手段と、
   を備えることを特徴とする請求項１に記載の奥行き範囲算出装置。
3. 前記立体画像撮影装置が撮影した要素画像群を予め設定された遅延時間だけ遅延させて、遅延要素画像群を出力する遅延手段をさらに備え、
   前記距離平面画像生成手段は、前記要素画像群及び前記遅延手段が遅延させた遅延要素画像群から、前記距離平面画像を生成し、
   前記距離平面画像記憶手段は、前記要素画像群及び前記遅延要素画像群から生成された前記距離平面画像をそれぞれ記憶し、
   前記視差範囲算出手段は、前記要素画像群及び前記遅延要素画像群の前記距離平面画像から、前記視差範囲をそれぞれ算出し、
   前記奥行き範囲算出手段は、前記要素画像群及び前記遅延要素画像群の前記距離平面画像から、前記奥行き範囲をそれぞれ算出し、
   前記視差範囲算出手段が算出した要素画像群と遅延要素画像群との視差範囲の変化量を視差変化量として算出する視差変化量算出手段と、
   前記奥行き範囲算出手段が算出した要素画像群と遅延要素画像群との奥行き範囲の変化量を奥行き変化量として算出する奥行き変化量算出手段と、
   をさらに備えることを特徴とする請求項１又は請求項２に記載の奥行き範囲算出装置。
4. 前記視差範囲算出手段で算出された視差範囲が予め設定された視差範囲閾値を超えるか否かを判定し、前記視差範囲が前記視差範囲閾値を超えるときに警告する視差範囲警告手段と、
   前記奥行き範囲算出手段で算出された奥行き範囲が予め設定された奥行き範囲閾値を超えるか否かを判定し、前記奥行き範囲が前記奥行き範囲閾値を超えるときに警告する奥行き範囲警告手段と、
   をさらに備えることを特徴とする請求項１又は請求項２に記載の奥行き範囲算出装置。
5. 前記視差変化量算出手段で算出された視差変化量が予め設定された視差変化量閾値を超えるか否かを判定し、前記視差変化量が前記視差変化量閾値を超えるときに警告する視差変化量警告手段と、
   前記奥行き変化量算出手段で算出された奥行き変化量が予め設定された奥行き変化量閾値を超えるか否かを判定し、前記奥行き変化量が前記奥行き変化量閾値を超えるときに警告する奥行き変化量警告手段と、
   をさらに備えることを特徴とする請求項３に記載の奥行き範囲算出装置。
6. インテグラルフォトグラフィ方式を用いた立体画像撮影装置が被写体を撮影した要素画像群から、前記被写体の立体像の視差範囲及び奥行き範囲を算出するために、距離平面画像記憶手段を備えるコンピュータを、
   前記立体画像撮影装置が撮影した映像信号である要素画像群を入力し、前記要素画像群を表示する立体画像表示装置の要素光学系のピッチおよび焦点距離が同じ仮想要素光学系を２次元状に配列した仮想要素光学系群を、前記要素画像群から前記焦点距離だけ離した位置に仮想配置して、当該要素画像群の各画素の画素値を、前記仮想要素光学系群からの距離が異なる予め設定された複数の距離平面において、当該仮想要素光学系群を介した光路上の画素に割り当てることで、複数の距離平面画像を生成し、生成した当該距離平面画像を、前記距離に対応付けて、前記距離平面画像記憶手段に書き込む距離平面画像生成手段、
   前記仮想要素光学系群を基準に予め設定された観察者位置において、奥行き方向で前記距離平面画像の全画素の画素値がゼロとなる位置を前記被写体の立体像の近点及び遠点としてそれぞれ算出し、当該近点と当該遠点との角度視差量の差分を前記視差範囲として算出する視差範囲算出手段、
   前記観察者位置と前記近点との距離、及び、前記観察者位置と前記遠点との距離をそれぞれ算出し、２つの当該距離の差分を前記奥行き範囲として算出する奥行き範囲算出手段、
   として機能させるための奥行き範囲算出プログラム。

Images