JP5963422B2 - 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム - Google Patents

Description

本発明は、被写体を異なる視点から撮像することにより、互いに視差を有する視差画像を撮像する撮像装置、視差画像を用いて立体像を表示する表示装置、コンピュータプログラムおよび立体像表示システムに関する。

従来、左右の視差画像を時分割表示し、その時分割のタイミングに同期して観察者の左右の眼に左右の視差画像からの光を導くことで立体像の観察を可能とした立体像表示システムが提案されている。また、左右の視差画像を互いに直交する偏光方向の２つの偏光光を用いて同時に表示し、これら偏光光を互いに直交する方向の偏光軸を持つ左右の偏光フィルタを通して左右の眼に導くことで立体像の観察を可能とした立体像表示システムも提案されている。

上記立体像表示システムにおいては、その表示原理と人間の視覚特性とにより、観察者が左右の視差画像から１つの立体像を観察できず、左右の視差画像を二重像として認識してしまうことになる限界の条件、すなわち融合限界が存在する。そして、このような融合限界を超えた二重像の表示により、観察者に強い違和感や疲労感、不快感を与えてしまう。

また、従来、被写体を左右異なる視点から撮像して、互いに視差を有する左右の視差画像を撮像可能な撮像装置が提案されている。具体的には、融合限界を超えないように、視差画像を表示する表示画面のサイズや観察者と表示画面間の距離である観察距離（視距離）を想定し、左右の視点間の基線長や両視点からの輻輳角を被写体距離に応じて制御する。

さらに、特許文献１には、表示装置と一体となった立体撮像装置が開示されている。この立体撮像装置では、撮像装置側で得られる視差画像から視差量を算出し、視差量と視差画像を表示する表示装置の表示条件とに基づいて、立体像を再生する際の奥行き位置を算出する。そして、この奥行き位置に応じて、観察者の融合限界を超えないように撮像装置の基線長や輻輳角を調整する。

特開平０７−１６７６３３号公報

しかしながら、融合限界は表示装置の表示画面サイズと視距離とによって大きく変動する。このため、特許文献１のように、表示条件を想定して基線長や輻輳角を制御しても、想定した表示条件と大きく異なる表示画面サイズや視距離の場合、融合限界を超えてしまう。

また、表示装置が一体化されているために融合限界を超えないように基線長や輻輳角を調整することが容易であるが、この立体撮像装置により生成された視差画像を、外部（別体）の表示装置に表示する場合には、融合限界を超えないように制御することは難しい。

本発明は、様々な表示条件に対して融合限界を超えない視差画像（つまりは立体像）を撮像したり表示したりすることが可能な撮像装置、表示装置、コンピュータプログラムおよび立体像表示システムを提供する。

本発明の一側面としての立体像表示システムは、互いに視差を有する視差画像を撮像可能な撮像装置および該視差画像に基づく立体像を表示可能な表示装置を有する立体像表示システムであって、前記撮像装置は、前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、前記複数箇所の対応点のそれぞれの間の画素ずれ量を取得し、該画素ずれ量のうち最大画素ずれ量および最小画素ずれ量の情報を得る画素ずれ量取得部と、前記視差画像と前記最大画素ずれ量および前記最小画素ずれ量の情報とを出力する出力部とを有し、前記表示装置は、前記視差画像と、前記最大画素ずれ量および前記最小画素ずれ量の情報とを取得する情報取得部と、前記最大画素ずれ量および前記最小画素ずれ量の情報と表示条件とを用いて、前記最大画素ずれ量に対応する最大相対視差量および前記最小画素ずれ量に対応する最小相対視差量を算出する相対視差量算出部と、前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする。

本発明の他の一側面としての立体像表示システムは、互いに視差を有する視差画像を撮像可能な撮像装置および該視差画像に基づく立体像を表示可能な表示装置を有する立体像表示システムであって、前記撮像装置は、前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、前記複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比を算出し、該画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報を得る画素ずれ比算出部と、前記視差画像と前記最大画素ずれ比および前記最小画素ずれ比の情報とを出力する出力部とを有し、前記表示装置は、前記視差画像と、前記最大画素ずれ比および前記最小画素ずれ比の情報とを取得する情報取得部と、前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件とを用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出部と、前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする。

本発明の他の一側面としての表示装置は、互いに視差を有する視差画像と、該視差画像の最大画素ずれ量および最小画素ずれ量の情報とを取得する情報取得部と、前記最大画素ずれ量および前記最小画素ずれ量の情報と表示条件を用いて、前記最大画素ずれ量に対応する最大相対視差量および前記最小画素ずれ量に対応する最小相対視差量を算出する相対視差量算出部と、前記最大相対視差量および前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする。
本発明の他の一側面としての撮像装置は、前記表示装置に対して、前記視差画像と、前記最大画素ずれ量および前記最小画素ずれ量の情報とを取得させる撮像装置であって、前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、前記複数箇所の対応点のそれぞれの間の画素ずれ量を取得し、該画素ずれ量のうち前記最大画素ずれ量および前記最小画素ずれ量の情報を得る画素ずれ量取得部と、前記視差画像に前記最大画素ずれ量および前記最小画素ずれ量の情報を記録する記録部とを有することを特徴とする。

本発明の他の一側面としてのコンピュータプログラムは、コンピュータに、互いに視差を有する視差画像と、該視差画像における複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報とを取得する情報取得ステップと、前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件を用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出ステップと、前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定する第１の融合限界判定ステップと、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合に、前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する第２の融合限界判定ステップと、前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理ステップを含む処理を実行させることを特徴とする。

本発明の他の一側面としての表示装置は、互いに視差を有する視差画像と、該視差画像における複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報を取得する情報取得部と、前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件を用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出部と、前記最大相対視差量および前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする。
本発明の他の一側面としての撮像装置は、前記表示装置に対して、前記視差画像と、前記最大画素ずれ比および前記最小画素ずれ比の情報とを取得させる撮像装置であって、前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、前記複数箇所の対応点のそれぞれの間の前記画素ずれ比を算出し、該画素ずれ比のうち前記最大画素ずれ比および前記最小画素ずれ比の情報を得る画素ずれ比算出部と、前記視差画像に前記最大画素ずれ比および前記最小画素ずれ比の情報を記録する記録部とを有することを特徴とする。

本発明の他の一側面としてのコンピュータプログラムは、コンピュータに、互いに視差を有する視差画像と、該視差画像における複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報とを取得する情報取得ステップと、前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件を用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出ステップと、前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定する第１の融合限界判定ステップと、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合に、前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する第２の融合限界判定ステップと、前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理ステップを含む処理を実行させることを特徴とする。

本発明によれば、表示画面サイズや視距離等の表示条件にかかわらず、融合限界を超えないように立体像を表示することを可能な撮像装置、表示装置、コンピュータプログラムおよび立体像表示システムを実現することができる。

本発明の実施例である立体像表示システムの構成を示すブロック図。 実施例の立体像表示システムで行われる処理を示すフローチャート。 実施例１の立体像表示システムに含まれる撮像装置の構成を示すブロック図。 実施例１の立体像表示システムで行われる処理を示すフローチャート。 実施例１の立体像表示システムで行われる対応点抽出処理の説明図。 実施例１の立体像表示システムで生成される画像データファイルの構成例を示す図。 本発明の実施例２である立体像表示システムに含まれる撮像装置の構成を示すブロック図。 実施例２の立体像表示システムで行われる処理を示すフローチャート。 実施例２の立体像表示システムで生成される画像データファイルの構成例を示す図。 本発明の実施例３である立体像表示システムの構成を示すブロック図。 本発明の実施例３の立体像表示システムで行われる処理を示すフローチャート。 立体撮像モデルを説明する図。 立体表示モデルを説明する図 立体表示モデルのオフセット制御の説明図。

以下、本発明の実施例について図面を参照しながら説明する。

まず具体的な実施例の説明の前に、立体撮像系、表示系および融合限界について説明する。図１２には、立体撮像方式のモデルを示している。図１２では、それぞれカメラにより構成される左右の視点の間の中央を原点として、水平方向にｘ軸をとり、奥行き方向にｙ軸をとる。高さ方向は、簡略化のために省略する。また、輻輳角を制御する（つまりカメラの撮影光軸を傾ける）手法も従来提案されているが、ここでは説明の簡略化のために、左右のカメラの撮影光軸を平行に配置する平行撮影法の原理について説明する。輻輳角を制御する手法に対しても、輻輳点までの距離を考慮することで、同様の幾何学的理論は成り立つ。

左右のカメラの撮影光学系の主点の座標をそれぞれ、（−Ｗｃ，０）と（Ｗｃ，０）とする。また、左右のカメラの撮影光学系の焦点距離をｆとする。ｙ軸上の座標（０，ｙ１）に位置する被写体Ａを左右のカメラで撮像する場合において、左右のカメラに設けられた撮像素子の中心から被写体像のずれ量（撮影視差）をそれぞれＰｌｃ，Ｐｒｃとすると、これらは以下の式（１），（２）により表すことができる。

以上の原理により、同一の被写体を左右の異なる視点から撮像することで、水平方向に上記式（１），（２）で表されるずれ量（画素ずれ量）を有する左右の視差画像を生成することができる。

次に、表示系のモデルを用いて、奥行きの知覚と融合限界について説明する。図１３には、立体表示方式のモデルを示している。観察者の左右の眼の間の中央を原点として、水平方向にｘ軸をとり、奥行き方向にｙ軸をとる。高さ方向は簡略化のために省略する。観察者から表示画面１００までの距離である視距離をｄｓとし、左右の眼がそれぞれ座標（−Ｗｅ，０）と（Ｗｅ，０）に位置するものとする。また、表示画面１００に表示される右の視差画像における被写体（被写体像）Ａの位置Ｉｒの座標を（Ｐｒ，ｄｓ）とし、左の視差画像における被写体Ａの位置Ｉｌの座標を（Ｐｌ，ｄｓ）とする。

このとき、観察者は、右眼（Ｗｅ，０）と右の視差画像上での被写体位置Ｉｒ（Ｐｒ，ｄｓ）とを結ぶ線分と、左眼（−Ｗｅ，０）と左の視差画像上での被写体位置Ｉｌ（Ｐｌ，ｄｓ）とを結ぶ線分との交点（０，ｙ２）に被写体Ａが存在すると認識する。そして、奥行き方向における表示画面１００と交点（０，ｙ２）との差である（ｙ２−ｄｓ）が、観察者が被写体Ａを表示画面１００から奥行き方向に飛び出したように立体的に認識する距離となる。ここで、ｙ２は、

と表すことができる。

また、この奥行き方向の距離（ｙ２−ｄｓ）を角度で言い換えれば、被写体Ａ（０，ｙ２）と表示画面１００（０，ｄｓ）との相対視差（α−β）で表され、この大きさが表示画面１００と被写体Ａとの相対的な奥行き方向の距離に対応する。従来の様々な研究から、人間は脳内でこの角度の差分を計算し、奥行き方向の位置を知覚していることが知られている。ここで、相対視差の絶対値｜α―β｜は、上記各座標を用いて、

と表すことができる。これにより、相対視差が、視距離ｄｓと立体像の位置ｙ２とに依存する量であることがわかる。

さらに式（３）から、ｙ２は左右の視差画像の表示位置Ｐｌ，Ｐｒの差である視差量と視距離ｄｓに依存する量であるので、相対視差（つまりは観察者が認識する奥行き距離）は、視差量（ＰｌとＰｒの差）と視距離ｄｓとに依存した量であることが分かる。

次に、融合限界について説明する。上述した立体表示方式では、実際の視差画像は表示画面１００上に表示されるが、観察者は被写体Ａがｙ２の位置に存在すると認識する。すなわち、実際の表示画像と観察者が認識する立体像に対して、観察者の眼のピント位置が異なっている状態である。言い換えると、観察者の眼の輻輳（寄り眼状に交点Ａに両眼を向ける状態）とピント調節（表示画面１００上に眼のピントを合わせる状態）とにずれが生じている。このずれが大きくなると、観察者は左右の視差画像から１つの立体像を認識できなくなり、左右の視差画像を二重像として認識してしまう。また、二重像として認識しなくても、不快感や疲労感が増す。

例えば、図１３に示す表示画面１００の中心を観察者が注視している場合、快適に立体像を認識できる相対視差（絶対値）はおよそ１度であり、融合限界はおよそ２度である。つまり、相対視差（絶対値）が２度を超えると、左右の視差画像は二重像として認識される。

次に、本発明が適用される代表的な立体表示システムについて説明する。まず通常の２次元画像について考えてみると、撮像装置における撮像画素数と表示装置における表示画素数とが異なるという状況が非常に多い。特に、静止画については、１０００万画素以上の撮像素子を備えた撮像装置が主流になってきているのに対して、表示装置には、ＶＧＡ（３０万画素）からフルＨＤ（２００万画素）や、４Ｋ２Ｋと称される８００万画素等、様々な表示画素数のものが存在する。

このように撮像画素数と表示画素数に差異がある場合、ダウンサンプリングやアップサンプリングといった画素数変換処理を行うことが一般的である。また、表示装置の表示画面サイズにも、携帯電話の画面のように数インチのものからプロジェクタによる１００インチを超える大画面サイズまで様々なものがある。表示画面サイズに対しては、撮像画素数と表示画素数とが同じである場合は、表示倍率Ｍを変えるだけでよい。

そして、立体表示においても２次元画像と同様に、様々な表示条件において高品質な立体像を表示可能とすることが必要である。立体像表示における高品質とは、観察者に不快感や疲労感を与えにくい立体像の表示を意味する。

しかしながら、上述した立体像の奥行き位置を示す式（３），（４）から、観察者が認識する奥行き距離は視差量（ＰｌとＰｒの差）と視距離ｄｓとに依存した量であることが分かる。つまり、同じ視差画像を表示させる場合でも、表示画面サイズによって視差量が大きく変化してしまう。さらに、観察者がどのような視距離で観察するかは不明である。このため、融合限界は、表示装置の表示画面サイズと視距離が特定されるまでは算出することができず、撮像装置の制御だけでは様々な表示条件に対応した視差画像を得ることができない。

そこで、表示装置において、左右の視差画像をそれぞれ水平方向に平行移動して表示するオフセット制御を行う場合を考える。オフセット制御について、図１４を用いて説明する。観察者の両眼の間の中心を原点とし、水平方向にｘ軸をとり、奥行き方向にｙ軸をとる。高さ方向は簡略化のために省略する。観察者から表示画面１００までの視距離をｄｓとし、左右の眼がそれぞれ座標（−Ｗｅ，０）と（Ｗｅ，０）に位置するものとする。また、表示画面１００に表示される右の視差画像における被写体（被写体像）Ａｓの位置Ｉｒｓの座標を（Ｐｒ−Ｓ，ｄｓ）とし、左の視差画像における被写体Ａｓの位置Ｉｌｓの座標を（Ｐｌ＋Ｓ，ｄｓ）とする。Ｓはオフセット量であり、左右の視差画像の水平方向への平行移動量である。

このとき、観察者は右眼（Ｗｅ、０）と右視差画像の被写体位置Ｉｒｓ（Ｐｒ−Ｓ，ｄｓ）とを結ぶ線分と、左眼（−Ｗｅ，０）と左視差画像上の被写体位置Ｉｌｓ（Ｐｌ＋Ｓ，ｄｓ）とを結ぶ線分との交点（０，ｙ３）に被写体Ａｓが存在すると認識する。
ｙ３は、上記各座標を用いて、

と表すことができる。

図１４は、図１３にオフセット量Ｓを与えた場合の立体表示状態を示している。図１４では、オフセット量Ｓによって、図１３に比べて、立体像の位置が（ｙ２−ｙ３）だけ表示画面１００に近づく方向にシフトしている。なお、図１４では被写体Ａｓのみを示しているが、各視差画像内に他の被写体が存在する場合には、上記オフセット制御は表示される視差画像の全体に影響し、全ての立体像の位置が近似的に（ｙ２−ｙ３）だけ表示画面１００に近づく方向にシフトする。

以上のことから、仮に図１３に示す状態が観察者の融合限界を超えるような表示状態であった場合に、各視差画像にオフセット量Ｓを与えることで、融合限界を超えないように視差画像の表示を制御することが可能である。つまり、表示装置に観察者の位置（つまりは視距離）を検出するセンサとオフセット制御機能が備わっていれば、表示画面サイズや視距離が異なる様々な表示条件においても融合限界を超えないように視差画像を表示することができる。

しかし、必ずしも立体表示を行うための全ての視差画像に対してオフセット制御を行う必要はない。このため、処理負荷を低減するためにも、まずは視差画像の表示に対してオフセット制御を行うべきか否かを判定することが必要である。

表示装置に観察者の位置を検出するセンサが備わっている場合には、融合限界を超えるか否かを判定するための相対視差を算出するのに必要な情報は、最大および最小視差量(Pl-Pr)max，(Pl-Pr)minのみである。

視差量ＰｌとＰｒの差は、上述した原理説明の中では距離として記述しているが、実際の表示装置では、表示される左右の視差画像の対応点間での画素ずれ量に相当する。また、撮像装置においても、式（１），（２）に示した撮影視差Ｐｌｃ，Ｐｒｃは左右の視差画像の対応点間での画素ずれ量(Pl-Pr)として再現される。対応点とは、左右の視差画像において同一の被写体が写っている画素である。例えば、画素ずれ量(Pl-Pr)が正である場合は、表示画面よりも奥側に立体像が認識され、画素ずれ量(Pl-Pr)が負である場合は、表示画面よりも観察者側にて立体像が認識される。

ここで、撮像装置から出力される左右の視差画像の最大画素ずれ量を(Plc-Prc)maxとし、最小画素ずれ量を(Plc-Prc)minとする。また、撮像装置での水平方向の撮像画素数（記録画素数）をＨｃとする。さらに、表示装置での表示画素数をＨｍとし、表示装置での画素ピッチをＴとする。このとき、最大および最小視差量(Pl-Pr)max，(Pl-Pr)min以下の式（６）により表される。なお、式（６）およびそれ以降の説明では、最大および最小視差量(Pl-Pr)max，(Pl-Pr)minをまとめて(Pl-Pr)max，minと記す。

つまり、撮像装置の記録画素数と最大および最小画素ずれ量の情報があれば、表示装置において融合限界の判定が可能であり、融合限界を超えるような視差画像表示を容易に回避することができる。

そこで、以下の各実施例では、左右の視差画像における複数箇所の対応点を抽出し、該複数箇所の対応点間の画素ずれ量のうち最大と最小のもの、すなわち最大画像ずれ量と最小画素ずれ量の情報を視差画像のデータファイルのヘッダ（ファイルヘッダ）に付加する（記録する）。なお、最大および最小画素ずれ量の情報に代えて、複数箇所の対応点間の画素ずれ量の水平方向記録画素数に対する比（画素ずれ比）のうち最大および最小のもの、すなわち最大画素ずれ比および最小画素ずれ比の情報を付加してもよい。

図１には、本発明の実施例１である立体像表示システムの構成を示している。本実施例の立体像表示システムは、被写体を左右の互いに異なる視点から撮像することで、互いに視差を有する左右の視差画像を生成および表示する。

撮像装置１は、左右の視差画像を撮像可能なビデオカメラである。左右の視差画像はそれぞれ、左眼用の視差画像と右眼用の視差画像を意味する。表示装置１１は、表示部２に、取得した左右の視差画像から生成した観察者が立体視可能な立体像を表示することができる。撮像装置１は、表示部２の表示画面サイズや視距離等の表示条件にかかわらず融合限界を超えないように立体像を表示させるために、視差画像とともに、視差画像における複数箇所の対応点での最大および最小画素ずれ量や最大および最小画素ずれ比の情報を出力する。

図３には、撮像装置１の構成を示している。１０１は右の視差画像用の撮影光学系であり、２０１は左の視差画像用の撮影光学系である。左右の撮影光学系１０１，２０１の光軸間の距離、すなわち基線長は６５ｍｍ程度が好適であるが、表示する立体像に対する立体感の要求に応じて変更することが可能である。

左右の撮像素子１０２，２０２はそれぞれ、左右の撮影光学系１０１，２０１により形成された被写体像（光学像）を電気信号に変換する。Ａ／Ｄ変換器１０３，２０３は、撮像素子１０２，２０２からのアナログ出力信号をデジタル信号に変換して画像処理部１０４に供給する。

画像処理部１０４は、Ａ／Ｄ変換器１０３、２０３からのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行うことで、画像データとしての左右の視差画像を生成する。また、画像処理部１０４は、視差画像から被写体輝度の情報や撮影光学系１０１，２０１の焦点状態（コントラスト状態）を演算し、演算結果をシステムコントローラ１０９に供給する。画像処理部１０４の動作は、システムコントローラ１０９によって制御される。

状態検知部１０７は、撮影光学系１０１，２０１の絞り１０１ａ，２０１ａの開口径やフォーカスレンズ１０１ｂ，２０１ｂの位置等の撮像状態を検出してシステムコントローラ１０９に検出データを供給する。システムコントローラ１０９は、画像処理部１０４からの演算結果と状態検知部１０７からの撮像状態情報とに基づいて、撮影光学系制御部１０６を制御し、絞り１０１ａ，２０１ａの開口径を変化させたりフォーカスレンズ１０１ｂ，２０１ｂを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。

画像記録媒体１０８は、画像処理部１０４により生成された左右の視差画像を記録する。また、左右の視差画像を含む画像ファイルのファイルヘッダを格納する。

表示部２００は、液晶表示素子とレンチキュラーレンズとにより構成されて、レンチキュラーレンズの光学作用によって観察者の左右の眼に左右の視差画像を別々に導くことで、立体像を提示する。

基準画像選択部１１０は、画像処理部１０４により生成された左右の視差画像のうち一方を基準画像として選択する。対応点抽出部１１１は、左右の視差画像において互いに対応する画素である対応点を、左右の視差画像における複数箇所にて抽出する。

画素ずれ量算出部１１２は、対応点抽出部１１１により抽出された複数箇所の対応点のそれぞれの間の画素ずれ量を算出する。最大／最小画素ずれ量検出部１１６は、画素ずれ量算出部１１２により算出された複数箇所の対応点間の画素ずれ量のうち最大および最小画素ずれ量を検出（取得）し、その情報を画像記録媒体１０８に出力する。画素ずれ量算出部１１２と最大／最小画素ずれ量検出部１１６が、画素ずれ量取得部１１４を構成する。また、左右の視差画像を出力する画像処理部１０４と最大および最小画素ずれ量の情報を出力する最大／最小画素ずれ量検出部１１６が、出力部を構成する。

次に、本実施例の撮像装置１における画像記録処理について、図４のフローチャートを用いて説明する。この処理（および後述する各処理）は、撮像装置１に設けられたコンピュータとしてのシステムコントローラ１０９により、コンピュータプログラムである立体撮像プログラムに従って実行される。

まず、システムコントローラ１０９は、撮影者の操作による撮影開始信号の入力を受けて撮像を開始する。システムコントローラ１０９は、ステップＳ１０１において、撮影光学系制御部１０６を介して撮影光学系１０１，２０１を制御する。

次に、システムコントローラ１０９は、ステップＳ１０２において、撮像素子１０２，２０２に、撮影光学系１０１，２０１によってそれぞれ形成される被写体像を光電変換させる。そして、撮像素子１０２，２０２からの出力をＡ／Ｄ変換器１０３，２０３を介して画像処理部１０４に転送し、画像処理部１０４に左右の視差画像を生成させる。

次に、システムコントローラ１０９は、ステップＳ１０３において、基準画像選択部１１０に、左右視差のうち一方を画素ずれ量算出のための基準画像として選択させる。本実施例では左の視差画像を基準画像として選択させる。もちろん、右の視差画像を基準画像としてもよい。

次に、システムコントローラ１０９は、ステップＳ１０４において、対応点抽出部１１１に、基準画像選択部１１０において選択された基準画像としての左の視差画像と参照画像としての右の視差画像との間で対応点を抽出させる。対応点とは、前述したように、左右の視差画像上で同一の被写体が写っている画素である。また、対応点は、左右の視差画像における複数箇所にて抽出される。

対応点の抽出手法について図５を用いて説明する。ここでは、視差画像上に設定されたＸ−Ｙ座標系を用いる。この座標系では、図５に左側に示した基準画像３０１と右側に示した参照画像３０２において左上の画素の位置を原点として定義し、水平方向にＸ軸をとり、垂直方向にＹ軸をとっている。基準画像３０１上の画素（Ｘ，Ｙ）の輝度をＦ１（Ｘ，Ｙ）とし、参照画像３０２上の画素（Ｘ，Ｙ）の輝度をＦ２（Ｘ，Ｙ）とする。

基準画像３０１上の任意の画素（Ｘ，Ｙ）（ハッチングして示す）に対応する参照画像３０２上の画素（ハッチングして示す）は、基準画像３０１における輝度Ｆ１（Ｘ，Ｙ）と最も類似した輝度を有する参照画像３０２上の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、座標（Ｘ，Ｙ）の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像３０１上の任意の座標（Ｘ、Ｙ）の画素とその周辺の座標（Ｘ−１，Ｙ）、（Ｘ＋１，Ｙ）の２つの画素との計３画素の輝度値はそれぞれ、
Ｆ１（Ｘ，Ｙ）、Ｆ１（Ｘ−１，Ｙ）、Ｆ１（Ｘ＋１，Ｙ）
となる。

これに対し、座標（Ｘ、Ｙ）、（Ｘ−１，Ｙ）、（Ｘ＋１，Ｙ）からＸ方向にｋだけずれた参照画像３０２上の画素の輝度値はそれぞれ、
Ｆ２（Ｘ＋ｋ，Ｙ）、Ｆ２（Ｘ＋ｋ−１，Ｙ）、Ｆ２（Ｘ＋ｋ＋１，Ｙ）
となる。

この場合、基準画像３０１上の座標（Ｘ、Ｙ）の画素との類似度Ｅを、以下の式（７）で定義する。

この式（７）において逐次、ｋの値を変更して類似度Ｅの値を計算する。そして、参照画像３０２のうち最も小さい類似度Ｅを与える（Ｘ＋ｋ，Ｙ）が、基準画像３０１上の座標（Ｘ，Ｙ）に対する対応点である。

なお、ブロックマッチング以外に、エッジ抽出等による共通点抽出法を用いて対応点を抽出してもよい。

次に、システムコントローラ１０９は、ステップＳ１０５において、画素ずれ量算出部１１２に、複数箇所にて抽出された対応点のそれぞれの間の画素ずれ量(Plc-Prc)を算出させる。画素ずれ量は、基準画像と参照画像上での対応点の画素位置間の差分である。

次に、システムコントローラ１０９は、ステップＳ１０６において、最大／最小画素ずれ量検出部１１６に、複数箇所の対応点間の画素ずれ量のうち最大および最小画素ずれ量ｋｍａｘ，ｋｍｉｎ（＝(Plc-Prc)max,min）を検出させる。

そして、システムコントローラ１０９は、ステップＳ１０７において、最大／最小画素ずれ量検出部１１６（記録部）に、画像データファイルのヘッダに最大画素ずれ量(Plc-Prc)maxと最小画素ずれ量(Plc-Prc)minの情報を記録させる。

ステップＳ１０８では、システムコントローラ１０９は、ステップＳ１０２で取得した左右の視差画像を立体画像ファイルとして画像データファイルに記録する。

図６には、画像記録媒体１０８に記録される画像データファイルの構成例を示す。画像データファイル１０００は、ファイルヘッダ１００１と画像データ部１００３とにより構成される。上述した最大画素ずれ量(Plc-Prc)maxと最小画素ずれ量(Plc-Prc)minの情報１００２は、ファイルヘッダ１００１に記録され、左右の視差画像は画像データ部１００３に記録される。ファイルヘッダ１００１には、撮影画素数、Ｆ値、焦点距離等の撮像時の諸データも記録される。

画像データファイルのファイルヘッダに最大画素ずれ量(Plc-Prc)maxと最小画素ずれ量(Plc-Prc)minの情報を付加することで、表示装置１１は、式（６）を用いて、融合限界を超えない最大視差量を容易に算出することができる。このため、融合限界を超えているか否かの判定を容易に行うことが可能となり、表示装置１１での処理負荷を軽減することができる。

次に、図１を用いて表示装置１１の構成について説明する。画像データ取得部１０は、撮像装置１から、視差画像の画像データファイルを取得する。データ情報取得部２０は、ファイルヘッダ１００１（図６）に含まれるデータを取得する。表示条件取得部３０は、表示部２における表示条件情報を取得する。相対視差量取得部４０は、視差画像内の相対視差量を取得する。

融合限界判定部５０は、視差画像に融合限界範囲外の画像領域（以下、融合限界外画像領域という）が含まれているか否かを判定する。立体画像処理部６０は、画像データ全域の相対視差量を算出する画像内相対視差量算出部６１と画像データ内の融合限界外画像領域を判定する融合限界外画像領域検出部６２とにより構成される。さらに立体画像処理部６０は、画像データの相対視差量を調整する処理を行う相対視差量調整処理部６３、融合限界外画像領域に画像処理を行う融合限界外画像処理部６４を有している。

表示部２は、立体画像処理部６０から出力される画像データを表示する。表示部２も、撮像装置１の表示部２００と同様に、例えば液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって観察者の左右の眼に左右の視差画像を別々に導くことで、立体像を提示する。

次に、本実施例の立体像表示システムにおける融合限界判定処理について、図２のフローチャートを用いて説明する。

まずステップＳ２０１において、画像データ取得部１０は、撮像装置１から画像データファイル１０００を取得する。データ取得方法は、ＵＳＢケーブル等で直接接続する方法でもよいし、電波や赤外線等の無線通信による方法でもよい。

次に、ステップＳ２０２において、データ情報取得部２０は、画像データ取得部１０で取得した画像データファイル１０００内のファイルヘッダ１００１に含まれる最大画素ずれ量と最小画素ずれ量と撮影情報（被写体距離、Ｆ値等）を取得する。

次に、ステップＳ２０３において、表示条件取得部３０は、表示部２から表示条件情報を取得する。前述したように、表示条件とは、表示画素数、表示サイズおよび視距離に関する情報である。また、表示条件の取得方法は、不図示のＵＳＢケーブル等で直接接続する方法でもよいし、電波や赤外線等の無線通信による方法でもよい。

次に、ステップＳ２０４において、相対視差量取得部４０は、最大画素ずれ量、最小画素ずれ量、撮影情報および表示条件情報を用いて、上述した式（６）から表示装置１１側での最大相対視差量と最小相対視差量を算出する。

次に、ステップＳ２０５（第１の融合限界判定ステップ）において、融合限界判定部５０は、算出された最大相対視差量と最小相対視差量のうち少なくとも一方が、融合限界基準値を超えているか否かを判定する。すなわち、入力された画像データに融合限界領域が含まれているか否かを判定する。融合限界基準値は、一般的には±２度であるが、これに限られず±１．５度や±１度に設定してもよい。

本実施例では、例えば最大相対視差量が＋２度を超えた場合又は最小相対視差量が−２度を超えた場合には、融合限界外画像領域が含まれていると判定する。逆に、最大および最小相対視差量が＋２度および−２度を超えていない場合は、融合限界外画像領域が含まれていないと判定する。ステップＳ２０５での判定結果において、表示装置１１側での最大相対視差量又は最小相対視差量が融合限界基準値を超えている（つまりは融合限界を超えている）と判定された場合、ステップＳ２０６に進む。

ステップＳ２０６（第２の融合限界判定ステップ）において、融合限界判定部５０は、最大相対視差量と最小相対視差量の差を用いて立体画像の相対視差量範囲を算出し、該立体画像の相対視差量範囲が融合限界範囲量を超えているか否かを判定する。ここで融合限界範囲量とは融合限界範囲である±２度以内、つまり４度の範囲であるとする。融合限界判定部５０は、画像データ内の相対視差量範囲が融合限界範囲量を超えていると判定した場合は、ステップＳ２０７へ進む。例えば、最大相対視差量が＋１．８度、最小相対視差量が−２．５度であった場合、相対視差量範囲は４．３度となり、融合限界範囲である４度を超えていると判定される。

ステップＳ２０７において、画像データファイル１０００は、立体画像処理部６０に送られ、立体画像処理部６０は、画像内相対視差量算出部６１によって画像データファイル１０００内の画像データ全域に対して相対視差量を算出する。算出手法としては、例えば上記で述べたブロックマッチング法を用いた手法を用いることができる。

次に、ステップＳ２０８において、融合限界外画像領域検出部６２は、画像データ全域に対する相対視差量から画像データ内の融合限界外画像領域を検出する。

次に、ステップＳ２０９において、相対視差量調整処理部６３は、融合限界外画像領域が可能な限り融合限界範囲内となるように視差画像の画像データに画像処理を実行する。

本実施例では、ステップＳ２０９において、前述した左右視差画像に対して画像を水平方向にそれぞれ平行移動して表示させるオフセット制御を行う。ここでは、前述したように視差画像の視差量が融合限界範囲量を超えているため、オフセット制御だけでは視差画像全域の融合限界に対応することができない。そこで、さらに融合限界外画像処理部６４は、融合限界外画像領域を観察者に認識させないように視差画像に画像処理を実行する。本実施例では、前述した視差画像の融合限界外画像領域にぼけ成分を付加する画像処理を行う。ぼけ成分を付加することにより、融合限界外画像領域を観察者が注視しなくなるため、観察者の不快感や疲労感を緩和することができる。

こうして立体画像処理部６０内での立体画像データ処理が完了され、処理された画像データは表示部２に転送されて表示される。

次に、図２のフローチャートにおけるステップＳ２０５で、融合限界判定部５０により最大相対視差量および最小相対視差量が融合限界基準値を超えていないと判定された場合の処理について説明する。この場合は、画像データファイル１０００の画像データ（視差画像）は、融合限界外画像領域が含まれていない。すなわち、この画像データは、観察者に不快感や疲労感を与えにくい立体像を表示可能な視差画像のデータであり、前述したオフセット制御やぼけ成分付加といった画像処理を行う必要はない。このため、そのままステップＳ２１０に進み、該画像データを表示部２に表示用画像データとして転送してこれを表示させ、立体像を提示する。

次に、ステップＳ２０６において、融合限界判定部５０により視差画像の視差量が融合限界範囲量を超えていないと判定された場合の処理について説明する。この場合は、画像データファイル１０００の画像データ（視差画像）は、オフセット制御のみで観察者に不快感や疲労感を与えにくい立体像を表示可能な画像データである。このため、相対視差量調整処理部６３は、ステップＳ２１１において、融合限界外画像領域が融合限界範囲内の画像領域となるように画像データに、前述したオフセット制御を行う。

ここでは、視差画像の視差量が融合限界範囲量を超えていないため、オフセット制御だけで画像全領域の融合限界に対応することができる。画像データとして、これ以上、観察者に不快感や疲労感を与えにくくするための画像処理を行う必要はないので、ステップＳ２１０へ進み、該画像データを表示部２に表示用画像データとして転送してこれを表示させ、立体像を提示する。

以上のように、本実施例では、ファイルヘッダに付加された最大画素ずれ量と最小画素ずれ量の情報を利用することで、表示装置１１での表示条件にかかわらず観察者に不快感や疲労感を与えにくい良質な立体像を表示することができる。

また、本実施例では、上記式（６）から表示装置１１側で最大相対視差量と最小相対視差量を容易に算出することが可能である。このため、融合限界判定を容易に実行することが可能となり、表示装置１１側での処理負荷を軽減することができる。

また、本実施例では、最大相対視差量と最小相対視差量の両方を用いているので、立体像の表示空間全体が融合限界内の範囲である相対視差±２度の範囲のうちどの程度の領域を占めているかを容易に判定できる。このため、上述した表示装置１１でのオフセット制御だけでは融合限界を超えることを回避できない場合に、オフセット制御に加えてぼけ成分の付加という画像処理を行うことで、融合限界を超えることに対処を可能とすることができる。

そして、以上の２つの判定によって視差画像に融合限界外画像領域が含まれ、かつ視差量が融合限界範囲量を超える場合にのみ、表示装置１１によって画面全体の視差量を算出すればよくなる。このため、他の画像データの処理時の表示装置１１での処理負荷を軽くすることができる。

また、毎秒６０フレーム又はそれ以上の動画像により立体像を表示する場合には、最大および最小画素ずれ量の算出を１フレームごとに表示装置１１で行うことは処理負荷が大きい。このため、画像データファイル１０００内の１フレーム画像ごとに最大および最小画素ずれ量の情報を付加しておくことで、表示装置１１において融合限界に対応した表示制御を行う必要をなくし、表示装置１１の処理負荷を軽減することできる。

また、画像データファイル１０００全体のファイルヘッダに全視差画像にわたる最大および最小画素ずれ量の情報を付加することで、視差画像ごとの上記判定を不要とすることもでき、大幅な処理負荷の低減効果が得られる。また、画像データファイルにおいてシーンが異なるチャプターごとに最大および最小画素ずれ量の情報を付加することで、シーン毎に上記判定を行うことができる。

本実施例では、ファイルヘッダに最大および最小画素ずれ量(Plc-Prc)max，(Plc-Prc)minの情報が含まれることを前提とした。しかし、必ずしもファイルヘッダに最大および最小画素ずれ量の情報が含まれる必要はない。例えば、ファイルヘッダに最大画素ずれ量として記録される情報(Plc-Prc)MAXは、
０．８×(Plc-Prc)max＜(Plc-Prc)MAX＜１．２×(Plc-Prc)max
を満足すればよい。また、ファイルヘッダに最小画素ずれ量として記録される情報(Plc-Prc)MINは、
０．８×(Plc-Prc)min＜(Plc-Prc)MIN＜１．２×(Plc-Prc)min
を満足すればよい。上記範囲の上限値を超えたり下限値を下回ったりすると、観察者にとって見にくい立体像が表示されてしまう。

ファイルヘッダの最大および最小画素ずれ量の情報が０．８×(Plc-Prc)max又は０．８×(Plc-Prc)minに近ければ融合限界判定基準がより厳しいものとなり、より不快感や疲労感を観察者に与えにくい立体像を表示可能となる。しかし、ファイルヘッダの最大および最小画素ずれ量が０．８×(Plc-Prc)max，０．８×(Plc-Prc)minよりも小さくなると、処理が必要と判定される画像フレーム数が増加し、処理負荷の低減効果を得ることが難しくなる。

また、ファイルヘッダの最大および最小画素ずれ量の情報が、１．２×(Plc-Prc)max又は１．２×(Plc-Prc)minに近ければ融合限界判定基準が緩和され、処理されるフレーム画像が減少するため処理負荷の低減が可能となる。しかし、ファイルヘッダの最大および最小画素ずれ量の情報が１．２×(Plc-Prc)max又は１．２×(Plc-Prc)minよりも大きくなると、不快感や疲労感を与えるフレーム画像数が増大して、高品質な立体像の表示が困難となる。

なお、最大画素ずれ量および最小画素ずれ量の情報に加えて、各対応点間の画素ずれ量の情報を画像データファイルのファイルヘッダやそれ以外の部分に記録してもよい。

また、本実施例では、基準画像選択部１１０、対応点抽出部１１１、画素ずれ量算出部１１２および最大／最小画素ずれ量検出部１１６を別々の処理部として構成した場合について説明したが、これらを１つの処理部としてまとめてもよい。

図７には、本発明の実施例２である立体像表示システムにおける撮像装置の構成を示す。図７に示す構成要素のうち実施例１（図３）に示した構成要素と同じものについては、図３と同符号を付して説明に代える。また、撮像装置以外のシステム構成は実施例１と同様であるため、その構成と動作については説明を省略する。

画素ずれ比算出部１１４ａは、対応点抽出部１１１により抽出された複数箇所の対応点のそれぞれの間の画素ずれ量を算出し、さらに該画素ずれ量の水平方向での記録画素数に対する比である画素ずれ比を算出する。

そして、最大／最小画素ずれ比検出部１１５は、画素ずれ比算出部１１４ａにより算出された複数箇所の対応点間の画素ずれ比のうち最大画素ずれ比および最小画素ずれ比を検出し、それらの情報を画像記録媒体１０８に出力する。最大画素ずれ比は、式（６）内の(Plc-Prc)max，min／Hcに対応する値である。画素ずれ比算出部１１４ａと最大／最小画素ずれ比検出部１１５が、画素ずれ比取得部を構成する。また、左右の視差画像を出力する画像処理部１０４と最大および最小画素ずれ比の情報を出力する最大／最小画素ずれ比検出部１１５が、出力部を構成する。

次に、本実施例の撮像装置における画像記録処理について、図８のフローチャートを用いて説明する。この処理は、撮像装置に設けられたコンピュータとしてのシステムコントローラ１０９により、コンピュータプログラムである立体撮像プログラムに従って実行される。

ステップＳ１０１〜ステップＳ１０４およびステップＳ１０８については実施例１（図４）と同じである。ステップＳ３０１では、システムコントローラ１０９は、画素ずれ比算出部１１４ａに、ステップＳ１０４において抽出された複数箇所の対応点のそれぞれの間の画素ずれ比を算出させる。画素ずれ比算出部１１４ａは、画素ずれ比を、基準画像と参照画像の対応点間の画素ずれ量(Plc-Prc)の水平方向記録画素数Ｈｃに対する比（(Plc-Prc)/Hc）として算出する。

次に、システムコントローラ１０９は、ステップＳ３０２において、最大／最小画素ずれ比検出部１１５に、複数箇所の対応点間の画素ずれ比のうち最大および最小画素ずれ比である(Plc-Prc)max／Hc，(Plc-Prc)min／Hcを検出させる。

次に、システムコントローラ１０９は、ステップＳ３０３において、最大／最小画素ずれ比検出部１１５に、画像データファイルのファイルヘッダに最大および最小画素ずれ比(Plc-Prc)max／Hc，(Plc-Prc)min／Hcの情報を記録させる。

図９には、画像記録媒体１０８に記録される画像データファイルの構成例を示す。画像データファイル１０００は、ファイルヘッダ１００１と画像データ部１００３とにより構成される。上述した最大および最小画素ずれ比(Plc-Prc)max／Hc，(Plc-Prc)min／Hcの情報１００４は、ファイルヘッダ１００１に記録され、左右の視差画像は画像データ部１００３に記録される。ファイルヘッダ１００１には、撮影画素数、Ｆ値、焦点距離等の撮像時の諸データも記録される。

画像データファイルのファイルヘッダに最大および最小画素ずれ比(Plc-Prc)max／Hc，(Plc-Prc)min／Hcの情報を付加することで、表示装置１１は、式（６）を用いて、融合限界を超えない最大視差量を容易に算出することができる。このため、融合限界を超えているか否かの判定を容易に行うことが可能となり、表示装置１１での処理負荷を軽減することができる。特に、毎秒６０フレーム又はそれ以上の動画像により立体像を表示する場合には、最大および最小画素ずれ比の算出を１フレーム画像ごとに表示装置１１で実行することは処理負荷が大きい。このため、画像データファイル内の１フレーム画像ごとに最大および最小画素ずれ比の情報を付加しておくことで、表示装置１１において融合限界に対応した表示制御を行う必要をなくし、処理負荷を軽減することができる。

また、画像データファイル全体のファイルヘッダに全視差画像にわたる最大および最小画素ずれ比の情報を付加することで、視差画像ごとの上記判定を不要とすることもでき、大幅な処理負荷の低減効果が得られる。また、画像データファイルにおいてシーンが異なるチャプターごとに最大および最小画素ずれ比の情報を付加することで、シーン毎に上記判定を行うことができる。

なお、本実施例では、画像データファイルのファイルヘッダに最大および最小画素ずれ比の情報を記録する場合について説明した。他の変形例として、最大および最小画素ずれ比の情報に加えて、各対応点間の画素ずれ比の情報を画像データファイルのファイルヘッダやそれ以外の部分に記録してもよい。

また、本実施例では、基準画像選択部１１０、対応点抽出部１１１、画素ずれ比算出部１１４ａおよび最大／最小画素ずれ比検出部１１５を別々の処理部として構成した場合について説明したが、これらを１つの処理部としてまとめてもよい。

次に、本発明の実施例３である立体像表示システムについて説明する。図１０には、実施例３の立体像表示システムの構成を示している。本実施例における表示装置４１１に設けられた表示部４０２は、左右の視差画像を１つの画面上に時分割で表示する。このとき、観察者は、視差画像の時分割表示に同期して左右交互に開閉する液晶シャッタを備えたメガネを通して表示部４０２を観察することで立体像を見ることができる。また、表示部４０２は、左右の視差画像をそれぞれ互いに偏光方向が直交する偏光光によって同時に表示してもよい。この場合、観察者は、互いに直交する偏光方向の偏光光を透過する偏光フィルタを左右に設けた偏光メガネを通して表示部４０２を観察することで立体像を見ることができる。

また、表示部４０２は、画像処理部７０、融合限界判定レベル調整部８０および視距離検出部９０を備えている。画像処理部７０は、２次元画像や動画に対して一般的に行われるエッジ強調や色補正等の画像処理を行う。融合限界判定レベル調整部８０は、観察者の操作によって所望の融合限界判定レベルを設定できる。また、視距離検出部９０は、観察者の表示画面からの距離である視距離を検出する。その他の構成は実施例１と同様である。

次に、本実施例における表示装置４１１での融合限界判定処理について、図１１のフローチャートを用いて説明する。まずステップＳ４０１において、画像データ取得部１０は、撮像装置１からの画像データファイルを取得する。データ取得方法は、実施例１で説明した方法と同じである。

次に、ステップＳ４０２において、データ情報取得部２０は、画像データ取得部１０で取得した画像データファイル内のファイルヘッダに含まれる最大および最小画素ずれ量の情報と撮影情報を取得する。

次に、ステップＳ４０３において、表示条件取得部３０は、表示部４０２から表示条件情報を取得する。表示条件は、表示画素数、表示サイズ、視距離検出部９０から送られてくる視距離および融合限界判定レベル調整部８０から送られてくる判定レベルに関する情報である。表示条件の取得方法は、は実施例１で説明した方法と同じである。ただし、視距離検出部９０による観察者の視距離情報の取得については、従来、距離測定に用いられる赤外線の反射を利用した手法等を用いることも可能である。

次に、ステップＳ４０４において、相対視差量取得部４０は、最大および最小画素ずれ量の情報、撮影情報および表示条件情報を用いて、上述した式（６）から表示装置４１１側での最大および最小相対視差量を算出する。

次に、ステップＳ４０５において、融合限界判定部５０では、算出された最大および最小相対視差量から、入力された画像データ（視差画像）に融合限界外画像領域が含まれているか否かを判定する。例えば、相対視差量±２度を基準判定量とし、融合限界判定レベル調整部８０から送られてくる判定レベルに関する情報を、基準判定量に対する割合とする。具体的には、観察者が複数段階の判定レベルから１つのレベルを選択し、基準判定量である±２度に該レベルを乗じることで判定基準を制御する。例えば、レベルを８割とすると、基準判定量±２度の８割である＋１．６度を新たな判定基準として設定する。融合限界判定部５０は、新たに設定された判定基準に応じて、画像データに融合限界外画像領域が含まれているか否かを判定する。

これ以降、表示用画像データを出力するまでのステップＳ４０６〜ステップＳ４１１は、実施例１におけるステップＳ２０６〜ステップＳ２１１と同じであるため、ここでは説明を省略する。本実施例では、さらにステップＳ４１２において、画像処理部７０が表示用画像データに対して前述したエッジ強調や色補正等の画像処理を行った後に、表示部４０２に表示する。

以上説明したように、本実施例では、ファイルヘッダに付加された最大および最小画素ずれ量(Plc-Prc)max，(Plc-Prc)minの情報を利用することで、上述したように式（６）から表示装置４１１で最大および最小相対視差量を容易に算出することが可能となる。そのため、融合限界判定を容易に実行することが可能となり、表示装置４１１の処理負荷を軽減することができる。特に、秒間６０フレームかそれ以上の動画像により立体像を表示する場合には、画像データ全域に対する相対視差量の算出を１フレーム画像ごとに行うことは処理負荷が大きい。このため、本実施例のように、表示装置４１１に融合限界判定部５０を有することで、他の処理装置によって処理負荷が大きい融合限界判定処理を行う必要がなくなる。

また、例えば画像データファイル全体のファイルヘッダに付加される最大および最小画素ずれ量の情報を利用することで、融合限界条件を満たした場合には全画像データに対して処理を回避することが可能となり、大幅な処理負荷の低減効果が得られる。また、シーンが異なるチャプター毎の最大および最小画素ずれ量の情報を利用することで、シーン変更ごとに表示装置４１１での処理判定を行うことができ、より高品質な立体動画の表示が可能となる。

高画質の立体像を提示できる立体像表示システムを提供できる。

１ 撮像装置
１１，４１１ 表示装置
２０ 画像データ取得部
４０ 相対視差量取得部
５０ 融合限界判定部
６０ 画像処理部

Claims (14)

1. 互いに視差を有する視差画像を撮像可能な撮像装置および該視差画像に基づく立体像を表示可能な表示装置を有する立体像表示システムであって、
   前記撮像装置は、
   前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、
   前記複数箇所の対応点のそれぞれの間の画素ずれ量を取得し、該画素ずれ量のうち最大画素ずれ量および最小画素ずれ量の情報を得る画素ずれ量取得部と、
   前記視差画像と前記最大画素ずれ量および前記最小画素ずれ量の情報とを出力する出力部とを有し、
   前記表示装置は、
   前記視差画像と、前記最大画素ずれ量および前記最小画素ずれ量の情報とを取得する情報取得部と、
   前記最大画素ずれ量および前記最小画素ずれ量の情報と表示条件とを用いて、前記最大画素ずれ量に対応する最大相対視差量および前記最小画素ずれ量に対応する最小相対視差量を算出する相対視差量算出部と、
   前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、
   前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする立体像表示システム。
2. 前記撮像装置における前記出力部は、前記画素ずれ量取得部により取得された前記各対応点間の前記画素ずれ量の情報を出力することを特徴とする請求項１に記載の立体像表示システム。
3. 前記画素ずれ量を(Plc-Prc)とし、前記最大画素ずれ量を(Plc-Prc)maxとするとき、
   ０．８×(Plc-Prc)max＜(Plc-Prc)<１．２×(Plc-Prc)max
   を満足することを特徴とする請求項１または２に記載の立体像表示システム。
4. 前記画素ずれ量を(Plc-Prc)とし、前記最小画素ずれ量を(Plc-Prc)minとするとき、
   ０．８×(Plc-Prc)min＜(Plc-Prc)<１．２×(Plc-Prc)min
   を満足することを特徴とする請求項１から３のいずれか１項に記載の立体像表示システム。
5. 互いに視差を有する視差画像を撮像可能な撮像装置および該視差画像に基づく立体像を表示可能な表示装置を有する立体像表示システムであって、
   前記撮像装置は、
   前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、
   前記複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比を算出し、該画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報を得る画素ずれ比算出部と、
   前記視差画像と前記最大画素ずれ比および前記最小画素ずれ比の情報とを出力する出力部とを有し、
   前記表示装置は、
   前記視差画像と、前記最大画素ずれ比および前記最小画素ずれ比の情報とを取得する情報取得部と、
   前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件とを用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出部と、
   前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、
   前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする立体像表示システム。
6. 前記撮像装置の前記出力部は、前記画素ずれ比算出部により算出された前記各対応点間の前記画素ずれ比の情報を出力することを特徴とする請求項５に記載の立体像表示システム。
7. 前記表示条件は、前記表示装置の表示画素数、画面サイズおよび視距離のうち少なくとも１つであることを特徴とする請求項１から６のいずれか１項に記載の立体像表示システム。
8. 前記表示装置から観察者までの視距離を検出する視距離検出部を有することを特徴とする請求項１から７のいずれか１項に記載の立体像表示システム。
9. 互いに視差を有する視差画像と、該視差画像の最大画素ずれ量および最小画素ずれ量の情報とを取得する情報取得部と、
   前記最大画素ずれ量および前記最小画素ずれ量の情報と表示条件を用いて、前記最大画素ずれ量に対応する最大相対視差量および前記最小画素ずれ量に対応する最小相対視差量を算出する相対視差量算出部と、
   前記最大相対視差量および前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、
   前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする表示装置。
10. 請求項９に記載の表示装置に対して、前記視差画像と、前記最大画素ずれ量および前記最小画素ずれ量の情報とを取得させる撮像装置であって、
    前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、
    前記複数箇所の対応点のそれぞれの間の画素ずれ量を取得し、該画素ずれ量のうち前記最大画素ずれ量および前記最小画素ずれ量の情報を得る画素ずれ量取得部と、
    前記視差画像に前記最大画素ずれ量および前記最小画素ずれ量の情報を記録する記録部とを有することを特徴とする撮像装置。
11. コンピュータに、
    互いに視差を有する視差画像と、該視差画像の最大画素ずれ量および最小画素ずれ量の情報とを取得する情報取得ステップと、
    前記最大画素ずれ量および前記最小画素ずれ量の情報と表示条件を用いて、前記最大画素ずれ量に対応する最大相対視差量および前記最小画素ずれ量に対応する最小相対視差量を算出する相対視差量算出ステップと、
    前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定する第１の融合限界判定ステップと、
    該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合に、前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する第２の融合限界判定ステップと、
    前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理ステップを含む処理を実行させることを特徴とするコンピュータプログラム。
12. 互いに視差を有する視差画像と、該視差画像における複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報を取得する情報取得部と、
    前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件を用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出部と、
    前記最大相対視差量および前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定し、該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合は前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する融合限界判定部と、
    前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記融合限界判定部により前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理部とを有することを特徴とする表示装置。
13. 請求項１２に記載の表示装置に対して、前記視差画像と、前記最大画素ずれ比および前記最小画素ずれ比の情報とを取得させる撮像装置であって、
    前記視差画像における対応点を複数箇所にて抽出する対応点抽出部と、
    前記複数箇所の対応点のそれぞれの間の前記画素ずれ比を算出し、該画素ずれ比のうち前記最大画素ずれ比および前記最小画素ずれ比の情報を得る画素ずれ比算出部と、
    前記視差画像に前記最大画素ずれ比および前記最小画素ずれ比の情報を記録する記録部とを有することを特徴とする撮像装置。
14. コンピュータに、
    互いに視差を有する視差画像と、該視差画像における複数箇所の対応点のそれぞれの間の画素ずれ量の前記視差画像における前記視差の方向での撮像画素数に対する比である画素ずれ比のうち最大画素ずれ比および最小画素ずれ比の情報とを取得する情報取得ステップと、
    前記最大画素ずれ比および前記最小画素ずれ比の情報と表示条件を用いて、前記最大画素ずれ比に対応する最大相対視差量および前記最小画素ずれ比に対応する最小相対視差量を算出する相対視差量算出ステップと、
    前記最大相対視差量と前記最小相対視差量のうち少なくとも一方の相対視差量が融合限界基準値を超えているか否かを判定する第１の融合限界判定ステップと、
    該少なくとも一方の相対視差量が前記融合限界基準値を超えている場合に、前記最大相対視差量と前記最小相対視差量の差である相対視差量範囲が融合限界範囲量を超えているか否かを判定する第２の融合限界判定ステップと、
    前記相対視差量範囲が前記融合限界範囲量を超えていないと判定された場合は、前記視差画像に対してオフセット制御を行う画像処理を実行し、前記相対視差量範囲が前記融合限界範囲量を超えていると判定された場合は、前記視差画像にぼけ成分を付加する画像処理を実行する画像処理ステップを含む処理を実行させることを特徴とするコンピュータプログラム。