JP5505881B2 - 立体映像制作装置およびプログラム - Google Patents

Description

本発明は、左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置およびプログラムに関し、特に、一枚の平面画像およびこれに対応するデプスマップから、立体映像の再生用の一対の左眼用画像および右眼用画像を作成するか、またはそれらの作成に必要となる視差量を算出する処理を実行する装置およびプログラムに係り、例えば、立体映像のコンテンツ制作者の使用する立体映像開発ツール、立体映像の観察者の使用する立体映像チューナ、立体映像の配信者や放送事業者の使用する立体映像提供システム等に利用できる。

近年、映画分野を中心として、立体映像コンテンツの制作、公開が活発化しており、我が国でも立体映像を上映可能なスクリーンが急増している。また、立体映像の撮影が可能なデジタルカメラが一般消費者向けに市販され、大手セットメーカが家庭向けの立体映像再生環境のリリースをアナウンスするなど、家庭への普及も展望されるようになってきた。しかし、立体映像を観察中の視覚的負担は、未だ深刻な問題であり、コンテンツ制作者の表現意図を十分に反映しつつ、視聴者に対して安全かつ快適な立体映像の制作方法が求められている。

立体映像の観察時における視覚的負担の原因として、視覚系の不整合が考えられる。これは、立体映像観察時の視覚系の状態が、自然視の状態と異なっていることで、認知的な矛盾が生じ、視覚的負担に関与していると考えられる。このため、国内外の各種ガイドラインでは、例えば、調節と輻輳との不一致の度合いに配慮すること等が求められている。また、このようなガイドラインの制定が進められる一方で、コンテンツ制作者の奥行き設定による表現を反映させることや、多様な視聴環境に対応した視差量の調整を行うことも同時に求められている。

なお、本発明に関連する技術として、予め用意されている左眼用画像および右眼用画像を用いた立体映像の再生時に、立体映像の奥行きが眼球光学系の焦点深度内になるように制御する立体映像作成装置が知られている（特許文献１参照）。この立体映像作成装置によれば、立体映像の表示に伴う視覚疲労の原因を解消し、視覚的に負担がなく、自然で見やすい立体映像を再生することができるとされている。

また、本願出願人により、簡易かつ効果的に立体映像の評価を行うことができる立体映像評価装置が提案されている（特許文献２参照）。この立体映像評価装置では、オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出し、算出したピクセル単位の視差量を用いて立体映像の評価用データを作成している。そして、本発明の実施の形態に適用可能な技術として本願明細書中で言及されているオプティカルフローを求める画像処理の原理等については、各種の文献に記述されている（例えば、非特許文献１等参照）。

さらに、本願の発明者らにより、立体映像による視覚負担の時系列評価について記載した論文が発表されている（非特許文献２参照）。

特開２００２−２２３４５８号公報 特開２００５−１４２８１９号公報

船久保登著、"視覚パターンの処理と認識"、初版、啓学出版株式会社、１９９０年２月２８日、ｐ．２３４−２３８ 金相賢、岸信介、河合隆史、畑田豊彦著、"立体映像による視覚負担の時系列評価への試み"、人間工学、Ｖｏｌ．４５、特別号、２００９年６月、ｐ．１７２−１７３

前述したように、立体映像については、調節と輻輳との不一致の度合いに配慮すること、コンテンツ制作者の表現意図を反映させること、多様な視聴環境に対応した視差量の調整を行うこと等が求められているが、これらの要求を同時に満たす立体映像制作装置は開発されていないのが現状である。

なお、前述した特許文献１に記載された立体映像作成装置は、視覚特性の観点から快適な範囲内、すなわち焦点深度内に立体像の視差を収める制御を行うことができるものの、予め用意されている左眼用画像および右眼用画像についての補正であるため、平面画像（２Ｄ画像）およびデプスマップから適正な立体映像の再生用の視差量を算出する本発明の場合とはそもそも制作の前提が全く異なっており、制作者の奥行き表現の意図を反映させた立体映像の制作を実現するものではない。つまり、特許文献１に記載された立体映像作成装置は、立体映像として視差を有したコンテンツに対し、その視差を適正な範囲内に収めるものであるのに対し、本発明は、奥行きを示すデプスマップに対応する視差量を適正な範囲内に収めるものである点が異なっている。

また、特許文献１の制御は、左右どちらかの画像を水平方向にシフトすることにより行われるので（特許文献１の段落［００４３］、［００４４］参照）、左右の画像のずれ量が画像全体として変わるだけであり、画像内の各点の視差量の変化量は各点で同じであるのに対し、本発明は、このような機械的なシフト補正を行うものではなく、デプスマップを構成する各デプス値から、これらに対応する視差量を平面画像（２Ｄ画像）の各画素毎に算出するものである。つまり、本発明では、デプス値のとり得る範囲と、焦点深度に基づき決定された適正な視差量の範囲とを対応させておき、この対応関係に従って、各点のデプス値から各点の視差量を算出するので、仮に適正な視差量の範囲の設定を変更したとしても、各点の視差量が同じ量だけ変化するということはなく、設定変更後の対応関係に従って、各点のデプス値から各点の視差量が１点１点算出されることになる。従って、本発明は、特許文献１のような機械的なシフト補正とは全く異なる性質の処理を行うものである。

さらに、前述した特許文献２や非特許文献２の記載も、平面画像（２Ｄ画像）およびデプスマップから適正な立体映像の再生用の視差量を算出する技術に関するものではない。

本発明の目的は、制作者の意図を反映し、かつ、観察者の快適性に配慮した立体映像の制作を実現することができる立体映像制作装置およびプログラムを提供するところにある。

本発明は、左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、平面画像記憶手段に記憶されたデプスマップを構成する各デプス値から、左眼用画像と右眼用画像との対応点間の視差量を、平面画像の各画素毎に算出する処理を実行する視差量算出処理手段とを備えたことを特徴とするものである。

このような本発明の立体映像制作装置においては、デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、各デプス値から各視差量を算出するので、デプスマップにどのような奥行き設定がなされていても、適正な範囲内に収まる視差量を算出することが可能となる。このため、焦点深度内に立体映像が再生されるようになり、観察者の快適性を考慮した立体映像の制作が実現される。

また、デプスマップから平面画像（２Ｄ画像）の各画素の視差量を算出するので、コンテンツ制作者の奥行き表現に関する意図を反映させた立体映像の制作が実現される。

さらに、適正な視差量の範囲（交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲）を、角度視差量（角度単位の視差量）で設定しておき、デプスマップを構成する各デプス値から、平面画像の各画素の角度視差量を算出するようにしておけば、視距離やスクリーンサイズ等の視聴環境パラメータを指定することにより、視聴環境に応じた視差量の調整を行うことが可能となり、これらにより前記目的が達成される。

＜観察コストを算出して視差量を補正する場合＞

また、前述した立体映像制作装置において、平面画像記憶手段には、複数のフレームについて平面画像とデプスマップとが対応して記憶され、映像区画を構成する複数のフレームについて前後のフレーム間の平面画像の構成要素の平面移動量および／または奥行き移動量を算出し、これらの平面移動量および／または奥行き移動量を用いて、映像区画の観察者に与える視覚的負担の度合いを示す映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、この観察コスト算出処理手段により算出した映像区画の観察コストを用いて、映像区画を構成する複数のフレームについて視差量算出処理手段により算出した平面画像の各画素の視差量を補正する処理を実行する視差量補正処理手段とを備えた構成とすることが望ましい。

このように平面移動量および／または奥行き移動量から観察コストを算出し、この観察コストを用いて視差量を補正する構成とした場合には、立体映像の観察者の視覚的負担を観察コストにより推定し、観察者の安全性を考慮した立体映像の制作を実現することが可能となる。

より詳細には、平面移動量を用いて観察コストを算出する場合と、奥行き移動量を用いて観察コストを算出する場合と、平面移動量および奥行き移動量の双方を用いて観察コストを算出する場合とに分けると、以下のような構成を採用することができる。

＜平面移動量を用いて観察コストを算出する場合＞

すなわち、前述した立体映像制作装置において、観察コスト算出処理手段は、前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量から、映像区画の観察者に与える視覚的負担の度合いを示す映像区画の観察コストを算出するか、または前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、映像区画を構成する複数のフレームについて累積加算して映像区画の観察コストを算出する処理を実行する構成とされ、視差量補正処理手段は、予め定められた映像区画の観察コストと補正倍率との対応関係に従って、観察コスト算出処理手段により算出した映像区画の観察コストから、対応する補正倍率を算定し、映像区画を構成する複数のフレームについて視差量算出処理手段により算出した平面画像の各画素の視差量に、算定した補正倍率を一律に乗じる補正処理を実行する構成とされていることが望ましい。

ここで、「累積平面移動量」から「映像区画の観察コスト」を算出すること、および「前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値」から「前後のフレーム間の観察コスト」を算出することには、フレームの再生時間間隔を考慮して平面移動量から平面移動速度を算出し、この平面移動速度から観察コストを算出することが含まれる。また、観察コストが平面移動量や平面移動速度の関数となっていてその関数式により観察コストを連続的な値として算出することのみならず、例えば、平面移動量や平面移動速度が一定値を超えたら観察コストに１を加算する等のように、観察コストを段階的な値として算出すること等も含まれる。他の発明においても同様である。

このように平面移動量から観察コストを算出し、この観察コストを用いて視差量を補正する構成とした場合には、立体映像の観察者の視覚的負担を観察コストにより推定し、観察者の安全性を考慮した立体映像の制作を実現することが可能となる。

＜奥行き移動量を用いて観察コストを算出する場合＞

また、前述した立体映像制作装置において、観察コスト算出処理手段は、前後のフレーム間のデプスマップにおける平面画像上の特徴点のデプス値の変化量、平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、映像区画の観察者に与える視覚的負担の度合いを示す映像区画の観察コストを算出するか、または前後のフレーム間のデプスマップにおける平面画像上の特徴点のデプス値の変化量、平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、映像区画を構成する複数のフレームについて累積加算して映像区画の観察コストを算出する処理を実行する構成とされ、視差量補正処理手段は、予め定められた映像区画の観察コストと補正倍率との対応関係に従って、観察コスト算出処理手段により算出した映像区画の観察コストから、対応する補正倍率を算定し、映像区画を構成する複数のフレームについて視差量算出処理手段により算出した平面画像の各画素の視差量に、算定した補正倍率を一律に乗じる補正処理を実行する構成とされていることが望ましい。

ここで、「累積奥行き移動量」から「映像区画の観察コスト」を算出すること、および「前後のフレーム間のデプスマップにおける平面画像上の特徴点のデプス値の変化量、平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値」から「前後のフレーム間の観察コスト」を算出することには、フレームの再生時間間隔を考慮して奥行き移動量から奥行き移動速度を算出し、この奥行き移動速度から観察コストを算出することが含まれる。また、観察コストが奥行き移動量や奥行き移動速度の関数となっていてその関数式により観察コストを連続的な値として算出することのみならず、例えば、奥行き移動量や奥行き移動速度が一定値を超えたら観察コストに１を加算する等のように、観察コストを段階的な値として算出すること等も含まれる。他の発明においても同様である。

このように奥行き移動量から観察コストを算出し、この観察コストを用いて視差量を補正する構成とした場合には、立体映像の観察者の視覚的負担を観察コストにより推定し、観察者の安全性を考慮した立体映像の制作を実現することが可能となる。

＜平面移動量および奥行き移動量の双方を用いて観察コストを算出する場合＞

さらに、前述した立体映像制作装置において、観察コスト算出処理手段は、前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量、および、前後のフレーム間のデプスマップにおける平面画像上の特徴点のデプス値の変化量、平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、映像区画の観察者に与える視覚的負担の度合いを示す映像区画の観察コストを算出するか、または前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値、および、前後のフレーム間のデプスマップにおける平面画像上の特徴点のデプス値の変化量、平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、映像区画を構成する複数のフレームについて累積加算して映像区画の観察コストを算出する処理を実行する構成とされ、視差量補正処理手段は、予め定められた映像区画の観察コストと補正倍率との対応関係に従って、観察コスト算出処理手段により算出した映像区画の観察コストから、対応する補正倍率を算定し、映像区画を構成する複数のフレームについて視差量算出処理手段により算出した平面画像の各画素の視差量に、算定した補正倍率を一律に乗じる補正処理を実行する構成とされていることが、より一層望ましい。

このように平面移動量および奥行き移動量の双方から観察コストを算出し、この観察コストを用いて視差量を補正する構成とした場合には、立体映像の観察者の視覚的負担についての観察コストによる推定が、より一層、実際の状況に即したものとなり、観察者の安全性を、より一層考慮した立体映像の制作を実現することが可能となる。

＜プログラムの発明＞

そして、本発明のプログラムは、以上に述べた立体映像制作装置として、コンピュータを機能させるためのものである。

なお、上記のプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

以上に述べたように本発明によれば、デプス値のとり得る範囲と、焦点深度内に立体映像の再生範囲を収めるように決定された適正な視差量の範囲とを対応させることにより、この対応関係に従って、各デプス値から各視差量を算出するので、デプスマップにどのような奥行き設定がなされていても、適正な範囲内に収まる視差量を算出することができ、観察者の快適性を考慮した立体映像の制作を実現することができるとともに、デプスマップから平面画像の各画素の視差量を算出するので、コンテンツ制作者の奥行き表現に関する意図を反映させた立体映像の制作を実現することがきるという効果がある。

本発明の一実施形態の立体映像制作装置の全体構成図。 前記実施形態の立体映像制作装置による立体映像の制作処理の流れを示すフローチャートの図。 前記実施形態の立体像の再生位置と焦点深度との関係の説明図。 前記実施形態の焦点深度と角度単位の視差量との関係の説明図。 前記実施形態の焦点深度内に立体映像を再生させるように設定された視差量の範囲とデプス値のとり得る範囲との対応関係の説明図。 前記実施形態の平面画像およびデプスマップの具体例を示す図。 前記実施形態のデプス値による奥行き表現の説明図。 前記実施形態のデプス値と角度単位の視差量との対応関係の具体例を示す図。 前記実施形態の特徴点だけ移動した場合の平面移動量の算出処理の説明図。 前記実施形態の画面全体が移動した場合の平面移動量の算出処理の説明図。 本発明を適用することが可能な場面の説明図。

以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の立体映像制作装置１０の全体構成が示されている。図２には、立体映像制作装置１０による立体映像の制作処理の流れがフローチャートで示されている。図３は、立体像の再生位置と焦点深度との関係の説明図であり、図４は、焦点深度と角度単位の視差量との関係の説明図であり、図５は、焦点深度内に立体映像を再生させるように設定された視差量の範囲とデプス値のとり得る範囲との対応関係の説明図である。また、図６には、平面画像およびデプスマップの具体例が示され、図７には、図６の例を用いたデプス値による奥行き表現の説明図が示され、図８には、図６の例を用いたデプス値と角度単位の視差量との対応関係の具体例が示されている。さらに、図９は、特徴点だけ移動した場合の平面移動量の算出処理の説明図であり、図１０は、画面全体が移動した場合の平面移動量の算出処理の説明図である。

＜立体映像制作装置１０の全体構成＞

立体映像制作装置１０は、１台または複数台のコンピュータにより構成され、立体映像の制作に関する各種処理を実行するとともに各種処理に必要なデータを記憶する本体２０と、例えばマウスやキーボード等の入力手段４０と、例えば液晶ディスプレイやＣＲＴディスプレイ等の表示手段５０とを備えて構成されている。また、印刷装置を適宜備えていてもよい。

なお、本実施形態では、立体映像制作装置１０は、主としてコンテンツ制作者の使用する立体映像開発ツールであるものとして説明を行うが、後述する図１１に示すように、本発明の立体映像制作装置は、立体映像開発ツールへの適用に限定されるものではない。

本体２０は、立体映像の制作に関する各種処理を実行する処理手段２０Ａと、この処理手段２０Ａに接続された設定条件記憶手段３０、平面画像記憶手段３１、視差量記憶手段３２、および左右画像記憶手段３３とを含んで構成されている。

処理手段２０Ａは、条件設定処理手段２１と、視差量算出処理手段２２と、観察コスト算出処理手段２３と、視差量補正処理手段２４と、左右画像作成処理手段２５と、立体映像再生処理手段２６とを含んで構成されている。

＜条件設定処理手段２１の構成＞

条件設定処理手段２１は、立体映像の制作および再生に必要な視聴環境パラメータ（視距離Ｌ、スクリーンの幅サイズＳＷおよび高さサイズＳＨ等）を含む各種の条件に関するユーザ（ここでは、コンテンツ制作者とする。）の入力設定操作を受け付け、入力設定された各種の条件を、設定条件記憶手段３０に記憶させる処理を実行するものである。

具体的には、条件設定処理手段２１は、処理対象とする映像区画の入力設定を受け付ける処理を行う。例えば、ユーザが、１２０フレームからなる１シーンを処理対象の映像区画として選択すると、何番目のフレームから何番目のフレームまでの１２０フレームが処理対象の映像区画であるという情報が設定条件記憶手段３０に記憶される。なお、処理対象とする映像区画として、１フレームのみを選択することもでき、この場合は、１枚の立体画像の制作となるので、観察コスト算出処理手段２３および視差量補正処理手段２４による処理は行われない。

また、条件設定処理手段２１は、焦点深度内に立体映像の再生範囲を収めるための角度視差量（角度単位の視差量）の範囲の入力設定を受け付ける処理を行う。例えば、適正な角度視差量（角度単位の視差量）の範囲を設定するためにシステムで予め幾つか用意されている方法の中から、ユーザが自分の制作意図に沿った方法を選択すると、この選択結果に応じて、選択対象の各方法毎に予め計算されて定められている交差方向の角度視差量の閾値Ｓneg（例えば、Ｓneg＝０．７４度）と、同側方向の角度視差量の閾値Ｓpos（例えば、Ｓpos＝０．７３度）とが設定条件記憶手段３０に記憶される。

図３に示すように、立体映像の観察中は、視覚系の焦点調節は画面近傍に働いており、左右の視線が交差する輻輳は、注視する立体像の近傍に働いている。一方、自然視では、調節と輻輳とは同じ位置に働く。従って、立体映像の観察中は、視覚系での距離情報の矛盾という不自然な状態が生じている。

しかしながら、調節には、焦点深度と呼ばれる範囲が存在し、注視点までの距離に応じて変化するこの範囲内の視標に対しては、新たに調節を行う必要がない。人間の焦点深度は、一般的に±０．２Ｄ〜０．３Ｄ（ディオプタ）程度と言われており、焦点深度内に立体映像の再生範囲を収めることで、眼精疲労が軽減されることが知られている。図４に示すように、±０．２Ｄ（ディオプタ）は、瞳孔間隔Ｕを６５ｍｍとすれば、角度視差量（角度単位の視差量）に換算すると、±０．７４度になる。従って、ユーザが、一般的な焦点深度の±０．２Ｄを選択すると、交差方向の角度視差量の閾値Ｓneg＝０．７４度、同側方向の角度視差量の閾値Ｓpos＝０．７４度が設定条件記憶手段３０に記憶される。

なお、図４における焦点深度の±０．２Ｄから角度視差量［deg］への換算処理を補足説明すると、ディオプタ［Ｄ］は、距離［ｍ］の逆数であり、例えば、１ｍのときは１Ｄとなり、２ｍのときは０．５Ｄとなるので、視距離Ｌ［ｍ］のときには、１／Ｌ［Ｄ］となる。従って、画面から＋０．２Ｄの位置（画面の手前側の交差方向の位置）の視距離Ｌ１［ｍ］のときには、（１／Ｌ１）＝｛（１／Ｌ）＋０．２｝［Ｄ］となり、画面から−０．２Ｄの位置（画面の奥側の同側方向の位置）の視距離Ｌ２［ｍ］のときには、（１／Ｌ２）＝｛（１／Ｌ）−０．２｝［Ｄ］となるので、次の式（１）、式（２）が成立する。

Ｌ１＝１／｛（１／Ｌ）＋０．２｝ ・・・・・・・・（１）

Ｌ２＝１／｛（１／Ｌ）−０．２｝ ・・・・・・・・（２）

画面までの輻輳角をα［ｄｅｇ］とし、画面から＋０．２Ｄの位置（画面の手前側の交差方向の位置）までの輻輳角をβ１［ｄｅｇ］とし、画面から−０．２Ｄの位置（画面の奥側の同側方向の位置）までの輻輳角をβ２［ｄｅｇ］とし、瞳孔間隔をＵとすると、（Ｕ／２）＝Ｌ×ｔａｎ｛（α／２）×（π／１８０）｝≒Ｌ×（α／２）×（π／１８０）となり、次の式（３）が成立する。但し、（α／２）×（π／１８０）は、十分に小さい値であるものとしている。また、同様にして、次の式（４）、式（５）が成立する。

α≒（１８０×Ｕ）／（π×Ｌ） ・・・・・・・・・・（３）

β１≒（１８０×Ｕ）／（π×Ｌ１） ・・・・・・・・（４）

β２≒（１８０×Ｕ）／（π×Ｌ２） ・・・・・・・・（５）

画面から＋０．２Ｄの位置（画面の手前側の交差方向の位置）に立体像が再生されたときの角度視差量［ｄｅｇ］は、交差方向では視差量がマイナス符号になるものとして定義すれば、（α−β１）になる。また、画面から−０．２Ｄの位置（画面の奥側の同側方向の位置）に立体像が再生されたときの角度視差量［ｄｅｇ］は、同側方向では視差量がプラス符号になるものとして定義すれば、（α−β２）になる。従って、交差方向の角度視差量（α−β１）［ｄｅｇ］および同側方向の角度視差量（α−β２）［ｄｅｇ］は、式（３）〜式（５）を代入し、さらに式（１）、式（２）を代入して、次の式（６）、式（７）のように表すことができる。

α−β１＝｛（１８０×Ｕ）×（Ｌ１−Ｌ）｝／（π×Ｌ×Ｌ１）
＝｛（１８０×Ｕ）／π｝×（−０．２） ・・・・・・・（６）

α−β２＝｛（１８０×Ｕ）×（Ｌ２−Ｌ）｝／（π×Ｌ×Ｌ２）
＝｛（１８０×Ｕ）／π｝×０．２ ・・・・・・・・・・（７）

よって、角度視差量は、瞳孔間隔Ｕに比例する。ここで、瞳孔間隔Ｕ＝０．０６５［ｍ］とすれば、交差方向の角度視差量（α−β１）＝−０．７４［ｄｅｇ］となり、同側方向の角度視差量（α−β２）＝＋０．７４［ｄｅｇ］となる。

このように焦点深度の±０．２Ｄを選択すると、前述したように、交差方向の角度視差量の閾値Ｓneg＝０．７４度と、同側方向の角度視差量の閾値Ｓpos＝０．７４度とが設定される。なお、焦点深度の±０．２Ｄの範囲は、例えば、画面までの視距離Ｌ＝４ｍ（０．２５Ｄ）であれば、画面手前側の視距離Ｌ１＝２．２ｍ（０．４５Ｄ）から画面奥側の視距離Ｌ２＝２０ｍ（０．０５Ｄ）までの範囲となる。

但し、視距離Ｌ＝５ｍ（０．２Ｄ）以上では、焦点深度の遠点は∞に発散してしまうので、同側方向の角度視差量の閾値Ｓposを設定することができない。つまり、上記の式（２）で、視距離Ｌ＝５ｍとすると、分母がゼロとなり、Ｌ２＝∞となってしまう。一方、交差方向については、上記の式（１）で、視距離Ｌ＝５ｍとすると、Ｌ１＝２．５ｍ（０．４Ｄ）となる。従って、想定される画面までの視距離Ｌが５ｍ（０．２Ｄ）以上の場合は、同側方向の角度視差量の閾値Ｓposは設定することができないが、交差方向の角度視差量の閾値Ｓnegについては、Ｓneg＝０．７４度と設定することができるので、同側方向の角度視差量の閾値Ｓposについては、別の方法を選択して設定する必要がある。

別の方法としては、例えば、パーシバル（Percival）の快適視域がある。観察者側について３Ｄ（ディオプタ）を限界として、相対輻輳範囲の１／３をパーシバル（Percival）の快適視域と呼び、視差量をこの範囲に収めることで、眼精疲労が軽減されることが知られている。立体映像の融合範囲についての先行研究より、被験者の８０％が融合可能な両眼視差は、同側方向２．２０度、交差方向２．１５度であり、この実験結果から推測されるパーシバル（Percival）の快適視域は、同側方向で０．７３度（２．２０度×１／３）、交差方向で０．７２度（２．１５度×１／３）である。

また、以上に述べた一般的な焦点深度の±０．２Ｄ（ディオプタ）や、パーシバル（Percival）の快適視域の他に、ユーザは、例えば、パナム（Panum）の融像域、輻輳限界等の各種の知見に基づく方法を任意に選択することができるようになっている。さらに、ユーザは、これらの方法を併用することにより、適正な視差量の範囲を設定することもできる。

例えば、一般的な焦点深度の±０．２Ｄ（ディオプタ）と、パーシバル（Percival）の快適視域とを併用することができる。パーシバル（Percival）の快適視域の場合は、同側方向が０．７３度、交差方向が０．７２度であり、また、一般的な焦点深度の±０．２Ｄ（ディオプタ）の場合は、画面までの視距離Ｌが５ｍ（０．２Ｄ）以上である環境を想定すれば、同側方向は∞、交差方向は０．７４度が、適正な視差量の範囲である。そこで、同側方向は、パーシバル（Percival）の快適視域の場合を選択し、交差方向は、一般的な焦点深度の場合を選択すると、同側方向については０．７３度、交差方向については０．７４度が、適正な視差量の範囲として決定される。従って、同側方向の角度視差量の閾値Ｓpos＝０．７３度、交差方向の角度視差量の閾値Ｓneg＝０．７４度が、設定条件記憶手段３０に記憶される。このように２つの方法を併せて採用する場合においては、同側方向、交差方向のいずれに関してもユーザが任意に選択することができる。なお、２つの方法を併せて採用する場合において、同側方向および交差方向の双方で安全サイドの値を選択する、すなわち、小さい方の角度を選択することもできる。

なお、式（６）、式（７）に示すように、角度視差量は、瞳孔間隔Ｕに比例するので、瞳孔間隔Ｕについては、視聴環境パラメータとして、ユーザが入力設定できるようにし、条件設定処理手段２１により設定条件記憶手段３０に記憶させるようにしてもよく、あるいは６５ｍｍ等の固定値を用いるようにしてもよい。また、瞳孔間隔Ｕは、左右画像作成処理手段２５による処理でも用いられるが、この処理でも、ユーザによる設定入力値を用いてもよく、６５ｍｍ等の固定値を用いてもよい。

また、上述したように、画面までの視距離Ｌが５ｍ（０．２Ｄ）以上である場合には、一般的な焦点深度の±０．２Ｄ（ディオプタ）に基づく方法では、同側方向の角度視差量の閾値Ｓposを設定することができないので、視距離Ｌについても、視聴環境パラメータとして、ユーザが入力設定できるようにし、条件設定処理手段２１により入力を受け付けて設定条件記憶手段３０に記憶させるようにしてもよい。また、条件設定処理手段２１により、視距離Ｌが５ｍ（０．２Ｄ）以上であるか否かの選択を受け付ける構成としてもよい。さらに、左右画像作成処理手段２５による処理を行う場合には、視距離Ｌが必要となるため、条件設定処理手段２１により、ユーザによる視距離Ｌの入力を受け付け、設定条件記憶手段３０に記憶させる。また、観察コスト算出処理手段２３による処理でも、視距離Ｌが必要となるため、観察コストによる視差量の補正を行う場合には、ユーザによる視距離Ｌの入力を受け付け、設定条件記憶手段３０に記憶させる。

また、スクリーンの幅サイズＳＷ［ｍｍ］および高さサイズＳＨ［ｍｍ］、並びに、映像の幅サイズＰＷ［pixel］および高さサイズＰＨ［pixel］については、観察コスト算出処理手段２３および左右画像作成処理手段２５による処理で必要となるため、これらの処理を行う場合には、視聴環境パラメータとして、ユーザが入力設定できるようにし、条件設定処理手段２１により入力を受け付けて設定条件記憶手段３０に記憶させる。

さらに、観察コストによる視差量の補正を行う場合には、条件設定処理手段２１は、ユーザによる観察コスト算出用の特徴点の指定のための入力（例えば、表示手段５０の画面上でのマウス等による入力）を受け付け、指定された特徴点を特定するためのデータ（例えば座標データ等）を設定条件記憶手段３０に記憶させる（図９参照）。また、画面全体の移動量を算出する場合には、画面全体の移動量を算出するというユーザの選択情報を設定条件記憶手段３０に記憶させる（図１０参照）。

＜視差量算出処理手段２２の構成＞

視差量算出処理手段２２は、デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、平面画像記憶手段３１に記憶されたデプスマップを構成する各デプス値から、左眼用画像と右眼用画像との対応点間の視差量を、平面画像の各画素毎に算出し、算出した各画素の視差量を、視差量記憶手段３２に記憶させる処理を実行するものである。

具体的には、視差量算出処理手段２２は、設定条件記憶手段３０に記憶されている同側方向の角度視差量の閾値Ｓposおよび交差方向の角度視差量の閾値Ｓnegを取得し、本実施形態では、一例として、図５に示すように、デプス値のとり得る最小値Ｄmin（例えば、Ｄmin＝０）と、同側方向の角度視差量の閾値Ｓpos（例えば、Ｓpos＝０．７３度）とを対応させるとともに、デプス値のとり得る最大値Ｄmax（例えば、Ｄmax＝２５５）と、交差方向の角度視差量の閾値−Ｓneg（例えば、−Ｓneg＝−０．７４度：ここでは、マイナス符号を付して対応させる。）とを対応させる。

なお、本実施形態では、図５に示すように、デプス値が小さい方が奥側であり、デプス値が大きい方が手前側となっているが、この関係は逆にして、デプス値が小さい方が手前側とし、デプス値が大きい方が奥側となるようにしてもよい。このように逆にした場合には、デプス値のとり得る最小値Ｄmin（例えば、Ｄmin＝０）と、交差方向の角度視差量の閾値−Ｓneg（例えば、−Ｓneg＝−０．７４度：ここでは、マイナス符号を付して対応させる。）とを対応させるとともに、デプス値のとり得る最大値Ｄmax（例えば、Ｄmax＝２５５）と、同側方向の角度視差量の閾値Ｓpos（例えば、Ｓpos＝０．７３度）とを対応させればよい。

また、デプス値のとり得る範囲は、０〜２５５である必要もなく、例えば、０〜５１１としてもよく、あるいは、例えば−１２７〜＋１２７等のようにプラスとマイナスに跨るようにしてもよく、任意に設定することができる。但し、デプスマップの規格が存在する場合には、それに合わせた範囲とすることが好ましい。そして、この説明は、デプス値のとり得る範囲の設定の任意性についてのものであるが、これとは別に、コンテンツ制作者が、ある１枚の平面画像に対応するデプスマップを作成する際に、実際に使用するデプス値の範囲が、デプス値のとり得る範囲の全範囲になっている必要はないというデプス値の実際の使用範囲の任意性もある。この実際の使用範囲の任意性について説明すると、デプスマップの作成で実際に使用されるデプス値の範囲は、デプス値のとり得る範囲がいかなる設定であっても、デプス値のとり得る範囲のうちの全部でもよく一部でもよい。例えば、デプス値のとり得る範囲が０〜２５５に設定されている場合には、０〜２５５の全範囲を使用してもよく、あるいは１０〜２４０等のように一部の範囲を使用してもよく、同様に、デプス値のとり得る範囲が０〜５１１に設定されている場合には、０〜５１１の全範囲を使用してもよく、あるいは２５〜４９０等のように一部の範囲を使用してもよい。

視差量算出処理手段２２は、図５に示した対応関係に従って、デプス値ｄから角度視差量（角度単位の視差量）Ｆを算出するので、（ｄ−Ｄmin）／（Ｄmax−Ｄmin）＝（Ｓpos−Ｆ）／｛Ｓpos−（−Ｓneg）｝という比例関係より、次の式（８）がその算出式となる。

Ｆ＝Ｓpos−｛（ｄ−Ｄmin）／（Ｄmax−Ｄmin）｝×（Ｓpos＋Ｓneg）・・（８）

ここで、例えば、Ｄmin＝０、Ｄmax＝２５５を代入し、さらに、例えば、Ｓpos＝０．７３度、Ｓneg＝０．７４度を代入すると、次の式（９）となる。なお、Ｆは、符号を有する値として算出され、プラスになった場合には、同側方向の視差量であり、マイナスになった場合には、交差方向の視差量である。

Ｆ＝Ｓpos−（ｄ／２５５）×（Ｓpos＋Ｓneg）
＝０．７３−（ｄ／２５５）×１．４７ ・・・・・・・・（９）

そして、図５に示すように、実際に使用するデプス値の範囲がｄmin〜ｄmaxであるとすれば、実際に呈示される映像の視差量の範囲Ｆpos〜（−Ｆneg）は、式（９）より、Ｆpos＝｛Ｓpos−（ｄmin／２５５）×（Ｓpos＋Ｓneg）｝から（−Ｆneg）＝｛Ｓpos−（ｄmax／２５５）×（Ｓpos＋Ｓneg）｝までの範囲となる。

例えば、図６の具体例で示されている子供のデプス値がｄ＝１８０であったとすると、角度視差量は、式（９）より、Ｆ＝−０．３０８度（交差方向に０．３０８度）と算出される（図５、図８参照）。また、第１の山のデプス値がｄ＝１００であったとすると、角度視差量は、式（９）より、Ｆ＝＋０．１５４度（同側方向に０．１５４度）と算出される（図５、図８参照）。

なお、デプス値の大小関係を逆に設定して、デプス値が小さい方が手前側とし、デプス値が大きい方が奥側となるようにした場合には、（Ｄmax−ｄ）／（Ｄmax−Ｄmin）＝（Ｓpos−Ｆ）／｛Ｓpos−（−Ｓneg）｝という比例関係より、次の式（１０）がその算出式となる。

Ｆ＝Ｓpos−｛（Ｄmax−ｄ）／（Ｄmax−Ｄmin）｝×（Ｓpos＋Ｓneg）・（１０）

＜観察コスト算出処理手段２３の構成＞

観察コスト算出処理手段２３は、処理対象の映像区画を構成する複数のフレームについて前後のフレーム間の平面画像の構成要素の平面移動量Ｍxyおよび／または奥行き移動量Ｍzを算出し、これらの平面移動量Ｍxyおよび／または奥行き移動量Ｍzを用いて、映像区画の観察者に与える視覚的負担の度合いを示す映像区画の観察コストＣを算出する処理を実行するものである。なお、本実施形態では、一例として、平面移動量Ｍxyおよび奥行き移動量Ｍzの双方を用いて映像区画の観察コストＣを算出する場合を説明するが、本発明は、これに限定されるものではなく、平面移動量Ｍxyまたは奥行き移動量Ｍzのいずれか一方のみを用いて映像区画の観察コストＣを算出してもよい。

具体的には、観察コスト算出処理手段２３は、設定条件記憶手段３０から処理対象の映像区画（映像中のある任意の区間であり、通常は、あるシーンとなる。）を構成する複数のフレームについての情報（例えばフレーム番号等）を取得し、平面画像記憶手段３１から処理対象のフレームの平面画像およびデプスマップを取得する。

そして、観察コスト算出処理手段２３は、先ず、前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値Ｍxyを算出する。平面移動量とは、画面に沿った水平垂直方向の動き量である。なお、以下では、「Ｍxy」という記号は、単位を特定しない移動量（移動速度も含む。）、つまり以下において説明される各種の単位変換の前後の全ての単位（［pixel］、［pixel／sec］、［ｍ］、［ｍ／sec］、［deg］、［deg／sec］等）で表された平面移動量の総称であるものとする。

２次元映像中に含まれる動き成分の抽出処理には、既存の画像解析技術を用いることができる。例えば、オプティカルフロー推定法（非特許文献１等参照）による動きベクトルの算出や、ｍｐｅｇ等の動画圧縮に用いられる動きベクトル情報を利用する。ここで得られる動きベクトルとは、前後のフレーム間で、平面画像上のある画素または画素の集合が、どの程度移動したかを示す情報である。また、より原始的な動き成分の抽出処理方法として、前後のフレームの平面画像において、特徴点の移動前後の位置（座標）を入力指定してもよい。

観察コスト算出処理手段２３は、ある映像における動き情報の中から代表値Ｍxyを決定し、代表値Ｍxyから、前後のフレーム間の観察コストＣ_Nの算出を行う。なお、前後のフレーム間の観察コストＣ_Nは、処理対象の映像区画を構成する複数のフレームのうち、第Ｎ番目のフレームから第Ｎ＋１番目のフレームへ映像が移る際の観察コストである。代表値Ｍxyの決定方法としては、任意のオブジェクトの特徴点となるピクセル移動量を代表値Ｍxyとする方法や、映像に含まれる複数の特徴点のピクセル移動量の平均値を代表値Ｍxyとする方法等が挙げられる。

例えば、図９に示すように、あるオブジェクト（図９の例では、蝶）のみが動いた場合、そのオブジェクトの特徴点となるピクセル移動量をその映像全体の代表値Ｍxyとする。このオブジェクトの特徴点Ｐ（Ｘ，Ｙ）が点Ｐ’（Ｘ’，Ｙ’）に移動したときの水平方向（幅方向）のピクセル移動量は、Ｐmx＝｜Ｘ’−Ｘ｜となり、垂直方向（高さ方向）のピクセル移動量は、Ｐmy＝｜Ｙ’−Ｙ｜となり、また、ピクセル単位の平面移動量（動きベクトルの大きさ）は、Ｐmxy＝（Ｐmx^２＋Ｐmy^２）^１／２となる。これらのＰmxやＰmy、またはＰmxyの数値を代表値Ｍxyとして用いて、前後のフレーム間の観察コストＣ_Nの算出を行ってもよいが、本実施形態では、後述するように、視角移動量θ（平面移動量を視角で表した数値）を算出するので、ＰmxやＰmy、またはＰmxyの数値を直接には用いないものとする。

また、図１０に示すように、画面全体が移動するような映像の場合、上記のような特徴点を複数（Ｎ個）設定する。そして、これらの特徴点Ｐ_１（Ｘ_１，Ｙ_１），Ｐ_２（Ｘ_２，Ｙ_２），…，Ｐ_N（Ｘ_N，Ｙ_N）のそれぞれについて、水平方向（幅方向）のピクセル移動量Ｐmx_１，Ｐmx_２，…，Ｐmx_Nや垂直方向（高さ方向）のピクセル移動量Ｐmy_１，Ｐmy_２，…，Ｐmy_N、またはピクセル単位の平面移動量（動きベクトルの大きさ）Ｐmxy_１，Ｐmxy_２，…，Ｐmxy_Nを算出し、これらのＰmx_１等の平均値ave（Ｐmx）やＰmy_１等の平均値ave（Ｐmy）、またはＰmxy_１等の平均値ave（Ｐmxy）を平面移動量の代表値Ｍxyとして用いてもよいが、本実施形態では、後述するように、視角移動量θ（平面移動量を視角で表した数値）を算出するので、ave（Ｐmx）やave（Ｐmy）、またはave（Ｐmxy）の数値を直接には用いないものとする。

すなわち、以上のようにして算出されるＰmxやＰmy、またはＰmxy、あるいはave（Ｐmx）やave（Ｐmy）、またはave（Ｐmxy）は、ピクセル単位の移動量［pixel］であるため、実際に映像が呈示される環境によって移動距離［ｍ］は異なる。そこで、観察コスト算出処理手段２３は、設定条件記憶手段３０に記憶されているスクリーンの幅サイズＳＷ［ｍ］および高さサイズＳＨ［ｍ］、映像の幅サイズＰＷ［pixel］および高さサイズＰＨ［pixel］、並びに、視距離Ｌ［ｍ］を用いて、ピクセル単位の移動量［pixel］を、視角移動量θ［deg］に変換する処理を行う。

但し、画面全体のピクセル移動量の平均値を代表値Ｍxyとした場合（図１０参照）は、特徴点となるピクセル位置（ピクセル単位の座標）が特定できないため、画面中心（ＰＷ／２［pixel］，ＰＨ／２［pixel］）、ＳＩ単位系では（ＳＷ／２［ｍ］，ＳＨ／２［ｍ］）からの移動と仮定する等の処理を行う。

具体的には、スクリーン面のＺ座標を０とし、観察者の視点位置をＶ（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）とし、特徴点Ｐ（Ｘ，Ｙ，０）が点Ｐ’（Ｘ’，Ｙ’，０）に移動したとする。この際、観察コスト算出処理手段２３は、ＳＷ／ＰＷ、ＳＨ／ＰＨ等の換算比率εを乗じることにより、ピクセル単位の移動量［pixel］をメートル単位の移動量［ｍ］に変換し、それぞれの単位をＳＩ単位系に揃える処理を行う。視点位置Ｖ（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）を画面中心からの垂線上とすれば、視点位置ＶのＸ座標の値Ｘ_Ｖは、ＳＷ／２［ｍ］とし、視点位置ＶのＹ座標の値Ｙ_Ｖは、ＳＨ／２［ｍ］とし、視点位置ＶのＺ座標の値Ｚ_Ｖは、視距離Ｌ［ｍ］とすることができる。

線分ＶＰと線分ＶＰ’とのなす角が、視角移動量θ［deg］となるので、観察コスト算出処理手段２３は、内積の定義より、次の式（１１）を用いて視角移動量θ［deg］を算出する。

ｃｏｓθ＝（ＶＰ・ＶＰ’）／（｜ＶＰ｜＊｜ＶＰ’｜） ・・・（１１）

ここで、ＶＰおよびＶＰ’は、３次元ベクトルＶＰ＝（Ｘ−Ｘ_Ｖ，Ｙ−Ｙ_Ｖ，０−Ｚ_Ｖ）、３次元ベクトルＶＰ’＝（Ｘ’−Ｘ_Ｖ，Ｙ’−Ｙ_Ｖ，０−Ｚ_Ｖ）である。｜ＶＰ｜は、ベクトルＶＰの大きさであり、｜ＶＰ｜＝｛（Ｘ−Ｘ_Ｖ）^２＋（Ｙ−Ｙ_Ｖ）^２＋（０−Ｚ_Ｖ）^２｝^１／２である。｜ＶＰ’｜は、ベクトルＶＰ’の大きさであり、｜ＶＰ’｜＝｛（Ｘ’−Ｘ_Ｖ）^２＋（Ｙ’−Ｙ_Ｖ）^２＋（０−Ｚ_Ｖ）^２｝^１／２である。ＶＰ・ＶＰ’は、ベクトルの内積であり、ＶＰ・ＶＰ’＝（Ｘ−Ｘ_Ｖ）＊（Ｘ’−Ｘ_Ｖ）＋（Ｙ−Ｙ_Ｖ）＊（Ｙ’−Ｙ_Ｖ）＋（０−Ｚ_Ｖ）＊（０−Ｚ_Ｖ）である。なお、「＊」は、乗算である。

また、画面全体のピクセル移動量の平均値ave（Ｐmx）およびave（Ｐmy）を平面移動量の代表値Ｍxyとした場合（図１０参照）は、ave（Ｐmx）およびave（Ｐmy）に、ＳＷ／ＰＷ、ＳＨ／ＰＨ等の換算比率εを乗じてピクセル単位からメートル単位に変換すると、ave（Ｐmx）＊ε［ｍ］、ave（Ｐmy）＊ε［ｍ］となるので、画面中心（ＳＷ／２，ＳＨ／２，０）から、点（ＳＷ／２＋ave（Ｐmx）＊ε，ＳＨ／２＋ave（Ｐmy）＊ε，０）へ移動したものとして、前述した式（１１）に相当する式を用いて視角移動量θ［deg］を算出する。

それから、観察コスト算出処理手段２３は、算出した視角移動量θ［deg］を、前後のフレームの再生時間間隔ｔ［sec］で除することにより、視角移動速度ω［deg／sec］を算出する。本実施形態では、このようにして算出された視角移動速度ω［deg／sec］が、最終的に、平面移動量の代表値Ｍxyとして用いられる。前後のフレームの再生時間間隔ｔ［sec］は、固定値としてもよく、あるいは条件設定処理手段２１により、ユーザの設定入力を受け付けて設定条件記憶手段３０に記憶させておいてもよい。

なお、以上の説明では、ピクセル単位の移動量［pixel］を視角移動量θ［deg］に変換してから、前後のフレームの再生時間間隔ｔ［sec］で除することにより視角移動速度ω［deg／sec］を算出しているが、ピクセル単位の移動量［pixel］を、前後のフレームの再生時間間隔ｔ［sec］で除することにより、ピクセル単位の移動速度Ｑxy［pixel／sec］を算出してから、視角移動速度ω［deg／sec］への変換を行ってもよい。

次に、観察コスト算出処理手段２３は、平面画像記憶手段３１に記憶されているデプスマップ（処理対象の平面画像に対応するデプスマップ）を構成する各デプス値を用いて、前後のフレーム間のデプスマップにおける平面画像上の特徴点のデプス値の変化量、平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値Ｍzを算出する。例えば、前後のフレーム間で、あるオブジェクト（例えば、蝶）のみが動いた場合、平面画像上でこのオブジェクトの特徴点Ｐ（Ｘ，Ｙ）が点Ｐ’（Ｘ’，Ｙ’）に移動したときの、点Ｐのデプス値ｄから点Ｐ’のデプス値ｄ’への変化量ｄm＝｜ｄ’−ｄ｜が、奥行き移動量の代表値Ｍzとなる。なお、「Ｍz」という記号は、「Ｍxy」の場合と同様に、単位を特定しない移動量（移動速度も含む。）、つまり各種の単位変換の前後の全ての単位で表された奥行き移動量の総称であるものとする。また、奥行き移動量の代表値Ｍzは、必ずしも平面移動（平面画像上での画面に沿った移動）を伴った特徴点についての奥行き移動量である必要はなく、平面画像上では動かないが、奥行き方向には動く特徴点についての奥行き移動量であってもよい。但し、平面移動（平面画像上での画面に沿った移動）を伴った特徴点についての奥行き移動量を、奥行き移動量の代表値Ｍzとする処理を行ってもよく、この場合には、奥行き移動量の代表値Ｍzは、平面移動量の代表値Ｍxyに付随するものとなる。

また、画面全体の移動量の平均値を平面移動量の代表値Ｍxyとした場合（図１０参照）には、奥行き移動量についても、各特徴点におけるデプス値の変化量ｄm_１，ｄm_２，ｄm_３，…の平均値ave（ｄm）を、奥行き移動量の代表値Ｍzとすることができる。

なお、特徴点におけるデプス値の変化量ｄm、または各特徴点におけるデプス値の変化量の平均値ave（ｄm）を、前後のフレームの再生時間間隔ｔ［sec］で除することにより、デプス値の変化速度Ｑz［／sec］を算出し、このＱz［／sec］を奥行き移動量の代表値Ｍzとしてもよい。すなわち、奥行き方向の動きについても、デプス値の変化量そのものではなく、変化速度に着目して前後のフレーム間の観察コストＣ_Nを算出してもよい。

続いて、観察コスト算出処理手段２３は、平面移動量の代表値Ｍxyおよび奥行き移動量の代表値Ｍzから、前後のフレーム間の観察コストＣ_Nを算出する。この前後のフレーム間の観察コストＣ_Nの算出処理には、次の式（１２）に示すように、平面移動量の代表値Ｍxyに重み付け係数αを乗じ、奥行き移動量の代表値Ｍzに重み付け係数βを乗じ、これらを加算することで算出する方法や、平面移動量の代表値Ｍxyや奥行き移動量の代表値Ｍzが、ある一定値を超えた場合に、観察コストを加算する方法等を採用することができる。

Ｃ_N＝αＭxy＋βＭz ・・・・・・・（１２）

上記の式（１２）により前後のフレーム間の観察コストＣ_Nを算出する方法を採用した場合には、重み付け係数α，βは、任意に設定することができる。すなわち、平面移動量の代表値Ｍxyによる観察コスト（平面移動に伴う視覚的負担の度合い）と、奥行き移動量の代表値Ｍzによる観察コスト（奥行き移動に伴う視覚的負担の度合い）との重み付けは、任意に設定することができる。

平面移動量の代表値Ｍxyや奥行き移動量の代表値Ｍzが、ある一定値を超えた場合に、観察コストを加算する方法を採用する場合には、例えば、先行研究より、人間の滑動性眼球運動の最大許容速度は６０［deg／sec］という知見が報告されているので、視角移動速度ω［deg／sec］がこの６０［deg／sec］よりも大きくなる映像については観察コストを加算するといった処理を行うことができる。また、加算するかしないかではなく（１か０かではなく）、より段階的に、例えば、視角移動速度ω［deg／sec］が４０［deg／sec］を超えたら、観察コストに１を加算し、視角移動速度ω［deg／sec］が５０［deg／sec］を超えたら、観察コストに３を加算し、視角移動速度ω［deg／sec］が６０［deg／sec］を超えたら、観察コストに５を加算する等のように、多段階の数値加算方式にしてもよい。奥行き移動量についても同様であり、１段階または多段階の数値加算方式を採用することができる。この場合、平面移動量のみに基づき観察コストが加算される場合と、奥行き移動量のみに基づき観察コストが加算される場合と、両者の加算が同時に行われる場合とがある。そして、前後のフレーム間で動きが少ない時間帯があれば、観察コストの加算が行われないフレーム間もあるので、前後のフレーム間の観察コストＣ_１，Ｃ_２，Ｃ_３，…は、例えば、１，２，１，０，３，０，３，１，０，…等のようになり、０のときと、数値があるときとが、交錯することもある。

その後、観察コスト算出処理手段２３は、処理対象の映像区画を構成する複数のフレームについて前後のフレーム間の観察コストＣ_１，Ｃ_２，Ｃ_３，…を累積加算し、映像区画の観察コストＣを算出する処理を行う。すなわち、Ｃ＝ΣＣ_N（但し、Ｎ＝１〜映像区画の総フレーム数から１を減じた数値）＝Ｃ_１＋Ｃ_２＋Ｃ_３＋…により、映像区画の観察コストＣを算出する。

また、以上の説明では、観察コスト算出処理手段２３は、前後のフレーム間における平面移動量の代表値Ｍxyや奥行き移動量の代表値Ｍzを用いて、前後のフレーム間の観察コストＣ_１，Ｃ_２，Ｃ_３，…を算出し、これらを累積加算して映像区画の観察コストＣを算出していたが、このように前後のフレーム間の観察コストＣ_Nを算出するのではなく、次のようにして映像区画の観察コストＣを算出する構成としてもよい。

すなわち、観察コスト算出処理手段２３は、前後のフレーム間における平面移動量の代表値Ｍxyを算出し、この代表値Ｍxyを、処理対象の映像区画を構成する複数のフレームについて累積加算して累積平面移動量ΣＭxyを算出するとともに、前後のフレーム間における奥行き移動量の代表値Ｍzを算出し、この代表値Ｍzを、処理対象の映像区画を構成する複数のフレームについて累積加算して累積奥行き移動量ΣＭzを算出し、累積平面移動量ΣＭxyおよび累積奥行き移動量ΣＭzから、映像区画の観察コストＣを算出する構成としてもよい。

このような構成とする場合、映像区画の観察コストＣの算出処理には、次の式（１３）に示すように、累積平面移動量ΣＭxyに重み付け係数αを乗じ、累積奥行き移動量ΣＭzに重み付け係数βを乗じ、これらを加算することで算出する方法や、累積平面移動量ΣＭxyや累積奥行き移動量ΣＭzが、ある一定値を超えた場合に、観察コストを加算する方法等を採用することができる。

Ｃ＝αΣＭxy＋βΣＭz ・・・・・・・（１３）

なお、累積平面移動量ΣＭxyや累積奥行き移動量ΣＭzは、前後のフレーム間毎に算出された平面移動量の代表値Ｍxyや奥行き移動量の代表値Ｍzを加算相殺して算出されるものではなく、これらの代表値Ｍxy，Ｍzが、プラスの符号のみを有するものとして、絶対値を加算して算出されるものである。例えば、オブジェクトが画面上を動き回り（例えば、蝶が飛び回り）、映像区画を構成する最終フレームになった時点で、先頭フレームの位置に戻って来た場合には、累積平面移動量ΣＭxy＝０とするのではなく、動き回った移動量（例えば、蝶が飛び回った移動量）を通算することにより、累積平面移動量ΣＭxyを算出する。累積奥行き移動量ΣＭzの場合も同様であり、オブジェクトが奥行き方向に動く動作を繰り返し、最終フレームになった時点で、結局、先頭フレームの位置に戻って来た場合には、累積奥行き移動量ΣＭz＝０とするのではなく、移動量を通算する。

また、観察コスト算出処理手段２３は、累積平面移動量ΣＭxyや累積奥行き移動量ΣＭzを、映像区画の再生時間Ｔ（映像区画を構成する複数フレームの通算再生時間）で除することにより、平均平面移動速度（［deg／sec］、または［ｍ／sec］若しくは［pixel／sec］）や平均奥行き移動速度（［／sec］）を算出し、平均平面移動速度や平均奥行き移動速度により、映像区画の観察コストＣを算出する構成としてもよい。ここで、映像区画の再生時間Ｔは、前後のフレームの再生時間間隔ｔに、「映像区画の総クレーム数から１を減じた数値」を乗じた時間である。

＜視差量補正処理手段２４の構成＞

視差量補正処理手段２４は、観察コスト算出処理手段２３により算出した映像区画の観察コストＣを用いて、映像区画を構成する複数のフレームについて視差量算出処理手段２２により算出されて視差量記憶手段３２に記憶されている平面画像の各画素の視差量を補正し、補正後の各画素の視差量を、視差量記憶手段３２に記憶させる処理を実行するものである。

具体的には、視差量補正処理手段２４は、予め定められた映像区画の観察コストＣと補正倍率Ｒとの対応関係Ｒ＝ｆ（Ｃ）に従って、観察コスト算出処理手段２３により算出した映像区画の観察コストＣから、対応する補正倍率Ｒを算定し、映像区画を構成する複数のフレームについて視差量算出処理手段２２により算出されて視差量記憶手段３２に記憶されている平面画像の各画素の視差量に、算定した補正倍率Ｒを一律に乗じる補正処理を実行する。

従って、視差量補正処理手段２４は、映像区画を構成する全フレームの全画素の視差量に対し、同側方向の視差量と交差方向の視差量とを区別することなく、補正倍率Ｒを一律に乗じる。この補正倍率Ｒは、映像区画の観察コストＣの関数であり、映像区画の観察コストＣの大きさに応じ、０〜１の範囲で定まるものである。映像区画の観察コストＣが大きい程、視差量を小さくする必要があるので、補正倍率Ｒは小さくなり、例えば、１次関数で示せば、Ｒ＝ｆ（Ｃ）＝１−γＣ（γは係数）とすること等ができる。また、Ｒ＝ｆ（Ｃ）は、１次関数である必要はなく、映像区画の観察コストＣが大きい程、補正倍率Ｒが小さくなる関係であれば、任意の関数とすることができ、例えば、２次曲線や３次曲線等でもよく、あるいは折れ線部分を有する関数として、映像区画の観察コストＣが一定値を超えるまでは、補正倍率Ｒが１となるようにしてもよく、映像区画の観察コストＣが一定値を超えると、補正倍率Ｒが０となるようにしてもよい。なお、補正倍率Ｒが０になると、全画素の視差量が０になるので、平面画像が呈示されることになる。

ここで、Ｒ＝ｆ（Ｃ）は、プログラム内に記述された式でもよく、あるいは図示されない補正倍率テーブル記憶手段に記憶された補正倍率テーブルでもよい。

＜左右画像作成処理手段２５の構成＞

左右画像作成処理手段２５は、視差量算出処理手段２２により算出され、または視差量補正処理手段２４により補正されて視差量記憶手段３２に記憶されている平面画像の各画素の視差量を用いて、平面画像記憶手段３１に記憶されている平面画像（２Ｄ画像）から、立体映像の再生用の左眼用画像および右眼用画像を作成し、作成した左眼用画像および右眼用画像を、左右画像記憶手段３３に記憶させる処理を実行するものである。

この際、左右画像作成処理手段２５は、平面画像（２Ｄ画像）そのものを左眼用画像とするとともに、与えられた視差量を用いて平面画像（２Ｄ画像）から右眼用画像を作成する構成としてもよく、逆に、平面画像（２Ｄ画像）そのものを右眼用画像とするとともに、与えられた視差量を用いて平面画像（２Ｄ画像）から左眼用画像を作成する構成としてもよく、あるいは、与えられた視差量の半分の値を用いて平面画像（２Ｄ画像）から左眼用画像および右眼用画像の双方を作成する構成としてもよい。

具体的には、左右画像作成処理手段２５は、視差量記憶手段３２に記憶されている角度視差量（角度単位の視差量）Ｆを、ピクセル単位の視差量（図４に示すように、交差方向の視差量を２×Ｋ１とし、同側方向の視差量を２×Ｋ２とする。）に変換する。そして、左眼用画像または右眼用画像のいずれか一方の画像のみを新たに作成する場合には、左眼用画像または右眼用画像のいずれか他方の画像（つまり、平面画像）の各画素を交差方向に２×Ｋ１［pixel］ずらし、同側方向に２×Ｋ２［pixel］ずらす。また、左眼用画像および右眼用画像の双方を新たに作成する場合には、平面画像の各画素を交差方向にＫ１［pixel］ずらし、同側方向にＫ２［pixel］ずらす。

図４において、ｔａｎ（α／２）＝（Ｕ／２）／Ｌであるから、次の式（１４）が成立する。Ｕは、瞳孔間隔であり、Ｌは、視距離である。

α＝２×ａｒｃｔａｎ｛（Ｕ／２）／Ｌ｝ ・・・・・・・・（１４）

前述した式（６）に示すように、交差方向の角度視差量Ｆ（マイナスの値となる。）は、（α−β１）［ｄｅｇ］であり、前述した式（７）に示すように、同側方向の角度視差量Ｆ（プラスの値となる。）は、（α−β２）［ｄｅｇ］であるから、次の式（１５）および式（１６）が成立する。

β１＝α−Ｆ（交差方向の視差量Ｆであり、マイナスの値） ・・・（１５）

β２＝α−Ｆ（同側方向の視差量Ｆであり、プラスの値） ・・・・（１６）

また、図４において、ｔａｎ（β１／２）＝（Ｕ／２）／Ｌ１であるから、式（１７）が成立し、ｔａｎ（β２／２）＝（Ｕ／２）／Ｌ２であるから、式（１８）が成立する。

Ｌ１＝（Ｕ／２）／ｔａｎ（β１／２） ・・・・・・・・・・・・（１７）

Ｌ２＝（Ｕ／２）／ｔａｎ（β２／２） ・・・・・・・・・・・・（１８）

さらに、図４において、Ｌ１／（Ｌ−Ｌ１）＝（Ｕ／２）／Ｋ１という相似関係から、式（１９）が成立し、Ｌ２／（Ｌ２−Ｌ）＝（Ｕ／２）／Ｋ２という相似関係から、式（２０）が成立する。

Ｋ１＝（Ｕ／２）×｛（Ｌ−Ｌ１）／Ｌ１｝ ・・・・・・・・・・（１９）

Ｋ２＝（Ｕ／２）×｛（Ｌ２−Ｌ）／Ｌ２｝ ・・・・・・・・・・（２０）

従って、左右画像作成処理手段２５は、式（１４）により、αを算出し、式（１５）や式（１６）に、αとＦを代入してβ１やβ２を算出し、式（１７）や式（１８）に、β１やβ２を代入してＬ１やＬ２を算出し、式（１９）や式（２０）に、Ｌ１やＬ２を代入してＫ１やＫ２を算出する。算出したＫ１やＫ２は、ピクセル単位の視差量の半分の値であるから、これにより、平面画像の各画素のずらし量［pixel］を定め、左眼用画像および右眼用画像を作成する。

＜立体映像再生処理手段２６の構成＞

立体映像再生処理手段２６は、左右画像記憶手段３３に記憶されている左眼用画像および右眼用画像を用いて、表示手段５０の画面上に、立体映像を再生する処理を実行するものである。ユーザが、コンテンツ制作者の場合には、制作した立体映像の快適性や安全性等の確認のために再生処理が行われる。

＜各記憶手段３０〜３３の構成＞

設定条件記憶手段３０は、ユーザ（コンテンツ制作者等）により入力指定された立体映像の制作処理に関する設定条件として、処理対象の映像区画を指定する情報（例えば、何番目のフレームから何番目のフレームまでということを示すフレーム番号）と、交差方向の角度視差量の閾値Ｓneg（例えば、Ｓneg＝０．７４度）と、同側方向の角度視差量の閾値Ｓpos（例えば、Ｓpos＝０．７３度）と、想定する視距離Ｌ［ｍ］と、瞳孔間隔Ｕ［ｍ］（［ｍｍ］でもよい。）と、スクリーンの幅サイズＳＷ［ｍ］（［ｍｍ］でもよい。）および高さサイズＳＨ［ｍ］（［ｍｍ］でもよい。）と、映像の幅サイズＰＷ［pixel］および高さサイズＰＨ［pixel］と、観察コスト算出用の特徴点の位置情報（座標データ）と、前後のフレームの再生時間間隔ｔ［sec］とを記憶するものである。

平面画像記憶手段３１は、平面画像（２Ｄ画像）と、この平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを、フレーム識別情報（フレーム番号等）と関連付けて記憶するものである。

視差量記憶手段３２は、平面画像の各画素毎（ピクセル毎）に算出された視差量を、フレーム識別情報（フレーム番号等）および各画素の位置情報（座標データ）と関連付けて記憶するものである。なお、視差量が、その並び順でどの画素についてのデータであるのかがわかるようになっていれば、各画素の位置情報（座標データ）との関連付けは省略してもよい。また、視差量記憶手段３２には、視差量算出処理手段２２により算出された補正前の視差量と、視差量補正処理手段２４により算出された補正後の視差量とを、並列させて記憶させてもよく、あるいは視差量補正処理手段２４による補正処理が行われた場合には、得られた補正後の視差量を、視差量算出処理手段２２により算出された補正前の視差量に上書き保存するようにしてもよい。

左右画像記憶手段３３は、立体映像再生用の左眼用画像および右眼用画像を、フレーム識別情報（フレーム番号等）と関連付けて記憶するものである。

そして、以上において、本体２０は、１台のコンピュータあるいは１つのＣＰＵにより実現されるものに限定されず、複数のコンピュータあるいは複数のＣＰＵ等で分散処理を行うことにより実現されるものであってもよい。

また、処理手段２０Ａを構成する各処理手段２１〜２６は、コンピュータ本体の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。

さらに、各記憶手段３０〜３３は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。

このような本実施形態においては、以下のようにして立体映像制作装置１０により立体映像の制作処理が行われる。

先ず、コンテンツ制作者は、立体映像制作装置１０による一連の処理を行う前に、既存の別のプログラムまたは既存の別の装置により、平面画像およびデプスマップを作成して用意する。デプスマップは、平面画像から自動生成してもよく、コンテンツ制作者が主として手作業で作成してもよい。このようにして用意された平面画像およびデプスマップは、具体的には、例えば、図６のようなものである。

図６の例では、平面画像の中に、オブジェクトとして、蝶、子供、第１の山、第２の山、雲が含まれる。これらのオブジェクトは、それぞれ異なるデプス値を有しており、デプスマップの中に示したように、蝶のデプス値＝２３０、子供のデプス値＝１８０、第１の山のデプス値＝１００、第２の山のデプス値＝７５、雲のデプス値＝２５となっている。通常、オブジェクトには厚みがあるので、オブジェクト自体も、ある範囲で分散するデプス値を有しているが、ここでは、説明の便宜上、オブジェクトの厚みは考慮せずに、同一のデプス値を有するものとして簡略化する。図６の例の場合には、図７に示すようなデプス値による奥行き表現がなされている。

図２において、ユーザ（ここではコンテンツ制作者とする。）は、立体映像制作装置１０による処理を開始し（ステップＳ１）、予め作成して用意しておいた平面画像およびデプスマップを、平面画像記憶手段３１に記憶させる（ステップＳ２）。そして、平面画像およびデプスマップの作成および保存は、複数フレームについて繰り返される。

続いて、ユーザは、条件設定処理手段２１により表示手段５０の画面上に表示された設定画面で、入力手段４０を用いて、立体映像の制作処理に関する設定条件として、処理対象の映像区画を指定する情報（例えば、何番目のフレームから何番目のフレームまでということを示すフレーム番号）と、交差方向の角度視差量の閾値Ｓneg（例えば、Ｓneg＝０．７４度）と、同側方向の角度視差量の閾値Ｓpos（例えば、Ｓpos＝０．７３度）と、想定する視距離Ｌ［ｍ］と、瞳孔間隔Ｕ［ｍ］（［ｍｍ］でもよい。）と、スクリーンの幅サイズＳＷ［ｍ］（［ｍｍ］でもよい。）および高さサイズＳＨ［ｍ］（［ｍｍ］でもよい。）と、映像の幅サイズＰＷ［pixel］および高さサイズＰＨ［pixel］と、観察コスト算出用の特徴点の位置情報（座標データ）と、前後のフレームの再生時間間隔ｔ［sec］との入力指定を行う。そして、入力指定された設定条件は、条件設定処理手段２１により設定条件記憶手段３０に記憶される（ステップＳ３）。

それから、視差量算出処理手段２２により、前述した式（８）を用いて、平面画像記憶手段３１に記憶された処理対象の映像区画を構成するフレームの平面画像に対応するデプスマップを構成するデプス値ｄから角度視差量（角度単位の視差量）Ｆを算出し、視差量記憶手段３２に記憶させる（ステップＳ４）。この際、前述した式（８）におけるＤmin、Ｄmax、Ｓpos、Ｓnegというパラメータは、設定条件記憶手段３０に記憶されている値を用いる。

前述した式（８）において、例えば、Ｄmin＝０、Ｄmax＝２５５を代入し、さらに、例えば、Ｓpos＝０．７３度、Ｓneg＝０．７４度を代入すると、前述した式（９）のようになる。そして、例えば、前述した図６および図７で示した具体例に基づき、前述した式（９）を用いて、デプス値ｄから角度視差量Ｆを算出すると、図８に示すように、蝶については、デプス値ｄ＝２３０から角度視差量Ｆ＝−０．５９６度（交差方向に０．５９６度）が算出され、子供については、デプス値ｄ＝１８０から角度視差量Ｆ＝−０．３０８度（交差方向に０．３０８度）が算出され、第１の山については、デプス値ｄ＝１００から角度視差量Ｆ＝＋０．１５４度（同側方向に０．１５４度）が算出され、第２の山については、デプス値ｄ＝７５から角度視差量Ｆ＝＋０．２９８度（同側方向に０．２９８度）が算出され、雲については、デプス値ｄ＝２５から角度視差量Ｆ＝＋０．５８６度（同側方向に０．５８６度）が算出される。

続いて、ユーザは、観察コストによる視差量の補正を行うか否かを判断し、表示手段５０の画面上で、入力手段４０を用いて、その判断結果に従った選択操作（例えば、「補正実行」ボタンの押下操作等）を行う（ステップＳ５）。

ステップＳ５で、観察コストによる視差量の補正を行うという選択操作が行われた場合には、観察コスト算出処理手段２３により、先ず、前後のフレーム間の平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値Ｍxyを算出し、この代表値Ｍxyを、前述した式（１１）を用いて、視角移動量θ[deg]に変換し、さらに視角移動速度ω［deg／sec］に変換する。

例えば、幅サイズＰＷ＝１９２０［pixel］および高さサイズＰＨ＝１０８０［pixel］の映像で、前後のフレーム間で、すなわち前後のフレームの再生時間間隔ｔ＝０．２［sec］の間に、注視オブジェクト（図９の例では、蝶）の特徴点が、Ｐ（Ｘ，Ｙ）＝Ｐ（６４０，３６０）［pixel］から、点Ｐ’（Ｘ’，Ｙ’）＝Ｐ’（１２８０，７２０）［pixel］に移動したとし、そのピクセル移動量を代表値Ｍxyとする。そして、この映像を、幅サイズＳＷ＝２．２［ｍ］および高さサイズＳＨ＝１．２［ｍ］のスクリーンで、視距離Ｌ＝３．０［ｍ］にて観察したときの動き量を、視角移動量θ[deg]（平面移動量を視角で表した数値）で算出する。

スクリーン面のＺ座標を０とし、観察者の視点位置Ｖを画面中心からの垂線上とすれば、Ｖ（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）＝Ｖ（ＳＷ／２，ＳＨ／２，Ｌ）＝Ｖ（１．１，０．６，３．０）［ｍ］となる。これを、換算比率ε１＝ＳＷ／ＰＷ＝２．２／１９２０＝約０．００１１［ｍ／pixel］や、ε２＝ＳＨ／ＰＨ＝１．２／１０８０＝約０．００１１［ｍ／pixel］を用いて、ピクセル単位に統一すると、Ｖ（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）＝Ｖ（１．１／ε１，０．６／ε２，３．０／ε２）＝Ｖ（９６０，５４０，２７００）［pixel］となる。また、特徴点は、Ｐ（Ｘ，Ｙ，０）＝Ｐ（６４０，３６０，０）［pixel］から、点Ｐ’（Ｘ’，Ｙ’，０）＝Ｐ’（１２８０，７２０，０）［pixel］に移動したことになる。なお、すべてをメートル単位で統一してもよく、換算比率ε１やε２で除するか、ε１やε２を乗じるかの相違だけである。

ＶＰ・ＶＰ’＝７１５５２０、｜ＶＰ｜＊｜ＶＰ’｜＝７４２４８００であるから、前述した式（１１）より、ｃｏｓθ＝０．９６４となる。従って、視角移動量θ＝１５．５[deg]となり、これを再生時間間隔ｔ＝０．２［sec］で除すると、視角移動速度ω＝７７．５［deg／sec］となり、これが換算後の平面移動量の代表値Ｍxyとなる。

次に、前述した説明では、点Ｐ（Ｘ，Ｙ）＝Ｐ（６４０，３６０）［pixel］のデプス値ｄから、点Ｐ’ （Ｘ’，Ｙ’）＝Ｐ’（１２８０，７２０）［pixel］のデプス値ｄ’への変化量ｄm＝｜ｄ’−ｄ｜が、奥行き移動量の代表値Ｍzとなるものとしていたが、ここでは、この代表値Ｍzが、前述した式（９）を用いて、点Ｐの角度視差量と、点Ｐ’ の角度視差量との差に換算された状態で考える。すなわち、点Ｐのデプス値ｄから角度視差量Ｆを算出し、点Ｐ’のデプス値ｄ’から角度視差量Ｆ’を算出し、これらの角度視差量の差の絶対値Ｆm＝｜Ｆ’−Ｆ｜を算出し、Ｆm＝０．５［deg］になったとする。これを、再生時間間隔ｔ＝０．２［sec］で除すると、Ｆm／ｔ＝０．５／０．２＝２．５［deg／sec］となり、これが換算後の奥行き移動量の代表値Ｍzとなる。

続いて、観察コスト算出処理手段２３により、平面移動量の代表値Ｍxyおよび奥行き移動量の代表値Ｍzから、前述した式（１２）を用いて、前後のフレーム間の観察コストＣ_Nを算出する。

例えば、平面画像上の動き（水平垂直方向の動き）を重視して、α＝０．９とし、β＝０．１とすると、Ｃ_N＝αＭxy＋βＭz＝０．９×７７．５＋０．１×２．５＝７０となる。

その後、以上のようにして算出した前後のフレーム間の観察コストＣ_１，Ｃ_２，Ｃ_３，…を累積加算し、映像区画の観察コストＣ＝ΣＣ_N（但し、Ｎ＝１〜映像区画の総フレーム数から１を減じた数値）を算出する（ステップＳ６）。なお、以上の具体的数値を用いた例示において、平面移動量の代表値Ｍxyとして算出した視角移動速度ω＝７７．５［deg／sec］、および奥行き移動量の代表値Ｍzとして算出したＦm／ｔ＝２．５［deg／sec］は、前後のフレーム間の観察コストＣ_Nの算出用データであるものとして説明したが、これらを、映像区画の観察コストＣの算出用データとして映像区画を構成する複数のフレームについて算出された累積平面移動量ΣＭxyや累積奥行き移動量ΣＭzと考えてもよく、その場合には、上記の例示の０．２［sec］を、前後のフレーム間の再生時間間隔ｔではなく、映像区画の再生時間Ｔと考えればよい。

その後、視差量補正処理手段２４により、観察コスト算出処理手段２３により算出した映像区画の観察コストＣから、予め定められた映像区画の観察コストＣと補正倍率Ｒとの対応関係Ｒ＝ｆ（Ｃ）に従って、対応する補正倍率Ｒを算定し、処理対象の映像区画を構成する複数のフレームについて視差量算出処理手段２２により算出されて視差量記憶手段３２に記憶されている平面画像の各画素の視差量に、算定した補正倍率Ｒを一律に乗じる補正処理を行い、得られた補正後の各画素の視差量を、視差量記憶手段３２に記憶させる（ステップＳ７）。

例えば、Ｒ＝ｆ（Ｃ）＝１−γＣ（係数γ＝０．００２）の場合には、映像区画の観察コストＣ＝７０とすれば、補正倍率Ｒ＝１−０．００２×７０＝０．８６となる。

従って、例えば、交差方向の角度視差量の閾値−Ｓneg＝−０．７４度であり、同側方向の角度視差量の閾値Ｓpos＝０．７３度であるものとすると、補正後の角度視差量のとり得る範囲は、−０．７４度×０．８６＝−０．６３６度から、＋０．７３度×０．８６＝０．６２８までとなる。また、実際に呈示される補正後の映像の角度視差量の範囲は、−Ｆneg×０．８６〜Ｆpos×０．８６となる。

例えば、前述した図６および図７で示した具体例に基づき、補正倍率Ｒ＝０．８６を用いて補正処理を行うと、図８に示すように、蝶については、補正後の角度視差量Ｆ＝−０．５９６度×０．８６＝−０．５１３度（交差方向に０．５１３度）が算出され、子供については、補正後の角度視差量Ｆ＝−０．３０８度×０．８６＝−０．２６５度（交差方向に０．２６５度）が算出され、第１の山については、補正後の角度視差量Ｆ＝＋０．１５４度×０．８６＝＋０．１３２度（同側方向に０．１３２度）が算出され、第２の山については、補正後の角度視差量Ｆ＝＋０．２９８度×０．８６＝＋０．２５６度（同側方向に０．２５６度）が算出され、雲については、補正後の角度視差量Ｆ＝＋０．５８６度×０．８６＝＋５０４度（同側方向に０．５０４度）が算出される。

続いて、左右画像作成処理手段２５により、視差量算出処理手段２２により算出され、または視差量補正処理手段２４により補正されて視差量記憶手段３２に記憶されている平面画像の各画素の角度視差量Ｆを、前述した式（１４）〜式（２０）を用いて、ピクセル単位の視差量（図４に示すように、交差方向の視差量を２×Ｋ１とし、同側方向の視差量を２×Ｋ２とする。）に変換し、変換して得られたピクセル単位の視差量２×Ｋ１若しくは２×Ｋ２、またはＫ１若しくはＫ２を用いて、平面画像記憶手段３１に記憶されている平面画像（２Ｄ画像）から、立体映像の再生用の左眼用画像および右眼用画像を作成し、作成した左眼用画像および右眼用画像を、左右画像記憶手段３３に記憶させる（ステップＳ８）。

それから、立体映像再生処理手段２６により、左右画像記憶手段３３に記憶されている左眼用画像および右眼用画像を用いて、表示手段５０の画面上に、立体映像を再生する（ステップＳ９）。そして、ユーザ（ここではコンテンツ制作者）は、再生された映像で、制作した立体映像の快適性や安全性等を確認し、立体映像の制作に関する一連の処理を終了する（ステップＳ１０）。

このような本実施形態によれば、次のような効果がある。すなわち、立体映像制作装置１０は、視差量算出処理手段２２を備えているので、デプス値としてとり得る最大値Ｄmaxから最小値Ｄminまでの範囲（または本実施形態の場合とは逆に、最小値Ｄminから最大値Ｄmaxまでの範囲でもよい。）を、焦点深度内に立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値−Ｓnegから同側方向の視差量の閾値Ｓposまでの範囲と対応させることにより、この対応関係に従って、各デプス値ｄから各角度視差量（角度単位の視差量）Ｆを算出することができる（図５参照）。このため、デプスマップにどのような奥行き設定がなされていても、適正な範囲内に収まる角度視差量Ｆを算出することができるので、焦点深度内に立体映像を再生することができ、観察者の快適性を考慮した立体映像の制作を実現することができる。

また、立体映像制作装置１０は、視差量算出処理手段２２により、デプスマップから平面画像（２Ｄ画像）の各画素の角度視差量を算出するので、コンテンツ制作者の奥行き表現に関する意図を反映させた立体映像の制作を実現することができる。

さらに、視差量算出処理手段２２は、適正な視差量の範囲（交差方向の視差量の閾値−Ｓnegから同側方向の視差量の閾値Ｓposまでの範囲）を、ピクセル単位やメートル単位ではなく、角度視差量（角度単位の視差量）で設定しておき、デプスマップを構成する各デプス値ｄから、平面画像の各画素の角度視差量Ｆを算出する構成とされているので、ユーザが、視距離やスクリーンサイズや映像サイズ等の視聴環境パラメータを指定することにより、視聴環境に応じた視差量の調整を行うことができる。

そして、立体映像制作装置１０は、観察コスト算出処理手段２３および視差量補正処理手段２４を備えているので、平面移動量の代表値Ｍxyや奥行き移動量の代表値Ｍzから観察コストＣを算出し、この観察コストＣを用いて角度視差量Ｆを補正することができるため、立体映像の観察者の視覚的負担を観察コストＣにより推定し、観察者の安全性を考慮した立体映像の制作を実現することができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

すなわち、前記実施形態では、立体映像制作装置１０が、主としてコンテンツ制作者の使用する立体映像開発ツールに適用された場合について説明を行ったが、立体映像制作装置１０は、立体映像開発ツールへの適用に限定されるものではなく、例えば、図１１に示すように、各種のケースでの適用が可能である。

図１１において、ケース（１）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップが作成され、これらが、ＤＶＤ等の記録媒体等を介して、立体映像の観察者の使用する立体映像チューナに、直接に読み込まれる場合である。このケース（１）では、立体映像チューナにおいて、スクリーンサイズや視距離等の視聴環境パラメータの設定、視差量（角度）の算出、左眼用画像および右眼用画像の作成、およびこれらの画像を用いた立体映像の再生が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像チューナに適用されている場合となる。

ケース（２）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、平面画像および角度視差量が、ＤＶＤ等の記録媒体等を介して、立体映像の観察者の使用する立体映像チューナに読み込まれ、立体映像チューナにおいて、スクリーンサイズや視距離等の視聴環境パラメータが設定され、平面画像および角度視差量から左眼用画像および右眼用画像が作成される場合である。このケース（２）では、立体映像開発ツールにおいて、視差量（角度）の算出が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像開発ツールに適用されている場合となる。

ケース（３）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、さらに平面画像および角度視差量から左眼用画像および右眼用画像が作成され、左眼用画像および右眼用画像が、ＤＶＤ等の記録媒体等を介して、立体映像の観察者の使用する立体映像チューナに読み込まれる場合である。このケース（３）では、立体映像開発ツールにおいて、視差量（角度）の算出、左眼用画像および右眼用画像の作成が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像開発ツールに適用されている場合となる。

ケース（４）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップが作成され、これらが、立体映像の配信者や放送事業者の使用する立体映像提供システムへ送られ、立体映像提供システムにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、平面画像および角度視差量が、立体映像提供システムから配信または放送されて立体映像の観察者の使用する立体映像チューナに読み込まれ、立体映像チューナにおいて、スクリーンサイズや視距離等の視聴環境パラメータの設定、平面画像および角度視差量からの左眼用画像および右眼用画像の作成、並びにこれらの画像を用いた立体映像の再生が行われる場合である。このケース（４）では、立体映像提供システムにおいて、視差量（角度）の算出が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像提供システムに適用されている場合となる。

ケース（５）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップが作成され、これらが、立体映像の配信者や放送事業者の使用する立体映像提供システムへ送られ、立体映像提供システムにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、さらに平面画像および角度視差量から左眼用画像および右眼用画像が作成され、左眼用画像および右眼用画像が、立体映像提供システムから配信または放送されて立体映像の観察者の使用する立体映像チューナに読み込まれ、立体映像チューナにおいて、立体映像の再生が行われる場合である。このケース（５）では、立体映像提供システムにおいて、視差量（角度）の算出、左眼用画像および右眼用画像の作成が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像提供システムに適用されている場合となる。

ケース（６）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップが作成され、これらが、立体映像の配信者や放送事業者の使用する立体映像提供システムへ送られ、さらに平面画像およびデプスマップが、立体映像提供システムから配信または放送されて立体映像の観察者の使用する立体映像チューナに読み込まれる場合である。このケース（６）では、立体映像チューナにおいて、スクリーンサイズや視距離等の視聴環境パラメータの設定、視差量（角度）の算出、左眼用画像および右眼用画像の作成、およびこれらの画像を用いた立体映像の再生が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像チューナに適用されている場合となる。

ケース（７）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、平面画像および角度視差量が、立体映像の配信者や放送事業者の使用する立体映像提供システムへ送られ、立体映像提供システムにおいて、平面画像および角度視差量から左眼用画像および右眼用画像が作成され、左眼用画像および右眼用画像が、立体映像提供システムから配信または放送されて立体映像の観察者の使用する立体映像チューナに読み込まれ、立体映像チューナにおいて、立体映像の再生が行われる場合である。このケース（７）では、立体映像開発ツールにおいて、視差量（角度）の算出が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像開発ツールに適用されている場合となる。

ケース（８）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、平面画像および角度視差量が、立体映像の配信者や放送事業者の使用する立体映像提供システムへ送られ、さらに平面画像および角度視差量が、立体映像提供システムから配信または放送されて立体映像の観察者の使用する立体映像チューナに読み込まれ、立体映像チューナにおいて、スクリーンサイズや視距離等の視聴環境パラメータの設定、平面画像および角度視差量からの左眼用画像および右眼用画像の作成、並びにこれらの画像を用いた立体映像の再生が行われる場合である。このケース（８）では、立体映像開発ツールにおいて、視差量（角度）の算出が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像開発ツールに適用されている場合となる。

ケース（９）は、立体映像のコンテンツ制作者の使用する立体映像開発ツールにおいて、平面画像およびデプスマップから角度視差量（角度単位の視差量）が算出され、さらに平面画像および角度視差量から左眼用画像および右眼用画像が作成され、左眼用画像および右眼用画像が、立体映像の配信者や放送事業者の使用する立体映像提供システムへ送られ、さらに左眼用画像および右眼用画像が、立体映像提供システムから配信または放送されて立体映像の観察者の使用する立体映像チューナに読み込まれ、立体映像チューナにおいて、立体映像の再生が行われる場合である。このケース（９）では、立体映像開発ツールにおいて、視差量（角度）の算出、左眼用画像および右眼用画像の作成が行われるので、図１１中の一点鎖線の如く、立体映像制作装置１０の主要な機能（本発明に係る機能）が、立体映像開発ツールに適用されている場合となる。

以上のように、本発明の立体映像制作装置およびプログラムは、例えば、立体映像のコンテンツ制作者の使用する立体映像開発ツール、立体映像の観察者の使用する立体映像チューナ、立体映像の配信者や放送事業者の使用する立体映像提供システム等に用いるのに適している。

１０ 立体映像制作装置
２２ 視差量算出処理手段
２３ 観察コスト算出処理手段
２４ 視差量補正処理手段
３１ 平面画像記憶手段

Claims (4)

1. 左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
   複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
   前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と、
   前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
   予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
   を備えたことを特徴とする立体映像制作装置。
2. 左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
   複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
   前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と、
   前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
   予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
   を備えたことを特徴とする立体映像制作装置。
3. 左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
   複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
   前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と、
   前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量、および、前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、前記映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値、および、前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
   予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
   を備えたことを特徴とする立体映像制作装置。
4. 請求項１〜３のいずれかに記載の立体映像制作装置として、コンピュータを機能させるためのプログラム。
   

Images