JP4469159B2 - 立体映像評価装置および立体映像チューナ - Google Patents

Description

本発明は、左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置、および観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する立体映像を調整する立体映像チューナに係り、例えば、立体映像のコンテンツ制作者、立体映像を放送用電波に乗せて若しくは通信ネットワークを介して配信する者、または記録媒体に記録して提供する者が、それぞれ制作、配信、提供する立体映像を評価する場合、あるいはこれらの者から立体映像の配信や提供を受けた者が、立体映像を観察する場合等に利用できる。

立体映像は、ディスプレイ技術に研究の重点が置かれ、コンテンツや人への影響に関する検討が遅れていたことから、これまでメディアとして普及してこなかった。しかし、最近、各企業により構成される業界団体が設立される等、立体映像の市場創出を目指す動きが本格化している。こうした動きを背景として、立体映像メディアの普及のためには、コンテンツ制作や応用領域の検討に加え、人への影響の観点から、コンテンツの安全性や快適性を評価・管理する方法、並びにシステムが、今後、重要になると考えられる。

ところで、従来より、既存の画像処理の手法として、オプティカルフローを求める画像処理技術が知られている。このオプティカルフローを求める画像処理は、時間変化するベクトルの動きの解析に用いられ、例えば、笑い始めから笑い終わりまでの笑い表情形成時等における表情筋の動きの解析等に利用されるものであり、これにより表情筋の動きの大きい部分と小さい部分との区別をつけることができる。そして、このようなオプティカルフローを求める画像処理の原理等については、各種の文献に記述されている（例えば、非特許文献１等参照）。

また、このようなオプティカルフローを求める画像処理を利用して立体表示を行う手法として、連続する撮影画像からスリット状に切り出したスリット画像を結合し、左目視用および右目視用のパノラマ画像を生成し、立体表示を行うパノラマステレオ画像生成表示方法がある（特許文献１参照）。このパノラマステレオ画像生成表示方法では、連続する２つのフレーム画像を比較し、基準フレーム画像を２等分する中心線から等距離にある２本の基準線上の各画素におけるオプティカルフローの大きさを算出する工程と、オプティカルフローの大きさに基づいて、スリット画像の幅をそれぞれ決定し、基準フレーム画像からスリット画像をそれぞれ切り出す工程と、右目用および左目用のパノラマ画像を生成するためのスリット画像をそれぞれ結合し、右目用および左目用のパノラマ画像をそれぞれ生成する工程とを有している。

特開平１１−１６４３２６号公報（段落［００１３］、［００１６］〜［００１８］、図１、要約） 船久保登著、"視覚パターンの処理と認識"、初版、啓学出版株式会社、１９９０年２月２８日、ｐ．２３４−２３８

前述したように、立体映像の市場創出を目指す動きが本格化しているにもかかわらず、立体映像メディアの普及にかかせないコンテンツの安全性や快適性を評価・管理する方法やシステムが確立・開発されていないのが現状である。従って、多様なコンテンツについて、視覚負担の度合いという安全性、および適正な奥行き感が得られるかどうかという快適性の観点から、簡易かつ効果的に立体映像の評価が可能となる装置を開発するとともに、この評価結果に基づき、観察者に対し、立体感を最適化した状態で立体映像を呈示することができるシステムの構築が望まれる。

なお、前述した特許文献１に記載されたパノラマステレオ画像生成表示方法では、連続する２つのフレーム画像を比較するので（特許文献１の段落［００１８］には、１つのフレーム画像に対し、オプティカルフローは左目用、右目用それぞれについて求まる旨の記載がある。）、結局、異なるフレーム同士を比較しており、同じフレームを構成する左右の画像同士を比較しているものではない。

本発明の目的は、簡易かつ効果的に立体映像の評価を行うことができる立体映像評価装置、および観察者に対し、立体感を最適化した状態で立体映像を呈示することができる立体映像チューナを提供するところにある。

本発明は、左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置であって、オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出するピクセル視差量算出手段と、このピクセル視差量算出手段により算出されたピクセル単位の視差量を用いて立体映像の評価に用いられる評価用データを作成する評価用データ作成手段とを備え、評価用データ作成手段は、ピクセル視差量算出手段により算出されたピクセル単位の視差量のうちから最前面の対象についてのピクセル単位の視差量を評価用データとして算出する最前面ピクセル視差量算出手段と、ピクセル視差量算出手段により算出されたピクセル単位の視差量のうちから最背面の対象についてのピクセル単位の視差量を評価用データとして算出する最背面ピクセル視差量算出手段とのうち、少なくとも一方の算出手段を含んで構成されていることを特徴とするものである。

ここで、「最前面ピクセル視差量算出手段」は、全画素について視差量を算出したときに、最も一般的な場合として交差方向の視差量と同側方向の視差量との両方が算出される場合には、交差方向のピクセル単位の最大視差量（絶対値が最大のもの）であることを意味し、交差方向の視差量のみが算出される場合にも、交差方向のピクセル単位の最大視差量（絶対値が最大のもの）であることを意味するが、同側方向の視差量のみが算出される場合には、同側方向のピクセル単位の最小視差量（絶対値が最小のもの）であることを意味する。一方、「最背面ピクセル視差量算出手段」は、全画素について視差量を算出したときに、最も一般的な場合として交差方向の視差量と同側方向の視差量との両方が算出される場合には、同側方向のピクセル単位の最大視差量（絶対値が最大のもの）であることを意味し、同側方向の視差量のみが算出される場合にも、同側方向のピクセル単位の最大視差量（絶対値が最大のもの）であることを意味するが、交差方向の視差量のみが算出される場合には、交差方向のピクセル単位の最小視差量（絶対値が最小のもの）であることを意味する。

また、「最前面ピクセル視差量算出手段」および「最背面ピクセル視差量算出手段」は、視差量の値（絶対値）が最大（但し、上述のように、全画素についての視差量が交差方向または同側方向のいずれか一方になっている場合には、最小もあり得る。）となる１画素（１点）の値のみを採用し、これを最前面や最背面の対象についての視差量としてもよく、あるいは視差量の値（絶対値）が最大（または最小）となる１画素の値を含めて複数画素（例えば、２番目や３番目に値（絶対値）の大きい（または小さい）画素等を合わせる。）の値を平均し、これを最前面や最背面の対象についての視差量としてもよい。さらには、最大（または最小）となる１画素の値のみが他の画素の値に比べ、突出している場合には、その値はエラーとして除外し、最前面や最背面の対象についての視差量として採用しない処理を行ってもよい。

さらに、「左眼用画像と右眼用画像との対応点間の視差量」とは、左眼用画像と右眼用画像との対応する点同士のピクセル単位のずれ量のことをいう。

このような本発明の立体映像評価装置においては、オプティカルフローを求める画像処理を、通常の場合のように時系列上の異なる時点で得られた２つの画像（時間の経過とともに状態が変化した被写体を写した２つの画像）同士を比較し、その動きの解析を行うために用いるのではなく、つまり、時系列の変化を捉えるために用いるのではなく、立体映像を構成する左眼用画像と右眼用画像との対応点間の視差量の算出に用いる。このため、ピクセル視差量算出手段により、左眼用画像と右眼用画像との対応点間の視差量を、全画素について容易に得ることが可能となる。

また、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により、オプティカルフローを求める画像処理で得られた全画素についての視差量のうちから、最前面および／または最背面の対象についてのピクセル単位の視差量を算出するので、立体映像の評価に用いるのに適した評価用データを得ることが可能となり、これらにより前記目的が達成される。

また、前述した立体映像評価装置において、立体映像の評価に必要な情報を画面表示する評価用ディスプレイ装置と、評価用データ作成手段により作成された評価用データを評価用ディスプレイ装置の画面上に表示する処理を行う評価用データ表示処理手段とを備えていることが望ましい。

ここで、「評価用ディスプレイ装置」は、評価用データを参照するための専用のディスプレイ装置である必要はなく、他の用途（例えば、立体映像の参照）にも用いられるディスプレイ装置であってもよい。

また、「評価用データ表示処理手段」は、左右の動画像の各フレームまたは左右の静止画像から得られた評価用データを、数値表示する処理を行う構成としてもよく、あるいは時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う構成としてもよい。

このように評価用ディスプレイ装置および評価用データ表示処理手段を備えた構成とした場合には、例えば、立体映像のコンテンツ制作者、配信者、提供者等のような立体映像の評価を行う者が、評価用ディスプレイ装置の画面上に表示された評価用データを参照することにより、立体映像の評価作業を容易に行うことができるようになる。

さらに、前述した立体映像評価装置において、評価用データ表示処理手段は、最前面ピクセル視差量算出手段により算出された最前面の対象についてのピクセル単位の視差量の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う最前面ピクセル視差量表示処理手段と、最背面ピクセル視差量算出手段により算出された最背面の対象についてのピクセル単位の視差量の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う最背面ピクセル視差量表示処理手段とのうち、少なくとも一方の表示処理手段を含んで構成されていることが望ましい。

このように最前面ピクセル視差量表示処理手段と最背面ピクセル視差量表示処理手段とのうち少なくとも一方を備えた構成とした場合には、安全性の評価および／または快適性の評価を容易に行うことができるようになる。例えば、最前面ピクセル視差量表示処理手段によるグラフ表示を行えば、立体映像の安全性の評価を容易に行うことができ、最前面ピクセル視差量表示処理手段によるグラフ表示と最背面ピクセル視差量表示処理手段によるグラフ表示とを組み合わせれば、立体映像の快適性の評価を容易に行うことができるようになる。

なお、「最前面ピクセル視差量表示処理手段」および「最背面ピクセル視差量表示処理手段」を両方備えた構成とする場合には、「最前面ピクセル視差量表示処理手段」により表示される最前面の対象についてのピクセル単位の視差量の時系列変化と、「最背面ピクセル視差量表示処理手段」により表示される最背面の対象についてのピクセル単位の視差量の時系列変化とは、同一画面上に同時に表示してもよく、別の画面上に表示してもよく、前者の同一画面上への同時表示とする場合には、両者を同一グラフ内に表示してもよく、あるいは別のグラフとして表示してもよい。例えば、安全性の評価モードの画面では、最前面ピクセル視差量表示処理手段により、最前面の対象についてのピクセル単位の視差量の時系列変化のみを単独でグラフ表示し、快適性の評価モードの画面では、最前面ピクセル視差量表示処理手段および最背面ピクセル視差量表示処理手段により、最前面および最背面の各対象についてのピクセル単位の視差量の時系列変化を同一グラフ内に併せて表示したり、あるいは両者を別々に表示したグラフを同一画面内に並べて配置してもよい。

そして、前述した立体映像評価装置において、評価用データ作成手段は、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象のピクセル単位の視差量についての各フレームの累積値を評価用データとして算出するピクセル視差量累積値算出手段を含んで構成され、評価用データ表示処理手段は、ピクセル視差量累積値算出手段により算出された累積値の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行うピクセル視差量累積値表示処理手段を含んで構成されていることが望ましい。

このようにピクセル視差量累積値算出手段およびピクセル視差量累積値表示処理手段を備えた構成とした場合には、立体映像の評価を、より一層容易に行うことができるようになり、例えば、最前面の対象のピクセル単位の視差量についての各フレームの累積値の時系列変化をグラフ上で把握すれば、安全性の評価を容易に行うことができるようになる。

また、前述した立体映像評価装置において、評価用データ作成手段は、最前面ピクセル視差量算出手段により算出された最前面の対象についてのピクセル単位の視差量と最背面ピクセル視差量算出手段により算出された最背面の対象についてのピクセル単位の視差量との差分を評価用データとして算出するピクセル差分算出手段を含んで構成され、評価用データ表示処理手段は、ピクセル差分算出手段により算出された差分の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行うピクセル差分表示処理手段を含んで構成されていることが望ましい。

このようにピクセル差分算出手段およびピクセル差分表示処理手段を備えた構成とした場合には、快適性の評価を容易に行うことができるようになる。

さらに、前述した立体映像評価装置において、評価用データ作成手段は、最前面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、または標準偏差、最背面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、または標準偏差、最前面の対象のピクセル単位の視差量についての複数フレームの平均値と最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分、最前面の対象のピクセル単位の視差量と最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値、分散、または標準偏差、各フレームのそれぞれでの全画素のピクセル単位の視差量についての平均値、分散、または標準偏差のうち、少なくとも一つの統計データを評価用データとして算出する統計データ算出手段を含んで構成され、評価用データ表示処理手段は、統計データ算出手段により算出された統計データのうちの少なくとも一つを表示する処理を行う統計データ表示処理手段を含んで構成されていることが望ましい。

ここで、「複数フレーム」は、連続する複数フレームでもよく、または一定間隔または任意の間隔で選択された複数フレームでもよい。また、評価対象となる立体映像を構成する一連のフレームを区分して評価を行う場合（例えば、シーン毎に評価を行う場合等）には、その一区分を構成する一連のフレームの中の複数フレームが対象となる。

このように統計データ算出手段および統計データ表示処理手段を備えた構成とした場合には、統計データの表示を参照することで、立体映像について、より一層詳細な評価を行うことが可能となる。

なお、「最前面の対象のピクセル単位の視差量についての複数フレームの平均値と最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分」と、「最前面の対象のピクセル単位の視差量と最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値」とは、通常は同じ値となるが、視差量や差分の各算出過程において突出値をエラーとして除外する処理の方法が異なる場合等には、異なる値となる場合もあり得る。

そして、前述した立体映像評価装置において、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、評価用データ作成手段は、観察条件設定手段により設定された画像呈示面サイズを用いて、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についての視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の視差量と瞳孔間隔と視距離とを用いて画像呈示面から立体映像の再生位置までの奥行き方向距離を評価用データとして算出する再生位置算出手段とを含んで構成され、評価用データ表示処理手段は、再生位置算出手段により算出した奥行き方向距離を表示する処理を行う再生位置表示処理手段を含んで構成されていることが望ましい。

ここで、「観察条件設定手段」は、「視距離」について、観察者の手入力による入力設定を受け付ける構成でもよく、あるいは、センサにより観察者の位置または観察者までの距離を検出し、その検出結果に基づき視距離を自動設定する構成でもよい。また、「観察条件設定手段」は、「画像呈示面サイズ」について、観察者の手入力による入力設定を受け付ける構成でもよく、立体映像呈示用ディスプレイ装置から画像呈示面サイズの情報を自動的に読み込む構成でもよい。なお、ここでいう「観察条件」には、立体映像のコンテンツ制作者、配信者、提供者等が、制作・配信・提供の対象となる立体映像の評価を行う際に想定する仮想的な観察条件（立体映像の配信・提供を受ける者が置かれるであろう視聴環境を予測して設定される条件）も含まれる。従って、ここでいう「観察者」には、自分が制作・配信・提供する立体映像を、観察者の立場にたって実際に画面で観察しながら評価するコンテンツ制作者、配信者、提供者等も含まれる。さらに、「観察条件設定手段」による「観察条件」の設定には、これらのコンテンツ制作者、配信者、提供者等が、制作・配信・提供の対象となる立体映像を実際に画面で観察しながら評価するのではなく、評価用データのみを参照して評価を行う際に、その評価用データを得るために仮想的な観察条件を設定する場合も含まれる。

また、「標準的な測長単位」とは、例えば、メートル、インチ、ヤード等の単位をいう。

さらに、「瞳孔間隔」は、個々の観察者の瞳孔間隔である必要はなく、人間の平均的な瞳孔間隔の値を用いればよい。

そして、「再生位置表示処理手段」は、左右の動画像の各フレームまたは左右の静止画像における最前面および／または最背面の対象についての画像呈示面から立体映像の再生位置までの奥行き方向距離を数値表示する処理を行う構成としてもよく、あるいは最前面および／または最背面の対象についての画像呈示面から立体映像の再生位置までの奥行き方向距離の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う構成としてもよい。

このように再生位置を算出・表示する構成とした場合には、立体映像の奥行き方向の再生位置を、標準的な測長単位で把握することが可能となり、立体映像の評価を、より一層容易に行うことができるようになる。

また、前述した立体映像評価装置において、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、評価用データ作成手段は、観察条件設定手段により設定された画像呈示面サイズを用いて、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についての視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の視差量と視距離とを用いて角度単位の視差量を評価用データとして算出する角度視差量算出手段とを含んで構成され、評価用データ表示処理手段は、角度視差量算出手段により算出した角度単位の視差量を表示する処理を行う角度視差量表示処理手段を含んで構成されていることが望ましい。

ここで、「角度視差量表示処理手段」は、表示対象の角度単位の視差量を数値表示する処理を行う構成としてもよく、あるいは一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う構成としてもよい。

このように角度単位の視差量を算出・表示する構成とした場合には、安全性や快適性等の立体映像の評価基準になる値が、ピクセル単位ではなく角度単位で与えられた場合にも、その基準値との対比を容易に行うことができるので、立体映像の評価を、より一層容易に行うことができるようになる。

さらに、前述した立体映像評価装置において、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、評価用データ作成手段は、観察条件設定手段により設定された画像呈示面サイズを用いて、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についての視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の視差量と視距離とを用いて角度単位の視差量を評価用データとして算出する角度視差量算出手段と、この角度視差量算出手段により算出した角度単位の視差量についての各フレームの累積値を評価用データとして算出する角度視差量累積値算出手段とを含んで構成され、評価用データ表示処理手段は、角度視差量累積値算出手段により算出された累積値を表示する処理を行う角度視差量累積値表示処理手段を含んで構成されていることが望ましい。

ここで、「角度視差量累積値表示処理手段」は、表示対象の角度単位の視差量の累積値を数値表示する処理を行う構成としてもよく、あるいは一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う構成としてもよい。

このように角度単位の視差量についての各フレームの累積値を算出・表示する構成とした場合には、立体映像の評価を、より一層容易に行うことができるようになり、例えば、最前面の対象の角度単位の視差量についての各フレームの累積値の時系列変化をグラフ上で把握すれば、安全性の評価を容易に行うことができるようになるうえ、安全性の評価基準になる値が、ピクセル単位ではなく角度単位で与えられた場合にも、その基準値との対比を容易に行うことができるので、安全性の評価を、より一層容易に行うことができるようになる。

そして、上記の場合には、視差量を角度単位に換算してから累積する構成となっていたが、下記のように、視差量をピクセル単位で累積してから角度単位に換算する構成としてもよい。

すなわち、前述した立体映像評価装置において、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、評価用データ作成手段は、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象のピクセル単位の視差量についての各フレームの累積値を評価用データとして算出するピクセル視差量累積値算出手段と、観察条件設定手段により設定された画像呈示面サイズを用いて、ピクセル視差量累積値算出手段により算出された最前面および／または最背面の対象のピクセル単位の視差量についての各フレームの累積値をピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の累積値と視距離とを用いて角度単位の累積値を評価用データとして算出する角度視差量累積値算出手段とを含んで構成され、評価用データ表示処理手段は、角度視差量累積値算出手段により算出した角度単位の累積値を表示する処理を行う角度視差量累積値表示処理手段を含んで構成されていてもよい。

ここで、「角度視差量累積値表示処理手段」は、表示対象の角度単位の視差量の累積値を数値表示する処理を行う構成としてもよく、あるいは一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う構成としてもよい。

また、前述した立体映像評価装置において、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、評価用データ作成手段は、観察条件設定手段により設定された画像呈示面サイズを用いて、最前面ピクセル視差量算出手段により算出された最前面の対象についてのピクセル単位の視差量と最背面ピクセル視差量算出手段により算出された最背面の対象についてのピクセル単位の視差量との差分を、ピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の差分と視距離とを用いて角度単位の差分を評価用データとして算出する角度差分算出手段とを含んで構成され、評価用データ表示処理手段は、角度差分算出手段により算出された角度単位の差分を表示する処理を行う角度差分表示処理手段を含んで構成されていることが望ましい。

ここで、「角度差分表示処理手段」は、表示対象の角度単位の差分を数値表示する処理を行う構成としてもよく、あるいは一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う構成としてもよい。

このように角度単位の差分を算出・表示する構成とした場合には、快適性の評価を容易に行うことができるようになるうえ、快適性の評価基準になる値が、ピクセル単位ではなく角度単位で与えられた場合にも、その基準値との対比を容易に行うことができるので、快適性の評価を、より一層容易に行うことができるようになる。

さらに、前述した角度単位の視差量についての各フレームの累積値を算出・表示する構成とした場合において、角度視差量累積値算出手段により算出した累積値と生理・心理実験により求めた安全性基準値とを比較する角度視差量累積値比較手段と、この角度視差量累積値比較手段による比較結果に基づき観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する安全性判断手段とを備えた構成とすることが望ましい。

このように角度視差量累積値比較手段および安全性判断手段を備えた構成とした場合には、安全性の判断を自動的に行うことが可能となり、立体映像の評価を行う者の作業の手間が軽減され、作業時間の短縮が図られる。

そして、前述した角度単位の差分を算出・表示する構成とした場合において、角度差分算出手段により算出した角度単位の差分と生理・心理実験により求めた快適性上限値および快適性下限値とを比較する角度差分比較手段と、この角度差分比較手段による比較結果に基づき観察者が左眼用画像と右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する快適性判断手段とを備えた構成とすることが望ましい。

このように角度差分比較手段および快適性判断手段を備えた構成とした場合には、快適性の判断を自動的に行うことが可能となり、立体映像の評価を行う者の作業の手間が軽減され、作業時間の短縮が図られる。

さらに、前述した角度視差量累積値比較手段および安全性判断手段を備えた構成とした場合において、安全性判断手段による判断結果に基づいて累積値が安全性基準値を超えている場合に累積値が安全性基準値以下になるか若しくは安全性基準値に近づくように左眼用画像および／または右眼用画像を補正する処理を行う画像補正処理手段を備えた構成とすることが望ましい。

このように画像補正処理手段を備えた構成とした場合には、立体映像の評価を行う者は、評価結果を反映させて調整した立体映像を容易に得ることが可能となる。例えば、立体映像のコンテンツ制作者、配信者、提供者等は、安全性を考慮した立体映像の制作・配信・提供を容易に実現することができるようになる。

そして、前述した角度差分比較手段および快適性判断手段を備えた構成とした場合において、快適性判断手段による判断結果に基づいて角度単位の差分が快適性上限値から快適性下限値までの範囲に収まっていない場合に角度単位の差分が前記範囲に収まるか若しくは収まる状態に近づくように左眼用画像および／または右眼用画像を補正する処理を行う画像補正処理手段を備えた構成とすることが望ましい。

このように画像補正処理手段を備えた構成とした場合には、立体映像の評価を行う者は、評価結果を反映させて調整した立体映像を容易に得ることが可能となる。例えば、立体映像のコンテンツ制作者、配信者、提供者等は、快適性を考慮した立体映像の制作・配信・提供を容易に実現することができるようになる。

なお、「画像補正処理手段」は、安全性判断手段による判断結果および快適性判断手段による判断結果を組み合わせて左眼用画像および／または右眼用画像を補正する処理を行う構成としてもよい。また、安全性または快適性のいずれを優先させて補正を行うのかを選択できる構成としてもよい。

また、前述した立体映像評価装置において、評価用データ作成手段により作成した評価用データのうちの少なくとも一種類の評価用データを、放送用電波に乗せて若しくは通信ネットワークを介して配信する立体映像または記録媒体に記録して提供する立体映像のコンテンツとしての左眼用画像および右眼用画像に、メタデータとして付加する処理を行うメタデータ付加処理手段を備えた構成とすることが望ましい。

このようにメタデータ付加処理手段を備えた構成とした場合には、評価用データをコンテンツとともに配信・提供することができるので、これらの配信・提供を受けた立体映像の観察者は、コンテンツに付随する評価用データを用い、配信・提供を受けたコンテンツに対する評価結果を反映させた状態で立体映像を観察することが可能となる。

また、本発明は、観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する立体映像を調整する立体映像チューナであって、放送用電波に乗せて若しくは通信ネットワークを介して配信されてくる立体映像または記録媒体に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像並びにこのコンテンツに付加されたメタデータを入力する立体映像入力手段と、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段と、メタデータに含まれる評価用データおよび観察条件設定手段により設定した観察条件を用いて立体映像の再生用の左眼用画像および右眼用画像を作成する再生用画像作成手段と、この再生用画像作成手段により作成された左眼用画像および右眼用画像を立体映像呈示用ディスプレイ装置に送り出す再生用画像出力手段とを備え、評価用データは、前述した本発明の立体映像評価装置を構成するメタデータ付加処理手段により付加された評価用データであることを特徴とするものである。

このような本発明の立体映像チューナにおいては、立体映像入力手段により、コンテンツおよびこれに付加されたメタデータを入力するとともに、観察条件設定手段により、観察者が立体映像を観察する際の観察条件を設定する。そして、再生用画像作成手段により、メタデータに含まれる評価用データおよび観察条件設定手段により設定した観察条件を用いて立体映像の再生用の左眼用画像および右眼用画像を作成した後、再生用画像出力手段により、再生用の左眼用画像および右眼用画像を立体映像呈示用ディスプレイ装置に送り出す。

このため、観察者が観察する立体映像は、メタデータに含まれる評価用データおよび観察条件を用いて作成された再生映像となるので、観察者は、観察条件に応じて立体感を最適化された状態の立体映像を観察することが可能となり、これにより前記目的が達成される。

さらに、前述した立体映像チューナにおいて、評価用データには、前述した本発明の立体映像評価装置を構成する最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についてのピクセル単位の視差量と、前述した本発明の立体映像評価装置を構成するピクセル視差量累積値算出手段により算出された最前面および／または最背面の対象のピクセル単位の視差量についての各フレームの累積値とのうち、少なくとも一方が含まれ、再生用画像作成手段は、観察条件設定手段により設定された画像呈示面サイズを用いて最前面および／または最背面の対象のピクセル単位の視差量についての各フレームの累積値をピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の累積値と視距離とを用いて角度単位の累積値を算出する角度視差量累積値算出手段と、この角度視差量累積値算出手段により算出した角度単位の累積値と生理・心理実験により求めた安全性基準値とを比較する角度視差量累積値比較手段と、この角度視差量累積値比較手段による比較結果に基づき観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する安全性判断手段と、この安全性判断手段による判断結果に基づいて累積値が安全性基準値を超えている場合に累積値が安全性基準値以下になるか若しくは安全性基準値に近づくように左眼用画像および／または右眼用画像を補正する処理を行う画像補正処理手段とを含んで構成されていることが望ましい。

ここで、立体映像入力手段により立体映像チューナに入力されるメタデータの中に、評価用データとして、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についてのピクセル単位の視差量は含まれているが、ピクセル視差量累積値算出手段により算出された最前面および／または最背面の対象のピクセル単位の視差量についての各フレームの累積値は含まれていない場合には、立体映像チューナにおいて、累積値の算出処理を行えばよい。

このように安全性判断手段および画像補正処理手段を備えた構成とした場合には、観察者は、評価データおよび観察条件を用いて安全性を考慮して調整された状態の立体映像を観察することが可能となる。

そして、前述した立体映像チューナにおいて、評価用データには、前述した本発明の立体映像評価装置を構成する最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についてのピクセル単位の視差量と、前述した本発明の立体映像評価装置を構成するピクセル差分算出手段により算出された最前面の対象についてのピクセル単位の視差量と最背面ピクセル視差量算出手段により算出された最背面の対象についてのピクセル単位の視差量との差分とのうち、少なくとも一方が含まれ、再生用画像作成手段は、観察条件設定手段により設定された画像呈示面サイズを用いて最前面の対象についてのピクセル単位の視差量と最背面の対象についてのピクセル単位の視差量との差分をピクセル単位から標準的な測長単位に換算する単位換算手段と、この単位換算手段により換算して得られた標準的な測長単位の差分と視距離とを用いて角度単位の差分を算出する角度差分算出手段と、この角度差分算出手段により算出した角度単位の差分と生理・心理実験により求めた快適性上限値および快適性下限値とを比較する角度差分比較手段と、この角度差分比較手段による比較結果に基づき観察者が左眼用画像と右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する快適性判断手段と、この快適性判断手段による判断結果に基づいて角度単位の差分が快適性上限値から快適性下限値までの範囲に収まっていない場合に角度単位の差分が前記範囲に収まるか若しくは収まる状態に近づくように左眼用画像および／または右眼用画像を補正する処理を行う画像補正処理手段とを含んで構成されていることが望ましい。

ここで、立体映像入力手段により立体映像チューナに入力されるメタデータの中に、評価用データとして、最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された最前面および／または最背面の対象についてのピクセル単位の視差量は含まれているが、ピクセル差分算出手段により算出された最前面の対象についてのピクセル単位の視差量と最背面ピクセル視差量算出手段により算出された最背面の対象についてのピクセル単位の視差量との差分は含まれていない場合には、立体映像チューナにおいて、差分の算出処理を行えばよい。

このように快適性判断手段および画像補正処理手段を備えた構成とした場合には、観察者は、評価データおよび観察条件を用いて快適性を考慮して調整された状態の立体映像を観察することが可能となる。

なお、立体映像チューナに設けられる画像補正処理手段は、安全性判断手段による判断結果および快適性判断手段による判断結果を組み合わせて左眼用画像および／または右眼用画像を補正する処理を行う構成としてもよい。また、安全性または快適性のいずれを優先させて補正を行うのかを、観察者に選択させることができる構成としてもよい。

また、本発明は、観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する立体映像を調整する立体映像チューナであって、放送用電波に乗せて若しくは通信ネットワークを介して配信されてくる立体映像または記録媒体に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像並びにこのコンテンツに付加されたメタデータを入力する立体映像入力手段と、立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離または立体映像呈示用ディスプレイ装置の画像呈示面サイズのいずれか一方の観察条件を設定する観察条件設定手段と、メタデータに含まれる評価用データおよび観察条件設定手段により設定した一方の観察条件を用いて視距離または画像呈示面サイズのいずれか他方の観察条件についての最適な条件を算出する最適観察条件算出手段と、この最適観察条件算出手段による算出結果を観察者に呈示する最適観察条件呈示手段とを備え、評価用データは、前述した本発明の立体映像評価装置を構成するメタデータ付加処理手段により付加された評価用データであることを特徴とするものである。

ここで、「最適観察条件呈示手段」は、最適観察条件算出手段による算出結果を立体映像呈示用ディスプレイ装置の画面上に表示する処理を行う構成でもよく、音声報知する処理を行う構成でもよく、立体映像チューナに設けられた画面上に表示する処理を行う構成でもよい。

このような本発明の立体映像チューナにおいては、最適観察条件算出手段により、評価用データおよび一方の観察条件を用いて他方の観察条件についての最適な条件が算出され、この算出結果が最適観察条件呈示手段により観察者に呈示されるので、観察者は、算出・呈示された他方の観察条件に従って立体映像を観察することで、立体感を最適化された状態の立体映像を観察することが可能となり、これにより前記目的が達成される。

以上に述べたように本発明によれば、オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出し、このピクセル単位の視差量を用いて、立体映像の評価に用いられる評価用データとして、最前面および／または最背面の対象についてのピクセル単位の視差量を算出するので、簡易かつ効果的に立体映像の評価を行うことができるという効果がある。

また、メタデータとして立体映像コンテンツに付加された評価用データを用いて再生用画像を作成して出力するので、観察者に対し、立体感を最適化した状態で立体映像を呈示することができるという効果がある。

さらに、メタデータとして立体映像コンテンツに付加された評価用データを用いて最適な観察条件を算出して呈示するので、観察者は、立体感を最適化した状態で立体映像を観察することができるという効果がある。

以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の立体映像評価装置２０および立体映像チューナ５０の全体構成が示されている。図２には、立体映像チューナ５０による処理の流れがフローチャートで示されている。図３は、評価対象となるソース映像とこのソース映像を観察時の立体像の再生位置との関係の説明図である。図４は、右眼用画像を基準とした左右画像のオプティカルフローの説明図である。図５は、立体像の再生位置の算出方法の説明図である。図６は、角度単位の視差量の算出方法の説明図である。図７には、安全性評価モードの画面例が示され、図８には、快適性評価モードの画面例が示されている。

先ず、図３を用いて、評価対象となるソース映像とこのソース映像を観察時の立体像の再生位置との関係を説明する。評価対象となるソース映像は、左眼用画像１と右眼用画像２とからなり、観察者３が立体視用メガネ４をかけて画像呈示面５に表示された左眼用画像１および右眼用画像２を観察すると、これらの左眼用画像１および右眼用画像２が融像され、立体映像が得られる。

例えば、左眼用画像１には、図中点線で示された四角形の対象１Ａと、円形の対象１Ｂとがあるものとし、これらに対応する点（対象）として、右眼用画像２には、図中実線で示された四角形の対象２Ａと、円形の対象２Ｂとがあるものとする。この際、左眼用画像１と右眼用画像２とを画像呈示面５で表示すると、左眼用画像１の四角形の対象１Ａは、左側に位置し、右眼用画像２の四角形の対象２Ａは、右側に位置する。従って、四角形の対象１Ａ，２Ａは、同側方向にある対象であるから、画像呈示面５よりも奥側（観察者３とは反対側）に立体像Ｚ１が形成される。一方、左眼用画像１の円形の対象１Ｂは、右側に位置し、右眼用画像２の円形の対象２Ｂは、左側に位置する。従って、円形の対象１Ｂ，２Ｂは、交差方向にある対象であるから、画像呈示面５よりも手前側（観察者３側）に立体像Ｚ２が形成される。

図１において、立体映像評価装置２０は、コンピュータにより構成され、立体映像の評価および最適化のための画像補正処理に必要となる各種の処理を行う処理手段２０Ａと、立体映像の評価に必要な情報を画面表示する評価用ディスプレイ装置４０と、立体映像のコンテンツ制作者や配信者や提供者等に制作・配信・提供等の対象となっている立体映像を呈示する立体映像呈示用ディスプレイ装置４１とを備えている。なお、評価用ディスプレイ装置４０と立体映像呈示用ディスプレイ装置４１とは、同一のディスプレイ装置により実現してもよい。

処理手段２０Ａは、ピクセル視差量算出手段２１と、評価用データ作成手段２２と、評価用データ表示処理手段２３と、観察条件設定手段２４と、角度視差量累積値比較手段２５と、安全性判断手段２６と、角度差分比較手段２７と、快適性判断手段２８と、画像補正処理手段２９と、メタデータ付加処理手段３０とを含んで構成されている。

ピクセル視差量算出手段２１は、オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出する処理を行うものである。ここで、オプティカルフローとは、画像上の各点について求めた速度ベクトルのことである。通常は、現時間から微小時間後の物体の動きを推定するために利用されるが、本発明では、図４に示すように、ある任意の一時刻である特定時間（フレーム単位）の左右画像間の差異（ピクセル単位での視差量）を、定量的に算出する手段として利用する。なお、図４では、右眼用画像２を基準とした左眼用画像１と右眼用画像２との対応点間のずれ量としてオプティカルフローが示されているが、基準画像は、左右画像のいずれでもよい。オプティカルフローの原理については、前述した非特許文献１等の一般的文献に記載されているので、ここでは詳しい説明を省略する。

評価用データ作成手段２２は、ピクセル視差量算出手段２１により算出されたピクセル単位の視差量を用いて、立体映像の評価に用いられる評価用データを作成する処理を行うものであり、最前面ピクセル視差量算出手段２２Ａと、最背面ピクセル視差量算出手段２２Ｂと、ピクセル視差量累積値算出手段２２Ｃと、ピクセル差分算出手段２２Ｄと、統計データ算出手段２２Ｅと、単位換算手段２２Ｆと、再生位置算出手段２２Ｇと、角度視差量算出手段２２Ｈと、角度視差量累積値算出手段２２Ｊと、角度差分算出手段２２Ｋとを含んで構成されている。

最前面ピクセル視差量算出手段２２Ａは、ピクセル視差量算出手段２１により算出された各画素（各点）についてのピクセル単位の視差量のうちから最前面の対象についてのピクセル単位の視差量を評価用データとして算出する処理を行うものである。最前面の対象についてのピクセル単位の視差量とは、全画素の視差量が同側方向の視差量にならない限りは、交差方向のピクセル単位の最大視差量（絶対値が最大のもの）である。なお、全画素の視差量が同側方向の視差量になる場合には、同側方向のピクセル単位の最小視差量（絶対値が最小のもの）である。

最背面ピクセル視差量算出手段２２Ｂは、ピクセル視差量算出手段２１により算出された各画素（各点）についてのピクセル単位の視差量のうちから最背面の対象についてのピクセル単位の視差量を評価用データとして算出する処理を行うものである。最背面の対象についてのピクセル単位の視差量とは、全画素の視差量が交差方向の視差量にならない限りは、同側方向のピクセル単位の最大視差量（絶対値が最大のもの）である。なお、全画素の視差量が交差方向の視差量になる場合には、交差方向のピクセル単位の最小視差量（絶対値が最小のもの）である。

ピクセル視差量累積値算出手段２２Ｃは、最前面ピクセル視差量算出手段２２Ａおよび最背面ピクセル視差量算出手段２２Ｂにより算出された最前面および最背面の対象のピクセル単位の視差量についての各フレームの累積値を、評価用データとして算出する処理を行うものである。

ピクセル差分算出手段２２Ｄは、最前面ピクセル視差量算出手段２２Ａにより算出された最前面の対象についてのピクセル単位の視差量と、最背面ピクセル視差量算出手段２２Ｂにより算出された最背面の対象についてのピクセル単位の視差量との差分を、評価用データとして算出する処理を行うものである。

統計データ算出手段２２Ｅは、（１）最前面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、および標準偏差、（２）最背面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、および標準偏差、（３）最前面の対象のピクセル単位の視差量についての複数フレームの平均値と最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分、（４）最前面の対象のピクセル単位の視差量と最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値、分散、および標準偏差、（５）各フレームのそれぞれでの全画素のピクセル単位の視差量についての平均値、分散、および標準偏差を含む各種の統計データを、評価用データとして算出する処理を行うものである。なお、統計データ算出手段２２Ｅは、必ずしも、これらの各種の統計データの全てを、いつでも算出する構成とする必要はなく、これらの各種の統計データの一部を算出する構成としてもよく、あるいはこれらの各種の統計データを必要に応じて適宜選択して算出する構成としてもよい。

単位換算手段２２Ｆは、観察条件設定手段２４により設定された画像呈示面サイズを用いて、最前面ピクセル視差量算出手段２２Ａおよび最背面ピクセル視差量算出手段２２Ｂにより算出された最前面および最背面の対象についての視差量を、ピクセル単位から標準的な測長単位に換算する処理を行うものである。標準的な測長単位には、メートル、インチ、ヤード等の各種単位があり、ここではメートル単位に換算するものとして説明を行うが、これに限定されるものではない。具体的には、最前面および最背面の対象についての視差量（すなわち、左右対応点のずれ量）は、次の式（１）により、ピクセル単位からメートル単位に変換される。

メートル単位の左右対応点のずれ量＝
（ピクセル単位の左右対応点のずれ量／水平方向の全ピクセル数）
×メートル単位の水平方向の画像呈示面サイズ ・・・・・・・・（１）

ここで、メートル単位の水平方向の画像呈示面サイズは、例えば２１インチで画面の縦横比率４：３のテレビであれば、「２１÷５×３（水平方向のインチを算出）×２．５４（メートル単位に変換）」で求めることができる。

また、単位換算手段２２Ｆは、観察条件設定手段２４により設定された画像呈示面サイズを用いて、最前面ピクセル視差量算出手段２２Ａにより算出された最前面の対象についてのピクセル単位の視差量と、最背面ピクセル視差量算出手段２２Ｂにより算出された最背面の対象についてのピクセル単位の視差量との差分を、ピクセル単位から標準的な測長単位（本実施形態では、一例としてメートル単位とする。）に換算する処理も行う。この際の換算処理には、上記の式（１）を用いることができ、「左右対応点のずれ量」として差分を代入すればよい。

なお、単位換算手段２２Ｆは、観察条件設定手段２４により設定された画像呈示面サイズを用いて、ピクセル視差量累積値算出手段２２Ｃにより算出された最前面および最背面の対象のピクセル単位の視差量についての各フレームの累積値を、ピクセル単位から標準的な測長単位（本実施形態では、一例としてメートル単位とする。）に換算する処理を行う構成としてもよい。この際の換算処理には、上記の式（１）を用いることができ、「左右対応点のずれ量」のところに視差量の累積値を代入すればよい。

再生位置算出手段２２Ｇは、単位換算手段２２Ｆにより換算して得られた最前面および最背面の対象についての標準的な測長単位（本実施形態では、メートル単位）の視差量（すなわち、左右対応点のずれ量）と、瞳孔間隔（メートル単位）と、観察条件設定手段２４により設定された視距離（メートル単位）とを用いて、画像呈示面から立体像（最前面および最背面の対象）の再生位置までの奥行き方向距離（メートル単位）を、評価用データとして算出する処理を行うものである。具体的には、図５に示すように、画像呈示面５から再生位置までの奥行き方向距離Ｈは、交差方向の視差量の場合には、次の式（２）により求めることができ、同側方向の視差量の場合には、次の式（３）により求めることができる。

再生位置の奥行き方向距離Ｈ＝
｛左右対応点のずれ量Ｌ／（左右対応点のずれ量Ｌ＋瞳孔間隔Ｐ）｝×視距離Ｄ
・・・・・・（２）

再生位置の奥行き方向距離Ｈ＝
｛左右対応点のずれ量Ｌ／（瞳孔間隔Ｐ−左右対応点のずれ量Ｌ）｝×視距離Ｄ
・・・・・・（３）

ここで、瞳孔間隔Ｐは、人類の平均値として例えば６５ｍｍを代入すればよい。また、上記の式（２）および式（３）のいずれにおいても、左右対応点のずれ量Ｌは、絶対値（正の値）を代入し、再生位置の奥行き方向距離Ｈも、絶対値（正の値）として得られる。なお、算出結果の画面表示の際には、例えば、上記の式（３）により求めた同側方向の視差量の場合についての再生位置の奥行き方向距離Ｈは、負の値として表示してもよい。

角度視差量算出手段２２Ｈは、単位換算手段２２Ｆにより換算して得られた最前面および最背面の対象についての標準的な測長単位（本実施形態では、メートル単位）の視差量（すなわち、左右対応点のずれ量）と、観察条件設定手段２４により設定された視距離（メートル単位）とを用いて、最前面および最背面の対象についての角度単位の視差量を、評価用データとして算出する処理を行うものである。具体的には、図６に示すように、角度単位の視差量θ（度）は、次の式（４）により求めることができる。

角度単位の視差量θ＝
（左右対応点のずれ量Ｌ／視距離Ｄ）×（１８０／π） ・・・・・・（４）

ここで、角度単位の視差量θ（度）は、図６に示された平面画像を観察する場合の輻輳角θ１と、立体視を行っている場合の輻輳角θ２との差分の絶対値として求められるが、上記の式（４）は、この角度単位の視差量θ（度）の近似値を求めるものである。

角度視差量累積値算出手段２２Ｊは、角度視差量算出手段２２Ｈにより算出した最前面および最背面の対象の角度単位の視差量についての各フレームの累積値を、評価用データとして算出する処理を行うものである。

なお、前述した単位換算手段２２Ｆが、ピクセル視差量累積値算出手段２２Ｃにより算出された最前面および最背面の対象のピクセル単位の視差量についての各フレームの累積値を、ピクセル単位から標準的な測長単位（本実施形態では、一例としてメートル単位とする。）に換算する処理を行う構成である場合には、角度視差量累積値算出手段２２Ｊは、次のように視差量をピクセル単位で累積してからこの累積値を標準的な測長単位（本実施形態では、メートル単位）に換算したものについて、角度単位に換算する構成としてもよい。すなわち、角度視差量累積値算出手段２２Ｊは、単位換算手段２２Ｆにより換算して得られた最前面および最背面の対象についての標準的な測長単位（本実施形態では、メートル単位）の視差量の累積値と、観察条件設定手段２４により設定された視距離（メートル単位）とを用いて、最前面および最背面の対象についての角度単位の視差量の累積値を、評価用データとして算出する処理を行う構成としてもよい。この際、算出に用いる式は、上記の式（４）と同じであり、式（４）において、左右対応点のずれ量Ｌとして標準的な測長単位（本実施形態では、メートル単位）の視差量の累積値を代入すれば、その解として角度単位の視差量の累積値が得られる。

角度差分算出手段２２Ｋは、単位換算手段２２Ｆにより換算して得られた最前面の対象と最背面の対象との標準的な測長単位（本実施形態では、メートル単位）の視差量の差分と、観察条件設定手段２４により設定された視距離（メートル単位）とを用いて、最前面の対象と最背面の対象との角度単位の視差量の差分を、評価用データとして算出する処理を行うものである。この際、算出に用いる式は、前述した式（４）と同じであり、式（４）において、左右対応点のずれ量Ｌとして標準的な測長単位（本実施形態では、メートル単位）の視差量の差分を代入すれば、その解として角度単位の視差量の差分が得られる。

評価用データ表示処理手段２３は、評価用データ作成手段２２により作成された評価用データを評価用ディスプレイ装置４０の画面上に表示する処理を行うものであり、最前面ピクセル視差量表示処理手段２３Ａと、最背面ピクセル視差量表示処理手段２３Ｂと、ピクセル視差量累積値表示処理手段２３Ｃと、ピクセル差分表示処理手段２３Ｄと、統計データ表示処理手段２３Ｅと、再生位置表示処理手段２３Ｆと、角度視差量表示処理手段２３Ｇと、角度視差量累積値表示処理手段２３Ｈと、角度差分表示処理手段２３Ｊとを含んで構成されている。

最前面ピクセル視差量表示処理手段２３Ａは、最前面ピクセル視差量算出手段２２Ａにより算出された最前面の対象についてのピクセル単位の視差量の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）をピクセル単位の視差量としてグラフ表示する処理を行うものである。

最背面ピクセル視差量表示処理手段２３Ｂは、最背面ピクセル視差量算出手段２２Ｂにより算出された最背面の対象についてのピクセル単位の視差量の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）をピクセル単位の視差量としてグラフ表示する処理を行うものである。

ピクセル視差量累積値表示処理手段２３Ｃは、ピクセル視差量累積値算出手段２２Ｃにより算出された各累積値の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）をピクセル単位の累積値としてグラフ表示する処理を行うものである。

ピクセル差分表示処理手段２３Ｄは、ピクセル差分算出手段２２Ｄにより算出された差分の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）をピクセル単位の差分としてグラフ表示する処理を行うものである。

統計データ表示処理手段２３Ｅは、統計データ算出手段２２Ｅにより算出された各種の統計データを表示する処理を行うものである。この統計データ表示処理手段２３Ｅは、例えば、（１）最前面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、および標準偏差、（２）最背面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、および標準偏差、（３）最前面の対象のピクセル単位の視差量についての複数フレームの平均値と最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分、（４）最前面の対象のピクセル単位の視差量と最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値、分散、および標準偏差については、数値表示を行い、（５）各フレームのそれぞれでの全画素のピクセル単位の視差量についての平均値、分散、および標準偏差については、それらの時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）を全画素のピクセル単位の視差量についての平均値、分散、および標準偏差としてグラフ表示する処理を行う。

再生位置表示処理手段２３Ｆは、再生位置算出手段２２Ｇにより算出した奥行き方向距離を表示する処理を行うものである。この再生位置表示処理手段２３Ｆは、各フレームのそれぞれでの最前面および最背面の対象についての再生位置の奥行き方向距離Ｈを数値表示するか、あるいは最前面および最背面の対象についての再生位置の奥行き方向距離Ｈの時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）をメートル単位の再生位置の奥行き方向距離としてグラフ表示する処理を行う。

角度視差量表示処理手段２３Ｇは、角度視差量算出手段２２Ｈにより算出した最前面および最背面の対象についての角度単位の視差量を表示する処理を行うものである。この角度視差量表示処理手段２３Ｇは、各フレームのそれぞれでの最前面および最背面の対象についての角度単位の視差量を数値表示するか、あるいは最前面および最背面の対象についての角度単位の視差量の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）を角度単位の視差量としてグラフ表示する処理を行う。

角度視差量累積値表示処理手段２３Ｈは、角度視差量累積値算出手段２２Ｊにより算出された最前面および最背面の対象についての角度単位の視差量の累積値の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）を角度単位の視差量の累積値としてグラフ表示する処理を行うものである。

角度差分表示処理手段２３Ｊは、角度差分算出手段２２Ｋにより算出された最前面の対象と最背面の対象との角度単位の視差量の差分を表示する処理を行うものである。この角度差分表示処理手段２３Ｊは、各フレームのそれぞれでの最前面の対象と最背面の対象との角度単位の視差量の差分を数値表示するか、あるいは最前面の対象と最背面の対象との角度単位の視差量の差分の時系列変化について、一方の軸（本実施形態では、横軸）をフレーム単位または時間単位の軸とし、他方の軸（本実施形態では、縦軸）を角度単位の視差量の差分としてグラフ表示する処理を行う。

観察条件設定手段２４は、立体映像の観察者（但し、ここでは観察者である一般視聴者の立場に立って観察を行う立体映像のコンテンツ制作者や配信者や提供者等）から立体映像呈示用ディスプレイ装置４１の画像呈示面までの視距離、および立体映像呈示用ディスプレイ装置４１の画像呈示面サイズを、観察条件として設定する処理を行うものである。

なお、観察条件設定手段２４は、「視距離」について、観察者（ここでは、立体映像のコンテンツ制作者や配信者や提供者等）の手入力による入力設定を受け付ける構成でもよく、あるいは、センサにより観察者の位置または観察者までの距離を検出し、その検出結果に基づき視距離を自動設定する構成でもよい。また、「画像呈示面サイズ」について、観察者の手入力による入力設定を受け付ける構成でもよく、立体映像呈示用ディスプレイ装置４１から画像呈示面サイズの情報を自動的に読み込む構成でもよい。

角度視差量累積値比較手段２５は、角度視差量累積値算出手段２２Ｊにより算出した最前面および最背面の対象の角度単位の視差量についての各フレームの累積値と、生理・心理実験により求めた安全性基準値とを比較する処理を行うものである。

安全性判断手段２６は、角度視差量累積値比較手段２５による比較結果に基づき、評価対象となっている立体映像が、観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する処理を行うものである。

角度差分比較手段２７は、角度差分算出手段２２Ｋにより算出した最前面の対象と最背面の対象との角度単位の視差量の差分と、生理・心理実験により求めた快適性上限値および快適性下限値とを比較する処理を行うものである。

快適性判断手段２８は、角度差分比較手段２７による比較結果に基づき、評価対象となっている立体映像について、観察者が左眼用画像と右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する処理を行うものである。

画像補正処理手段２９は、安全性判断手段２６による判断結果に基づき、最前面および最背面の対象（特に、最前面の対象が問題となる。）の角度単位の視差量についての各フレームの累積値が安全性基準値を超えている場合に、その累積値が安全性基準値以下になるか若しくは安全性基準値に近づくように左眼用画像および／または右眼用画像を補正する処理を行うものである。具体的には、例えば、左眼用画像と右眼用画像とを相対的にシフトさせる処理（左右のずれ量を変化させる処理）、あるいは再生倍率を変化させる処理等を行う。

また、画像補正処理手段２９は、快適性判断手段２８による判断結果に基づき、最前面の対象と最背面の対象との角度単位の視差量の差分が快適性上限値から快適性下限値までの範囲に収まっていない場合に、その角度単位の視差量の差分が、快適性上限値から快適性下限値までの範囲に収まるか若しくは収まる状態に近づくように左眼用画像および／または右眼用画像を補正する処理を行うものである。具体的には、例えば、左眼用画像と右眼用画像とを相対的にシフトさせる処理（左右のずれ量を変化させる処理）、あるいは再生倍率を変化させる処理等を行う。

メタデータ付加処理手段３０は、評価用データ作成手段２２により作成した評価用データのうちの少なくとも一種類の評価用データを、放送用電波６に乗せて若しくは通信ネットワーク７を介して配信する立体映像または記録媒体８に記録して提供する立体映像のコンテンツとしての左眼用画像および右眼用画像に、メタデータとして付加する処理を行うものである。

図１において、立体映像チューナ５０は、コンピュータにより構成され、観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置６０に接続されてこの立体映像呈示用ディスプレイ装置６０の画面上に表示する立体映像を調整する装置であり、立体映像入力手段５１と、観察条件設定手段５２と、再生用画像作成手段５３と、再生用画像出力手段５４と、最適観察条件算出手段５５と、最適観察条件呈示手段５６とを備えている。

立体映像入力手段５１は、放送用電波６に乗せて若しくは通信ネットワーク７を介して配信されてくる立体映像または記録媒体８に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像、並びにこのコンテンツに付加されたメタデータを入力する処理を行うものである。

観察条件設定手段５２は、立体映像の観察者から立体映像呈示用ディスプレイ装置６０の画像呈示面までの視距離、および立体映像呈示用ディスプレイ装置６０の画像呈示面サイズを、観察条件として設定する処理を行うものである。この観察条件設定手段５２は、立体映像評価装置２０の観察条件設定手段２４と同様の構成および機能を有するものであり、これらの観察条件設定手段２４，５２の相違は、単に、コンテンツ制作者・配信者・提供者等が、観察者である一般視聴者の立場に立って自分の制作・配信・提供するコンテンツの評価・観察を行う際に仮想的な観察条件を設定する手段であるか、あるいは観察者である一般視聴者その者が、配信・提供を受けた立体映像の観察を行う際に実際の観察条件を設定する手段であるかの相違である。従って、観察条件設定手段５２は、観察条件設定手段２４の場合と同様に、「視距離」について、観察者の手入力による入力設定を受け付ける構成でもよく、あるいは、センサにより観察者の位置または観察者までの距離を検出し、その検出結果に基づき視距離を自動設定する構成でもよく、また、「画像呈示面サイズ」について、観察者の手入力による入力設定を受け付ける構成でもよく、立体映像呈示用ディスプレイ装置６０から画像呈示面サイズの情報を自動的に読み込む構成でもよい。

また、立体映像チューナ５０は、視距離または画像呈示面サイズのいずれか一方の観察条件が固定されているときに、視距離または画像呈示面サイズのいずれか他方についての最適な観察条件を算出し、呈示する処理も行うが、観察条件設定手段５２は、この際の固定される視距離または画像呈示面サイズのいずれか一方の観察条件を設定する処理を行うものである。

再生用画像作成手段５３は、立体映像入力手段５１により入力したコンテンツに付随するメタデータに含まれる評価用データ、および観察条件設定手段５２により設定した観察条件を用いて、立体映像の再生用の左眼用画像および右眼用画像を作成する処理を行うものであり、単位換算手段５３Ａと、角度視差量累積値算出手段５３Ｂと、角度視差量累積値比較手段５３Ｃと、安全性判断手段５３Ｄと、角度差分算出手段５３Ｅと、角度差分比較手段５３Ｆと、快適性判断手段５３Ｇと、画像補正処理手段５３Ｈとを含んで構成されている。

単位換算手段５３Ａは、観察条件設定手段５２により設定された画像呈示面サイズを用いて、立体映像入力手段５１により入力したコンテンツに付随するメタデータに含まれる最前面および最背面の対象のピクセル単位の視差量についての各フレームの累積値を、ピクセル単位から標準的な測長単位（本実施形態では、一例としてメートル単位とする。）に換算する処理を行うものである。この際、算出に用いる式は、立体映像評価装置２０の単位換算手段２２Ｆの場合と同様に、前述した式（１）である。

また、単位換算手段５３Ａは、観察条件設定手段５２により設定された画像呈示面サイズを用いて、最前面の対象についてのピクセル単位の視差量と、最背面の対象についてのピクセル単位の視差量との差分を、ピクセル単位から標準的な測長単位（本実施形態では、メートル単位）に換算する処理も行う。

なお、立体映像入力手段５１により入力したコンテンツに付随するメタデータに、最前面および最背面の対象のピクセル単位の視差量についての各フレームの累積値は含まれていないが、最前面および最背面の対象のピクセル単位の視差量は含まれている場合には、立体映像チューナ５０に設けられた図示されないピクセル視差量累積値算出手段により、最前面および最背面の対象のピクセル単位の視差量についての各フレームの累積値を算出してから、単位換算手段５３Ａによる単位換算処理を行えばよい。

また、立体映像入力手段５１により入力したコンテンツに付随するメタデータに、最前面の対象についてのピクセル単位の視差量と最背面の対象についてのピクセル単位の視差量との差分は含まれていないが、最前面および最背面の対象についてのピクセル単位の視差量は含まれている場合には、立体映像チューナ５０に設けられた図示されないピクセル差分算出手段により、最前面の対象についてのピクセル単位の視差量と最背面の対象についてのピクセル単位の視差量との差分を算出してから、単位換算手段５３Ａによる単位換算処理を行えばよい。

角度視差量累積値算出手段５３Ｂは、単位換算手段５３Ａにより換算して得られた標準的な測長単位（本実施形態では、メートル単位）の視差量の累積値と、観察条件設定手段５２により設定された視距離とを用いて、角度単位の視差量の累積値を算出する処理を行うものである。この際、算出に用いる式は、立体映像評価装置２０の角度視差量累積値算出手段２２Ｊの場合と同様に、前述した式（４）である。

角度視差量累積値比較手段５３Ｃは、角度視差量累積値算出手段５３Ｂにより算出した角度単位の視差量の累積値と、生理・心理実験により求めた安全性基準値とを比較する処理を行うものである。

安全性判断手段５３Ｄは、角度視差量累積値比較手段５３Ｃによる比較結果に基づき、観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する処理を行うものである。

角度差分算出手段５３Ｅは、単位換算手段５３Ａにより換算して得られた標準的な測長単位（本実施形態では、メートル単位）の視差量の差分と、観察条件設定手段５２により設定された視距離とを用いて、角度単位の視差量の差分を算出する処理を行うものである。この際、算出に用いる式は、立体映像評価装置２０の角度差分算出手段２２Ｋの場合と同様に、前述した式（４）である。

角度差分比較手段５３Ｆは、角度差分算出手段５３Ｅにより算出した角度単位の視差量の差分と、生理・心理実験により求めた快適性上限値および快適性下限値とを比較する処理を行うものである。

快適性判断手段５３Ｇは、角度差分比較手段５３Ｆによる比較結果に基づき、観察者が左眼用画像と右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する処理を行うものである。

画像補正処理手段５３Ｈは、立体映像評価装置２０の画像補正処理手段２９の場合と同様に、安全性判断手段５３Ｄによる判断結果に基づき、最前面および最背面の対象（特に、最前面の対象が問題となる。）の角度単位の視差量についての各フレームの累積値が安全性基準値を超えている場合に、その累積値が安全性基準値以下になるか若しくは安全性基準値に近づくように左眼用画像および／または右眼用画像を補正する処理を行うものである。具体的には、例えば、左眼用画像と右眼用画像とを相対的にシフトさせる処理、あるいは再生倍率を変化させる処理等を行う。

また、画像補正処理手段５３Ｈは、立体映像評価装置２０の画像補正処理手段２９の場合と同様に、快適性判断手段５３Ｇによる判断結果に基づき、最前面の対象と最背面の対象との角度単位の視差量の差分が快適性上限値から快適性下限値までの範囲に収まっていない場合に、その角度単位の視差量の差分が、快適性上限値から快適性下限値までの範囲に収まるか若しくは収まる状態に近づくように左眼用画像および／または右眼用画像を補正する処理を行うものである。具体的には、例えば、左眼用画像と右眼用画像とを相対的にシフトさせる処理、あるいは再生倍率を変化させる処理等を行う。

再生用画像出力手段５４は、再生用画像作成手段５３により作成された左眼用画像および右眼用画像を、立体映像呈示用ディスプレイ装置６０に送り出す処理を行うものである。

最適観察条件算出手段５５は、立体映像入力手段５１により入力したコンテンツに付随するメタデータに含まれる評価用データ、および観察条件設定手段５２により設定した一方の観察条件を用いて視距離または画像呈示面サイズのいずれか他方の観察条件についての最適な条件を算出する処理を行うものである。具体的には、例えば、画像呈示面サイズが固定されているときに、安全性の面からの最適な観察条件としての視距離を算出する場合には、前述した式（４）を変形し、次の式（５）により最適な観察条件としての視距離を算出することができる。

視距離Ｄ１＝
（標準的な測長単位の視差量の累積値／安全性基準値θ１）×（１８０／π）
・・・・・・（５）

ここで、安全性基準値θ１（度）は、角度視差量累積値比較手段５３Ｃによる比較処理で用いる安全性基準値と同じであり、標準的な測長単位は、本実施形態では、一例としてメートル単位であり、視差量の累積値は、主として最前面の対象についての視差量の累積値である。また、算出された視距離Ｄ１の値は、それ以上離れて観察すれば、安全であるということを示す値である。

また、例えば、画像呈示面サイズが固定されているときに、快適性の面からの最適な観察条件としての視距離を算出する場合には、前述した式（４）を変形し、次の式（６）および式（７）により最適な観察条件としての視距離を算出することができる。

視距離Ｄ２＝
（標準的な測長単位の視差量の差分／快適性上限値θ２）×（１８０／π）
・・・・・・（６）

視距離Ｄ３＝
（標準的な測長単位の視差量の差分／快適性下限値θ３）×（１８０／π）
・・・・・・（７）

ここで、快適性上限値θ２および快適性下限値θ３は、角度差分比較手段５３Ｆによる比較処理で用いる快適性上限値および快適性下限値と同じであり、標準的な測長単位は、本実施形態では、一例としてメートル単位であり、視差量の差分は、最前面の対象と最背面の対象との視差量の差分である。また、算出された視距離Ｄ２，Ｄ３の値は、視距離Ｄ２〜Ｄ３の範囲で観察すれば、快適であることを示す値である。

また、視距離が固定されているときに、安全性の面から、あるいは快適性の面からの最適な観察条件としての画像呈示面サイズを算出する場合には、上記式（５）〜式（７）の場合と同様な手法で、前述した式（１）および式（４）を変形することにより、最適な観察条件としての画像呈示面サイズを算出することができる。

最適観察条件呈示手段５６は、最適観察条件算出手段５５による算出結果を観察者に呈示する処理を行うものである。この最適観察条件呈示手段５６は、最適観察条件算出手段５５による算出結果を立体映像呈示用ディスプレイ装置６０の画面上に表示する処理を行う構成でもよく、音声報知する処理を行う構成でもよく、立体映像チューナ５０に設けられた画面（不図示）上に表示する処理を行う構成でもよい。

以上において、立体映像評価装置２０の処理手段２０Ａに含まれる各手段２１〜３０、および立体映像チューナ５０の各手段５１〜５６は、立体映像評価装置２０および立体映像チューナ５０を構成する各コンピュータ本体（パーソナル・コンピュータのみならず、その上位機種のものも含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。

また、立体映像評価装置２０の評価用ディスプレイ装置４０および立体映像呈示用ディスプレイ装置４１、並びに立体映像チューナ５０に接続された立体映像呈示用ディスプレイ装置６０としては、例えば、液晶ディスプレイやＣＲＴディスプレイ等を採用することができる。

さらに、立体映像評価装置２０および立体映像チューナ５０は、それぞれ一台のコンピュータあるいは一つのＣＰＵにより実現されるものに限定されず、複数のコンピュータ等で分散処理を行うことにより実現されるものであってもよい。

このような本実施形態においては、以下のようにして立体映像のコンテンツ制作者または配信者や提供者が、立体映像評価装置２０を用いて制作・配信・提供対象である立体映像の評価作業を行った後、立体映像の配信や提供を受けた観察者が、立体映像チューナ５０により調整された立体映像を観察する。

先ず、立体映像のコンテンツ制作者、あるいは立体映像の配信者（放送事業者やインターネットによるコンテンツ配信サービス業者等）や提供者（記録媒体８の発行者や販売者等）は、自己の制作した、あるいは自分の配信・提供する立体映像コンテンツである左眼用画像および右眼用画像について、立体映像評価装置２０を用いて評価を行い、安全性や快適性の面から立体映像の品質を確認する。この確認結果は、制作したコンテンツや配信・提供するコンテンツの修正に活かされ、さらには次回のコンテンツ制作等に反映される。

具体的には、コンテンツについて、ピクセル視差量算出手段２１により、各フレーム毎に左眼用画像と右眼用画像とのオプティカルフローを求める画像処理を行う（図４参照）。その後、ピクセル視差量算出手段２１による算出結果を用い、最前面ピクセル視差量算出手段２２Ａおよび最背面ピクセル視差量算出手段２２Ｂにより、最前面および最背面の対象についてのピクセル単位の視差量を求める。通常は、交差方向のピクセル単位の最大視差量および同側方向のピクセル単位の最大視差量を求めることになる。

続いて、ピクセル視差量累積値算出手段２２Ｃ、ピクセル差分算出手段２２Ｄ、および統計データ算出手段２２Ｅにより、ピクセル単位で示される評価用データの算出処理を行う。

さらに、コンテンツ制作者または配信者・提供者は、立体映像を観察する観察者である一般視聴者の立場に立って、自己の制作・配信・提供する立体映像の評価をするため、観察条件設定手段２４により、視距離および画像呈示面サイズの設定を行う。そして、観察条件設定手段２４による観察条件の設定が行われると、単位換算手段２２Ｆ、再生位置算出手段２２Ｇ、角度視差量算出手段２２Ｈ、角度視差量累積値算出手段２２Ｊ、および角度差分算出手段２２Ｋにより、角度単位で示される評価用データの算出処理が行われる。

それから、コンテンツ制作者または配信者・提供者は、必要に応じ、最前面ピクセル視差量表示処理手段２３Ａ、最背面ピクセル視差量表示処理手段２３Ｂ、ピクセル視差量累積値表示処理手段２３Ｃ、ピクセル差分表示処理手段２３Ｄ、統計データ表示処理手段２３Ｅ、再生位置表示処理手段２３Ｆ、角度視差量表示処理手段２３Ｇ、角度視差量累積値表示処理手段２３Ｈ、および角度差分表示処理手段２３Ｊにより、ピクセル単位あるいは角度単位とされた評価用データを、評価用ディスプレイ装置４０の画面上に表示させる。

例えば、図７に示すように、安全性評価モードにおいて、角度視差量累積値表示処理手段２３Ｈにより、最前面の対象についての角度単位の視差量の累積値（図中の実線）を、安全性基準値（図中の一点鎖線）とともにグラフ表示する。このグラフは、横軸が時間単位またはフレーム単位で、縦軸が角度単位の視差量の累積値となっている。なお、グラフ中の累積値は、例えば、連続する立体映像中の一つのシーンを構成する複数フレームについての累積値とする。

また、図８に示すように、快適性評価モードにおいて、角度差分表示処理手段２３Ｊにより、最前面の対象と最背面の対象との角度単位の視差量の差分（図中の実線）を、快適性上限値（図中の二点鎖線）および快適性下限値（図中の一点鎖線）とともにグラフ表示する。このグラフは、横軸が時間単位またはフレーム単位で、縦軸が角度単位の視差量の差分となっている。

その後、安全性評価モードでは、角度視差量累積値比較手段２５により、角度視差量累積値算出手段２２Ｊにより算出した最前面の対象についての角度単位の視差量の累積値と、生理・心理実験により予め求めた安全性基準値（但し、安全性基準値は、比較対象となる立体映像のフレーム数により変化し、フレーム数が大きくなれば、安全性基準値も大きくなる。）とを比較する。そして、安全性判断手段２６により、角度視差量累積値比較手段２５による比較結果に基づき、観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する。

例えば、図７のグラフで、連続する立体映像中の一つのシーンを構成する複数フレーム（一例として１０フレームとする。）についての角度単位の視差量の累積値が１０度（１度×１０フレーム分）を超えていたとすると、顕著な視覚負担を与える可能性があると判断したり、あるいは累積値が１０度を超えている程度に応じ、顕著な視覚負担を与える度合いを判断する。なお、先行研究では、１フレームにつき１度を超えると視覚負担になるという結果が得られている。

続いて、画像補正処理手段２９により、累積値（例えば、１０フレームの累積値）が安全性基準値（例えば、１０度）以下になるように、または視覚負担の度合いが減る方向に、左右の画像を補正し、この補正された左右の画像による立体映像を、立体映像呈示用ディスプレイ装置４１の画面上に表示する。コンテンツ制作者または配信者・提供者は、立体映像呈示用ディスプレイ装置４１に画面表示された立体画像を参照し、通常の観察条件で観察を行う一般視聴者にとって安全な映像であるか否か等を確認する。

この際、画像補正処理手段２９は、例えば、図７中の点線に示すように、全フレーム（例えば、１０フレームの全て）について左右の画像を一律にシフトする処理を行う。例えば、視覚負担の度合いが減る方向にシフトする場合には、左眼用画像を左方向へ、右眼用画像を右方向へ、ずらす処理を行う。また、シフト量は、角度単位で把握した後に、これをピクセル単位に戻す処理を行って算出する。

また、快適性評価モードでは、角度差分比較手段２７により、角度差分算出手段２２Ｋにより算出した最前面の対象と最背面の対象との角度単位の視差量の差分と、生理・心理実験により予め求めた快適性上限値および快適性下限値とを比較する。そして、快適性判断手段２８により、角度差分比較手段２７による比較結果に基づき、観察者が左眼用画像と右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する。

例えば、図８のグラフで、連続する立体映像中の一つのシーンを構成する複数フレーム（一例として１０フレームとする。）のうちのいずれかについての角度単位の視差量の差分が、快適性上限値を超えていたとすると、観察者が左眼用画像と右眼用画像とを無理なく融像することができない可能性があると判断したり、あるいは差分が快適性上限値を超えている程度（何割のフレームが超えているのか、各フレームがどれぐらい超えているのか、あるいは超えている部分の面積や面積比率等）に応じ、無理なく融像することができない度合いを判断する。一方、いずれかのフレームの差分が、快適性下限値を下回っていたとすると、観察者が十分な立体感を得ることができない可能性があると判断したり、あるいは差分が快適性下限値を下回っている程度（何割のフレームが下回っているのか、各フレームがどれぐらい下回っているのか、あるいは下回っている部分の面積や面積比率等）に応じ、十分な立体感を得ることができない度合いを判断する。

続いて、画像補正処理手段２９により、例えば、図８中の点線の如く、差分が快適性上限値から快適性下限値までの範囲に収まるように、またはこの範囲に収まる割合（面積）が増える方向に、左右の画像を補正し、この補正された左右の画像による立体映像を、立体映像呈示用ディスプレイ装置４１の画面上に表示する。コンテンツ制作者または配信者・提供者は、立体映像呈示用ディスプレイ装置４１に画面表示された立体画像を参照し、通常の観察条件で観察を行う一般視聴者にとって快適な映像であるか否か等を確認する。

コンテンツ制作者または配信者・提供者が、制作・配信・提供の対象となる立体映像について、安全性や快適性の面からの確認をし、立体映像についてそれらの面からの問題がないと判断された場合には、メタデータ付加処理手段３０により、評価用データ作成手段２２により作成した評価用データのうちの少なくとも一種類の評価用データを、コンテンツとしての左眼用画像および右眼用画像にメタデータとして付加した後、これらのコンテンツおよびそれに付随するメタデータを、図１に示した立体映像配信装置７０のコンテンツ記憶手段７１に記憶させるか、あるいは記録媒体８に記録する。

なお、立体映像配信装置７０は、コンテンツおよびそれに付随するメタデータを放送用電波６に乗せて配信する装置、あるいはインターネット、イントラネット、エクストラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）等のネットワーク７に接続されたコンテンツ提供用のサーバである。また、コンテンツ記憶手段７１は、例えばハードディスク等である。さらに、記録媒体８は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ等である。

次に、観察者である一般視聴者が、放送用電波６に乗せて若しくはネットワーク７を介して配信されてきた立体映像（コンテンツおよびメタデータ）、あるいは記録媒体８に記録されている立体映像（コンテンツおよびメタデータ）を、立体映像チューナ５０を通して立体映像呈示用ディスプレイ装置６０の画面上に表示させ、観察する場合の処理の流れを説明する。

図２において、立体映像チューナ５０の電源を入れ、チューナ用のプログラムを立ち上げてチューニング処理を開始する（ステップＳ１）。続いて、立体映像入力手段５１により、コンテンツおよびメタデータを入力する（ステップＳ２）。この入力は、例えば、立体映像配信装置７０から発信された放送用電波６の受信、立体映像配信装置７０からのネットワーク７を介したダウンロード、あるいは記録媒体８の記録情報の読取りという形で行われる。

そして、観察者は、自己の観察条件として、視距離および立体映像呈示用ディスプレイ装置６０の画像呈示面サイズを手作業で入力し、観察条件設定手段５２により、これらの入力が受け付けられて視距離および画像呈示面サイズの設定が行われる（ステップＳ３）。なお、視距離は、センサを用いて自動読取により設定してもよく、画像呈示面サイズは、立体映像呈示用ディスプレイ装置６０からの自動読込としてもよい。

それから、メタデータとして入力した最前面の対象についてのピクセル単位の視差量の累積値を、単位換算手段５３Ａにより、メートル単位に換算し（ステップＳ４）、さらに、角度視差量累積値算出手段５３Ｂにより、角度単位の視差量の累積値を算出する（ステップＳ５）。

その後、角度視差量累積値比較手段５３Ｃにより、角度視差量累積値算出手段５３Ｂにより算出した角度単位の視差量の累積値と、安全性基準値との比較を行い、この比較結果に基づき、安全性判断手段５３Ｄにより、安全性の判断を行う（ステップＳ６）。

ここで、安全ではないと判断された場合（ステップＳ７）には、立体映像呈示用ディスプレイ装置６０の画面上または立体映像チューナ５０に設けられた画面（不図示）上に評価結果が表示され、観察者は、この表示を参照し、観察する立体映像を最適化するか否かを選択する（ステップＳ８）。ここで、最適化するという選択が行われた場合（ステップＳ９）には、画像補正処理手段５３Ｈにより、左右の画像の補正処理が行われる（ステップＳ１０）。

一方、ステップＳ７で、安全であると判断された場合、およびステップＳ９で、最適化しないという選択が行われた場合には、画像補正処理手段５３Ｈによる画像補正処理（ステップＳ１０）を行うことなく、次のステップに進む。

続いて、快適性の判断および快適性確保のための画像補正処理を行うか否かを判断する（ステップＳ１１）。なお、快適性を判断するか否かは、予め観察者が設定しておく。また、安全性の判断と快適性の判断とを両方とも行う場合において、安全性確保のための画像補正と、快適性確保のための画像補正とが両立しないときには、いずれを優先するかを観察者に選択させておいてもよい。

ステップＳ１１で、快適性を判断する場合には、メタデータとして入力した最前面の対象と最背面の対象とのピクセル単位の視差量の差分を、単位換算手段５３Ａにより、メートル単位に換算し（ステップＳ１２）、さらに、角度差分算出手段５３Ｅにより、角度単位の視差量の差分を算出する（ステップＳ１３）。

その後、角度差分比較手段５３Ｆにより、角度差分算出手段５３Ｅにより算出した角度単位の視差量の差分と、快適性上限値および快適性下限値との比較を行い、この比較結果に基づき、快適性判断手段５３Ｇにより、快適性の判断を行う（ステップＳ１４）。

ここで、快適ではないと判断された場合（ステップＳ１５）には、立体映像呈示用ディスプレイ装置６０の画面上または立体映像チューナ５０に設けられた画面（不図示）上に評価結果が表示され、観察者は、この表示を参照し、観察する立体映像を最適化するか否かを選択する（ステップＳ１６）。ここで、最適化するという選択が行われた場合（ステップＳ１７）には、画像補正処理手段５３Ｈにより、左右の画像の補正処理が行われる（ステップＳ１８）。

一方、ステップＳ１５で、快適であると判断された場合、およびステップＳ１７で、最適化しないという選択が行われた場合には、画像補正処理手段５３Ｈによる画像補正処理（ステップＳ１８）を行うことなく、次のステップに進む。また、ステップＳ１１で、快適性を判断しない場合には、ステップＳ１２〜Ｓ１８の処理を行うことなく、次のステップに進む。

なお、ステップＳ１８で快適性確保のための画像補正処理を何ら制限なく行うと、画像補正をした結果、ステップＳ１０で一旦確保した安全性が損なわれる可能性もある。従って、快適性確保のための画像補正処理後（仮にその画像補正処理を行ったとした場合の状態）の左右の画像につき、再度、ステップＳ６の安全性の判断を行い、安全性も確保されるか否かを判断した後に、次のステップに進む構成とすることが好ましい。そして、快適性確保のための画像補正処理を何ら制限なく行うと、安全性が確保されないと判断された場合には、快適性確保のための画像補正処理は行わないか、あるいは安全性が確保される限度内で快適性確保のための画像補正処理を行うことが好ましい。また、観察者の選択に従って、安全性確保と快適性確保とのいずれかを優先させる画像補正処理を行ってもよい。

続いて、立体映像入力手段５１により入力したコンテンツのままの状態か、あるいはステップＳ１０，Ｓ１８で画像補正された状態の左眼用画像および右眼用画像を、再生用画像出力手段５４により、立体映像呈示用ディスプレイ装置６０に送り出し（ステップＳ１９）、観察者への立体映像の呈示を行う。そして、観察者は、立体映像呈示用ディスプレイ装置６０に画面表示された立体映像を、観察条件設定手段５２により設定した観察条件で参照することにより、安全性や快適性を考慮した状態で立体映像を観察することができる。以上で、立体映像についての一連の調整処理を終了する（ステップＳ２０）。

また、以上に述べた立体映像についての一連の調整処理（ステップＳ１〜Ｓ２０）は、観察条件である視距離および画像呈示面サイズのいずれもが固定されている場合についての調整処理であるが、これらの観察条件のうち、いずれか一方が固定され、他方が調整自在な場合には、観察者が、固定されている方の観察条件を入力すれば、調整自在な方の観察条件について、最適観察条件算出手段５５により最適な条件が算出され、最適観察条件呈示手段５６によりその算出結果が観察者に呈示される。従って、観察者は、呈示された他方の観察条件についての最適な条件に従って、立体映像を参照することにより、安全性や快適性を考慮した状態で立体映像を観察することができる。例えば、立体映像呈示用ディスプレイ装置６０の画像呈示面サイズが固定されている場合には、観察者は、最適観察条件呈示手段５６により呈示された最適な条件に従って、自身が移動することにより視距離を変化させればよく、一方、立体映像呈示用ディスプレイ装置６０と椅子との相対距離が固定され、視距離を調整することが困難な場合等には、画像呈示面サイズが可変な構成を有する立体映像呈示用ディスプレイ装置６０であれば、最適観察条件呈示手段５６により呈示された最適な条件に従って、画像呈示面サイズを調整すればよい。

このような本実施形態によれば、次のような効果がある。すなわち、立体映像評価装置２０は、ピクセル視差量算出手段２１を備えているので、オプティカルフローを求める画像処理を、時系列の変化を捉えるために用いるのではなく、立体映像を構成する左眼用画像と右眼用画像との対応点間の視差量の算出に用いることができる。このため、左眼用画像と右眼用画像との対応点間の視差量を、全画素について容易に得ることができるので、これらの対応点間の視差量を用いて、評価用データ作成手段２２により、立体映像の評価に用いられる各種の評価用データを作成することができる。

例えば、評価用データ作成手段２２は、最前面ピクセル視差量算出手段２２Ａおよび最背面ピクセル視差量算出手段２２Ｂを備えているので、オプティカルフローを求める画像処理で得られた全画素についての視差量のうちから、最前面の対象および最背面の対象についてのピクセル単位の視差量を算出することができ、これにより立体映像の評価に用いるのに適した評価用データを得ることができる。

そして、立体映像評価装置２０は、評価用ディスプレイ装置４０および評価用データ表示処理手段２３を備えているので、例えば、立体映像のコンテンツ制作者、配信者、提供者等のような立体映像の評価を行う者に対し、評価用データ作成手段２２により作成された各種の評価用データを、評価用ディスプレイ装置４０の画面上に表示して呈示することができる。このため、立体映像の評価を行う者は、この表示を参照することにより、立体映像の評価作業を容易に行うことができる。

さらに、評価用データ表示処理手段２３は、最前面ピクセル視差量表示処理手段２３Ａおよび最背面ピクセル視差量表示処理手段２３Ｂを備えているので、最前面の対象および最背面の対象についてのピクセル単位の視差量の時系列変化について、一方の軸をフレーム単位または時間単位の軸とするグラフ表示を行うことができる。このため、立体映像の評価を行う者は、このグラフ表示を参照することにより、安全性の評価および快適性の評価を容易に行うことができる。

また、立体映像評価装置２０は、ピクセル視差量累積値算出手段２２Ｃおよびピクセル視差量累積値表示処理手段２３Ｃを備えているので、最前面の対象および最背面の対象のピクセル単位の視差量についての各フレームの累積値の時系列変化について、一方の軸をフレーム単位または時間単位の軸とするグラフ表示を行うことができる。このため、立体映像の評価を行う者は、このグラフ表示を参照することにより、立体映像の評価を、より一層容易に行うことができる。例えば、最前面の対象のピクセル単位の視差量についての各フレームの累積値の時系列変化をグラフ上で把握すれば、安全性の評価を容易に行うことができる。

さらに、立体映像評価装置２０は、ピクセル差分算出手段２２Ｄおよびピクセル差分表示処理手段２３Ｄを備えているので、最前面の対象と最背面の対象とのピクセル単位の視差量の差分を算出し、この差分の時系列変化について、一方の軸をフレーム単位または時間単位の軸とするグラフ表示を行うことができる。このため、立体映像の評価を行う者は、このグラフ表示を参照することにより、快適性の評価を容易に行うことができる。

そして、立体映像評価装置２０は、統計データ算出手段２２Ｅおよび統計データ表示処理手段２３Ｅを備えているので、各種の統計データを算出し、これを表示することができる。このため、立体映像の評価を行う者は、これらの統計データを参照することで、立体映像について、より一層詳細な評価を行うことができる。

例えば、統計データ算出手段２２Ｅおよび統計データ表示処理手段２３Ｅにより、（１）最前面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、および標準偏差、（２）最背面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、および標準偏差が、統計データとして算出され、表示されるので、複数のフレームにより構成される立体映像の作品全体としての視差量の平均や、ばらつき具合を把握することができる。

また、（３）最前面の対象のピクセル単位の視差量についての複数フレームの平均値と最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分、（４）最前面の対象のピクセル単位の視差量と最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値、分散、および標準偏差が、統計データとして算出され、表示されるので、作品全体として、どの程度の立体感を持ったコンテンツであるかを把握することができる。

さらに、（５）各フレームのそれぞれでの全画素のピクセル単位の視差量についての平均値、分散、および標準偏差が、統計データとして算出され、表示されるので、立体映像を構成する複数のフレームのそれぞれを１枚の立体画像として見たときの画面全体としての視差量の平均や、ばらつき具合を把握することができる。従って、前述した（１）および（２）の統計データから、時系列的に並ぶ複数フレームの全体としての視差量の平均や、ばらつき具合を把握することができることと合わせ、コンテンツについて、複数フレーム全体で見た場合と、各々のフレーム単位で見た場合との両方の分析を行うことができる。

また、立体映像評価装置２０は、観察条件設定手段２４と、単位換算手段２２Ｆと、再生位置算出手段２２Ｇと、再生位置表示処理手段２３Ｆとを備えているので、立体映像の奥行き方向の再生位置を、標準的な測長単位（本実施形態では、一例としてメートル単位とする。）で把握することができる。このため、立体映像の評価を、より一層容易に行うことができる。

さらに、立体映像評価装置２０は、観察条件設定手段２４と、単位換算手段２２Ｆと、角度視差量算出手段２２Ｈと、角度視差量表示処理手段２３Ｇとを備えているので、角度単位の視差量を、数値表示することができ、あるいは一方の軸（例えば、横軸）をフレーム単位または時間単位の軸とするグラフで表示することができる。このため、安全性や快適性等の立体映像の評価基準となる値が、ピクセル単位ではなく角度単位で与えられた場合にも、その基準値との対比を容易に行うことができるので、立体映像の評価を、より一層容易に行うことができる。

そして、立体映像評価装置２０は、観察条件設定手段２４と、単位換算手段２２Ｆと、角度視差量算出手段２２Ｈと、角度視差量累積値算出手段２２Ｊと、角度視差量累積値表示処理手段２３Ｈとを備えているので、角度単位の視差量の累積値を、数値表示することができ、あるいは一方の軸をフレーム単位または時間単位の軸とするグラフで表示することができる。このため、立体映像の評価を、より一層容易に行うことができ、例えば、最前面の対象の角度単位の視差量についての各フレームの累積値の時系列変化をグラフ上で把握すれば、安全性の評価を容易に行うことができるうえ、安全性の評価基準となる値が、ピクセル単位ではなく角度単位で与えられた場合にも、その基準値との対比を容易に行うことができるので、安全性の評価を、より一層容易に行うことができる。

また、立体映像評価装置２０は、観察条件設定手段２４と、単位換算手段２２Ｆと、角度差分算出手段２２Ｋと、角度差分表示処理手段２３Ｊとを備えているので、角度単位の視差量の差分を、数値表示することができ、あるいは一方の軸をフレーム単位または時間単位の軸とするグラフで表示することができる。このため、快適性の評価を容易に行うことができるうえ、快適性の評価基準となる値が、ピクセル単位ではなく角度単位で与えられた場合にも、その基準値との対比を容易に行うことができるので、快適性の評価を、より一層容易に行うことができる。

さらに、立体映像評価装置２０は、角度視差量累積値比較手段２５および安全性判断手段２６を備えているので、安全性の判断を自動的に行うことができ、立体映像の評価を行う者の作業の手間を軽減でき、作業時間の短縮を図ることができる。

そして、立体映像評価装置２０は、角度差分比較手段２７および快適性判断手段２８を備えているので、快適性の判断を自動的に行うことができ、立体映像の評価を行う者の作業の手間を軽減でき、作業時間の短縮を図ることができる。

また、立体映像評価装置２０は、画像補正処理手段２９を備えているので、立体映像の評価を行う者は、評価結果を反映させて調整した立体映像を容易に得ることができる。例えば、立体映像のコンテンツ制作者、配信者、提供者等は、安全性や快適性を考慮した立体映像の制作・配信・提供を容易に実現することができる。

さらに、立体映像評価装置２０は、メタデータ付加処理手段３０を備えているので、評価用データをメタデータとしてコンテンツに付加する処理を行うことができる。このため、評価用データをコンテンツとともに配信・提供することができるので、例えばブロードバンド放送や地上波デジタル放送等による立体映像の配信・提供に利用することができ、これらの配信・提供を受けた立体映像の観察者は、コンテンツに付随する評価用データを用い、配信・提供を受けたコンテンツに対する評価結果を反映させた状態で立体映像を観察することができる。

そして、立体映像チューナ５０は、立体映像入力手段５１によりコンテンツおよびこれに付加されたメタデータを入力し、再生用画像作成手段５３により、メタデータに含まれる評価用データおよび観察条件設定手段５２により設定した観察条件を用いて再生用画像を作成する構成とされているので、観察者は、観察条件に応じて立体感を最適化された状態の立体映像を観察することができる。

また、立体映像チューナ５０は、安全性判断手段５３Ｄおよび画像補正処理手段５３Ｈを備えているので、観察者は、評価データおよび観察条件を用いて安全性を考慮して調整された状態の立体映像を観察することができる。

さらに、立体映像チューナ５０は、快適性判断手段５３Ｇおよび画像補正処理手段５３Ｈを備えているので、観察者は、評価データおよび観察条件を用いて快適性を考慮して調整された状態の立体映像を観察することができる。

そして、立体映像チューナ５０は、最適観察条件算出手段５５および最適観察条件呈示手段５６を備えているので、評価用データおよび一方の観察条件を用いて他方の観察条件についての最適な条件を算出し、観察者に呈示することができる。このため、観察者は、算出・呈示された他方の観察条件に従って立体映像を観察することで、立体感を最適化された状態の立体映像を観察することができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

すなわち、前記実施形態では、立体映像チューナ５０は、汎用のコンピュータにチューナ用のソフトウェアを搭載することにより実現されていたが、チューナ専用の装置として実現してもよい。

また、前記実施形態の立体映像チューナ５０は、図２のフローチャートに示すように、安全性の判断およびその判断結果に基づく画像補正を中心として行い、快適性の判断およびその判断結果に基づく画像補正については選択的に行う構成とされていたが、本発明の立体映像チューナは、これに限定されるものではなく、例えば、快適性に関する処理を中心とし、安全性に関する処理を選択的に行う構成としてもよく、あるいは安全性に関する処理のみを行う構成や、快適性に関する処理のみを行う構成としてもよい。

さらに、前記実施形態の立体映像チューナ５０は、図２のフローチャートに示すように、観察者に対して安全性や快適性に関する評価結果を示し、最適化の有無を選択させ、観察者によって最適化するという選択がなされた場合に画像補正処理を行う構成とされていたが（ステップＳ８，Ｓ９，Ｓ１６，Ｓ１７）、本発明の立体映像チューナは、このような構成に限定されるものではなく、観察者への評価結果の呈示処理や観察者による最適化の有無の選択の受付処理を行うことなく、自動的に安全性確保や快適性確保のための画像補正処理を行う構成としてもよい。

以上のように、本発明の立体映像評価装置および立体映像チューナは、例えば、立体映像のコンテンツ制作者、立体映像を放送用電波に乗せて若しくは通信ネットワークを介して配信する者、または記録媒体に記録して提供する者が、それぞれ制作、配信、提供する立体映像を評価する場合、あるいはこれらの者から立体映像の配信や提供を受けた者が、立体映像を観察する場合等に用いるのに適し、より具体的には、例えば、ブロードバンド放送や地上波デジタル放送等による立体映像の配信およびその受信・再生に利用するのに適している。

本発明の一実施形態の立体映像評価装置および立体映像チューナの全体構成図。 前記実施形態の立体映像チューナによる処理の流れを示すフローチャートの図。 評価対象となるソース映像とこのソース映像を観察時の立体像の再生位置との関係の説明図。 右眼用画像を基準とした左右画像のオプティカルフローの説明図。 立体像の再生位置の算出方法の説明図。 角度単位の視差量の算出方法の説明図。 安全性評価モードの画面例を示す図。 快適性評価モードの画面例を示す図。

符号の説明

２０ 立体映像評価装置
２１ ピクセル視差量算出手段
２２ 評価用データ作成手段
２２Ａ 最前面ピクセル視差量算出手段
２２Ｂ 最背面ピクセル視差量算出手段
２２Ｃ ピクセル視差量累積値算出手段
２２Ｄ ピクセル差分算出手段
２２Ｅ 統計データ算出手段
２２Ｆ，５３Ａ 単位換算手段
２２Ｇ 再生位置算出手段
２２Ｈ 角度視差量算出手段
２２Ｊ，５３Ｂ 角度視差量累積値算出手段
２２Ｋ，５３Ｅ 角度差分算出手段
２３ 評価用データ表示処理手段
２３Ａ 最前面ピクセル視差量表示処理手段
２３Ｂ 最背面ピクセル視差量表示処理手段
２３Ｃ ピクセル視差量累積値表示処理手段
２３Ｄ ピクセル差分表示処理手段
２３Ｅ 統計データ表示処理手段
２３Ｆ 再生位置表示処理手段
２３Ｇ 角度視差量表示処理手段
２３Ｈ 角度視差量累積値表示処理手段
２３Ｊ 角度差分表示処理手段
２４，５２ 観察条件設定手段
２５，５３Ｃ 角度視差量累積値比較手段
２６，５３Ｄ 安全性判断手段
２７，５３Ｆ 角度差分比較手段
２８，５３Ｇ 快適性判断手段
２９，５３Ｈ 画像補正処理手段
３０ メタデータ付加処理手段
４０ 評価用ディスプレイ装置
４１，６０ 立体映像呈示用ディスプレイ装置
５０ 立体映像チューナ
５１ 立体映像入力手段
５２ 観察条件設定手段
５３ 再生用画像作成手段
５４ 再生用画像出力手段
５５ 最適観察条件算出手段
５６ 最適観察条件呈示手段

Claims (20)

1. 左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置であって、
   オプティカルフローを求める画像処理を用いて前記左眼用画像と前記右眼用画像との対応点間の視差量をピクセル単位で算出するピクセル視差量算出手段と、
   このピクセル視差量算出手段により算出されたピクセル単位の前記視差量を用いて前記立体映像の評価に用いられる評価用データを作成する評価用データ作成手段と、
   前記立体映像の評価に必要な情報を画面表示する評価用ディスプレイ装置と、
   前記評価用データ作成手段により作成された前記評価用データを前記評価用ディスプレイ装置の画面上に表示する処理を行う評価用データ表示処理手段とを備え、
   前記評価用データ作成手段は、
   前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最前面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最前面ピクセル視差量算出手段と、
   前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最背面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最背面ピクセル視差量算出手段とのうち、
   少なくとも一方の算出手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
2. 請求項１に記載の立体映像評価装置において、
   前記評価用データ表示処理手段は、
   前記最前面ピクセル視差量算出手段により算出された前記最前面の対象についてのピクセル単位の前記視差量の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う最前面ピクセル視差量表示処理手段と、
   前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の前記視差量の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う最背面ピクセル視差量表示処理手段とのうち、
   少なくとも一方の表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
3. 請求項１または２に記載の立体映像評価装置において、
   前記評価用データ作成手段は、
   前記最前面ピクセル視差量算出手段および／または前記最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値を前記評価用データとして算出するピクセル視差量累積値算出手段を含んで構成され、
   前記評価用データ表示処理手段は、
   前記ピクセル視差量累積値算出手段により算出された前記累積値の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行うピクセル視差量累積値表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
4. 請求項１〜３のいずれかに記載の立体映像評価装置において、
   前記評価用データ作成手段は、
   前記最前面ピクセル視差量算出手段により算出された前記最前面の対象についてのピクセル単位の視差量と前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の視差量との差分を前記評価用データとして算出するピクセル差分算出手段を含んで構成され、
   前記評価用データ表示処理手段は、
   前記ピクセル差分算出手段により算出された前記差分の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行うピクセル差分表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
5. 請求項１〜４のいずれかに記載の立体映像評価装置において、
   前記評価用データ作成手段は、
   前記最前面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、または標準偏差、
   前記最背面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、または標準偏差、
   前記最前面の対象のピクセル単位の視差量についての複数フレームの平均値と前記最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分、
   前記最前面の対象のピクセル単位の視差量と前記最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値、分散、または標準偏差、
   各フレームのそれぞれでの全画素のピクセル単位の視差量についての平均値、分散、または標準偏差のうち、
   少なくとも一つの統計データを前記評価用データとして算出する統計データ算出手段を含んで構成され、
   前記評価用データ表示処理手段は、
   前記統計データ算出手段により算出された前記統計データのうちの少なくとも一つを表示する処理を行う統計データ表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
6. 請求項１〜５のいずれかに記載の立体映像評価装置において、
   前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
   前記評価用データ作成手段は、
   前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段および／または前記最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象についての前記視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、
   この単位換算手段により換算して得られた標準的な測長単位の前記視差量と瞳孔間隔と前記視距離とを用いて前記画像呈示面から前記立体映像の再生位置までの奥行き方向距離を前記評価用データとして算出する再生位置算出手段とを含んで構成され、
   前記評価用データ表示処理手段は、
   前記再生位置算出手段により算出した前記奥行き方向距離を表示する処理を行う再生位置表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
7. 請求項１〜６のいずれかに記載の立体映像評価装置において、
   前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
   前記評価用データ作成手段は、
   前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段および／または前記最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象についての前記視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、
   この単位換算手段により換算して得られた標準的な測長単位の前記視差量と前記視距離とを用いて角度単位の視差量を前記評価用データとして算出する角度視差量算出手段とを含んで構成され、
   前記評価用データ表示処理手段は、
   前記角度視差量算出手段により算出した角度単位の前記視差量を表示する処理を行う角度視差量表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
8. 請求項１〜７のいずれかに記載の立体映像評価装置において、
   前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
   前記評価用データ作成手段は、
   前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段および／または前記最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象についての前記視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、
   この単位換算手段により換算して得られた標準的な測長単位の前記視差量と前記視距離とを用いて角度単位の視差量を前記評価用データとして算出する角度視差量算出手段と、
   この角度視差量算出手段により算出した角度単位の前記視差量についての各フレームの累積値を前記評価用データとして算出する角度視差量累積値算出手段とを含んで構成され、
   前記評価用データ表示処理手段は、
   前記角度視差量累積値算出手段により算出された前記累積値を表示する処理を行う角度視差量累積値表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
9. 請求項１〜７のいずれかに記載の立体映像評価装置において、
   前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
   前記評価用データ作成手段は、
   前記最前面ピクセル視差量算出手段および／または前記最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値を前記評価用データとして算出するピクセル視差量累積値算出手段と、
   前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記ピクセル視差量累積値算出手段により算出された前記最前面および／または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値をピクセル単位から標準的な測長単位に換算する単位換算手段と、
   この単位換算手段により換算して得られた標準的な測長単位の前記累積値と前記視距離とを用いて角度単位の累積値を前記評価用データとして算出する角度視差量累積値算出手段とを含んで構成され、
   前記評価用データ表示処理手段は、
   前記角度視差量累積値算出手段により算出した角度単位の前記累積値を表示する処理を行う角度視差量累積値表示処理手段を含んで構成されている
   ことを特徴とする立体映像評価装置。
10. 請求項１〜９のいずれかに記載の立体映像評価装置において、
    前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
    前記評価用データ作成手段は、
    前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段により算出された前記最前面の対象についてのピクセル単位の前記視差量と前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の前記視差量との差分を、ピクセル単位から標準的な測長単位に換算する単位換算手段と、
    この単位換算手段により換算して得られた標準的な測長単位の前記差分と前記視距離とを用いて角度単位の差分を前記評価用データとして算出する角度差分算出手段とを含んで構成され、
    前記評価用データ表示処理手段は、
    前記角度差分算出手段により算出された角度単位の前記差分を表示する処理を行う角度差分表示処理手段を含んで構成されている
    ことを特徴とする立体映像評価装置。
11. 請求項８または９に記載の立体映像評価装置において、
    前記角度視差量累積値算出手段により算出した前記累積値と生理・心理実験により求めた安全性基準値とを比較する角度視差量累積値比較手段と、
    この角度視差量累積値比較手段による比較結果に基づき観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する安全性判断手段と
    を備えたことを特徴とする立体映像評価装置。
12. 請求項１０に記載の立体映像評価装置において、
    前記角度差分算出手段により算出した角度単位の前記差分と生理・心理実験により求めた快適性上限値および快適性下限値とを比較する角度差分比較手段と、
    この角度差分比較手段による比較結果に基づき観察者が前記左眼用画像と前記右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する快適性判断手段と
    を備えたことを特徴とする立体映像評価装置。
13. 請求項１１に記載の立体映像評価装置において、
    前記安全性判断手段による判断結果に基づいて前記累積値が前記安全性基準値を超えている場合に前記累積値が前記安全性基準値以下になるか若しくは前記安全性基準値に近づくように前記左眼用画像および／または前記右眼用画像を補正する処理を行う画像補正処理手段を備えたことを特徴とする立体映像評価装置。
14. 請求項１２に記載の立体映像評価装置において、
    前記快適性判断手段による判断結果に基づいて角度単位の前記差分が前記快適性上限値から前記快適性下限値までの範囲に収まっていない場合に角度単位の前記差分が前記範囲に収まるか若しくは収まる状態に近づくように前記左眼用画像および／または前記右眼用画像を補正する処理を行う画像補正処理手段を備えたことを特徴とする立体映像評価装置。
15. 左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置であって、
    オプティカルフローを求める画像処理を用いて前記左眼用画像と前記右眼用画像との対応点間の視差量をピクセル単位で算出するピクセル視差量算出手段と、
    このピクセル視差量算出手段により算出されたピクセル単位の前記視差量を用いて前記立体映像の評価に用いられる評価用データを作成する評価用データ作成手段と、
    この評価用データ作成手段により作成した前記評価用データのうちの少なくとも一種類の評価用データを、放送用電波に乗せて若しくは通信ネットワークを介して配信する立体映像または記録媒体に記録して提供する立体映像のコンテンツとしての前記左眼用画像および前記右眼用画像に、メタデータとして付加する処理を行うメタデータ付加処理手段とを備え、
    前記評価用データ作成手段は、
    前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最前面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最前面ピクセル視差量算出手段と、
    前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最背面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最背面ピクセル視差量算出手段とのうち、
    少なくとも一方の算出手段を含んで構成されている
    ことを特徴とする立体映像評価装置。
16. 請求項１〜１０のいずれかに記載の立体映像評価装置において、
    前記評価用データ作成手段により作成した前記評価用データのうちの少なくとも一種類の評価用データを、放送用電波に乗せて若しくは通信ネットワークを介して配信する立体映像または記録媒体に記録して提供する立体映像のコンテンツとしての前記左眼用画像および前記右眼用画像に、メタデータとして付加する処理を行うメタデータ付加処理手段を備えたことを特徴とする立体映像評価装置。
17. 観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する前記立体映像を調整する立体映像チューナであって、
    放送用電波に乗せて若しくは通信ネットワークを介して配信されてくる立体映像または記録媒体に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像並びにこのコンテンツに付加されたメタデータを入力する立体映像入力手段と、
    前記立体映像の観察者から前記立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段と、
    前記メタデータに含まれる評価用データおよび前記観察条件設定手段により設定した前記観察条件を用いて前記立体映像の再生用の前記左眼用画像および前記右眼用画像を作成する再生用画像作成手段と、
    この再生用画像作成手段により作成された前記左眼用画像および前記右眼用画像を前記立体映像呈示用ディスプレイ装置に送り出す再生用画像出力手段とを備え、
    前記評価用データは、請求項１５または１６に記載のメタデータ付加処理手段により付加された評価用データである
    ことを特徴とする立体映像チューナ。
18. 請求項１７に記載の立体映像チューナにおいて、
    前記評価用データには、
    請求項１に記載の最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象についてのピクセル単位の視差量と、
    請求項３に記載のピクセル視差量累積値算出手段により算出された前記最前面および／または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値とのうち、
    少なくとも一方が含まれ、
    前記再生用画像作成手段は、
    前記観察条件設定手段により設定された前記画像呈示面サイズを用いて前記最前面および／または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値をピクセル単位から標準的な測長単位に換算する単位換算手段と、
    この単位換算手段により換算して得られた標準的な測長単位の前記累積値と前記視距離とを用いて角度単位の累積値を算出する角度視差量累積値算出手段と、
    この角度視差量累積値算出手段により算出した角度単位の前記累積値と生理・心理実験により求めた安全性基準値とを比較する角度視差量累積値比較手段と、
    この角度視差量累積値比較手段による比較結果に基づき観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する安全性判断手段と、
    この安全性判断手段による判断結果に基づいて前記累積値が前記安全性基準値を超えている場合に前記累積値が前記安全性基準値以下になるか若しくは前記安全性基準値に近づくように前記左眼用画像および／または前記右眼用画像を補正する処理を行う画像補正処理手段とを含んで構成されている
    ことを特徴とする立体映像チューナ。
19. 請求項１７に記載の立体映像チューナにおいて、
    前記評価用データには、
    請求項１に記載の最前面ピクセル視差量算出手段および／または最背面ピクセル視差量算出手段により算出された前記最前面および／または前記最背面の対象についてのピクセル単位の視差量と、
    請求項４に記載のピクセル差分算出手段により算出された前記最前面の対象についてのピクセル単位の視差量と前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の視差量との差分とのうち、
    少なくとも一方が含まれ、
    前記再生用画像作成手段は、
    前記観察条件設定手段により設定された前記画像呈示面サイズを用いて前記最前面の対象についてのピクセル単位の視差量と前記最背面の対象についてのピクセル単位の視差量との差分をピクセル単位から標準的な測長単位に換算する単位換算手段と、
    この単位換算手段により換算して得られた標準的な測長単位の前記差分と前記視距離とを用いて角度単位の差分を算出する角度差分算出手段と、
    この角度差分算出手段により算出した角度単位の前記差分と生理・心理実験により求めた快適性上限値および快適性下限値とを比較する角度差分比較手段と、
    この角度差分比較手段による比較結果に基づき観察者が前記左眼用画像と前記右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する快適性判断手段と、
    この快適性判断手段による判断結果に基づいて角度単位の前記差分が前記快適性上限値から前記快適性下限値までの範囲に収まっていない場合に角度単位の前記差分が前記範囲に収まるか若しくは収まる状態に近づくように前記左眼用画像および／または前記右眼用画像を補正する処理を行う画像補正処理手段とを含んで構成されている
    ことを特徴とする立体映像チューナ。
20. 観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する前記立体映像を調整する立体映像チューナであって、
    放送用電波に乗せて若しくは通信ネットワークを介して配信されてくる立体映像または記録媒体に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像並びにこのコンテンツに付加されたメタデータを入力する立体映像入力手段と、
    前記立体映像の観察者から前記立体映像呈示用ディスプレイ装置の画像呈示面までの視距離または前記立体映像呈示用ディスプレイ装置の画像呈示面サイズのいずれか一方の観察条件を設定する観察条件設定手段と、
    前記メタデータに含まれる評価用データおよび前記観察条件設定手段により設定した前記一方の観察条件を用いて前記視距離または前記画像呈示面サイズのいずれか他方の観察条件についての最適な条件を算出する最適観察条件算出手段と、
    この最適観察条件算出手段による算出結果を前記観察者に呈示する最適観察条件呈示手段とを備え、
    前記評価用データは、請求項１５または１６に記載のメタデータ付加処理手段により付加された評価用データである
    ことを特徴とする立体映像チューナ。