WO2012101916A1

WO2012101916A1 - 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法

Info

Publication number: WO2012101916A1
Application number: PCT/JP2011/078647
Authority: WO
Inventors: 敏中村
Original assignee: 富士フイルム株式会社
Priority date: 2011-01-25
Filing date: 2011-12-12
Publication date: 2012-08-02
Also published as: US20130308917A1; JP5750457B2; CN103329549A; CN103329549B; JPWO2012101916A1; US9380290B2

Abstract

　立体動画再生装置が立体ディスプレイの画面サイズに関わらず両眼融合可能なように立体動画の視差量を調整する際に必要な情報を、予め立体動画の付属情報として持つ立体動画ファイルを作成記録できるようにする。左右の視点画像から特徴点を抽出し（ステップＳ１２）、特徴点毎の視差量を算出する（ステップＳ１３）。算出した特徴点毎の視差量から、少なくとも遠景側の最大視差量を取得する（ステップＳ１４）。そして、１ＧＯＰ内の最大視差量のうちの最大のＧＯＰ最大視差量及びこのＧＯＰ最大視差量に基づいて左右の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能なＧＯＰ最大ディスプレイサイズを取得する（ステップＳ１６）。立体動画とともに、取得したＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量を付属情報として３Ｄ動画ファイルに記録する（ステップＳ１７）。

Description

立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法

　本発明は立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法に係り、特に複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を１つの立体動画ファイルに記録する技術に関する。

　立体撮像装置は、左右に視差をもって並べられた２つの撮像部を使って被写体を左右の視点から撮影し、左目用の視点画像と右目用の視点画像とをそれぞれ取得して記録媒体に記録している。この取得した左右の視点画像が記録媒体から読み出され、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左目用の視点画像と右目用の視点画像とが左右の目で別々に視認できるように表示されることにより、立体動画として認識できるようになる。

　ところで、記録された左右の視点画像の視差量は、撮影シーンの変化、被写体の移動、ズーム倍率の変化等により変化し、一方、３Ｄディスプレイには様々な画面のサイズのものがある。したがって、立体動画を再生表示しようとする場合、３Ｄディスプレイのサイズに対して立体動画の視差量が適切でない場合が存在する。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体動画として認識できないという問題点が発生する。

　特許文献１には、立体視可能な映像情報とともに、立体映像の再生に適する画面サイズに関する適合画面サイズ情報、３Ｄディスプレイの表示画面サイズ情報、再生時に観察者が見るのに適する表示画面までの距離に関する適合視距離情報、観察者から３Ｄディスプレイの表示画面までの距離に関する視距離情報を取得し、これらの情報に基づいて左目映像と右目映像とのずらし量（オフセット）を設定し、表示される映像の立体感を調整する技術が開示されている。

特開２００４－１８００６９号公報

　特許文献１に記載の立体映像は、静止画か動画かが明確ではない。立体動画の場合、左右の視点画像の視差量は、撮影シーンの変化、被写体の移動、ズーム倍率の変化等により変化する。仮に特許文献１に記載の技術により立体動画が自然な飛び出し量になるように立体動画の視差量を調整する場合、立体動画のフレーム単位で視差量を調整することが考えられる。しかし、この場合には、立体感が変化する立体動画としての特徴が失われ、又は不自然な立体動画になるという問題がある。

　ところで、３Ｄディスプレイの表示面において、左目画像に対して右目画像が右方向に視差を有する場合、立体像は表示面よりも奥行きをもった像として視認されるが、３Ｄディスプレイの画面サイズが大きくなると、この視差も大きくなり、人間の両眼間隔を越える視差になると、両眼融合不能になる（立体視できなくなる）。

　特許文献１には、３Ｄディスプレイの表示画面サイズに応じて最適な立体度（奥行き量）を調整した立体映像を得る記載があるが、上記のように両眼融合不能にならないように左目映像と右目映像とのずらし量を調整する記載はない。また、立体映像の遠景側（奥行き側）の最大視差量に関する記載もないため、特許文献１に記載の立体映像表示装置は、３Ｄディスプレイの画面サイズに関わらず人間の両眼間隔を越える視差にならないように、左目映像と右目映像とのずらし量を調整することはできない。

　本発明はこのような事情に鑑みてなされたもので、立体動画再生装置が立体ディスプレイの画面サイズに関わらず両眼融合可能なように立体動画の視差量を調整する際に必要な情報を、予め立体動画の付属情報として持つ立体動画ファイルを作成記録することができ、特に立体動画の視差調整が行われても自然な立体動画にすることが可能な付属情報を持つ立体動画ファイルを作成記録することができる立体動画処理装置、立体動画処理プログラム、立体撮像装置及び立体動画処理方法を提供することを目的とする。

　前記目的を達成するために本発明の第１態様に係る立体動画処理装置は、複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得する立体動画取得手段と、前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得する区間内最大ディスプレイサイズ取得手段と、前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として前記立体動画ファイルに記録する記録手段と、を備えた。

　第１態様によれば、取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出し、算出した各特徴点の視差量のうちの遠景側の最大視差量を取得し、フレーム毎の最大視差量のうち立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得し、この区間内最大視差量に基づいてその区間の立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得し、この区間内最大ディスプレイサイズを付属情報として立体動画ファイルに記録するようにしたため、立体動画再生装置において立体動画ファイルを読み出した際に、付属情報に記録されている立体動画ファイルの所定の区間毎の区間内最大ディスプレイサイズと表示しようとしている立体ディスプレイの表示サイズとを比較することにより、所定の区間毎に立体視可能か否かを容易に判別することができる。また、立体視不能と判別された場合にはその区間内最大ディスプレイサイズを使用して該当区間内の立体動画の視差を補正することができ、立体動画再生装置における視差の補正処理を軽減させることができる。更に立体動画の所定の区間毎に区間内最大ディスプレイサイズを記録するようにしたため、視差を補正する場合に区間毎に行うことができ、立体動画の視差が補正されても自然な立体動画にすることができる。

　本発明の第２態様は第１態様の立体動画処理装置において、前記記録手段は、前記区間内最大視差量取得手段により前記立体動画の所定の区間毎に取得した区間内最大視差量を前記立体動画ファイルの付属情報として更に記録する。

　本発明の第３態様に係る立体動画処理装置は、複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得する立体動画取得手段と、前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大視差量を付属情報として前記立体動画ファイルに記録する記録手段と、を備えた。

　前記区間内最大視差量は、前記区間内最大ディスプレイサイズと同様に立体動画再生装置により該当区間の立体動画が立体視可能か否かを判別するための情報として利用することができるとともに、該当区間内の立体動画の視差を補正するための情報として利用することができる。

　本発明の第４態様は第３態様の立体動画処理装置において、前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得する区間内最大ディスプレイサイズ取得手段を備え、前記記録手段は、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として更に前記立体動画ファイルに記録する。

　本発明の第５態様は第１態様から第４態様のいずれか１態様の立体動画処理装置において、前記記録手段は、前記立体動画を観察するのに適した視認者と立体ディスプレイとの距離である想定視距離を前記立体動画ファイルの付属情報として更に記録する。

　本発明の第６態様は第１態様から第５態様のいずれか１態様の立体動画処理装置において、前記最大視差量取得手段は、前記算出した各特徴点の視差量のうちの近景側の最大視差量を取得し、前記区間内最大視差量取得手段は、前記取得した近景側の最大視差量のうち前記所定の区間内で最大となる区間内最大視差量を該所定の区間毎に取得する。

　これにより、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができる。

　本発明の第７態様は第１態様、第２態様又は第４態様の立体動画処理装置において、前記立体動画取得手段により取得されたＮ（Ｎは３以上の整数）視点の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、前記最大視差量取得手段は、前記代表画像と前記Ｎ視点の視点画像のうちの代表画像を除く（Ｎ－１）視点の視点画像とのそれぞれ異なる組み合わせからなる２つの視点画像に関連して（Ｎ－１）個の遠景側の最大視差量を取得し、前記区間内最大ディスプレイサイズ取得手段は、前記取得した（Ｎ－１）個の遠景側の最大視差量に基づいて前記所定の区間内で最大となる（Ｎ－１）個の区間内最大ディスプレイサイズを前記所定の区間毎に取得し、前記記録手段は、前記取得した（Ｎ－１）個の区間内最大ディスプレイサイズを前記付属情報として前記立体動画ファイルに記録する。

　これにより、立体動画再生装置において、所定の区間内の立体動画を再生する際に、（Ｎ－１）個の区間内最大ディスプレイサイズを参照することができ、表示しようとするディスプレイサイズと比較することで、立体視に適切な立体動画を簡単に選択することができる。

　本発明の第８態様は第１態様から第７態様のいずれか１態様の立体動画処理装置において、前記立体動画取得手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段を更に備えた。

　これにより、立体動画ファイルを読み出した立体動画再生装置では、仮想視点画像が記録されている場合には視差調整を行うことなく仮想視点画像を用いて表示することができる。

　本発明の第９態様は第１態様、第２態様又は第４態様の立体動画処理装置において、前記複数の視点画像及び仮想視点画像を含むＮ（Ｎは３以上の整数）視点の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、前記最大視差量取得手段は、前記代表画像と前記Ｎ視点の視点画像のうちの代表画像を除く（Ｎ－１）視点の視点画像とのそれぞれ異なる組み合わせからなる２つの視点画像に関連して（Ｎ－１）個の遠景側の最大視差量を取得し、前記区間内最大ディスプレイサイズ取得手段は、前記取得した（Ｎ－１）個の遠景側の最大視差量に基づいて前記所定の区間内で最大となる（Ｎ－１）個の区間内最大ディスプレイサイズを前記所定の区間毎に取得し、前記記録手段は、前記取得した（Ｎ－１）個の区間内最大ディスプレイサイズを前記付属情報として前記立体動画ファイルに記録する。

　これにより、立体動画再生装置において、所定の区間内の立体動画を再生する際に、（Ｎ－１）個の区間内最大視差量を参照し、立体視に適切な立体動画を簡単に選択することができる。

　本発明の第１０態様は第１態様から第９態様のいずれか１態様の立体動画処理装置において、前記立体動画ファイルは、複数のフレームからなる１ＧＯＰ毎に複数の視点画像が順次記録されたＭＰＥＧファイルであり、前記立体動画の所定の区間は、１又は２以上の所定数のＧＯＰに対応する区間であることを特徴としている。

　本発明の第１１態様は第１態様から第１０態様のいずれか１態様の立体動画処理装置において、前記取得した立体動画のシーンチェンジを検知するシーンチェンジ検知手段を備え、前記立体動画の所定の区間は、前記シーンチェンジ検知手段により検知されたシーンチェンジにより区分されるシーン毎の区間である。

　本発明の第１２態様は第１態様から第１１態様のいずれか１態様の立体動画処理装置において、前記記録手段は、前記区間毎に取得される区間内最大ディスプレイサイズ及び区間内最大視差量のうちの少なくとも一方を、該区間よりも所定の区間数だけ前の区間の先頭、又は立体動画ファイルの先頭に記録する。

　これにより、立体動画ファイルを読み出した立体動画再生装置では、所定の区間内の立体動画の視差を調整すべきか否かを事前に検知することができ、調整すべき視差量も事前に算出することができる。

　本発明の第１３態様は第７態様又は第９態様の立体動画処理装置において、前記記録手段は、前記Ｎ視点の視点画像を視点の並び順に、又は中央の視点に近い順に記録する。

　本発明の第１４態様は第８態様又は第９態様の立体動画処理装置において、前記記録手段は、前記複数の視点画像及び仮想視点画像を前記立体動画ファイルに記録する際に、各画像が実視点の画像か仮想視点の画像かを示す視点情報を前記立体動画ファイルの付属情報として記録する。

　これにより、立体動画ファイルを読み出した立体動画再生装置において、実視点の動画と仮想視点の動画とを区別することができる。

　本発明の第１５態様は第１態様、第２態様、第４態様、第７態様、又は第９態様の立体動画処理装置において、前記区間内最大ディスプレイサイズ取得手段は、前記区間内最大視差量取得手段により取得した遠景側の区間内最大視差量に対応する立体ディスプレイ上での画像ずれ量が、人間の両眼間隔を越えないディスプレイサイズのうちの最大のディスプレイサイズを、両眼融合可能な区間内最大ディスプレイサイズとして取得する。これにより、適切に区間内最大ディスプレイサイズを取得することができる。

　本発明の第１６態様は第１５態様の立体動画処理装置において、前記区間内最大ディスプレイサイズ取得手段は、前記区間内最大視差量取得手段により取得した遠景側の区間内最大視差量に基づいて、予め最大視差量に対応する最大ディスプレイサイズが記録された記憶手段から対応する最大ディスプレイサイズを読み出し、又は人間の両眼間隔を示す所定値を含む計算式を使用して前記区間内最大ディスプレイサイズを算出する。これにより、適切に最大ディスプレイサイズを取得することができる。

　本発明の第１７態様に係る立体動画処理プログラムは、第１態様から第１６態様のいずれか１態様の立体動画処理装置を、コンピュータにより実現させる。

　本発明の第１８態様は第１態様から第１６態様のいずれか１態様の立体動画処理装置を、コンピュータにより実現させる機械読み取り可能な指示の立体動画処理プログラムを有形的に格納したプログラム可能な記録媒体からなる。

　本発明の第１９態様に係る立体撮像装置は、前記立体動画取得手段として機能する撮像手段と、第１態様から第１６態様のいずれか１態様の立体動画処理装置と、を備えた。

　本発明の第２０態様に係る立体動画処理方法は、複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得するステップと、前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出するステップと、前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得するステップと、前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得するステップと、前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得するステップと、前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録するステップであって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として前記立体動画ファイルに記録するステップと、を含む。

　本発明の第２１態様に係る立体動画処理方法は、複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得するステップと、前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出するステップと、前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得するステップと、前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得するステップと、前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録するステップであって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大視差量を付属情報として前記立体動画ファイルに記録するステップと、を含む。

　本発明によれば、立体動画の所定の区間毎に該区間内で最大となる区間内最大ディスプレイサイズ又は区間内最大視差量を取得し、付属情報として立体動画ファイルに記録するようにしたため、この立体動画ファイルを読み出した立体動画再生装置は、付属情報に記録されている立体動画ファイルの所定の区間毎の区間内最大ディスプレイサイズ又は区間内最大視差量に基づいて立体ディスプレイに表示される立体動画が所定の区間毎に立体視可能か否かを容易に判別することができる。また、立体視不能と判別された場合にはその区間内最大ディスプレイサイズ又は区間内最大視差量を使用して該当区間内の立体動画の視差を補正することができ、立体動画再生装置での視差の補正処理を軽減させることができる。更に、立体動画の所定の区間毎に区間内最大ディスプレイサイズを記録するようにしたため、視差を補正する場合に区間毎に行うことができ、立体動画の視差が補正されても自然な立体動画にすることができる。

２視点の視点画像を撮影する様子を示した図３Ｄ動画ファイルのデータ構造を模式的に示した第１の例を示す図撮影、記録処理を示したフローチャート２視点の視点画像の一例を示す図３Ｄ動画ファイルのデータ構造を模式的に示した第２の例を示す図３Ｄ動画ファイルのデータ構造を模式的に示した第３の例を示す図３Ｄ動画ファイルのデータ構造を模式的に示した第４の例を示す図４視点の視点画像を撮影する様子を示した図４視点の視点画像が記録された３Ｄ動画ファイルのデータ構造を模式的に示した図仮想視点について説明するための図立体撮像装置の外観を示す図立体撮像装置の外観を示す図立体撮像装置の内部構成を示すブロック図３Ｄ動画再生の第１の実施形態を示すフローチャート視差ずらしの原理を説明するための図左右の視点画像と視差ずらしを示す図３Ｄ動画再生の第２の実施形態を示すフローチャート３Ｄ動画再生の第３の実施形態を示すフローチャート視差補正テーブルの一例を示すグラフ３Ｄ動画再生の第４の実施形態を示すフローチャート３Ｄ動画再生の第５の実施形態を示すフローチャート３Ｄ動画再生の第６の実施形態を示すフローチャート３Ｄ動画再生の第７の実施形態を示すフローチャート立体動画再生装置と３Ｄディスプレイの全体構成を示す図立体動画再生装置の内部構成を示すブロック図

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

　［３Ｄ動画ファイルの第１の実施形態］
　第１の実施形態に係る立体動画ファイル（３Ｄ動画ファイル）について説明する。

　図１は、２つの撮像装置１０１－２、１０１－３によって、被写体１００について異なる視点から２視点（左視点、右視点）の視点画像（動画）を撮影する様子を示した図であり、図２は、図１に示す撮像装置１０１－２、１０１－３において撮影された左視点及び右視点の動画からなる３Ｄ動画が記録された３Ｄ動画ファイルのデータ構造を模式的に示した図である。

　図２に示す３Ｄ動画ファイルは、ＭＰＥＧ（moving picture expert group）フォーマットに準拠したＭＰＥＧファイルであり、１ＧＯＰ（Group of picture：ＭＰＥＧ圧縮において、圧縮時及び再生・編集時の単位となる映像信号の数フレームずつの組み合わせ）の単位で、左視点の視点画像と右視点の視点画像とが交互に連結されて１つのファイルにまとめられている。

　各ＧＯＰの視点画像が記録される領域の先頭には、ヘッダ領域が設けられており、このヘッダ領域には、画像サイズ、アスペクト比、フレームレート等の付属情報が記録される。また、本実施形態では、付属情報として、更に下記の付属情報の全部又一部が記録される。

　・ＧＯＰ最大ディスプレイサイズ（幅、高さ、単位：ｍｍ）
　・想定視距離（立体動画を観察する際の視認者と３Ｄディスプレイとの距離）（単位：ｍｍ）
　・ＧＯＰ最大視差量（近景）：画像幅に対する視差量（％）
　・ＧＯＰ最大視差量（遠景）：画像幅に対する視差量（％）
　・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）
　このような３Ｄ動画ファイルを記録するための撮影、記録処理について、図３のフローチャートを用いて説明する。

　まず、左視点及び右視点に対応する１ＧＯＰ内の複数フレームのうちの１フレーム分の左右の視点画像を取得する（ステップＳ１１）。ここでは、図１に示すように２つの撮像装置１０１－２、１０１－３によって被写体１００について３Ｄ動画撮影された３Ｄ動画中の１フレーム分の左右の視点画像を取得する。尚、ここでは撮像装置１０１－２を視点番号２、撮像装置１０１－３を視点番号３とする。

　次に、左右の視点画像から複数の特徴点を抽出し（ステップＳ１２）、特徴点毎の視差量を算出する（ステップＳ１３）。ここで、視差量とは、視点画像間で対応する特徴点の、それぞれの視点画像の左端からの距離の差を指し、単位はピクセルである。このように算出した特徴点毎の視差量から、近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ１４）。

　図４は左右の視点画像の一例を示す図であり、図４（ａ）は左視点画像２０１－２を示し、図４（ｂ）は右視点画像２０１－３を示している。

　図４の例では、近景側の最大視差量は２１３Ｎであり、この視差量を持つ特徴点（最大視差量位置（近景））は、それぞれ２１１Ｎ、２１２Ｎである。また、遠景側の最大視差量は２１３Ｆであり、この視差量を持つ特徴点（最大視差量位置（遠景））は、それぞれ２１１Ｆ、２１２Ｆである。即ち、この左右の視点画像に基づく立体画像を立体視した場合には、最大視差量位置（近景）が最も近くに見え、最大視差量位置（遠景）が最も離れて見えることになる。

　これら近景側の最大視差量２１３Ｎ及び遠景側の最大視差量２１３Ｆの、画像幅に対する比率（％）が、最大視差量（近景）（％）、最大視差量（遠景）（％）となる。

　続いて、１ＧＯＰ内の全てのフレームの最大視差量の取得が終了したか否かを判別し（ステップＳ１５）、終了していない場合（「NOの場合」）には、ステップＳ１１に戻り、ステップＳ１１からステップＳ１４の処理を実行させ、終了した場合（「YESの場合」）には、ステップＳ１６に遷移させる。

　ステップＳ１６では、１ＧＯＰ内の全てのフレームの最大視差量のうち最大のものを、ＧＯＰ最大視差量として取得する。また、このＧＯＰ最大視差量に基づいて、ＧＯＰ最大ディスプレイサイズを取得する。

　遠景側の視差量が人間の両眼間隔を超えると、画像のその位置は両眼融合不能となり、立体視ができなくなる。したがって、ＧＯＰ最大視差量（遠景）の画像幅に対する比率（％）から、視差が人間の両眼間隔を超えないディスプレイサイズのうちの最大のディスプレイサイズ（ＧＯＰ最大ディスプレイサイズ）を取得する。

　例えば、人間の両眼間隔を５０ｍｍと仮定し、ＧＯＰ最大視差量（遠景）の画像幅に対する比率が１０％であれば、立体視するのに許容される最大のディスプレイ幅は５００ｍｍとなる。即ち、幅５００ｍｍ以下のディスプレイであれば、ＧＯＰ最大視差量（遠景）に対応する左右の像が両眼間隔５０ｍｍを超えることなく表示され、その結果、視認者は立体視が可能となる。

　ここで、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは２８１．２５ｍｍとなる。

　尚、人間の両眼間隔は、対象とする視認者に応じて適宜決めればよい。例えば、成人だけを対象とする場合には、６５ｍｍ等の幅広の値に設定してもよい。

　例えば、人間の両眼間隔を６５ｍｍと仮定し、ＧＯＰ最大視差量（遠景）の画像幅に対する比率が１５％であれば、立体視するのに許容されるＧＯＰ最大ディスプレイサイズの幅は約４３３ｍｍとなる。また、縦横比が１６：９の３Ｄディスプレイを想定する場合には、ＧＯＰ最大ディスプレイサイズの高さは約２４４ｍｍとなる。

　また、人間の両眼間隔から算出するのではなく、予め最大視差量に対応する最大ディスプレイサイズが記録されているテーブルを用意しておき、このテーブルを参照することによりＧＯＰ最大ディスプレイサイズを取得してもよい。

　次に、１ＧＯＰ分の左視点画像及び右視点画像をそれぞれＭＰＥＧ圧縮し、図２に示すように交互に連結して３Ｄ動画ファイルとして記録するとともに、各ＧＯＰの視点画像が記録される領域の先頭のヘッダ領域に、ステップＳ１６で取得したＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量（遠景）（％）、ＧＯＰ最大視差量（近景）（％）等を付属情報として記録する（ステップＳ１７）。そして、３Ｄ動画の全てのＧＯＰについて上記の処理を行うことで、図２に示す３Ｄ動画ファイルを記録することができる。

　このように記録された３Ｄ動画ファイルは、３Ｄディスプレイに表示される際に立体動画再生装置によって読み出される。この際、立体動画再生装置において、３Ｄ動画ファイルの付属情報に記録されているＧＯＰ最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。立体視可能と判断した場合には、記録されている３Ｄ動画をそのまま表示すればよく、また、立体視不能と判別した場合には、そのＧＯＰ最大ディスプレイサイズやＧＯＰ最大視差量を使用して該当ＧＯＰ内の左右の視点画像の視差を補正することができ、立体動画再生装置における視差の補正処理を軽減させることができる。

　尚、本実施形態では、遠景側のＧＯＰ最大視差量だけに基づいてＧＯＰ最大ディスプレイサイズを決定したが、近景側のＧＯＰ最大視差量を考慮して決定してもよい。近景側のＧＯＰ最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能なＧＯＰ最大ディスプレイサイズを決定することができるようになる。

　例えば、近景の視差量が５０ｍｍ以下となるディスプレイサイズをＧＯＰ最大ディスプレイサイズとしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、所定量以下とすることが好ましいからである。

　また、本実施形態では、ＧＯＰ最大視差量、ＧＯＰ最大ディスプレイサイズは、これらが取得されたＧＯＰの先頭のヘッダ領域に付属情報として記録するようにしたが、これに限らず、図５に示すように２ＧＯＰ前（１ＧＯＰ分の時間だけ前）のＧＯＰの先頭のヘッダ領域に記録するようにしてもよく、また、図６に示すように３Ｄ動画ファイルの先頭のヘッダ領域に全てのＧＯＰから取得したＧＯＰ最大視差量、ＧＯＰ最大ディスプレイサイズをまとめて記録するようにしてもよい。これによれば、３Ｄ動画ファイルを読み出した立体動画再生装置では、１ＧＯＰ内の立体動画の視差を調整すべきか否かを事前に検知することができ、調整すべき視差量も事前に算出することができる。

　更に、本実施形態では、１ＧＯＰ内で最大となるＧＯＰ最大視差量、ＧＯＰ最大ディスプレイサイズを取得するようにしたが、これに限らず、予め設定した所定数のＧＯＰ（区間）毎に区間内最大視差量、区間内最大ディスプレイサイズを取得し、その区間内の３Ｄ動画に対する付属情報として記録するようにしてもよい。

　［３Ｄ動画ファイルの第２の実施形態］
　第２の実施形態では、図７に示すように３Ｄ動画のシーンが変わる場合、そのシーンの先頭の付属情報として、下記の付属情報の全部又は一部を記録する。

　・シーン先頭を示すフラグ
　・シーン最大ディスプレイサイズ（幅、高さ、単位：ｍｍ）
　・想定視距離（立体動画を観察する際の視認者と３Ｄディスプレイとの距離）（単位：ｍｍ）
　・シーン最大視差量（近景）：画像幅に対する視差量（％）
　・シーン最大視差量（遠景）：画像幅に対する視差量（％）
　・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）
　・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）
　更に、ズームＩＮ／ＯＵＴされたことを示すフラグ、手ブレ補正がＯＮ／ＯＦＦ／Resetされたことを示すフラグを付属情報として記録するようにしてよい。

　シーンの変化は、取得した３Ｄ動画からシーンチェンジを検知するシーンチェンジ検知手段により行うことができる。例えば、録画時刻を示すタイムスタンプの時間が前後の３Ｄ動画フレームで離れている場合、前後の３Ｄ動画フレームの相関を求め、その相関がない場合、隣接するＧＯＰのＧＯＰ最大視差量が所定の閾値以上変化した場合、手ブレ補正状態が変化（ＯＮ→ＯＦＦ、ＯＦＦ→ＯＮ、Reset）した場合等から検知することができる。尚、シーンチェンジの検知方法は上記の例に限定されず、種々の方法が考えられる。

　シーン先頭フラグは、図７に示すように３Ｄ動画の各シーンが連結された３Ｄ動画ファイルにおける各シーンの先頭を示すフラグであり、シーン最大視差量は、そのシーン内の３Ｄ動画のうちで最大になる視差量であり、シーン最大ディスプレイサイズは、そのシーン内のシーン最大視差量に基づいて取得された、該シーンを立体ディスプレイに表示させる際に両眼融合可能なディスプレイサイズのうちの最大のディスプレイサイズである。

　そして、図７に示すように３Ｄ動画の各シーンが連結された３Ｄ動画ファイルには、シーン毎にそのシーンの先頭にシーン先頭フラグ、シーン中のシーン最大視差量、シーン最大ディスプレイサイズ等の付属情報が記録される。尚、シーン先頭の付属情報には、上記の情報に加え、当該シーンのシーン長情報も記録される。シーン長情報は、当該シーンを構成するＧＯＰの数で表すことができる。

　［３Ｄ動画ファイルの第３の実施形態］
　第１の実施形態では、２視点から撮影した左右の視点画像を例に説明したが、本発明に係る３Ｄ動画の視点の数は２視点に限らず、３視点以上の多視点の視点画像であってもよい。

　図８、４つの撮像装置１０１－１～１０１－４によって、被写体１００について異なる視点から４視点の視点画像を撮影する様子を示した図である。ここでは、撮像装置１０１－１～１０１－４の視点番号を順に１～４とする。

　図９は、この４つの撮像装置１０１－１～１０１－４によって撮影された４視点の視点画像が記録された３Ｄ動画ファイルのデータ構造を模式的に示した図である。この３Ｄ動画ファイルは、図２に示したファイルと同様にＭＰＥＧファイルであり、４視点の視点画像が１ＧＯＰの単位で、視点番号１～４に対応する各視点画像（１）～（４）が、順番にかつ繰り返し連結されて１つのファイルにまとめられている。

　また、１ＧＯＰ毎の各視点画像が記録される記録領域の先頭のヘッダ領域には、第１の実施形態と同様に、ＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量、想定視距離、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）等の付属情報が記録される。

　尚、各視点画像（１）～（４）の先頭に記録されるＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量等は、その視点画像と他の視点画像との間で算出された値が記録される。具体的には、視点画像（１）に対するＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量は、図８に示すように左端の基準視点で撮影された視点画像（１）を基準として、最も視差量が大きい視点画像（ここでは視点画像（４））から算出されたＧＯＰ最大視差量、及びこの最大視差量から取得されたＧＯＰ最大ディスプレイサイズ、想定視距離等が記録される。輻輳角、基線長等についても、同様の視点画像（ここでは視点画像（４））を撮影した装置との輻輳角、基線長が記録される。

　視点画像（２）の付属情報としては、当該視点画像（２）と基準視点で撮影された視点画像（１）とから算出されたＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量、想定視距離、輻輳角、基線長、視点番号等が記録される。

　視点画像（３）の付属情報としては、当該視点画像（３）と基準視点で撮影された視点画像（１）とから算出されたＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量、想定視距離、輻輳角、基線長、視点番号等が記録される。

　視点画像（４）の付属情報としては、当該視点画像（４）と基準視点で撮影された視点画像（１）とから算出されたＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量、想定視距離、輻輳角、基線長、視点番号等が記録される。

　このように３視点以上の多視点の視点画像が記録された３Ｄ動画ファイルは、３Ｄディスプレイに表示される際に立体動画再生装置によって読み出される。この際、立体動画再生装置において、３Ｄ動画ファイルの付属情報に記録されている視点画像毎のＧＯＰ最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。

　尚、多視点画像の記録順は、図９に示した順序に限定されるものではなく、３Ｄディスプレイに表示させる際の推奨画像（２つの視点画像）を先に記録するようにしてもよい。例えば、中央の２視点の視点画像（２）と視点画像（３）による立体表示が推奨されるのであれば、視点画像（２）、（３）を先に記録し、続いて視点画像（１）、（４）を記録し、一方、両端の２視点の視点画像（１）、（４）による立体表示が推奨されるのであれば、視点画像（１）、（４）を先に記録し、続いて視点画像（２）、（３）を記録してもよい。

　［３Ｄ動画ファイルの第４の実施形態］
　第３の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。

　例えば、図１０に示すように、２つの撮像装置１０１－１、１０１－４によって、被写体１００について異なる視点（視点番号１、視点番号４）から２枚の視点画像を撮影する。

　更に、視点番号１と視点番号４とは異なる視点であって、実際には存在しない仮想視点における視点番号２、視点番号３の視点画像２、視点画像３を生成してもよい。仮想視点画像を生成するには、複数の撮影画像の各画素を内分する方法や、複数の撮影画像から生成された視差マップと、１枚の撮影画像を用いて生成する方法等があるが、特に限定されるものではない。

　仮想視点の視点画像を含む多視点の視点画像が記録された３Ｄ動画ファイルには、多視点の視点画像のうちの先頭の視点画像（１）の付属情報として、各視点の視点画像が実視点の視点画像か仮想視点の視点画像かを示す情報をまとめて記録する（図９参照）。尚、先頭の視点画像（１）の付属情報として、実視点、仮想視点の情報をまとめて記録する場合に限らず、各視点画像（１）～（４）の付属情報として、個別に実視点の視点画像か仮想視点の視点画像かを示す情報を記録するようにしてもよい。この実視点の視点画像か仮想視点の視点画像かを示す情報は、３Ｄ動画を２Ｄ動画として表示する場合に利用することができる。

　［立体撮像装置の外観］
　図１１Ａ及び図１１Ｂは本発明に係る立体撮像装置の外観を示す図であり、図１１Ａは立体撮像装置を前面側から見た斜視図であり、図１１Ｂは背面図である。

　この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１１Ａ、図１１Ｂに示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。

　カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。

　図１１（ｂ）に示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右視点画像、左視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右視点画像と左視点画像とを個別に見ることができるものなどが適用できる。

　上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右視点画像と左視点画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮像と３Ｄ撮像とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。

　MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

　尚、図１１Ａ上で、１５はステレオマイクである。

　［立体撮像装置の内部構成］
　図１２は上記立体撮像装置１０の内部構成を示すブロック図である。

　図１２に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。

　左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図１４)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。

　ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。特徴点抽出による視差量の算出、最大視差量の取得、ＧＯＰ最大ディスプレイサイズの算出、シーン最大ディスプレイサイズの算出、ＧＯＰ最大視差量の算出、シーン最大視差量の算出、シーンチェンジの検知、視差ずらし、仮想視点画像の生成等もＣＰＵ３２によって行われる。

　尚、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ、３Ｄ動画処理プログラムや３Ｄ動画再生プログラム等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータや、最大視差量と最大ディスプレイサイズとの対応テーブル等が記憶されている。

　また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。

　撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。

　絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。

　メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。

　ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。

　上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

　ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。

　画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。

　ＣＰＵ３２は、３Ｄ撮像モード時には左視点画像を撮像する撮像部20-1と同様に右視点画像を撮像する撮像部20-2を制御する。

　ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。

　ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。

　ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。

　デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。

　また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。

　圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。

　記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰファイル、３Ｄ動画は、ＭＰＥＧ４、ＭＰＥＧ４－ＭＶＣ、モーションＪＰＥＧ、Ｈ．２６４の動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から動画ファイルの読み出しを行う。

　また、記録制御部３８は、本発明に係る３Ｄ動画ファイルを記録する際には、第１の実施形態から第４の実施形態で説明したように画像サイズ、アスペクト比、フレームレート等の付属情報の他、ＧＯＰ最大ディスプレイサイズ、シーン最大ディスプレイサイズ、想定視距離、ＧＯＰ最大視差量（近景）（％）、ＧＯＰ最大視差量（遠景）（％）、シーン最大視差量（近景）（％）、シーン最大視差量（遠景）（％）を付属情報としてメモリカード４０に記録する。

　この場合、３Ｄ動画の撮影時に、第１の実施形態から第４の実施形態で説明した３Ｄ動画ファイルを作成・記録する場合の他、一旦、通常の３Ｄ動画ファイルとしてメモリカード４０に記録し、その後、メモリカード４０から３Ｄ動画ファイルを読み出し、第１の実施形態から第４の実施形態で説明した３Ｄ動画ファイルを作成し、再びメモリカード４０に記録するようにしてもよい。

　液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ動画を表示させる場合には、ＶＲＡＭ５２に保持されている左視点画像と右視点画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。

　以上のように構成された立体撮像装置１０により、上記実施形態を実現することができる。尚、ここで説明した立体撮像装置１０は、左右２視点の画像を撮影するために２つの撮像部を備えているが、３つ以上の撮像部を備えて３点以上の視点画像を撮影するように構成してもよい。例えば、図８に示すように、４つの撮像装置１０１－１～１０１－４のように４つの撮像部を備えることによって、４視点の視点画像を撮影するように構成してもよい。

　［３Ｄ動画再生の第１の実施形態］
　次に、上記のように記録された３Ｄ動画ファイルを読み出して３Ｄ動画再生する処理について、図１３のフローチャートを用いて説明する。

　最初に、３Ｄ動画の表示を行う出力先の３Ｄディスプレイの出力ディスプレイサイズを取得する（ステップＳ２１）。この出力ディスプレイサイズは、３ＤディスプレイのＨＤＭＩ端子から取得することができる。続いて、３Ｄ動画ファイルから左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを読み込み、これらをキャッシュに保持し（ステップＳ２２）、キャッシュ済み量が所定の最大キャッシュ量になるまで、左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒをキャッシュに追加する（ステップＳ２３）。

　キャッシュ済み量が所定の最大キャッシュ量に達すると、３Ｄ動画ファイルの全ての左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの読み出しが終了したか否かを判別し（ステップＳ２４）、読み込みが終了していない場合（「NOの場合」）には、キャッシュした左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒのうちの３Ｄディスプレイに出力しようとする左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの付属情報からＧＯＰ最大ディスプレイサイズを読み出して一時保存する（ステップＳ２５）。続いて、ステップＳ２１で取得した出力ディスプレイサイズの幅とステップＳ２５で保存したＧＯＰ最大ディスプレイサイズの幅とを比較を比較する（ステップＳ２６）。

　ＧＯＰ最大ディスプレイサイズの幅が出力ディスプレイサイズの幅以上の場合は、左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒをそのまま表示しても立体視に差し支えないため、左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを、そのまま３Ｄディスプレイに出力する（ステップＳ２７）。

　一方、ＧＯＰ最大ディスプレイサイズの幅よりも出力ディスプレイサイズの幅の方が大きい場合には、そのＧＯＰ最大ディスプレイサイズを付属情報として有する左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを表示すると、遠景側の最大視差位置の視差量が人間の両眼間隔を超えてしまい、その部分が立体視できないことになる。したがって、左右の視点画像の視差量を補正する必要がある。

　視差量の補正は、視差ずらしによって行う（ステップＳ２８）。

　図１４は、視差ずらしの原理を説明するための図である。また、図１５（ａ）は左視点画像、図１１（ｂ）は右視点画像を示す図である。ここで、座標（０、Ｄ）に視認者の左目、座標（Ｘ_Ｂ、Ｄ）に視認者の右目があるとする。Ｚ＝０上に表示された左右の視点画像において、左視点画像の座標（Ｘ_Ｌ、０）、かつ右視点画像の座標（Ｘ_Ｒ、０）に表示された被写体は、座標（Ｘ_Ｐ、Ｙ_Ｐ）にあるように視認される。

　この状態で、図１５（ｂ）に示すように、右視点画像を左方向にＸ_Ｒ－Ｘ_Ｒ´だけシフトしたとすると、図１０に示すように被写体の右視点画像の座標が（Ｘ_Ｒ´、０）となる結果、被写体は座標（Ｘ_Ｐ´、Ｙ_Ｐ´）にあるように視認される。

　このように、視差ずらしを行うことで、視差量の調整を行うことが可能である。したがって、遠景側の視差量が人間の両眼間隔を超える場合に、視差ずらしを行うことで人間の両眼間隔内に収めることができ、適切に立体視することが可能となる。

　具体的には、出力ディスプレイサイズの幅をＷ１，ＧＯＰ最大ディスプレイサイズの幅をＷ２，ＧＯＰ最大視差量をＰとすると、視差補正後のＧＯＰ最大視差量Ｐ’が、次式
　［数１］
　Ｐ’＝｛Ｗ２／Ｗ１｝＊Ｐ
になるようにする。したがって、次式に示す視差量（％）だけ、左右視点画像の一方又は両方を接近する方向に画素ずらしすることにより、１ＧＯＰ内の３Ｄ動画の３Ｄディスプレイ上の視差を人間の両眼間隔内に収めることができる。

　［数２］
　視差量（％）＝Ｐ－Ｐ’
　また、視差の補正は、上記視差ずらしに限らず、視差圧縮により行うようにしてもよい。視差圧縮は、図１０を用いて説明したように、左右の視点画像よりも視差量の小さい仮想視点の画像を生成し、生成した仮想視点の画像を表示することにより行うことができる。どちらによって視差量を補正するのかは、予め決めておいてもよいし、ユーザが選択可能に構成してもよい。どちらの視差量調整によっても、少なくとも遠景側の視差を小さくすることができる。

　上記ステップＳ２８により視差補正された左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを３Ｄディスプレイに出力する（ステップＳ２７）。

　このように、付属情報として記録されているＧＯＰ最大ディスプレイサイズを読み出し、出力ディスプレイサイズと比較し、ＧＯＰ最大ディスプレイサイズの方が大きい場合には立体視に問題が無いとして左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒをそのまま３Ｄディスプレイに出力し、出力ディスプレイサイズの方が大きい場合には立体視ができない領域があると判断して左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの全てのフレームについて、視差補正をした左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを３Ｄディスプレイに出力することで、常に適切な３Ｄ動画を表示することが可能となる。

　上記左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの３Ｄディスプレイへの出力と並行して、新たな左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの読み込み及びキャッシュへの追加を行うことにより、上記処理を行うことにより３Ｄ動画を再生することができる。

　ステップＳ２４において、３Ｄ動画の全ての左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの読み込みが終了すると（「YESの場合」）、キャッシュ内の左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを３Ｄディスプレイに出力し（ステップＳ２９）、３Ｄ動画の再生を終了させる。尚、キャッシュ内の左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを３Ｄディスプレイに出力する際にも、ステップＳ２５～Ｓ２８における処理が行われる。

　この実施形態では、出力先の３Ｄディスプレイに表示するＧＯＰ毎の立体動画が、立体視可能な否かを３Ｄ動画ファイルの付属情報に記録されているＧＯＰ最大ディスプレイサイズを使用して行うようにしたが、これに限らず、ＧＯＰ最大視差量を使用しても同様に行うことができる。

　即ち、出力先の３Ｄディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値（例えば、５０ｍｍ）とに基づいて許容視差量を算出する。許容視差量は、（人間の両眼間隔）／（ディスプレイサイズ）（％）であり、人間の両眼間隔を５０ｍｍ、ディスプレイサイズ（幅）が１３００ｍｍの場合の許容視差量は、３．８５（％）になる。

　そして、ＧＯＰ最大視差量（％）が、上記許容視差量以下か否かにより両眼融合可能か否かを判別することができる。

　また、他の方法としては、ＧＯＰ最大視差量と出力先の３Ｄディスプレイのディスプレイサイズとに基づいてＧＯＰ最大視差量に対応する３Ｄディスプレイ上での画像ずれ量を算出し、この算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別するようにしてもよい。

　尚、第１の実施形態では、１ＧＯＰ毎に視差の補正を実施可能にしたが、これに限らず、予め設定した所定数のＧＯＰ毎に、該所定数のＧＯＰ内の最大ディスプレイサイズ、最大視差量等に基づいて視差の補正を行うようにしてもよい。

　［３Ｄ動画再生の第２の実施形態］
　図１６は、３Ｄ動画再生処理の第２の実施形態を示すフローチャートである。尚、図１３に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

　第１の実施形態は、１ＧＯＰ毎にＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量が付属情報として記録されている３Ｄ動画ファイルを対象にしているが、第２の実施形態は、図７に示すようにシーン毎にシーン最大ディスプレイサイズ、シーン最大視差量が付属情報として記録されている３Ｄ動画ファイルを対象にしている点で相違する。

　図１６において、ステップＳ３０は、シーン先頭フラグの有無を判別する。シーン先頭フラグが検知されると（「YESの場合」）、そのシーンの先頭のヘッダからシーン最大ディスプレイサイズを読み出して一時保存する（ステップＳ３１）。続いて、ステップＳ２１で取得した出力ディスプレイサイズの幅とステップＳ３１で保存したシーン最大ディスプレイサイズの幅とを比較する（ステップＳ３２）。

　シーン最大ディスプレイサイズの幅が出力ディスプレイサイズの幅以上の場合は、そのシーン内の３Ｄ動画を表示しても立体視に差し支えないため、そのまま３Ｄディスプレイに出力する（ステップＳ２７）。

　一方、シーン最大ディスプレイサイズの幅よりも出力ディスプレイサイズの幅の方が大きい場合（ステップＳ３２で「NOの場合」）には、そのシーンの３Ｄ動画の視差を補正し、シーン内の３Ｄ動画の３Ｄディスプレイ上の視差が人間の両眼間隔内に収まるようにする。

　尚、シーン最大ディスプレイサイズの替わりにシーン最大視差量を使用し、そのシーンの３Ｄ動画が立体視可能か否かを判別するようにしてもよい。

　［３Ｄ動画再生の第３の実施形態］
　図１７は、３Ｄ動画再生処理の第３の実施形態を示すフローチャートである。尚、図１３に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

　第１の実施形態は、１ＧＯＰ毎にＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量が付属情報として記録されている３Ｄ動画ファイルを対象にしているが、第３の実施形態は、１ＧＯＰ毎にＧＯＰ最大ディスプレイサイズ、ＧＯＰ最大視差量が付属情報として記録され、かつ図７に示すようにシーン毎にシーン最大ディスプレイサイズ、シーン最大視差量が付属情報として記録されている３Ｄ動画ファイルを対象にしている点で相違する。

　図１７において、ステップＳ４０は、キャッシュした左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒの付属情報からＧＯＰ最大視差量を読み出して一時保存する。ステップＳ４１は、シーン先頭フラグの有無を判別する。シーン先頭フラグが検知されると（「YESの場合」）、そのシーンの先頭のヘッダからシーン長、シーン最大ディスプレイサイズ、シーン最大視差量を読み出して一時保存する（ステップＳ４２、Ｓ４３、Ｓ４５）。

　続いて、ステップＳ４２に保存したシーン長が、１ＧＯＰよりも十分に長いか否かを判別する（ステップＳ４５）。短いと判別されると（「NOの場合」）、第１の実施形態と同様に１ＧＯＰ毎に視差補正を行い（ステップＳ４６）、その視差補正を行った左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒを３Ｄディスプレイに出力する（ステップＳ４７）。尚、該当ＧＯＰの最大ディスプレイサイズが出力ディスプレイサイズ以上の場合には、視差補正を行わず、そのまま３Ｄディスプレイに出力する。

　一方、ステップＳ４５において、長いと判別されると（「YESの場合」）、ステップＳ２２に戻り、その後、ステップＳ４１及びステップＳ４８の処理を経由して、シーン先頭から所定の最大キャッシュ量になるまで、左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒがキャッシュされる。

　そして、キャッシュ済み量が所定の最大キャッシュ量に達すると（ステップＳ４８で「YESの場合」と判別されると）、以下に示す視差補正テーブルを使用したシーン内の３Ｄ動画に対する視差補正を行う（ステップＳ４９）。

　図１８は視差補正テーブルの一例を示すグラフである。図１８に示すグラフは、横軸がＧＯＰ最大視差量／シーン最大視差量を示し、縦軸が視差補正係数（０～１）を示している。

　いま、ステップＳ２１で取得した出力ディスプレイサイズに対する、ステップＳ４３で保存したシーン最大ディスプレイサイズの比（シーン最大ディスプレイサイズ／出力ディスプレイサイズ）をＸとすると、視差補正係数は、ＧＯＰ最大視差量／シーン最大視差量が０から１に近づくにしたがって、１からＸに変化する値に設定されている。

　ここで、視差補正係数は、シーン内の各ＧＯＰ最大視差量に対して乗算される。視差補正は、シーン内の各ＧＯＰ最大視差量が前記乗算された値（即ち、補正されたＧＯＰ最大視差量）になるように行われる。

　例えば、ＧＯＰ最大視差量／シーン最大視差量＝１となるＧＯＰ最大視差量を付属情報として有する左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒは、前述して［数１］式で示した視差補正後のＧＯＰ最大視差量Ｐ’になるように視差ずらし（即ち、［数２］式で示した視差量だけ視差ずらし）が行われ、これによりそのＧＯＰ内の３Ｄ動画の３Ｄディスプレイ上の視差を人間の両眼間隔内に収めることができるようにしている。

　一方、ＧＯＰ最大視差量／シーン最大視差量＝１よりも小さいＧＯＰ最大視差量を有する左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒも、そのＧＯＰ最大視差量の大きさに応じた視差補正が行われるように視差補正係数が決められている。

　ステップＳ４９では、上記視差補正テーブルを使用して視差補正を行うことにより、各ＧＯＰの最大視差量がシーン中の最大視差量（シーン最大視差量）に近づくにしたがって、視差量を徐々に減少させ、一方、シーン中の最大視差量から離れるにしたがって視差の減少量を小さくする（元に近づける）視差補正を行う。

　上記ステップＳ４９で視差補正された左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒが３Ｄディスプレイに出力される（ステップＳ４７）。尚、シーン最大ディスプレイサイズが出力ディスプレイサイズ以上の場合（３Ｄ表示上問題がない場合）には、上記の視差補正は行われず、視差補正されない左視点のＧＯＰ＿Ｌ、右視点のＧＯＰ＿Ｒが３Ｄディスプレイに出力される。

　上記の視差補正により、シーン内の一部のＧＯＰに３Ｄ表示上問題になる視差があっても他のＧＯＰの視差も一律に視差補正されないようにすることができ、過大な視差を抑制しつつ、シーン全体の立体感を確保することができる。

　尚、上記３Ｄ動画再生の第１の実施形態から第３の実施形態において、最大視差量（近景）を考慮して視差ずらし処理を行うようにしてもよい。

　即ち、遠景側の視差量が過大になり、両眼融合不能になる場合、算出した必要ずらし量だけ視差ずらしを行うと、それに伴って近景側の視差量が増加する。そこで、出力先の３Ｄディスプレイのディスプレイサイズ（幅）と最大視差量（近景）との積に、必要ずらし量を加算し、その加算値が、両眼間隔（例えば、５０ｍｍ）以下であるか否かを判定する。ここでは、近景の視差量が５０ｍｍ以下の場合を適切に立体視可能と判断しているが、この５０ｍｍの値は、適宜決めればよい。

　そして、５０ｍｍ以下の場合には、視差ずらしを実施し、視差ずらしを行った２視点の視点画像を３Ｄディスプレイに３Ｄ表示する。一方、５０ｍｍより大きい場合には、視差ずらしを行わないと遠景側に立体視できない部分があり、遠景側の最大視差量が適切になるように視差ずらしを行うと近景側が適切に立体視できないことになるので、３Ｄ表示は行わず、３Ｄディスプレイに２Ｄ表示を行う。２Ｄ表示は、３Ｄ動画ファイルに記録されている視点画像のうちから１つの視点画像を３Ｄディスプレイに出力することにより行う。また、２Ｄ表示とともに、ディスプレイサイズが大きすぎるために当該３Ｄ動画は３Ｄ表示を行わない旨を警告表示してもよい。

　このように、最大視差量（遠景）だけでなく、最大視差量（近景）も考慮して視差量の調整を行うことで、適切な３Ｄ動画を表示させることができる。

　［３Ｄ動画再生の第４の実施形態］
　次に、図９に示したように３視点以上の視点画像が記録された３Ｄ動画ファイルを読み出して再生表示する処理について、図１９のフローチャートを用いて説明する。

　図１９において、最初に、３Ｄ動画の表示を行う３Ｄディスプレイのディスプレイサイズ（横幅）を取得する（ステップＳ５１）。ここでは、仮に取得したディスプレイの横幅が６００ｍｍであったとする。また、図９に示す４視点分のＧＯＰを読み出す（ステップＳ５２）。

　次に、読み出したＧＯＰの各ヘッダ領域から、視点番号順に、ＧＯＰ最大ディスプレイサイズを取得する（ステップＳ５３）。

　いま、ある４視点分のＧＯＰのＧＯＰ最大ディスプレイサイズ、想定視距離、ＧＯＰ最大視差量（遠景）が、下記の表１に示した通りとする。

　上記表１に示す例では、まず視点番号１である視点画像（１）のＧＯＰ最大ディスプレイサイズ５００ｍｍを取得する。

　次に、この取得したＧＯＰ最大ディスプレイサイズがステップＳ５１で取得したディスプレイサイズ以上であるか否かを判定する（ステップＳ５４）。ここでは、ＧＯＰ最大ディスプレイサイズが５００ｍｍであるのに対し、ディスプレイサイズが６００ｍｍであるので、ステップＳ５６に移行する。

　ステップＳ５６では、全視点画像についてＧＯＰ最大ディスプレイサイズの取得が終了したか否かを判定する。

　ここでは、まだ全視点画像について終了していないため、ステップＳ５３に戻る。

　ステップＳ５３では、視点番号を１つインクリメントし、次に視点番号２である視点画像（２）のＧＯＰ最大ディスプレイサイズ１２００ｍｍを取得する。

　次に、ステップＳ５４に移行し、取得したＧＯＰ最大ディスプレイサイズがディスプレイサイズ以上であるか否かを判定する。今回は、ＧＯＰ最大ディスプレイサイズが１２００ｍｍであり、ディスプレイサイズ６００ｍｍ以上であるので、ステップＳ５５に移行する。ステップＳ５５では、現在の視点番号が取得される。ここでは視点番号２が取得される。

　このように、全ての視点画像について、ステップＳ５３からステップＳ５５の処理を繰り返す。この処理により、ＧＯＰ最大ディスプレイサイズがディスプレイサイズ以上である視点画像の視点番号だけが取得される。ここでは、視点番号２と視点番号３が取得される。

　次に、ステップＳ５５において取得された視点番号の視点画像から、３Ｄディスプレイに出力する２視点の視点画像を選択する（ステップＳ５７）。ここでは、基準視点の画像である視点画像（１）と、視点番号２の画像（視点画像（２））又は視点番号３の画像（視点画像（３））のいずれかの画像が選択される。

　選択する基準としては、最も視差量が大きい視点画像、最も視差量が小さい視点画像、中央の視点に近い視点画像等が考えられる。また、仮想視点の画像よりも実際に撮影された実視点画像を優先して選択してもよい。この基準は、予め決めておいてもよいし、視認者が自由に設定できるように構成してもよい。ここでは、最も視差量が大きい画像を選択するものとし、その結果、視点画像（１）と視点画像（３）が選択される。

　ステップＳ５７において選択された２視点の視点画像を、３Ｄディスプレイに３Ｄ表示させる（ステップＳ５８）。即ち、ここでは、視点画像（１）と視点画像（３）に基づいて３Ｄ表示が行われる。

　次に、３Ｄ動画ファイルから全てのＧＯＰの読み込みが終了したか否かを判別する（ステップＳ５９）。終了していない場合（「NOの場合」）には、ステップＳ５２に遷移し、上記処理を繰り返し、終了している場合（「YESの場合」）には、３Ｄ動画の再生を終了させる。

　尚、ステップＳ５５において取得された視点番号が無かった場合、即ち全ての視点画像のＧＯＰ最大ディスプレイサイズがディスプレイサイズよりも小さかった場合には、２Ｄ表示を行う。２Ｄ表示を行う視点画像の選択の基準についても、適宜決めればよいが、実視点の視点画像で、基準視点の視点画像が好ましい。

　このように、各視点画像の付属情報として記録されているＧＯＰ最大ディスプレイサイズを読み出し、出力先の３Ｄディスプレイのディスプレイサイズと比較し、ＧＯＰ最大ディスプレイサイズの方が大きい視点画像のペアを選択して表示することで、常に適切な３Ｄ動画を表示することが可能となる。

　尚、このような処理は、３Ｄ動画ファイルの各視点画像の付属情報に記録されているＧＯＰ最大視差量に基づいて行うことも可能である。

　［３Ｄ動画再生の第５の実施形態］
　図２０は、ＧＯＰ最大視差量に基づいて３Ｄ再生表示する視点画像のペアを選択する場合のフローチャートである。尚、図１９に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。また、読み出される３Ｄ動画ファイルの各視点画像の付属情報には、ＧＯＰ最大ディスプレイサイズが記録されていないものとし、その他の付属情報は表１に示すファイルと同様であるものとする。また、出力先の３Ｄディスプレイの横幅も同様に６００ｍｍであるとする。

　図１９の場合と同様に、ディスプレイのサイズを取得し（ステップＳ５１）、図９に示す３Ｄ動画ファイルから４視点分のＧＯＰを読み出す（ステップＳ５２）。次に、読み出したＧＯＰの各ヘッダ領域から、２視点の（１組の）視点画像を選択する（ステップＳ６１）。最終的に全視点画像の組み合わせを選択するため、選択する順序は、適宜決定すればよい。ここでは、まず視点画像（１）と視点画像（２）を選択したものとする。

　この選択した２視点の画像のＧＯＰ最大視差量（遠景）を取得する（ステップＳ６２）。各視点画像の付属情報に記録されているＧＯＰ最大視差量（遠景）は、基準視点画像との視差量である。したがって、選択した２視点の視点画像に基準視点画像が含まれていない場合には、ＧＯＰ最大視差量を再計算する必要がある。

　ここでは、選択された２視点の視点画像のうち、一方が基準視点画像の視点画像（１）であるから、視点画像（２）の付属情報に記録されているＧＯＰ最大視差量（遠景）が、この２視点のＧＯＰ最大視差量（遠景）となる。

　次に、ステップＳ５１において取得したディスプレイの幅とステップＳ６２において取得した２視点の視点画像のＧＯＰ最大視差量（遠景）との積が、人間の両眼間隔５０ｍｍ以下であるか否かを判定する（ステップＳ６３）。なお、人間の両眼間隔は５０ｍｍに限定されるものではなく、例えば６５ｍｍ等の数値を用いてもよい。

　この積が５０ｍｍよりも大きい場合は、遠景側のＧＯＰ最大視差位置を適切に立体視することができないため、当該２視点の視点画像の組み合わせは立体視には適さない組み合わせであると判断し、ステップＳ６５へ移行する。

　ここでは、ＧＯＰ最大視差量（遠景）は４％であり、ディスプレイ幅６００ｍｍとの積は２４ｍｍとなる。したがって、５０ｍｍ以下の条件を満足し、ステップＳ６４に移行する。ステップＳ６４では、この２視点の視点画像の視点番号が取得される。即ち、ここでは視点番号１と２の組み合わせが取得される。

　ステップＳ６５では、全組み合わせについてＧＯＰ最大視差量の取得が終了したか否かを判定する。ここでは、まだ全組み合わせについて終了していないため、ステップＳ６１に戻る。

　次のステップＳ６１では、異なる２視点の（１組の）視点画像を選択する。ここでは、視点画像（２）と視点画像（３）の２視点の視点画像を選択したものとする。

　ステップＳ６２では、この２視点のＧＯＰ最大視差量（遠景）を取得する。前述のように、視点画像（２）、視点画像（３）のそれぞれの付属情報に記録されている最大視差量（遠景）は、基準視点画像である視点画像（１）との最大視差量であるので、視点画像（２）と視点画像（３）との２視点におけるＧＯＰ最大視差量は、再計算する必要がある。

　２視点におけるＧＯＰ最大視差量は、それぞれの付属情報に記録されているＧＯＰ最大視差量（遠景）の差をとることで算出される。したがって、ここでは、７％－４％＝３％が、視点画像（２）と視点画像（３）との２視点におけるＧＯＰ最大視差量（遠景）となる。

　ステップＳ６３では、この算出した２視点の視点画像のＧＯＰ最大視差量（遠景）とディスプレイの幅との積が、５０ｍｍ以下であるかを判定する。

　ここでは、ＧＯＰ最大視差量（遠景）は３％であり、ディスプレイ幅６００ｍｍとの積は１８ｍｍとなる。したがって、５０ｍｍ以下の条件を満足し、ステップＳ６４に移行する。ステップＳ６４では、この２視点の視点画像の視点番号、即ち視点番号２と３の組み合わせが取得される。

　このように、全ての視点画像の組み合わせについて、ステップＳ６２からステップＳ６４の処理を繰り返す。この処理により、ＧＯＰ最大視差量（遠景）とディスプレイサイズの積が５０ｍｍ以下である視点画像の組み合わせの視点番号だけが取得される。ここでは、視点番号１と２、２と３、２と４、３と４の組み合わせが取得される。

　次に、ステップＳ６４において取得された視点番号の組み合わせから、３Ｄディスプレイに出力する２視点の視点画像を選択する（ステップＳ５７）。

　選択する基準としては、前述したように、最もＧＯＰ視差量が大きい組み合わせ、最もＧＯＰ視差量が小さい組み合わせ、中央の視点に近い視点画像を含む組み合わせ、実視点画像を優先する等が考えられる。この基準は、予め決めておいてもよいし、視認者が自由に設定できるように構成してもよい。ここでは、最も視差量が小さい組み合わせである視点番号２と視点番号３の組み合わせ、即ち視点画像（２）と視点画像（３）を選択したものとする。

　ステップＳ５７において選択された２視点の視点画像を、３Ｄディスプレイに３Ｄ表示させる（ステップＳ５８）。即ち、ここでは、視点画像（２）と視点画像（３）に基づいて３Ｄ表示が行われる。

　尚、ステップＳ６４において取得された視点番号が無かった場合、即ち全ての組み合わせにおいてステップＳ６３の条件に適合しなかった場合には、２Ｄ表示を行う。２Ｄ表示を行う画像の選択の基準についても、適宜決めればよい。

　このように、各視点画像の付属情報として記録されているＧＯＰ最大視差量（遠景）を読み出し、出力先の３Ｄディスプレイのディスプレイサイズとの積を算出し、積が人間の両眼間隔よりも小さい視点画像の組み合わせを選択して表示することで、常に適切な３Ｄ動画を表示することが可能となる。

　［３Ｄ動画再生の第６の実施形態］
　第４の実施形態で説明したように、各視点画像の付属情報に記録されているＧＯＰ最大ディスプレイサイズに基づいて表示画像を選択する場合には、基準視点画像との組み合わせでしか画像の選択ができない。これに対し、第５の実施形態で説明したように、各視点画像の付属情報に記録されているＧＯＰ最大視差量（遠景）に基づいて視点画像を選択する場合には、全視点画像の組み合わせについて判断することができるが、処理が煩雑となる。

　そこで、第６の実施形態では、付属情報にＧＯＰ最大ディスプレイサイズとＧＯＰ最大視差量（遠景）との両方が記録されている場合に、両方の情報を用いて視点画像の選択を行う。

　図２１は、ＧＯＰ最大ディスプレイサイズとＧＯＰ最大視差量（遠景）に基づいて視点画像を選択する場合を示すフローチャートである。尚、図１９、図２０に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図２１に示すように、まず図１９の場合と同様に、ＧＯＰ最大ディスプレイサイズに基づいて３Ｄ表示可能な視点画像を選択する（ステップＳ５３～Ｓ５６）。

　その後、図２０の場合と同様に、ＧＯＰ最大視差量（遠景）に基づいて、３Ｄ表示可能な視点画像を選択する（ステップＳ６１～Ｓ６５）。尚、このときは、基準視点画像との組み合わせについては処理を行う必要がない。

　その後、ステップＳ５５において取得された基準視点画像との組み合わせ、及びステップＳ６４において取得された２視点の視点画像の組み合わせの中から、３Ｄディスプレイに出力する２視点の視点画像を選択する（ステップＳ５７）。選択する基準は、これまでと同様に適宜決めればよい。

　以上のように、ＧＯＰ最大ディスプレイサイズとＧＯＰ最大視差量（遠景）とに基づいて表示する２視点の視点画像を選択することで、処理時間を短縮しつつ、全ての組み合わせから選択された適切な視点画像を用いて３Ｄ表示を行うことができる。

　尚、ここでは、遠景側のＧＯＰ最大視差量だけに基づいて表示を行う２視点の視点画像を選択したが、近景側のＧＯＰ最大視差量を考慮して決定してもよい。近景側のＧＯＰ最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な画像の組み合わせを決定することができるようになる。

　例えば、ステップＳ６４において取得された２視点の視点画像の組み合わせの中から、近景の視差量が所定値以下である組み合わせを選択するようにしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、５０ｍｍ等の値以下とすることが好ましいからである。

　近景側のＧＯＰ最大視差量は、３Ｄ動画ファイルに記録されている場合にはその値を用いることができる。また、図１０を用いて説明したように、各視点画像から特徴点を抽出して、近景側の最大視差量位置から算出してもよい。

　［３Ｄ動画再生の第７の実施形態］
　図２２は、第７の実施形態の画像再生処理を示すフローチャートである。

　ここでは、読み出される３Ｄ動画ファイルは表１に示すファイルと同様であるものとする。尚、ディスプレイの横幅は１３００ｍｍであるとする。

　図１９の場合と同様に、出力先の３Ｄディスプレイのディスプレイサイズを取得する（ステップＳ５１）。例えば、ＨＤＭＩケーブルで接続された３Ｄディスプレイから、ディスプレイサイズを取得することができる。

　次に、図９に示す３Ｄ動画ファイルから４視点分のＧＯＰを読み出し（ステップＳ５２）、読み出したＧＯＰの各ヘッダ領域から、基準視点番号タグの値を読み込む（ステップＳ７１）。本実施形態では、基準視点番号１が読み込まれる。

　次に、基準視点番号１の視点画像、即ち視点画像（１）の付属情報から、ＧＯＰ最大ディスプレイサイズを取得する（ステップＳ７２）。ここに記録されている値は、前述のように、視点画像（１）との組み合わせで最大の視差量となる視点の組み合わせにおける、ＧＯＰ最大ディスプレイサイズであり、具体的には視点画像（４）との組み合わせにおけるＧＯＰ最大ディスプレイサイズである。

　このＧＯＰ最大ディスプレイサイズと、ステップＳ７１において取得したディスプレイサイズを比較する（ステップＳ７３）。ＧＯＰ最大ディスプレイサイズの方がディスプレイサイズより大きい場合(「YESの場合」)には、視点画像（１）と視点画像（４）をそのまま３Ｄ表示しても問題ないので、この２視点の視点画像を３Ｄディスプレイに３Ｄ表示させる（ステップＳ７４）。

　一方、ステップＳ７３における比較結果がNOの場合は、ステップＳ７５へ移行する。

　ステップＳ７５は、読み込んだ全ての視点画像の視点番号を取得する。更に、各視点画像の付属情報から、それぞれの視点画像のＧＯＰ最大視差量の値を取得する（ステップＳ７６）。表１に示すように、視点画像（２）からＧＯＰ最大視差量４％、視点画像（３）からＧＯＰ最大視差量７％、視点画像（４）からＧＯＰ最大視差量１０％が取得される。

　次に、３Ｄ表示を行う３Ｄディスプレイにおける許容視差量を算出する（ステップＳ７７）。許容視差量は、下記の［数３］式によって算出される。尚、ディスプレイサイズとは、ディスプレイの横幅を指す。また、ここでは人間の両眼間隔を５０ｍｍとしているが、その他の数値を用いてもよい。

　［数３］
　許容視差量［％］＝５０ｍｍ÷ディスプレイサイズ［ｍｍ］×１００
　本実施形態では、ディスプレイサイズは１３００ｍｍであるので、許容視差量は約３．８５％となる。

　次に、基準視点の配置を確認する（ステップＳ７８）。基準視点が全視点中の中央近傍でない場合は、中央近傍の視点位置を新たな基準視点に設定し（ステップＳ７９）、新たな基準視点に対する各視点画像の最大視差量を算出する（ステップＳ８０）。

　本実施形態では、視点番号は図８のようになっているため、基準視点である視点番号１は、中央近傍ではない。したがって、ここでは中央近傍の視点として視点番号２を新たな基準視点に設定する。

　この新たな基準視点である視点番号２に対する各視点画像のＧＯＰ最大視差量を算出する。表１の３Ｄ動画ファイルの例では、各視点画像の付属情報に記載されたＧＯＰ最大視差量と視点画像（２）の付属情報に記載されたＧＯＰ最大視差量の差分の絶対値が、新たな基準視点におけるＧＯＰ最大視差量となる。したがって、各視点画像のＧＯＰ最大視差量は、以下の通りとなる。

　視点画像（１）のＧＯＰ最大視差量＝｜０％－４％｜＝４％
　視点画像（２）のＧＯＰ最大視差量＝｜４％－４％｜＝０％
　視点画像（３）のＧＯＰ最大視差量＝｜７％－４％｜＝３％
　視点画像（４）のＧＯＰ最大視差量＝｜１０％－４％｜＝６％
　尚、このような処理を行うのは、より中央に近く配置されている視点画像が、３Ｄ表示により好適であるためである。

　ステップＳ８０の処理が終了、又はステップＳ７８において基準視点が全視点中の中央近傍であると判断された場合は、これらのＧＯＰ最大視差量のうち、許容視差量以下であって、かつ最大の値を持つ視点を選択する（ステップＳ８１）。本実施形態では、許容視差量が３．８５％以下であるので、この条件を満たす視点は視点番号３となる。

　このように、条件を満たす視点を選択できた場合は（ステップＳ８２）、基準視点画像と当該選択された視点画像を用いて３Ｄ表示を行う（ステップＳ８３）。選択できない場合には（ステップＳ８２で「NOの場合」）、２Ｄ表示を行う（ステップＳ８４）。

　例えば、仮に取得したディスプレイサイズが１７００ｍｍであれば、許容視差量は２．９４％となり、許容視差量以下で最大の最大視差量値を持つ視点を選択することができない。この場合は２Ｄ表示を行う。

　このように、許容視差量に基づいて視点画像のペアを選択するようにしたので、適切に立体視に適した視点画像を選択することができる。

　次に、３Ｄ動画ファイルから全てのＧＯＰの読み込みが終了したか否かを判別する（ステップＳ８５）。終了していない場合（「NOの場合」）には、ステップＳ５２に遷移し、上記処理を繰り返し、終了している場合（「YESの場合」）には、３Ｄ動画の再生を終了させる。

　尚、ステップＳ８２において、選択できないと判別された場合には、２Ｄ表示を行うのではなく、視差ずらしや視差圧縮を行って適切な視差量に調整した後に３Ｄ表示を行ってもよい。また、３Ｄ動画再生の第４から第７の実施形態では、１ＧＯＰ毎に視差の補正を行うようにしたが、これに限らず、シーン最大ディスプレイサイズ、シーン最大視差量を使用してシーン毎に視差の補正を行うようにしてもよい。

　［立体動画再生装置］
　上記３Ｄ動画再生の第１から第７の実施形態は、図１１及び図１２に示した立体撮像装置１０の３Ｄ動画再生機能により実現するようにしてもよいし、撮像部を有しない立体動画再生装置により実現するようにしてもよい。

　図２３は立体動画再生装置３００と３Ｄディスプレイ３２０の全体構成を示す図である。同図に示すように、立体動画再生装置３００と３Ｄディスプレイ３２０とは、別個に構成された装置であり、通信ケーブル３１０により通信可能に接続されている。

　３Ｄディスプレイ３２０は、パララックスバリア方式やレンチキュラー方式のディスプレイであり、立体動画再生装置３００から３Ｄディスプレイ３２０に入力された左視点画像及び右視点画像を１ライン毎に交互に表示する。

　また、３Ｄディスプレイ３２０は、左視点画像及び右視点画像を時間的に交互に切り換えて表示するものでもよい。この場合は、視認者は特殊なメガネを用いて３Ｄディスプレイ３２０を視認する。

　図２４は、立体動画再生装置３００の内部構成を示すブロック図である。同図に示すように、立体動画再生装置３００は、ＣＰＵ３０１、記録制御部３０５、メモリカード３０６、表示制御部３０７、通信インターフェース３０８などを備えて構成されている。

　ＣＰＵ３０１は、ＲＯＭ３０２に記録された立体動画再生プログラム等の制御プログラムに基づいて立体動画再生装置３００全体の動作を統括制御する。ＲＡＭ３０３は、ＣＰＵ３０１の演算作業用領域として使用される。

　記録制御部３０５、表示制御部３０７は、バス３０４を介してＣＰＵ３０１と接続されている。記録制御部３０５は、メモリカード３０６に対する３Ｄ動画ファイルのデータ読み書きを制御する。メモリカード３０６は、例えば、図１２に示した立体撮像装置１０のメモリカード４０と同じものであり、立体撮像装置１０において撮影された各視点画像と付属情報を含む３Ｄ動画ファイルが記録されている。

　通信インターフェース３０８は、通信ケーブル３１０が接続されるコネクタ部であり、表示制御部３０７は、これらを介して３Ｄディスプレイ３２０に３Ｄ動画を表示させる。通信インターフェース３０８、通信ケーブル３１０として、ＨＤＭＩ規格のものを採用することが考えられる。ＨＤＭＩ規格によれば、立体動画再生装置３００は、通信ケーブル３１０を介して接続されている３Ｄディスプレイ３２０のディスプレイサイズを取得することができる。

　尚、立体動画再生装置３００に、各視点画像を撮影するための複眼の撮像手段を備えさせ、撮影した視点画像をメモリカード３０６に記録するように構成してもよい。また、立体動画再生装置３００と３Ｄディスプレイ３２０を一体の装置として構成してもよい。また、パーソナルコンピュータに立体動画再生プログラムをインストールし、該パーソナルコンピュータを立体動画再生装置３００として機能させるようにしてもよい。

　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１０…立体撮像装置、14-1,14-2…撮影光学系、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４０…メモリカード、４４…デジタル信号処理部、１００…被写体、１０１－１～１０１－４…撮像装置、２１１Ｎ、２１２Ｎ…最大視差量位置（近景）、２１１Ｆ、２１２Ｆ…最大視差量位置（遠景）、２１３Ｎ…近景側の最大視差量、２１３Ｆ…遠景側の最大視差量、２１３Ｆ…遠景側の最大視差量、３００…立体動画再生装置、３２０…３Ｄディスプレイ

Claims

　複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得する立体動画取得手段と、
　前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
　前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
　前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、
　前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得する区間内最大ディスプレイサイズ取得手段と、
　前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として前記立体動画ファイルに記録する記録手段と、
　を備えた立体動画処理装置。
　前記記録手段は、前記区間内最大視差量取得手段により前記立体動画の所定の区間毎に取得した区間内最大視差量を前記立体動画ファイルの付属情報として更に記録する請求項１に記載の立体動画処理装置。
　複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得する立体動画取得手段と、
　前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
　前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
　前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、
　前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大視差量を付属情報として前記立体動画ファイルに記録する記録手段と、
　を備えた立体動画処理装置。
　前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得する区間内最大ディスプレイサイズ取得手段を備え、
　前記記録手段は、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として更に前記立体動画ファイルに記録する請求項３に記載の立体動画処理装置。
　前記記録手段は、前記立体動画を観察するのに適した視認者と立体ディスプレイとの距離である想定視距離を前記立体動画ファイルの付属情報として更に記録する請求項１から４のいずれか１項に記載の立体動画処理装置。
　前記最大視差量取得手段は、前記算出した各特徴点の視差量のうちの近景側の最大視差量を取得し、
　前記区間内最大視差量取得手段は、前記取得した近景側の最大視差量のうち前記所定の区間内で最大となる区間内最大視差量を該所定の区間毎に取得する請求項１から５のいずれか１項に記載の立体動画処理装置。
　前記立体動画取得手段により取得されたＮ（Ｎは３以上の整数）視点の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、
　前記最大視差量取得手段は、前記代表画像と前記Ｎ視点の視点画像のうちの代表画像を除く（Ｎ－１）視点の視点画像とのそれぞれ異なる組み合わせからなる２つの視点画像に関連して（Ｎ－１）個の遠景側の最大視差量を取得し、
　前記区間内最大ディスプレイサイズ取得手段は、前記取得した（Ｎ－１）個の遠景側の最大視差量に基づいて前記所定の区間内で最大となる（Ｎ－１）個の区間内最大ディスプレイサイズを前記所定の区間毎に取得し、
　前記記録手段は、前記取得した（Ｎ－１）個の区間内最大ディスプレイサイズを前記付属情報として前記立体動画ファイルに記録する請求項１、２又は４に記載の立体動画処理装置。
　前記立体動画取得手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段を更に備えた請求項１から７のいずれか１項に記載の立体動画処理装置。
　前記複数の視点画像及び仮想視点画像を含むＮ（Ｎは３以上の整数）視点の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、
　前記最大視差量取得手段は、前記代表画像と前記Ｎ視点の視点画像のうちの代表画像を除く（Ｎ－１）視点の視点画像とのそれぞれ異なる組み合わせからなる２つの視点画像に関連して（Ｎ－１）個の遠景側の最大視差量を取得し、
　前記区間内最大ディスプレイサイズ取得手段は、前記取得した（Ｎ－１）個の遠景側の最大視差量に基づいて前記所定の区間内で最大となる（Ｎ－１）個の区間内最大ディスプレイサイズを前記所定の区間毎に取得し、
　前記記録手段は、前記取得した（Ｎ－１）個の区間内最大ディスプレイサイズを前記付属情報として前記立体動画ファイルに記録する請求項１、２又は４に記載の立体動画処理装置。
　前記立体動画ファイルは、複数のフレームからなる１ＧＯＰ毎に複数の視点画像が順次記録されたＭＰＥＧファイルであり、
　前記立体動画の所定の区間は、１又は２以上の所定数のＧＯＰに対応する区間である請求項１から９のいずれか１項に記載の立体動画処理装置。
　前記取得した立体動画のシーンチェンジを検知するシーンチェンジ検知手段を備え、
　前記立体動画の所定の区間は、前記シーンチェンジ検知手段により検知されたシーンチェンジにより区分されるシーン毎の区間である請求項１から１０のいずれか１項に記載の立体動画処理装置。
　前記記録手段は、前記区間毎に取得される区間内最大ディスプレイサイズ及び区間内最大視差量のうちの少なくとも一方を、該区間よりも所定の区間数だけ前の区間の先頭、又は立体動画ファイルの先頭に記録する請求項１から１１のいずれか１項に記載の立体動画処理装置。
　前記記録手段は、前記Ｎ視点の視点画像を視点の並び順に、又は中央の視点に近い順に記録する請求項７又は９に記載の立体動画処理装置。
　前記記録手段は、前記複数の視点画像及び仮想視点画像を前記立体動画ファイルに記録する際に、各画像が実視点の画像か仮想視点の画像かを示す視点情報を前記立体動画ファイルの付属情報として記録する請求項８又は９に記載の立体動画処理装置。
　前記区間内最大ディスプレイサイズ取得手段は、前記区間内最大視差量取得手段により取得した遠景側の区間内最大視差量に対応する立体ディスプレイ上での画像ずれ量が、人間の両眼間隔を越えないディスプレイサイズのうちの最大のディスプレイサイズを、両眼融合可能な区間内最大ディスプレイサイズとして取得する請求項１、２、４、７、又は９に記載の立体動画処理装置。
　前記区間内最大ディスプレイサイズ取得手段は、前記区間内最大視差量取得手段により取得した遠景側の区間内最大視差量に基づいて、予め最大視差量に対応する最大ディスプレイサイズが記録された記憶手段から対応する最大ディスプレイサイズを読み出し、又は人間の両眼間隔を示す所定値を含む計算式を使用して前記区間内最大ディスプレイサイズを算出する請求項１５に記載の立体動画処理装置。
　請求項１から１６のいずれか１項に記載の立体動画処理装置を、コンピュータにより実現させる立体動画処理プログラム。
　請求項１から１６のいずれか１項に記載の立体動画処理装置を、コンピュータにより実現させる機械読み取り可能な指示の立体動画処理プログラムを有形的に格納したプログラム可能な記録媒体。
　前記立体動画取得手段として機能する撮像手段と、
　請求項１から１６のいずれか１項に記載の立体動画処理装置と、
　を備えた立体撮像装置。
　複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得するステップと、
　前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出するステップと、
　前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得するステップと、
　前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得するステップと、
　前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体動画を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得するステップと、
　前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録するステップであって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として前記立体動画ファイルに記録するステップと、
　を含む立体動画処理方法。
　複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得するステップと、
　前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出するステップと、
　前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得するステップと、
　前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得するステップと、
　前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録するステップであって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大視差量を付属情報として前記立体動画ファイルに記録するステップと、
　を含む立体動画処理方法。