WO2011136191A1

WO2011136191A1 - 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置

Info

Publication number: WO2011136191A1
Application number: PCT/JP2011/060096
Authority: WO
Inventors: 敏中村
Original assignee: 富士フイルム株式会社
Priority date: 2010-04-28
Filing date: 2011-04-25
Publication date: 2011-11-03
Also published as: JP5449537B2; US8736671B2; CN102893613A; US20130044188A1; CN102893613B; JPWO2011136191A1

Abstract

３次元画像ファイルに記録された付属情報に基づいて適切な視差量の立体画像を表示する。３Ｄ表示を行うディスプレイのサイズを取得し（ステップＳ３１）、３Ｄ画像ファイルを読み出す（ステップＳ３２）。また、読み出した３Ｄ画像ファイルのメタデータから、各視点画像を適切に３Ｄ表示可能な最大ディスプレイサイズを取得し（ステップＳ３３）、ステップＳ３１で取得したサイズとステップＳ３３で取得した最大ディスプレイサイズとを比較する（ステップＳ３４）。最大ディスプレイサイズの方が大きい画像の視点番号を取得し（ステップＳ３５）、取得された視点番号の画像から最も適した画像を選択し（ステップＳ３７）、選択した画像を用いて３Ｄ表示を行う（ステップＳ３８）。このように最大ディスプレイサイズに基づいて適切な画像を選択して３Ｄ表示することができる。

Description

立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置

　本発明は立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置に係り、特に、３次元画像ファイルに記録された立体画像を適切に再生表示する技術に関する。

　立体撮像装置は、左右に視差をもって並べられた２つの撮像部（撮像手段）を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得して記録媒体に記録している。この取得した左右の画像が記録媒体から読み出され、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左目用の画像と右目用の画像とが左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。

　ところが、３Ｄディスプレイには様々な画面のサイズのものがあり、記録された左右の画像の視差量が、当該左右画像を再生表示しようとする３Ｄディスプレイのサイズに対して適切でない場合も存在する。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体画像として認識できないという問題点が発生する。

　このような課題に対して、再生装置において、左目用の画像と右目用の画像とから任意の視点で見えるべき中間視点画像を生成することが行われている。このように、視点の異なる複数の画像から中間視点画像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。

　しかし、表示時に目の疲れにくい表示（例えば視差制御）を行おうとする際に、どの奥行き範囲に対して行えばよいのかわからないという課題を有していた。このような表示を行うには、撮影時の視野角や撮像面のサイズ、レンズ中心と撮像面との距離等の条件をもとに、観察距離を適切に決定する必要がある。

　この問題を解決するために、特許文献１には、２視点以上の画像の伝送において、画像を撮像するカメラの撮像サイズ及びレンズ中心と撮像面との距離の情報を伝送する技術が開示されている。この技術によれば、表示側において撮像時の視野角の情報を得ることができる。

特開２００３－３３３６２１号公報

　しかしながら、特許文献１の技術では、表示装置側の処理が煩雑であるという欠点があった。また、データ伝送に関する技術であるため、立体画像が記録媒体に記録される場合に、これらの情報がどのように記録されるのかは開示されていない。

　本発明はこのような事情に鑑みてなされたもので、３次元画像ファイルに記録された付属情報に基づいて適切な視差量の立体画像を表示する立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置を提供することを目的とする。

　前記目的を達成するために第一発明の立体画像再生装置は、Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別手段と、前記第１の判別手段により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像から１組の２枚の視点画像を選択する選択手段と、前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別されると、前記選択手段により選択された２枚の視点画像を前記立体ディスプレイに出力する出力手段とを備えたことを特徴とする。なお、ここでいう「遠景側」とは、撮像手段から被写体側に離間する遠位側を言うものであり、反対に「近景側」とは、遠景側とは反対に、被写体から撮像手段側に近づく近位側を言うものである。

　第一発明によれば、３次元画像ファイルからＮ枚の視点画像と（Ｎ―１）個の最大ディスプレイサイズを取得するとともに出力先の立体ディスプレイのディスプレイサイズを取得し、取得された立体ディスプレイのディスプレイサイズと（Ｎ－１）個の最大ディスプレイサイズとを比較し、（Ｎ－１）個の最大ディスプレイサイズのうちの立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像から１組の２枚の視点画像を選択して立体ディスプレイに出力するようにしたので、３次元画像ファイルに記録された付属情報に基づいて適切な視差量の立体画像を表示することができる。

　前記目的を達成するために第二発明の立体画像再生装置は、Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量と、前記遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズとを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別手段と、前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出手段と、前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応してそれぞれ記憶された前記遠景側の最大視差量に基づいて算出する算出手段と、前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別手段と、前記第１の判別手段により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像と、前記第２の判別手段により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択手段と、前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別され、かつ前記第２の判別手段により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別され、又は前記第２の判別手段により両眼融合可能と判別されると、前記選択手段により選択された２枚の視点画像を前記立体ディスプレイに出力する出力手段とを備えたことを特徴とする。

　第二発明によれば、３次元画像ファイルからＮ枚の視点画像と（Ｎ－１）個の最大ディスプレイサイズを取得し、出力先の立体ディスプレイのディスプレイサイズを取得し、立体ディスプレイのディスプレイサイズが（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別するとともに、Ｎ枚の視点画像のうちの基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から抽出された１組又は複数組の２枚の視点画像の視点画像間の遠景側の最大視差量を、２枚の視点画像に対応してそれぞれ記憶された前記遠景側の最大視差量に基づいて算出して両眼融合可能か否かを判別し、（Ｎ－１）個の最大ディスプレイサイズのうちの立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像と両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択して立体ディスプレイに出力するようにしたので、３次元画像ファイルに記録された付属情報に基づいて適切な視差量の立体画像を表示することができる。

　前記目的を達成するために第三発明の立体画像再生装置は、Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、前記付属情報として記録された遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記基準視点の視点画像と他の（Ｎ－１）枚の視点画像のうちの１枚の視点画とを立体ディスプレイに表示する際に両眼融合可能か否かを判別する第１の判別手段と、前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出手段と、前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応して記憶された前記遠景側の最大視差量に基づいて算出する算出手段と、前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別手段と、前記第１の判別手段及び第２の判別手段のうちの少なくとも一方により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択手段と、前記第１の判別手段及び第２の判別手段により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別手段及び第２の判別手段のうちの少なくとも一方により両眼融合可能と判別されると、前記選択手段により選択された２枚の視点画像を前記立体ディスプレイに出力する出力手段とを備えたことを特徴とする。

　第三発明によれば、３次元画像ファイルからＮ枚の視点画像と基準視点の視点画像以外の画像の（Ｎ－１）個の遠景側の最大視差量を取得し、出力先の立体ディスプレイのディスプレイサイズを取得し、基準視点の視点画像と他の（Ｎ－１）枚の視点画像のうちの１枚の視点画像とを立体ディスプレイに表示する際に両眼融合可能か否かを判別し、Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出し、抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を算出し、算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別して立体ディスプレイに出力するようにしたので、３次元画像ファイルに記録された付属情報に基づいて適切な視差量の立体画像を表示することができる。

　また、第二発明及び第三発明の立体画像再生装置において、前記第２の判別手段は、前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて許容視差量を算出し、前記算出された最大視差量が前記許容視差量以下か否かにより両眼融合可能か否かを判別することが好ましい。

　これにより、適切に両眼融合可能か否かを判別することができる。

　更に、第一発明～第三発明の立体画像再生装置において、前記選択手段は、前記複数組の２枚の視点画像のうち、予め設定された基準視点に対応する視点画像を含む２枚の視点画像を優先して選択することを特徴とする。

　これにより、適切に視点画像を選択することができる。

　更にまた、第一発明～第三発明の立体画像再生装置において、前記選択手段は、前記複数組の２枚の視点画像のうち、前記最大視差量が最も大きい２枚の視点画像を選択することが好ましい。

　これにより、適切に視点画像を選択することができる。

　加えて、第一発明～第三発明の立体画像再生装置において、前記選択手段は、前記複数組の２枚の視点画像のうち、前記最大視差量が最も小さい２枚の視点画像を選択することが好ましい。

　これにより、適切に視点画像を選択することができる。

　加えてまた、第一発明～第三発明の立体画像再生装置において、前記選択手段は、前記複数組の２枚の視点画像のうち、視点の並び順にて最も中央側にある視点画像を含む２枚の視点画像を優先して選択することが好ましい。

　これにより、適切に視点画像を選択することができる。

　また、第一発明～第三発明の立体画像再生装置において、前記複数組の２枚の視点画像の近景側の最大視差量を取得する手段を備え、前記選択手段は、前記取得した近景側の最大視差量に基づいて、前記複数組の２枚の視点画像から１組の２枚の視点画像を選択することが好ましい。

　これにより、適切に視点画像を選択することができる。

　更に、第一発明～第三発明の立体画像再生装置において、前記選択手段は、前記３次元画像ファイルに記録された前記Ｎ枚の視点画像が、実視点に対応する複数の視点画像と、実視点に対応する複数の視点画像から生成された仮想視点に対応する仮想視点画像とが混在している場合において、前記複数組の２枚の視点画像のうち、前記実視点の視点画像を含む２枚の視点画像を優先して選択することを特徴とする。

　これにより、適切に視点画像を選択することができる。

　前記目的を達成するために第四発明の立体撮像装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録するとともに、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段と、請求項１から１０のいずれかに記載の立体画像再生装置とを備えたことを特徴とする。

　これにより、適切な視差量の立体画像を表示することができる。

　前記目的を達成するために第四発明の立体ディスプレイ装置は、前記出力先の立体ディスプレイと、上述の第一発明～第三発明の立体画像再生装置とを備えたことを特徴とする。

　前記目的を達成するために第五発明の立体画像再生方法は、Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得工程と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別工程と、前記第１の判別工程により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像から１組の２枚の視点画像を選択する選択工程と、前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別されると、前記選択工程により選択された２枚の視点画像を前記立体ディスプレイに出力する出力工程とを備えたことを特徴とする。

　前記目的を達成するために第六発明の立体画像再生方法は、Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量と、前記遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズとを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得工程と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別工程と、前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出工程と、前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応してそれぞれ記憶された前記遠景側の最大視差量に基づいて算出する算出工程と、前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別工程と、前記第１の判別工程により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像と、前記第２の判別工程により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択工程と、前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別され、かつ前記第２の判別工程により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別され、又は前記第２の判別工程により両眼融合可能と判別されると、前記選択工程により選択された２枚の視点画像を前記立体ディスプレイに出力する出力工程と、を備えたことを特徴とする。

　前記目的を達成するために第七発明の立体画像再生方法は、Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の近景側の最大視差量と遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得工程と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、前記付属情報として記録された遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記基準視点の視点画像と他の（Ｎ－１）枚の視点画像のうちの１枚の視点画とを立体ディスプレイに表示する際に両眼融合可能か否かを判別する第１の判別工程と、前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出工程と、前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応して記憶された前記遠景側の最大視差量に基づいて算出する算出工程と、前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別工程と、前記第１の判別工程及び第２の判別工程のうちの少なくとも一方により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択工程と、前記第１の判別工程及び第２の判別工程により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別工程及び第２の判別工程のうちの少なくとも一方により両眼融合可能と判別されると、前記選択工程により選択された２枚の視点画像を前記立体ディスプレイに出力する出力工程とを備えたことを特徴とする。

　本発明によれば、３次元画像ファイルに記録された付属情報に基づいて適切な視差量の立体画像を表示することができる。

２枚の視点画像を撮影する様子を示した図３Ｄ画像ファイルのデータ構造を模式的に示した図撮影、記録処理を示したフローチャート２枚の視点画像の一例を示す図４枚の視点画像を撮影する様子を示した図３Ｄ画像ファイルのデータ構造を模式的に示した図３Ｄ画像ファイルのデータ構造のその他の態様を模式的に示した図仮想視点について説明するための図３Ｄ画像ファイルのデータ構造を模式的に示した図視差ずらしの原理を説明するための図左右の視点画像と視差ずらしを示す図撮影、記録処理を示すフローチャート３Ｄ画像ファイルのデータ構造を模式的に示した図再生表示処理を示すフローチャート再生表示処理を示すフローチャート再生表示処理を示すフローチャート再生表示処理を示すフローチャート立体画像再生装置と３Ｄディスプレイの全体構成を示す図立体画像再生装置の内部構成を示すブロック図

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

　［第１の実施形態］
　第１の実施形態に係る３Ｄ画像ファイルについて説明する。

　図１は、２つの撮像装置１０１－２、１０１－３の夫々の撮像手段によって、被写体１００について異なる視点から２枚の視点画像を撮影する様子を示した図であり、図２は、図１に示す撮像装置１０１－２、１０１－３の夫々の撮像手段によって撮影された２枚の視点画像２０１－２、２０１－３が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。

　図２に示す３Ｄ画像ファイルは、ＭＰフォーマットに準拠したＭＰファイルであり、同一被写体の複数の視点画像が連結されて１つのファイルにまとめられている。連結される各視点画像には、そのデータの先端にＳＯＩ（Start of Image）マーカが記録されるとともに、終端にＥＯＩ（End of Image）マーカが記録される。これにより、各画像の読込開始位置と終了位置を認識することができる。

　さらに各視点画像データは、画像領域と付属情報領域とから構成される。付属情報領域には、撮影機器情報や撮影モードの情報等からなるＥｘｉｆ付属情報の他、本実施形態では、画像記録時に取得した最大ディスプレイサイズ（幅、高さ、単位：ｍｍ）、画像記録時に想定した視距離（立体画像を観察する際の視認者とディスプレイとの距離）（単位：ｍｍ）、最大視差量（近景）（％）、最大視差量（遠景）（％）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、が含まれた付属情報が記録されている。なお、付属情報は第１の取得手段を用いて取得される（第１の取得工程）。また、第１の取得手段は、（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する。

　このような３Ｄ画像ファイルを記録するための撮影、記録処理について、図３のフローチャートを用いて説明する。

　まず、複数の視点画像を取得する（ステップＳ１１）。ここでは、図１に示すように２つの撮像装置１０１－２、１０１－３によって被写体１００について１枚ずつ撮影を行い、２枚の視点画像２０１－２、２０１－３を取得する。なお、ここでは撮像装置１０１－２を視点番号２、撮像装置１０１－３を視点番号３とする。

　次に、視差量算出手段を用いて２枚の視点画像２０１－２、２０１－３から複数の特徴点を抽出し（ステップＳ１２）、特徴点毎の視差量を算出する（ステップＳ１３）。ここで、視差量とは、視点画像間で対応する特徴点の、それぞれの視点画像の左端からの距離の差を指し、単位はピクセルである。このように算出した特徴点毎の視差量から、最大視差量取得手段を用いて近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ１４）。

　図４は２枚の視点画像の一例を示す図であり、図４Ａは左視点画像２０１－２を示し、図４Ｂは右視点画像２０１－３を示している。

　図４の例では、近景側の最大視差量は２１３Ｎであり、この視差量を持つ特徴点（最大視差量位置（近景））は、それぞれ２１１Ｎ、２１２Ｎである。また、遠景側の最大視差量は２１３Ｆであり、この視差量を持つ特徴点（最大視差量位置（遠景））は、それぞれ２１１Ｆ、２１２Ｆである。即ち、この２枚の視点画像２０１－２、２０１－３に基づく立体画像を立体視した場合には、最大視差量位置（近景）が最も近くに見え、最大視差量位置（遠景）が最も離れて見えることになる。

　これら近景側の最大視差量２１３Ｎ及び遠景側の最大視差量２１３Ｆの、画像幅に対する比率（％）が、最大視差量（近景）（％）、最大視差量（遠景）（％）となる。

　このように算出した最大視差量に基づいて、最大ディスプレイサイズ取得手段を用いて最大ディスプレイサイズを取得する（ステップＳ１５）。遠景側の視差量が人間の両眼間隔を超えると、画像のその位置は両眼融合不能となり、立体視ができなくなる。したがって、ステップＳ１４で算出した最大視差量（遠景）の画像幅に対する比率（％）から、視差が人間の両眼間隔を超えない最大ディスプレイサイズを取得する。

　例えば、人間の両眼間隔を５０ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１０％であれば、立体視するのに許容される最大のディスプレイ幅は５００ｍｍとなる。即ち、幅５００ｍｍ以下のディスプレイであれば、最大視差位置（遠景）の視差量が両眼間隔５０ｍｍを超えることなく表示され、その結果、視認者は立体視画可能となる。ここで、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは２８１．２５ｍｍとなる。

　なお、人間の両眼間隔は、対象とする視認者に応じて適宜決めればよい。例えば、成人だけを対象とする場合には、６５ｍｍ等の幅広の値に設定してもよい。

　例えば、人間の両眼間隔を６５ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１５％であれば、立体視するのに許容される最大のディスプレイ幅は約４３３ｍｍとなる。また、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは約２４４ｍｍとなる。

　また、人間の両眼間隔から算出するのではなく、予め最大視差量に対応する最大ディスプレイサイズが記録されているテーブルを用意しておき、このテーブルを参照することにより最大ディスプレイサイズを取得してもよい。

　最後に、記録手段を用いて２枚の視点画像２０１－２、２０１－３と、付属情報とを、図２に示すように１つの３Ｄ画像ファイルとして記録する（ステップＳ１６）。

　即ち、視点画像２０１－２についてのＳＯＩマーカに続けて、ステップＳ１５において取得した最大ディスプレイサイズ、想定した視距離、ステップＳ１４において取得した最大視差量（近景）（％）、最大視差量（遠景）（％）、ステップＳ１１における撮像装置１０１－２、１０１－３の輻輳角、基線長、視点番号、及び撮影回数を付属情報に含んで記録し、その後視点画像２０１－２の画像情報、ＥＯＩマーカを記録する。

　さらに、視点画像２０１－３のＳＯＩマーカ、付属情報、画像情報、ＥＯＩマーカを記録する。視点画像２０１－３の付属情報領域には、Ｅｘｉｆ付属情報のみを記録すればよい。

　以上のように、図２に示す３Ｄ画像ファイルを記録することができる。

　このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に再生器によって読み出される。この際、再生器において、３Ｄ画像ファイルの付属情報に記録されている最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。したがって、立体視可能と判断した場合には、記録されている画像をそのまま表示すればよく、再生器における画面サイズに応じて視差量を調整する処理を軽減させることができる。

　また、再生器において視差量を調整する必要がある場合には、付属情報に記録されている想定視距離や撮影回数の情報を用いることにより、適切に視差量を調整することができる。

　なお、本実施形態では、遠景側の最大視差量だけに基づいて最大ディスプレイサイズを決定したが、近景側の最大視差量を考慮して決定してもよい。近景側の最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができるようになる。

　［第２の実施形態］
　第１の実施形態では、２視点から撮影した２枚の視点画像を例に説明したが、本発明に係る立体画像の視点の数は２点に限られず、多視点の視点画像であってもよい。

　図５は、４つの撮像装置１０１－１～１０１－４によって、被写体１００について異なる視点から４枚の視点画像を撮影する様子を示した図である。ここでは、撮像装置１０１－１～１０１－４の視点番号を順に１～４とする。

　図６は、この４つの撮像装置１０１－１～１０１－４によって撮影された４枚の視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、４枚の視点画像の他に、各視点画像のサイズを縮小した表示用画像が記録されている。表示用画像としては、解像度が１９２０×１０８０のフルＨＤサイズの画像が適している。

　これらの画像は、図６に示すように、視点番号１の視点画像（以下、視点画像（１）と呼ぶ）、視点番号１の表示用画像（以下、サムネイル画像（１）と呼ぶ）、視点番号２の視点画像（以下、視点画像（２）と呼ぶ）、視点番号２の表示用画像（以下、サムネイル画像（２）と呼ぶ）、視点番号３の視点画像（以下、視点画像（３）と呼ぶ）、視点番号３の表示用画像（以下、サムネイル画像（３）と呼ぶ）、視点番号４の視点画像（以下、視点画像（４）と呼ぶ）、視点番号４の表示用画像（以下、サムネイル画像（４）と呼ぶ）、の順に記録されている。

　まず先頭画像として、基準視点である視点番号１で撮影された視点画像（１）が記録されており、その記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。

　付属情報領域には、第１の実施形態と同様に、撮影機器情報や撮影モードの情報等のＥｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。

　なお、この最大ディスプレイサイズ、最大視差量等は、当該３Ｄ画像ファイル全体を使用した場合の値が記録される。具体的には、基準視点で撮影された視点画像（１）を基準として、最も視差量が大きい視点画像（ここでは視点画像（４））から算出された最大視差量、及びこの最大視差量から取得された最大ディスプレイサイズが記録される。輻輳角、基線長等についても、同様の視点画像（ここでは視点画像（４））を撮影した装置との輻輳角、基線長が記録される。

　さらに、画像情報領域には視点画像（１）の画像情報が記録され、続いてＥＯＩマーカが記録される。

　視点画像（１）に続いて、視点画像（１）から生成されたサムネイル画像（１）が記録されており、その記録領域は、これまでと同様に、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。付属情報領域には、通常のＥｘｉｆ付属情報が記録される。

　サムネイル画像（１）に続いて、視点画像（２）が記録されている。視点画像（２）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。

　付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（２）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、２枚の視点画像を撮影した装置の輻輳角、基線長、視点番号、２枚の視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。

　視点画像（２）に続いて、視点画像（２）から生成されたサムネイル画像（２）が記録されており、その後には視点画像（３）が記録されている。

　視点画像（３）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有しており、付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（３）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ等が同様に記録されている。

　以下、視点画像（４）についても同様に記録されている。

　このように、多視点の視点画像を記録する場合には、それぞれの視点画像の付属情報として、先頭画像との関係における最大ディスプレイサイズを記録することが好ましい。

　このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に再生器によって読み出される。この際、再生器において、３Ｄ画像ファイルの付属情報に記録されている視点画像毎の最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。

　なお、多視点画像の記録順は、図６に示した順序に限定されるものではない。

　例えば、図７Ａに示すように、視点画像（１）、サムネイル画像（１）～サムネイル画像（４）、視点画像（２）～視点画像（４）の順に記録してもよい。表示用のサムネイル画像を先に記録しておくことで、表示を行うときのファイル読み出し時の画像読み込みが早くなり、３Ｄディスプレイに画像を表示するまでの所要時間の縮小が可能になる。また、各視点画像は主にプリントに使用されるものであり、プリントは所定の時間を要することから、ファイルの後半部に記録されていても、弊害が少ない。

　さらに、各サムネイル画像の記録順は、３Ｄディスプレイに表示させる際の推奨画像を先に記録するようにしてもよい。例えば、サムネイル画像（２）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｂに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（２）、サムネイル画像（３）を記録し、その後にサムネイル画像（１）、サムネイル画像（４）を記録してもよい。

　２枚の画像の視差量が小さい方が、大きなディスプレイであっても立体視可能に表示が可能である。また、中央に近い視点の画像を用いた方が、立体視に適している。したがって、このような場合には、視点番号２と視点番号３における画像が推奨されるとして、サムネイル画像（２）とサムネイル画像（３）を先に記録しておくことが好ましい。

　同様に、サムネイル画像（１）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｃに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（１）、サムネイル画像（３）を記録し、その後にサムネイル画像（２）、サムネイル画像（４）を記録してもよい。

　立体表示における推奨画像が存在する場合には、先頭画像である視点画像（１）の付属情報に、推奨画像における最大ディスプレイサイズ、想定視距離、最大視差量を記録してもよい。

　［第３の実施形態］
　第２の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。

　例えば、図８に示すように、２つの撮像装置１０１－１、１０１－４によって、被写体１００について異なる視点（視点番号１、視点番号４）から２枚の視点画像を撮影する。さらに、視点番号１と視点番号４とは異なる視点であって、実際には存在しない仮想視点における視点番号２、視点番号３の視点画像２、視点画像３を生成してもよい。仮想視点画像を生成するには、複数の撮影画像の各画素を内分する方法や、複数の撮影画像から生成された視差マップと、１枚の撮影画像を用いて生成する方法等があるが、特に限定されるものではない。

　図９Ａは、このように取得した各視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。同図の例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、これらの表示用画像であるサムネイル画像（１）、サムネイル画像（４）、及び、仮想視点画像の表示用画像であるサムネイル画像（２）、サムネイル画像（３）が記録されている。

　まず先頭画像として視点画像（１）が記録され、その後にサムネイル画像（２）、サムネイル画像（３）、サムネイル画像（１）、サムネイル画像（４）が記録され、続いて視点画像（４）が記録されている。ここでは、サムネイル画像の順序は、推奨順で記録されているが、視点の並び順に記録してもよいし、中央の視点に近い順に記録してもよい。また、サムネイル画像（２）、サムネイル画像（３）は、サムネイル画像（１）及びサムネイル画像（４）から生成してもよいし、視点画像（１）及び視点画像（４）から生成してもよい。

　これまでと同様に、各画像の記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。また、視点画像（１）の付属情報領域には、最大ディスプレイサイズ、想定視距離、最大視差量の他、各視点番号が実際に撮影が行われた視点（実視点）であるか、仮想視点であるかを示す視点情報が記録されている。

　また、表示用の画像を有さず、プリント用の視点画像だけが記録されていてもよい。図９Ｂに示す例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、仮想視点画像である視点画像（２）、視点画像（３）が記録されている。

　また、記録順としてはプリント又は表示の推奨順となっており、具体的には先頭画像として視点画像（２）が記録されており、その後に続いて視点画像（３）、視点画像（１）、視点画像（４）が記録されている。これまでと同様に、視点順に記録されていてもよい。

　このように、仮想視点画像を生成して記録することで、実視点画像として２枚の画像があれば足りることになり、撮像装置の撮像光学系の簡略化、軽量化を計ることが可能となる。

　［第４の実施形態］
　想定したサイズのディスプレイに表示すると、遠景側の視差量が人間の両眼間隔を超えると判断した場合に、当該サイズのディスプレイに表示しても立体視が可能になるように画像の視差量を調整してから記録するようにしてもよい。

　本実施形態では、視差量の調整として視差ずらしを行う。

　図１０は、視差ずらしの原理を説明するための図である。また、図１１Ａは左視点画像、図１１Ｂは右視点画像を示す図である。ここで、座標（０、Ｄ）に視認者の左目、座標（Ｘ_Ｂ、Ｄ）に視認者の右目があるとする。Ｚ＝０上に表示された左右の視点画像において、左視点画像の座標（Ｘ_Ｌ、０）、かつ右視点画像の座標（Ｘ_Ｒ、０）に表示された被写体は、座標（Ｘ_Ｐ、Ｙ_Ｐ）にあるように視認される。

　この状態で、図１１Ｂに示すように、右視点画像を左方向にＸ_Ｒ－Ｘ_Ｒ´だけシフトしたとすると、図１０に示すように被写体の右視点画像の座標が（Ｘ_Ｒ´、０）となる結果、被写体は座標（Ｘ_Ｐ´、Ｙ_Ｐ´）にあるように視認される。

　このように、視差ずらしを行うことで、視差量の調整を行うことが可能である。したがって、遠景側の視差量が人間の両眼間隔を超える場合に、視差ずらしを行うことで人間の両眼間隔内に収めることができ、適切に立体視することが可能となる。

　図１２は、本実施形態に係る３Ｄ画像ファイルを記録するための撮影、記録処理を示すフローチャートである。

　まず、複数の視点画像を取得する（ステップＳ２１）。ここでは、２枚の視点画像を撮影するものとする。次に、各２枚の視点画像から複数の特徴点を抽出し（ステップＳ２２）、特徴点毎の視差量を算出する（ステップＳ２３）。このように算出した特徴点毎の視差量から、近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ２４）。

　ここで、表示を行う想定ディスプレイについて、その表示幅を取得する。想定ディスプレイの表示幅は、予め決められて記憶されていてもよいし、ＨＤＭＩ端子等の外部接続端子によって３Ｄディスプレイが接続されている場合には、当該接続に応じた通信により３Ｄディスプレイのサイズを読み取ってもよい。

　この表示幅のディスプレイに当該立体画像を表示した場合に、遠景側の最大視差位置が立体視可能か否かを判定する（ステップＳ２５）。具体的には、表示幅と遠景側の最大視差量（％）との積を算出し、算出した積が人間の両眼間隔５０ｍｍ以上であるか否かを判定する。

　算出した積が５０ｍｍ未満の場合は、撮影した２枚の視点画像をそのまま記録する（ステップＳ２７）。例えば、図２に示すデータ構造の３Ｄ画像ファイルとして記録してもよいし、表示用サムネイル画像や仮想視点画像を生成して記録してもよい。

　算出した積が５０ｍｍ以上の場合は、遠景側の最大視差位置が立体視可能となるように、当該積が５０ｍｍ未満になるように視差ずらしを行う（ステップＳ２６）。

　視差ずらしは、図１１に示すように、右視点画像を左方向にずらすことによって行ってもよいし、左視点画像を右方向にずらすことによって行ってもよい。また、左右視点画像両方をそれぞれ近づける方向にずらしてもよい。

　視差ずらし処理が終了したら、記録を行う（ステップＳ２７）。図１３は、ここで記録する３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、撮影された２枚の原画像の他に、各原画像のサイズを縮小した視差ずらし後の表示用画像及びサムネイル画像が記録されている。ここでは、表示用画像はフルＨＤサイズの画像であり、サムネイル画像はＶＧＡサイズの画像である。サムネイル画像は、例えば撮像装置の背面に設けられた小型の液晶ディスプレイに、画像検索のために表示する際等に用いられるものである。

　これらの画像は、図１３に示すように、視点番号１の表示用画像、視点番号２の表示用画像、視点番号１のサムネイル画像、視点番号２のサムネイル画像、視点番号１の原画像、視点番号２の原画像、の順に記録されており、それぞれの記録領域は、ＳＯＩマーカ（図では省略）、付属情報領域、画像情報領域、及びＥＯＩマーカ（図では省略）を有している。

　まず先頭画像として、基準視点である視点番号１の表示用画像が記録されており、その付属情報領域には、最大視差量が記録されている。

　次に記録されているのは、視点番号２の表示用画像であり、この画像は上記の視差ずらしを行った結果の画像である。視点番号２の表示用画像の付属情報領域には、視差ずらし処理済みである情報と、そのシフト量（単位：ピクセル）が記録されている。

　続いて視点番号１のサムネイル画像が記録されており、この付属情報領域にも、最大視差量が記録されている。

　さらに、視点番号２のサムネイル画像が記録されている。このサムネイル画像は、視差ずらし後の画像であってもよいし、視点番号２の原画像から生成した画像であってもよい。

　その後には、視点番号１の原画像及び視点番号２の原画像が記録されている。視点番号１の原画像の付属情報領域にも、最大視差量が記録されている。

　このような３Ｄ画像ファイルとすることで、想定したサイズのディスプレイに表示する際に、常に遠景側の最大視差位置が立体視可能となっており、視認者に適切に立体視させることが可能となる。

　また、ＶＧＡサイズのサムネイル画像も記録したため、画像検索時の表示にも有効である。

　なお、想定したディスプレイサイズを、先頭画像の付属情報領域に記録してもよい。想定ディスプレイサイズを記録しておくことにより、再生器において、読み出した想定ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。

　［第５の実施形態］
　次に、このように記録された３Ｄ画像ファイルを読み出して再生表示する処理について、図１４のフローチャートを用いて説明する。

　なお、本実施形態において読み出される３Ｄ画像ファイルの形式は、図６に示す３Ｄ画像ファイルと同様とし、各視点画像の付属情報に記録されている最大ディスプレイサイズ、想定視距離、最大視差量（遠景）は、下記の表１に示した通りとする。また、各画像の視点位置と視点番号の関係は図５に示した関係にあるものとし、基準視点は視点番号１であるとする。

　最初に、これから３Ｄ画像の表示を行うディスプレイのサイズ（横幅）を第２の取得手段を用いて取得する（ステップＳ３１：第２の取得工程）。ここでは、仮に取得したディスプレイの横幅が６００ｍｍであったとする。また、図６に示す３Ｄ画像ファイルを読み出す（ステップＳ３２）。

　次に、読み出した３Ｄ画像ファイルから、視点番号順に、最大ディスプレイサイズを取得する（ステップＳ３３）。表１に示す例では、まず視点番号１である視点画像（１）の最大ディスプレイサイズ５００ｍｍを取得する。

　次に、この取得した最大ディスプレイサイズがステップＳ３１で取得したディスプレイサイズ以上であるか否かを第１の判別手段を用いて判定する（ステップＳ３４：第１の判別工程）。ここでは、最大ディスプレイサイズが５００ｍｍであるのに対し、ディスプレイサイズが６００ｍｍであるので、ステップＳ３６に移行する。

　ステップＳ３６では、全画像について最大ディスプレイサイズの取得が終了したか否かを判定する。

　ここでは、まだ全画像について終了していないため、ステップＳ３３に戻る。

　ステップＳ３３では、視点番号を１つインクリメントし、次に視点番号２である視点画像（２）の最大ディスプレイサイズ１２００ｍｍを取得する。

　次に、ステップＳ３４に移行し、取得した最大ディスプレイサイズがディスプレイサイズ以上であるか否かを判定する。今回は、最大ディスプレイサイズが１２００ｍｍであり、ディスプレイサイズ６００ｍｍ以上であるので、ステップＳ３５に移行する。ステップＳ３５では、現在の視点番号が取得される。ここでは視点番号２が取得される。

　このように、全ての画像について、ステップＳ３３からステップＳ３５の処理を繰り返す。この処理により、最大ディスプレイサイズがディスプレイサイズ以上である画像の視点番号だけが取得される。ここでは、視点番号２と視点番号３が取得される。

　次に、ステップＳ３５において取得された視点番号の画像から、選択手段を用いて表示画像を選択する（ステップＳ３７）。ここでは、基準視点の画像である視点画像（１）と、視点番号２の画像（視点画像（２））又は視点番号３の画像（視点画像（３））のいずれかの画像が選択される（選択工程）。

　選択する基準としては、最も視差量が大きい画像、最も視差量が小さい画像、中央の視点に近い画像、等が考えられる。また、仮想視点の画像よりも実際に撮影された実視点画像を優先して選択してもよい。この基準は、予め決めておいてもよいし、視認者が自由に設定できるように構成してもよい。ここでは、最も視差量が大きい画像を選択するものとし、その結果、視点画像（１）と視点画像（３）が選択される。

　ステップＳ３７において選択された画像を、出力手段を介して３Ｄディスプレイに３Ｄ表示させる（ステップＳ３８：出力工程）。即ち、ここでは、視点画像（１）と視点画像（３）に基づいて３Ｄ表示が行われる。このとき、それぞれの視点画像の表示用サムネイル画像を用いて３Ｄ表示してもよい。なお、ステップＳ３５において取得された視点番号が無かった場合、即ち全ての画像の最大ディスプレイサイズがディスプレイサイズよりも小さかった場合には、２Ｄ表示を行う。２Ｄ表示を行う画像の選択の基準についても、適宜決めればよい。

　このように、第一の取得手段（工程）により得られた各視点画像の付属情報として記録されている最大ディスプレイサイズを読み出し、実際に表示を行うディスプレイサイズと比較し、最大ディスプレイサイズの方が大きい画像を選択して表示することで、常に適切な３Ｄ画像を表示することが可能となる。

　なお、このような処理は、３Ｄ画像ファイルの各視点画像の付属情報に記録されている算出手段（工程）により得られた最大視差量に基づいて行うことも可能である。或いは、抽出手段を用いてＮ枚の視点画像のうちの基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出し、算出手段を用いて抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、２枚の視点画像に対応してそれぞれ記憶された遠景側の最大視差量に基づいて算出することも可能である。

　図１５は、最大視差量に基づいて再生表示する画像を選択する場合のフローチャートである。なお、図１４に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。また、読み出される３Ｄ画像ファイルの各視点画像の付属情報には、最大ディスプレイサイズが記録されていないものとし、その他の付属情報は表１に示すファイルと同様であるものとする。また、ディスプレイの横幅も同様に６００ｍｍであるとする。

　図１４の場合と同様に、ディスプレイのサイズを取得し（ステップＳ３１）、３Ｄ画像ファイルを読み出す（ステップＳ３２）。次に、この読み出した３Ｄ画像ファイルから、２枚の（１組の）視点画像を選択する（ステップＳ４１）。最終的に全画像の組み合わせを選択するため、選択する順序は、適宜決定すればよい。ここでは、まず視点画像（１）と視点画像（２）を選択したものとする。

　この選択した２枚の画像の最大視差量（遠景）を取得する（ステップＳ４２）。各視点画像の付属情報に記録されている最大視差量（遠景）は、基準視点画像との最大視差量である。したがって、選択した２枚の画像に基準視点画像が含まれていない場合には、最大視差量を再計算する必要がある。

　ここでは、選択された２枚の画像のうち、一方が基準視点画像の視点画像（１）であるから、視点画像（２）の付属情報に記録されている最大視差量（遠景）が、この２枚の最大視差量（遠景）となる。

　次に、ステップＳ３１において取得したディスプレイの幅とステップＳ４２において取得した２枚の画像の最大視差量（遠景）との積が、人間の両眼間隔５０ｍｍ以下であるか否かを判定する（ステップＳ４３）。なお、人間の両眼間隔は５０ｍｍに限定されるものではなく、例えば６５ｍｍ等の数値を用いてもよい。

　この積が５０ｍｍよりも大きい場合は、遠景側の最大視差位置を適切に立体視することができないため、当該２枚の視点画像の組み合わせは立体視には適さない組み合わせであると判断し、ステップＳ４５へ移行する。

　ここでは、最大視差量（遠景）は４％であり、ディスプレイ幅６００ｍｍとの積は２４ｍｍとなる。したがって、５０ｍｍ以下の条件を満足し、ステップＳ４４に移行する。ステップＳ４４では、この２枚の画像の視点番号が取得される。即ち、ここでは視点番号１と２の組み合わせが取得される。

　ステップＳ４５では、全組み合わせについて最大視差量の取得が終了したか否かを判定する。ここでは、まだ全組み合わせについて終了していないため、ステップＳ４１に戻る。

　次のステップＳ４１では、異なる２枚の（１組の）視点画像を選択する。ここでは、視点画像（２）と視点画像（３）の２枚の視点画像を選択したものとする。

　ステップＳ４２では、この２枚の最大視差量（遠景）を取得する。前述のように、視点画像（２）、視点画像（３）のそれぞれの付属情報に記録されている最大視差量（遠景）は、基準視点画像である視点画像（１）との最大視差量であるので、視点画像（２）と視点画像（３）との２枚における最大視差量は、再計算する必要がある。

　２枚における最大視差量は、それぞれの付属情報に記録されている最大視差量（遠景）の差をとることで算出される。したがって、ここでは、７％－４％＝３％が２枚における最大視差量（遠景）となる。

　ステップＳ４３では、この算出した２枚の最大視差量（遠景）とディスプレイの幅との積が、５０ｍｍ以下であるかを判定する。

　ここでは、最大視差量（遠景）は３％であり、ディスプレイ幅６００ｍｍとの積は１８ｍｍとなる。したがって、５０ｍｍ以下の条件を満足し、ステップＳ４４に移行する。ステップＳ４４では、この２枚の画像の視点番号、即ち視点番号２と３の組み合わせが取得される。

　このように、全ての画像の組み合わせについて、ステップＳ４２からステップＳ４４の処理を繰り返す。この処理により、最大視差量（遠景）とディスプレイサイズの積が５０ｍｍ以下である画像の組み合わせの視点番号だけが取得される。ここでは、視点番号１と２、２と３、２と４、３と４の組み合わせが取得される。

　次に、ステップＳ４４において取得された視点番号の組み合わせから、表示画像を選択する（ステップＳ３７）。

　選択する基準としては、前述したように、最も視差量が大きい組み合わせ、最も視差量が小さい組み合わせ、中央の視点に近い画像を含む組み合わせ、実視点画像を優先する等が考えられる。この基準は、予め決めておいてもよいし、視認者が自由に設定できるように構成してもよい。ここでは、最も視差量が小さい組み合わせである視点番号２と視点番号３の組み合わせ、即ち視点画像（２）と視点画像（３）を選択したものとする。

　最後に、ステップＳ３７において選択された画像を、３Ｄディスプレイに３Ｄ表示させる（ステップＳ３８）。即ち、ここでは視点画像（２）と視点画像（３）に基づいて３Ｄ表示が行われる。それぞれの視点画像の表示用サムネイル画像を用いて３Ｄ表示してもよい。なお、ステップＳ３５において取得された視点番号が無かった場合、即ち全ての組み合わせにおいてステップＳ４３の条件に適合しなかった場合には、２Ｄ表示を行う。２Ｄ表示を行う画像の選択の基準についても、適宜決めればよい。

　このように、各視点画像の付属情報として記録されている最大視差量（遠景）を読み出し、実際に表示を行うディスプレイサイズとの積を算出し、積が人間の両眼間隔よりも小さい画像の組み合わせを選択して表示することで、常に適切な３Ｄ画像を表示することが可能となる。

　［第６の実施形態］
　第５の実施形態で説明したように、各視点画像の付属情報に記録されている最大ディスプレイサイズに基づいて表示画像を選択する場合には、基準視点画像との組み合わせでしか画像の選択ができない。これに対し、各視点画像の付属除法に記録されている最大視差量（遠景）に基づいて表示画像を選択する場合には、全画像の組み合わせについて判断することができるが、処理が煩雑となる。

　そこで、本実施形態では、付属情報に最大ディスプレイサイズと最大視差量（遠景）との両方が記録されている場合に、両方の情報を用いて表示画像の選択を行う。

　図１６は、最大ディスプレイサイズと最大視差量（遠景）に基づいて表示画像を選択する場合を示すフローチャートである。なお、図１４、図１５に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図１６に示すように、まず図１４の場合と同様に、最大ディスプレイサイズに基づいて３Ｄ表示可能な画像を選択する（ステップＳ３３～Ｓ３５）。

　その後、図１５の場合と同様に、最大視差量（遠景）に基づいて、３Ｄ表示可能な画像を選択する（ステップＳ４１～Ｓ４４）。なお、このときは、基準視点画像との組み合わせについては処理を行う必要がない。

　最後に、ステップＳ３５において取得された基準視点画像との組み合わせ、及びステップＳ４４において取得された複数の２枚の組み合わせの中から、表示画像の選択をおこなう（ステップＳ３７）。選択する基準は、これまでと同様に適宜決めればよい。

　以上のように、最大ディスプレイサイズと最大視差量（遠景）とに基づいて表示する画像を選択することで、処理時間を短縮しつつ、全ての組み合わせから選択された適切な画像を用いて３Ｄ表示を行うことができる。

　なお、ここでは、遠景側の最大視差量だけに基づいて表示を行う画像を選択したが、近景側の最大視差量を考慮して決定してもよい。近景側の最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な画像の組み合わせを決定することができるようになる。

　例えば、ステップＳ４４において取得された複数の２枚の組み合わせの中から、近景の視差量が所定値以下である組み合わせを選択するようにしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、５０ｍｍ等の値以下とすることが好ましいからである。

　近景側の最大視差量は、３Ｄ画像ファイルに記録されている場合にはその値を用いることができる。また、図４を用いて説明したように、各視点画像から特徴点を抽出して、近景側の最大視差量位置から算出してもよい。

　［第７の実施形態］
　図１７は、第７の実施形態の画像再生処理を示すフローチャートである。

　ここでは、読み出される３Ｄ画像ファイルは表１に示すファイルと同様であるものとする。なお、ディスプレイの横幅は１３００ｍｍであるとする。

　最初に、これから３Ｄ表示を行うディスプレイサイズを取得する（ステップＳ５１）。例えば、ＨＤＭＩケーブルで接続されたディスプレイから、ディスプレイサイズを取得する。

　次に、３Ｄ画像ファイルを読み込み（ステップＳ５２）、読み込んだ３Ｄ画像ファイルの付属情報から、基準視点番号タグの値を読み込む（ステップＳ５３）。本実施形態では、基準視点番号１が読み込まれる。

　次に、基準視点番号１の画像、即ち視点画像（１）の付属情報から、最大ディスプレイサイズを取得する（ステップＳ５４）。ここに記録されている値は、前述のように、視点画像（１）との組み合わせで最大の視差量となる視点の組み合わせにおける、最大ディスプレイサイズであり、具体的には視点画像（４）との組み合わせにおける最大ディスプレイサイズである。

　この最大ディスプレイサイズと、ステップＳ５１において取得したディスプレイサイズを比較する（ステップＳ５５）。最大ディスプレイサイズの方がディスプレイサイズより大きい場合(Ｙｅｘの場合)には、視点画像（１）と視点画像（４）をそのまま３Ｄ表示しても問題ないので、この２枚の画象を３Ｄディスプレイに３Ｄ表示させ（ステップＳ５６）、終了となる。

　ステップＳ５５における比較結果がＮｏの場合は、ステップＳ５７へ移行する。

　ステップＳ５７では、読み込んだ３Ｄ画像ファイル中の全ての視点の視点番号を取得する。さらに、各視点画像の付属情報から、それぞれの画像の最大視差量の値を取得する（ステップＳ５８）。表１に示すように、視点画像（２）から最大視差量４％、視点画像（３）から最大視差量７％、視点画像（４）から最大視差量１０％が取得される。

　次に、３Ｄ表示を行うディスプレイにおける許容視差量を算出する（ステップＳ５９）。許容視差量は、下記の式１によって算出される。なお、ディスプレイサイズとは、ディスプレイの横幅を指す。また、ここでは人間の両眼間隔を５０ｍｍとしているが、その他の数値を用いてもよい。

　許容視差量［％］＝５０ｍｍ÷ディスプレイサイズ［ｍｍ］×１００…（式１）
　本実施形態では、ディスプレイサイズは１３００ｍｍであるので、許容視差量は約３．８５％となる。

　次に、基準視点の配置を確認する（ステップＳ６０）。基準視点が全視点中の中央近傍でない場合は、中央近傍の視点位置を新たな基準視点に設定し（ステップＳ６１）、新たな基準視点に対する各視点画像の最大視差量を算出する（ステップＳ６２）。

　本実施形態では、視点番号は図５のようになっているため、基準視点である視点番号１は、中央近傍ではない。したがって、ここでは中央近傍の視点として視点番号２を新たな基準視点に設定する。

　この新たな基準視点である視点番号２に対する各視点画像の最大視差量を算出する。表１の３Ｄ画像ファイルの例では、各視点画像の付属情報に記載された最大視差量と視点画像（２）の付属情報に記載された最大視差量の差分の絶対値が、新たな基準視点における最大視差量となる。したがって、各視点画像の最大視差量は、以下の通りとなる。

　視点画像（１）の最大視差量＝｜０％－４％｜＝４％
　視点画像（２）の最大視差量＝｜４％－４％｜＝０％
　視点画像（３）の最大視差量＝｜７％－４％｜＝３％
　視点画像（４）の最大視差量＝｜１０％－４％｜＝６％
　なお、このような処理を行うのは、より中央に近く配置されている視点画像が、３Ｄ表示により好適であるためである。

　ステップＳ６２の処理が終了、又はステップＳ６０において基準視点が全視点中の中央近傍であると判断された場合は、これらの最大視差量のうち、許容視差量以下であって、かつ最大の値を持つ視点を選択する（ステップＳ６３）。本実施形態では、許容視差量が３．８５％以下であるので、この条件を満たす視点は視点番号３となる。

　このように、条件を満たす視点を選択できた場合は（ステップＳ６４）、基準視点画像と当該選択された画像を用いて３Ｄ表示を行う（ステップＳ６５）。選択できない場合には（ステップＳ６４）、２Ｄ表示を行う（ステップＳ６６）。

　例えば、仮に取得したディスプレイサイズが１７００ｍｍであれば、許容視差量は２．９４％となり、許容視差量以下で最大の最大視差量値を持つ視点を選択することができない。この場合は２Ｄ表示を行う。

　このように、許容視差量に基づいて視点画像を選択するようにしたので、適切に立体視に適した視点画像を選択することができる。

　なお、選択できない場合に２Ｄ表示を行うのではなく、視差ずらしや視差圧縮を行って適切な視差量に調整した後に３Ｄ表示を行ってもよい。

　［立体撮像装置の外観］
　次に、上記の実施形態を実現するための装置について説明する。

　図１８は本発明に係る立体撮像装置の外観を示す図であり、図１８Ａは立体撮像装置を前面側から見た斜視図であり、図１８Ｂは背面図である。

　この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１８に示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。

　カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。

　図１８Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右視点画像、左視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右視点画像と左視点画像とを個別に見ることができるものなどが適用できる。

　上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右視点画像と左視点画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮像と３Ｄ撮像とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。

　MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

　尚、図１８Ａ上で、１５はステレオマイクである。

　［立体撮像装置の内部構成］
　図１９は上記立体撮像装置１０の内部構成を示すブロック図である。

　図１９に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic
White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。

　左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図１８)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。

　ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。最大ディスプレイサイズの算出、視差ずらし、仮想視点画像の生成等も、ＣＰＵ３２によって行われる。

　なお、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータや、最大視差量と最大ディスプレイサイズとの対応テーブル等が記憶されている。

　また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。

　撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。

　絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。

　メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。

　ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。

　上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

　ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。

　画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。

　ＣＰＵ３２は、３Ｄ撮像モード時には左視点画像を撮像する撮像部20-1と同様に右視点画像を撮像する撮像部20-2を制御する。

　ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。

　ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。

　ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。

　デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。

　また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。

　圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。

　記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰファイル、３Ｄ動画は、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４－ＭＶＣの動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。

　また、記録制御部３８は、本発明に係るＭＰファイルを記録する際には、Ｅｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）（％）、最大視差量（遠景）（％）、等を付属情報としてメモリカード４０に記録する。

　液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左視点画像と右視点画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。

　以上のように構成された立体撮像装置１０により、上記実施形態を実現することができる。

　［立体画像再生装置］
　なお、第５～第８の実施形態については、撮像部を有しない立体画像再生装置において実現することも可能である。

　図２２は、本発明に係る立体画像再生装置３００と３Ｄディスプレイ３２０の全体構成を示す図である。同図に示すように、立体画像再生装置３００と３Ｄディスプレイ３２０とは、別個に構成された装置であり、通信ケーブル３１０により通信可能に接続されている。

　３Ｄディスプレイ３２０は、パララックスバリア方式やレンチキュラー方式のディスプレイであり、立体画像再生装置３００から３Ｄディスプレイ３２０に入力された左視点画像及び右視点画像を１ライン毎に交互に表示する。

　また、３Ｄディスプレイ３２０は、左視点画像及び右視点画像を時間的に交互に切り換えて表示するものでもよい。この場合は、視認者は特殊なメガネを用いて３Ｄディスプレイ３２０を視認する。

　図２３は、立体画像再生装置３００の内部構成を示すブロック図である。同図に示すように、立体画像再生装置３００は、ＣＰＵ３０１、記録制御部３０５、メモリカード３０６、表示制御部３０７、通信インターフェース３０８などを備えて構成されている。

　ＣＰＵ３０１は、ＲＯＭ３０２に記録された制御プログラムに基づいて立体画像再生装置３００全体の動作を統括制御する。ＲＡＭ３０３は、ＣＰＵ３０１の演算作業用領域として使用される。

　記録制御部３０５、表示制御部３０７は、バス３０４を介してＣＰＵ３０１と接続されている。記録制御部３０５は、メモリカード３０６に対する３Ｄ画像ファイルのデータ読み書きを制御する。メモリカード３０６は、例えば図１９に示した立体撮像装置１０のメモリカード４０と同じものであり、立体撮像装置１０において撮影された各視点画像と付属情報を含む３Ｄ画像ファイルが記録されている。

　通信インターフェース３０８は、通信ケーブル３１０が接続されるコネクタ部であり、表示制御部３０７は、これらを介して３Ｄディスプレイ３２０に立体画像を表示させる。通信インターフェース３０８、通信ケーブル３１０として、ＨＤＭＩ規格のものを採用することが考えられる。ＨＤＭＩ規格によれば、立体画像再生装置３００は、通信ケーブル３１０を介して接続されている３Ｄディスプレイ３２０のディスプレイサイズを取得することができる。

　なお、立体画像再生装置３００に、各視点画像を撮影するための複眼の撮像手段を備えさせ、撮影した視点画像をメモリカード３０６に記録するように構成してもよい。また、立体画像再生装置３００と３Ｄディスプレイ３２０を一体の装置として構成してもよい。

　１０…立体撮像装置、１６…液晶モニタ、20-1,20-2…撮像部、４０…メモリカード、４４…デジタル信号処理部、１００…被写体、１０１－１～１０１－４…撮像装置、２１１Ｎ、２１２Ｎ…最大視差量位置（近景）、２１１Ｆ、２１２Ｆ…最大視差量位置（遠景）、２１３Ｎ…近景側の最大視差量、２１３Ｆ…遠景側の最大視差量、３００…立体画像再生装置、３２０…３Ｄディスプレイ

Claims

　Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得手段と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、
　前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別手段と、
　前記第１の判別手段により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像から１組の２枚の視点画像を選択する選択手段と、
　前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別されると、前記選択手段により選択された２枚の視点画像を前記立体ディスプレイに出力する出力手段と、
　を備えたことを特徴とする立体画像再生装置。
　Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量と、前記遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズとを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得手段と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、
　前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別手段と、
　前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出手段と、
　前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応してそれぞれ記憶された前記遠景側の最大視差量に基づいて算出する算出手段と、
　前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別手段と、
　前記第１の判別手段により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像と、前記第２の判別手段により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択手段と、
　前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別され、かつ前記第２の判別手段により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別手段により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別され、又は前記第２の判別手段により両眼融合可能と判別されると、前記選択手段により選択された２枚の視点画像を前記立体ディスプレイに出力する出力手段と、
　を備えたことを特徴とする立体画像再生装置。
　Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得手段と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、
　前記付属情報として記録された遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記基準視点の視点画像と他の（Ｎ－１）枚の視点画像のうちの１枚の視点画像とを立体ディスプレイに表示する際に両眼融合可能か否かを判別する第１の判別手段と、
　前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出手段と、
　前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応して記憶された前記遠景側の最大視差量に基づいて算出する算出手段と、
　前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別手段と、
　前記第１の判別手段及び第２の判別手段のうちの少なくとも一方により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択手段と、
　前記第１の判別手段及び第２の判別手段により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別手段及び第２の判別手段のうちの少なくとも一方により両眼融合可能と判別されると、前記選択手段により選択された２枚の視点画像を前記立体ディスプレイに出力する出力手段と、
　を備えたことを特徴とする立体画像再生装置。
　前記第２の判別手段は、前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて許容視差量を算出し、前記算出された最大視差量が前記許容視差量以下か否かにより両眼融合可能か否かを判別することを特徴とする請求項２又は３に記載の立体画像再生装置。
　前記選択手段は、前記複数組の２枚の視点画像のうち、予め設定された基準視点に対応する視点画像を含む２枚の視点画像を優先して選択することを特徴とする請求項１から４のいずれかに記載の立体画像再生装置。
　前記選択手段は、前記複数組の２枚の視点画像のうち、前記最大視差量が最も大きい２枚の視点画像を選択することを特徴とする請求項１から５のいずれかに記載の立体画像再生装置。
　前記選択手段は、前記複数組の２枚の視点画像のうち、前記最大視差量が最も小さい２枚の視点画像を選択することを特徴とする請求項１から５のいずれかに記載の立体画像再生装置。
　前記選択手段は、前記複数組の２枚の視点画像のうち、視点の並び順にて最も中央側にある視点画像を含む２枚の視点画像を優先して選択することを特徴とする請求項１から５のいずれかに記載の立体画像再生装置。
　前記複数組の２枚の視点画像の近景側の最大視差量を取得する手段を備え、
　前記選択手段は、前記取得した近景側の最大視差量に基づいて、前記複数組の２枚の視点画像から１組の２枚の視点画像を選択することを特徴とする請求項１から５のいずれかに記載の立体画像再生装置。
　前記選択手段は、前記３次元画像ファイルに記録された前記Ｎ枚の視点画像が、実視点に対応する複数の視点画像と、実視点に対応する複数の視点画像から生成された仮想視点に対応する仮想視点画像とが混在している場合において、前記複数組の２枚の視点画像のうち、前記実視点の視点画像を含む２枚の視点画像を優先して選択することを特徴とする請求項１から９のいずれかに記載の立体画像再生装置。
　複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
　前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
　前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
　前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、
　前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段と、
　請求項１から１０のいずれかに記載の立体画像再生装置と、
　を備えたことを特徴とする立体撮像装置。
　前記出力先の立体ディスプレイと、
　請求項１から１０のいずれかに記載の立体画像再生装置と、
　を備えたことを特徴とする立体ディスプレイ装置。
　Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得工程と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、
　前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別工程と、
　前記第１の判別工程により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像から１組の２枚の視点画像を選択する選択工程と、
　前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別されると、前記選択工程により選択された２枚の視点画像を前記立体ディスプレイに出力する出力工程と、
　を備えたことを特徴とする立体画像再生方法。
　Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量と、前記遠景側の最大視差量に対応する（Ｎ－１）個の最大ディスプレイサイズであって、前記２枚の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズとを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得工程と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、
　前記取得された前記立体ディスプレイのディスプレイサイズと前記（Ｎ－１）個の最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいか否かを判別する第１の判別工程と、
　前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出工程と、
　前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応してそれぞれ記憶された前記遠景側の最大視差量に基づいて算出する算出工程と、
　前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別工程と、
　前記第１の判別工程により前記（Ｎ－１）個の最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された最大ディスプレイサイズに対応する１組又は複数組の２枚の視点画像と、前記第２の判別工程により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択工程と、
　前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズよりも大きいと判別され、かつ前記第２の判別工程により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別工程により前記立体ディスプレイのディスプレイサイズが前記（Ｎ－１）個の最大ディスプレイサイズのうちのいずれか１つの最大ディスプレイサイズ以下と判別され、又は前記第２の判別工程により両眼融合可能と判別されると、前記選択工程により選択された２枚の視点画像を前記立体ディスプレイに出力する出力工程と、
　を備えたことを特徴とする立体画像再生方法。
　Ｎ（Ｎ：３以上の整数）視点の立体視用のＮ枚の視点画像と、該Ｎ枚の視点画像に対応する付属情報であって、前記Ｎ枚の視点画像のうちの予め設定された基準視点の視点画像と他の（Ｎ－１）枚の視点画像とのそれぞれ異なる組み合わせからなる２枚の視点画像間の遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記Ｎ枚の視点画像及び付属情報を取得する第１の取得工程と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、
　前記付属情報として記録された遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記基準視点の視点画像と他の（Ｎ－１）枚の視点画像のうちの１枚の視点画像とを立体ディスプレイに表示する際に両眼融合可能か否かを判別する第１の判別工程と、
　前記Ｎ枚の視点画像のうちの前記基準視点の視点画像以外の（Ｎ－１）枚の複数の視点画像から１組又は複数組の２枚の視点画像を抽出する抽出工程と、
　前記抽出された１組又は複数組の２枚の視点画像間の遠景側の最大視差量を、該２枚の視点画像に対応して記憶された前記遠景側の最大視差量に基づいて算出する算出工程と、
　前記算出された最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記算出された最大視差量に対応する２枚の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する第２の判別工程と、
　前記第１の判別工程及び第２の判別工程のうちの少なくとも一方により両眼融合可能と判別された１組又は複数組の２枚の視点画像とから１組の２枚の視点画像を選択する選択工程と、
　前記第１の判別工程及び第２の判別工程により両眼融合不能と判別されると、前記Ｎ枚の視点画像のうちの１枚の視点画像を前記立体ディスプレイに出力し、前記第１の判別工程及び第２の判別工程のうちの少なくとも一方により両眼融合可能と判別されると、前記選択工程により選択された２枚の視点画像を前記立体ディスプレイに出力する出力工程と、
　を備えたことを特徴とする立体画像再生方法。