JP5449535B2 - 立体撮像装置及びその制御方法 - Google Patents

Description

本発明は立体撮像装置及びその制御方法に係り、特に、複数の視点画像を１つの３次元画像ファイルに記録する技術に関する。

立体撮像装置は、左右に視差をもって並べられた２つの撮像部（撮像手段）を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得して記録媒体に記録している。この取得した左右の画像が記録媒体から読み出され、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左目用の画像と右目用の画像とが左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。

ところが、３Ｄディスプレイには様々な画面のサイズのものがあり、記録された左右の画像の視差量が、当該左右画像を再生表示しようとする３Ｄディスプレイのサイズに対して適切でない場合も存在する。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体画像として認識できないという問題点が発生する。

この問題を解決するために、特許文献１には、左右画像を取得する２つの撮像部の光軸が交差し、ゼロ視差であるクロスポイントと撮像装置との距離であるクロスポイント（ＣＰ）情報を活用し、左右画像の視差量を再生時に調整し、表示される映像の立体感を調整する技術が開示されている。この技術によれば、画面サイズが異なる表示装置で再生しても、常に自然な飛び出し量の立体映像を得ることができる。

特開２００４−１８００６９号公報

しかしながら、特許文献１の技術では、左右画像の視差量を画面サイズに応じて再生時に調整するため、画像再生機器での処理が煩雑であるという欠点があった。

本発明はこのような事情に鑑みてなされたもので、画像再生機器において立体画像を再生する際に、画面サイズに応じて視差量を調整する処理をできるだけ軽減させる立体撮像装置及びその制御方法を提供することを目的とする。

前記目的を達成するために第一発明の立体撮像装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段とを備えたことを特徴とする。なお、ここでいう「遠景側」とは、撮像手段から被写体側に離間する遠位側を言うものであり、反対に「近景側」とは、遠景側とは反対に、被写体から撮像手段側に近づく近位側を言うものである。

上記構成を採用した立体撮像装置によれば、取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出し、算出した各特徴点の視差量のうちの遠景側の最大視差量を取得し、遠景側の最大視差量に基づいて最大ディスプレイサイズを取得し、遠景側の最大視差量及び最大ディスプレイサイズを付属情報として３次元画像ファイルに記録するようにしたので、画像再生機器において当該３次元画像ファイルを読み出した際に、付属情報に記録されている最大ディスプレイサイズと表示しようとしている立体ディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。したがって、立体視可能と判断した場合には、記録されている画像をそのまま表示すればよく、再生機器における画面サイズに応じて視差量を調整する処理を軽減させることができる。

また、第一発明の立体撮像装置において、前記記録手段は、前記付属情報として、想定した距離であって、前記立体画像を観察するのに適した視認者CB-STB6と立体ディスプレイとの距離である想定視距離及び前記複数の視点画像を取得したときの撮影回数を更に記録することが好ましい。

これにより、画像再生機器において視差量を調整する場合であっても、適切に視差量を調整することができる。

更に、第一発明の立体撮像装置において、前記最大視差量取得手段は、前記算出した各特徴点の視差量のうちの近景側の最大視差量を取得し、前記最大ディスプレイサイズ取得手段は、前記取得した近景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得し、前記記録手段は、前記取得した近景側の最大視差量を前記付属情報として前記３次元画像ファイルに記録することが好ましい。

これにより、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができる。

更にまた、第一発明の立体撮像装置において、前記撮像手段により取得されたＮ（Ｎは３以上の整数）枚の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の視点画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することが好ましい。

これにより、画像再生機器において（Ｎ−１）個の最大ディスプレイサイズを参照することができ、表示しようとするディスプレイサイズと比較することで、立体視に適切な画像を簡単に選択することができる。また、視差量を調整する場合であっても、画像毎の最大視差量を読み出すことで、容易に視差量の調整を行うことができる。

加えて、第一発明の立体撮像装置において、前記Ｎ枚の視点画像に基づいて該視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、前記記録手段は、前記表示用画像を前記３次元画像ファイルに記録することが好ましい。

これにより、３次元画像ファイルを読み出した画像再生機器では、仮想視点画像が記録されている場合には視差調整を行うことなく仮想視点画像を用いて表示することができ、表示用画像が記録されている場合には表示用にサイズを調整することなく表示用画像をそのまま表示することができる。

加えてまた、第一発明の立体撮像装置において、前記撮像手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段を更に備えたことが好ましい。

これにより、撮像手段が２枚の視点画像を取得するだけで多視点画像を取得することが可能となり、撮像手段の簡略化、軽量化を計ることができる。

また、第一発明の立体撮像装置において、前記複数の視点画像及び仮想視点画像のＮ枚の画像のうちの１つを代表画像として設定する代表画像設定手段を備え、前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量、及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することが好ましい。

これにより、画像再生機器において（Ｎ−１）個の最大ディスプレイサイズを参照することができ、表示しようとするディスプレイサイズと比較することで、立体視に適切な画像を簡単に選択することができる。また、視差量を調整する場合であっても、画像毎の最大視差量を読み出すことで、容易に視差量の調整を行うことができる。

更に、第一発明の立体撮像装置において、前記複数の視点画像及び仮想視点画像に基づいて該視点画像及び仮想視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、前記記録手段は、前記複数の視点画像と、前記仮想視点画像及び表示用画像のうちの少なくとも一方の画像とを前記３次元画像ファイルに記録することが好ましい。

これにより、３次元画像ファイルを読み出した画像再生機器では、仮想視点画像が記録されている場合には視差調整を行うことなく仮想視点画像を用いて表示することができ、表示用画像が記録されている場合には表示用にサイズを調整することなく表示用画像をそのまま表示することができる。

更にまた、第一発明の立体撮像装置において、前記３次元画像ファイルは、先頭画像に続いて１ないし複数の画像が連続して格納されたマルチピクチャファイルであり、前記記録手段は、前記先頭画像として前記代表画像設定手段により設定された代表画像を記録し、かつ、各画像の直前に該画像に対応する付属情報を記録することが好ましい。

これにより、複数の画像と付属情報とを適切に記録することができる。

加えて、第一発明の立体撮像装置において、前記代表画像設定手段は、前記複数の視点画像のうちから１つの代表画像を設定し、前記記録手段は、前記代表画像の次に前記表示用画像を記録し、該表示用画像の次に他の視点画像又は仮想視点画像を記録することが好ましい。

これにより、画像再生機器における表示画像読み込みが早くなり、立体ディスプレイに画像を表示するまでの所要時間が縮小できる。

加えてまた、第一発明の立体撮像装置において、前記記録手段は、前記表示用画像を視点の並び順に、又は中央の視点に近い順に記録することが好ましい。

これにより、表示用画像を適切に記録することができる。

また、第一発明の立体撮像装置において、前記記録手段は、前記複数の視点画像及び仮想視点画像を前記３次元画像ファイルに記録する際に、各画像が実視点の画像か仮想視点の画像かを示す視点情報を前記３次元画像ファイルの付属情報として記録することが好ましい。

これにより、３次元画像ファイルを読み出した画像再生機器において、実視点の画像と仮想視点の画像とを区別することができる。

更に、第一発明の立体撮像装置において、前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に対応する立体ディスプレイ上での画像ずれ量が、人間の両眼間隔以下のディスプレイサイズのうちの最大のディスプレイサイズを、両眼融合可能な最大ディスプレイサイズとして取得することを特徴とする。

これにより、適切に最大ディスプレイサイズを取得することができる。

更にまた、第一発明の立体撮像装置において、前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に基づいて、予め最大視差量に対応する最大ディスプレイサイズが記録された記憶手段から対応する最大ディスプレイサイズを読み出し、又は人間の両眼間隔を示す所定値を含む計算式を使用して前記最大ディスプレイサイズを算出することを特徴とする。

これにより、適切に最大ディスプレイサイズを取得することができる。

前記目的を達成するために第二発明の立体撮像装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成手段と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段と、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし手段と、前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録手段と、を備えたことを特徴とする。

上記構成を採用したの第二発明によれば、取得した複数の視点画像に基づいて視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成し、取得した複数の視点画像から近景側の最大視差量と遠景側の最大視差量とを取得し、少なくとも遠景側の最大視差量に基づいて、複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出し、算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする複数の大画面表示用画像間の視差ずらしを実施して記録するようにしたので、想定した大画面の立体ディスプレイを有する画像再生機器は、適切な視差量の画像を表示させることができる。

また、第二発明の立体撮像装置において、前記画像ずれ量算出手段は、予め想定された立体ディスプレイの想定ディスプレイ幅が記憶された記憶手段、又は出力先の立体ディスプレイから該立体ディスプレイのディスプレイサイズを読み取る読取手段を有し、前記取得した遠景側の最大視差量と前記記憶手段に記憶された想定ディスプレイ幅、又は前記読取手段により読み取ったディスプレイサイズと、に基づいて前記想定された立体ディスプレイ又は出力先の立体ディスプレイ上での画像ずれ量を算出することが好ましい。

これにより、適切に出力先の立体ディスプレイの幅を取得することができる。

また、前記目的を達成するために第三発明の立体撮像装置の制御方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得工程と、前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録工程とを備えたことを特徴とする。

更に、前記目的を達成するために第四発明の立体撮像装置の制御方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成工程と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出工程と、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし工程と、前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録工程であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録工程とを備えたことを特徴とする。

本発明によれば、画像再生機器において立体画像を再生する際に、画面サイズに応じて視差量を調整する処理をできるだけ軽減させることができ、画面サイズにかかわらず視認者に自然な立体画像として認識させることができる。

２枚の視点画像を撮影する様子を示した図 ３Ｄ画像ファイルのデータ構造を模式的に示した図 撮影、記録処理を示したフローチャート 図４Ａ及び図４Ｂは、２枚の視点画像の一例を示す図 ４枚の視点画像を撮影する様子を示した図 ３Ｄ画像ファイルのデータ構造を模式的に示した図 図７Ａから図７Ｃは、３Ｄ画像ファイルのデータ構造のその他の態様を模式的に示した図 仮想視点について説明するための図 図９Ａ及び図９Ｂは、３Ｄ画像ファイルのデータ構造を模式的に示した図 視差ずらしの原理を説明するための図 図１１Ａ及び図１１Ｂは、左右の視点画像と視差ずらしを示す図 撮影、記録処理を示すフローチャート ３Ｄ画像ファイルのデータ構造を模式的に示した図 図１４Ａ及び図１４Ｂは、立体撮像装置の外観を示す図 立体撮像装置の内部構成を示すブロック図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

［第１の実施形態］
第１の実施形態に係る３Ｄ画像ファイルについて説明する。

図１は、２つの撮像装置１０１−２、１０１−３の夫々の撮像手段によって、被写体１００について異なる視点から２枚の視点画像を撮影する（撮像工程）様子を示した図であり、図２は、図１に示す撮像装置１０１−２、１０１−３の夫々の撮像手段によって撮影された２枚の視点画像２０１−２、２０１−３が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。

図２に示す３Ｄ画像ファイルは、ＭＰフォーマットに準拠したＭＰファイルであり、同一被写体の複数の視点画像が連結されて１つのファイルにまとめられている。連結される各視点画像には、そのデータの先端にＳＯＩ（Start of Image）マーカが記録されるとともに、終端にＥＯＩ（End of Image）マーカが記録される。これにより、各画像の読込開始位置と終了位置を認識することができる。

さらに各視点画像データは、画像領域と付属情報領域とから構成される。付属情報領域には、撮影機器情報や撮影モードの情報等からなるＥｘｉｆ付属情報の他、本実施形態では、画像記録時に取得した最大ディスプレイサイズ（幅、高さ、単位：ｍｍ）、画像記録時に想定した視距離（立体画像を観察する際の視認者とディスプレイとの距離）（単位：ｍｍ）、最大視差量（近景）（％）、最大視差量（遠景）（％）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、が含まれた付属情報が記録されている。

このような３Ｄ画像ファイルを記録するための撮影、記録処理について、図３のフローチャートを用いて説明する。

まず、複数の視点画像を取得する（ステップＳ１１）。ここでは、図１に示すように２つの撮像装置１０１−２、１０１−３によって被写体１００について１枚ずつ撮影を行い、２枚の視点画像２０１−２、２０１−３を取得する。なお、ここでは撮像装置１０１−２を視点番号２、撮像装置１０１−３を視点番号３とする。

次に、視差量算出手段を用いて２枚の視点画像２０１−２、２０１−３から複数の特徴点を抽出し（ステップＳ１２）、特徴点毎の視差量を算出する（ステップＳ１３、視差量算出工程）。ここで、視差量とは、視点画像間で対応する特徴点の、それぞれの視点画像の一端、例えば、左端からの距離の差を指し、単位はピクセルである。このように算出した特徴点毎の視差量から、最大視差量取得手段を用いて近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ１４、最大視差量取得工程）。

図４は２枚の視点画像の一例を示す図であり、図４Ａは左視点画像２０１−２を示し、図４Ｂは右視点画像２０１−３を示している。

図４の例では、近景側の最大視差量は２１３Ｎであり、この視差量を持つ特徴点（最大視差量位置（近景））は、それぞれ２１１Ｎ、２１２Ｎである。また、遠景側の最大視差量は２１３Ｆであり、この視差量を持つ特徴点（最大視差量位置（遠景））は、それぞれ２１１Ｆ、２１２Ｆである。即ち、この２枚の視点画像２０１−２、２０１−３に基づく立体画像を立体視した場合には、最大視差量位置（近景）が最も近くに見え、最大視差量位置（遠景）が最も離れて見えることになる。

これら近景側の最大視差量２１３Ｎ及び遠景側の最大視差量２１３Ｆの、画像幅に対する比率（％）が、最大視差量（近景）（％）、最大視差量（遠景）（％）となる。

このように算出した最大視差量に基づいて、最大ディスプレイサイズ取得手段を用いて最大ディスプレイサイズを取得する（ステップＳ１５、最大ディスプレイサイズ取得工程）。遠景側の視差量が人間の両眼間隔を超えると、画像のその位置は両眼融合不能となり、立体視ができなくなる。したがって、ステップＳ１４で算出した最大視差量（遠景）の画像幅に対する比率（％）から、視差が人間の両眼間隔を超えない最大ディスプレイサイズを取得する。

例えば、人間の両眼間隔を５０ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１０％であれば、立体視するのに許容される最大のディスプレイ幅は５００ｍｍとなる。即ち、幅５００ｍｍ以下のディスプレイであれば、最大視差位置（遠景）の視差量が両眼間隔５０ｍｍを超えることなく表示され、その結果、視認者は立体視画可能となる。ここで、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは２８１．２５ｍｍとなる。

なお、人間の両眼間隔は、対象とする視認者に応じて適宜決めればよい。例えば、成人だけを対象とする場合には、６５ｍｍ等の幅広の値に設定してもよい。

例えば、人間の両眼間隔を６５ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１５％であれば、立体視するのに許容される最大のディスプレイ幅は約４３３ｍｍとなる。また、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは約２４４ｍｍとなる。

また、人間の両眼間隔から算出するのではなく、予め最大視差量に対応する最大ディスプレイサイズが記録されているテーブルを用意しておき、このテーブルを参照することにより最大ディスプレイサイズを取得してもよい。

最後に、記録手段を用いて２枚の視点画像２０１−２、２０１−３と、付属情報とを、図２に示すように１つの３Ｄ画像ファイルとして記録する（ステップＳ１６、記録工程）。

即ち、視点画像２０１−２についてのＳＯＩマーカに続けて、ステップＳ１５において取得した最大ディスプレイサイズ、想定した視距離、ステップＳ１４において取得した最大視差量（近景）（％）、最大視差量（遠景）（％）、ステップＳ１１における撮像装置１０１−２、１０１−３の輻輳角、基線長、視点番号、及び撮影回数を付属情報に含んで記録し、その後視点画像２０１−２の画像情報、ＥＯＩマーカを記録する。

さらに、視点画像２０１−３のＳＯＩマーカ、付属情報、画像情報、ＥＯＩマーカを記録する。視点画像２０１−３の付属情報領域には、Ｅｘｉｆ付属情報のみを記録すればよい。

以上のように、図２に示す３Ｄ画像ファイルを記録することができる。

このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に画像再生機器によって読み出される。この際、画像再生機器において、３Ｄ画像ファイルの付属情報に記録されている最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。したがって、立体視可能と判断した場合には、記録されている画像をそのまま表示すればよく、画像再生機器における画面サイズに応じて視差量を調整する処理を軽減させることができる。

また、画像再生機器において視差量を調整する必要がある場合には、付属情報に記録されている想定視距離や撮影回数の情報を用いることにより、適切に視差量を調整することができる。

なお、本実施形態では、遠景側の最大視差量だけに基づいて最大ディスプレイサイズを決定したが、近景側の最大視差量を考慮して決定してもよい。近景側の最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができるようになる。

例えば、近景の視差量が５０ｍｍ以下となるディスプレイサイズを最大ディスプレイサイズとしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、所定量以下とすることが好ましいからである。

或いは、代表画像設定手段を用いて撮像手段により取得されたＮ（Ｎは３以上の整数）枚の視点画像のうちの１つを代表画像として設定し、最大視差量取得手段を用いて、代表画像と前記Ｎ枚の画像のうちの代表画像以外の（Ｎ−１）枚の視点画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得することもできる。このとき、最大ディスプレイサイズ取得手段を用いて、取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、かつ、記録手段を用いて、取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを付属情報として３次元画像ファイルに記録する。これにより、画像再生機器において（Ｎ−１）個の最大ディスプレイサイズを参照することが可能となり、表示しようとするディスプレイサイズと比較することで、立体視に適切な画像を簡単に選択することができる。また、視差量を調整する場合であっても、画像毎の最大視差量を読み出すことにより、容易に視差量の調整を行うことができる。

［第２の実施形態］
第１の実施形態では、２視点から撮影した２枚の視点画像を例に説明したが、本発明に係る立体画像の視点の数は２点に限られず、多視点の視点画像であってもよい。

図５は、４つの撮像装置１０１−１〜１０１−４によって、被写体１００について異なる視点から４枚の視点画像を撮影する様子を示した図である。ここでは、撮像装置１０１−１〜１０１−４の視点番号を順に１〜４とする。

図６は、この４つの撮像装置１０１−１〜１０１−４によって撮影された４枚の視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、４枚の視点画像の他に、表示用画像生成手段により生成された各視点画像のサイズを縮小した表示用画像が記録されている（表示用画像生成工程）。表示用画像としては、解像度が１９２０×１０８０のフルＨＤサイズの画像が適している。

これらの画像は、図６に示すように、視点番号１の視点画像（以下、視点画像（１）と呼ぶ）、視点番号１の表示用画像（以下、サムネイル画像（１）と呼ぶ）、視点番号２の視点画像（以下、視点画像（２）と呼ぶ）、視点番号２の表示用画像（以下、サムネイル画像（２）と呼ぶ）、視点番号３の視点画像（以下、視点画像（３）と呼ぶ）、視点番号３の表示用画像（以下、サムネイル画像（３）と呼ぶ）、視点番号４の視点画像（以下、視点画像（４）と呼ぶ）、視点番号４の表示用画像（以下、サムネイル画像（４）と呼ぶ）、の順に記録されている。

まず先頭画像として、基準視点である視点番号１で撮影された視点画像（１）が記録されており、その記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。

付属情報領域には、第１の実施形態と同様に、撮影機器情報や撮影モードの情報等のＥｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。

なお、この最大ディスプレイサイズ、最大視差量等は、当該３Ｄ画像ファイル全体を使用した場合の値が記録される。具体的には、基準視点で撮影された視点画像（１）を基準として、最も視差量が大きい視点画像（ここでは視点画像（４））から算出された最大視差量、及びこの最大視差量から取得された最大ディスプレイサイズが記録される。輻輳角、基線長等についても、同様の視点画像（ここでは視点画像（４））を撮影した装置との輻輳角、基線長が記録される。

さらに、画像情報領域には視点画像（１）の画像情報が記録され、続いてＥＯＩマーカが記録される。

視点画像（１）に続いて、視点画像（１）から生成されたサムネイル画像（１）が記録されており、その記録領域は、これまでと同様に、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。付属情報領域には、通常のＥｘｉｆ付属情報が記録される。

サムネイル画像（１）に続いて、視点画像（２）が記録されている。視点画像（２）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。

付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（２）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、２枚の視点画像を撮影した装置の輻輳角、基線長、視点番号、２枚の視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。

視点画像（２）に続いて、視点画像（２）から生成されたサムネイル画像（２）が記録されており、その後には視点画像（３）が記録されている。

視点画像（３）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有しており、付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（３）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ等が同様に記録されている。

以下、視点画像（４）についても同様に記録されている。

このように、多視点の視点画像を記録する場合には、それぞれの視点画像の付属情報として、先頭画像との関係における最大ディスプレイサイズを記録することが好ましい。

このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に画像再生機器によって読み出される。この際、画像再生機器において、３Ｄ画像ファイルの付属情報に記録されている視点画像毎の最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。

なお、多視点画像の記録順は、図６に示した順序に限定されるものではない。

例えば、図７Ａに示すように、視点画像（１）、サムネイル画像（１）〜サムネイル画像（４）、視点画像（２）〜視点画像（４）の順に記録してもよい。表示用のサムネイル画像を先に記録しておくことで、表示を行うときのファイル読み出し時の画像読み込みが早くなり、３Ｄディスプレイに画像を表示するまでの所要時間の縮小が可能になる。また、各視点画像は主にプリントに使用されるものであり、プリントは所定の時間を要することから、ファイルの後半部に記録されていても、弊害が少ない。

さらに、各サムネイル画像の記録順は、３Ｄディスプレイに表示させる際の推奨画像を先に記録するようにしてもよい。例えば、サムネイル画像（２）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｂに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（２）、サムネイル画像（３）を記録し、その後にサムネイル画像（１）、サムネイル画像（４）を記録してもよい。

２枚の画像の視差量が小さい方が、大きなディスプレイであっても立体視可能に表示が可能である。また、中央に近い視点の画像を用いた方が、立体視に適している。したがって、このような場合には、視点番号２と視点番号３における画像が推奨されるとして、サムネイル画像（２）とサムネイル画像（３）を先に記録しておくことが好ましい。

同様に、サムネイル画像（１）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｃに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（１）、サムネイル画像（３）を記録し、その後にサムネイル画像（２）、サムネイル画像（４）を記録してもよい。

立体表示における推奨画像が存在する場合には、先頭画像である視点画像（１）の付属情報に、推奨画像における最大ディスプレイサイズ、想定視距離、最大視差量を記録してもよい。

［第３の実施形態］
第２の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。

例えば、図８に示すように、２つの撮像装置１０１−１、１０１−４によって、被写体１００について異なる視点（視点番号１、視点番号４）から２枚の視点画像を撮影する。さらに、仮想視点画像生成手段を用いて視点番号１と視点番号４とは異なる視点であって、実際には存在しない仮想視点における視点番号２、視点番号３の視点画像２、視点画像３を生成してもよい。仮想視点画像を生成するには、複数の撮影画像の各画素を内分する方法や、複数の撮影画像から生成された視差マップと、１枚の撮影画像を用いて生成する方法等があるが、特に限定されるものではない。

図９Ａは、このように取得した各視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。同図の例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、これらの表示用画像であるサムネイル画像（１）、サムネイル画像（４）、及び、仮想視点画像の表示用画像であるサムネイル画像（２）、サムネイル画像（３）が記録されている。

まず先頭画像として視点画像（１）が記録され、その後にサムネイル画像（２）、サムネイル画像（３）、サムネイル画像（１）、サムネイル画像（４）が記録され、続いて視点画像（４）が記録されている。ここでは、サムネイル画像の順序は、推奨順で記録されているが、例えば、左右のいずれか任意の方向からの視点の並び順に記録してもよいし、中央の視点に近い順に記録してもよい。また、サムネイル画像（２）、サムネイル画像（３）は、サムネイル画像（１）及びサムネイル画像（４）から生成してもよいし、視点画像（１）及び視点画像（４）から生成してもよい。

これまでと同様に、各画像の記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。また、視点画像（１）の付属情報領域には、最大ディスプレイサイズ、想定視距離、最大視差量の他、各視点番号が実際に撮影が行われた視点（実視点）であるか、仮想視点であるかを示す視点情報が記録されている。

また、表示用の画像を有さず、プリント用の視点画像だけが記録されていてもよい。図９Ｂに示す例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、仮想視点画像である視点画像（２）、視点画像（３）が記録されている。

また、記録順としてはプリント又は表示の推奨順となっており、具体的には先頭画像として視点画像（２）が記録されており、その後に続いて視点画像（３）、視点画像（１）、視点画像（４）が記録されている。これまでと同様に、視点順に記録されていてもよい。

このように、仮想視点画像を生成して記録することで、実視点画像として２枚の画像があれば足りることになり、撮像装置の撮像光学系の簡略化、軽量化を計ることが可能となる。

［第４の実施形態］
また、画像ずれ量算出手段を用い、取得した遠景側の最大視差量に基づいて、複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出し（画像ずれ量算出工程）、想定したサイズのディスプレイに表示すると、遠景側の視差量が人間の両眼間隔を超えると判断した場合に、視差ずらし手段を用いて当該サイズのディスプレイに表示しても立体視が可能になるように画像の視差量を調整してから記録するようにしてもよい（視差ずらし工程）。

本実施形態では、視差量の調整として視差ずらしを行う。

図１０は、視差ずらしの原理を説明するための図である。また、図１１Ａは左視点画像、図１１Ｂは右視点画像を示す図である。ここで、座標（０、Ｄ）に視認者の左目、座標（Ｘ_Ｂ、Ｄ）に視認者の右目があるとする。Ｚ＝０上に表示された左右の視点画像において、左視点画像の座標（Ｘ_Ｌ、０）、かつ右視点画像の座標（Ｘ_Ｒ、０）に表示された被写体は、座標（Ｘ_Ｐ、Ｙ_Ｐ）にあるように視認される。

この状態で、図１１Ｂに示すように、右視点画像を左方向にＸ_Ｒ−Ｘ_Ｒ´だけシフトしたとすると、図１０に示すように被写体の右視点画像の座標が（Ｘ_Ｒ´、０）となる結果、被写体は座標（Ｘ_Ｐ´、Ｙ_Ｐ´）にあるように視認される。

このように、視差ずらしを行うことで、視差量の調整を行うことが可能である。したがって、遠景側の視差量が人間の両眼間隔を超える場合に、視差ずらしを行うことで人間の両眼間隔内に収めることができ、適切に立体視することが可能となる。

図１２は、本実施形態に係る３Ｄ画像ファイルを記録するための撮影、記録処理を示すフローチャートである。

まず、複数の視点画像を取得する（ステップＳ２１）。ここでは、２枚の視点画像を撮影するものとする。次に、各２枚の視点画像から複数の特徴点を抽出し（ステップＳ２２）、特徴点毎の視差量を算出する（ステップＳ２３）。このように算出した特徴点毎の視差量から、近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ２４）。

ここで、表示を行う想定ディスプレイについて、その表示幅を取得する。想定ディスプレイの表示幅は、記憶手段を用いて予め決められて記憶されていてもよいし、ＨＤＭＩ端子等の外部接続端子によって３Ｄディスプレイが接続されている場合には、読取手段を用いて当該接続に応じた通信により３Ｄディスプレイのサイズを読み取ってもよい。

この表示幅のディスプレイに当該立体画像を表示した場合に、遠景側の最大視差位置が立体視可能か否かを判定する（ステップＳ２５）。具体的には、表示幅と遠景側の最大視差量（％）との積を算出し、算出した積が人間の両眼間隔５０ｍｍ以上であるか否かを判定する。

算出した積が５０ｍｍ未満の場合は、撮影した２枚の視点画像をそのまま記録する（ステップＳ２７）。例えば、図２に示すデータ構造の３Ｄ画像ファイルとして記録してもよいし、表示用サムネイル画像や仮想視点画像を生成して記録してもよい。

算出した積が５０ｍｍ以上の場合は、遠景側の最大視差位置が立体視可能となるように、当該積が５０ｍｍ未満になるように視差ずらしを行う（ステップＳ２６）。

視差ずらしは、図１１に示すように、右視点画像を左方向にずらすことによって行ってもよいし、左視点画像を右方向にずらすことによって行ってもよい。また、左右視点画像両方をそれぞれ近づける方向にずらしてもよい。

視差ずらし処理が終了したら、記録を行う（ステップＳ２７）。図１３は、ここで記録する３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、撮影された２枚の原画像の他に、各原画像のサイズを縮小した視差ずらし後の表示用画像及びサムネイル画像が記録されている。ここでは、表示用画像はフルＨＤサイズの画像であり、サムネイル画像はＶＧＡサイズの画像である。サムネイル画像は、例えば撮像装置の背面に設けられた小型の液晶ディスプレイに、画像検索のために表示する際等に用いられるものである。

これらの画像は、図１３に示すように、視点番号１の表示用画像、視点番号２の表示用画像、視点番号１のサムネイル画像、視点番号２のサムネイル画像、視点番号１の原画像、視点番号２の原画像、の順に記録されており、それぞれの記録領域は、ＳＯＩマーカ（図では省略）、付属情報領域、画像情報領域、及びＥＯＩマーカ（図では省略）を有している。

まず先頭画像として、基準視点である視点番号１の表示用画像が記録されており、その付属情報領域には、最大視差量が記録されている。

次に記録されているのは、視点番号２の表示用画像であり、この画像は上記の視差ずらしを行った結果の画像である。視点番号２の表示用画像の付属情報領域には、視差ずらし処理済みである情報と、そのシフト量（単位：ピクセル）が記録されている。

続いて視点番号１のサムネイル画像が記録されており、この付属情報領域にも、最大視差量が記録されている。

さらに、視点番号２のサムネイル画像が記録されている。このサムネイル画像は、視差ずらし後の画像であってもよいし、視点番号２の原画像から生成した画像であってもよい。

その後には、視点番号１の原画像及び視点番号２の原画像が記録されている。視点番号１の原画像の付属情報領域にも、最大視差量が記録されている。

このような３Ｄ画像ファイルとすることで、想定したサイズのディスプレイに表示する際に、常に遠景側の最大視差位置が立体視可能となっており、視認者に適切に立体視させることが可能となる。

また、ＶＧＡサイズのサムネイル画像も記録したため、画像検索時の表示にも有効である。

なお、想定したディスプレイサイズを、先頭画像の付属情報領域に記録してもよい。想定ディスプレイサイズを記録しておくことにより、画像再生機器において、読み出した想定ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。

［立体撮像装置の外観］
図１４は本発明に係る立体撮像装置の外観を示す図であり、図１４Ａは立体撮像装置を前面側から見た斜視図であり、図１４Ｂは背面図である。

この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１４に示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。

カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。

図１４Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右視点画像、左視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右視点画像と左視点画像とを個別に見ることができるものなどが適用できる。

上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右視点画像と左視点画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮像と３Ｄ撮像とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。

MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

尚、図１４Ａ上で、１５はステレオマイクである。

［立体撮像装置の内部構成］
図１５は上記立体撮像装置１０の内部構成を示すブロック図である。

図１５に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic
White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。

左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図１４)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。

ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。最大ディスプレイサイズの算出、視差ずらし、仮想視点画像の生成等も、ＣＰＵ３２によって行われる。

なお、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータや、最大視差量と最大ディスプレイサイズとの対応テーブル等が記憶されている。

また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。

撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。

絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。

メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。

ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。

上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。

画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。

ＣＰＵ３２は、３Ｄ撮像モード時には左視点画像を撮像する撮像部20-1と同様に右視点画像を撮像する撮像部20-2を制御する。

ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。

ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。

ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。

デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。

また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。

圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。

記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰファイル、３Ｄ動画は、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４−ＭＶＣの動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。

また、記録制御部３８は、本発明に係るＭＰファイルを記録する際には、Ｅｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）（％）、最大視差量（遠景）（％）、等を付属情報としてメモリカード４０に記録する。

液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左視点画像と右視点画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。

以上のように構成された立体撮像装置１０により、上記実施形態を実現することができる。なお、ここで説明した立体撮像装置１０は、左右２視点の画像を撮影するために２つの撮像部を備えているが、３つ以上の撮像部を備えて３点以上の視点画像を撮影するように構成してもよい。例えば、図５に示すように、４つの撮像装置１０１−１〜１０１−４のように４つの撮像部を備えることによって、４枚の視点画像を撮影するように構成してもよい。

１０…立体撮像装置、14-1,14-2…撮影光学系、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４０…メモリーカード、４４…デジタル信号処理部、１００…被写体、１０１−１〜１０１−４…撮像装置、２１１Ｎ、２１２Ｎ…最大視差量位置（近景）、２１１Ｆ、２１２Ｆ…最大視差量位置（遠景）、２１３Ｎ…近景側の最大視差量、２１３Ｆ…遠景側の最大視差量

Claims (18)

1. 複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
   前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
   前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
   前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、
   前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段と、
   を備えたことを特徴とする立体撮像装置。
2. 前記記録手段は、前記付属情報として、想定した距離であって、前記立体画像を観察するのに適した視認者と立体ディスプレイとの距離である想定視距離及び前記複数の視点画像を取得したときの撮影回数を更に記録することを特徴とする請求項１に記載の立体撮像装置。
3. 前記最大視差量取得手段は、前記算出した各特徴点の視差量のうちの近景側の最大視差量を取得し、
   前記最大ディスプレイサイズ取得手段は、前記取得した近景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得し、
   前記記録手段は、前記取得した近景側の最大視差量を前記付属情報として前記３次元画像ファイルに記録することを特徴とする請求項１又は２に記載の立体撮像装置。
4. 前記撮像手段により取得されたＮ（Ｎは３以上の整数）枚の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、
   前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の視点画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、
   前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、
   前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することを特徴とする請求項１から３のいずれかに記載の立体撮像装置。
5. 前記Ｎ枚の視点画像に基づいて該視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、
   前記記録手段は、前記表示用画像を前記３次元画像ファイルに記録することを特徴とする請求項４に記載の立体撮像装置。
6. 前記撮像手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段を更に備えたことを特徴とする請求項１又は２に記載の立体撮像装置。
7. 前記複数の視点画像及び仮想視点画像のＮ枚の画像のうちの１つを代表画像として設定する代表画像設定手段を備え、
   前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、
   前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、
   前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することを特徴とする請求項６に記載の立体撮像装置。
8. 前記複数の視点画像及び仮想視点画像に基づいて該視点画像及び仮想視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、
   前記記録手段は、前記複数の視点画像と、前記仮想視点画像及び表示用画像のうちの少なくとも一方の画像とを前記３次元画像ファイルに記録することを特徴とする請求項７に記載の立体撮像装置。
9. 前記３次元画像ファイルは、先頭画像に続いて１ないし複数の画像が連続して格納されたマルチピクチャファイルであり、
   前記記録手段は、前記先頭画像として前記代表画像設定手段により設定された代表画像を記録し、かつ、各画像の直前に該画像に対応する付属情報を記録することを特徴とする請求項４、５、７、８のいずれかに記載の立体撮像装置。
10. 前記代表画像設定手段は、前記複数の視点画像のうちから１つの代表画像を設定し、
    前記記録手段は、前記代表画像の次に前記表示用画像を記録し、該表示用画像の次に他の視点画像又は仮想視点画像を記録することを特徴とする請求項８に記載の立体撮像装置。
11. 前記記録手段は、前記表示用画像を視点の並び順に、又は中央の視点に近い順に記録することを特徴とする請求項１０に記載の立体撮像装置。
12. 前記記録手段は、前記複数の視点画像及び仮想視点画像を前記３次元画像ファイルに記録する際に、各画像が実視点の画像か仮想視点の画像かを示す視点情報を前記３次元画像ファイルの付属情報として記録することを特徴とする請求項７又は８に記載の立体撮像装置。
13. 前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に対応する立体ディスプレイ上での画像ずれ量が、人間の両眼間隔以下のディスプレイサイズのうちの最大のディスプレイサイズを、両眼融合可能な最大ディスプレイサイズとして取得することを特徴とする請求項１から１２のいずれかに記載の立体撮像装置。
14. 前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に基づいて、予め最大視差量に対応する最大ディスプレイサイズが記録された記憶手段から対応する最大ディスプレイサイズを読み出し、又は人間の両眼間隔を示す所定値を含む計算式を使用して前記最大ディスプレイサイズを算出することを特徴とする請求項１３に記載の立体撮像装置。
15. 複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
    前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成手段と、
    前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
    前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
    前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段と、
    前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし手段と、
    前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録手段と、
    を備えたことを特徴とする立体撮像装置。
16. 前記画像ずれ量算出手段は、予め想定された立体ディスプレイの想定ディスプレイ幅が記憶された記憶手段、又は出力先の立体ディスプレイから該立体ディスプレイのディスプレイサイズを読み取る読取手段を有し、前記取得した遠景側の最大視差量と前記記憶手段に記憶された想定ディスプレイ幅、又は前記読取手段により読み取ったディスプレイサイズとに基づいて前記想定された立体ディスプレイ又は出力先の立体ディスプレイ上での画像ずれ量を算出することを特徴とする請求項１５に記載の立体撮像装置。
17. 複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、
    前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、
    前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、
    前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得工程と、
    前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録工程と、
    を備えたことを特徴とする立体撮像装置の制御方法。
18. 複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、
    前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成工程と、
    前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、
    前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、
    前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出工程と、
    前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし工程と、
    前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録工程であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録工程と、
    を備えたことを特徴とする立体撮像装置の制御方法。

Images