JP5420075B2 - 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 - Google Patents

Description

本発明は、立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置に関する。

立体画像を表示する際に、右目用画像と左目用画像のずれ量（視差）を調整することにより、再生画像の立体感を変更できることが知られており、視差を調整する種々の技術が提案されている（例えば、特開２００５−７３０１２号公報、特開２００９−１３５６８６号公報等）。

特開２００５−７３０１２号公報に記載の技術は、ユーザ入力部により、表示する立体画像の視差量調整用データを入力してファイルやメモリに記録することにより、立体視画像データを生成する際にこの視差量調整用データを利用して立体視画像データを生成して表示する。

また、特開２００９−１３５６８６号公報に記載の技術は、立体映像を含む映像コンテンツから所定値以上の値を持つ視差角の変化量と、視差角の変化に要する変化時間と、視差角が変化した変化回数とを把握して、変化量、変化時間及び変化回数に基づいて目の疲労度に相当する評価値を算出して、評価値が所定の範囲となるように映像コンテンツをエンコードして記録媒体に記録する。

しかしながら、特開２００５−７３０１２号公報、特開２００９−１３５６８６号公報では、動画像の中で視差がダイナミックに変化することは考慮されていないので、適切な視差を保つためには改善の余地がある。

また、特開２００５−７３０１２号公報、特開２００９−１３５６８６号公報では、視差情報がファイル等に予め記録されていない場合の視差調整については考慮されていないので、視差情報が予め記録されてない動画像情報に基づく再生を行う際には、適切な視差調を行うことができない。

本発明は、上記事実を考慮して成されたもので、撮影時にどのような視差で撮影したとしても最適な視差を保って再生することを目的とする。

請求項１の発明である立体画像再生装置は、立体画像を表示するための右目用画像と左目用画像とからなる動画像情報、該動画像情報の撮影時の撮影最短距離を表す撮影最短距離情報、距離を算出するための撮影情報、及び前記右目用画像と前記左目用画像とに設定されている設定視差を表す視差情報を取得する取得部と、前記動画像情報の各フレームから予め定めた主要被写体を検出し、検出した前記主要被写体に基づいて、各フレームの主要被写体視差を算出し、さらに前記撮影情報と前記設定視差を用いて主要被写体視差と主要被写体距離との関係を算出する算出部と、前記取得部によって前記撮影最短距離情報が取得された場合に、前記算出部によって算出された前記主要被写体視差と主要被写体距離との関係によって、前記主要被写体の最大視差が、前記撮影最短距離の撮影時にも予め定めた許容範囲になるように、前記取得部によって取得された前記設定視差を調整する調整部と、を備えている。

請求項２の発明である立体画像再生装置は、請求項１に記載の立体画像再生装置であって、前記算出部による前記主要被写体視差及び主要被写体視差と主要被写体距離との関係の算出は、少なくとも前記主要被写体が含まれる最初のフレームについて行う。

請求項３の発明である立体画像再生装置は、請求項１又は請求項２に記載の立体画像再生装置であって、前記取得部によって前記撮影最短距離情報が取得されない場合には、前記調整部が、前記動画像を撮影する撮影装置の直前まで被写体が近づいたとしても前記最大視差が前記許容範囲になるように、前記設定視差を調整する。

請求項４の発明である立体画像再生装置は、請求項１〜３の何れか１項に記載の立体画像再生装置であって、前記調整部は、前記各フレームの右目用画像と左目用画像の水平方向表示位置をシフトして、前記最大視差が前記許容範囲内になるように調整する。

請求項５の発明である立体画像再生装置の視差調整方法は、立体画像を表示するための右目用画像と左目用画像とからなる動画像情報、該動画像情報の撮影時の撮影最短距離を表す撮影最短距離情報、距離を算出するための撮影情報、及び前記右目用画像と前記左目用画像とに設定されている設定視差を表す視差情報を取得し、前記動画像情報の各フレームから予め定めた主要被写体を検出して検出した前記主要被写体に基づいて、各フレームの主要被写体視差を算出し、さらに前記撮影情報と前記設定視差を用いて主要被写体視差と主要被写体距離との関係を算出し、前記撮影最短距離情報が取得された場合に、算出した前記主要被写体視差と主要被写体距離との関係によって、前記主要被写体の最大視差が、取得した前記撮影最短距離の撮影時にも予め定めた許容範囲になるように、取得した前記設定視差を調整する。

請求項６の発明である立体画像再生装置の視差調整方法は、請求項５に記載の立体画像再生装置の視差調整方法であって、前記主要被写体及び主要被写体距離との関係の算出は、少なくとも前記主要被写体が含まれる最初のフレームについて行う。

請求項７の発明である立体画像再生装置の視差調整方法は、請求項５又は請求項６に記載の立体画像再生装置の視差調整方法であって、前記撮影最短距離情報が取得されない場合には、前記動画像を撮影する撮影装置の直前まで被写体が近づいたとしても前記最大視差が前記許容範囲になるように、前記設定視差を調整する。

請求項８の発明である立体画像再生装置の視差調整方法は、請求項５〜７の何れか１項に記載の立体画像再生装置の視差調整方法であって、前記視差の調整は、各フレームの右目用画像と左目用画像の水平方向表示位置をシフトして、前記最大視差が前記許容範囲内になるように調整する。

請求項９の発明である視差調整プログラムは、コンピュータを、請求項１〜４の何れか１項に記載の立体画像再生装置を構成する各部として機能させる。

請求項１０の発明である撮影装置は、請求項１〜４の何れか１項に記載の立体画像再生装置を備えている。

本発明によれば、主要被写体から視差を算出して、算出した視差が、撮影最短距離の撮影時にも予め定めた許容範囲になるように調整することにより、撮影時にどのような視差で撮影したとしても最適な視差を保って再生することができる、という効果がある。

本発明の第１実施形態に係わる立体画像再生装置の概略を示す図である。 本発明の第１実施形態に係わる立体画像再生装置の表示装置側の概略構成を示すブロック図である。 本発明の第１実施形態に係わる立体画像再生装置の液晶シャッタ眼鏡側の概略構成を示すブロック図である。 本発明の第１実施形態に係わる立体画像再生装置で適用する画像ファイルのフォーマット例を示す図である。 顔検出の一例を示す図である。 動画のフレーム毎の視差を計算した結果の一例を示す図である。 １主要被写体の視差を動画のフレーム毎に示した一例を示す図である。 視差のダイナミックレンジを縮小した一例を示す図である。 視差をシフトさせて最大視差が予め定めた許容範囲内に収まるようにした一例を示す図である。 本発明の第１実施形態に係わる立体画像再生装置で行われる処理の流れの一例を示すフローチャートである。 本発明の第２実施形態に係わる立体画像再生装置で行われる処理の流れの一例を示すフローチャートである。 本発明の第３実施形態に係わる複眼カメラの正面側斜視図である。 本発明の第３実施形態に係わる複眼カメラの背面側斜視図である。 本発明の第３実施形態に係わる複眼カメラの内部構成を示す概略ブロック図である。 モニタの構成を示す分解斜視図である。 レンチキュラーシートの構成を示す図である。 第１及び第２の画像Ｇ１、Ｇ２に対する３次元処理を説明するための図である。 主要被写体視差と主要被写体距離との関係の算出方法を説明するための図である。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係わる立体画像再生装置１０の概略を示す図である。

本発明の第１実施形態に係わる立体画像再生装置１０は、立体画像を表示するための表示装置１１に表示される３次元立体映像を液晶シャッタ眼鏡１２を使用することにより、３次元立体映像を鑑賞することができる。

本実施形態では、立体画像再生装置１０が、右目用画像と左目用画像とを交互に表示装置１１に表示すると共に、右目用画像が表示されたときに液晶シャッタ眼鏡１２の右目の液晶シャッタが透過状態、左目用画像が表示されたときに液晶シャッタ眼鏡１２の左目の液晶シャッタが透過状態となるように交互に液晶シャッタを駆動する方式で立体画像を再生する場合について説明する。なお、本実施の形態では、液晶シャッタ眼鏡１２を使用して３次元立体映像を再生する立体画像再生装置を一例として説明するが、これに限るものではない。例えば、偏光フィルタ眼鏡を用いて立体映像を再生するものを適用するようにしてもよいし、眼鏡を用いない方式で立体映像を再生する方式の立体画像再生装置を適用するようにしてもよい。例えば、特開２０１０−２２０６７号公報、特開２０１０−３４７０４号公報、特開２０１０−７８９８５号公報等に記載されている技術を適用して３次元立体映像を再生する方式を適用することができる。

表示装置１１には、電源ボタン１３、再生開始ボタン１４、及び再生停止ボタン１５等のボタンが設けられている。電源ボタン１３を操作することにより電源がオンオフされ、再生開始ボタン１４が操作されることにより、３次元立体映像の再生が開始され、再生停止ボタン１５が操作されることにより、３次元立体映像の再生が停止される。

図２は、本発明の第１実施形態に係わる立体画像再生装置１０の表示装置１１側の概略構成を示すブロック図である。

表示装置１１は、同期通信部１６、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、３次元処理部３０、視差調整部１７、表示制御部２８、及びＣＰＵ３５を備える。

同期通信部１６は、液晶シャッタ眼鏡１２の左右の液晶シャッタの駆動と、表示装置１１に表示する左右それぞれの画像とを同期させるための信号を通信する。

画像処理部２３は、表示すべき画像を表す画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、色補正等の各種画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された画像データに対して、例えば、ＪＰＥＧやＭＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを作成したり、再生する際に圧縮された画像データを伸長する処理を行う。

フレームメモリ２５は、画像データに対して、画像処理部２３が行う処理を行う各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９に対してアクセスして画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、表示装置１１における各種設定を表す情報、及びＣＰＵ３５が実行するプログラム等を記憶する。

３次元処理部３０は、記録メディア２９等に記憶された画像データを読み出して、同期通信部１６による液晶シャッタ眼鏡１２と通信によって得られる同期信号に同期して、立体視画像を表示させるための右目用画像と、左目用画像とを交互に表示するように、表示制御部２８を制御する。また、３次元処理部３０は、画像データにフレーム毎の視差情報が記録されていない場合に、主要被写体を検出して、フレーム毎の視差を算出する処理を行う。

視差調整部１７は、画像データのフレーム番号に対応して予め記録されている視差情報や、視差情報を算出するための情報等を利用して再生時の視差調整を行う。

表示制御部２８は、立体視する場合には、３次元処理部３０の制御によって右目用画像と、左目用画像とを交互に表示モニタ７に表示させる。

図３は、本発明の第１実施形態に係わる立体画像再生装置１０の液晶シャッタ眼鏡１２側の概略構成を示すブロック図である。

液晶シャッタ眼鏡１２は、同期通信部１８、液晶シャッタ駆動部１９、右目用液晶シャッタ２０Ａ、及び左目用液晶シャッタ２０Ｂを備える。

同期通信部１８は、左右の液晶シャッタの駆動と、表示装置１１に表示される左右それぞれの画像とを同期させるための信号を通信する。

液晶シャッタ駆動部１９は、同期通信部１８による表示装置１１と通信するによって得られる同期信号に同期して、右目用液晶シャッタ２０Ａと、左目用液晶シャッタ２０Ｂの駆動を制御する。これによって、右目用画像が表示装置１１の表示モニタ７に表示されているときに、右目用液晶シャッタ２０Ａが透過状態、左目用液晶シャッタ２０Ｂが遮蔽状態となり、左目用画像が表示装置２０Ｂの表示モニタ７に表示されているときに、左目用液晶シャッタ２０Ｂが透過状態、右目用液晶シャッタ２０Ａが遮蔽状態となり、立体画像が再生される。

図４は、本発明の第１実施形態に係わる立体画像再生装置１０で適用する画像ファイルのフォーマット例を示す図である。

画像ファイルは、図４に示すように、ヘッダ領域を有している。ヘッダ領域は、ストリーム情報及び撮影情報からなる。

ストリーム情報は、ストリーム定義及びストリーム属性からなり、ストリーム定義としては、ストリーム１及びストリーム２の定義が記録される。例えば、ストリーム１は３Ｄの左画像、再生時間、データ長／チャンク、先頭アドレス等が記録され、ストリーム２は３Ｄの右画像、再生時間、データ長／チャンク、先頭アドレス等が記録される。

また、ストリーム属性としては、ストリームＩＤ＝１、２、画像解像度、圧縮方式＝ＭＰＥＧ２、表示画像＝３Ｄ、フレーム数／チャンク＝２等の情報が記録される。

撮影情報としては、視点数＝２、輻輳角＝１．５°、基線長＝２５ｍｍ、最小Ｆ値＝２．８、最大Ｆ値＝１６、最短撮影距離＝８００ｍｍ等の情報が記録される。

一方、画像データ領域は、チャンクからなり、各チャンクには、図４に示すように、ストリーム１、２の各フレーム画像がそれぞれ記録される。ストリーム１、２はそれぞれストリームＩＤ、チャンク内データ長、撮影Ｆ値＝４．０、撮影距離＝３ｍ、画像データ等の情報が記録される。

ところで、２つの撮影素子を備えた３Ｄカメラ等で動画撮影する際には、画像の１フレーム毎に、２あるいはそれ以上の画像の特徴点を分析して特徴点のずれから視差を計算する必要があるので、画面全体の視差情報を記録するのは難しい。また、画面全ての視差計算をしなければ最大視差が判断できない。

しかしながら顔検出機能が備わっている場合には、図５に示すように顔を検出することにより、顔の視差を計算することは難しいことではない。例えば、図５のように検出した顔から動画のフレーム毎に視差を計算した結果は、図６に示すようになり、図６では、２つの顔を検出しているため、それぞれの視差が計算できる。

ここで、顔の検出方法には様々な方法があり、立体画像再生装置１０は、顔の領域をどのような方法でも検出することができる。このため、立体画像再生装置１０は顔の領域同士の左画像と右画像との対応点を検出し比較することで顔の視差を検出できる。また、立体画像再生装置１０は、顔の特徴点（例えば、目や鼻など）を検出して顔検出を行う場合には、その特徴点同士のずれから視差を計算することができる。

その結果、立体画像再生装置１０は、ひとつのシーンで顔の視差を動画のフレーム毎に検出でき、撮影時にシーン毎にこの視差情報を記録しておく。立体画像再生装置１０は、画像ファイルを書き込む際（あるいは一度書き込んだ後）にヘッダ領域に動画フレーム番号に対応した顔の視差（複数ある時は複数）を書き込むことで、再生時に視差調整部１７によってこの情報を利用して再生視差調整を行うことができる。

一方、表示視差には健康上被害を避ける目的から制限がある。一般的に、マイナス側（画面より奥側）の視差の最大が表示画面上で瞳孔間距離（子供の安全性を考えれば50mm程度）を超えない、また急な視差角変化（１度以上など）をしない、プラス側の視差（飛び出し量）も適切に抑える等が言われている。また、立体視の融合範囲は人により、また条件により異なるので、過度な視差は視聴上好ましくない。

従って、撮影時の視差を表示上適切な範囲に収めることが理想であるが、実際には再生時の環境や再生対象者も特定されていないことがほとんどであるため、表示上適正な視差範囲に収めることは困難である。

そこで、本実施形態では、立体画像再生装置１０が、再生時に視差調整部１７が視差調整を行うことにより、視差を適正な範囲に収める。

上述したように、立体画像再生装置１０は、撮影画面中の最大視差を逐次記録するのは難しいが、主要被写体とされることが多い顔（或いは電車や車、ペットなどの特定の被写体を主要被写体とする場合もある。）の視差情報を利用して再生時に視差調整部１７が視差調整を行う。これにより、比較的快適な環境で立体動画を鑑賞することができる。

次に、視差調整部１７による視差の調整について詳細に説明する。

図７Ａは、動画に記録された、１主要被写体の視差を、動画のフレーム毎に示したものである。

撮影動画内で、視差が大→小→大のように変化しているが、動画内の最大視差時の飛び出し量が適切な範囲となるように視差調整部１７が調整すればよい。視差調整部１７による視差の調整方法としては、図７Ｂに示すように、視差のダイナミックレンジを縮小する方法や、図７Ｃに示すように、右目用画像と左目用画像の水平方向表示位置をシフトして最大視差が予め定めた許容範囲内に収まるようにする方法等を適用することができる。

ここで、図７Ａに示すような主要被写体の視差の情報が動画のヘッダ等に記録されていれば、立体画像再生装置１０は、それを読み出すことによって視差調整部１７による視差調整を行うことができる。また、主要被写体は撮影時に捕捉されているので、視差情報、画面上の位置情報を逐次記録できるほか、フレーム毎の差を取ることで視差変化の情報が得られる。また、最小及び最大の視差を逐次記録していくことで動画全体の最大視差及び最小視差等の情報並びにそのときの画面位置情報が得られる。

全てのデータが記録されていなくても、例えば最大視差と最小視差等が記録されていれば、視差全体の制御は可能である。しかし、フレーム毎の視差変化が大きいと、立体視の疲労が大きくなる性質があるため、図７Ａのようにフレーム毎の視差情報が記録されている方が望ましい。

このようなフレーム毎の視差情報が動画内に記録されていない場合には、最悪の場合は視差の融合範囲以上の視差で画像が再生され、健康被害を生じることがあり得る。

そこで、本実施形態では、これを防止するために、フレーム毎の視差情報が記録されていない場合には、３次元処理部３０が、再生時に再生画像から主要被写体を検出して、被写体毎の視差情報をフレーム毎に計算する。例えば、３次元処理部３０は、画像データのストリーム１、２における同一人物の顔領域を検出し、これらの顔領域の座標を取得し、ストリーム１、２の顔座標の差分を求めることにより視差量をフレーム毎に算出することができる。

ここで、問題となるのが、逐次計算するため、最大視差が判別できないことがあることである。最大視差が判別できないとシフトなどの補正ができないため、最大視差を少なくとも推測によって求める必要がある。

一般に、カメラには固有の撮影最短距離があり、撮影最短距離より近い距離では被写体に焦点が合わない。従って、撮影最短距離までは被写体が近づくことを前提として、再生時の視差調整を行えば視差の融合範囲を超えて再生されることがなくなる。このため、本実施形態では、立体画像再生装置１０は、撮影最短距離の撮影時にも予め定めた許容範囲となるように視差を調整するようにしている。

また、立体画像再生装置１０が、撮影最短距離の撮影時にも予め定めた許容範囲となるように視差を調整する際には、主要被写体視差と主要被写体距離との関係を算出する必要がある。そこで、立体画像再生装置１０が、撮影情報（輻輳角や基線長）と予め設定された設定視差から上記関係を算出する。

ここで、主要被写体視差と主要被写体距離との関係の算出方法について説明する。図１６は、主要被写体視差と主要被写体距離との関係の算出方法を説明するための図である。

通常、複眼の撮影装置は、撮影時のクロスポイント（左右の視点中心が交差する空間上の点）を撮影装置から一定の位置に設定して撮影する。平行視法での撮影ではクロスポイントは無限遠となり、図１６の例ではクロスポイントは人物３１の位置になる。この場合、人物３１の位置は視差ゼロであるのでこのまま動画像全体として調整視差もゼロであれば、再生時には画面位置に対して、人物３１はその位置に、木３２は奥に、イス３３は手前の位置にあるように再生される。

この場合、輻輳角（図１６の両撮影装置の視点中心線が成す角）を0.6°とし、基線長としの輻輳距離（視点間距離）を50mmとすると、クロスポイントまでの距離は撮像装置から25/tan0.3°=約4770mm≒4.8mとなる。この位置に主要被写体が位置しており、左右の画像から主要被写体である人物を検出してそれぞれの人物に対する対応点を比較した場合に、ほぼゼロとなる場合は人物が4.8mの地点に位置することとなりしかも視差ゼロである。

ここで、複眼のそれぞれの撮影装置３４Ａ、３４Ｂが30°の画角範囲の撮影を行っているとすると、画角に対し4.8m時点での画像情報（例えば画素数が14Mの撮影装置であれば横方向の画素数4288）が決まる。ここで、30°に対し画素数4288画素が対応するとして計算すると、１画素あたりの画角変化は約0.007°になる。

ここで人物３４つまり主要被写体が手前に歩いてきて、撮影開始時に設定したクロスポイントの位置から手前に移動してきたとする。立体画像再生装置１０が、左右の画像から主要被写体である人物３１を検出してそれぞれの人物に対する対応点を比較した場合に、そこで20画素内側（クロスポイント側）にずれているとすると、それぞれの画像でのずれを均等に割り振ったとして各画像では10画素主要被写体が移動したことになるので、約0.07°内側を各撮像装置が向いたことと等価になる。この場合、主要被写体は25/tan(0.3+0.07)°=約3870mm≒3.9mまで近づいたことになる。つまり立体画像再生装置１０は、視差（この場合は横方向の画素数）と被写体距離の関係を求めることが出来る。以上の関係は必ずしも厳密なものではないが、視差調整のためには十分である。

続いて、上述のように構成された本発明の第１実施形態に係わる立体画像再生装置１０で行われる処理の流れについて説明する。図８は、本発明の第１実施形態に係わる立体画像再生装置１０で行われる処理の流れの一例を示すフローチャートである。

まず、ステップ１００では、動画の視差に関する情報が取得されてステップ１０２へ移行する。すなわち、メディア制御部２６の制御によって記録メディア２９からフレームメモリ２５に画像データを読み出して、画像データのヘッダ領域を読み取ることによって視差に関する情報を取得する。

ステップ１０２では、動画全体の視差情報があるか否かがＣＰＵ３５によって判定される。該判定は、ステップ１００で取得した視差に関する情報（ヘッダ領域）から動画全体の視差情報があるか否かが判定され、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１０６へ移行する。

ステップ１０４では、動画像全体の最大視差が許容範囲となるような視差調整が視差調整部１７によって行われてステップ１２２へ移行する。すなわち、立体画像再生装置１０は、動画全体の視差情報の中から最大視差を検出して、最大視差が予め定めた許容範囲内に収まるように、視差をシフトしたり、ダイナミックレンジを縮小したりすることにより、視差を調整する。

ステップ１０６では、主要被写体の視差情報があるか否かがＣＰＵ３５によって判定される。該判定では、ステップ１００で取得した視差に関する情報（ヘッダ領域）から主要被写体（例えば、人物の顔等）の視差情報があるか否かが判定され、該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１１０へ移行する。

ステップ１０８では、主要被写体の最大視差が許容範囲となるような視差調整が視差調整部１７によって行われてステップ１２２へ移行する。すなわち、立体画像再生装置１０は、主要被写体の視差情報の中から最大視差を検出して、最大視差が予め定めた許容範囲内に収まるように、視差をシフトしたり、ダイナミックレンジを縮小したりすることにより、視差を調整する。

ステップ１１０では、撮影条件に関する情報があるか否かがＣＰＵ３５によって判定される。該判定では、ステップ１００で取得した視差に関する情報（ヘッダ領域）から撮影条件に関する情報があるか否かが判定され、該判定が肯定された場合にはステップ１１２へ移行し、否定された場合にはステップ１２２へ移行する。

ステップ１１２では、撮影条件より撮影最短距離が検出されてステップ１１４へ移行する。すなわち、立体画像再生装置１０は、ヘッダ領域の撮影情報内に記録された撮影最短距離を検出する。

ステップ１１４では、視差画像を構成する各画像から主要被写体の位置が検出されてステップ１１６へ移行する。すなわち、３次元処理部３０が、再生するための画像から主要被写体（例えば、人物の顔領域）を検出する。なお、顔の検出方法については周知の技術を用いて検出することができる。

ステップ１１６では、主要被写体の位置情報から視差が３次元処理部３０によって検出されてステップ１１８へ移行する。立体画像再生装置１０は、例えば、画像データのストリーム１、２における同一人物の顔領域の座標の差分を求めることにより視差を計算する。

ステップ１１８では、算出した主要被写体視差と主要被写体距離との関係が算出されてステップ１２０へ移行する。すなわち、立体画像再生装置１０は、撮影情報（画像データのヘッダ領域の撮影情報である輻輳角度や基線長）と動画全体として予め設定された設定視差を用いて上述したように、主要被写体視差と主要被写体距離との関係を算出する。なお、主要被写体視差と主要被写体距離との関係の算出は主要被写体が含まれる最初のフレームについて行い、以降のフレームについては省略してもよい。すなわち、立体画像再生装置１０は、少なくとも主要被写体が含まれる最初のフレームについて主要被写体視差と主要被写体距離との関係を算出する。

ステップ１２０では、撮影情報と設定視差を用いて主要被写体視差と主要被写体距離との関係によって、最大視差が撮影最短距離の撮影時にも許容範囲になるように視差調整部１７によって視差が調整されてステップ１２４へ移行する。これによって最大視差を推測して視差の融合範囲を超えて再生されることが防止される。

一方、ステップ１２２では、ほぼ視差がつかないような視差調整が視差調整部１７によって行われてステップ１２４へ移行する。すなわち、視差に関する情報を得ることができないので、右目用画像と左目用画像とのずれがほとんどないように視差が調整される。

そして、ステップ１２４では、視差調整部１７によって調整された視差で再生が行われて一連の処理を終了する。

このように本実施形態では、動画像全体の視差情報や主要被写体の視差情報がある場合には、立体画像再生装置１０は、これらの視差情報を用いて最大視差が許容範囲となるように調整し、これらの視差情報がない場合には、主要被写体を検出してその位置から視差を算出する。立体画像再生装置１０は、さらに撮影最短距離の撮影時にも許容範囲内となるように、算出した視差を調整するようにしている。これによって撮影時にどのような視差で撮影したとしても、立体画像再生装置１０は、最適な視差を保って再生することができる。

また、立体画像再生装置１０は、予め定めた許容範囲内に視差を調整するようにしているので、視差の融合範囲以上の視差で画像が再生されることを防止することができる。

（第２実施形態）
続いて、本発明の第２実施形態に係わる立体画像再生装置について説明する。なお、基本的な構成は第１実施形態と同一であるため構成の説明は省略する。

本実施形態では、動画像全体の視差情報、主要被写体の視差情報、及び撮影条件に関する情報がない場合の処理が異なる。

すなわち、第１実施形態では、動画像全体の視差情報、主要被写体の視差情報、及び撮影条件に関する情報がない場合には、ほぼ視差がつかないように視差調整するようにした。しかし、本実施形態では、動画の設定視差（基線長と輻輳角）より求めた仮想装置において、レンズ前０ｃｍまで近づいたとしても、設定された最大再生視差を超えないように視差調整部１７が視差を調整するようにした。

図９は、本発明の第２実施形態に係わる立体画像再生装置で行われる処理の流れの一例を示すフローチャートである。なお、第１実施形態と同一処理については同一符号を付して説明する。

まず、ステップ１００では、動画の視差に関する情報が取得されてステップ１０２へ移行する。すなわち、メディア制御部２６の制御によって記録メディア２９からフレームメモリ２５に画像データを読み出して、画像データのヘッダ領域を読み取ることによって視差に関する情報を取得する。

ステップ１０２では、動画全体の視差情報があるか否かがＣＰＵ３５によって判定される。該判定では、ステップ１００で取得した視差に関する情報（ヘッダ領域）から動画全体の視差情報があるか否かが判定され、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１０６へ移行する。

ステップ１０４では、動画像全体の最大視差が許容範囲となるような視差調整が視差調整部１７によって行われてステップ１２２へ移行する。すなわち、立体画像再生装置１０は、動画全体の視差情報の中から最大視差を検出して、最大視差が予め定めた許容範囲内に収まるように、視差をシフトしたり、ダイナミックレンジを縮小したりすることにより、視差を調整する。

ステップ１０６では、主要被写体の視差情報があるか否かがＣＰＵ３５によって判定される。該判定では、ステップ１００で取得した視差に関する情報（ヘッダ領域）から主要被写体（例えば、人物の顔等）の視差情報があるか否かが判定され、該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１１０へ移行する。

ステップ１０８では、主要被写体の最大視差が許容範囲となるような視差調整が視差調整部１７によって行われてステップ１２２へ移行する。すなわち、立体画像再生装置１０は、主要被写体の視差情報の中から最大視差を検出して、最大視差が予め定めた許容範囲内に収まるように、視差をシフトしたり、ダイナミックレンジを縮小したりすることにより、視差を調整する。

ステップ１１０では、撮影条件に関する情報があるか否かがＣＰＵ３５によって判定される。該判定では、ステップ１００で取得した視差に関する情報（ヘッダ領域）から撮影条件に関する情報があるか否かが判定され、該判定が肯定された場合にはステップ１１２へ移行し、否定された場合にはステップ１１３へ移行する。

ステップ１１２では、撮影条件より撮影最短距離が検出されてステップ１１４へ移行する。すなわち、立体画像再生装置１０は、ヘッダ領域の撮影情報内に記録された撮影最短距離を検出する。

ステップ１１４では、視差画像を構成する各画像から主要被写体の位置が検出されてステップ１１６へ移行する。すなわち、３次元処理部３０が、再生するための画像から主要被写体（例えば、人物の顔領域）を検出する。なお、顔の検出方法については周知の技術を用いて検出することができる。

ステップ１１６では、主要被写体の位置情報から視差が３次元処理部３０によって検出されてステップ１１８へ移行する。例えば、画像データのストリーム１、２における同一人物の顔領域の座標の差分を求めることにより視差を計算する。

ステップ１１８では、算出した主要被写体視差と主要被写体距離との関係が算出されてステップ１２０へ移行する。すなわち、立体画像再生装置１０は、撮影情報（画像データのヘッダ領域の撮影情報である輻輳角度や基線長）と動画全体として予め設定された設定視差を用いて上述したように、主要被写体視差と主要被写体距離との関係を算出する。なお、主要被写体視差と主要被写体距離との関係の算出は主要被写体が含まれる最初のフレームについて行い、以降のフレームについては省略してもよい。すなわち、少なくとも主要被写体が含まれる最初のフレームについて主要被写体視差と主要被写体距離との関係を算出する。

ステップ１２０では、撮影情報と設定視差を用いて主要被写体視差と主要被写体距離との関係によって、最大視差が撮影最短距離の撮影時にも許容範囲になるように視差調整部１７によって視差が調整されてステップ１２２へ移行する。これによって最大視差を推測して視差の融合範囲を超えて再生されることが防止される。

一方、ステップ１１３では、視差画像を構成する各画像から主要被写体の位置が検出されてステップ１１５へ移行する。すなわち、３次元処理部３０が、再生するための画像から主要被写体（例えば、人物の顔領域）を検出する。なお、顔の検出方法については周知の技術を用いることができる。

ステップ１１５では、主要被写体の位置情報から視差が３次元処理部３０によって検出されてステップ１１７へ移行する。例えば、立体画像再生装置１０は、画像データのストリーム１、２における同一人物の顔領域の座標の差分を求めることにより視差を計算する。

ステップ１１７では、最大視差がレンズ前０ｃｍ撮影時でも許容範囲となるように視差調整部１７によって視差が調整されてステップ１２４へ移行する。

そして、ステップ１２４では、視差調整部１７によって調整された視差で再生が行われて一連の処理を終了する。

このように本実施形態では、立体画像再生装置１０は、第１実施形態に対して、撮影条件情報がない場合でも、最大視差を予測（レンズ直前となる視差）して、許容範囲内に調整するようにしているので、視差制御の破綻をきたすことなく動画像の再生を行うことができる。

（第３実施形態）
続いて、本発明の第３実施形態に係わる立体画像再生装置について説明する。

第１、２実施形態では、立体画像を再生するための専用の装置として説明したが、本実施形態では、複眼カメラに本発明を適用したものである。

図１０は、本発明の第３実施形態に係わる複眼カメラ１の正面側斜視図を示し、図１１は背面側斜視図を示す。

複眼カメラ１の上部には、レリーズボタン２、電源ボタン３及びズームレバー４が備えられている。複眼カメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼カメラ１の背面には、各種表示を行う液晶モニタ（以下単に「モニタ」いう。）７及び各種操作ボタン８が配設されている。

図１２は、複眼カメラ１の内部構成を示す概略ブロック図である。なお、第１実施形態に対応する構成については同一符号を付して説明する。

複眼カメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、及びＣＰＵ３５を備える。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。また、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。

撮影部２１Ａ、２１Ｂは、それぞれレンズ、絞り、シャッタ、撮像素子、アナログフロントエンド（ＡＦＥ）及びＡ／Ｄ変換部をそれぞれ備える。レンズは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズを有している。レンズの位置は、撮影制御部２２のＡＦ処理部２２ａにより得られる合焦データ及び図１０及び図１１に示したズームレバー４が操作された場合に得られるズームデータに基づいて、レンズ駆動部（図示省略）により調整される。絞りは、撮影制御部２２のＡＥ処理部２２ｂにより得られる絞り値データに基づいて、絞り駆動部（図示省略）により絞り径の調整が行われる。シャッタはメカニカルシャッタであり、シャッタ駆動部（図示省略）により、ＡＥ処理部２２ｂにより得られるシャッタスピードに応じて駆動される。撮像素子は、多数の受光素子を２次元状に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子の前面にはＲ、Ｇ、Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。ＡＦＥは、撮像素子から出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、及びアナログ撮影信号のゲインを調節する処理（以下「アナログ処理」という。）を施す。Ａ／Ｄ変換部は、ＡＦＥによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、上述のようにＡＦ処理部２２ａ及びＡＥ処理部２２ｂを有している。ＡＦ処理部２２ａは、レリーズボタン２が半押し操作されると、測距センサから測距情報を取得し、レンズの焦点位置を決定し、撮影部２１Ａ、２ｌＢに出力する。ＡＥ処理部２２ｂは、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。

なお、ＡＦ処理部２２ａによる焦点位置の検出方式としては、測距情報を用いたアクティブ方式に限らず、画像のコントラストを利用して合焦位置を検出するパッシブ方式を用いてもよい。

撮影制御部２２は、レリーズボタン２が操作されない状態では、撮影範囲を確認させるための、第１及び第２の画像Ｇ１、Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次生成させるように撮影部２１Ａ、２１Ｂを制御する。そして、撮影制御部２２は、レリーズボタン２が全押し操作されると、本撮影を開始すべく、第１及び第２の画像Ｇ１、Ｇ２の本画像を生成するように撮影部２１Ａ、２１Ｂを制御する。

以上の説明は静止画モードの場合であるが、本実施の形態では、動画撮影モードにも設定可能である。動画撮影モードの場合、レリーズボタン２が押圧されると動画撮影が開始され、フレーム毎に第１及び第２の画像Ｇ１、Ｇ２が生成され、再びレリーズボタン２が押圧されると動画撮影が停止する。

画像処理部２３は、撮影部２１Ａ、２１Ｂが取得した第１及び第２の画像Ｇ１、Ｇ２のデジタルの画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された第１及び第２の画像Ｇ１、Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧやＭＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。なお、画像ファイルの形成としては、図４で示したものを適用することができる。

フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した第１及び第２の画像Ｇ１、Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、複眼カメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。

表示制御部２８は、立体視する場合に、フレームメモリ２５又は記録メディア２９に記録されている立体視画像ＧＲをモニタ７に表示させる。

図１３は、モニタ７の構成を示す分解斜視図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０及び各種表示を行うための液晶パネル４１を積層し、液晶パネル４１の表面にレンチキュラーシート４２を取り付けることにより構成されている。

図１４は、レンチキュラーシートの構成を示す図である。図１４に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を基線に沿った方向に並列に並べることにより構成されている。

また、複眼カメラ１は、３次元処理部３０を備えている。３次元処理部３０は、第１及び第２の画像Ｇ１、Ｇ２をモニタ７に立体視表示させるために、第１及び第２の画像Ｇ１、Ｇ２に対して３次元処理を行って立体視画像ＧＲを生成する。

図１５は、第１及び第２の画像Ｇ１、Ｇ２に対する３次元処理を説明するための図である。図１５に示すように３次元処理部３０は、第１及び第２の画像Ｇ１、Ｇ２の各々を基線に対して垂直方向に短冊状に切り取る。３次元処理部３０は、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った第１及び第２の画像Ｇ１、Ｇ２が交互に配置されるように３次元処理を行って、立体視画像ＧＲを生成する。立体視画像ＧＲを構成する第１及び第２の画像Ｇ１、Ｇ２の画像対は、各々１つのシリンドリカルレンズに対応して配置される。

また、複眼カメラ１は視差調整部１７を備えている。視差調整部１７は、第１及び第２の画像Ｇ１、Ｇ２の視差を調整する。ここで、視差とは、第１及び第２の画像Ｇ１、Ｇ２の双方に含まれる被写体の、第１及び第２の画像Ｇ１、Ｇ２の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。視差を調整することにより、立体視画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。

また、３次元処理部３０は、リアルタイムで撮影部２１Ａ、２１Ｂで得られた第１及び第２の画像Ｇ１、Ｇ２の視差を調整してもよいし、記録メディア２９に予め記録されている第１及び第２の画像Ｇ１、Ｇ２の視差を調整してもよい。

以上のように構成された複眼カメラ１においても、第１実施形態及び第２実施形態で説明した処理（図８、９）を行うプログラムを内部メモリ２７等に記憶して、視差調整を行って再生することにより、上記の各実施形態と同様に、撮影時にどのような視差で撮影したとしても最適な視差を保って再生することができ、視差の融合範囲以上の視差で画像が再生されることを防止することができる。

なお、第３実施形態では、液晶シャッタ眼鏡１２等の眼鏡を使用せずに、レンチキュラーシート４２を用いて立体画像を表示するものを適用したが、第１実施形態と同様に、液晶シャッタ眼鏡１２等の眼鏡を使用して立体画像を再生するようにしてもよい。また、逆に、第１実施形態や第２実施形態について、レンチキュラーシート４２を用いて立体画像を表示する構成としてもよい。

本発明に係るコンピュータ可読媒体は、コンピュータを、立体画像を表示するための右目用画像と左目用画像とからなる動画像情報、該動画像情報の撮影時の撮影最短距離を表す撮影最短距離情報、距離を算出するための撮影情報、及び前記右目用画像と前記左目用画像とに設定されている設定視差を表す視差情報を取得する取得部、前記動画像情報の各フレームから予め定めた主要被写体を検出し、検出した前記主要被写体に基づいて、各フレームの主要被写体視差を算出し、さらに前記撮影情報と前記設定視差を用いて主要被写体視差と主要被写体距離との関係を算出する算出部、及び前記取得部によって前記撮影最短距離情報が取得された場合に、前記算出部によって算出された前記主要被写体視差と主要被写体距離との関係によって、前記主要被写体の最大視差が、前記撮影最短距離の撮影時にも予め定めた許容範囲になるように、前記取得部によって取得された前記設定視差を調整する調整部して機能させるためのプログラムを記憶する。

日本出願２０１０−１５０２０９の開示はその全体が参照により本明細書に取り込まれる。

本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (10)

1. 立体画像を表示するための右目用画像と左目用画像とからなる動画像情報、該動画像情報の撮影時の撮影最短距離を表す撮影最短距離情報、距離を算出するための撮影情報、及び前記右目用画像と前記左目用画像とに設定されている設定視差を表す視差情報を取得する取得部と、
   前記動画像情報の各フレームから予め定めた主要被写体を検出し、検出した前記主要被写体に基づいて、各フレームの主要被写体視差を算出し、さらに前記撮影情報と前記設定視差を用いて主要被写体視差と主要被写体距離との関係を算出する算出部と、
   前記取得部によって前記撮影最短距離情報が取得された場合に、前記算出部によって算出された前記主要被写体視差と主要被写体距離との関係によって、前記主要被写体の最大視差が、前記撮影最短距離の撮影時に予め定めた許容範囲になるように、前記取得部によって取得された前記設定視差を調整する調整部と、
   を備えた立体画像再生装置。
2. 前記算出部は、前記主要被写体視差の算出及び主要被写体視差と主要被写体距離との関係の算出を、少なくとも前記主要被写体が含まれる最初のフレームについて行う請求項１に記載の立体画像再生装置。
3. 前記取得部によって前記撮影最短距離情報が取得されない場合には、
   前記調整部が、前記動画像を撮影する撮影装置の直前まで被写体が近づいたとしても前記最大視差が前記許容範囲になるように、前記設定視差を調整する請求項１又は請求項２に記載の立体画像再生装置。
4. 前記調整部は、前記各フレームの右目用画像と左目用画像の水平方向表示位置をシフトして、前記最大視差が前記許容範囲内になるように調整する請求項１〜３の何れか１項に記載の立体画像再生装置。
5. 立体画像を表示するための右目用画像と左目用画像とからなる動画像情報、該動画像情報の撮影時の撮影最短距離を表す撮影最短距離情報、距離を算出するための撮影情報、及び前記右目用画像と前記左目用画像とに設定されている設定視差を表す視差情報を取得し、
   前記動画像情報の各フレームから予め定めた主要被写体を検出して検出した前記主要被写体に基づいて、各フレームの主要被写体視差を算出し、さらに前記撮影情報と前記設定視差を用いて主要被写体視差と主要被写体距離との関係を算出し、
   前記撮影最短距離情報が取得された場合に、算出した前記主要被写体視差と主要被写体距離との関係によって、前記主要被写体の最大視差が、取得した前記撮影最短距離の撮影時に予め定めた許容範囲になるように、取得した前記設定視差を調整する立体画像再生装置の視差調整方法。
6. 前記主要被写体及び主要被写体距離との関係の算出を、少なくとも前記主要被写体が含まれる最初のフレームについて行う請求項５に記載の立体画像再生装置の視差調整方法。
7. 前記撮影最短距離情報が取得されない場合には、
   前記動画像を撮影する撮影装置の直前まで被写体が近づいたとしても前記最大視差が前記許容範囲になるように、前記設定視差を調整する請求項５又は請求項６に記載の立体画像再生装置の視差調整方法。
8. 前記視差の調整は、各フレームの右目用画像と左目用画像の水平方向表示位置をシフトして、前記最大視差が前記許容範囲内になるように調整する請求項５〜７の何れか１項に記載の立体画像再生装置の視差調整方法。
9. コンピュータを、請求項１〜４の何れか１項に記載の立体画像再生装置を構成する各部として機能させるための視差調整プログラム。
10. 請求項１〜４の何れか１項に記載の立体画像再生装置を備えた撮影装置。