JP5453552B2 - 撮影装置、方法及びプログラム - Google Patents

Description

本発明は、撮影装置、方法及びプログラムに関する。

従来、被写体及び背景あるいはカメラからの距離の異なる複数の被写体に対応する両眼視差変異量を左右画像上での画素位置の変異として求める両眼視差検出方法が提案されている（例えば、特開平２−１００５８９号公報参照）。この公報で開示される方法では、両眼視差を求める際に、左右画像を２次元フーリエ変換し、その位相項のシフトマッチングによりいくつかの視差変位量の候補を算出した後に、左右画像のそれぞれについて被写体の輪郭抽出及び領域決定を行い、これらの境界点の内側の点と外側の数点において２次元フーリエ変換を利用して求めた変位量候補との対応をとり、異なった視差量を持つ被写体と背景とが混在するようなステレオ画像の両眼視差量を求めている。

また、輻輳角と最遠距離、最近距離との位置関係を変化させ、例えば画像間の視差の平均値を相殺するように画像をずらすことによって、画像全体を均一に見易くする多視点画像表示方法が提案されている（例えば、特開平１０−３２８４０号公報参照）。

特開平２−１００５８９号公報 特開平１０−３２８４０号公報

しかしながら、特開平２−１００５８９号公報の方法を立体視用の動画に適用し、１フレーム毎に両眼視差量を求めると、フレーム間での両眼視差量の変化が大きくなった場合に、立体視し難い動画となってしまう。

また、特開平１０−３２８４０号公報の方法では、立体視し易い画像を得るために、輻輳角を変化させるための機構が必要である。

本発明は、複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視聴し易い立体視動画を得ることができる撮影装置、方法及びプログラムを提供する。

本発明の撮影装置は、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する複数の撮影手段と、前記撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出する検出手段と、前記検出手段により複数の被写体が検出された場合に、検出された被写体の各々と前記撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段と、前記レンジ算出手段により算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整する調整手段と、レンジと該レンジに対応する視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段と、前記撮影手段の各々により撮影されたフレームの各々の画像と、前記視差量算出手段により算出された視差量とを対応付けて記録手段に記録するように制御する記録制御手段と、を含んで構成されている。

本発明の撮影装置によれば、撮影手段により、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する。これにより、立体視動画を撮影することができる。そして、検出手段が、撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出し、レンジ算出手段が、検出手段により複数の被写体が検出された場合に、検出された被写体の各々と撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出する。このレンジに基づいて、視差量算出手段により、フレーム毎の視差量が算出されるが、フレーム間でのレンジの変動が大きい場合にはフレーム間の視差量の変動も大きくなり、視聴し難い立体視動画となってしまう。

そこで、調整手段が、レンジ算出手段により算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整し、視差量算出手段が、レンジと該レンジに対応する視差量との予め定めた関係に基づいて、レンジ算出手段により算出されたレンジまたは調整手段により調整されたレンジに対応する視差量を算出する。そして、記録制御手段が、撮影手段の各々により撮影されたフレームの各々の画像と、視差量算出手段により算出された視差量とを対応付けて記録手段に記録するように制御する。

このように、特定フレームから検出された被写体の各々と撮影手段との距離に関する値に基づくレンジと、特定フレームの１つ前または後のフレームのレンジとの差が大きい場合には、その差が小さくなるように特定フレームのレンジを調整して、レンジから適切な視差量を算出するため、輻輳角を調整するための複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視聴し易い立体視動画を得ることができる。

前記距離に関する値を、検出された被写体の各々と前記撮影手段との距離、または検出された被写体の各々の視差とすることができる。被写体の各々の視差は、被写体と撮影手段との距離が遠いほど小さくなり、近いほど大きくなるため、被写体の各々と撮影手段との距離に関する値といえる。レンジ算出手段において、被写体の各々と撮影手段との距離を算出した場合には、その距離の最大値と最小値との差で表される被写体距離レンジが算出され、被写体の各々の視差を算出した場合には、その視差の最大値と最小値との差で表される視差レンジが算出される。

また、前記調整手段は、前記１つ前または後に撮影されたフレームのレンジの算出に用いられた被写体が特定フレームから検出されなかった場合には、特定フレームのレンジと１つ前または後に撮影されたフレームのレンジとの差が前記予め定めた閾値を超えたとみなして、特定フレームのレンジを調整することができる。１つ前または後に撮影されたフレームのレンジの算出に用いられた被写体が特定フレームから検出されなかった場合には、レンジが大きく変動する可能性が高いため、特定フレームのレンジを調整することで、フレーム間の視差量の変化を低減することができる。

また、前記レンジ算出手段は、前記検出手段により検出された被写体のフレーム間の移動量を算出し、該移動量が予め定めた所定移動量を超える被写体を除外して、前記レンジを算出することができる。このように、フレーム間でのレンジの大きな変動を招く可能性が高い移動量の大きな被写体を、予めレンジの算出に用いないように除外しておくことで、フレーム間の視差量の変化を低減することができる。

また、前記レンジ算出手段は、前記被写体の移動方向が前記撮影手段の光軸方向であって、かつ前記移動量が予め定めた所定移動量を超える被写体を除外することができる。レンジは、被写体と撮影手段との距離に関する値の最大値と最小値との差であるので、被写体と撮影手段との距離が大きく変動する光軸方向へ移動する被写体を対象とするものである。

また、本発明の撮影装置は、前記検出手段により検出する被写体を予め登録しておく登録手段を含んで構成することができ、前記レンジ算出手段は、前記登録手段により登録された被写体が前記検出手段により検出された場合に、該登録された被写体を用いて前記レンジを算出することができる。これにより、特に注視したい被写体を予め登録しておき、注視したい被写体についてフレーム間の視差量の変化を低減して、視聴し易い立体視動画を得ることができる。

また、本発明の撮影装置は、前記検出手段により検出する被写体を予め登録しておく登録手段を含んで構成することができ、前記レンジ算出手段は、前記移動量が予め定めた所定移動量を超える被写体であって、かつ前記登録手段により登録されていない被写体を除外して、前記レンジを算出したり、前記登録手段により登録された被写体であれば、前記移動量が予め定めた所定移動量を超える場合でも、前記レンジの算出から除外しないようにしたりすることができる。

また、前記視差量算出手段は、前記検出手段により検出された被写体が１つの場合には、該被写体をクロスポイントとして視差量を算出し、前記検出手段により被写体が検出されなかった場合には、予め定めた所定点をクロスポイントとして視差量を算出することができる。

また、本発明の撮影方法は、複数の撮影手段により、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影し、前記撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出し、複数の被写体が検出された場合に、検出された被写体の各々と前記撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出し、算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整し、レンジと該レンジに対応する視差量との予め定めた関係に基づいて、算出されたレンジまたは調整されたレンジに対応する視差量を算出し、前記撮影手段の各々により撮影されたフレームの各々の画像と、算出された視差量とを対応付けて記録手段に記録する方法である。

また、本発明の撮影プログラムは、コンピュータを、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影するように複数の撮影手段の各々を制御する撮影制御手段、前記撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出する検出手段、前記検出手段により複数の被写体が検出された場合に、検出された被写体の各々と前記撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出する算出手段、前記レンジ算出手段により算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整する調整手段、レンジと該レンジに対応する視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段、及び前記撮影手段の各々により撮影されたフレームの各々の画像と、前記視差量算出手段により算出された視差量とを対応付けて記録手段に記録するように制御する記録制御手段として機能させるためのプログラムである。

以上説明したように、本発明の撮影装置、方法及びプログラムによれば、特定フレームから検出された被写体の各々と撮影手段との距離に関する値に基づくレンジと、特定フレームの１つ前または後のフレームのレンジとの差が大きい場合には、その差が小さくなるように特定フレームのレンジを調整して、レンジから適切な視差量を算出するため、輻輳角を調整するための複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視聴し易い立体視動画を得ることができる。

本実施の形態の複眼デジタルカメラの正面側斜視図である。 本実施の形態の複眼デジタルカメラの背面側斜視図である。 本実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。 被写体距離レンジの算出を説明するためのイメージ図である。 被写体距離レンジの算出を説明するためのイメージ図である。 視差量を説明するための被写体と撮影部との位置関係を示すイメージ図である。 視差量を説明するための左画像及び右画像を示すイメージ図である。 視差量を説明するための立体視画像を示すイメージ図である。 視差量と被写体距離レンジとの関係を示すグラフの一例である。 視差量と被写体距離レンジとの関係を示すテーブルの一例である。 第１の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第３の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第４の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の撮影装置を動画撮影モードを備えた複眼デジタルカメラに適用した場合について説明する。

図１は、第１の実施の形態の複眼デジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラの１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。

図３は、複眼デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、３次元処理部３０、オブジェクト検出部４１、被写体距離レンジ算出部４２、被写体距離レンジ調整部４３、及び視差量算出部４４を備えている。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。

撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。静止画撮影モードが選択されている場合には、ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ、２１Ｂが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａ、２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ、２１Ｂに出力する。また、レリーズボタン２の全押し操作により、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行う。

また、撮影制御部２２は、動画撮影モードが選択されている場合には、レリーズボタン２の全押し操作により、上記の静止画撮影モードにおける処理を連続して行うように撮影部２１Ａ及び撮影部２１Ｂに指示する。なお、静止画撮影モード及び動画撮影モードのいずれの場合も、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行う。

画像処理部２３は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。

フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。

内部メモリ２７は、複眼デジタルカメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ７に表示させたりする。

３次元処理部３０は、左画像及び右画像をモニタ７に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。

オブジェクト検出部４１は、取得された左画像または右画像から適切なオブジェクトを検出する。オブジェクトは、撮影対象領域に存在する被写体を示す画像である。「適切な」オブジェクトとは、左画像または右画像内において、エッジが立っているオブジェクト等とすることができる。また、左画像及び右画像の各々から対応するオブジェクトを検出し、そのオブジェクトの視差の値が所定範囲内のものを検出するようにしてもよい。

また、オブジェクト検出部４１は、２フレーム目以降の画像からオブジェクトを検出する際には、過去のフレームの画像から検出されたオブジェクトの位置情報等を利用して、対応するオブジェクトを追跡することにより、現フレームからオブジェクトを検出する。

被写体距離レンジ算出部４２は、左画像または右画像から検出されたオブジェクトの各々について、オブジェクトを示す被写体と本装置（撮影部２１Ａ、２１Ｂ）との距離を三角測量等の手法により算出し、その距離の最大値と最小値との差を被写体距離レンジとして算出する。例えば、図４Ａに示すように、左画像または右画像からオブジェクトＯ_１、Ｏ_２、Ｏ_３が検出され、オブジェクトＯ_１、Ｏ_２、Ｏ_３の各々に対応する被写体Ｓ_１、Ｓ_２、Ｓ_３と複眼デジタルカメラ１とが図４Ｂに示す位置関係にあったとする。複眼デジタルカメラ１と被写体Ｓ_１との距離をＬ_１、被写体Ｓ_２との距離をＬ_２、被写体Ｓ_３との距離をＬ_３とすると、複眼デジタルカメラ１と被写体との距離の最大値はＬ_１、最小値はＬ_２となるため、被写体距離レンジＲは、Ｒ＝Ｌ_１−Ｌ_２と算出される。

被写体距離レンジ調整部４３は、前フレームの画像について算出された被写体距離レンジと、現フレームの画像について算出された被写体距離レンジとの差が、予め定めた閾値を超えるか否かを判定し、超える場合には、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように、現フレームの被写体距離レンジを調整する。後述するように、各フレームの視差量は被写体距離レンジに基づいて算出されるため、フレーム間で被写体距離レンジの大きな変動は、フレーム間の視差量の大きな変動となる。フレーム間で視差量が大きく変動した場合には、視聴し難い動画となってしまうため、視差量の変動が大きくならないように被写体距離レンジを調整するものである。例えば、現フレームの被写体距離レンジをＲ_ｍ、１つ前のフレームの被写体距離レンジをＲ_ｍ−１とすると、調整後の現フレームの被写体距離レンジＲ_ｍ’を、Ｒ_ｍ’＝α×Ｒ_ｍ＋（１−α）×Ｒ_ｍ−１ （０＜α＜１）として求めることができる。なお、調整後の現フレームの被写体距離レンジＲ_ｍ’の求め方はこれに限定されず、Ｒ_ｍに所定値を加減算するなどＲ_ｍとＲ_ｍ−１との差が小さくなるような調整方法であればよい。

視差量算出部４４は、被写体距離レンジと被写体距離レンジに対応する適切な視差量との予め定めた関係に基づいて、算出された被写体距離レンジまたは調整された被写体距離レンジから現フレームの視差量を算出する。

ここで、視差量について説明する。例えば、複眼デジタルカメラ１（撮影部２１Ａ及び２１Ｂ）との位置関係が図５Ａに示すような被写体Ｓ_１、及び被写体Ｓ_２を撮影して、図５Ｂに示すような左画像５０Ｌ及び右画像５０Ｒが得られたとする。左画像５０Ｌからは、被写体Ｓ_１に対応するオブジェクトＯ_１Ｌ、及び被写体Ｓ_２に対応するオブジェクトＯ_２Ｌが検出され、右画像５０Ｒからは、被写体Ｓ_１に対応するオブジェクトＯ_１Ｒ、及び被写体Ｓ_２に対応するオブジェクトＯ_２Ｒが検出される。図６に示すように、左画像５０Ｌと右画像５０Ｒとを重ね合わせることで立体視画像５０となる。図６では、左画像５０Ｌに含まれるオブジェクトＯ_１Ｌと右画像５０Ｒに含まれるオブジェクトＯ_１Ｒとが一致するように、すなわちオブジェクトＯ_１がクロスポイントとなるように、左画像５０Ｌと右画像５０Ｒとが重ね合わされている。オブジェクトＯ_２ＬとオブジェクトＯ_２Ｒとは、距離Ｐだけずれている。このＰが視差量であり、視差量Ｐを変更することで、立体視画像の立体感を強調したり緩和したりすることができる。

次に、視差量と被写体距離レンジとの関係について説明する。被写体距離レンジが小さい場合には、複眼デジタルカメラ１から最も遠くに存在する最遠の被写体と最も近くに存在する最近の被写体との相対的な視差が小さくなる。一方、被写体距離レンジが大きい場合には、最遠の被写体と最近の被写体との相対的な視差が大きくなる。そこで、適切な立体感を有する立体視画像が得られるように、被写体距離レンジが小さい場合には視差量を大きくし、被写体距離レンジが大きい場合には視差量を小さくする。この関係に基づいて、所定の大きさの表示画面で立体視画像を表示するのに適した視差量が被写体距離レンジに応じて決定される。例えば、図７に示すように、横軸に被写体距離レンジ、縦軸に視差量をとったグラフとして、表示画面のサイズ毎に視差量と被写体距離レンジとの関係を定めておくことができる。また、図８に示すように、画素単位での視差量と被写体距離レンジとを対応させたテーブルとして、視差量と被写体距離レンジとの関係を定めておいてもよい。

視差量算出部４４では、図７や図８に示すような、視差量と被写体距離レンジとの予め定めた関係に基づいて、被写体距離レンジ算出部４２で算出された被写体距離レンジ、または被写体距離レンジ調整部４３で調整された被写体距離レンジに対応する視差量を算出する。例えば、図７及び図８において、表示画面サイズが３インチ、算出または調整された被写体距離レンジが０．３ｍの場合には、視差量は４０画素となる。本実施の形態では、視差量算出部４４で算出される視差量は、最近の被写体を示すオブジェクトについての視差量である。すなわち、図６に示すように、左画像と右画像とを重ね合わせる際には、左画像の最近の被写体を示すオブジェクトと右画像の最近の被写体を示すオブジェクトとの距離が、算出された視差量だけずれて重ね合わされることになる。

また、視差量算出部４４は、オブジェクト検出部４１でオブジェクトが１つしか検出されなかった場合には、検出されたオブジェクトをクロスポイントとして視差量を算出する。また、オブジェクト検出部４１でオブジェクトが検出されなかった場合には、予め定めた所定点をクロスポイントとして視差量を算出する。

次に、図９を参照して、第１の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。

ステップ１００で、撮影部２１Ａ及び２１Ｂにより撮影されたスルー画像の取り込みを開始する。

次に、ステップ１０２で、レリーズボタン２が押下されるなど、動画像の記録開始を指示する撮影操作があったか否かを判定する。撮影操作があった場合には、ステップ１０４へ移行し、撮影操作がない場合には、撮影操作があるまで本ステップの判定を繰り返す。

ステップ１０４では、撮影部２１Ａ及び２１Ｂにより本撮影の状態で取得された左画像及び右画像を１フレーム分取り込む。次に、ステップ１０６で、上記ステップ１０４で取り込んだ左画像または右画像から適切なオブジェクトを検出する。

次に、ステップ１０８で、上記ステップ１０６で複数のオブジェクトが検出されたか否かを判定する。複数のオブジェクトが検出された場合には、ステップ１１０へ移行する。１つのオブジェクトしか検出されなかった場合、またはオブジェクトが検出されなかった場合には、ステップ１１８へ移行する。

ステップ１１０では、左画像または右画像から検出されたオブジェクトの各々について、オブジェクトを示す被写体と複眼デジタルカメラ１との距離を三角測量等の手法により算出し、その距離の最大値と最小値との差を被写体距離レンジとして算出する。

次に、ステップ１１２で、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が、予め定めた閾値を超えるか否かを判定することにより、フレーム間の被写体距離レンジの変化が大きいか否かを判定する。フレーム間の被写体距離レンジの変化が大きい場合には、ステップ１１４へ移行し、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように、現フレームの被写体距離レンジを調整して、ステップ１１６へ移行する。

上記ステップ１１２で、フレーム間の被写体距離レンジの変化が大きくないと判定された場合には、ステップ１１４をスキップしてステップ１１６へ移行する。また、現フレームが１フレーム目で、前フレームが存在しない場合にも、本ステップで否定されてステップ１１６へ移行する。

ステップ１１６では、例えば図７や図８に示すような、被写体距離レンジと被写体距離レンジに対応する適切な視差量との予め定めた関係に基づいて、上記ステップ１１０で算出された被写体距離レンジ、または上記ステップ１１４で調整された被写体距離レンジに対応する現フレームの視差量を算出して、ステップ１２０へ移行する。

一方、上記ステップ１０８で否定判定されてステップ１１８へ移行した場合には、クロスポイントに基づいて視差量を算出する。オブジェクトが１つしか検出されなかった場合には、そのオブジェクトをクロスポイントし、オブジェクトが検出されなかった場合には、所定点をクロスポイントとして、視差量を算出して、ステップ１２０へ移行する。

ステップ１２０では、レリーズボタン２が再び押下されるなど、動画像の記録停止を指示する撮影終了操作があったか否かを判定する。撮影終了操作がない場合には、ステップ１０４へ戻り、次のフレームを取り込んで処理を繰り返す。撮影終了操作があった場合には、ステップ１２２へ移行して、撮影されたフレーム数分のフレーム毎の左画像、右画像、及び視差量のデータを１つのファイルとし、該ファイルにヘッダ情報を付加した動画ファイルとして記録メディア２９に記録して、処理を終了する。

以上説明したように、第１の実施の形態の複眼デジタルカメラによれば、フレーム毎に被写体距離レンジを算出し、算出された現フレームの被写体距離レンジと前フレームの被写体距離レンジとの差が大きい場合には、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように現フレームの被写体距離レンジを調整して、被写体距離レンジから適切な視差量を算出する。これにより、輻輳角を調整するための複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視聴し易い立体視動画を得ることができる。

次に、第２の実施の形態について説明する。第２の実施の形態では、前フレームの被写体距離レンジの算出に用いたオブジェクトが現フレームから検出されなかった場合に、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が大きいとみなして、現フレームの被写体距離レンジを調整する場合について説明する。なお、第２の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。

ここで、図１０を参照して、第２の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。

ステップ１００〜ステップ１０４を経て、左画像及び右画像を１フレーム分取り込む。次に、ステップ２００で、上記ステップ１０４で取り込んだ左画像または右画像から適切なオブジェクトを検出する。また、オブジェクトの位置情報等を用いて、前フレームの左画像または右画像から検出されたオブジェクトを、現フレームの左画像または右画像において追跡する。

次に、ステップ１０８で、上記ステップ１０６で複数のオブジェクトが検出されたと判定された場合には、ステップ１１０へ移行して、オブジェクトを示す被写体と複眼デジタルカメラ１との距離の最大値と最小値との差を被写体距離レンジとして算出する。

次に、ステップ２０２で、上記ステップ２００のオブジェクトの追跡結果に基づいて、前フレームで被写体距離レンジの算出に用いられたオブジェクトの追跡に失敗したか否かを判定する。前フレームから検出されたオブジェクトが、フレームアウトや他のオブジェクトによるオクルージョン等によって、現フレームから検出されなかった場合には、オブジェクトの追跡に失敗したと判定する。前フレームで被写体距離レンジの算出に用いられたオブジェクトの追跡に失敗した場合には、上記ステップ１１０で算出された被写体距離レンジは、前フレームで算出された被写体距離レンジに対して大きく変動している可能性が高い。そこで、前フレームの被写体距離レンジの算出に用いられたオブジェクトの追跡に失敗した場合には、ステップ１１４へ移行して、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように、現フレームの被写体距離レンジを調整する。一方、前フレームの被写体距離レンジの算出に用いたオブジェクトの追跡に失敗しなかった場合には、ステップ１１４をスキップして、被写体距離レンジの調整を行うことなくステップ１１６へ移行して、被写体距離レンジから視差量を算出する。以降、第１の実施の形態と同様に、ステップ１１６〜ステップ１２２の処理を実行して、処理を終了する。

以上説明したように、第２の実施の形態の複眼デジタルカメラによれば、前フレームの被写体距離レンジの算出に用いたオブジェクトの追跡に失敗した場合には、現フレームの被写体距離レンジと前フレームの被写体距離レンジとの差が大きいとみなして、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように現フレームの被写体距離レンジを調整することができる。

次に、第３の実施の形態について説明する。第３の実施の形態では、移動量の大きなオブジェクトを被写体距離レンジの算出に用いないように除外する場合について説明する。なお、第３の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。

ここで、図１１を参照して、第３の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１及び第２の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。

ステップ１００〜ステップ１０４を経て、左画像及び右画像を１フレーム分取り込む。次に、ステップ２００で、上記ステップ１０４で取り込んだ左画像または右画像から適切なオブジェクトを検出する。また、オブジェクトの位置情報等を用いて、前フレームの左画像または右画像から検出されたオブジェクトを、現フレームの左画像または右画像において追跡する。

次に、ステップ３００で、上記ステップ２００のオブジェクトの追跡結果に基づいて、追跡されたオブジェクトの移動方向が、撮影部の光軸方向か否かを判定する。撮影部の光軸方向は、オブジェクトの検出及び追跡に用いた画像が左画像の場合には、撮影部２１Ａの光軸方向であり、右画像の場合には、撮影部２１Ｂである。そして、移動方向が光軸方向のオブジェクトについて、フレーム間での移動量を算出し、その移動量を予め定めた所定移動量と比較することにより、移動量が大きいオブジェクトが存在するか否かを判定する。存在する場合には、ステップ３０２へ移行し、移動量が大きいオブジェクトを、上記ステップ２００で検出及び追跡されたオブジェクトから除外して、ステップ１０８へ移行する。移動量が大きいオブジェクトに対応する被写体は、移動速度が速いため、被写体と複眼デジタルカメラ１との距離がフレーム間で大きく変動する。このような被写体を示すオブジェクトを被写体距離レンジの算出に用いると、被写体距離レンジが大きく変動してしまうため、被写体距離レンジの算出に用いられないように除外するものである。一方、移動量が大きいオブジェクトが存在しない場合には、ステップ３０２をスキップして、ステップ１０８へ移行する。ステップ１０８では、上記ステップ３０２で除外されたオブジェクトを除いて、複数のオブジェクトが検出されたか否かを判定し、以降、第１の実施の形態と同様に、ステップ１１０〜ステップ１２２の処理を実行して、処理を終了する。

以上説明したように、第３の実施の形態の複眼デジタルカメラによれば、フレーム間での被写体距離レンジの大きな変動を招く可能性が高い移動量の大きなオブジェクトを、予め被写体距離レンジの算出に用いないように除外しておく。これにより、フレーム間での被写体距離レンジの変動を低減することができる。

次に、第４の実施の形態について説明する。第４の実施の形態では、ユーザが特に注視したいオブジェクトを予め選択して登録しておく場合について説明する。なお、第４の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。

ここで、図１２を参照して、第４の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。

ステップ１００で、スルー画像を取り込み、次に、ステップ４００で、ユーザにより、特に注視するオブジェクト（以下、「選択オブジェクト」）を選択する操作が行われたか否かを判定する。選択オブジェクトは、液晶モニタ７に表示された画像上で、操作ボタン８を操作してカーソルを移動させ、該当のオブジェクト上で決定ボタンを押下するなどして選択することができる。

次に、ステップ４０２で、上記ステップ４００で選択された選択オブジェクトについて、輪郭や特徴量等の情報を抽出して、所定の記憶領域に登録する。選択オブジェクトは複数登録されてもよい。

次に、ステップ１０２〜ステップ１０８を経て、複数のオブジェクトが検出されたと判定された場合には、ステップ４０４へ移行する。検出されたオブジェクトと上記ステップ４０２で登録した選択オブジェクトの情報とを比較して、検出されたオブジェクトに選択オブジェクトが含まれるか否かを判定する。選択オブジェクトが含まれる場合には、ステップ４０６へ移行し、選択オブジェクトが含まれに場合には、ステップ１１０へ移行する。

ステップ４０６では、選択オブジェクトを用いて被写体距離レンジを算出する。選択オブジェクトが複数登録されており、かつ複数の選択オブジェクトが検出された場合には、検出された選択オブジェクトの各々を示す被写体と複眼デジタルカメラ１との距離の最大値と最小値との差を被写体距離レンジとして算出することができる。また、検出された複数のオブジェクトに選択オブジェクトが１つしか含まれていなかった場合には、選択オブジェクトと選択オブジェクト以外のオブジェクトのうちの１つのオブジェクトとを用いて被写体距離レンジを算出する。選択オブジェクト以外のオブジェクトとしては、オブジェクトが示す被写体と複眼デジタルカメラ１との距離が最大または最小となるオブジェクトや、選択オブジェクトを示す被写体との距離が最大または最小となる被写体に対応するオブジェクト等を用いることができる。以降、第１の実施の形態と同様に、ステップ１１２〜ステップ１２２の処理を実行して、処理を終了する。なお、検出されたオブジェクトが選択オブジェクト１つだけの場合には、ステップ１０８で否定判定されてステップ１１８へ移行し、その選択オブジェクトをクロスポイントとする視差量を算出する。

以上説明したように、第４の実施の形態の複眼デジタルカメラによれば、特に注視したいオブジェクトを用いて被写体距離レンジを算出し、また、フレーム間での被写体距離レンジの変動が大きくならないように調整する。これにより、特定のオブジェクトに注視して視聴する際に、視聴し易い立体視動画を得ることができる。

なお、上記第１〜第４の実施の形態では、被写体と撮影手段との距離に関する値として、被写体の各々と撮影手段との距離を算出し、その距離の最大値と最小値との差で表される被写体距離レンジを算出する場合について説明したが、被写体と撮影手段との距離に関する値として、被写体の各々の視差を算出し、その視差の最大値と最小値との差で表される視差レンジを算出するようにしてもよい。この場合、図３に示す被写体距離レンジ算出部４２及び被写体距離レンジ調整部４３に替えて、視差レンジ算出部及び視差レンジ調整部を設けるようにするとよい。

視差レンジ算出部では、視差マップを生成し、オブジェクト検出部４１で検出されたオブジェクト毎の視差を求め、視差の最大値と最小値との差から視差レンジを算出する。なお、選択オブジェクトが登録されている場合には、選択オブジェクトの視差を用いて視差レンジを算出する。視差マップの生成は、まず、左画像と右画像とに対してステレオマッチングを行って、例えば左画像を基準として、左画像上の画素（ｘ１，ｙ１）に対応する右画像上の対応画素（ｘ２，ｙ２）を抽出する。左画像上の画素（ｘ１，ｙ１）と右画像上の対応画素（ｘ２，ｙ２）との視差ｄは、ｄ＝ｘ２−ｘ１と計算でき、この視差ｄを、基準とした左画像の画素位置（ｘ１，ｙ１）に格納して生成する。そして、検出されたオブジェクトと視差マップとを対応させて、オブジェクトの位置に対応する視差マップ上の画素位置に格納された視差を、そのオブジェクトの視差として求める。オブジェクトの位置に対応する領域内の複数の画素位置に異なる視差が格納されている場合には、その領域内の視差の平均値や最頻値等を、そのオブジェクトの視差として求めることができる。

視差レンジ調整部は、被写体距離レンジ調整部４３での処理と同様の処理により、前フレームの画像について算出された視差レンジと、現フレームの画像について算出された視差レンジとの差が、予め定めた閾値を超えるか否かを判定し、差が閾値を超える場合には、前フレームの視差レンジと現フレームの視差レンジとの差が小さくなるように、現フレームの視差レンジを調整する。

視差量算出部４４は、視差レンジと視差レンジに対応する適切な視差量との予め定めた関係に基づいて、算出された視差レンジまたは調整された視差レンジから現フレームの視差量を算出する。上記で述べたように、視差量と被写体距離レンジとの関係は、被写体距離レンジが小さい場合には、複眼デジタルカメラ１から最も遠くに存在する最遠の被写体と最も近くに存在する最近の被写体との相対的な視差が小さくなり、被写体距離レンジが大きい場合には、最遠の被写体と最近の被写体との相対的な視差が大きくなる。そこで、適切な立体感を有する立体視画像が得られるように、被写体距離レンジが小さい場合には視差量を大きくし、被写体距離レンジが大きい場合には視差量を小さくする。ここで、被写体距離レンジが小さい場合には視差レンジも小さく、被写体距離が大きい場合には視差レンジも大きい。従って、視差レンジと視差量との関係は、被写体距離レンジと視差量との関係と同様に定めておくことができる。例えば、図７に示すように視差レンジと視差量との関係を定めておく場合には、横軸を視差レンジ（画素）とすればよい。

また、上記第１〜第４の実施の形態は、適宜組み合わせて実行することができる。第３の実施の形態と第４の実施の形態とを組み合わせる場合には、移動量が大きいオブジェクトであっても、選択オブジェクトであれば除外しないようにすることもできるし、選択オブジェクトであっても、移動量が大きいオブジェクトであれば除外するようにすることもできる。

また、上記実施の形態では、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が大きいか否かを判定して、現フレームの被写体距離レンジを調整する場合について説明したが、これには限らない。所定フレーム分の画像を取得して、各フレームの被写体距離レンジを算出した後に、特定フレームの被写体距離レンジを、その特定フレームの１つ後に撮影されたフレームの被写体距離レンジと比較することで、特定フレームの被写体距離レンジの調整の可否を判断するようにしてもよい。

また、上記実施の形態では、最近の被写体の視差量を求める場合について説明したが、第４の実施の形態のように選択オブジェクトを選択する場合には、選択オブジェクトの視差量を求めるようにしてもよい。

また、本実施の形態では、撮影部を２つ備えた構成の複眼デジタルカメラについて説明したが、撮影部を３つ以上備えた構成において、３つ以上の画像を取得する場合にも同様に適用することができる。この場合、複数の画像から任意に２つの画像を組み合わせて、上記実施の形態と同様の処理を行えばよい。

また、図３に示した各ブロックをハードウエアにより構成してもよいし、各ブロックの機能をソフトウエアにより実現するように構成してもよいし、ハードウエアとソフトウエアとの組み合わせにより構成してもよい。ソフトウエアにより構成する場合には、本実施の形態の動画撮影処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにするとよい。プログラムは、記憶媒体に記憶して提供することもできるし、サーバ等の記憶装置に記憶しておき、ネットワークを介してダウンロードにより提供することもできる。

１ 複眼デジタルカメラ
７ 液晶モニタ
８ 操作ボタン
２１Ａ 撮影部
２１Ｂ 撮影部
２２ 撮影制御部
２６ メディア制御部
２７ 内部メモリ
２９ 記録メディア
４１ オブジェクト検出部
４２ 被写体距離レンジ算出部
４３ 被写体距離レンジ調整部
４４ 視差量算出部

Claims (11)

1. 異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する複数の撮影手段と、
   前記撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出する検出手段と、
   前記検出手段により複数の被写体が検出された場合に、検出された被写体の各々と前記撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段と、
   前記レンジ算出手段により算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整する調整手段と、
   レンジと該レンジに対応する視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段と、
   前記撮影手段の各々により撮影されたフレームの各々の画像と、前記視差量算出手段により算出された視差量とを対応付けて記録手段に記録するように制御する記録制御手段と、
   を含む撮影装置。
2. 前記距離に関する値を、検出された被写体の各々と前記撮影手段との距離、または検出された被写体の各々の視差とした
   請求項１記載の撮影装置。
3. 前記調整手段は、前記１つ前または後に撮影されたフレームのレンジの算出に用いられた被写体が特定フレームから検出されなかった場合には、特定フレームのレンジと１つ前または後に撮影されたフレームのレンジとの差が前記予め定めた閾値を超えたとみなして、特定フレームのレンジを調整する
   請求項１または請求項２記載の撮影装置。
4. 前記レンジ算出手段は、前記検出手段により検出された被写体のフレーム間の移動量を算出し、該移動量が予め定めた所定移動量を超える被写体を除外して、前記レンジを算出する
   請求項１〜請求項３のいずれか１項記載の撮影装置。
5. 前記レンジ算出手段は、前記被写体の移動方向が前記撮影手段の光軸方向であって、かつ前記移動量が予め定めた所定移動量を超える被写体を除外する
   請求項４記載の撮影装置。
6. 前記検出手段により検出する被写体を予め登録しておく登録手段を含み、
   前記レンジ算出手段は、前記登録手段により登録された被写体が前記検出手段により検出された場合に、該登録された被写体を用いて前記レンジを算出する
   請求項１〜請求項３のいずれか１項記載の撮影装置。
7. 前記検出手段により検出する被写体を予め登録しておく登録手段を含み、
   前記レンジ算出手段は、前記移動量が予め定めた所定移動量を超える被写体であって、かつ前記登録手段により登録されていない被写体を除外して、前記レンジを算出する
   請求項４または請求項５記載の撮影装置。
8. 前記検出手段により検出する被写体を予め登録しておく登録手段を含み、
   前記レンジ算出手段は、前記登録手段により登録された被写体であれば、前記移動量が予め定めた所定移動量を超える場合でも、前記レンジの算出から除外しない
   請求項４または請求項５記載の撮影装置。
9. 前記視差量算出手段は、前記検出手段により検出された被写体が１つの場合には、該被写体をクロスポイントとして視差量を算出し、前記検出手段により被写体が検出されなかった場合には、予め定めた所定点をクロスポイントとして視差量を算出する
   請求項１〜請求項８のいずれか１項記載の撮影装置。
10. 複数の撮影手段により、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影し、
    前記撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出し、
    複数の被写体が検出された場合に、検出された被写体の各々と前記撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出し、
    算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整し、
    レンジと該レンジに対応する視差量との予め定めた関係に基づいて、算出されたレンジまたは調整されたレンジに対応する視差量を算出し、
    前記撮影手段の各々により撮影されたフレームの各々の画像と、算出された視差量とを対応付けて記録手段に記録する
    撮影方法。
11. コンピュータを、
    異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影するように複数の撮影手段の各々を制御する撮影制御手段、
    前記撮影手段のいずれか一方により撮影されたフレームの各々の画像から被写体を検出する検出手段、
    前記検出手段により複数の被写体が検出された場合に、検出された被写体の各々と前記撮影手段との距離に関する値を算出し、該値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段、
    前記レンジ算出手段により算出された特定フレームのレンジと、特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、特定フレームのレンジを調整する調整手段、
    レンジと該レンジに対応する視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段、及び
    前記撮影手段の各々により撮影されたフレームの各々の画像と、前記視差量算出手段により算出された視差量とを対応付けて記録手段に記録するように制御する記録制御手段
    として機能させるための撮影プログラム。

Images