JP6741533B2 - 撮影制御装置およびその制御方法 - Google Patents

Description

本発明は、画像合成に係る画像処理技術に関するものである。

デジタルカメラなどの撮像装置において、被写体の輝度範囲が広い場合、ＣＣＤやＣＭＯＳなどの固体撮像素子のダイナミックレンジに依存して黒潰れや白飛びが発生する場合がある。そこで、異なる露出で撮影された複数の画像を合成することで黒潰れや白飛びが抑制された画像を生成するハイダイナミックレンジ（ＨＤＲ）合成技術が知られている。特許文献１には、プリズムを用いて分割された像を複数のセンサを用いて同期撮影して異なる露出で撮影された複数の画像を取得しＨＤＲ合成する技術が開示されている。また、特許文献２には、複数の画像間の位置ズレを補正しＨＤＲ合成することにより、当該複数の画像間の位置ズレに起因する合成画像の画質劣化を抑制する技術が開示されている。

特開平１１−９８４１８号公報 特許第４８０６３２９号公報

ところで、ＨＤＲ合成に利用する高明度画像では白飛びが発生しやすく低明度画像では黒潰れが発生しやすい。これらの画像において白飛びや黒潰れが発生している場合、位置ズレ補正のための画像間の対応点探索の精度が低下するため、特許文献２に記載されるような位置ズレ補正を適切に適用することが出来ないという問題がある。

本発明はこのような問題を鑑みてなされたものであり、より好適な合成画像を生成可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る撮影制御装置は以下の構成を備える。すなわち、第１の撮影部により撮影された第１の動画像と第２の撮影部により撮影された第２の動画像とを合成してハイダイナミックレンジ（ＨＤＲ）動画像を生成する撮影制御装置において、
ＨＤＲ合成に使用されるフレーム画像を撮影する際の前記第１の撮影部及び前記第２の撮影部における第１の撮影条件を設定する第１の設定手段と、
前記第１の撮影条件とは異なる第２の撮影条件を設定する第２の設定手段と、
前記第１の撮影条件と前記第２の撮影条件とを用いて前記第１の撮影部及び前記第２の撮影部による撮影を制御する撮影制御手段と、
前記撮影制御手段による撮影制御により取得された前記第１の動画像及び前記第２の動画像のそれぞれに含まれる前記第２の撮影条件で撮影されたフレーム画像に基づいて、前記第１の動画像に含まれるフレーム画像と前記第２の動画像に含まれるフレーム画像との位置ズレを補正する補正パラメータを導出する導出手段と、
前記補正パラメータを用いて前記第１の動画像及び前記第２の動画像の少なくとも一方に対し幾何補正処理を行い、該幾何補正処理後に前記第１の動画像と前記第２の動画像とを合成する合成手段と、
を有する。

本発明によれば、より好適な合成画像を生成可能とする技術を提供することができる。

第１実施形態における撮影システムの概略構成を示す図である。 第１実施形態における撮影システムの機能構成を示す図である。 第１実施形態における処理を示すフローチャートである。 ＨＤＲ合成用の撮影条件設定を行うためのＧＵＩの例を示す図である。 幾何補正用の撮影条件設定を行うためのＧＵＩの例を示す図である。 カメラ姿勢のズレを説明する図である。 カメラ姿勢がズレた状態で撮影された動画像の例を示す図である。 幾何補正用フレームを含む動画像の例を示す図である。 動画像データにおける幾何補正用フレームの位置を説明する図である。 ＨＤＲ合成処理におけるシーンの輝度と画素値の関係を示す図である。 第２実施形態における撮影システムの機能構成を示す図である。 幾何補正用の撮影条件情報の例を示す図である。 第２実施形態における撮影処理を示すフローチャートである。 第２実施形態における画像処理部の機能構成を示す図である。 第２実施形態における画像処理を示すフローチャートである。 第３実施形態における撮影システムの概略構成を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る撮影制御装置の第１実施形態として、２台のカメラを利用して露出の異なる２つの動画像を取得しＨＤＲ合成を行う撮影システムを例に挙げて以下に説明する。

●撮影システム構成
図１に、第１実施形態における撮影システムの概略構成を示す図である。本実施形態において使用するカメラの台数は２台に限定するものではないが、説明を簡単にするため、独立した光学系を有する２台のカメラを用いる場合を例にとって説明する。撮影システムは、撮影部２０１、撮影条件設定アプリケーション１０４、画像処理部１０７、画像出力部１０８で構成される。

撮影部２０１は、カメラ１０１、カメラ１０２、ハーフミラー１０３で構成され、図１には図示していないが、カメラ１０１、カメラ１０２、ハーフミラー１０３はカメラリグに取り付けられている。

カメラ１０１は、相対的に低い露出（小さい露光量）で低明度画像を撮影する低露出撮影用カメラである。カメラ１０２は、相対的に高い露出（大きい露光量）で高明度画像を撮影する高露出撮影用カメラである。ハーフミラー１０３は、撮影対象からの光を透過および反射させることにより光路を分割して、カメラ１０１、カメラ１０２での同時撮影・同期撮影を可能とする。また、図示していないが、カメラ１０１は、外付け又は内蔵の減光フィルタ（ＮＤフィルタ）を具備している。ここでは、当該ＮＤフィルタにより、カメラ１０１とカメラ１０２の相対的な露光量の制御することを想定している。なお、カメラ１０１とカメラ１０２の相対的な露光量の関係を制御できれば、シャッタースピードによる制御でも良いし、ハーフミラー自体の反射率・透過率の制御でも構わない。または、これらを組み合わせて制御してもよい。

撮影システムにおいて、カメラ１０１とカメラ１０２はＧｅｎＬｏｃｋ（Generator Lock）ポートで互いに接続されており、同期撮影が可能な構成になっている。撮影条件設定アプリケーション１０４は、ＰＣ端末あるいは専用の制御端末であり、ＨＤＲ合成用の撮影条件を設定する撮影条件設定部１０５及び、幾何補正用の撮影条件を設定する撮影条件設定部１０６を含む。

撮影条件設定部１０５は、それぞれのカメラについてＨＤＲ合成に使用されるフレーム画像の撮影条件を設定する。撮影条件設定部１０６は、各カメラで撮影された動画像を幾何補正するための幾何補正パラメータを導出するためのフレーム画像の撮影条件を設定する。上述した２つの撮影条件は、詳細は後述するがカメラの露出に関する情報を含む。また、幾何補正用の撮影条件は、対象となるフレーム番号に関する情報を更に含む。

各カメラで撮影された動画像データは、ＰＣまたは画像処理専用ボードにおけるＤＲＡＭやＳＲＡＭに一時的に格納される。格納された動画像データに対して、画像処理部１０７は、幾何補正処理及びＨＤＲ合成処理を施す。画像処理部１０７は、ＰＣと制御プログラムにより実現してもよいし、画像処理回路の実装された専用ボードとして構成してもよい。画像出力部１０８は、ＨＤＲ合成処理が施された動画像データをＨＤＲ動画像ファイルとして出力する。なお、画像処理部１０７では、ＨＤＲ動画像ファイルとともに、合成前の動画像データ、幾何補正に用いた情報を併せて出力するよう構成してもよい。

●撮影処理構成
図２は、第１実施形態における撮影システムの機能構成を示す図である。図１で説明した通り、ユーザは、撮影条件設定部１０５を介して各カメラについてのＨＤＲ動画撮影用の撮影条件を設定する。撮影条件設定部１０５は、設定された撮影条件をカメラ１０１及びカメラ１０２にそれぞれ反映させる。同様に、ユーザは、撮影条件設定部１０６を介して各カメラについての幾何補正用のフレーム画像の撮影条件を設定する。撮影条件設定部１０６は、設定された撮影条件をカメラ１０１及びカメラ１０２にそれぞれ反映される。

設定された撮影条件に基づき、カメラ１０１、カメラ１０２、ハーフミラー１０３を有する撮影部２０１にて、同期撮影が実行される。パラメータ算出部２０２は、カメラ１０１、カメラ１０２で撮影された動画像及び幾何補正用の撮影条件の情報（フレーム番号の情報など）を取得し、幾何補正に必要なパラメータを算出する。幾何補正処理部２０３は、算出されたパラメータに基づき、カメラ１０１、カメラ１０２で撮影された動画像の少なくとも一方に対して、幾何補正処理を実行する。ＨＤＲ合成処理部２０４は、幾何補正処理後の動画像に対し、ＨＤＲ合成処理を行う。ＨＤＲ合成処理部２０４でＨＤＲ合成処理が施された動画像は、画像出力部１０８でＨＤＲ動画像ファイルとして出力される。

●撮影処理フロー
図３は、第１実施形態における処理を示すフローチャートである。

Ｓ３０１では、撮影条件設定部１０５は、ユーザからの操作に基づいて、ＨＤＲ合成用のフレーム画像の撮影条件を設定する。Ｓ３０２では、撮影条件設定部１０６は、ユーザからの操作に基づいて、幾何補正用のフレーム画像の撮影条件を設定する。詳細は図４及び図５を参照して後述するが、撮影条件は、シャッタースピード、絞り、ＮＤフィルタ等の露出条件を含む。

Ｓ３０３では、撮影条件設定部１０５及び１０６は、ＨＤＲ合成用撮影条件と幾何補正撮影条件を、例えば、カメラ１０１、カメラ１０２の内蔵メモリに記録する。Ｓ３０４では、撮影部２０１は、Ｓ３０３で設定された撮影条件に基づき、カメラ１０１、カメラ１０２を用いた同期撮影を実行する。

図８は、幾何補正用フレームを含む動画像の例を示す図である。すなわち、Ｓ３０１、Ｓ３０２で設定された撮影条件に基づいて撮影された動画像データを模式的に表した図である。図８（ａ）はカメラ１０１、図８（ｂ）はカメラ１０２で撮影された動画像データを例示的に示しており、ｎはフレーム番号を示している。図８（ａ）において、ｎ＝１のフレームが幾何補正用フレームであり、それ以外のフレームと比較して高露出で撮影されている。つまり、ｎ＝１のフレームは、対応点探索の精度を向上させるため、黒潰れや白飛びを抑制する幾何補正用の撮影条件で撮影されたフレームである。

Ｓ３０５では、パラメータ算出部２０２は、Ｓ３０２で設定された幾何補正用の撮影条件の情報から、幾何補正用フレームとして指定されたフレーム番号を、撮影部２０１から取得する。Ｓ３０６では、パラメータ算出部２０２は、取得したフレーム番号に対応するフレーム画像を、カメラ１０１及びカメラ１０２で撮影されたそれぞれの動画像データから抽出し、幾何補正パラメータを算出する。

Ｓ３０７では、幾何補正処理部２０３は、算出された幾何補正パラメータを用いて、幾何補正用フレーム以外のフレームに対して幾何補正処理を実行する。なお、幾何補正処理は、公知の任意の手法を用いることが出来、カメラ１０１及びカメラ１０２で撮影されたそれぞれの動画像データの少なくとも一方に対して行われる。Ｓ３０８では、ＨＤＲ合成処理部２０４は、Ｓ３０７で幾何補正された動画像データに対してＨＤＲ合成処理を実行する。

●幾何補正処理詳細
上述のように複数カメラを用いる場合、個々のカメラの取り付け精度に依存した被写体画像の位置ズレが発生することがある。

図６は、カメラ姿勢のズレを説明する図である。図６（ａ）は正しいカメラ姿勢を示しており、図６（ｂ）はカメラ１０１が正しい姿勢（図中の点線）からずれた姿勢で設置されている場合を示している。このように、また、この位置ズレ方向や位置ズレ量はカメラ取り付け作業のたびに異なる。

図７に、図６（ｂ）に示すカメラ姿勢がズレた状態で撮影された動画像の例を示す図である。図中のｎはフレーム番号を示す。図７（ａ）は、カメラ１０１で撮影された動画像、図７（ｂ）は、カメラ１０２で撮影された動画像をそれぞれ示している。

図７（ｂ）に対し、図７（ａ）は被写体の位置ズレと変形が発生している。そのため、この２つの動画像を用いてＨＤＲ合成処理を行うと被写体の位置ズレと変形により多重像が発生し、画質を低下させてしまう。

そこで、ＨＤＲ合成処理を行う前に幾何補正を行う。幾何補正の方法としては一般的に良く知られたアフィン変換を用いることができるが、カメラ取り付けの度に異なるズレや歪みを補正するために、撮影画像から幾何補正パラメータである変換行列を求める必要がある。尚、幾何補正の方法は、アフィン変換でなくても良く、ヘルマート変換など別の幾何補正方法を用いても良い。

アフィン変換の変換行列を求めるためには、画像間で対応する点が画像中のどの座標であるかを探索する必要がある。しかしながら、画像において黒潰れや白飛びが発生している場合、この対応点探索において検出精度が低下してしまう。

図７（ｂ）における点Ａ、点Ｂ、点Ｃは、カメラ１０２で撮影された画像における特徴点の例である。特徴点抽出には、輝度の勾配情報により特徴点を抽出する公知の手法を用いることが出来る。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）やＨＯＧ（Histogram of Oriented Gradients）を用いることができる。

同様の特徴点抽出を、カメラ１０１で撮影された低露出画像である図７（ａ）においても行う必要がある。しかしながら、図７（ａ）に示されるように低露出画像においては黒潰れ（所定の輝度以下の階調が失われる）が発生し、輝度勾配が小さい画像となる場合がある。また、コントラスト強調の画像処理を行ってもノイズの多い画像となってしまう。その結果、輝度の勾配情報により特徴点を抽出するＳＩＦＴやＨＯＧを利用すると特徴点抽出の精度が低下することになる。図７（ａ）の点Ａ’、点Ｃ’は、検出精度の低下による位置ズレの発生を例示的に示している。また、図７（ａ）においては、点Ｂに対応する点Ｂ’は検出できなかったことを例示的に示している。このような対応点検出結果を用いて精度の良くない幾何補正パラメータ（変換行列）が算出されることになる。その結果、幾何補正の精度も低下することになる。

そこで、第１実施形態では、ＨＤＲ合成用の撮影条件とは別個に、幾何補正するための幾何補正パラメータを導出するためのフレーム画像の撮影条件を設定する。そして、当該撮影条件で撮影されたフレーム画像のペアに基づき幾何補正パラメータ（変換行列）を算出する。

図４は、撮影条件設定部１０５においてＨＤＲ合成用の撮影条件設定を行うためのグラフィカルユーザインタフェース（ＧＵＩ）の例を示す図である。ユーザは、接続されているカメラの台数に応じて、撮影条件設定のチェックボックスのＯＮ／ＯＦＦを設定する。「カメラＢｏｄｙ Ｎｏ．」では、撮影条件の設定対象とするカメラを設定する。ここでは、撮影条件設定部１０５が接続されているカメラを自動認識し、プルダウンメニューで設定対象カメラを選択させる形態について示している。もちろん、テキストボックスに「カメラＢｏｄｙ Ｎｏ．」を直接入力させる形態として構成してもよい。

ユーザの労力を軽減するため、あるいは設定ミスを低減するため、カメラの露出を制御するための項目（シャッタースピード、絞り、ＮＤフィルタなど）に関しても、自動認識しプルダウンメニューで設定可能とすることが好適である。更に、図４のＧＵＩでは、露出を制御する項目以外にも、フレームレート、ＩＳＯ感度など、その他の撮影条件を設定可能に構成されている。ＧＵＩにおける「設定完了」ボタンが押下されると、撮影条件設定部１０５は、設定された撮影条件をカメラ１０１及びカメラ１０２に反映する。

なお、図４においては、シャッタースピード、絞り、フレームレート、ＩＳＯ感度は、カメラ１０１及びカメラ１０２で同一の値に設定している。ただし、カメラ１０１（カメラＢｏｄｙ Ｎｏ．１０１）に対してのみ、６段（6 stop）分のＮＤフィルタ（１／８の露光量）を設定している。

図５は、撮影条件設定部１０５において幾何補正用の撮影条件設定を行うためのＧＵＩの例を示す図である。図４に示した例との違いは「フレーム番号」及び「基準カメラＢｏｄｙ Ｎｏ．」の設定である。

「フレーム番号」の設定では、幾何補正用フレーム画像を撮影するフレーム番号を指定する。ここでは、１つのフレームのみ設定する例を示しているが、複数のフレームを設定してもよい。また、幾何補正用の画像を撮影するフレーム番号の周期（例えば、１０フレーム毎）を設定するよう構成してもよい。また、「基準カメラＢｏｄｙ Ｎｏ．」の設定では、変換行列を求める際の基準となる画像を撮影するカメラを指定する。

なお、図５においては、シャッタースピード、絞り、フレームレート、ＩＳＯ感度は、カメラ１０１及びカメラ１０２で同一の値に設定している。また、図４に示すＨＤＲ動画撮影用の撮影条件とは異なり、カメラ１０１のＮＤフィルタを「なし」に設定している。

図８は、図４及び図５の撮影条件で撮影した動画像の例を示す図である。上述したような撮影条件に設定することで、幾何補正用フレーム（図８のｎ＝１のフレーム）では、黒潰れが無くなっている。その結果、対応点探索の精度を向上させることが可能となる。

パラメータ算出部２０２は、撮影条件設定部１０６で設定されたフレーム番号（図５におけるフレーム番号）の情報をカメラを介して抽出する。また当該フレーム番号と対応するフレーム画像をそれぞれのカメラから抽出する。

図８（ａ）の点Ａ’、点Ｂ’、点Ｃ’は、図８（ｂ）の点Ａ、点Ｂ、点Ｃに対応する点であり、図７（ａ）の例と異なり、特徴点抽出の精度が向上している。この対応点を用いて、幾何補正パラメータ（変換行列）を求める。変換行列を求める際に、基準とする撮影画像は、図５のＧＵＩにおいて「基準カメラＢｏｄｙ Ｎｏ．」として設定されたカメラの画像を用いる。求めた変換行列を用いて、幾何補正用フレーム以外のフレームに対して幾何補正（アフィン変換）を施す。

尚、図５では幾何補正用フレームのフレーム番号を「１」としているが、必ずしも先頭フレームである必要は無く、動画像における途中のフレームや最終フレームでも良い。また、複数フレームを選択しても良い。さらに、予め幾何補正フレーム番号を設定したテキストファイルを読み込む方式でも良い。

図９は、動画像データにおける幾何補正用フレームの位置を説明する図である。図９を用いて、幾何補正の適用方法を具体例を説明する。図９において灰色で示したフレームが幾何補正用フレームとして設定されたフレームを示している。以下では、フレーム番号ｎ＝１〜１０のフレームを第１フレーム〜第１０フレームと呼ぶ。

図９（ａ）は、先頭の第１フレームのみが幾何補正用フレームとして選択された場合を示している。この場合、第１フレームを用いて算出した幾何補正パラメータを用いて、第２フレーム以降のフレームに幾何補正処理を施す。尚、ＨＤＲ合成を行う際に、第１フレームは削除しても良いし、第１フレームを第２フレームで置換しても良い。

図９（ｂ）は、最終の第１０フレームのみが幾何補正用フレームとして選択された場合を示している。この場合、第１０フレームを用いて算出した幾何補正パラメータを用いて、第１フレームから第９フレームに幾何補正処理を施す。尚、ＨＤＲ合成を行う際に、第１０フレームは削除しても良いし、第１０フレームを第９フレームで置換しても良い。

図９（ｃ）は、途中の１つのフレームである第５フレームのみが幾何補正用フレームとして選択された場合を示している。この場合、第５フレームを用いて算出した幾何補正パラメータを用いて、第１フレーム〜第４フレームと第６フレーム〜第１０フレームに幾何補正処理を施す。尚、ＨＤＲ合成を行う際には、第４フレームと第６フレームの画像を平均化するなどして第５フレームを生成するとよい。また、第５フレームの生成はＨＤＲ合成前でも合成後でも良い。

図９（ｄ）は、途中の複数のフレームが幾何補正用フレームとして選択された場合を示している。この場合、第２フレーム及び第６フレームを用いて幾何補正パラメータを算出する。第２フレームを用いて算出された幾何補正パラメータを用いて、第３フレーム〜第５フレームに幾何補正処理を施す。同様に第６フレームを用いて算出された幾何補正パラメータを用いて、第７フレーム〜第１０フレームに幾何補正処理を施す。自フレームより前に幾何補正用フレームが存在しない第１フレームについては、第２フレームを用いて算出された幾何補正パラメータを用いて幾何補正処理を施す。尚、図９（ｃ）の場合と同様、ＨＤＲ合成を行う際に、第２フレームは第１フレームと第３フレームの画像を平均化するなどして生成するとよい。また、第６フレームは第５フレームと第７フレームの画像を平均化するなどして生成するとよい。

上述した通り幾何補正が施された画像フレームで構成される動画像ファイルとして出力され、幾何補正用フレームは、出力される動画像ファイルには記録されない。

上述した例では、幾何補正用フレームにおいて、黒潰れ領域が多いことが想定されるシーンの撮影において、低露出撮影用カメラの露出を上げることで対応点探索精度を向上させる方法を説明した。逆に、白飛び領域が多いことが想定されるシーンの撮影においては、高露出撮影用カメラの露出を下げるよう構成するとよい。

さらに、対応点探索の精度を向上させるために、本撮影の前にプレ撮影で予め適正露出を求めておき、幾何補正用フレームの撮影条件としてそれぞれのカメラの露出を適正露出に設定しても良い。その場合、プレ撮影モードを設け、適正露出条件を本撮影に自動的に反映するよう構成するとよい。

また、幾何補正用フレームとして複数フレーム設定しておき、複数の幾何補正フレーム同士で異なる露出で撮影し、黒潰れや白飛びの領域の少ないフレームを用いて幾何補正しても良い。

また、幾何補正用の撮影条件設定において、図５の例とは異なり、フレーム番号のみ、あるいは、露出に関する条件のみを設定する構成でも良い。または、図５のＧＵＩと同様で、フレーム番号のみ、あるいは、露出に関する条件のみを設定することを許可する構成でも良い。

フレーム番号のみを設定する構成の場合、低露出撮影側のカメラの幾何補正フレームの露出を高露出撮影側のカメラの露出に合わせて撮影するとよい。あるいは、黒潰れの発生が予想される露出より高い、予め設定された露出で撮影しても良い。

また、露出に関する条件のみを設定する構成の場合、予め幾何補正フレーム番号を撮影システムが保持しておき、このフレーム番号において設定された露出で撮影する。この場合の幾何補正用フレーム番号の抽出方法は、前後のフレームと比較して、フレーム画像の平均輝度の変化が所定値より大きいフレームを抽出するとよい。例えば、相対的に高い明度を有するフレームを抽出する。

●ＨＤＲ合成処理
図１０は、ＨＤＲ合成処理におけるシーンの輝度と画素値の関係を示す図である。ＨＤＲ合成処理部２０４におけるＨＤＲ合成は、任意の公知のＨＤＲ合成処理方法を用いることが出来る。

曲線１００１は、カメラ１０１の露出設定における輝度と画素値の関係、曲線１００２はカメラ１０２の露出設定における輝度と画素値の関係を示す。曲線１００２は、記録出来る最大画素値Ｖ＿ＭＡＸを超える輝度Ｉ＿ＭＡＸで飽和が発生する。曲線１００１は、Ｉ＿ＭＡＸを超えても画素値が飽和しないが、低輝度側で黒潰れが発生する。

これらの特性を踏まえ、ＨＤＲ合成は、最も簡単には、輝度がＩ＿ＭＡＸ以下の範囲ではカメラ１０２の画素データを用いて、輝度がＩ＿ＭＡＸを超える範囲ではカメラ１０１の画素データにデジタルゲインをかけた値を用いる。尚、曲線１００３は曲線１００１にデジタルゲインをかけた輝度と画素値の関係である。つまり、Ｉ＿ＭＡＸ以下の輝度範囲では曲線１００２の特性、Ｉ＿ＭＡＸより大きい輝度範囲では曲線１００３の特性となる。

以上説明したとおり第１実施形態によれば、複数のカメラを用いるＨＤＲ撮影システムにおいて、ＨＤＲ合成用の撮影条件とは別個に幾何補正用の撮影条件を設定する。そして、設定された幾何補正用の撮影条件で撮影されたフレーム画像のペアに基づき幾何補正パラメータを導出する。これにより、位置ズレによる劣化の抑制された高品位なＨＤＲ合成映像を得ることが可能となる。

（変形例）
上述の第１実施形態における構成を、複数台のカメラによって撮影した動画像をつなぎ合わせて広範囲（高解像度）のパノラマ動画像を生成するパノラマ合成処理（所謂スティッチング処理）に適用してもよい。

例えば、３６０°パノラマ画像のような撮影においては撮影部のＤレンジを超える高輝度領域と低輝度領域が混在する可能性が高く黒潰れや白飛びが発生しやすくなる。そこで、撮影領域の一部が重複（オーバーラップ）するように複数のカメラによる撮影を行い、重複領域でカメラ設置によるズレを抑制するように幾何補正処理を行う。この処理においても対応点探索を行い、幾何補正を行うため、重複領域に黒潰れや白飛びが発生すると補正精度が低下する。

そこで、上述のＨＤＲ合成の形態における撮影の場合と同様、幾何補正用フレームを設定し、当該フレームの露出を本撮影とは異なる露出で撮影する。これにより、当該幾何補正用フレームことで、対応点探索精度を向上させ、結果として幾何補正精度を向上させることが可能となる。

（第２実施形態）
第２実施形態では、撮影条件設定および撮影後に、幾何補正やＨＤＲ合成処理を行う前の動画像ファイルとして一度記録し、記録された画像ファイルに対して別途画像処理を施す方法について説明を行う。第１実施形態と同様の構成、処理に関しては説明を割愛する。

●撮影システム
図１１は、第２実施形態における撮影システムの機能構成を示す図である。撮影条件設定部１０５は、各カメラについてＨＤＲ動画撮影用の撮影条件をユーザから受け付け、カメラ１０１及びカメラ１０２にそれぞれ反映される。同様に、撮影条件設定部１０６は、各カメラについて幾何補正用の撮影条件をユーザから受け付け、カメラ１０１及びカメラ１０２にそれぞれ反映される。

撮影部２０１は、設定された撮影条件に基づき、カメラ１０１及びカメラ１０２による同期撮影を実行する。カメラ１０１及びカメラ１０２で撮影された動画像、及び、幾何補正用の撮影条件の情報は、画像記録部１１０１に送られ、ファイルとして記録される。画像記録部１１０１は、記憶部に適したファイルとして格納するよう格納制御する。記憶部は、例えば、カメラ１０１、カメラ１０２に接続された専用のレコーダー、または、メモリカードなどの不揮発性媒体、またはＰＣのＨＤＤ等である。

図１２は、幾何補正用の撮影条件情報の例を示す図である。図１２に示す通り、図５の幾何補正用撮影条件設定部で設定された撮影条件情報が記録される。尚、撮影したカメラ、合成相手カメラ、基準カメラのカメラＢｏｄｙ Ｎｏ．が併せて記録されている。撮影条件情報は、動画像データとは別のテキストファイルとして保存しても良いし、カメラ１０１、カメラ１０２で撮影された動画像データのヘッダ情報として記録しても良い。

図１３は、第２実施形態における撮影処理を示すフローチャートである。

Ｓ１３０１では、撮影条件設定部１０５は、ユーザからＨＤＲ合成用の撮影条件の設定を受けつける。Ｓ１３０２では、撮影条件設定部１０６は、ユーザから幾何補正用の撮影条件の設定を受けつける。

Ｓ１３０３では、撮影条件設定部１０５及び１０６は、設定されたＨＤＲ合成用撮影条件及び幾何補正用撮影条件をそれぞれのカメラに対して設定する。Ｓ１３０４では、撮影部２０１は、設定された撮影条件に基づき、同期撮影を実行する。Ｓ１３０５では、画像記録部１１０１は、撮影された動画像データと撮影条件情報を記録する。

●画像処理装置
図１４は、第２実施形態における画像処理部の機能構成を示す図である。

画像入力部１４０１は、処理対象となる複数の動画像ファイルおよび撮影条件情報を画像記録部１１０１から取得する。画像入力部１４０１は、例えばＰＣのアプリケーションや画像処理回路の実装された専用装置のアプリケーションである。ユーザはこのアプリケーション上で処理対象の動画像データおよび撮影条件情報を入力する。なお、撮影条件情報が動画像データのヘッダ等に記録されている場合は、動画像データのみ選択すれば良い。

パラメータ算出部２０２は、入力された動画像データと撮影条件情報に基づき、幾何補正パラメータを算出する。幾何補正処理部２０３は、算出された幾何補正パラメータに基づき、入力された動画像データに対して幾何補正処理を実行する。ＨＤＲ合成処理部２０４は、幾何補正処理後の動画像データに対しＨＤＲ合成処理を行う。画像出力部１０８は、ＨＤＲ合成処理が施された動画像データをＨＤＲ動画像ファイルとして出力する。

図１５は、第２実施形態における画像処理を示すフローチャートである。

Ｓ１５０１では、画像入力部１４０１は、ユーザの指示に基づいて処理対象の動画像データと撮影条件情報を入力する。Ｓ１５０２では、パラメータ算出部２０２は、入力された撮影条件情報から、幾何補正用フレームとして指定されたフレーム番号を抽出する。Ｓ１５０３では、パラメータ算出部２０２は、抽出したフレーム番号に対応するフレーム画像を用いて幾何補正パラメータを算出する。Ｓ１５０４では、幾何補正処理部２０３は、算出された幾何補正パラメータを用いて幾何補正処理を実行する。Ｓ１５０５では、ＨＤＲ合成処理部２０４は、幾何補正された動画像データに基づいてＨＤＲ合成処理を実行する。Ｓ１５０６では、画像出力部１０８は、ＨＤＲ合成処理が施された動画像データをＨＤＲ動画像ファイルとして出力する。

以上説明したとおり第２実施形態によれば、複数のカメラを用いるＨＤＲ撮影システムにおいて、ＨＤＲ合成用の撮影条件とは別個に幾何補正用の撮影条件を設定し撮影を行う。そして、撮影データを撮影条件情報と共に記録部に記録する。画像処理装置は、記録部に記録された撮影条件情報に基づいて幾何補正用の撮影条件で撮影されたフレーム画像のペアを特定し幾何補正パラメータを導出する。これにより、位置ズレによる劣化の抑制された高品位なＨＤＲ合成映像を得ることが可能となる。

（第３実施形態）
第３実施形態では、単一のカメラ内で、プリズム等を用いて分割された像を複数のセンサを用いて同期撮影しＨＤＲ合成する形態について説明する。第１実施形態と同様の構成、処理内容に関しては説明を割愛し、異なる構成および処理について説明を行う。

●撮影システム
図１６に、第３実施形態における撮影システムの概略構成を示す図である。使用するセンサ数は２つに限定するものではないが、説明を簡単にするため、２つのセンサを用いる場合を例にとって説明する。

撮影システムは、レンズ１６０２及びプリズム１６０５を含む光学系を共有した２つのセンサにより同期撮影を行う。低露出撮影用のセンサ１６０３は相対的に低い露出で撮影するセンサ、高露出撮影用のセンサ１６０４は相対的に高い露出で撮影するセンサである。プリズム１６０５は、撮影対象からの光を透過および反射させることにより光路を分割して、センサ１６０３及びセンサ１６０４での同時撮影・同期撮影を可能とする。図１６に示すマルチセンサ方式においても、レンズ、プリズム、センサ等の光学部品の相対的な位置関係にズレが生じると、被写体画像の位置ズレが発生し得る。

また、図示していないが、センサ１６０３は、外付け又は内蔵の減光フィルタ（ＮＤフィルタ）を具備している。ここでは、当該ＮＤフィルタにより、センサ１６０３及びセンサ１６０４の相対的な露光量の制御することを想定している。なお、センサ１６０３及びセンサ１６０４の相対的な露光量の関係を制御できれば、シャッタースピードによる制御でも良い。

撮影条件設定アプリケーション１０４は、ＰＣ端末あるいは専用の制御端末であり、ＨＤＲ合成用の撮影条件設定部１０５、幾何補正用の撮影条件設定部１０６を含む。撮影条件設定部１０５は、それぞれのセンサについてＨＤＲ動画撮影用の撮影条件を設定する。撮影条件設定部１０６は、幾何補正パラメータの算出に用いるフレーム画像の撮影条件を設定する。これらの撮影条件は、第１実施形態と同様、露出に関する情報を含む。また、幾何補正用の撮影条件は、対象となるフレーム番号に関する情報を更に含む。

画像処理部１０７は、各センサで撮影された動画像データに対して幾何補正処理及びＨＤＲ合成処理を施す。画像出力部１０８は、ＨＤＲ合成処理が施され生成されたＨＤＲ動画像データをＨＤＲ動画像ファイルとして出力する。

以上説明したとおり第３実施形態によれば、光学系を共有した２つのセンサを用いるマルチセンサ方式においても、位置ズレによる劣化の抑制された高品位なＨＤＲ合成映像を得ることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ カメラ； １０２ カメラ； １０５ 撮影条件設定部； １０６ 撮影条件設定部； １０７ 画像処理部

Claims (9)

1. 第１の撮影部により撮影された第１の動画像と第２の撮影部により撮影された第２の動画像とを合成してハイダイナミックレンジ（ＨＤＲ）動画像を生成する撮影制御装置であって、
   ＨＤＲ合成に使用されるフレーム画像を撮影する際の前記第１の撮影部及び前記第２の撮影部における第１の撮影条件を設定する第１の設定手段と、
   前記第１の撮影条件とは異なる第２の撮影条件を設定する第２の設定手段と、
   前記第１の撮影条件と前記第２の撮影条件とを用いて前記第１の撮影部及び前記第２の撮影部による撮影を制御する撮影制御手段と、
   前記撮影制御手段による撮影制御により取得された前記第１の動画像及び前記第２の動画像のそれぞれに含まれる前記第２の撮影条件で撮影されたフレーム画像に基づいて、前記第１の動画像に含まれるフレーム画像と前記第２の動画像に含まれるフレーム画像との位置ズレを補正する補正パラメータを導出する導出手段と、
   前記補正パラメータを用いて前記第１の動画像及び前記第２の動画像の少なくとも一方に対し幾何補正処理を行い、該幾何補正処理後に前記第１の動画像と前記第２の動画像とを合成する合成手段と、
   を有することを特徴とする撮影制御装置。
2. 前記合成手段は、前記幾何補正処理後の前記第１の動画像と前記第２の動画像とをＨＤＲ合成する
   ことを特徴とする請求項１に記載の撮影制御装置。
3. 前記第２の設定手段は、更に、前記第２の撮影条件を利用して撮影するフレーム番号を設定するよう構成されており、
   前記導出手段は、前記フレーム番号に基づいて、前記撮影制御手段による撮影制御により取得された前記第１の動画像及び前記第２の動画像のそれぞれに含まれる前記第２の撮影条件で撮影されたフレーム画像を抽出する
   ことを特徴とする請求項１に記載の撮影制御装置。
4. 前記第１の設定手段は、前記第１の撮影部が前記ＨＤＲ合成に使用される低明度画像を撮影し前記第２の撮影部が前記ＨＤＲ合成に使用される高明度画像を撮影するように前記第１の撮影条件を設定し、
   前記導出手段は、前記撮影制御手段による撮影制御により取得された前記第１の動画像に含まれる複数のフレーム画像のうち相対的に高い明度のフレーム画像を前記第２の撮影条件で撮影されたフレーム画像として抽出する
   ことを特徴とする請求項１に記載の撮影制御装置。
5. 前記第２の撮影条件において、前記第１の撮影部に対する露出条件と前記第２の撮影部に対する露出条件とは同一である
   ことを特徴とする請求項１乃至４の何れか１項に記載の撮影制御装置。
6. 前記第１の撮影部及び前記第２の撮影部は、それぞれ、独立した光学系を有するカメラであるか、又は、光学系を共有するセンサである
   ことを特徴とする請求項１乃至５の何れか１項に記載の撮影制御装置。
7. 前記合成手段は、前記幾何補正処理後にパノラマ合成処理を行う
   ことを特徴とする請求項１に記載の撮影制御装置。
8. 第１の撮影部により撮影された第１の動画像と第２の撮影部により撮影された第２の動画像とを合成してハイダイナミックレンジ（ＨＤＲ）動画像を生成する撮影制御装置の制御方法であって、
   ＨＤＲ合成に使用されるフレーム画像を撮影する際の前記第１の撮影部及び前記第２の撮影部における第１の撮影条件を設定する第１の設定工程と、
   前記第１の撮影条件とは異なる第２の撮影条件を設定する第２の設定工程と、
   前記第１の撮影条件と前記第２の撮影条件とを用いて前記第１の撮影部及び前記第２の撮影部による撮影を制御する撮影制御工程と、
   前記撮影制御工程による撮影制御により取得された前記第１の動画像及び前記第２の動画像のそれぞれに含まれる前記第２の撮影条件で撮影されたフレーム画像に基づいて、前記第１の動画像に含まれるフレーム画像と前記第２の動画像に含まれるフレーム画像との位置ズレを補正する補正パラメータを導出する導出工程と、
   前記補正パラメータを用いて前記第１の動画像及び前記第２の動画像の少なくとも一方に対し幾何補正処理を行い、該幾何補正処理後に前記第１の動画像と前記第２の動画像とを合成する合成工程と、
   を含むことを特徴とする撮影制御装置の制御方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の撮影制御装置の各手段として機能させるためのプログラム。