JP6833746B2 - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の画像を合成してパノラマ画像を生成する撮像装置に関するものであり、特に高ダイナミックレンジを有するパノラマ画像を生成できる撮像装置に関するものである。

デジタルカメラなどの撮像装置をパンニングしながら複数の画像を撮像し、撮像した画像を繋ぎ合わせてパノラマ画像を生成する方法が知られている。特許文献１では、パノラマ撮像において、異なる露出の画像を撮像し、同一露出ごとのパノラマ画像を複数作成し、さらに異なる露出のパノラマ画像から高ダイナミックレンジパノラマ画像（以下、ＨＤＲパノラマ画像と称する）を合成する技術が開示されている。ただし、特許文献１に記載の技術では、同一露出のパノラマ画像を複数保持するために、撮像装置がメモリ容量を大量に備える必要がある。

そこで特許文献２では、パンニングしながらＨＤＲパノラマ画像の合成を行う旨の技術が開示されている。特許文献２には、３種類の露出で６枚の画像を撮像し、ＨＤＲパノラマ合成を行う技術が開示されている。簡略化のために、特許文献２に示した技術を、一次元方向上において「適正」「アンダー」２種類の露出で４枚の画像を撮像するのに適用する場合を考える。そうすると、露出が「適正」「アンダー」「適正」「アンダー」を４枚順次に撮像し、露出が「適正」と「アンダー」の画像を２枚ずつＨＤＲ合成し、２枚のＨＤＲ画像を生成する。最後に、２枚のＨＤＲ画像に対してパノラマ合成し、ＨＤＲパノラマ画像を生成する。特許文献２に記載の技術によれば、複数の大きなサイズのパノラマ画像を同時に保存する必要がないため、特許文献１に記載の技術と比べ、用いるメモリ容量が少ないことが考えられる。

特開２０１３−１７５８２７号公報 特開２０１２−８０４３２号公報

しかしながら、特許文献２に記載の技術では、ＨＤＲパノラマ画像が最終的に生成されるまでに、パンニング動作しながらＨＤＲパノラマ合成を行うため、通常のパノラマ合成と比べればパンニング速度が制限される。

例えば、通常のパノラマ撮像では、４枚の画像を撮像する場合、最終的にパノラマ画像の生成に用いる画像の数も４枚である。それに対して特許文献２に示した方法では、前述したように最終的にＨＤＲパノラマ画像の生成に用いる画像の数は２枚である。したがって、同じ画角の切り出し領域をパノラマ画像の合成に用いるとすると、特許文献２に示したＨＤＲ画像の合成は、パンニング速度を落とさないと、合成に用いるＨＤＲ画像に重畳する部分がなくなり、ＨＤＲパノラマ画像が生成できない。

本発明は、上記の課題を鑑みてなされたものであり、パンニングしながらＨＤＲパノラマ画像の合成を行う場合に、パンニング速度の制限を低減する方法を提供することができる。

上記課題を解決するため、本発明は、パンニング動作をしながら撮像する撮像手段と、パンニングしながら前記撮像手段が撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成手段と、前記撮像を行う際の露出を設定する設定手段と、を有し、前記設定手段は、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、前記合成手段は、前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成する第１の合成を行い、複数の前記第１の合成画像を生成し、隣り合う前記第１の合成画像は第１の合成に用いる組み合わせが異なり、該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、前記第１の合成と前記第２の合成とを行う際に位置合わせを行い、前記第１の合成を行う際の前記位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の前記位置合わせにも用いることを特徴とする撮像装置を提供する。

また、本発明は、パンニング動作をしながら撮像する撮像手段と、パンニングしながら前記撮像手段が撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成手段と、前記撮像を行う際の露出を設定する設定手段と、を有し、前記設定手段は、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、前記合成手段は、前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成する第１の合成を行い、前記複数の画像に対して前記第１の合成を行い、複数の前記第１の合成画像を生成し、該複数の第１の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、前記第１の合成を行う際の位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の位置合わせにも用いることを特徴とする撮像装置を提供する。

本発明の構成によれば、パンニングしながら撮像した画像からＨＤＲパノラマ画像を生成する場合、パンニング速度の制限を低減できる撮像装置を提供する。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。 大容量のパノラマ画像を同時に複数記録せずに、パノラマＨＤＲ画像を生成する一例を説明するための図である。 本発明の実施形態本実施形態を説明するためのフローチャートである。 本発明の実施形態本実施形態を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、後述する自動焦点検出（ＡＦ）処理がより素早くできる。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理、輝度調整等を行う。輝度調整は、たとえば、デジタルゲインによって実現される。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。さらに、画像処理部２０６は、パノラマ画像の合成のためのぶれ量算出、位置合わせ、円筒座標変換や歪曲補正するための幾何変換回路を有する。

なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モード、ＨＤＲパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

パノラマ画像には広い範囲の被写体が映るために、ダイナミックレンジの変化が激しい被写体が１つのパノラマ画像に含まれる可能性もある。こうした場合では、ＨＤＲ合成をパノラマ画像に適用する技術がしばしば用いられる。

図３は、従来のパノラマＨＤＲ画像を生成する一例を説明するための図である。図３で示した例では、パンニング動作をしながらパノラマＨＤＲ画像を作成する方法を示しており、ＨＤＲ合成が済み次第、元画像を削除すれば、必要な記録容量が少なくて済む。なお、図３では、後述の説明を簡潔にするために、アンダー・適正２種類の露出の画像しか使われていないが、３つ以上の種類の露出の画像の場合にも適用できる。

まず、デジタルカメラ１００は、被写体領域３００に対して６枚の画像３０１乃至３０６をパンニングしながら撮像したとする。そのうち、画像３０１、３０３、３０５は露出が適正で、画像３０２、３０４、３０６は露出がアンダーであるとする。次に、画像処理部２０６は、画像３０１と画像３０２、画像３０３と画像３０４、画像３０５と画像３０６のそれぞれに対してＨＤＲ合成を行い、ＨＤＲ画像３１１乃至３１３を生成する。最後に、画像処理部２０６は、ＨＤＲ画像３１１乃至３１３に対して順次にパノラマ合成を行う。最初に、画像処理部２０６はＨＤＲ画像３１１とＨＤＲ画像３１２を合成し、パノラマ画像３２１を生成する。次に、画像処理部２０６は生成したパノラマ画像３２１とＨＤＲ画像３１３を合成し、パノラマ画像３２２を生成する。なお、実際の合成では、画像の歪などを考慮し、撮像した画像をそのまま合成に用いるのでなく、撮像した画像の中央付近の定められた幅を切り出して合成に用いることも多い。

図３で示した合成方法では、ＨＤＲ画像３１１を生成した時点で、画像３０１と画像３０２とを記録媒体１３０から削除する。同様に、ＨＤＲ画像３１２を生成した時点で、画像３０３と画像３０４とを記録媒体１３０から削除し、ＨＤＲ画像３１３を生成した時点で、画像３０５と画像３０６とを記録媒体１３０から削除する。このように合成を行いながら不要な画像を削除することによって、必要な記憶容量の低減につながる。

しかしながら、図３に示した合成方法では、ＨＤＲパノラマ画像を隙間なく合成するために、ＨＤＲ画像３１１と３１２とは重畳する領域が存在する必要がある。同様に、ＨＤＲ画像３１２と３１３とも重畳する領域が存在する必要がある。撮像時のパンニング速度が重畳する領域により制限され、ユーザが速くパンニングすればＨＤＲパノラマ合成の失敗につながる。

本実施形態に記載の発明では、上記の課題に対して、パンニングしながらパノラマ画像を作成するとともに、パンニング速度に対する制限を低減できる。また、本実施形態では、ＨＤＲ画像の合成時に生成した位置合わせの情報をパノラマ合成に用いることができ、同じＨＤＲ画像の数に対する合成処理では、システム負荷の低減にもつながる。

図４は本実施形態を説明するためのフローチャートであり、図５は本実施形態を説明するための図である。以下では、図４と図５とを用いて、本実施形態の具体的な実施方法について説明する。なお、以下の説明では、便宜のため、露出を「適正」「アンダー」の２種類しか設定しないが、前述した通りそれに限らずに、露出の種類をもっと多く設定してもよい。

ステップＳ４０１では、システム制御部２１０はスイッチＳＷ１が押下されたかどうかについて判断する。スイッチＳＷ１が押下されるとステップＳ４０２に進む。

ステップＳ４０２では、システム制御部２１０がパノラマ撮像のための設定を行う。具体的に、予めユーザによって指示された設定と撮像部２０４が受光した撮像範囲に対して測光の結果に基づいて、「適正」な露出の値と露光ずらし量とを計算する。本実施形態の場合では、「適正」と「アンダー」と２種類の露出しかないので、システム制御部２１０が、「適正」な露出の値と露光ずらし量とから「アンダー」に相当する露出を計算する。

ステップＳ４０３では、システム制御部２１０はスイッチＳＷ２が押下されたかどうかについて判断する。スイッチＳＷ２が押下されるとステップＳ４０４に進む。このときから、ユーザが撮像したい範囲の一端からパンニング動作を始める。その場合、システム制御部２１０は、表示部１０１には「スイングを開始してください」または「パンニング動作を始めてください」などと、ユーザにパンニング動作を促す表示をしてよい。

ステップＳ４０４では、システム制御部２１０は、露出を「適正」に設定する。

ステップＳ４０５で、撮像部２０４は、「適正」の露出の設定のもとで撮像する。

ステップＳ４０６で、画像処理部２０６が、ステップＳ４０５で撮像部２０４が撮像した画像に対して、現像処理を行い、ＨＤＲ合成用の画像を生成する。現像処理には、たとえば、ホワイトバランス処理やγ補正処理などが含まれている。

ステップＳ４０７では、システム制御部２１０は、露出を「アンダー」に設定する。

ステップＳ４０８で、撮像部２０４は、「アンダー」の露出の設定のもとで撮像する。また、ステップＳ４０６の処理と、ステップＳ４０７およびステップＳ４０８の処理と、が並列に行われてもよい。

ステップＳ４０９で、画像処理部２０６が、ステップＳ４０８で撮像部２０４が撮像した画像に対して、現像処理を行う。処理の方法はステップＳ４０６と同様でよい。

ステップＳ４１０で、システム制御部２１０が、ステップＳ４０６とステップＳ４０９とで生成したＨＤＲ合成用の画像から、位置合わせのための動きベクトルの検出を行う。動きベクトルの検出では、射影変換など公知の方法を用いてよい。露出が異なるため、ベクトル検出が失敗する可能性もあるので、露出の差が一定以上の場合、ステップＳ４０６で生成した画像をゲインダウン、またはステップＳ４０９で生成した画像をゲインアップした画像を生成してもよい。その後、ゲインダウンした画像またはゲインアップした画像を用いてベクトル検出を行う。システム制御部２１０は、検出した動きベクトルの検出を保存する。

ステップＳ４１１で、画像処理部２０６は、ステップＳ４１０での動きベクトルの検出の結果をもって、ステップＳ４０６とステップＳ４０９とで生成したＨＤＲ合成用の画像に対して合成を行い、１枚のＨＤＲ画像を生成する。具体的に、画像処理部２０６は、ステップＳ４１０で検出した動きベクトルを用いて、幾何変換、変倍およびトリミング等の処理を経て、ＨＤＲ合成画像を生成する。

ステップＳ４１２で、システム制御部２１０は、再度、露出を「適正」に設定する。

ステップＳ４１３で、撮像部２０４は、「適正」の露出の設定のもとで撮像する。この一連の動作はパンニング動作が進行しながら行われているので、ステップＳ４０５で撮像した露出が「適正」な画像はステップＳ４１２で撮像した画像とは画角が異なる。

ステップＳ４１４で、画像処理部２０６が、ステップＳ４１３で撮像した画像に対して、現像処理を行う。その方法は、ステップＳ４０６と同様である。

ステップＳ４１５では、システム制御部２１０が、動きベクトルの検出を行う。具体的には、ステップＳ４１４で生成したＨＤＲ合成用の画像と、その直前に生成したＨＤＲ合成用の画像（ステップＳ４１４で生成したＨＤＲ合成用の画像と隣り合うＨＤＲ合成用の画像）とに対して動きベクトルの検出を行う。システム制御部２１０は、検出した動きベクトルの検出を保存する。

ステップＳ４１６で、画像処理部２０６は、ステップＳ４１５で動きベクトルの検出が行われた２枚のＨＤＲ合成用の画像に対して、ＨＤＲ合成を行う。

ステップＳ４１７では、システム制御部２１０は、ステップＳ４１６で生成したＨＤＲ画像とその直前に生成したＨＤＲ画像とに対してパノラマ合成を行う。つまり、ステップＳ４１１で生成したＨＤＲ画像とステップＳ４１６で生成したＨＤＲ画像とに対して、もしくは、ステップＳ４１６と前のループのステップＳ４１６で生成したＨＤＲ画像に対してパノラマ合成を行う。このとき、保存されたＨＤＲ合成用の画像間の動きベクトルを利用してパノラマ合成に必要な位置合わせを行う。この位置合わせについては後述する。

ステップＳ４１８では、システム制御部２１０は、再度、露出を「アンダー」に設定する。

ステップＳ４１９で、撮像部２０４は、「アンダー」の露出の設定のもとで撮像する。この一連の動作はパンニング動作が進行しながら行われているので、ステップＳ４０８で撮像した露出が「アンダー」な画像はステップＳ４１８で撮像した画像とは画角が異なる。

ステップＳ４２０で、画像処理部２０６は、ステップＳ４１９で撮像部２０４が撮像した画像に対して現像処理を行う。処理方法は、ステップＳ４０６での方法と同様でよい。

ステップＳ４２１で、システム制御部２１０は、ステップＳ４１４とステップＳ４２０とで生成したＨＤＲ合成用の画像に対して動きベクトルの検出を行う。システム制御部２１０は、検出した動きベクトルの検出を保存する。

ステップＳ４２２で、画像処理部２０６は、ステップＳ４２１で動きベクトルの検出が行われた２枚のＨＤＲ合成用の画像に対して、ＨＤＲ合成を行う。

ステップＳ４２３で、システム制御部２１０は、ステップＳ４１７で生成したパノラマ画像とステップＳ４２２で生成したＨＤＲ画像とに対してパノラマ合成を行う。このとき、保存されたＨＤＲ合成用の画像間の動きベクトルを利用してパノラマ合成に必要な位置合わせを行う。

ステップＳ４２４では、システム制御部２１０は、パノラマ撮像を終了するかどうかについて判断する。図４では、予め設定された上限の撮像枚数に達したかどうかをもってパノラマ撮像を終了するかを判断するように記載してあるが、それに限らずに、パンニング角度やＳＷ２の押下中止等で判断してもよい。図４に記載のフローチャートでは、撮像枚数に達した場合は、ステップＳ４２５に進み、システム制御部２１０は、ステップＳ４２３で合成したパノラマ画像を記録媒体１３０に保存する。撮像枚数に達していない場合、ステップＳ４１２に戻る。

図４に示したフローチャートに相当する撮像動作は、図５を用いて説明する。ユーザが、デジタルカメラ１００を用いてパンニングしながら被写体領域５００に対してパノラマ撮像を行う。パノラマ撮像で得られた画像は画像５０１乃至５０６である。そのうち、画像５０１、５０３、５０５は露出が「適正」の設定で撮像され、画像５０２、５０４、５０６は露出が「アンダー」の設定で撮像されたとする。パンニング動作と同時に、画像処理部２０６が、ＨＤＲ画像５１１乃至５１５を生成する。そのうち、画像処理部２０６は、画像５０１と５０２とを用いてＨＤＲ画像５１１を生成する。同様に、画像処理部２０６は、画像５０２と５０３とを用いてＨＤＲ画像５１２を生成し、画像５０３と５０４とを用いてＨＤＲ画像５１３を生成する。ＨＤＲ画像５１４と５１５とに関しても同様である。次に、システム制御部２１０は、ＨＤＲ画像の生成次第、パノラマ合成も行う。順次に、システム制御部２１０は、ＨＤＲ画像５１１とＨＤＲ画像５１２とを用いてパノラマ画像５２１を生成する。次に、システム制御部２１０は、ＨＤＲ画像５１３が生成され次第、ＨＤＲ画像５１３とパノラマ画像５２１とに合成を行い、パノラマ画像５２２を生成する。同様に、システム制御部２１０は、パノラマ画像５２２とＨＤＲ画像５１４とを用いてパノラマ画像５２３を生成し、パノラマ画像５２３とＨＤＲ画像５１５とを用いてパノラマ画像５２４を生成する。この段階で、一般的に、パノラマ画像の合成には、位置合わせとそのための動きベクトル検出が必要であるが、本実施形態では、ＨＤＲ画像５１１乃至５１５を生成する際の動きベクトルを用いるため、改めて動きベクトルを検出する必要がない。その理由について説明する。

１番目のＨＤＲ画像は、２枚目のＨＤＲ合成用の画像と１枚目のＨＤＲ合成用の画像が重複する領域である。２番目のＨＤＲ画像は、３枚目のＨＤＲ合成用の画像と２枚目のＨＤＲ合成用の画像が重複する領域である。３番目のＨＤＲ画像は、４枚目のＨＤＲ合成用の画像と３枚目のＨＤＲ合成用の画像が重複する領域である。そのため、１番目と２番目のＨＤＲ画像の間の動きベクトルは、２枚目と３枚目のＨＤＲ合成用の間の動きベクトルと等しく、２番目と３番目のＨＤＲ画像の間の動きベクトルは、３枚目と４枚目のＨＤＲ合成用の間の動きベクトルと等しい。すなわち、１番目のＨＤＲ画像と３番目のＨＤＲ画像の間の動きベクトルは、２枚目と３枚目のＨＤＲ合成用の間の動きベクトルと、３枚目と４枚目のＨＤＲ合成用の間の動きベクトルを合成したものになる。つまり、Ｎ個目のＨＤＲ画像と１つ目のＨＤＲ画像の動きベクトルは、２枚目と３枚目のＨＤＲ合成用の間の動きベクトルから、Ｎ枚目とＮ＋１枚目のＨＤＲ合成用の画像の間の動きベクトルまでを合成したものと等しくなる。このように、本実施形態では、ＨＤＲ画像間の動きベクトルを検出せずとも、ＨＤＲ合成用の画像間の動きベクトルを読み出すことで、ＨＤＲ画像の位置合わせをすることが可能となる。

図５に示した例では、パノラマ画像５２４は最終的な結果物なので、システム制御部２１０は、パノラマ画像５２４を記録媒体１３０に保存する。

上述したように、本実施形態で示したＨＤＲパノラマ画像の合成方法では、ＨＤＲ合成時の動きベクトルの情報をパノラマ画像の作成に必要な位置合わせにも利用することによって、再度位置合わせのための動きベクトルを求める必要がなくなる。また、図３と図５とに示した２種類のＨＤＲパノラマ画像の合成方法を比較すると、図５で示した方法では１つの画像が別々のＨＤＲ画像の合成に用いられ、合成したＨＤＲ画像の数がより多い。図５で示した方法では、合成したＨＤＲ画像の数が多い分、パノラマ画像の合成に用いる画角が同様であれば、画像間の重畳する部分が広い。一般的に、パノラマ画像の合成において、画像間の重畳する部分が広いほど、位置合わせ等の処理の精度が上がり、合成画像の品質が良くなる。つまり、同様なパンニング速度でＨＤＲパノラマ撮像を行うとき、本実施形態の方法では、より品質のよいＨＤＲパノラマ画像を合成することができる。

また、図３に示した方法と比べて、図５に示した方法は、より速くパンニングすることができる。もっと具体的に説明すると、図５に示した方法では、図３に示した方法と比べて、同じ枚数の画像を撮像したのにもかかわらず、生成したＨＤＲ画像の数が多くなる。図３のＨＤＲ画像３１１、３１２、３１３のぞれぞれは図５のＨＤＲ画像５１１、５１３、５１５に相当するが、図５のＨＤＲ画像５１２および５１４に相当する画像は図３に存在しない。図３に示した方法では、パノラマ画像３２１を生成するためには、ＨＤＲ画像３１１と３１２とは重畳する部分が存在する必要がある。撮像の時のパンニングの速度が、前述したような重畳する部分により制限される。それに対して、図５に示したような本実施形態の合成方法では、ＨＤＲ画像５１２が存在するため、パノラマ画像５２１を生成するために、はＨＤＲ画像５１１と５１２とは重畳する部分があればよい。図３に示したＨＤＲ画像３１２に相当するＨＤＲ画像５１３とＨＤＲ画像５１１とは、必ずしも重畳する部分がある必要がない。

なお、途中でＨＤＲ合成用の画像間の動きベクトルの検出に失敗してしまうと、そのＨＤＲ合成用の画像を用いたＨＤＲ画像を生成することができなくなるばかりか、それ以降のＨＤＲ画像の位置合わせもできなくなってしまうことになる。

例えば、図５においてＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０３の間の動きベクトルの検出に失敗し、ＨＤＲ合成用の画像５０３とＨＤＲ合成用の画像５０４の間の動きベクトルの検出に成功したとする。この場合、ＨＤＲ画像５１２を生成することはできない。

この場合は、システム制御部２１０は、ＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０４の間の動きベクトルの検出を行う。もし、ＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０４の間の動きベクトルの検出に成功すれば、このベクトルを用いてＨＤＲ画像５１１とＨＤＲ画像５１３の位置合わせをすることが可能となる。

また、図５においてＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０３の間の動きベクトルの検出に失敗し、ＨＤＲ合成用の画像５０３とＨＤＲ合成用の画像５０４の間の動きベクトルの検出にも失敗したとする。この場合、ＨＤＲ画像５１２、５１３を生成することはできない。

この場合は、システム制御部２１０は、ＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０５の間の動きベクトルの検出を行う。上述したように、露出が異なる複数の画像間の動きベクトルを求めるためには、両者の明るさがそろうように、少なくとも一方の画像のゲインを調整することが望ましい。もし、ＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０５の間の動きベクトルの検出に成功すれば、このベクトルを用いてＨＤＲ画像５１１とＨＤＲ画像５１４の位置合わせをすることが可能となる。

あるいは、動きベクトルの検出精度を上げるために、露出条件が等しくなるＨＤＲ合成用の画像５０２とＨＤＲ合成用の画像５０６の間の動きベクトルを検出するようにしてもよい。ただし、この場合は、ＨＤＲ画像５１１に対してＨＤＲ画像５１５を合成することになるため、パンニング速度が速いほど、両者の重複領域が小さく、あるいは、なくなってしまう可能性が高くなる。

また、上記実施形態では、露出が「適正」「アンダー」２種類を例として説明したが、これに限らず、たとえば、「適正」「アンダー」「オーバー」３種類でもよい。その場合、ステップＳ４１１などでのＨＤＲ合成では、３枚のＨＤＲ合成用の画像を用いる。さらに、３種類以上の露出で周期的に異ならせて画像を撮像してもよい。

本実施形態によれば、パンニングしながら撮像した画像からＨＤＲパノラマ画像を生成することができ、システムにかかる負荷を減らすことができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、パノラマ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (12)

1. 撮像する撮像手段と、
   前記撮像手段が撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成手段と、
   前記撮像を行う際の露出を設定する設定手段と、を有し、
   前記設定手段は、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、
   前記合成手段は、
   前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成し、１つの前記画像が別々の前記第１の合成画像の合成に用いられ、
   複数の前記第１の合成画像を生成し、隣り合う前記第１の合成画像は第１の合成に用いる組み合わせが異なり、
   該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、
   前記第１の合成と前記第２の合成とを行う際に位置合わせを行い、
   前記第１の合成を行う際の前記位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の前記位置合わせにも用いることを特徴とする撮像装置。
2. 撮像する撮像手段と、
   前記撮像手段が撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成手段と、
   前記撮像を行う際の露出を設定する設定手段と、を有し、
   前記設定手段は、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、
   前記合成手段は、
   前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成する第１の合成を行い、
   前記複数の画像に対して前記第１の合成を行い、複数の前記第１の合成画像を生成し、
   該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、
   前記第１の合成を行う際の位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の位置合わせにも用いることを特徴とする撮像装置。
3. 前記合成手段は、前記第１の合成を行う際に動きベクトルの検出を行い、該動きベクトルを前記第２の合成にも用いることを特徴とする請求項２に記載の撮像装置。
4. 前記合成手段は、順次に前記複数の画像に対して前記第２の合成を行い、前記第２の画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記設定手段は、前記撮像手段が前記複数の画像を撮像する際に、前記露出を周期的に異ならせることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記合成手段は、１つの周期の前記画像の数の前記露出の異なる前記画像に対して前記第１の合成を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記１つの周期の前記画像の数は２または３であることを特徴とする請求項６に記載の撮像装置。
8. 撮像する撮像ステップと、
   前記撮像ステップにおいて撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
   前記撮像を行う際の露出を設定する設定ステップと、を有し、
   前記設定ステップにおいては、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、
   前記合成ステップにおいては、
   前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成し、１つの前記画像が別々の前記第１の合成画像の合成に用いられ、
   複数の前記第１の合成画像を生成し、隣り合う前記第１の合成画像は第１の合成に用いる組み合わせが異なり、
   該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、
   前記第１の合成と前記第２の合成とを行う際に位置合わせを行い、
   前記第１の合成を行う際の前記位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の前記位置合わせにも用いることを特徴とする撮像方法。
9. 撮像する撮像ステップと、
   前記撮像ステップにおいて撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
   前記撮像を行う際の露出を設定する設定ステップと、を有し、
   前記設定ステップにおいては、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、
   前記合成ステップにおいては、
   前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成する第１の合成を行い、
   前記複数の画像に対して前記第１の合成を行い、複数の前記第１の合成画像を生成し、
   該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、
   前記第１の合成を行う際の位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の位置合わせにも用いることを特徴とする撮像方法。
10. 撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
    撮像する撮像ステップと、
    前記撮像ステップにおいて撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
    前記撮像を行う際の露出を設定する設定ステップと、を行わせ、
    前記設定ステップにおいては、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、
    前記合成ステップにおいては、
    前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成し、１つの前記画像が別々の前記第１の合成画像の合成に用いられ、
    複数の前記第１の合成画像を生成し、隣り合う前記第１の合成画像は第１の合成に用いる組み合わせが異なり、
    該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、
    前記第１の合成と前記第２の合成とを行う際に位置合わせを行い、
    前記第１の合成を行う際の前記位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の前記位置合わせにも用いることを特徴とするコンピュータのプログラム。
11. 撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
    撮像する撮像ステップと、
    前記撮像ステップにおいて撮像を行って取得した複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
    前記撮像を行う際の露出を設定する設定ステップと、を行わせ、
    前記設定ステップにおいては、前記複数の画像のうちの隣り合う２つ以上の画像を撮像する際の前記露出を異ならせるように設定し、
    前記合成ステップにおいては、
    前記複数の画像のうち、前記露出の異なる画像に対して第１の合成を行い、該露出の異なる画像よりもダイナミックレンジの広い第１の合成画像を生成する第１の合成を行い、
    前記複数の画像に対して前記第１の合成を行い、複数の前記第１の合成画像を生成し、
    該複数の画像を用いて前記第１の合成画像よりも画角の広い第２の画像を生成する第２の合成を行い、
    前記第１の合成を行う際の位置合わせのための計算を行い、該計算の結果を前記第２の合成を行う際の位置合わせにも用いることを特徴とするコンピュータのプログラム。
12. 請求項１０または１１に記載のプログラムを記録した記録媒体。

Images