JP6869841B2 - 画像処理装置、画像処理装置の制御方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法、およびプログラムに関するものである。

特許文献１には、撮像装置をパンニングしながら静止画を連続撮影し、得られた複数の静止画から広角画像（以下、「パノラマ画像」という）を生成する手法が提案されている。パノラマ画像を生成する際に、合成する複数の画像の位置ずれの検出精度が低い場合には画像の繋ぎ目が不自然になる。このため、パノラマ画像を生成する場合には、合成する複数の画像の位置ずれの検出精度が重要になる。このような位置ずれの検出に関する技術として特許文献２に記載の技術がある。特許文献２には、合成対象の２つの画像スリットと位置合わせスリットとのそれぞれの相対位置を算出することで、２つの画像スリットの水平方向の位置ずれを検出する手法が開示されている。

特開２０１３−４６２７０号公報 特開２０１３−３０８７４号公報

しかしながら、特許文献２の方法では、２つの画像スリットを合成するために２回の位置ずれの検出が必要なため、位置ずれを検出するために時間がかかる。また、画像を合成するために合成対象の画像とは別の画像が必要になる。さらに、画像スリットと位置合わせスリットとの重複領域が小さい場合には、位置ずれの検出精度が低下する虞がある。
本発明は、このような問題点に鑑みてなされたものであり、合成対象の画像の位置ずれの検出精度を、過大な処理負荷をかけることなく向上させることを目的とする。

本発明の画像処理装置は、第１の撮像画像と合成される第２の撮像画像の領域であって、前記第１の撮像画像との位置ずれを検出するための領域である位置ずれ検出領域の範囲を、予め定められた条件を満たす場合に削減する削減手段と、前記削減手段により削減された前記位置ずれ検出領域の情報を用いて、前記第１の撮像画像と前記第２の撮像画像との位置合わせを行う位置合わせ手段と、を有し、前記位置合わせ手段は、前記位置ずれ検出領域に設定される複数のブロックごとに、前記位置合わせを行うための情報を導出し、導出した情報を用いて、前記第１の撮像画像と前記第２の撮像画像との位置合わせを行い、前記削減手段により削減された前記位置ずれ検出領域に設定される前記複数のブロックの密度は、前記削減手段により削減されない前記位置ずれ検出領域に設定される前記位置ずれ検出領域に設定される前記複数のブロックの密度よりも高いことを特徴とする。

本発明によれば、合成対象の画像の位置ずれの検出精度を過大な処理負荷をかけることなく向上させることができる。

デジタルカメラの外観構成を示す図である。 デジタルカメラのハードウェア構成を示す図である。 パンニング方向と画像データの切り抜き領域との関係を説明する図である。 パノラマ画像の合成処理と画像データとの対応関係を説明する図である。 パノラマ画像の位置ずれの検出方法の第１の例を説明する図である。 デジタルカメラの処理の第１の例を説明するフローチャートである。 パノラマ画像の位置ずれの検出方法の第２の例を説明する図である。 デジタルカメラの処理の第２の例を説明するフローチャートである。

以下、図面を参照しながら、実施形態を説明する。以下の各実施形態では、画像処理装置がデジタルカメラに含まれる場合を例に挙げて説明する。しかしながら、以下の各実施形態において画像処理装置は、パノラマ画像を生成することができる装置であれば、どのような装置にも適用することができる。例えば、各種携帯機器（スマートフォン、タブレット等）、工業用カメラ、車載用カメラ、医療用カメラに、以下の各実施形態の画像処理装置を適用することができる。

（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、デジタルカメラ１００の外観構成の概略の一例を示す図である。図１では、デジタルカメラ１００の背面の斜視図を示す。
図１において、デジタルカメラ１００の背面には、表示部１０１と、操作部１０２ａ〜１０２ｄとが設けられている。表示部１０１は、画像や各種の情報を表示する。操作部１０２ａ〜１０２ｄは、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材を有する。

また、デジタルカメラ１００の背面には、コントローラホイール１０３と、モード切替スイッチ１０４とが設けられている。コントローラホイール１０３は、回転操作が可能な部材である。コントローラホイール１０３は、表示部１０１に表示される画面において選択項目を指定するとき等に使用される。モード切替スイッチ１０４は、撮影モード等を切り替えるためのスイッチである。撮影モードには、例えば、静止画撮影モード、動画撮影モード、および再生モードが含まれる。静止画撮影モードは、オート撮影モード等の他に、パンニング撮影によりパノラマ画像を生成するパノラマ画像合成モードを含む。

デジタルカメラ１００の上面には、シャッタボタン１２１と、電源スイッチ１２２と、ストロボ１４１とが設けられている。シャッタボタン１２１は、撮影指示を行うために使用される。電源スイッチ１２２は、デジタルカメラ１００の電源のオン／オフを切り替えるために使用される。ストロボ１４１は、被写体に対して閃光を照射する。

デジタルカメラ１００は、接続ケーブル１１１およびコネクタ１１２を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、記憶媒体スロット（不図示）が設けられている。記憶媒体スロットは、蓋１３１により開閉可能である。記憶媒体スロットに対してメモリカード等の記憶媒体１３０を挿抜することができる。

記憶媒体スロットに格納された記憶媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。尚、記憶媒体１３０は、記憶媒体スロットに対して挿抜可能な記憶媒体（メモリカード等）に限定されるものでない。記憶媒体１３０は、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。また、記憶媒体１３０は、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成の一例を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮影レンズ２０２、シャッタ２０３および撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮影レンズ２０２は、撮像光学系を構成する。撮影レンズ２０２は、ズームレンズおよびフォーカスレンズを含むレンズ群により構成される。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子である。撮像部２０４は、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。尚、シャッタ２０３は、機械式シャッタであってもよいし、電子シャッタであってもよい。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９およびシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力される。Ａ／Ｄ変換器２０５は、このアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、および色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は、撮像された画像の画像データを用いて所定の演算処理を行う。システム制御部２１０は、画像処理部２０６の演算処理の結果に基づいて露光制御や測距制御等を行う。

画像処理部２０６は、複数の画像からパノラマ画像を生成する画像合成処理回路を有する。画像合成処理回路は、単純な加算合成や加算平均合成だけでなく、比較明合成や比較暗合成等の処理を行うことができる。比較明合成では、合成対象の画像データの各領域において最も明るい値を持つ画素を選択して合成することで１枚の画像データが生成される。比較暗合成では、合成対象の画像データの各領域において最も暗い値を選択して合成することで１枚の画像データが生成される。尚、画像合成処理回路は、画像処理部２０６とは別の画像合成部として構成されていてもよいし、システム制御部２１０が画像合成処理回路の機能を担う構成であってもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６およびメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示される画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。尚、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給する。これにより、表示部１０１に画像が表示される。表示部１０１は、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置である。尚、デジタルカメラ１００は、電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマー２１２、システムメモリ２１３、検出部２１５およびストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有する。システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備える。システム制御部２１０は、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。尚、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。

システムタイマー２１２は、各種の制御に用いる時間やデジタルカメラ１００に内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロセンサ等のセンサを含む。検出部２１５は、デジタルカメラ１００の角速度情報および姿勢情報等を取得する。尚、角速度情報は、パンニング撮影時のデジタルカメラ１００の角速度および角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。本実施形態では、例えば、パンニング撮影時のデジタルカメラ１００の角速度および角加速度が、撮像手段の動きを表す物理量の一例である。また、例えば、水平方向に対するデジタルカメラ１００の傾きが、撮像手段の姿勢を表す物理量の一例である。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮影準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮影開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記憶媒体１３０への画像データの書き込みまでの一連の撮影動作を行う。

デジタルカメラ１００は、電源部２１４および電源制御部２１８を備える。電源部２１４は、一次電池、二次電池、或いはＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４から出力される電力を、記憶媒体１３０を含む各部へ供給する。
デジタルカメラ１００は、記憶媒体Ｉ／Ｆ２１６を備える。記憶媒体Ｉ／Ｆ２１６は、記憶媒体１３０とシステム制御部２１０との間の通信を可能にするためのインターフェースである。

次に、パンニング撮影の方法と、複数の撮影画像からパノラマ画像を合成する方法の一例について説明する。最初に、パノラマ画像を生成するために撮影画像の画像データから所定の領域を切り抜く処理の一例について説明する。
図３は、デジタルカメラ１００をパンニングさせる方向と画像データから切り抜く切り抜き領域との関係の一例を説明する図である。図３（ａ）は、撮像部２０４が有する撮像素子（イメージセンサ）の有効画像領域の一例を示す図である。図３（ａ）において、"Ｗｖ"は水平方向の有効画素数であり、"Ｈｖ"は垂直方向の有効画素数である。図３（ｂ）は、撮影画像の画像データから切り抜いた切り抜き領域の一例を示す図である。図３（ｂ）において、"Ｗｃｒｏｐ"は水平方向の切り抜き画素数であり、"Ｈｃｒｏｐ"は垂直方向の切り抜き画素数である。

図３（ｃ）は、矢印で示す水平方向にデジタルカメラ１００をパンニングさせて撮影を行った場合の画像データに対する切り抜き領域の一例を示す図である。図３（ｃ）において、ハッチングにて示した領域Ｓ１が画像データからの切り抜き領域を示す。切り抜き領域Ｓ１の水平方向の切り抜き画素数Ｗｃｒｏｐは、水平方向の有効画素数Ｗｖ未満（Ｗｖ＞Ｗｃｒｏｐ）とする。切り抜き領域Ｓ１の垂直方向の切り抜き画素数Ｈｃｒｏｐは、垂直方向の有効画素数Ｈｖと同じ（Ｈｖ＝Ｈｃｒｏｐ）とする。

図３（ｄ）は、矢印で示す鉛直方向にデジタルカメラ１００をパンニングさせて撮影を行った場合の画像データに対する切り抜き領域の一例を示す図である。図３（ｄ）において、ハッチングにて示した領域Ｓ２が画像データの切り抜き領域を示す。切り抜き領域Ｓ２の水平方向の切り抜き画素数Ｗｃｒｏｐは、水平方向の有効画素数Ｗｖと同じ（Ｗｖ＝Ｗｃｒｏｐ）とする。切り抜き領域Ｓ２の垂直方向の切り抜き画素数Ｈｃｒｏｐは、垂直方向の有効画素数Ｈｖ未満（Ｈｖ＞Ｈｃｒｏｐ）とする。

撮影画像の画像データの切り抜き領域は、画像データ毎に異なるようにしてもよい。また、画角を広くするために、パンニング開始時の画像データとパンニング終了時の画像データについては、切り抜き領域を広くしてもよい。画像データの切り抜き領域の決定方法は、例えば、撮影直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度との差等により決定することができる。パノラマ画像の合成処理に必要な画像データのみを切り抜いて保存することにより、メモリ２０９の記憶容量を節約することができる。

次に、パノラマ画像の生成方法の一例について説明する。
システム制御部２１０は、パンニング撮影時に切り抜かれて保存された画像データをメモリ２０９から読み出し、読み出した画像データに対応する画像間の位置ずれを検出する。システム制御部２１０は、例えば、以下のようにして位置ずれを検出することができる。まず、システム制御部２１０は、各切り抜き領域を任意のサイズの位置合わせ用小ブロックに分割する。次に、システム制御部２１０は、合成対象の画像データにおける２つの切り抜き領域について、位置合わせ用小ブロック毎に輝度のＳＡＤ（Sum of Absolute Difference）を導出する。次に、システム制御部２１０は、ＳＡＤが最小となる位置合わせ用小ブロックを対応点として導出し、動きベクトルを算出する。尚、動きベクトルの算出は、検出部２１５によって検出される角速度情報や姿勢情報等を用いて行ってもよい。続いて、システム制御部２１０は合成対象の画像データにおける２つの切り抜き領域の画像間で求めた動きベクトルに基づいて、当該切り抜き領域の画像間の位置ずれを補正し、当該切り抜き領域の画像間の重複部を加重加算等により合成する。

図４は、パノラマ画像の合成処理の流れと画像データとの対応関係の一例を説明する図である。図４において、ドットでハッチングされた領域は、被写界にある並木を模式的に表した領域である。図４において、斜線でハッチングされた領域は、画像データの切り抜き領域を表す。図４の一番上は、シャッタボタン１２１の第１スイッチＳＷ１がオンされた状態を示し、ユーザは、パノラマ画像の略中央で、ピント合わせを行っていることを示す。図４の上から二番目は、シャッタボタン１２１の第２スイッチＳＷ２がオンされた状態を示し、パノラマ画像の一方の端に被写界を設定している様子を示す。

図４の上から三番目は、パノラマ画像の他方の端に向けてデジタルカメラ１００をパンニングさせながら、第１の撮影条件で連続撮影を行っている状態を模式的に示す。図４の上から四番目は、デジタルカメラ１００をパンニングさせながら、第２の撮影条件（例えば、ストロボ１４１を発光させる撮影条件）で撮影を行っている状態を模式的に示す。図４の上から五番目は、設定された角度までデジタルカメラ１００のパンニングが行われ、連続撮影が終了した状態を示す。図４の一番下は、撮影された複数の画像（静止画）から合成されたパノラマ画像を示す。このように図４に示す例では、図４の上から二番目〜五番目の矩形で示す画像が連続して撮影され、これらの画像を合成することにより、図４の一番下に示すパノラマ画像が生成される。

次に、パノラマ画像の位置ずれの検出方法の一例について説明する。図５は、パノラマ画像の位置ずれの検出方法の一例を説明する図である。図５（ａ）は、水平方向にデジタルカメラ１００をパンニングしながらパノラマ撮影を行った場合に画像データから切り抜かれた領域同士の重複関係の一例を示す図である。図５（ａ）において、斜線でハッチングされた領域は、合成対象の２つの画像間で共通している重複領域を示す。図５（ｂ）、図５（ｃ）は、図５（ａ）の上に示す画像に対する図５（ａ）の下に示す画像の位置ずれを検出するときに設定される位置合わせ用小ブロックの一例を示す。図５（ｂ）、図５（ｃ）において、ドットでハッチングされた領域が位置合わせ用小ブロックである。

位置合わせ処理では、図５（ｂ）のように画像を任意のサイズの位置合わせ用小ブロックに分割して、位置合わせ用小ブロックごとに動きベクトルの算出を行う。パノラマ撮影では、図５（ａ）の上の図と下の図のように、時間的に連続した画像において、水平方向および垂直方向の少なくとも何れか一方の画角がずれる。そのため、図５（ｂ）に示すように、図５（ａ）の下の図に示す斜線でハッチングされていない領域に位置合わせ用小ブロックを設定しても、この位置合わせ用小ブロックでは動きベクトルが検出できないため無駄になる。そこで、本実施形態では、システム制御部２１０は、検出部２１５で取得した角速度情報および姿勢情報を用いて、合成対象の２つの画像間で重複しない未重複領域を導出する。そして、システム制御部２１０は、図５（ｃ）に示すように、位置合わせ用小ブロックを、合成対象の２つの画像間で重複する重複領域にのみ設定する。

このようにして位置合わせ用小ブロックを設定することで、必要ない領域で動きベクトルの検出が行われなくなる。このとき、システム制御部２１０は、位置合わせ用小ブロックの数を変更しないように設定してもよい。そのように設定することで、図５（ｃ）に示すように、位置合わせ用小ブロックの密度が増加するため、エッジが検出しやすくなり位置ずれの検出精度が向上する。本実施形態では、例えば、複数の位置合わせ用小ブロックが、複数のブロックの一例であり、動きベクトルが、位置合わせを行うための情報の一例である。

図６は、パノラマ撮影を行う際のデジタルカメラ１００の処理の一例を説明するフローチャートである。図６のフローチャートによるパノラマ画像の合成処理は、例えば、ユーザが、モード切替スイッチ１０４でパノラマ画像合成モードを選択した場合に実行される。図６の各ステップの処理は、例えば、システム制御部２１０が、不揮発性メモリ２１１から読み出した所定のプログラムをシステムメモリ２１３上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。

第２スイッチＳＷ２がオンにされると、Ｓ６０１においてシステム制御部２１０は、デジタルカメラ１００の各部を制御してｎ枚目の撮影処理（１画像の撮影）を実行する。次に、Ｓ６０２において、システム制御部２１０は、画像処理部２０６を用いて、位置ずれ検出前処理を行う。即ち、システム制御部２１０は、撮影前に定まる撮影条件で撮影された画像データを、画像処理部２０６を用いて、パンニングの方向に応じて短冊状に切り抜くことにより合成用画像データを生成する。そして、システム制御部２１０は、その合成用画像データに対して歪曲補正や円筒変換補正をかけ、位置ずれ検出用縮小画像を生成する。

その後再度第２スイッチＳＷ２がオンにされると、Ｓ６０３においてシステム制御部２１０は、デジタルカメラ１００の各部を制御してｎ＋１枚目の撮影処理（１画像の撮影）を実行する。ユーザが第２スイッチＳＷ２を押下したままで連続撮影を指示した場合、システム制御部２１０は、Ｓ６０３のｎ＋１枚目の撮影と並行してＳ６０２の位置ずれ検出前処理を行ってもよい。また、Ｓ６０２の位置ずれ検出前処理が完了するまで、Ｓ６０３のｎ＋１枚目の撮影のため第２スイッチＳＷ２をオンにできないようにシステム制御部２１０が制御してもよい。本実施形態では、例えば、ｎ枚目の画像が、第１の撮像画像の一例であり、ｎ＋１枚目の画像が、第２の撮像画像の一例である。

次に、Ｓ６０４において、システム制御部２１０は、Ｓ６０２と同じくｎ＋１枚目の画像データに対し、画像処理部２０６を用いて位置ずれ検出前処理を行う。
次に、Ｓ６０５において、システム制御部２１０は、検出部２１５で検出されたデジタルカメラ１００の角速度情報を取得する。また、システム制御部２１０は、システムタイマー２１２で計測された時間から、ｎ枚目とｎ＋１枚目の撮影間の経過時間を取得する。システム制御部２１０は、これらの角速度情報および経過時間を用いて、ｎ枚目とｎ＋１枚目の撮影間でデジタルカメラ１００がパンニングされた量を導出する。システム制御部２１０は、角速度情報と経過時間を、ｎ＋１枚目の撮影時ではなく、ｎ枚目とｎ＋１枚目の撮影間で所定の間隔で取得し続け、その積分値から、ｎ枚目とｎ＋１枚目の撮影間でデジタルカメラ１００がパンニングされた量を算出してもよい。本実施形態では、例えば、ｎ枚目とｎ＋１枚目の撮影間でデジタルカメラ１００がパンニングされた量が、撮像手段の動きの量の一例である。

次に、Ｓ６０６において、システム制御部２１０は、Ｓ６０５で取得したパンニング量を用いてｎ枚目とｎ＋１枚目の合成用画像データで重ならない未重複領域を導出する。次に、Ｓ６０７において、システム制御部２１０は、Ｓ６０５で取得したパンニング量が規定値（閾値）以上であるか否かを判定する。この判定の結果、Ｓ６０５で取得したパンニング量が規定値以上でない場合、処理は、Ｓ６０８を省略して後述するＳ６０９に進む。一方、Ｓ６０５で取得したパンニング量が規定値以上である場合、Ｓ６０８において、システム制御部２１０は、Ｓ６０６で導出した未重複領域を、ｎ枚目とｎ＋１枚目の合成用画像データの位置ずれ検出時に使用しない無効領域として設定する。本実施形態では、例えば、無効領域が、不使用領域の一例である。

位置ずれの検出を行うには、事前に画像データに対して低コントラスト判定を行う必要がある。このため、Ｓ６０９において、システム制御部２１０は、画像処理部２０６を用いて、位置ずれの検出のための低コントラスト判定領域を設定する。即ち、システム制御部２１０は、Ｓ６０８で設定した無効領域を除いたｎ枚目とｎ＋１枚目の合成用画像データの重複領域を、ｎ＋１枚目の画像データにおける、位置ずれの検出のための低コントラスト判定領域として設定する。Ｓ６０７において、Ｓ６０５で取得したパンニング量が規定値以上でないと判定された場合、処理は、Ｓ６０８に進む。そして、Ｓ６０８において、システム制御部２１０は、画像処理部２０６を用いて、ｎ＋１枚目の合成用画像データの全画素を、位置ずれの検出のための低コントラスト判定領域として設定する。

ここで、動きベクトルを導出するための処理時間は、低コントラスト判定領域の大きさに依存する。また、画像処理部２０６の処理速度が遅い場合や、メモリ２０９が十分なサイズでない場合には、連写可能枚数が少なくなる。このような場合、十分な連写可能枚数を得られるようにするために、動きベクトルを導出するための処理時間を削減する必要がある。そこで、システム制御部２１０は、低コントラスト判定領域として、合成対象の画像データの全画素ではなく、十分な連写可能枚数を得られるような所定の大きさの領域を設定してもよい。所定の大きさの領域は、例えば、メモリ２０９や画像処理部２０６の性能に応じて定められる。本実施形態では、例えば、ｎ＋１枚目の合成用画像データの全画素の領域や、ｎ＋１枚目の合成用画像データの所定の大きさの領域が、位置ずれ検出領域の一例である。

また、Ｓ６０７において、システム制御部２１０は、Ｓ６０５で導出したパンニング量ではなく、Ｓ６０６で導出した未重複領域の大きさによって、未重複領域を無効領域とするか否かを判断してもよい。さらに、Ｓ６０５で取得する角速度情報およびＳ６０６で導出する未重複領域は、（デジタルカメラ１００の）水平方向もしくは垂直方向に限定してもよいし、水平方向と垂直方向との双方を考慮してもよい。未重複領域を水平方向に限定する場合には、例えば、角速度の水平方向の成分に基づいて、未重複領域が導出される。未重複領域を垂直方向に限定する場合には、例えば、角速度の垂直方向の成分に基づいて、未重複領域が導出される。本実施形態では、（デジタルカメラ１００の）水平方向および垂直方向の少なくとも何れか一方の領域を未重複領域（無効領域）とすることにより、不使用領域として、撮像手段の水平方向および垂直方向の少なくとも何れか一方の方向の領域の一例が実現される。

次に、Ｓ６１０において、システム制御部２１０は、Ｓ６０９で設定された低コントラスト判定領域において、画像処理部２０６を用いて、低コントラスト判定を行う。例えば、システム制御部２１０は、Ｓ６０９で設定された低コントラスト判定領域からエッジを検出し、エッジが検出されない領域を低コントラストの領域と判定する。
次に、Ｓ６１１において、システム制御部２１０は、Ｓ６０９で低コントラストの領域と判定されなかった領域に対し、画像処理部２０６を用いて動きベクトルを導出する。すなわち、システム制御部２１０は、画像処理部２０６を用いて、エッジが検出された領域のみから動きベクトルを導出する。そして、システム制御部２１０は、その動きベクトルを用いて、ｎ枚目の画像データに対するｎ＋１枚目の画像データの位置ずれを補正するための位置ずれ補正係数を導出する。

次に、Ｓ６１２において、システム制御部２１０は、Ｓ６１１で導出した位置ずれ補正係数を用いてｎ＋１枚目の合成用画像データに対しアフィン変換を行う。次に、Ｓ６１３において、システム制御部２１０は、画像処理部２０６を用いて、ｎ枚目とｎ＋１枚目の合成用画像データを合成し、１枚の合成画像データを生成する。次に、Ｓ６１４において、システム制御部２１０は、Ｓ６１３で生成した合成画像データのサイズおよび撮影回数に基づいて、パノラマ撮影を終了するか否かを判定する。この判定の結果、パノラマ撮影を終了しない場合、処理は、Ｓ６０２に戻る。そして、Ｓ６０２において、システム制御部２１０は、Ｓ６１３で生成した合成画像データに対し、画像処理部２０６を用いて位置ずれ検出前処理を行い、以降Ｓ６１３で生成した合成画像データをｎ枚目の合成用画像データとしてＳ６０３〜Ｓ６１４を繰り返す。そして、Ｓ６１４において、パノラマ撮影を終了すると判定すると、Ｓ６１５において、システム制御部２１０は、以上のようにして生成した合成画像データを記憶媒体１３０に保存し、パノラマ撮影を終了する。

以上のように本実施形態では、システム制御部２１０は、デジタルカメラ１００の角速度情報および姿勢情報を用いて、ｎ枚目の画像とｎ＋１枚目の画像間で重複しない未重複領域を、ｎ＋１枚目の画像の位置ずれ検出時に使用しない無効領域とする。そして、システム制御部２１０は、動きベクトルを探索するための位置合わせ用小ブロックを、合成対象の２つの画像間で重複する重複領域（無効領域を除く領域）にのみ設定する。従って、合成対象の２つの画像における位置ずれの検出精度を、過大な処理負荷（処理時間）をかけることなく向上することができる。よって、パノラマ画像の品位を、過大な処理負荷（処理時間）をかけることなく向上させることができる。

一般的に２枚の画像の位置ずれを検出する場合、位置合わせ用小ブロックを細かく設定した方が、位置合わせ用小ブロックの密度が増加し、位置ずれの検出精度がより向上する。しかしながら、位置合わせ用小ブロックを小さくするほど計算回数が増すため位置ずれを検出するための時間が増加する。これに対し本実施形態では、システム制御部２１０は、位置合わせ用小ブロックを、合成対象の２つの画像間で重複する重複領域にのみ設定する場合と、合成対象の２つの画像の全画素の領域に設定する場合とで、位置合わせ用小ブロックの数を同じにする。従って、合成対象の２つの画像間で重複する重複領域にのみ設定する位置合わせ用小ブロックの密度を高めても、位置ずれを検出するための時間の増大を抑制することができる。よって、合成対象の２つの画像における位置ずれの検出精度を、過大な処理負荷（処理時間）をかけることなく、より一層向上させることができる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、ｎ枚目の画像とｎ＋１枚目の画像間で重複しない未重複領域を、ｎ＋１枚目の画像の位置ずれの検出時に使用しない無効領域とする場合を例に挙げて説明した。これに対し、本実施形態では、ｎ＋１枚目の低コントラスト領域を、ｎ枚目の画像とｎ＋１枚目の画像の位置ずれ検出時に使用しない無効領域とする場合を例に挙げて説明する。このように本実施形態と第１の実施形態とは、位置ずれ検出の際の処理の一部が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。

図７は、パノラマ画像の位置ずれの検出方法の一例を説明する図である。図７（ａ）は、水平方向にデジタルカメラ１００をパンニングしながらパノラマ撮影を行った場合に画像データから切り抜かれた領域同士の重複関係の一例を示す図である。図７（ａ）において、斜線でハッチングされた領域は、合成対象の２つの画像間で共通している重複領域を示す。図７（ｂ）、図７（ｃ）は、図７（ａ）の上に示す画像に対する図７（ａ）の下に示す画像の位置ずれを検出するときに設定される位置合わせ用小ブロックの一例を示す。図７（ｂ）、図７（ｃ）において、ドットでハッチングされた領域が位置合わせ用小ブロックである。

位置合わせ処理では、図７（ｂ）のように画像を任意のサイズの位置合わせ用小ブロックに分割して、位置合わせ用小ブロックごとに動きベクトルの算出を行う。仮に図７（ａ）において網線でハッチングされた領域のコントラストが低いとすると、この網線でハッチングされた領域に位置合わせ用小ブロックを設定しても、この位置合わせ用小ブロックでは動きベクトルが検出できないため無駄になる。そこで、システム制御部２１０は、画像データから切り抜かれた領域に対し画像処理部２０６を用いて低コントラスト判定を行い、図７（ｃ）に示すように位置合わせ用小ブロックを、低コントラストと判定された領域を除いた領域にのみ設定する。

このようにして位置合わせ用小ブロックを設定することで、必要ない領域で動きベクトルの検出が行われなくなる。このとき、システム制御部２１０は、位置合わせ用小ブロックの数を変更しないように設定してもよい。そのように設定することで、図７（ｃ）に示すように、位置合わせ用小ブロックの密度が増加するため、エッジが検出しやすくなり位置ずれの検出精度が向上する。本実施形態では、例えば、複数の位置合わせ用小ブロックが、複数のブロックの一例であり、動きベクトルが、位置合わせを行うための情報の一例である。

図８は、パノラマ撮影を行う際のデジタルカメラ１００の処理の一例を説明するフローチャートである。図８のフローチャートによるパノラマ画像の合成処理は、例えば、ユーザが、モード切替スイッチ１０４でパノラマ画像合成モードを選択した場合に実行される。図８の各ステップの処理は、例えば、システム制御部２１０が、不揮発性メモリ２１１から読み出した所定のプログラムをシステムメモリ２１３上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。

第２スイッチＳＷ２がオンにされると、Ｓ８０１においてシステム制御部２１０は、デジタルカメラ１００の各部を制御してｎ枚目の撮影処理（１画像の撮影）を実行する。次に、Ｓ８０２において、システム制御部２１０は、画像処理部２０６を用いて、位置ずれ検出前処理を行う。即ち、システム制御部２１０は、撮影前に定まる撮影条件で撮影された画像データを、画像処理部２０６を用いて、パンニングの方向に応じて短冊状に切り抜くことにより合成用画像データを生成する。そして、システム制御部２１０は、その合成用画像データに対して歪曲補正や円筒変換補正をかけ、位置ずれ検出用縮小画像を生成する。

その後再度第２スイッチＳＷ２がオンにされると、Ｓ８０３においてシステム制御部２１０は、デジタルカメラ１００の各部を制御してｎ＋１枚目の撮影処理（１画像の撮影）を実行する。ユーザが第２スイッチＳＷ２を押下したままで連続撮影を指示した場合、システム制御部２１０は、Ｓ６０３のｎ＋１枚目の撮影と並行してＳ６０２の位置ずれ検出前処理を行ってもよい。また、Ｓ８０２の位置ずれ検出前処理が完了するまで、Ｓ８０３のｎ＋１枚目の撮影のため第２スイッチＳＷ２をオンにできないようにシステム制御部２１０が制御してもよい。本実施形態では、例えば、ｎ枚目の画像が、第１の撮像画像の一例であり、ｎ＋１枚目の画像が、第２の撮像画像の一例である。

次に、Ｓ８０４において、システム制御部２１０は、Ｓ８０２と同じくｎ＋１枚目の画像データに対し、画像処理部２０６を用いて位置ずれ検出前処理を行う。
次に、Ｓ８０５において、システム制御部２１０は、画像処理部２０６により、ｎ＋１枚目の合成用画像データ全体に対し、無効領域導出用の低コントラスト判定を行う。例えば、システム制御部２１０は、ｎ＋１枚目の合成用画像データ全体の領域からエッジを検出し、エッジが検出されない領域を低コントラストの領域と判定する。

次に、Ｓ８０６において、システム制御部２１０は、Ｓ８０５で判定した低コントラストの領域の大きさが規定値以上であるか否かを判定する。この規定値は、例えば、メモリ２０９や画像処理部２０６の性能に応じた所定の大きさの領域である。この判定の結果、Ｓ８０５で判定した低コントラストの領域の大きさが規定値以上でない場合、処理は、Ｓ８０７を省略して後述するＳ８０８に進む。一方、Ｓ８０５で判定した低コントラストの領域の大きさが規定値以上である場合、Ｓ８０７において、システム制御部２１０は、その低コントラストの領域を、ｎ枚目とｎ＋１枚目の合成用画像データの位置ずれ検出時に使用しない無効領域として導出する。本実施形態では、例えば、無効領域が、コントラストに基づいて定まる不使用領域の一例である。

次に、Ｓ８０８において、システム制御部２１０は、画像処理部２０６を用いて、位置ずれの検出のための低コントラスト判定領域を設定する。即ち、システム制御部２１０は、ｎ＋１枚目の合成用画像データの所定の大きさの領域から、Ｓ８０７で導出した無効領域を除いた領域を、ｎ＋１枚目の合成用画像データにおける、位置ずれの検出のための低コントラスト判定領域として設定する。Ｓ８０６において、Ｓ８０５で判定した低コントラストの領域の大きさが規定値以上でないと判定された場合、処理は、Ｓ８０８に進む。そして、Ｓ８０８において、システム制御部２１０は、所定の大きさの領域を、ｎ＋１枚目の合成用画像データにおける、位置ずれの検出のための低コントラスト判定領域として設定する。ここで、前述した所定の大きさの領域は、例えば、メモリ２０９や画像処理部２０６の性能に応じて定められる。尚、システム制御部２１０は、ｎ＋１枚目の合成用画像データの所定の大きさの領域に替えて、ｎ＋１枚目の合成用画像データの全画素の領域を用いてもよい。本実施形態では、例えば、ｎ＋１枚目の合成用画像データの所定の大きさの領域や、ｎ＋１枚目の合成用画像データの全画素の領域が、位置ずれ検出領域の一例である。

次に、Ｓ８０９において、システム制御部２１０は、Ｓ８０８で設定された低コントラスト判定領域において、画像処理部２０６を用いて、位置ずれ検出用の低コントラスト判定を行う。例えば、システム制御部２１０は、Ｓ８０８で設定された低コントラスト領域からエッジを検出し、エッジが検出されない領域を低コントラストの領域と判定する。

次に、Ｓ８１０において、システム制御部２１０は、Ｓ８０９で低コントラストの領域と判定されなかった領域に対し、画像処理部２０６を用いて動きベクトルを導出する。そして、システム制御部２１０は、その動きベクトルを用いて、ｎ枚目の画像データに対するｎ＋１枚目の画像データの位置ずれを補正するための位置ずれ補正係数を導出する。

次に、Ｓ８１１において、システム制御部２１０は、Ｓ８１０で導出した位置ずれ補正係数を用いてｎ＋１枚目の合成用画像データに対しアフィン変換を行う。次に、Ｓ８１２において、システム制御部２１０は、画像処理部２０６を用いて、ｎ枚目とｎ＋１枚目の合成用画像データを合成し、１枚の合成画像データを生成する。次に、Ｓ８１３において、システム制御部２１０は、Ｓ８１２で生成した合成画像データのサイズおよび撮影回数に基づいて、パノラマ撮影を終了するか否かを判定する。この判定の結果、パノラマ撮影を終了しない場合、処理は、Ｓ８０２に戻る。そして、Ｓ８０２において、システム制御部２１０は、Ｓ８１２で生成した合成画像データに対し、画像処理部２０６を用いて位置ずれ検出前処理を行い、以降Ｓ８１２で生成した合成画僧データをｎ枚目の合成用画像データとしてＳ８０３〜Ｓ８１３を繰り返す。そして、Ｓ８１３において、パノラマ撮影を終了すると判定すると、Ｓ８１４において、システム制御部２１０は、以上のようにして生成した合成画像データを記憶媒体１３０に保存し、パノラマ撮影を終了する。

以上のように本実施形態では、システム制御部２１０は、低コントラストの領域を、画像の位置ずれ検出時に使用しない無効領域とする。そして、システム制御部２１０は、動きベクトルを探索するための位置合わせ用小ブロックを、合成対象の２つの画像間で重複する重複領域のうち、無効領域を除く領域のみに設定する。従って、本実施形態においても、第１の実施形態で説明した効果と同じ効果を奏する。尚、位置合わせ用小ブロックの密度を高めることができる点も第１の実施形態と同じである。なお、Ｓ８０５の無効領域導出用の低コントラスト判定するための領域を、Ｓ８０５で判定した低コントラストの領域の大きさが規定値以上でないと判定された場合に、Ｓ８０８で設定する低コントラスト判定領域と同じとしてもよい。こうすることで、Ｓ８０６において、Ｓ８０５で判定した低コントラストの領域の大きさが規定値以上でないと判定された場合に、Ｓ８０８とＳ８０９の処理を省略することができる。

（第３の実施形態）
次に、第３の実施形態を説明する。第１の実施形態では、ｎ枚目の画像とｎ＋１枚目の画像間で重複しない未重複領域を、ｎ＋１枚目の画像の位置ずれ検出時に使用しない無効領域とする場合を例に挙げて説明した。第２の実施形態では、ｎ＋１枚目の低コントラスト領域を、ｎ枚目の画像とｎ＋１枚目の画像の位置ずれ検出時に使用しない無効領域とする場合を例に挙げて説明した。本実施形態では、ｎ枚目の画像とｎ＋１枚目の画像間で重複しない未重複領域と、ｎ＋１枚目の低コントラスト領域との双方を、ｎ枚目の画像とｎ＋１枚目の画像の位置ずれ検出時に使用しない無効領域とする場合を例に挙げて説明する。このように本実施形態は、第１の実施形態と第２の実施形態とを組み合わせた形態である。従って、本実施形態の説明において、第１の実施形態および第２の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。

まず、第１の例を説明する。図６のＳ６０８とＳ６０９との間と、Ｓ６０７のＮＯとＳ６０９との間に、図８のＳ８０５〜Ｓ８０７の処理を組み込む。このようにして組み込まれたＳ８０６において、Ｓ８０５で判定した低コントラストの領域が規定値以上でないと判定された場合、処理は、図６のＳ６０９に進む。そして、Ｓ６０９において、システム制御部２１０は、画像処理部２０６を用いて、位置ずれ検出のための低コントラスト判定領域を設定する。即ち、システム制御部２１０は、Ｓ６０８で設定した無効領域と、Ｓ８０７で導出した無効領域とを除いたｎ枚目とｎ＋１枚目の合成用画像データの重複領域を、ｎ＋１枚目の画像データに対し、位置ずれ検出のための低コントラスト判定領域として設定する。

次に、第２の例を説明する。図８のＳ８０７とＳ８０８との間と、Ｓ８０６のＮＯとＳ８０８との間に、図６のＳ６０５〜Ｓ６０７の処理を組み込む。このようにして組み込まれたＳ６０７において、Ｓ６０５で取得したパンニング量が規定値以上でないと判定された場合、処理は、図８のＳ８０８に進む。そして、Ｓ８０８において、システム制御部２１０は、画像処理部２０６を用いて、位置ずれ検出のための低コントラスト判定領域を設定する。即ち、システム制御部２１０は、Ｓ８０７で導出した無効領域と、Ｓ６０８で設定した無効領域とを除いたｎ枚目とｎ＋１枚目の合成用画像データの重複領域を、ｎ＋１枚目の画像データに対し、位置ずれ検出のための低コントラスト判定領域として設定する。
尚、本実施形態においても、第１の実施形態および第２の実施形態と同様に、無効領域を設定する場合としない場合とで位置合わせ用小ブロックの数を同じにしてもよい。

以上のように本実施形態では、システム制御部２１０は、合成対象の２つの画像間で重複しない未重複領域と、低コントラストの領域の双方を、画像の位置ずれ検出時に使用しない無効領域とする。そして、システム制御部２１０は、動きベクトルを探索するための位置合わせ用小ブロックを、合成対象の２つの画像間で重複する重複領域のうち、無効領域を除く領域のみに設定する。従って、合成対象の２つの画像における位置ずれの検出のための処理を軽減しつつ、合成対象の２つの画像における位置ずれの検出精度をより一層向上することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、２０６：画像処理部、２１０：システム制御部

Claims (14)

1. 第１の撮像画像と合成される第２の撮像画像の領域であって、前記第１の撮像画像との位置ずれを検出するための領域である位置ずれ検出領域の範囲を、予め定められた条件を満たす場合に削減する削減手段と、
   前記削減手段により削減された前記位置ずれ検出領域の情報を用いて、前記第１の撮像画像と前記第２の撮像画像との位置合わせを行う位置合わせ手段と、
   を有し、
   前記位置合わせ手段は、前記位置ずれ検出領域に設定される複数のブロックごとに、前記位置合わせを行うための情報を導出し、導出した情報を用いて、前記第１の撮像画像と前記第２の撮像画像との位置合わせを行い、
   前記削減手段により削減された前記位置ずれ検出領域に設定される前記複数のブロックの密度は、前記削減手段により削減されない前記位置ずれ検出領域に設定される前記位置ずれ検出領域に設定される前記複数のブロックの密度よりも高いことを特徴とする画像処理装置。
2. 前記削減手段は、前記位置ずれ検出領域から、前記第１の撮像画像との位置ずれの検出に使用しない領域である不使用領域を除いた領域を、前記位置ずれ検出領域を削減した領域として導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記削減手段は、前記不使用領域を導出することを特徴とする請求項２に記載の画像処理装置。
4. 前記不使用領域は、前記位置ずれ検出領域の前記第１の撮像画像と重複しない領域であることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記削減手段は、撮像手段の動きを表す物理量に基づいて、前記不使用領域を導出することを特徴とする請求項４に記載の画像処理装置。
6. 前記削減手段は、前記撮像手段の動きを表す物理量の、前記撮像手段の水平方向および垂直方向の少なくとも何れか一方の方向の成分に基づいて、前記不使用領域として当該方向の領域を導出することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像手段の動きを表す物理量は、前記撮像手段の角速度を含むことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記削減手段は、撮像手段の動きを表す物理量と、撮像手段の姿勢を表す物理量とに基づいて、前記不使用領域を導出することを特徴とする請求項４〜７の何れか１項に記載の画像処理装置。
9. 前記予め定められた条件とは、撮像手段の動きの量または前記不使用領域の大きさが規定値以上であることを特徴とする請求項２〜８の何れか１項に記載の画像処理装置。
10. 前記不使用領域は、前記位置ずれ検出領域におけるコントラストに基づいて定まることを特徴とする請求項２〜９の何れか１項に記載の画像処理装置。
11. 前記削減手段は、前記不使用領域の大きさが規定値以上である場合に、前記位置ずれ検出領域を削減することを特徴とする請求項１０に記載の画像処理装置。
12. 前記削減手段により削減された前記位置ずれ検出領域に設定される前記複数のブロックの数と、前記削減手段により削減されない前記位置ずれ検出領域に設定される前記位置ずれ検出領域に設定される前記複数のブロックの数とが同じであることを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 第１の撮像画像と合成される第２の撮像画像の領域であって、前記第１の撮像画像との位置ずれを検出するための領域である位置ずれ検出領域の範囲を、予め定められた条件を満たす場合に削減する削減工程と、
    前記削減工程により削減された前記位置ずれ検出領域の情報を用いて、前記第１の撮像画像と前記第２の撮像画像との位置合わせを行う位置合わせ工程と、を有し、
    前記位置合わせ工程においては、前記位置ずれ検出領域に設定される複数のブロックごとに、前記位置合わせを行うための情報を導出し、導出した情報を用いて、前記第１の撮像画像と前記第２の撮像画像との位置合わせを行い、
    前記削減工程により削減された前記位置ずれ検出領域に設定される前記複数のブロックの密度は、前記削減工程により削減されない前記位置ずれ検出領域に設定される前記位置ずれ検出領域に設定される前記複数のブロックの密度よりも高いことを特徴とする画像処理装置の制御方法。
14. 請求項１〜１２の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images