JP6616668B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特には画像合成技術に関する。

従来、ある画像（メイン画像）の一部に、別の画像（サブ画像）を合成した合成画像を表示する機能を備えた装置が知られている。
通常、サブ画像は不透明であるため、サブ画像が合成されるメイン画像の領域は隠されることになる。そのため、特許文献１では、メイン画像で検出された人物の顔領域の位置に基づいてサブ画像を合成する領域を決定することが提案されている。

特開２０１０−１０３６５１号公報

しかしながら、特許文献１では、メイン画像から人物の顔が検出されない場合に、サブ画像の合成領域をどのように決定するかについては何ら開示されていない。また、特許文献１記載の技術では、例えば観光地における記念撮影のように、背景領域にも隠されたくない領域がある場合、適切に対応できないことがある。

本発明はこのような従来技術の課題に鑑みてなされたもので、人物の顔の有無によらず、画像を合成する領域を決定することが可能な画像処理装置および画像処理方法の提供を目的とする。

上述の目的は、第１の画像と、第２の画像とを取得する取得手段と、第１の画像の部分領域を、第２の画像を合成するための合成領域として決定する決定手段と、第２の画像を、合成領域に合成する合成手段と、を有し、決定手段は、第１の画像の複数の部分領域のうち、距離情報に関するばらつきが閾値より小さい部分領域から合成領域を決定する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、人物の顔の有無によらず、画像を合成する領域を決定することが可能な画像処理装置および画像処理方法を提供できる。

実施形態に係るデジタルカメラの機能構成例を示す図 実施形態に係る合成画像生成処理に関するフローチャート 実施形態における候補領域および禁止領域の設定例を示す図

以下、本発明の例示的な実施形態について、添付の図面に基づいて詳細に説明する。なお、以下では本発明の実施形態に係る画像処理装置の一例として、撮像画像と、被写体の距離情報とを生成可能なデジタルカメラについて説明するが、本発明においては撮影したり被写体の距離情報を生成したりするための構成は必須ではない。例えば、予め記録されている画像と、対応する被写体の距離情報とを記憶装置などから取得するなど、画像と、対応する被写体の距離情報とをなんらかの方法で取得できればよい。従って、本発明はパーソナルコンピュータ、携帯電話機、ゲーム機などを含む、任意の電子機器において実施可能である。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。デジタルカメラ１００は、メイン撮像ユニット１９０とサブ撮像ユニット１９１とを有する多眼カメラであるが、１つの撮像ユニットを有する単眼カメラであってもよい。メイン撮像ユニット１９０とサブ撮像ユニット１９１とはそれぞれ、バリア１０２、撮影レンズ１０３、シャッター、撮像素子１２２、Ａ／Ｄ変換器１２３を有する。

バリア１０２は、撮影レンズ１０３の先端を覆う可動式の部材で、主に電源オフ時において、外部からの衝撃やほこりなどから撮影レンズ１０３を保護する。
撮影レンズ１０３は、変倍レンズ、フォーカスレンズなどを含み、被写体の光学像を撮像素子の撮像面に結像する。
シャッター１０１は、絞り機能も備える。

撮像素子１２２はカラーフィルタおよびマイクロレンズアレイを備え、複数の画素が２次元配列された構成を有する。各画素には１つのマイクロレンズと、複数の光電変換部（副画素）が設けられる。各画素の個々の副画素に投影される射出瞳の部分領域が互いに異なるため、対応する射出瞳の部分領域が等しい副画素群のそれぞれの出力から視差画像を得ることができる。なお、サブ撮像ユニット１９１の撮像素子１２２は、１つのマイクロレンズに１つの光電変換部が設けられた画素が配置された構成を有してもよい。
Ａ／Ｄ変換器１２３は撮像素子１２２から出力されるアナログ信号をデジタル信号に変換し、画像データとして出力する。

本実施形態では、メイン撮像ユニット１９０とサブ撮像ユニット１９１の光軸は平行であり、撮影レンズ１０３の画角が異なるものとするが、両者の撮影範囲が全く異なっていてもよい。また、ユーザが撮影範囲を設定できてもよい。

画像処理部１２４は、Ａ／Ｄ変換器１２３や後述するメモリ制御部１１５から供給される画像データに対し、所定の画像処理を適用する。画像処理部１２４が適用する画像処理には、ホワイトバランス調整処理、画素補間、縮小といったリサイズ処理、色補完（デモザイク）処理、色変換処理などが含まれる。また、画像処理部１２４は、システム制御部１５０が実行する自動焦点検出（ＡＦ）処理や自動露出制御（ＡＥ）処理などに用いるための評価値を算出し、システム制御部１５０に供給する。また、画像処理部１２４は必要に応じて画像データの符号化・復号に関する処理を行ってもよい。また、画像処理部１２４は、視差画像対から距離情報（距離マップ）を生成する。また、画像処理部１２４は、画像の色や輝度、被写体検出結果などに基づいて、撮影シーンを判別してもよい。

被写体検出部１２５は、画像処理部１２４からメモリ制御部１１５を介して供給された画像データに対して被写体検出処理を実行し、被写体領域を特定する。被写体検出部１２５はパターンマッチングなどの任意の公知技術を用いて被写体検出を実行することができる。例えば人間の顔を被写体領域として検出する場合、顔に含まれる肌の色や、目、鼻、口等のパーツに関する輝度パターンを探索する方法などを用いることができる。被写体検出部１２５は、検出された被写体領域の有無（数）と、検出された被写体領域のそれぞれに関する情報（例えば位置、大きさ、信頼度などを）を検出結果としてシステム制御部１５０に出力する。

メモリ１３２は、撮像素子１２２によって得られ、Ａ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データなどを格納するために用いられる。メモリ１３２は、連写時などのバッファとして機能するため、ある程度の画像データ（動画像の場合は音声データも含む）を格納できる容量を有する。また、メモリ１３２はビデオメモリとしても機能する。

Ｄ／Ａ変換器１１３は、メモリ１３２に格納されている表示用画像データをアナログ信号に変換して表示部１２８に供給する。
表示部１２８は、Ｄ／Ａ変換器１１３から供給される画像信号を表示する。動画を撮影して表示部１２８でリアルタイム表示することで、表示部１２８を電子ビューファインダとして機能させることができる（ライブビュー機能）。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリである。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラムなどが記憶される。後述する各種動作を実行するためのプログラムも、不揮発性メモリ１５６に記憶されている。

システム制御部１５０は、プログラムを実行可能な１つ以上のマイクロプロセッサ（ＣＰＵ）を有し、デジタルカメラ１００全体を制御する。システム制御部１５０は、画像処理部１２４から供給される評価値を用いたＡＦ処理、ＡＥ処理を行ったり、操作部１７０からの指示に応じた機能を実現するために必要な制御を行ったりする。また、システム制御部１５０は、撮像素子１２２の読み出しモード（視差画像対を読み出すか、加算読み出しするか）を決定し、決定した読み出しモードをメイン撮像ユニット１９０に設定する。

システムメモリ１５２は、システム制御部１５０の動作用の定数、変数や不揮発性メモリ１５６から読み出したプログラム等を展開するメモリである。
システムタイマー１５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ１６０は、システム制御部１５０にデジタルカメラ１００の動作モード変更指示を入力するための入力デバイスである。動作モードには、例えば静止画モード、動画モード、再生モード等がある。

第１シャッタースイッチ１６２は、シャッターボタン１６１の操作途中、いわゆる半押しでＯＮとなり、第１シャッタースイッチ信号ＳＷ１（撮影準備指示）を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押しでＯＮとなり、第２シャッタースイッチ信号ＳＷ２（撮影指示）を発生する。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像素子１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。ユーザは表示部１２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて各種の指示を入力することができる。なお、表示部１２８がタッチディスプレイの場合、タッチパネルも操作部１７０に含まれる。

電源制御部１８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０４を含む各部へ供給する。

電源部１３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
記録媒体Ｉ／Ｆ１１８は、メモリカードやハードディスク等の記録媒体１０４とのインターフェースである。

電源スイッチ１７２は、デジタルカメラ１００の電源ＯＮ／ＯＦＦを指示するスイッチである。電源がＯＮになると電源制御部１８０がデジタルカメラ１００の各部へ必要な電圧の供給を開始すると共に、システム制御部１５０がデジタルカメラ１００の制御を開始する。
記録媒体１０４は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリ等から構成される。

通信部１５４は、無線または優先ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部１５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部１５４は撮像素子１２２で撮像した画像（スルー画像を含む）や、記録媒体１０４に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部１５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部１５５で検知された姿勢に基づいて、撮像素子１２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部１５０は、姿勢検知部１５５で検知された姿勢に応じた向き情報を撮像素子１２２で撮像された画像の画像ファイルへの付加や、画像を回転して記録することが可能である。姿勢検知部１５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

ここで、距離マップの生成について説明する。距離マップを生成する方法に特に制限は無く、公知の方法を用いることができる。距離マップは画素ごとに被写体距離を表す情報であり、輝度値が距離を表すデプスマップ（距離画像、奥行き画像などと呼ばれることもある）であってよい。本実施形態では、撮像素子１２２によって視差画像対を取得可能であるため、ステレオマッチング等の手法で画素ごとに被写体距離を取得することができる。また、視差画像対を用いて得られる各領域の像ずれ量（視差量）や、像ずれ量から光学条件から決まる係数（K値）を用いて換算されるデフォーカス量の状態でマップ化されていてもよい。デフォーカス量や像ずれ量そのものは被写体距離の絶対値を示す値ではない。しかし、デフォーカス量や像ずれ量のマップは、画像内の被写体の相対的な距離の関係を表し、本実施形態の実施には被写体距離の相対的な関係が分かれば十分であり、必ずしも被写体距離の絶対値は必要でない。そのため、デフォーカス量や像ずれ量のマップを用いることができる。

なお、視差画像を用いずに距離マップを生成してもよい。例えば、コントラスト評価値が極大となるフォーカスレンズ位置を画素ごとに求めることで、画素ごとに被写体距離を取得することができる。また、合焦距離を変えて同一シーンを複数回撮影して得られる画像データと光学系の点像分布関数(PSF)とから、ぼけ量と距離との相関関係に基づいて画素ごとの距離情報を求めることもできる。これらの技術に関しては例えば特開２０１０−１７７７４１号公報や米国特許第4,965,840号公報などに記載されている。

本実施形態のデジタルカメラ１００は、メイン画像の撮像時に距離マップを生成するものとする。メイン画像が動画像の場合にはフレームごとに距離マップを作成したり、動画撮影中の静止画撮影で得られた静止画に対して距離マップを作成したりすることができる。生成した距離マップは、対応する画像と関連付けて記録媒体１０４に記録することができる。なお、距離マップを作成する画像に関しては、撮像素子１２２から視差画像対を読み出すようにシステム制御部１５０が制御し、視差画像対を用いて画像処理部１２４が距離マップを生成するものとする。また、画像処理部１２４は、距離マップを生成した後、視差画像対を加算して記録用の画像を生成し、距離マップと関連付けてメモリ１３２に格納するものとする。

次に、図２に示すフローチャートを用いて、本実施形態のデジタルカメラ１００の静止画モードおよび動画モードにおける動作について説明する。なお、説明及び理解を容易にするため、静止画モード、動画モードとも合成画像を生成するものとする。しかし、合成画像を生成して記録するか、合成画像を生成せずにメイン画像、サブ画像の一方または両方を記録するどうかをユーザが選択できるように構成してもよい。

（静止画モードでの合成動作）
まず、図２（Ａ）を用いて、静止画モードにおける合成画像生成動作について説明する。
まずＳ２００において、システム制御部１５０はメイン画像（第１の画像）および、メイン画像に対応づけられた距離マップを取得する。メイン画像及び距離マップは、メイン撮像ユニット１９０を用いた撮影によって取得してもよいし、記録媒体１０４から取得してもよい。

Ｓ２０１において、システム制御部１５０はサブ画像（第２の画像）を取得する。サブ画像は、サブ撮像ユニット１９１を用いた撮影によって取得してもよいし、記録媒体１０４から取得してもよい。なお、サブ画像は撮影時の設定や撮影後の処理により、メイン画像よりも小さい（画素数が少ない）。なお、ユーザがサブ画像として用いる領域を操作部１７０を通じて指定できるようにしてもよい。ここでは、理解及び説明を容易にするため、サブ画像がメイン画像より十分小さい、予め定められた大きさを有するものとする。

Ｓ２０２においてシステム制御部１５０は、メイン画像に対して候補領域と禁止領域を設定する。詳細については後述する。
Ｓ２０３においてシステム制御部１５０は、Ｓ２０２で設定した候補領域と禁止領域に基づいて選択された候補領域に対して評価値を算出する。詳細については後述する。

Ｓ２０４においてシステム制御部１５０は、評価値を算出していない候補領域があるか否か判定し、評価値を算出していない候補領域があると判定されれば処理をＳ２０２に戻し、判定されなければ処理をＳ２０５に進める。

Ｓ２０５においてシステム制御部１５０は、Ｓ２０２〜Ｓ２０４の処理によって複数の候補領域に対して算出した評価値に基づき、候補領域の中から合成領域を決定する。例えばシステム制御部１５０は、評価値の最も低い領域を合成領域として決定することができる。

Ｓ２０６において画像処理部１２４は、Ｓ２０５で決定した合成領域に基づき、Ｓ２００で取得したメイン画像にＳ２０１で取得したサブ画像を合成して合成画像を生成する。サブ画像と合成領域のサイズが異なる場合、画像処理部１２４はサブ画像が合成領域以下の大きさになるようにリサイズした後に合成する。

Ｓ２０７において画像処理部１２４は、Ｓ２０６で生成した合成画像に対し、記録用の処理を適用する。例えばファイルヘッダの生成や符号化処理などが記録用の処理に含まれる。画像処理部１２４は、合成画像を含んだ画像ファイルを、メモリ制御部１１５および記録媒体Ｉ／Ｆ１１８を介して記録媒体１０４に記録する。

（候補領域および禁止領域の設定処理）
次に、図２（Ａ）のＳ２０２で行う候補領域および禁止領域の設定処理の詳細について説明する。図３（Ａ）はメイン画像の一例を示す。図３（Ｂ）はメイン画像に設定する候補領域３００の一例である。システム制御部１５０は、個々の候補領域の位置やサイズを段階的に変動させながら、メイン画像全体に対して複数の部分領域を候補領域として設定する。図３（Ｂ）には、メイン画像を水平方向および垂直方向に分割した各領域に、３段階のサイズのいずれかを有する候補領域を設定する例を模式的に示している。ここでは一例として、候補領域の中心と分割領域の中心とが等しくなるように位置を決定している。

図３（Ｃ）は候補領域および禁止領域の設定例を示す。図３（Ｂ）同様に候補領域３００を設定した上で、画像の部分領域、ここでは中心領域を禁止領域３０１として設定している。禁止領域３０１と重複する候補領域（図３（Ｂ）の候補領域３００’）は評価値算出の対象としないよう制御することで、一般的にユーザが撮影したい被写体が含まれる可能性が高い、画像の中心領域が合成領域にならないように制御できる。なお、被写体検出に基づかない禁止領域は画像の中心領域に限定されない。例えば、夕景モードで撮影された画像における空の領域のように、重要である可能性が高く、また位置がある程度決まっている領域に設定してもよい。

図３（Ｄ）は図３（Ｃ）とは異なる禁止領域の設定例を示す。この例では、被写体検出部１２５で検出された被写体領域３０２とその周辺領域を禁止領域３０１として設定している。図３（Ｃ）と同様に制御することで、一般的にユーザが撮影したい可能性が高い被写体である人や顔付近の領域が合成領域にならないように制御できる。

（評価値算出処理）
次に、図２（Ａ）のＳ２０３で行う評価値の算出処理の詳細について説明する。画像処理部１２４は、例えばＳ２０２で設定した候補領域のうち、禁止領域と重複しない候補領域の各々について、領域内の各画素を順次注目画素として、注目画素と、注目画素の周囲または近傍の８画素との間の輝度値の差分和を求める。候補領域内の全画素に対する輝度差分和の総和を求めた後に、画素数で正規化することで輝度評価値Ｅｙを算出することができる。

具体的には、候補領域の大きさが水平方向ｓ画素、垂直方向ｔ画素で、注目画素の座標を（ｘ，ｙ）、座標（ｘ，ｙ）の輝度をＬ（ｘ，ｙ）とすると、輝度評価値Ｅｙは、以下の式で求めることができる。

また、画像処理部１２４は、輝度と同様に、色差ｕ，ｖや距離についても同様の方法により、色評価値Ｅｕ、Ｅｖ、距離評価値Ｅｄを算出する。なお、評価値は他の方法で求めてもよい。例えば輝度評価値Ｅｙは候補領域内の画素の輝度最大値または輝度平均値の逆数としてもよい。また、距離評価値Ｅｄは、候補領域内の画素に対応した被写体距離の最小値や、平均値（あるいはその逆数）としてもよい。

そして画像処理部１２４は、輝度評価値Ｅｙ、色評価値Ｅｕ、Ｅｖ、距離評価値Ｅｄから、以下の式によって最終的な評価値Ｅを算出する。
Ｅ ＝ Ｗｙ×Ｅｙ ＋ Ｗｕ×Ｅｕ ＋ Ｗｖ×Ｅｖ ＋ Ｗｄ×Ｅｄ

ここで、Ｗｙは輝度評価値Ｅｙに対する重みであり、Ｗｕ、Ｗｖ、Ｗｄも同様に各評価値に対する重みである。システム制御部１５０が撮影モードや撮影シーンに応じて重みを変動させることで、状況に応じて合成領域とする候補領域を制御することができる。１つ以上の重みを０とすることで、輝度、色、距離のうち、特定のパラメータに特化して合成領域が決定されるように制御することも可能である。

例えば、注目画素と周辺画素との差分に基づく評価値Ｅは、基本的に、候補領域内の画素の明るさ、色、被写体距離のばらつきが少ないほど小さくなる。したがって、青空のような領域では評価値Ｅが小さくなり、町並みのように様々な色の被写体が様々な距離に存在する領域では評価値Ｅは大きくなる。星空の撮影モードなどを除き、一般的な撮影において、空のような領域の重要度は低いことが多い。従って、本実施形態によれば、例えば有名な建造物の前で記念撮影などを行った場合、顔領域だけでなく、建造物の領域についても合成領域になりづらく、空のように色や輝度が比較的均一な領域が合成領域になりやすくなる。また、距離評価値に特化して、評価値Ｅｄで表される被写体距離が近い、あるいは像ずれ量（視差）が小さい場合に最終的な評価値Ｅを大きくして選択されにくくするため、重みＷｄを大きくしてもよい。

また、距離評価値Ｅｄを最小値や平均値の逆数とした場合、輝度評価値Ｅｙと距離評価値Ｅｄが小さい領域が合成領域として決定されやすいように重みを決定することもできる。なお、評価値Ｅｙ，Ｅｕ，Ｅｖ，Ｅｄの算出方法に応じて、評価値Ｅが最大の候補領域を選択してもよいし、評価値Ｅが最小の候補領域を選択してもよい。

このように、輝度情報、色情報、距離情報の１つ以上に関する評価値を求め、予め定められた、重要度が低いと考えられる条件に最も合致する評価値を有する候補領域を、合成領域として決定する。そのため、被写体領域が検出されない場合にも合成領域が決定可能であるほか、被写体領域以外についても、推定される重要度が低い領域に合成が行われる可能性が高くなる。

（動画モードでの合成動作）
なお、上述した静止画モードでの動作と同様にして、動画モードでも合成画像を生成することができる。図２（Ｂ）を用いて、動画モードにおける合成画像生成動作について説明する。なお、静止画モードと同じ動作を行う工程については同じ参照数字を付して説明を省略する。

動画モードでは、メイン撮像ユニット１９０とサブ撮像ユニット１９１とがいずれも動画撮影を行っているか、メイン動画とサブ動画の両方が記録媒体１０４から再生されているものとする。再生処理は画像処理部１２４が実行する。
まずＳ２０８において、システム制御部１５０はメインフレームおよび、メインフレームに対応づけられた距離マップを取得する。メイン画像及び距離マップは、画像処理部１２４から取得することができる。メインフレームはメイン動画のフレーム画像である。
Ｓ２０９において、システム制御部１５０はサブフレームを取得する。サブフレームは、画像処理部１２４から取得することができる。サブフレームはサブ動画のフレーム画像である。

Ｓ２０２からＳ２０５は静止画モードと同様の処理を行う。
Ｓ２１４において画像処理部１２４は、Ｓ２０５で決定した合成領域に基づき、Ｓ２０８で取得したメインフレームに、Ｓ２０９で取得したサブフレームを合成して剛性フレームを生成する。サブフレームと合成領域のサイズが異なる場合、画像処理部１２４はサブフレームが合成領域以下の大きさになるようにリサイズした後に合成する。

Ｓ２１５において、システム制御部１５０は操作部１７０を通じて終了指示が入力されたか否か判定する。システム制御部１５０は終了指示が入力されたと判定されれば処理をＳ２１６に進め、判定されなければ処理をＳ２０８に戻し、メイン画像とサブ画像の次フレームに対して同様の処理を実行する。

なお、Ｓ２０２〜Ｓ２０５の処理は必ずしも動画の各フレームについて実行せずに、数フレームごとに行ってもよい。この場合、Ｓ２０２〜Ｓ２０５の処理を行わないフレームについては全フレームと同じ合成領域を用いればよい。フレーム間でシーン変化の有無を検出して、シーン変化があった場合にＳ２０２〜Ｓ２０５の処理を行うようにしてもよい。

Ｓ２１６において画像処理部１２４は、Ｓ２１４で生成した合成フレームに対し、記録用の処理を適用する。例えばファイルヘッダの生成や符号化処理などが記録用の処理に含まれる。画像処理部１２４は、合成フレームを含んだ画像ファイルを、メモリ制御部１１５および記録媒体Ｉ／Ｆ１１８を介して記録媒体１０４に記録する。

なお、動画モードにおいては、評価値の算出方法を変更してもよい。例えば、評価値Ｅを以下の式を用いて算出することができる。
Ｅ ＝ Ｗｙ×Ｅｙ ＋ Ｗｕ×Ｅｕ ＋ Ｗｖ×Ｅｖ ＋ Ｗｄ×Ｅｄ ＋ Ｗｆ

ここで重みＷｆを除く評価値は第１実施形態と同様であるため説明を省略する。重みＷｆは前フレームで決定された合成領域に対応する候補領域が合成領域に決定されやすくなるようにするために用いられる。これは、連続する動画フレームは相関が大きく、同じ合成領域となる可能性が高いことと、合成領域が頻繁に移動することを抑制するためである。このように、動画についても静止画と同様の効果が得られる。

（その他の実施形態）
上述の実施形態では、輝度情報、色情報、距離情報の１つ以上に関する評価値に基づいて候補領域から合成領域を決定するものであったが、距離情報だけに基づいて合成領域を決定してもよい。例えば、候補領域のうち、予め定められた第１の閾値より大きく、かつ最も大きな距離情報（例えば平均距離または最大値）を有する候補領域を合成領域として決定することができる。また、候補領域のうち、予め定められた第２の閾値より小さく、かつ最も小さな距離情報（例えば平均距離または最小値）を有する候補領域を合成領域として決定することができる。これにより、非常に遠い被写体や非常に近い被写体の領域を合成領域として決定することができる。なお、第１の閾値≧第２の閾値とすることができる。

また、候補領域の距離情報だけでなく、禁止領域の距離情報を考慮してもよい。例えば、禁止領域や被写体領域の距離情報（例えば距離の平均値または最小値）と、最も差が大きい距離情報（例えば平均距離または最大値）を有する候補領域を合成領域として決定することができる。

例えば図３に示したようなシーンの場合、画像中央部（図３（Ｃ））や被写体領域とその周辺領域（図３（Ｄ））に設定された禁止領域の距離情報と差が大きい距離情報を有する背景領域は重要度が低い。仮に図３（Ｄ）のように画像中央部が禁止領域でない場合でも、画像中央部に存在する建造物と禁止領域３０１との距離情報の差は、禁止領域３０１と背景との距離情報の差よりもずっと小さい。そのため、建造物の領域が合成領域として決定されることを回避できる。

なお、禁止領域や被写体領域の距離情報より大きい値だけでなく、小さい値において、最も差が大きい距離情報（例えば平均距離または最小値）を有する候補領域を合成領域として決定するようにしてもよい。

なお、上述した実施形態においては、評価値や距離情報などが最小もしくは最大となる候補領域を選択するものとして説明したが、必ずしも最小もしくは最大でなくても発明の効果は得られる。したがって、閾値より小さい評価値や距離情報を有する候補領域から１つを選択したり、閾値より大きい評価値や距離情報を有する候補領域から１つを選択したりしてもよい。該当する候補領域が複数ある場合に、１つの選択する条件は任意に設定することができる。ユーザに１つを選択させるように構成してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１２２…撮像部、１９０…メイン撮像ユニット、１９１…サブ撮像ユニット、１２４…画像処理部、１２５…被写体検出部、１１５…メモリ制御部、１２８…表示部、１３２…メモリ、１５０…システム制御部、１７０…操作部。

Claims (7)

1. 第１の画像と、第２の画像とを取得する取得手段と、
   前記第１の画像の部分領域を、前記第２の画像を合成するための合成領域として決定する決定手段と、
   前記第２の画像を、前記合成領域に合成する合成手段と、を有し、
   前記決定手段は、前記第１の画像の複数の部分領域のうち、距離情報に関するばらつきが閾値より小さい部分領域から前記合成領域を決定する、
   ことを特徴とする画像処理装置。
2. 前記決定手段は、さらに
   前記第１の画像に禁止領域を設定し、
   前記複数の部分領域のうち、前記禁止領域と重複する部分領域については前記合成領域として決定しない、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記禁止領域が、前記第１の画像の中心領域と、前記第１の画像に含まれる特定の被写体領域およびその周辺領域との少なくとも１つであることを特徴とする請求項２に記載の画像処理装置。
4. 前記距離情報が、前記第１の画像の画素ごとの被写体距離を示す情報であることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 撮像手段と、
   前記撮像手段で得られた画像から前記第１の画像および前記第２の画像を生成する生成手段と、
   請求項１から請求項４のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
6. 画像処理装置が実行する画像処理方法であって、
   第１の画像と、第２の画像とを取得する工程と、
   前記第１の画像の部分領域を、前記第２の画像を合成するための合成領域として決定する工程と、
   前記第２の画像を、前記合成領域に合成する工程と、を有し、
   前記決定する工程では、前記第１の画像の複数の部分領域のうち、距離情報に関するばらつきが閾値より小さい部分領域から前記合成領域を決定する、
   ことを特徴とする画像処理方法。
7. コンピュータを、請求項１から請求項４のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images