JP6370146B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関し、特に、画像の特定領域を合成処理する画像処理装置に関する。

近年、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）アニメーション又は動画などにおいて、静止画と動画とを組み合わせて静止画の一部分のみ動いているように見えるような視覚表現を行う手法が知られている。ここでは、このような画像を静動画像と呼び、さらに、静動画像において動く領域を動画領域と呼ぶ。また、静動画像において静止している領域を静止領域と呼ぶ。この静止領域はマスクされた領域（マスク領域）ということもできる。

このような静動画像を生成する際、例えば、表示部にスーパーピクセルによって画像を分割した領域を表示して、タッチパネルにおけるタッチ操作に応じて動画領域を設定して静動画像を生成する手法がある（特許文献１参照）。そして、特許文献１においては、ユーザーのタッチ操作に応じて設定された動画領域を拡大することが記載されている。

図８は、従来の静動画像の生成において動画領域の設定を説明するための図である。そして、図８（ａ）は動画領域の設定を示す図であり、図８（ｂ）は誤ったタッチ操作を示す図である。そして、図８（ｃ）は誤ったタッチ操作によって動画領域と設定された領域が静止領域となるように動画領域を更新した状態を示す図である。

図８に示す例では、画像において、ユーザーが静止させたい領域（静止領域）と動画領域とが近接しているものとする。ここでは、人物８０１を静止領域として、イルミネーション８０２を動画領域として設定するものとする。そして、人物８０１およびイルミネーション８０２を除く領域（他の領域）については、ユーザーは動画領域としたいわけではないものの、当該他の領域にタッチして動画領域となったとしても構わないと考えているものとする。

図８（ａ）において、ユーザーはイルミネーション８０２を動画領域とすべく当該領域をタッチ操作している。このタッチ操作によって、イルミネーション領域は動画領域として設定される（図８（ｂ）参照）。図８（ｂ）においては、破線で囲まれた領域が動画領域である。

ところで、タッチパネルに対するに入力であるタッチ操作は細かい操作であるので、注意してタッチ操作を行わないと、図８（ｂ）に示すように静止領域としたい領域の一部をタッチしてしまうことがある。この結果、図８（ｃ）に示すように、ユーザーが意図する動画領域の設定ができないことがある。つまり、図８（ｃ）に示すように、静止領域となる人物８０１が動画領域とならないように静動画像を生成することができないことがある。

ＷＯ２０１３１７５０５１号公報

ところが、タッチ操作によって動画領域を設定する際、ユーザーが動画領域として設定しようとする領域と静止させたい領域とが近接していると、ユーザーは注意深く、かつ細かくタッチ操作を行う必要がある。このため、ユーザーにとってはタッチ操作を行うことが極めて困難となってしまう。

従って、本発明の目的は、画像に応じて動画領域を適切に設定することにある。

上記の目的を達成するため、本発明による画像処理装置は、時間的に連続した複数の画像のうちの一つの画像を基準画像として前記基準画像の一部の領域を動画領域として当該動画領域に残りの画像を動画として合成して合成画像を生成する画像処理装置であって、前記基準画像の一部に優先的に静止画を表示させるためのマスク領域を設定する設定手段と、前記設定手段によって前記マスク領域が設定されると、前記マスク領域に応じて前記動画領域を更新する更新手段と、を有することを特徴とする。

本発明による制御方法は、時間的に連続した複数の画像のうちの一つの画像を基準画像として前記基準画像の一部の領域を動画領域として当該動画領域に残りの画像を動画として合成して合成画像を生成する画像処理装置の制御方法であって、前記基準画像の一部に優先的に静止画を表示させるためのマスク領域を設定する設定ステップと、前記設定ステップで前記マスク領域が設定されると、前記マスク領域に応じて前記動画領域を更新する更新ステップと、を有することを特徴とする。

本発明によれば、画像に応じて動画領域を適切に設定することができる。

本発明の第１の実施形態による画像処理装置の一つである撮像装置の一例についてその外観を背面側から示す斜視図である。 図１に示すカメラの一例についてその構成を示すブロック図である。 図２に示すカメラで行われる撮影処理の一例を説明するためのフローチャートである。 図３に示すマスク優先領域の算出の一例を説明するための図であり、（ａ）は発光画像の一例を示す図、（ｂ）は非発光画像の一例を示す図、図４（ｃ）はマスク優先領域の一例を示す図である。 図３に示す動画領域の更新を説明するための図であり、（ａ）はタッチ操作によって指定された領域を示す図、（ｂ）はマスク優先領域および動画領域を示す図、（ｃ）は動画領域の更新を示す図である。 図３に示す静動画像生成処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るカメラで行われる動画領域の更新を説明するための図であり、（ａ）は基準画像をブロック領域に分割した状態を示す図、（ｂ）はユーザーがタッチ操作によって動画領域を指定した状態を示す図、（ｃ）はマスク優先領域および動画領域を示す図、（ｄ）は動画領域を更新した状態を示す図である。 従来の静動画像の生成において動画領域の設定を説明するための図であり、（ａ）は動画領域の設定を示す図、（ｂ）は誤ったタッチ操作を示す図、（ｃ）は誤ったタッチ操作によって動画領域と設定された領域が静止領域となるように動画領域を更新した状態を示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一つである撮像装置の一例についてその外観を背面側から示す斜視図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１であり、カメラ筐体の背面にはＬＣＤなどの表示部２が配置されている。そして、この表示部２には撮影の結果得られた画像および各種情報が表示される。なお、表示部２にはタッチパネルが備えられており、この結果、表示部２はユーザーの操作を受け付ける操作部を兼ねている。

カメラの筐体の上面には、シャッターボタン１０が配置されている。シャッターボタン１０の操作によって撮影指示が行われる。カメラ筐体の背面において表示部２の右側には操作部２０が配置されている。この操作部２０はユーザーから各種操作を受け付けるための各種スイッチおよびボタンなどの操作部材を有している。

カメラ筐体には記録媒体３を収納するための記録媒体スロット４が形成されており、記録媒体スロット４に記録媒体３を収納した後、蓋部５を閉じると、記録媒体３はカメラ１との通信が可能となる。なお、記録媒体３として、例えば、メモリカード又はハードディスクが用いられる。

カメラ筐体の上面にはフラッシュ９０が配置されており、このフラッシュ９０は発光撮影の際に、例えば、電解コンデンサ（図示せず）に蓄積された電荷を放電して発光を行う。

図２は、図１に示すカメラ１の一例についてその構成を示すブロック図である。

カメラ１は、撮影レンズユニット（以下単に撮影レンズと呼ぶ）３０を備えており、この撮影レンズ３０には、ズームレンズおよびフォーカスレンズが含まれている。

撮影レンズ３０を介して光学像（被写体像）が撮像部３１に結像する。撮像部３１はＣＣＤ又はＣＭＯＳ素子などの撮像素子を備え、光学像に応じた電気信号（アナログ信号）を出力する。

Ａ／Ｄ変換器７０は、撮像部３１の出力であるアナログ信号を受けて、当該アナログ信号をデジタル信号に変換する。画像処理部３２は、Ａ／Ｄ変換器７０の出力であるデジタル信号、又はメモリ制御部３３からの画像データに対して画素補間、縮小などのリサイズ処理、および色変換処理などの所定の画像処理を行う。

さらに、画像処理部３２は、撮影の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部５０は当該演算結果に基づいて露光制御および測距制御を行う。これによって、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、フラッシュ調光処理、ＥＦ（フラッシュプリ発光）処理が行われる。

また、画像処理部３２では、撮影の結果得られた画像データを用いて所定の演算処理を行って、この演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。そして、画像処理部３２は、後述するように、複数枚の画像の合成する合成処理および静動画像の生成を行う。

Ａ／Ｄ変換器７０の出力であるデジタル信号は、画像処理部３２およびメモリ制御部３３を介して、或いはメモリ制御部３３を介してメモリ６０に画像データとして書き込まれる。メモリ６０には、撮影の結果得られた画像データが格納されるとともに、表示部２に表示するための表示用の画像データが格納される。

メモリ６０は、所定枚数の静止画像、所定時間の動画像および音声を格納するための十分な記憶容量を有している。

メモリ６０は画像表示用のメモリ（ビデオメモリ）を兼ねており、Ｄ／Ａ変換器７１によって、メモリ６０に格納された表示用の画像データがアナログ信号に変換されて表示部２に送られる。これによって、メモリ６０に格納された表示用の画像データに応じた画像が表示部２に表示される。

なお、メモリ６０に蓄積された画像テータをＤ／Ａ変換器７１においてＤ／Ａ変換して、表示部２に逐次転送して表示すれば、表示部は所謂電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ６１は、電気的に消去・記録可能なメモリであり、例えば、ＥＥＰＲＯＭが用いられる。不揮発性メモリ６１には、システム制御部５０の動作用の定数、プログラムなどが記憶される。このプログラムには、後述する各種フローチャートに係る処理を実行するためのプログラムが含まれる。

システム制御部５０はカメラ１全体を制御する。システム制御部５０は、前述の不揮発性メモリ６１に記録されたプログラムを実行することによって、後述する処理を行う。

システムメモリ６２は、例えば、ＲＡＭであり、システムメモリ６２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ６１から読み出したプログラムなどが展開される。また、システム制御部５０はメモリ６０および表示部２などを制御することによって表示制御を行う。

前述のシャッターボタン１０の操作途中、つまり、シャッターボタン１０が所謂半押し（撮影準備指示）されると、第１のシャッタースイッチがＯＮとなって第１のシャッタースイッチ信号ＳＷ１がシステム制御部５０に送られる。

システム制御部５０は、第１のシャッタースイッチ信号ＳＷ１に応答して、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、フラッシュ調光処理、およびＥＦ処理などを開始する。

シャッターボタン１０の操作完了、つまり、シャッターボタン１０が所謂全押し（撮影指示）されると、第２のシャッタースイッチがＯＮとなって第２のシャッタースイッチ信号ＳＷ２がシステム制御部５０に送られる。

システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応答して、撮像部３１の信号読み出しから記録媒体３に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部２０に備えられた各操作部材は、表示部２に表示された種々の機能アイコンを選択操作することなどによって、場面毎に適宜機能が割り当てられて、各種機能ボタンとして機能する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、撮影モード変更ボタン、およびメニューボタンがある。

例えば、メニューボタンが押されると、システム制御部５０は各種の設定を行うためのメニュー画面を表示部２に表示する。そして、ユーザーは、表示部２に表示されたメニュー画面を参照しつつ、上下左右の４方向ボタンおよびＳＥＴボタンを用いて直感的に各種設定を行うことができる。

表示部２には接触（タッチ）を検知可能なタッチパネルを備えている。タッチパネルと表示部２とは一体的に構成することができる。例えば、光の透過率が表示部２の表示を妨げないようにタッチパネルを構成し、タッチパネルを表示部２の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と表示部２の表示座標とを対応付ける。

これによって、表示部２に表示された画面を直接的に操作可能であるＧＵＩ（グラフィックユーザインタフェース）を構成することができる。

なお、タッチパネルにおいては、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、又は光センサ方式などが用いられる。

記録媒体Ｉ／Ｆ（インタフェース）３４は、メモリカード又はハードディスクなどの記録媒体３のためのインタフェースである。そして、記録媒体３には、撮影の結果得られた画像データなどが記録される。

システムタイマー８０は時間の計測を行うための計時部である。フラッシュ制御部９１は、システム制御部５０の制御下でフラッシュ９０の発光タイミングを制御する。

以下の説明では、静止画と動画とを組み合わせて静止画の一部分のみ動いているように見える視覚表現を行った画像を静動画像と呼び、さらに、静動画像において動く領域を動画領域と呼ぶ。また、静動画像において静止している領域を静止領域（マスク領域）と呼ぶ。

さらに、ここでは、連続撮影する画像を動画とし、動画の１フレーム目に同期してフラッシュ９０を発光させ、２フレーム目以降においては非発光で撮影を行う。そして、フラッシュ９０を発光させて得られた１フレーム目の画像（発光画像）を基準画像として静動画像を生成するものとする。

また、基準画像および２フレーム目の画像に応じてフラッシュ光で照明された領域を検出して、フラッシュ光によって照明された領域を後述するマスク優先領域とする。このマスク優先領域は静止画を優先的に表示する領域である。そして、動画領域の設定はタッチパネルの画面上でのタッチ操作で領域を指定して行われるものとする。

なお、以下の説明では、画素が有限大の開口を有することに起因する影響を補正するアパチャー補正などの通常行われる処理については説明を省略する。

図３は、図２に示すカメラで行われる撮影処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部５０の制御下で行われる。

いま、操作部２０に備えられた撮影モード切り替えスイッチによってフラッシュ発光静動画像生成モードが選択されると、システム制御部５０は図３に示す撮影処理を開始する。

まず、システム制御部５０は、第１シャッタースイッチがオンであるか否かを判定する（ステップＳ１００）。第１シャッタースイッチがオンでないと（ステップＳ１００において、ＮＯ）、システム制御部５０は待機する。

一方、第１シャッタースイッチがオンであると（ステップＳ１００において、ＹＥＳ）、システム制御部５０は、ＡＥ処理、ＡＦ処理、およびＥＦ処理を行う（ステップＳ１０１）。

続いて、システム制御部５０は、第２シャッタースイッチがオンであるか否かを判定する（ステップＳ１０２）。第２シャッタースイッチがオンでないと（ステップＳ１０１において、ＮＯ）、システム制御部５０は、第１シャッタースイッチがオン状態であるか否かを判定する判定する（ステップＳ１０３）。

第１シャタースイッチがオン状態でないと、つまり、シャッターボタン１０が押されていないと判定すると（ステップＳ１０３において、ＮＯ）、システム制御部５０はステップＳ１００の処理に戻る。一方、第１シャタースイッチがオン状態であると（ステップＳ１０３において、ＹＥＳ）、システム制御部５０はステップＳ１０２の処理に戻る。

第２シャッタースイッチがオンであると（ステップＳ１０２において、ＹＥＳ）、システム制御部５０は、フラッシュ制御部９１を制御してフラッシュ９０を動画の１フレーム目に同期して発光させて、動画撮影を開始する（ステップＳ１０４）。

この際、システム制御部５０は、動画の１フレーム目と２フレーム目とにおいてフラッシュ光で照明されない背景領域における露出が同一となるように撮影を行う。さらに、フラッシュ制御部９１は、ＥＦ処理の結果に基づいてフラッシュ９０の発光量を調光する。

次に、システム制御部５０は、システムタイマー８０によって撮影時間を計測し、システムタイマーで計測された撮影時間がユーザーによって設定された設定時間となると動画撮影を終了する（ステップＳ１０５）。そして、システム制御部５０は、フラッシュ９０を発光して撮影された動画の１フレーム目の画像（以下発光画像と呼ぶ）を基準画像として設定する（ステップＳ１０６）。

続いて、システム制御部５０は、発光画像（基準画像）とフラッシュを発光しないで撮影された動画の２フレーム目の画像（以下非発光画像と呼ぶ）とを画像処理部３２に送る。そして、画像処理部３２は次のようにして、基準画像においてマスク優先領域を求める（ステップＳ１０７）。

図４は、図３に示すマスク優先領域の算出の一例を説明するための図である。そして、図４（ａ）は発光画像の一例を示す図であり、図４（ｂ）は非非発光画像の一例を示す図である。また、図４（ｃ）はマスク優先領域の一例を示す図である。

図４（ａ）および図４（ｂ）においてハッチング（点）の濃度は画像の明暗（つまり、輝度）を示す。また、ここでは、被写体として人物４０１およびイルミネーション４０２が撮影されたものとする。

画像処理部３２は、発光画像および非発光画像において互いに対応する画素毎にその輝度の差（輝度の差分）を求める。そして、画像処理部３２は、当該輝度の差分が予め設定された閾値よりも大きい画素を、フラッシュ光で照明された画素と判定する。そして、画像処理部３２は、全ての画素について、輝度の差分が予め設定された閾値よりも大きいか否かを判定して、当該判定結果に応じてフラッシュ光で照明された画素と判定された画素をマスク優先領域に設定する。

図示の発光画像および非発光画像に応じてマスク優先領域を求めると、図４（ｃ）に示す結果が得られる。図４（ｃ）に示すハッチング（縦線）の領域がマスク優先領域４０３である。ここでは、説明を簡略にするため、三脚撮影などの画像間の位置ずれが発生しない条件で撮影したものとするが、手持ちで撮影を行った場合など、画像間の位置ずれが発生する際に、画像の位置合わせを行うようにすればよい。

再び図３を参照して、システム制御部５０は表示部２に動画領域設定のためのガイド画像を表示する（ステップＳ１０８）。

なお、表示部２には、基準画像を表示し続けるようにしてもよく、撮影した動画を再生して表示してもよい。さらには、基準画像と２フレーム目以降のフレームを画像処理部３２でαブレンドした画像を連続して表示するようにしてもよい。ここでは、表示部２には、基準画像を表示するものとする。

続いて、ユーザーは表示部２にタッチ操作して基準画像における動画領域を設定する（ステップＳ１０９）。

図５は、図３に示す動画領域の更新を説明するための図である。そして、図５（ａ）はタッチ操作によって指定された領域を示す図であり、図５（ｂ）はマスク優先領域および動画領域を示す図である。また、図５（ｃ）は動画領域の更新を示す図である。

図５（ａ）に示すように、基準画像には被写体として人物４０１およびイルミネーション４０２が存在し、人物４０１およびイルミネーション４０２は近接しているものとする。

ユーザーはイルミネーション４０２を動画領域に設定すべくタッチ操作を行い、破線で示す動画領域５０１を指定したものとする。この際、システム制御部５０はユーザーによってタッチ操作された領域が分かるように、その領域について表示色を変えてガイド画像（つまり、ここでは、基準画像）に重畳して表示する。

システム制御部５０は、マスク優先領域４０３と動画領域４０２とに重複する領域が存在するか否かを判定する。そして、重複する領域（重複領域という）がある場合には、システム制御部５０は画像処理部３２によって動画領域４０２から当該重複領域を削除して動画領域５０１を更新する（ステップＳ１１０）。

図５（ｂ）に示す例では、マスク優先領域４０３と動画領域５０１とが一部分重複しており、マスク優先領域４０３と動画領域５０１とには重複領域が存在する。よって、前述のように、動画領域４０２から当該重複領域を削除して動画領域５０１を更新すると、図５（ｃ）に示すように、動画領域５０２が得られる。

ステップＳ１１０の処理の後、画像処理部２３は、システム制御部５０の制御下で、後述するようにして、基準画像、動画、および動画領域に応じて静動画像を生成する（ステップＳ１１１）。そして、システム制御部５０は、記録媒体３に静動画像を記録して（ステップＳ１１２）、撮影処理を終了する。

図６は、図３に示す静動画像生成処理を説明するためのフローチャートである。

静動画生成処理を開始すると、まず、システム制御部５０は、Ｎ（Ｎは処理対象とする動画のフレーム番号）を”２”に設定する（ステップＳ２００）。そして、システム制御部５０は、動画のＮフレーム目を対象画像に設定する（ステップＳ２０１）。

続いて、システム制御部５０の制御下で、画像処理部２３は、動画領域を対象画像とし、かつ動画領域ではない領域を基準画像とする合成画像を生成する（ステップＳ２０２）。そして、システム制御部５０は、動画の２フレーム目から最終フレームまでの全ての処理対象フレームについて処理を行ったか否かを判定する（ステップＳ２０３）。

全ての処理対象フレームについて処理を行っていないと（ステップＳ２０３において、ＮＯ）、システム制御部５０はフレーム番号Ｎをインクリメント（Ｎ＝Ｎ＋１）して（ステップＳ２０４）、ステップＳ２０１の処理に戻る。

一方、全ての処理対象フレームについて処理を行うと（ステップＳ２０３において、ＹＥＳ）、システム制御部５０の制御下で、画像処理部３２は基準画像を１フレーム目として、２フレーム目以降についてはフレーム毎の合成画像を時間的に結合して結合画像を生成する。そして、画像処理部３２は当該結合画像をＧＩＦ又はＭＰＥＧなどの所定のフォーマットに変換して静動画像とする（ステップＳ２０５）。その後、システム制御部５０は静動画生成処理を終了する。

このようにして、時間的に結合されて所定のフォーマットに変換された画像が静動画像となる。フォーマットをＧＩＦに変換する場合などループ設定が可能なフォーマットについては、画像をループする設定を行うようにしてもよい。

このように、本発明の第１の実施形態では、マスク優先領域４０３から重複領域を削除して動画領域を更新する。これによって、画像において動画領域をタッチ操作によって設定する際、静止領域をタッチ操作したとしても、容易に動画領域を設定することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は図１および図２に示すカメラと同様である。また、第２の実施形態に係るカメラにおいても図３で説明したようにして撮影処理が行われる。

第２の実施形態においては、システム制御部５０は、基準画像を予め定められた数のブロック領域に分割して、分割した状態で表示部２に表示する。そして、ユーザーは表示部２に表示された画像をタッチ操作して動画領域を設定する。

図７は、本発明の第２の実施形態に係るカメラで行われる動画領域の更新を説明するための図である。そして、図７（ａ）は基準画像をブロック領域に分割した状態を示す図であり、図７（ｂ）はユーザーがタッチ操作によって動画領域を指定した状態を示す図である。また、図７（ｃ）はマスク優先領域および動画領域を示す図であり、図７（ｄ）は動画領域を更新した状態を示す図である。

前述のように、システム制御部５０は予め設定された数の複数のブロック領域７０１に分割する（図７（ａ））。この処理は、例えば、図３に示すステップＳ１０８の処理で行われる。ユーザーがブロック領域をタッチ操作すると、システム制御部５０は当該ブロック領域を動画領域に設定する。つまり、システム制御部５０は、ユーザーがタッチ操作したブロック領域の全てを、図７（ｂ）に破線で示す動画領域５０１に設定する。

上述のようにして設定された動画領域５０１と前述のマスク優先領域４０３とに重複領域が存在すると（図７（ｃ）参照）、システム制御部５０は動画領域５０１から重複領域を削除して動画領域５０１を更新し動画領域５０２を得る（図７（ｄ）参照）。

このように、本発明の第２の実施形態では、基準画像を複数のブロック領域に分割して、ブロック領域毎に動画領域の設定を行う。基準画像を複数のブロック領域に分割すれば、例えば、動画領域を細かく設定しなくてもよい場合には、ユーザーによるタッチ操作を低減することができ、その分ユーザーの手間が軽減する。

なお、本発明の実施の形態では、動画から静動画像を生成する処理について説明したが、静止画の連続撮影又は静止画と動画との組み合わせなど、時間的に連続した複数の画像を取得すれば、同様にして静動画像を生成することができる。

さらに、ここでは、発光画像と非発光画像とに応じて、マスク優先領域を設定する際、輝度差分に応じて設定するようにしたが、フラッシュ光で照明された画素を検出できればよい。例えば、発光画像および非発光画像における輝度差分差、色差差分、輝度の比、および色差の比のいずれか１つ又はこれらの組み合わせに応じてフラッシュ光で照明された画素を検出するようにしてもよい。

また、上述の例では、発光画像を基準画像としたが、発光画像と非発光画像とをαブレンド処理した合成画像を基準画像としてもよい。さらに、フラッシュ光で照明された領域をマスク優先領域としたが、人体（例えば、顔）を検出する検出部を備えて、当該検出部による検出結果に応じて、人体が検出された領域をマスク優先領域とするようにしてもよい。

加えて、上述の例では、ユーザーが動画領域を設定した後、マスク優先領域と動画領域とに重複する領域があると動画領域を更新するようにしたが、ユーザーが動画領域を入力する際にリアルタイムで動画領域を更新するようにしてもよい。

例えば、表示部２に、動画領域と別の色でマスク優先領域をガイド画像に重畳表示して、ユーザーが動画領域を指定すると、リアルタイムで動画領域を更新してガイド画像を更新するようにしてもよい。

上述の説明から明らかなように、図２に示す例では、画像処理部３２およびシステム制御部５０が設定手段、指定手段、更新手段、および合成手段として機能する。さらに、撮影レンズ３０、撮像部３１、Ａ／Ｄ変換器７０、およびシステム制御部５０は撮影手段として機能し、システム制御部５０、フラッシュ制御部９１、およびフラッシュ９０は発光手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施の形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２ 表示部
１０ シャッターボタン
２０ 操作部
３０ 撮影レンズ
３１ 撮像部
３２ 画像処理部
３３ メモリ制御部
５０ システム制御部
９０ フラッシュ
９１ フラッシュ制御部

Claims (12)

1. 時間的に連続した複数の画像のうちの一つの画像を基準画像として前記基準画像の一部の領域を動画領域として当該動画領域に残りの画像を動画として合成して合成画像を生成する画像処理装置であって、
   前記基準画像の一部に優先的に静止画を表示させるためのマスク領域を設定する第１の設定手段と、
   前記第１の設定手段によって前記マスク領域が設定されると、前記マスク領域に応じて前記動画領域を更新する更新手段と、
   を有することを特徴とする画像処理装置。
2. 前記更新手段は、前記マスク領域と前記動画領域とが重複する重複領域が存在すると、前記重複領域については前記マスク領域が優先するように前記動画領域を更新することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像を撮影する撮影手段と、
   前記撮影手段に同期して発光を行う発光手段とを有し、
   前記第１の設定手段は、前記発光手段を発光させて撮影した結果得られた発光画像と前記発光手段を発光させないで撮影した結果得られた非発光画像とに応じて前記マスク領域を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記基準画像として前記発光画像を用いることを特徴とする請求項３に記載の画像処理装置。
5. 前記複数の画像を合成する際、前記マスク領域について前記発光画像を用い、前記マスク領域を除く領域について前記非発光画像を用いて前記合成画像を生成する合成手段を有することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記第１の設定手段は、前記発光画像と前記非発光画像との輝度の差分、色差の差分、輝度の比、および色差の比の少なくとも１つを用いて前記マスク領域を設定することを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
7. 前記第１の設定手段は、前記発光画像および非発光画像において互いに対応する画素毎にその輝度の差分を求めて、当該輝度の差分が予め設定された閾値よりも大きい画素をマスク領域に設定することを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
8. 前記複数の画像の各々において人物を検出する検出手段を備え、
   前記第１の設定手段は前記検出手段による検出結果に応じて前記マスク領域を設定することを特徴とする請求項１又は２に記載の画像処理装置。
9. 前記基準画像を表示する表示手段と、
   前記基準画像が表示された表示手段においてタッチ操作を行うためのタッチパネルと、
   前記タッチパネルによるタッチ操作に応じて前記動画領域を設定する第２の設定手段とを有することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記表示手段には前記基準画像が予め定められた数のブロック領域に分割された状態で表示され、
    前記第２の設定手段は前記タッチ操作に応じて前記ブロック領域毎に前記動画領域を設定することを特徴とする請求項９に記載の画像処理装置。
11. 時間的に連続した複数の画像のうちの一つの画像を基準画像として前記基準画像の一部の領域を動画領域として当該動画領域に残りの画像を動画として合成して合成画像を生成する画像処理装置の制御方法であって、
    前記基準画像の一部に優先的に静止画を表示させるためのマスク領域を設定する設定ステップと、
    前記設定ステップで前記マスク領域が設定されると、前記マスク領域に応じて前記動画領域を更新する更新ステップと、
    を有することを特徴とする制御方法。
12. 時間的に連続した複数の画像のうちの一つの画像を基準画像として前記基準画像の一部の領域を動画領域として当該動画領域に残りの画像を動画として合成して合成画像を生成する画像処理装置であって、
    画像を表示する表示手段と、
    前記基準画像が表示された前記表示手段の表示面をタッチ操作することで、前記動画領域を指定する指定手段と、
    前記指定手段によって前記動画領域として指定された場合であっても、前記基準画像を優先的に表示させるマスク領域を設定する設定手段と、
    を有することを特徴とする画像処理装置。