JP4970302B2 - 画像処理装置，画像処理方法及び撮像装置 - Google Patents

Description

本発明は、画像処理装置，画像処理方法及び撮像装置に関し、具体的には、撮像した画像に合成用画像を合成して表示する画像処理装置，画像処理方法及び撮像装置に関する。

従来、撮影時に合成用画像を撮影画像に合成することが可能な技術としては、例えば、下記特許文献に記載されたものがある。
特許文献１は、撮影時に撮影位置をサーバーに送信し，撮影エリアごとの付加画像の中からランダムでクリップアートを受け取り，画像に合成する。同じ撮影エリアでも撮影ごとに異なる画像が合成されるため，ユーザに意外性，アミューズメント性を提供する。

特許文献２は、被写体の位置を自動的に検出し，その動きに合わせてテロップ（被写体の名前，説明文等の文字列や説明図形）を画面内に表示する。

特許文献３は、撮影者の選択したテンプレート画像をスルー画に重ねて表示し，撮影者が構図を決定して撮影を行うと，テンプレート画像を合成した撮影画像とテンプレートを合成しない撮影画像が保存される。

特許文献４は、撮影された画像から特定のオブジェクトを抽出し，抽出したオブジェクトを予め登録されている置換用オブジェクトと置換した合成画像を作成し，出力する。

特開２００４−２４８０３７号公報 特開２００３−７８８１８号公報 特開２００４−１５３３４５号公報 特開２００５−１５７７６２号公報

ところで、被写体の配置（位置，大きさ，方向）や数や、被写体同士の配置の関係に適応するように合成用画像を選択することができなかった。また、被写体の位置や、複数の被写体の位置関係に応じて、合成用画像の配置を決定することができなかった。このため、撮影した画像のシーンにそぐわない合成用画像が合成されたり、合成用画像が被写体や他の合成用画像が重なったりする可能性があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、撮影された画像の被写体に基づいて合成用画像を合成し、配置シーンに適した画像を作成することができる画像処理装置，画像処理方法及び撮像装置を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）撮影画像中の被写体を検出する被写体検出手段と、
前記被写体の配置を演算によって判断する被写体位置解析手段と、
前記被写体の配置に応じて前記画像に合成する合成用画像をランダムに選択する画像選択手段と、
選択された前記合成用画像の配置を、他の合成用画像及び前記被写体と重ならないように、ランダムに決定する画像配置手段と、
前記合成用画像を合成する画像合成手段とを備え、前記被写体の数が複数である場合に、前記画像配置手段が被写体同士の配置に基づいて前記合成用画像を選択する画像処理装置。
（２）前記画像配置手段が、配置する前記合成用画像ごとに予め設定された画像サイズの範囲の中からランダムに大きさを選択する上記（１）に記載の画像処理装置。
（３）前記画像配置手段が、配置する前記合成用画像ごとに予め設定された画像の傾きの範囲の中からランダムに傾きを選択する上記（１）又は（２）に記載の画像処理装置。
（４）前記被写体同士の距離に応じて前記合成用画像を選択する上記（１）から（３）のいずれか１つに記載の画像処理装置。
（５）前記画像合成手段が連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、今回の撮影画像における前記少なくとも１つの被写体の配置が前回の撮影画像における前記少なくとも１つの被写体の配置と同じである場合に、前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像が、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置される上記（１）から（４）のいずれか１つに記載の画像処理装置。
（６）前記画像合成手段が連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、前記連続的に撮影された画像の１枚目を撮影してから所定の時間が経過するまでの間、又は、所定数の前記撮影画像を処理するまでの間は、前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像が、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置される上記（１）から（４）のいずれか１つに記載の画像処理装置。
（７）前記被写体が人間の顔である上記（１）から（６）のいずれか１つに記載の画像処理装置。
（８）上記（１）から（７）に記載の画像処理装置を備えた撮像装置。
（９）撮影画像中の被写体を検出するステップと、
前記被写体の配置を演算によって判断するステップと、
前記被写体の配置に応じて前記画像に合成する合成用画像をランダムに選択する画像選択するステップと、
選択された前記合成用画像の配置を、他の合成用画像及び前記被写体と重ならないように、ランダムに決定するステップと、
前記合成用画像を合成するステップとを有し、前記被写体の数が複数である場合に、被写体同士の配置に基づいて前記合成用画像を選択する画像処理方法。
（１０）配置する前記合成用画像ごとに予め設定された画像サイズの範囲の中からランダムに大きさを選択する上記（９）に記載の画像処理方法。
（１１）配置する前記合成用画像ごとに予め設定された画像の傾きの範囲の中からランダムに傾きを選択する上記（９）又は（１０）に記載の画像処理方法。
（１２）前記被写体同士の距離に応じて前記合成用画像を選択する上記（９）から（１１）のいずれか１つに記載の画像処理方法。
（１３）合成用画像を合成するステップでは、連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、今回の撮影画像における前記少なくとも１つの被写体の配置が前回の撮影画像における前記少なくとも１つの被写体の配置と同じである場合に、前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像を、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置する上記（９）から（１２）のいずれか１つに記載の画像処理方法。
（１４）合成用画像を合成するステップでは、連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、前記連続的に撮影された画像の１枚目を撮影してから所定の時間が経過するまでの間、又は、所定数の前記撮影画像を処理するまでの間は、前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像を、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置する上記（９）から（１２）のいずれか１つに記載の画像処理方法。
（１５）前記被写体が人間の顔である上記（９）から（１４）のいずれか１つに記載の画像処理方法。

本発明によれば、被写体の配置を判断し、その被写体の配置の情報に基づいて合成する合成用画像をランダムに選択するとともに、選択された合成用画像を被写体の配置に応じて重ならない範囲でランダムに配置することができる。撮影画像に対して完全にランダムに合成用画像を配置する場合には、被写体と合成用画像との重なり合いが生じるおそれがある。しかし、本願によれば被写体の配置に基づいて合成用画像の配置を決定するため、被写体と合成用画像との重なり合いが生じることを回避することができ、合成後の画像が、撮像画像のシーンに即するように表示される。
また、合成用画像が被写体の配置に応じてランダムに選択、配置されるため、撮影時に使用者が意外性を感じる合成画像を得ることができる。

さらに、連続的に撮影された撮影画像に合成を行う場合に、被写体の配置が前回の被写体の配置と同じときに、前回と同じ合成用画像を前回の被写体と該前回の合成用画像との位置関係と同じ位置関係になるように配置すれば、例えば、スルー画や動画の表示がみやすくなる。

本発明によれば、撮影された画像の被写体に基づいて合成用画像を合成し、配置シーンに適した画像を作成することができる画像処理装置，画像処理方法及び撮像装置を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる画像処理装置及び撮像装置の一例を示す構成図である。以下の実施形態では、デジタルカメラの構成を例に説明するが、本発明にかかる画像処理装置及び撮像装置は特にこれに限定されない。

デジタルカメラ１は、被写体を撮像する撮像部を備えている。撮像部には、レンズ１１と、絞り１２と、フィルタ１３と、入射光に応じて画像データを生成する固体撮像素子（ＣＣＤ）１４と、固体撮像素子１４で生成されたアナログ信号の画像データが入力されるアナログ信号処理部１５と、信号処理されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１６と、を備えている。また、レンズ１１を駆動するレンズ駆動部１７と、絞り１２を駆動する絞り駆動部１８と、固体撮像素子１４に駆動信号を供給するＣＣＤ駆動部１９と、を備えている。また、レンズ駆動部１７、絞り駆動部１８、ＣＣＤ駆動部１９は、ＣＰＵ２０に接続されている。本実施形態では撮像素子としてＣＣＤを用いた構成を示しているが、特に限定されず、ＣＭＯＳイメージセンサーを用いてもよい。

デジタルカメラ１には、使用者が撮影時に操作可能な操作部２１が設けられ、該操作部２１がＣＰＵ２０に接続されている。

また、デジタルカメラ１には、Ａ／Ｄ変換部１６及びＣＰＵ２０とバスを介して、メモリ制御部２２と、デジタル信号処理部２４と、圧縮伸張処理部２５と、積算部２６と、外部メモリ制御部２７と、表示制御部２９と、画像処理部３１とが、それぞれ接続されている。メモリ制御部２２にはメインメモリ２３が接続されている。外部メモリ制御部２７には外部メモリ２８が接続されている。また、表示制御部２９には、ＬＣＤなどの表示部３０が接続されており、撮像画像や、合成用画像を合成した撮像画像を表示される。

本実施形態のデジタルカメラ１には、撮像画像において所定の被写体（本実施形態では人間の顔とした。）を検出する被写体検出手段として機能する顔検出部４２と、被写体の配置を演算によって判断する被写体位置解析手段として機能する顔位置解析部４４と、被写体の配置に応じて画像に合成する合成用画像をランダムに選択する画像選択手段として機能する画像選択部４６と、選択された合成用画像の配置を他の合成用画像及び被写体と重ならないようにランダムに決定する画像配置手段として機能する画像配置部４８と、合成用画像を合成する画像合成手段として機能する画像合成部５０と、を備えている。また、合成用画像を予め記憶する合成用画像記憶部５２が設けられている。

図２は、撮像画像に合成用画像を合成するときの制御を示すブロック部である。撮像時に撮像された撮像画像の撮像画像の情報（図２では、スルー画としているが静止画でもよい。）がＣＣＤ２０で生成され、該撮像画像の情報が顔検出部４２と画像合成部５０にそれぞれ入力される。顔検出部４２は、撮像画像の情報から所望の被写体を検出する。本実施形態では、人間の顔を検出する被写体としているがこれに限定されず、その他の物体や人物全体像を被写体としてもよい。顔検出部４２で検出された顔位置の情報が、顔位置解析部４４と画像配置部４８とにそれぞれ供給される。

顔位置解析部４４は、顔位置の情報に基づいて、撮像画像中において顔位置がどのように配置されているかを演算して、顔位置解析結果を画像選択部４６に供給する。

画像選択部４６は、顔位置解析結果に基づいて画像に合成する合成用画像をランダムに選択する。このとき、合成用画像は、予め顔位置の配置に応じて設定された合成用画像を記憶する合成用画像記憶部５２から読み出される。画像選択部４６から画像選択情報が画像配置部４８に供給される。画像配置部４８は、顔位置の情報と、画像選択情報と、合成用画像記憶部５３から供給される合成用画像とに基づいて、選択された合成用画像の配置を、他の合成用画像及び被写体の顔と重ならないように、ランダムに決定する。そして、合成用画像の決定された配置を画像配置情報として画像合成部５０に供給する。

画像合成部５０は、ＣＣＤから供給された撮像画像と、画像配置部４８から供給された画像配置情報と、合成用画像記憶部５２から供給された合成用画像とに基づいて、撮像画像に合成用画像を合成する。そして、合成画像を表示部３０に出力し、表示部３０で合成画像を表示する。

次に、本発明にかかる画像処理の手順を図面に基づいて説明する。図３は、本発明にかかる第１実施形態の処理手順を示すフローチャートである。

先ず、取得した撮影画像から顔位置の検出を行う。図４は、顔位置の検出を行っている状態を示しており、図４（ａ）は、顔位置が撮像画像の中央部にある状態を示し、図４（ｂ）は、顔位置が撮像画像の周辺部にある状態を示している。なお、図中では、顔位置を破線で囲んだ領域で示している。顔位置を検出した後、顔位置が中央部にあるか否かの判定を行う。

図５は、顔位置の判定を行っている状態を示しており、図５（ａ）は、顔位置が撮像画像の中央部にある状態を示し、図５（ｂ）は、顔位置が撮像画像の周辺部にある状態を示している。なお、図中では、顔位置を破線で囲んだ領域で示している。

顔位置の判定の具体例としては、図５に示すように、撮像画面の周辺端部から一定幅Wの周辺部判定領域を設定し、顔位置が周辺部判定領域と重なっている場合を周辺部とし、重なっていない場合を中央部と判定することができる。

次に、判定された顔位置により予め設定された合成用画像の中から適切な画像を0個以上ランダムで選択する。図６（ａ）は、合成用画像の一例を示す図であり、図６（ｂ）は、選択された合成用画像の個数を示す図である。ここで、「０個以上」としたのは、合成用画像を選択せず、つまり、合成をしないという場合もあることを意味する。図６（ａ）に示すように、合成用画像を予め中央部用と周辺部用として別々に用意しておき、顔位置の判定により適切な画像の中からランダムで0個以上の画像を選ぶ。合成用画像は、予め撮像した画像や、外部から取得した画像を用いることができる。また、合成用画像を選択する場合には、図６（ｂ）に示すように同じ合成用画像が複数個選択されてもよいし、一つも選択されない画像があってもよい。また、使用者が予め最大画像数を設定しておき、その数以下の画像を選択してもよい。

合成用画像を選択した後、さらに，顔位置の判定に基づいて適切な合成エリアを設定する。図７は、撮像画像に合成エリアを設定する状態を示す図であり、図７（ａ）は、撮像画像の中央部に顔位置がある場合に合成エリアを設定する状態を示し、図７（ｂ）は、撮像画像の周辺部に顔位置がある場合に合成エリアを設定する状態を示している。図７（ａ），（ｂ）に示すように、本実施形態では、顔位置に応じて、合成エリアの位置と形状を設定している。合成エリアの形状は任意であるが，ここでは被写体(顔領域)と重ならない領域を合成エリアとしている。

続いて、設定された合成エリア内に、合成用画像を一つずつランダムに配置する。図８は、合成エリアに合成用画像を配置した状態を示す図であり、図８（ａ）は、撮像画像の中央部に顔位置がある場合に合成エリアに合成用画像を配置した状態を示し、図８（ｂ）は、撮像画像の周辺部に顔位置がある場合に合成エリアに合成用画像を配置した状態を示している。合成用画像の位置，大きさ，方向はランダムに決定されるが、合成エリア内に収まるように、かつ、合成用画像同士が重ならないように配置が選択される。

図９は、合成用画像ごとに大きさ及びその傾きが設定されている状態を示している。図１０は、撮像画像に合成用画像を合成した状態を示す図であり、図１０（ａ）は、撮像画像の中央部に顔位置がある場合に、合成用画像を合成した状態を示し、図１０（ｂ）は、撮像画像の周辺部に顔位置がある場合に、合成用画像を合成した状態を示している。図９に示すように、合成用画像の大きさは、「最小サイズ」と「最大サイズ」を合成用画像ごとに定義しておき、その範囲内でランダムな大きさを選択することができる。こうすれば、撮像画像に合成した後で、合成用画像が小さすぎて見えなくなることや不自然に大きくなりすぎることを防ぐことができる。合成用画像の方向に関しても同様に、撮像画像に対する傾きの範囲（例えば、−３０°から３０°等）を画像ごとに定義しておくことにより、撮像画像のシーンに対して不自然な方向で配置されることを防ぐことができる。

撮像画像に所定の合成用画像を全て配置して合成し、合成画像を作成することで本実施形態の処理が終了する。上記の画像処理を実行することにより、被写体の配置に応じて、適切な合成用画像が適切な配置で合成することができる。

図１１は、本実施形態の処理を実行せずに作成された合成画像を示す図である。被写体（顔）の配置を判断し、その被写体の配置の情報に基づいて合成する合成用画像をランダムに選択するとともに、選択された合成用画像を被写体の配置に応じて重ならない範囲でランダムに配置するため、図１１に示す、撮影画像に対して完全にランダムに合成用画像を配置する場合のように、被写体と合成用画像との重なり合いが生じることを回避できる。本実施形態によれば、被写体の配置情報を合成用画像の選択と、合成用画像の合成場所の決定に用いることで、完全なランダムではなく被写体の配置により画像選択，画像配置に一定の制限をかけている。これによって、被写体の配置に基づいて合成用画像の配置を決定するため、被写体と合成用画像との重なり合いが生じることを回避することができ、合成後の画像が、撮像画像のシーンに即するように表示される。

また、図１０（ｂ）に示すように、顔位置が撮像画像のフレームからはみ出てしまった場合に、顔位置が中央部にある場合（図１０（ａ）参照）とは異なる注意を促すような表示を行うことが可能である。

図１２は、本実施形態の処理により作成された合成画像の他の例を示す図である。選択される合成用画像の配置，数，種類がランダムであるため、同じシーンであっても撮影するたびに合成画像が変化する。例えば、顔位置が中央部にある図１０（ａ）と同じシーンを全く同じ条件で再度撮影した場合でも、図１０（ａ）の合成画像とは異なった合成用画像の配置を有する図１２のような画像が得られる可能性がある。このように、撮影ごとに合成される画像が変化するため、使用者は意外性のある撮影を楽しむことができる。

なお、本実施形態は一例であり、適宜変更可能である。例えば、顔以外の被写体を対象として同様の処理を行うことも考えられる。また、本実施形態では被写体の配置として顔の位置のみを判定基準に合成用画像の選択や合成エリアの定義を行っているが、顔の大きさや方向に応じてそれらを変化させてもよい。さらに、本実施形態では、合成エリアを定義してからそのエリアに収まるように合成用画像の配置を行ったが、合成エリアを定義せず、合成用画像を配置してからその配置が適切かどうかを判定し、適切でない場合は配置をやり直すといった処理とすることで同様の効果を得ることができる。したがって、本実施形態において合成エリアの定義をする手順は必須の処理ではない。

次に、本発明にかかる第２実施形態を図面に基づいて説明する。
図１３は、本実施形態の処理手順を示すフローチャートである。本実施形態では、１個の被写体の配置だけでなく、被写体間の関係を考慮して処理を行う。

先ず、撮影シーンから顔位置と顔の数を検出する。図１４は、撮像画像に２個の顔がある場合の状態を示す図であり、図１４（ａ）は、顔同士の距離が近い場合の状態を示しており、図１４（ｂ）は、顔同士の距離が遠い場合の状態を示している。そして、顔数が２個であるか否かを判定し、２個でない場合は処理を終了する。顔数が２個である場合は続いて顔間の距離が閾値ＴＨより小さいか否かを判定する。閾値ＴＨは、例えば二つの顔の大きさから決定される値で、二つの顔の幅の平均を閾値ＴＨとするなどが考えられる。

次に判定された顔距離により予め設定された合成用画像の中から適切な画像を０個以上ランダムで選択する。図１５は合成用画像の一例を示す図である。図１５に示すように、合成用画像を、顔距離が近い場合と遠い場合で別々に予め用意しておき、顔距離の判定に応じて適切な画像の中からランダムで０個以上の画像を選ぶ。なお、本実施形態において、上記実施形態と同様に同じ画像が複数個選択されてもよく、または、合成用画像が一つも選択されなくてもよい。また、合成用画像ごとに予め最大画像数を設定しておき、その数以下の画像を選択してもよい。

次に、顔距離の判定に基づいて適切な合成エリアを設定する。図１６は、撮像画像に合成エリアを設定する状態を示す図であり、図１６（ａ）は、顔距離が近い場合に合成エリアを設定する状態を示し、図１６（ｂ）は、顔距離が遠い場合に合成エリアを設定する状態を示している。なお、合成エリアの形状は任意であるが，ここでは被写体(顔領域)と重ならない領域を合成エリアとしている。

続いて、合成エリア内に合成用画像を一つずつランダムに配置する。図１７は、合成エリアに合成用画像を配置した状態を示す図であり、図１７（ａ）は、顔距離が近い場合に合成エリアに合成用画像を配置した状態を示し、図１７（ｂ）は、顔距離が遠い場合に合成エリアに合成用画像を配置した状態を示している。合成用画像の位置，大きさ，方向はランダムであるが、合成エリア内に収まるように、かつ、合成画像同士が重ならないような配置を選択する。合成用画像の大きさには、図９に示したように、「最小サイズ」と「最大サイズ」を合成用画像ごとに定義しておき、その範囲内でランダムな大きさを選択することにより合成用画像が小さすぎて見えなくなることや不自然に大きくなりすぎることを防ぐことができる。合成用画像の方向に関しても同様に、傾きの最大値を画像ごとに定義しておくことにより、方向性を持つ画像が不自然な方向で配置されることを防ぐことができる。撮像画像に所定の合成用画像を全て配置して合成し、合成画像を作成することで本実施形態の処理が終了する。

図１８は、本実施形態の処理により作成された合成画像の一例を示す図であり、図１８（ａ）は、顔距離が近い撮像画像に合成用画像を合成した状態を示し、図１８（ｂ）は、顔距離が遠い撮像画像に合成用画像を合成した状態を示している。
本実施形態では、被写体の配置の関係に応じて，適切な合成用画像が適切な配置で合成されることにより、例えば顔距離が近い場合(図１８（ａ）)と顔距離が遠い場合(図１８（ｂ）)で、それぞれ所定の合成用画像を合成するため、視覚的な効果が異なる表示を行うことが可能である。また、選択される合成用画像の配置，数，種類はランダムであるため、同じシーンであっても撮影するたびに合成画像が変化する。例えば、顔位置が遠い場合である、図１８（ｂ）と同じシーンを同じ条件で再度撮影した場合であっても、図１９に示すような合成画像が得られる可能性がある。このように撮影ごとに作成される合成画像が変化するため、使用者は意外性のある撮影を楽しむことができる。

なお、本実施形態の手順は一例であり、例えば顔以外の被写体を対象として同様の処理を行うこともできる。また、本実施形態では被写体の配置として顔の位置関係のみを判定基準に用いて合成用画像の選択や合成エリアの定義を行っているが、顔の大きさや方向の関係に応じてそれらを変化させてもよい。さらに、本実施形態では合成エリアを定義してからそのエリアに収まるように合成用画像の配置を行ったが、合成エリアを定義せず、合成用画像を配置してからその配置が適切かどうかを判定し、適切でない場合は配置をやり直すといった処理で本実施形態と同様の効果を得られる。このため、本実施形態において合成エリアの定義は必須の処理ではない。

次に、本発明の第３実施形態を図面に基づいて説明する。図２０は本実施形態の処理手順を示すフローチャートである。本実施形態では、連続的に撮影された撮影画像に合成を行うときの処理の一例を説明する。

図２０に示すように、顔位置の検出するステップ、顔位置の配置を演算によって判断するステップ、被写体の配置に応じて画像に合成する合成用画像をランダムに選択するステップ、及び、選択された合成用画像の配置を、他の合成用画像及び被写体と重ならないようにランダムに決定するステップは、上記実施形態と同じである。

本実施形態では、連続的に撮影された画像に対して合成を行う際に、一つ前のフレームの被写体配置を参照し、被写体配置が同一であった場合は前フレームと同じ画像を前フレームの被写体と合成用画像との位置関係と同じ位置関係になるよう配置して合成する。

図２１は、連続的に撮影された画像を説明する図であり、図２１（ａ）は、前フレームで撮影された画像を示し、図２１（ｂ）は図２１（ａ）の次に撮影された画像を示している。ここで、処理対象のフレームをtフレームとし、一つ前のフレームをt-1フレームとすると、図２０に示すように、顔位置を解析し、顔位置が撮影画像の中央部又は周辺部のいずれに位置するかを判別した後で、t-1フレームの顔位置を参照する。そして、tフレームの判定結果と一致した場合に、「処理Ａ」を行い、一致しない場合には上記第１実施形態と同じ処理を行う。なお、連続撮影の最初のフレームは前フレームの顔位置が存在しないため、必ず「Ｎｏ」の判定となる。

処理Aでは、t-1フレームの合成に用いられた画像と同一の合成用画像を、t-1フレーム内での顔位置と合成用画像の位置関係と等しい位置関係となるように配置する。具体的には各合成用画像に対してtフレームでの配置(x_t, y_t)を顔位置(fx_t, fy_t)およびt-1フレームでの合成位置(x_t-1, y_t-1) と顔位置(fx_t-1, fy_t-1)から次式により求めることができる。

(1)

図２１に示すように、t-1フレームの顔位置と合成用画像の位置関係とtフレームでの顔位置と合成用画像の位置関係が等しくなっている。なお、顔位置と合成用画像の位置はそれぞれの領域の左上の座標としている。位置関係が維持されているため、フレーム間で被写体が移動した場合であっても、合成用画像が被写体に追随して移動する。

画像合成後には顔位置と合成用画像の位置を記憶部などに記録する。これは次のフレームの処理に顔位置及び合成用画像の位置が必要となるためである。

上記本実施形態は一例であり、適宜変更可能である。例えば、顔以外の被写体を対象として同様の処理を行うことも考えられる。また、本実施形態では被写体の配置として顔と合成用画像の位置関係のみを維持する処理を行っているが、大きさや方向に関しても同様の処理を行うことが望ましい。さらに、被写体が複数の場合は被写体同士の関係に関して前のフレームと同一の解析結果となるかの判定を行い、上記と同様の処理を行うこともできる。
また、本実施形態では、被写体の絶対位置と合成用画像の絶対位置を記録して次のフレームで参照したが、被写体配置の解析結果と合成用画像の被写体に対する相対的な位置を用いても同様の効果を得ることができる。

次に、本発明にかかる第４実施形態を図面に基づいて説明する。
図２２は、本実施形態の処理手順を示すフローチャートである。本実施形態では、連続的に撮影された画像に対して合成を行う際に一枚のフレーム画像に対して合成処理を行う例を説明する。なお、顔位置の検出するステップ、顔位置の配置を演算によって判断するステップ、被写体の配置に応じて画像に合成する合成用画像をランダムに選択するステップ、及び、選択された合成用画像の配置を、他の合成用画像及び被写体と重ならないようにランダムに決定するステップは、上記実施形態と同じである。

本実施形態においては、連続的に撮影された画像に対して合成を行う際に，一定時間が経過するまで、もしくは、特定数のフレームを処理するまでは前フレームと同じ画像を前フレームの被写体と合成用画像との位置関係と同じ位置関係になるよう配置して合成する。

図２２に示すように、処理枚数カウンタＩが定数α未満の場合には上記第３実施形態と同様に「処理A」を行い、処理枚数カウンタＩがα以上の場合には処理枚数カウンタＩを０に初期化してから上記第１実施形態で説明した処理を行う。例えば、定数αを３０と設定すれば３０フレームおきに上記第１実施形態の合成処理が行われて合成画像が変化する。一方で、Ｉが３０未満のフレームでは「処理A」が行われるため、合成用画像が被写体に追随して移動する。本実施形態において、合成処理を実行した後に処理枚数カウンタＩを更新し（図２２では、Ｉ＝Ｉ+１に設定している。）、次のフレームの処理に移る。

連続撮影された画像（スルー画や動画）の各フレームに対して上記第１実施形態にように合成処理を実行すると、フレームごとに合成結果が大きく異なり、画面がちらつくため大変見づらく、実用性に欠ける。そこで、本実施形態によれば合成画像の更新は一定間隔となり、その間は合成用画像が被写体に追随するため、画面が安定する。また、被写体配置が変化した場合や、撮影をやり直した場合にはランダムな画像合成により毎回異なる合成結果が得られ、意外性のある撮影を楽しむことができる。

本発明にかかる画像処理装置及び撮像装置の一例を示す構成図である。 撮像画像に合成用画像を合成するときの制御を示すブロック部である。 本発明にかかる第１実施形態の処理手順を示すフローチャートである。 顔位置の検出を行っている状態を示す図である。 顔位置の判定を行っている状態を示す図である。 合成用画像の一例を示す図である。 撮像画像に合成エリアを設定する状態を示す図である。 合成エリアに合成用画像を配置した状態を示す図である。 合成用画像ごとに大きさ及びその傾きが設定されている状態を示す図である。 第１実施形態の処理により作成された合成画像の一例を示す図である。 第１実施形態の処理を実行せずに作成された合成画像を示す図である。 第１実施形態の処理により作成された合成画像の他の例を示す図である。 第２実施形態の処理手順を示すフローチャートである。 被写体配置の関係の判定を行っている状態を示す図である。 合成用画像の一例を示す図である。 撮像画像に合成エリアを設定する状態を示す図である。 合成エリアに合成用画像を配置した状態を示す図である。 第２実施形態の処理により作成された合成画像の一例を示す図である。 第２実施形態の処理により作成された合成画像の他の例を示す図である。 第３実施形態の処理手順を示すフローチャートである。 連続したフレームで合成用画像が被写体に追従することを説明する図である。 第４実施形態の処理手順を示すフローチャートである。

符号の説明

１ デジタルカメラ（撮像装置）
４２ 顔検出部
４４ 顔位置解析部
４６ 画像選択部
４８ 画像配置部
５０ 画像合成部
５２ 合成用画像記憶部

Claims (15)

1. 撮影画像中の被写体を検出する被写体検出手段と、
   前記被写体の配置を演算によって判断する被写体位置解析手段と、
   前記被写体の配置に応じて前記画像に合成する合成用画像をランダムに選択する画像選択手段と、
   選択された前記合成用画像の配置を、他の合成用画像及び前記被写体と重ならないように、ランダムに決定する画像配置手段と、
   前記合成用画像を合成する画像合成手段とを備え、前記被写体の数が複数である場合に、前記画像配置手段が被写体同士の配置に基づいて前記合成用画像を選択する画像処理装置。
2. 前記画像配置手段が、配置する前記合成用画像ごとに予め設定された画像サイズの範囲の中からランダムに大きさを選択する請求項１に記載の画像処理装置。
3. 前記画像配置手段が、配置する前記合成用画像ごとに予め設定された画像の傾きの範囲の中からランダムに傾きを選択する請求項１又は２に記載の画像処理装置。
4. 前記被写体同士の距離に応じて前記合成用画像を選択する請求項１から３のいずれか１つに記載の画像処理装置。
5. 前記画像合成手段が連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、今回の撮影画像における前記少なくとも１つの被写体の配置が前回の撮影画像における前記少なくとも１つの被写体の配置と同じである場合に、
   前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像が、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置される請求項１から４のいずれか１つに記載の画像処理装置。
6. 前記画像合成手段が連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、前記連続的に撮影された画像の１枚目を撮影してから所定の時間が経過するまでの間、又は、所定数の前記撮影画像を処理するまでの間は、
   前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像が、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置される請求項１から４のいずれか１つに記載の画像処理装置。
7. 前記被写体が人間の顔である請求項１から６のいずれか１つに記載の画像処理装置。
8. 上記請求項１から７に記載の画像処理装置を備えた撮像装置。
9. 撮影画像中の被写体を検出するステップと、
   前記被写体の配置を演算によって判断するステップと、
   前記被写体の配置に応じて前記画像に合成する合成用画像をランダムに選択する画像選択するステップと、
   選択された前記合成用画像の配置を、他の合成用画像及び前記被写体と重ならないように、ランダムに決定するステップと、
   前記合成用画像を合成するステップとを有し、前記被写体の数が複数である場合に、被写体同士の配置に基づいて前記合成用画像を選択する画像処理方法。
10. 配置する前記合成用画像ごとに予め設定された画像サイズの範囲の中からランダムに大きさを選択する請求項９に記載の画像処理方法。
11. 配置する前記合成用画像ごとに予め設定された画像の傾きの範囲の中からランダムに傾きを選択する請求項９又は１０に記載の画像処理方法。
12. 前記被写体同士の距離に応じて前記合成用画像を選択する請求項９から１１のいずれか１つに記載の画像処理方法。
13. 前記合成用画像を合成するステップでは、連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、今回の撮影画像における前記少なくとも１つの被写体の配置が前回の撮影画像における前記少なくとも１つの被写体の配置と同じである場合に、
    前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像を、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置する請求項９から１２のいずれか１つに記載の画像処理方法。
14. 前記合成用画像を合成するステップでは、連続的に撮影された各撮影画像に前記合成用画像を合成する場合に、前記連続的に撮影された画像の１枚目を撮影してから所定の時間が経過するまでの間、又は、所定数の前記撮影画像を処理するまでの間は、
    前回の撮影画像と合成された少なくとも１つの合成用画像と同じ少なくとも１つの合成用画像を、前回の撮影画像における少なくとも１つの被写体と該前回の撮影画像と合成された少なくとも１つの合成用画像との間の位置関係と同じ位置関係を今回の撮影画像における前記少なくとも１つの被写体と有するように配置する請求項９から１２のいずれか１つに記載の画像処理方法。
15. 前記被写体が人間の顔である請求項９から１４のいずれか１つに記載の画像処理方法。

Images