JP4994204B2 - 画像合成装置 - Google Patents

Description

この発明は、複数の透過エリアを有する既定画像を撮影画像に多重して合成画像を作成する、画像合成装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、重畳画像は、画像入力装置からの入力映像に合成される。入力映像は、人物の上半身と背景とを表す。重畳画像は、合成後にも人物の顔を表示させるための顔用透過領域と、顔の回りをマスキングまたは修飾する顔周囲用非透過領域と、合成後に背景を表示させるための背景用透過領域とを有する。入力映像に重畳画像を合成して作成された合成画像では、人物の顔の位置に合わせて位置がシフトされた顔周囲用非透過領域が表示され、顔用透過領域内を透過して顔が表示され、そして背景用透過領域を透過して背景が表示される。
特開２００２−３６８９７８号公報［H04N 1/387, 1/393, 5/272］

背景技術によれば、重畳画像は２つの透過領域を有するものの、透過領域を透過させるべき対象物の割り当ては予め決められており、人物の顔を透過させる透過領域をこの２つの透過領域の間で変更することはできない。また、合成画像が作成された後に顔用透過領域と顔との相対位置を変更することもできない。このため、背景技術では、合成画像の品質に限界がある。

それゆえに、この発明の主たる目的は、既定画像を撮影画像に良好に合成することができる、画像合成装置を提供することである。

この発明に従う画像合成装置(10：実施例で相当する参照符号。以下同じ)は、既定画像上に設けられた複数の透過エリアの各々の属性を検出する第１検出手段(S87)、撮影画像が有する特定物画像の属性を検出する第２検出手段(S77)、第１検出手段によって検出された複数の属性の各々と第２検出手段によって検出された属性との相違を算出する算出手段(S89)、算出手段によって算出された相違に基づいて複数の透過エリアの１つを選択する選択手段(S91)、および選択手段によって選択された透過エリアの属性と特定物画像の属性との相違が抑制される態様で既定画像と撮影画像を合成する第１合成手段(S111~S123)を備える。

既定画像上に設けられた複数の透過エリアの各々の属性は、第１検出手段によって検出される。撮影画像が有する特定物画像の属性は、第２検出手段によって検出される。算出手段は、第１検出手段によって検出された複数の属性の各々と第２検出手段によって検出された属性との相違を算出する。選択手段は、算出手段によって算出された相違に基づいて複数の透過エリアの１つを選択する。第１合成手段は、選択手段によって選択された透過エリアの属性と特定物画像の属性との相違が抑制される態様で既定画像と撮影画像を合成する。

このように、第１合成手段によって注目される透過エリアは、複数の透過エリアの各々の属性と特定物画像の属性との相違に基づいて選択される。また、既定画像と撮影画像を合成する処理は、透過エリアの属性と特定物画像の属性との相違が抑制される態様で実行される。これによって、複数の透過エリアを有する既定画像を撮影画像に良好に合成することができる。

好ましくは、選択手段は、相違が小さい透過エリアを選択する。また、第１検出手段は複数の透過エリアの各々のサイズを属性として検出し、第２検出手段は特定物画像のサイズを属性として検出し、算出手段は透過エリアの各々のサイズと特定物画像のサイズとの相違を算出する。

好ましくは、第１合成手段は、特定物画像のサイズが透過エリアのサイズに近づくように撮影画像の倍率を調整する倍率調整手段(S115)、および透過エリアの位置が特定物画像の位置に近づくように合成位置を調整する位置調整手段(S117)を含む。合成処理は、特定物画像が透過エリアから透過するように実行される。

さらに好ましくは、倍率補正操作に応答して撮影画像の倍率を補正する第１倍率補正手段(S25)、位置補正操作に応答して合成位置を補正する第１位置補正手段(S19)、および指定手段によって指定された既定画像と撮影画像を第１倍率補正手段および／または第１位置補正手段の補正結果を参照して再度合成する第２多重手段(S29)をさらに備える。これによって、透過エリアに現れた特定物画像の位置および倍率を操作者の好みに応じて補正することができる。

また、第１倍率補正手段による倍率補正量を指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する倍率補正量正規化手段(S27)がさらに備えられ、第１多重手段は指定手段によって指定された既定画像上の透過エリアのサイズと倍率補正量正規化手段によって正規化された倍率補正量とに基づいて撮影画像の倍率を補正する第２倍率補正手段(S119)をさらに含む。

これによって、既定画像が更新された場合に、更新後の既定画像が有する透過エリアと特定物画像とのサイズ関係を、更新前の既定画像が有する透過エリアと特定物画像とのサイズ関係に合わせることができる。

さらに、第１位置補正手段による位置補正量を指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する位置補正量正規化手段(S21)がさらに備えられ、第１多重手段は指定手段によって指定された既定画像上の透過エリアのサイズと位置補正量正規化手段によって正規化された位置補正量とに基づいて合成位置を補正する第２位置補正手段(S121)をさらに含む。

これによって、既定画像が更新された場合に、更新後の既定画像が有する透過エリアと特定物画像との位置関係を、更新前の既定画像が有する透過エリアと特定物画像との位置関係に合わせることができる。

好ましくは、第１合成手段によって合成された既定画像の外縁からはみ出した撮影画像の一部を切り取る切り取り手段(S125)がさらに備えられる。また、特定物画像は顔画像に相当する。

この発明に従う画像合成方法は、画像合成装置(10)のプロセサ(32)に、既定画像上に設けられた複数の透過エリアの各々の属性を検出する第１検出ステップ(S87)、撮影画像が有する特定物画像の属性を検出する第２検出ステップ(S77)、第１検出ステップによって検出された複数の属性の各々と第２検出ステップによって検出された属性との相違を算出する算出ステップ(S89)、算出ステップによって算出された相違に基づいて複数の透過エリアの１つを選択する選択ステップ(S91)、および選択ステップによって選択された透過エリアの属性と特定物画像の属性との相違が抑制される態様で既定画像と撮影画像を合成する合成ステップ(S111~S123)を実行させるための、画像合成プログラムである。

この発明に従う画像合成方法は、画像合成装置(10)によって実行される画像合成方法であって、既定画像上に設けられた複数の透過エリアの各々の属性を検出する第１検出ステップ(S87)、撮影画像が有する特定物画像の属性を検出する第２検出ステップ(S77)、第１検出ステップによって検出された複数の属性の各々と第２検出ステップによって検出された属性との相違を算出する算出ステップ(S89)、算出ステップによって算出された相違に基づいて複数の透過エリアの１つを選択する選択ステップ(S91)、および選択ステップによって選択された透過エリアの属性と特定物画像の属性との相違が抑制される態様で既定画像と撮影画像を合成する合成ステップ(S111~S123)を備える。

この発明に従う画像合成装置(10)は、撮影画像が有する特定物画像の属性と既定画像上に設けられた透過エリアの属性とに基づいて合成処理パラメータを算出する算出手段(S115, S117)、算出手段によって算出された合成処理パラメータと補正係数とに基づいて既定画像と撮影画像を合成する第１合成手段(S119~S123)、第１合成手段の処理が完了した後の補正操作に応答して補正係数を更新する更新手段(S21, S27)、補正操作に従う態様で既定画像と撮影画像を再度合成する第２合成手段(S19, S25, S29)、および画像更新操作を受け付けたとき既定画像を更新して算出手段を再起動する再起動手段(S11)を備える。

算出手段は、撮影画像が有する特定物画像の属性と既定画像上に設けられた透過エリアの属性とに基づいて合成処理パラメータを算出する。第１合成手段は、算出手段によって算出された合成処理パラメータと補正係数とに基づいて既定画像と撮影画像を合成する。補正係数は、第１合成手段の処理が完了した後の補正操作に応答して、更新手段によって更新される。第２多重手段は、補正操作に従う態様で既定画像と撮影画像を再度合成する。再起動手段は、画像更新操作を受け付けたとき、既定画像を更新して算出手段を再起動する。

したがって、合成処理の態様は、特定物画像および透過エリアの属性に基づく合成処理パラメータと補正係数とに依存する。補正操作が行われると、合成処理の態様が変化し、かつ補正係数が更新される。画像更新操作が行われると、既定画像が更新され、合成処理パラメータが再度算出される。更新された既定画像を用いた合成処理の態様は、新たに算出された合成処理パラメータと更新された補正係数に依存する。この結果、更新前の既定画像を用いた合成処理の態様が更新後の既定画像を用いた合成処理に反映され、更新後の既定画像を撮影画像に良好に合成することができる。

この発明によれば、第１合成手段によって注目される透過エリアは、複数の透過エリアの各々の属性と特定物画像の属性との相違に基づいて選択される。また、既定画像と撮影画像を合成する処理は、透過エリアの属性と特定物画像の属性との相違が抑制される態様で実行される。これによって、複数の透過エリアを有する既定画像を撮影画像に良好に合成することができる。

他の発明によれば、合成処理の態様は、特定物画像および透過エリアの属性に基づく合成処理パラメータと補正係数とに依存する。補正操作が行われると、合成処理の態様が変化し、かつ補正係数が更新される。画像更新操作が行われると、既定画像が更新され、合成処理パラメータが再度算出される。更新された既定画像を用いた合成処理の態様は、新たに算出された合成処理パラメータと更新された補正係数に依存する。この結果、更新前の既定画像を用いた合成処理の態様が更新後の既定画像を用いた合成処理に反映され、更新後の既定画像を撮影画像に良好に合成することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２を含む。被写界を表す光学像は、光学レンズ１２を経て撮像装置１４の受光面に照射される。受光面では、被写界像を表す電荷が光電変換によって生成される。

キー入力装置３８によってカメラモードが選択されると、ＣＰＵ３２は、スルー画像処理を実行するべく、プリ露光および間引き読み出しの繰り返しを撮像装置１４に命令する。撮像装置１４は、垂直同期信号Ｖｓｙｎｃが発生する毎に、受光面にプリ露光を施し、かつこのプリ露光によって生成された電荷の一部をラスタ走査態様で受光面から読み出す。垂直同期信号Ｖｓｙｎｃは１／３０秒毎に出力され、この結果、被写界を表す低解像度の生画像信号が３０ｆｐｓのフレームレートで撮像装置１４から出力される。

カメラ処理回路１６は、撮像装置１４から出力された生画像信号にＡ／Ｄ変換，白バランス調整，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを作成する。作成された画像データは、メモリ制御回路１８を通してＳＤＲＡＭ２０のスルー画像エリア２０ａ（図２参照）に書き込まれる。ＬＣＤドライバ２２は、スルー画像エリア２０ａに格納された画像データを１／３０秒毎に読み出し、読み出された各フレームの画像データに基づいてＬＣＤモニタ２４を駆動する。この結果、被写界を表すリアルタイム動画像つまりスルー画像がモニタ画面に表示される。

キー入力装置３８上のシャッタボタン３８ｓが半押しされると、ＣＰＵ３２は、傾斜センサ３４から出力された姿勢情報を取り込む。取り込まれた姿勢情報は、メモリ制御回路１８を通してＳＤＲＡＭ２０のワークエリア２０ｆに書き込まれる。

ＣＰＵ３２はまた、シャッタボタン３８ｓの半押しに応答して、カメラ処理回路１６からの出力に基づく顔認識処理を実行する。被写界に人物の顔が存在する場合、顔の個数，各々の顔を囲う顔枠の中心座標およびサイズが、顔認識処理によって検出される。また、顔が複数存在する場合は、いずれか１つの顔の区分が“主”とされ、残りの顔の区分が“従”とされる。このような顔情報もまた、メモリ制御回路１８を通してＳＤＲＡＭ２０のワークエリア２０ｆに書き込まれる。なお、ワークエリア２０ｆには、図示しない時計回路によって検出された今日の日付情報も書き込まれる。

シャッタボタン３８ｓが全押しされると、ＣＰＵ３２は、本露光および全画素読み出しを１回ずつ実行することを撮像装置１４に命令する。撮像装置１４は、受光面に本露光を施し、かつこの本露光によって生成された電荷の全てをラスタ走査態様で受光面から読み出す。この結果、被写界を表す高解像度の生画像信号が撮像装置１４から出力される。

出力された１フレームの生画像信号は、カメラ処理回路１６によって上述と同様の処理を施される。カメラ処理回路１６によって作成されたＹＵＶ形式の画像データは、メモリ制御回路１８を通してＳＤＲＡＭ２０の伸長画像エリア２０ｂに書き込まれる。

ＣＰＵ３２はまた、シャッタボタン３８ｓの全押しに応答して、圧縮命令および記録命令をＪＰＥＧコーデック２６およびＩ／Ｆ回路２８にそれぞれ与える。ＪＰＥＧコーデック２６は、伸長画像エリア２０ｂに格納された画像データをメモリ制御回路１８を通して読み出し、読み出された画像データにＪＰＥＧ圧縮を施し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路１８を通してＳＤＲＡＭ２０の圧縮画像エリア２０ｃに書き込む。

Ｉ／Ｆ回路２８は、メモリ制御回路１８を通して圧縮画像エリア２０ｃからＪＰＥＧデータを読み出し、読み出されたＪＰＥＧデータを記録媒体３０内に作成されたＪＰＥＧファイルに格納する。Ｉ／Ｆ回路２８はまた、メモリ制御回路１８を通してワークエリア２０ｆから姿勢情報，顔情報および日付情報を読み出し、これらの情報が記述されたタグデータを同じＪＰＥＧファイルのヘッダに埋め込む。このような記録処理が完了すると、上述のスルー画像処理が再開される。

撮影画像を収めたＪＰＥＧファイルは、図３に示すように構成される。タグ情報は、上述の通り、日付情報，姿勢情報および顔情報によって構成される。日付情報は、年月日で表される。姿勢情報は、正立状態，左９０度回転状態および右９０度回転状態をそれぞれ意味する“１”，“２”および“３”のいずれか１つによって表される。顔情報は、具体的には、顔認識情報，顔個数情報および顔枠情報によって構成される。顔認識情報について、“０”は顔が存在しないことを示し、“１”は顔が存在することを示す。顔個数情報について、数値Ｎは顔の個数に相当する。顔枠情報は、各々の顔枠の中心座標および水平・垂直サイズと各々の顔の区分とを含む。主たる顔の区分は“１”とされ、従たる顔の区分は“２”とされる。なお、顔の主従は、たとえば笑顔の程度、顔のサイズなどによって決定される。

ＪＰＥＧデータは、たとえば図５（Ａ）または図５（Ｂ）に示す撮影画像を表す。図５（Ａ）によれば、被写界は２００５年１２月１０日に正立状態で撮影され、単一の顔画像が被写界の左上側に存在する。顔枠Ｋｐ１は、この顔画像を囲うように定義される。図５（Ｂ）によれば、被写界は２００６年８月２６日に左９０度回転状態で捉えられ、単一の顔画像が被写界の右側に存在する。顔枠Ｋｐ２は、この顔画像を囲うように定義される。

キー入力装置３８によって再生モードが選択されかつ所望のＪＰＥＧファイルが指定されると、ＣＰＵ３２は、Ｉ／Ｆ回路２８およびＪＰＥＧコーデック２６に再生命令および伸長命令をそれぞれ与える。再生命令には、所望のＪＰＥＧファイルの識別番号が記述される。

Ｉ／Ｆ回路２８は、所望のＪＰＥＧファイルに格納されたＪＰＥＧデータを記録媒体３０から読み出し、読み出されたＪＰＥＧデータをメモリ制御回路１８を通してＳＤＲＡＭ２０の圧縮画像エリア２０ｃに書き込む。ＪＰＥＧコーデック２６は、圧縮画像エリア２０ｃに格納されたＪＰＥＧデータをメモリ制御回路１８を通して読み出し、読み出されたＪＰＥＧデータにＪＰＥＧ伸長を施し、そして伸長画像データをメモリ制御回路１８を通してＳＤＲＡＭ２０の伸長画像エリア２０ｂに書き込む。

ＬＣＤドライバ２２は、伸長画像エリア２０ｂに格納された伸長画像データをメモリ制御回路１８を通して読み出し、読み出された伸長画像データに基づいてＬＣＤモニタ２４を駆動する。この結果、撮影画像がモニタ画面に表示される。

キー入力装置３８上で画像更新操作が行われると、再生命令および伸長命令が再度発行される。再生命令に記述された識別番号は次のＪＰＥＧファイルを示し、この結果、次のＪＰＥＧファイルに格納された撮影画像がＬＣＤモニタ２４から出力される。

この実施例のディジタルカメラ１０は、記録済みの撮影画像にテンプレート画像を合成する画像合成モードを有する。テンプレート画像は、ＪＰＥＧファイル形式でフラッシュメモリ３６（記録媒体３０でもよい）に準備され、ＪＰＥＧファイルは上述と同様にタグデータおよびＪＰＥＧデータによって構成される。

タグデータには、図４に示すように、季節設定情報，季節情報，透過エリア枠設定情報，透過エリア枠個数情報および透過エリア枠情報が記述される。季節設定情報について、“０”は季節設定が存在しないことを示し、“１”は季節設定が存在することを示す。季節情報について、“１”は春を示し、“２”は夏を示し、“３”は秋を示し、そして“４”は冬を示す。透過エリア枠設定情報について、“０”は透過エリア枠設定が存在しないことを示し、“１”は透過エリア枠設定が存在することを示す。透過エリア枠個数情報について、Ｎは透過エリア枠の個数を示す。透過エリア枠情報は、各々の透過エリア枠の中心座標および水平・垂直サイズを含む。

ＪＰＥＧデータは、たとえば図６（Ａ），図６（Ｂ），図６（Ｃ）または図６（Ｄ）に示すテンプレート画像を表す。図６（Ａ）〜図６（Ｄ）のいずれにおいても、白色エリアが透過エリアに相当する。

図６（Ａ）のテンプレート画像については、季節設定が存在せず、２つの透過エリア枠Ｋｔ１ａおよびＫｔ１ｂが２つの透過エリア上にそれぞれ配置される。図６（Ｂ）のテンプレート画像については、季節設定が存在せず、単一の透過エリア枠Ｋｔ２が単一の透過エリア上に配置される。

図６（Ｃ）のテンプレート画像については、季節設定が存在し、季節情報は冬を示す。また、単一の透過エリア枠Ｋｔ３が単一の透過エリア上に配置される。図６（Ｄ）のテンプレート画像については、季節設定および透過エリア枠のいずれも存在しない。図６（Ｄ）のように透過エリアがテンプレート画像の外縁まで及ぶ場合、透過エリア枠は非設定とされる。

画像合成モードが選択されると、まず記録媒体３０に記録されたＪＰＥＧファイルが上述の要領で再生され、撮影画像がＬＣＤモニタ２４に表示される。また、撮影画像更新操作が行われると、ＬＣＤモニタ２４に表示される撮影画像が更新される。所望の撮影画像が表示された状態でキー入力装置３８上で選択操作が行われると、表示中の撮影画像が顔画像を有するか否かがタグデータの記述に基づいて判別される。顔画像が存在しなければ、画像更新操作を促すべく警告が出力される。

一方、顔画像が存在すれば、タグデータの記述に基づいて被写界の姿勢が判別される。撮影画像は、被写界が正立するようにワークエリア２０ｆに展開される。したがって、図５（Ａ）に示す撮影画像が選択された場合、この撮影画像はそのままワークエリア２０ｆに展開される。一方、図５（Ｂ）に示す撮影画像が選択された場合、この撮影画像は左に９０度回転された状態でワークエリア２０ｆに展開される。以下では、ワークエリア２０ｆに展開された撮影画像を“注目撮影画像”と定義し、注目撮影画像上の主たる顔枠を“注目顔枠”と定義する。

次に、透過エリア枠を有するテンプレート画像がリストＬ１上に抽出される。ただし、季節設定を有するテンプレート画像のうち、季節が撮影日付に合致しないテンプレート画像は、抽出対象から排除される。

図５（Ａ）に示す撮影画像の日付は２００５年１２月１０日であり、図５（Ｂ）に示す撮影画像の日付は２００６年８月２６日である。一方、透過エリア枠を有するテンプレート画像は図６（Ａ）〜図６（Ｃ）に示す画像であり、このうち季節設定を有するテンプレート画像は図６（Ｃ）に示す画像である。さらに、図６（Ｃ）に示すテンプレート画像の季節情報は冬である。

したがって、図５（Ａ）に示す撮影画像が注目撮影画像として選択されたときは、図６（Ａ）〜図６（Ｃ）に示すテンプレート画像が図７（Ａ）に示す要領でリストＬ１上に抽出される。一方、図５（Ｂ）に示す撮影画像が注目撮影画像として選択されたときは、図６（Ａ）および図６（Ｂ）に示すテンプレート画像が図７（Ｂ）に示す要領でリストＬ１上に抽出される。

リストＬ１が完成すると、テンプレート画像上の透過エリア枠の中からサイズ条件を満足する透過エリア枠が選択される。サイズ条件は、注目顔枠のサイズとの相違が最も小さいという条件であり、注目顔枠のサイズに最も近いサイズを有する透過エリア枠がテンプレート画像上の透過エリア枠の中から選択される。このようなサイズ条件に基づく透過エリア枠の選択処理は、テンプレート画像上に複数の透過エリア枠が存在する場合に意味をなす。

続いて、選択された透過エリア枠の中心座標と注目撮影画像上の注目顔枠の中心座標との相違が、リストＬ１上のテンプレート画像の各々について算出される。撮影画像およびテンプレート画像のいずれにおいても、座標の原点は画像の中心に設定され、上述の相違は、選択された透過エリア枠の中心座標が示す数値と注目顔枠の中心座標が示す数値との差分によって表される。算出された中心座標の相違は“合成適合度”と定義され、合成適合度は相違が減少するほど増大する。

なお、撮影画像が回転してワークエリア２０ｆに展開された場合、顔枠の中心座標は撮影画像の回転に応じて変換され、変換された中心座標が相違の算出のために参照される。

合成適合度の算出が完了すると、まず季節設定を有するテンプレート画像が、合成適合度が高い方から順にリストＬ２に移動される。季節設定を有する全てのテンプレート画像の移動が完了すると、季節設定を有しないテンプレート画像が、合成適合度が高い方から順にリストＬ２に移動される。

したがって、図５（Ａ）に示す撮影画像が選択された場合、図６（Ａ）〜図６（Ｃ）に示すテンプレート画像は、図７（Ａ）に示す要領でリストＬ２に登録される。また、図５（Ｂ）に示す撮影画像が選択された場合、図６（Ａ）および図６（Ｂ）に示すテンプレート画像は、図７（Ｂ）に示す要領でリストＬ２に登録される。

リストＬ２が完成すると、リストＬ２の最上位に登録されたテンプレート画像が次の要領で再生される。ＣＰＵ３２は、対応するＪＰＥＧファイルをフラッシュメモリ３６から検出し、このＪＰＥＧファイルに格納されたＪＰＥＧデータをメモリ制御回路１８を通してＳＤＲＡＭ２０の圧縮画像エリア２０ｅに書き込む。ＣＰＵ３２はまた、ＪＰＥＧコーデック２６に伸長命令を与える。ＪＰＥＧコーデック２６は、圧縮画像エリア２０ｅに格納されたＪＰＥＧデータをメモリ制御回路１８を通して読み出し、読み出されたＪＰＥＧデータにＪＰＥＧ伸長を施し、伸長画像データをメモリ制御回路１８を通してＳＤＲＡＭ２０の伸長画像エリア２０ｄに書き込む。

テンプレート画像の再生が完了すると、再生されたテンプレート画像を注目撮影画像に多重する処理（上位概念としては、再生されたテンプレート画像と注目撮影画像を合成する処理）がワークエリア２０ｆ上で実行される。以下では、注目撮影画像に多重されるテンプレート画像を“注目テンプレート画像”と定義し、注目テンプレート画像上の透過エリア枠のうちサイズ条件を満足する透過エリア枠を“注目透過エリア枠”と定義する。

多重処理を行うとき、注目撮影画像の倍率および注目テンプレート画像の多重位置は、上述した合成適合度が増大するように、つまり注目透過エリア枠の中心座標およびサイズが注目顔枠の中心座標およびサイズにそれぞれ合致するように、調整される。多重処理が完了すると、テンプレート画像の外縁からはみ出した一部の撮影画像が切り取られ、これによって合成画像が完成する。完成した合成画像を表す画像データはその後、ワークエリア２０ｆから伸長画像エリア２０ｂに移動される。移動された画像データはその後ＬＣＤドライバ２２によって読み出され、この結果、合成画像がＬＣＤモニタ２４から出力される。

図８（Ａ）に示す撮影画像が注目撮影画像として選択され、図８（Ｂ）に示すテンプレート画像が注目テンプレート画像として指定された場合、図８（Ａ）に示す顔枠Ｋｐ１が注目顔枠となり、図８（Ｂ）に示す透過エリア枠Ｋｔ３が注目透過エリア枠となる。

注目撮影画像の倍率は、注目顔枠Ｋｐ１の水平サイズと注目透過エリア枠Ｋｔ３の水平サイズとが互いに一致するように調整され、注目テンプレート画像の多重位置は、注目透過エリア枠Ｋｔ３の中心座標と調整された倍率を有する注目顔枠Ｋｐ１´の中心座標とが互いに一致するように調整される（図８（Ｃ）〜図８（Ｅ）参照）。サイズ調整に関して、注目顔枠Ｋｐ１の水平サイズを“Ｗ２”とし、注目透過エリア枠Ｋｔ３の水平サイズを“Ｗ１”とすると、注目顔枠Ｋｐ１´は“Ｗ１”の水平サイズを有する。注目テンプレート画像は、調整された倍率を有する注目撮影画像に図８（Ｆ）に示す要領で多重される。多重処理が完了すると、注目テンプレート画像の外縁からはみ出した一部の注目撮影画像が切り取られ、これによって図８（Ｇ）に示す合成画像が完成する。

一方、図１０（Ａ）に示す撮影画像が注目撮影画像として選択され、図１０（Ｂ）に示すテンプレート画像が注目テンプレート画像として選択された場合、図１０（Ａ）に示す顔枠Ｋｐ２が注目顔枠となり、図１０（Ｂ）に示す透過エリア枠Ｋｔ１ａが注目透過エリア枠となる。

注目撮影画像の倍率は、注目顔枠Ｋｐ２の水平サイズと注目透過エリア枠Ｋｔ１ａの水平サイズとが互いに一致するように調整され、注目テンプレート画像の多重位置は、透過エリア枠Ｋｔ１ａの中心座標と調整された倍率を有する注目顔枠Ｋｐ２´の中心座標とが互いに一致するように調整される（図１０（Ｃ）〜図１０（Ｅ）参照）。サイズ調整に関して、注目顔枠Ｋｐ２の水平サイズを“Ｗ２”とし、注目透過エリア枠Ｋｔ１ａの水平サイズを“Ｗ１”とすると、注目顔枠Ｋｐ２´は“Ｗ１”の水平サイズを有する。注目テンプレート画像は、調整された倍率を有する撮影画像に図１０（Ｆ）に示す要領で多重される。多重処理が完了すると、注目テンプレート画像の外縁からはみ出した一部の注目撮影画像が切り取られ、これによって合成画像が完成する（図１０（Ｇ）参照）。

合成画像が完成した後にキー入力装置３８によって位置補正操作が行われると、注目テンプレート画像の多重位置が補正される。注目テンプレート画像は補正後の多重位置で注目撮影画像に再度多重され、これによって得られた合成画像は上述と同じ要領でＬＣＤモニタ２４から出力される。また、テンプレート画像更新操作によって更新された別の注目テンプレート画像への多重処理を考慮して、多重位置補正量が数１および数２に従って正規化される。数１によって水平方向における正規化多重位置補正量が算出され、数２によって垂直方向における正規化多重位置補正量が算出される。なお、数１および後述する数３に示すＨｓｉｚｅは、図８（Ｃ）または図１０（Ｃ）の例では“Ｗ１”に相当する。
［数１］
ＮＣｈｐ＝Ｃｈｐ／Ｈｓｉｚｅ
ＮＣｈｐ：水平方向における正規化多重位置補正量
Ｃｈｐ：水平方向における多重位置補正量
Ｈｓｉｚｅ：透過エリア枠の水平サイズ
［数２］
ＮＣｖｐ＝Ｃｖｐ／Ｖｓｉｚｅ
ＮＣｖｐ：垂直方向における正規化多重位置補正量
Ｃｖｐ：垂直方向における多重位置補正量
Ｖｓｉｚｅ：透過エリア枠の垂直サイズ

また、合成画像が完成した後にキー入力装置３８によって倍率補正操作が行われると、注目撮影画像の倍率が補正される。注目テンプレート画像は補正後の倍率を有する注目撮影画像に再度多重され、これによって得られた合成画像もまた上述と同じ要領でＬＣＤモニタ２４から出力される。また、テンプレート画像更新操作によって更新された別の注目テンプレート画像への多重処理を考慮して、倍率補正量が数３に従って正規化される。
［数３］
ＮＣｍｇ＝Ｃｍｇ／Ｈｓｉｚｅ
ＮＣｍｇ：正規化倍率補正量
Ｃｍｇ：倍率補正量
Ｈｓｉｚｅ：透過エリア枠の水平サイズ

テンプレート画像更新操作が行われると、リストＬ２上の次のテンプレート画像が注目テンプレート画像として指定され、上述の要領で再生される。注目撮影画像の倍率および更新された注目テンプレート画像の多重位置は、上述と同様、合成適合度が増大するように（注目透過エリア枠の位置およびサイズが注目顔枠の位置およびサイズにそれぞれ合致するように）調整される。

さらに、更新された注目テンプレート画像の多重位置は、数１および数２によって算出された正規化位置補正量を参照して補正される。また、注目撮影画像の倍率は、数３によって算出された正規化倍率補正量を参照して補正される。

更新された注目テンプレート画像上の注目透過エリア枠の水平サイズおよび垂直サイズをそれぞれ“Ｈｓｉｚｅ´”および“Ｖｓｉｚｅ´”と定義した場合、更新された注目テンプレート画像の多重位置は、合成適合度が増大するように調整された位置から水平方向に“ＮＣｈｐ＊Ｈｓｉｚｅ´”だけ移動し、かつ垂直方向に“ＮＣｖｐ＊Ｖｓｉｚｅ´”だけ移動した位置とされる。また、注目撮影画像の倍率は、合成適合度が増大するように調整された倍率に“ＮＣｍｇ＊Ｈｓｉｚｅ´”を掛算した値とされる。

図８（Ｇ）に示す合成画像が完成した後に位置補正操作が行われると、注目テンプレート画像の多重位置はたとえば図９（Ａ）に示す要領で補正され、これによって図９（Ｂ）に示す合成画像が得られる。

位置補正操作の後にテンプレート画像更新操作が行われると、図９（Ｃ）に示すテンプレート画像が次の注目テンプレート画像とされ、透過エリア枠Ｋｔ２が次の注目透過エリア枠とされる。注目透過エリア枠Ｋｔ２の水平サイズは注目顔枠Ｋｐ１の水平サイズと一致し（図９（Ｄ）参照）、注目撮影画像の倍率は“１．０”とされる。ただし、注目テンプレート画像の多重位置は、数１および数２によって算出された正規化位置補正量を参照して補正される（図９（Ｅ）参照）。

こうして決定された倍率および多重位置を参照した多重処理が行われた結果、図９（Ｇ）に示す合成画像が得られる。参考までに、注目透過エリア枠Ｋｔ２の中心座標が注目顔枠Ｋｐ１の中心座標と一致する位置を多重位置とした場合に得られる合成画像を図９（Ｆ）に示す。

また、図１０（Ｇ）に示す合成画像が完成した後に倍率補正操作が行われると、注目撮影画像の倍率が図１１（Ａ）に示す要領で補正され、これによって図１１（Ｂ）に示す合成画像が得られる。

倍率補正操作の後にテンプレート画像更新操作が行われると、図１１（Ｃ）に示すテンプレート画像が次の注目テンプレート画像として指定され、透過エリア枠Ｋｔ２が次の注目透過エリア枠とされる。注目透過エリア枠Ｋｔ２の水平サイズは注目顔枠Ｋｐ２の水平サイズと一致し（図１１（Ｃ）参照）、注目撮影画像の倍率は“１．０”とされる。ただし、この倍率は、数３によって算出された正規化倍率補正量を参照して補正される（図１１（Ｅ）参照）。

こうして決定された倍率および多重位置を参照した多重処理が行われた結果、図１１（Ｇ）に示す合成画像が得られる。参考までに、注目撮影画像の倍率を“１．０”とした場合に得られる合成画像を図１１（Ｆ）に示す。

合成画像が完成した後にキー入力装置３８上で画像記録操作が行われると、ＣＰＵ３２は、記録処理を実行するべく、圧縮命令および記録命令をＪＰＥＧコーデック２６およびＩ／Ｆ回路２８にそれぞれ与える。ＪＰＥＧコーデック２６は、上述と同じ要領で合成画像にＪＰＥＧ圧縮を施し、ＪＰＥＧデータをＳＤＲＡＭ２０の圧縮画像エリア２０ｃに書き込む。Ｉ／Ｆ回路２８は、メモリ制御回路１８を通して圧縮画像エリア２０ｃからＪＰＥＧデータを読み出し、読み出されたＪＰＥＧデータを収めたＪＰＥＧファイルを記録媒体３０内に作成する。

画像合成モードが選択されたとき、ＣＰＵ３２は、図１２〜図１７に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ３６に記憶される。

まずステップＳ１で正規化多重位置補正量および正規化倍率補正量を初期化する。ステップＳ３では撮影画像選択処理を実行し、ステップＳ５ではテンプレート画像抽出処理を実行する。ステップＳ３によって、顔画像を有する撮影画像が注目撮影画像として選択される。また、ステップＳ５の処理によって、リストＬ１およびＬ２が作成され、かつリストＬ２の最上位に登録されたテンプレート画像が注目テンプレート画像として指定される。ステップＳ７では、注目撮影画像と注目テンプレート画像とを合成するべく、画像合成処理を実行する。

ステップＳ９ではテンプレート画像更新操作が行われたか否かを判別し、ステップＳ１３では画像記録操作が行われたか否かを判別する。また、ステップＳ１７では位置補正操作が行われたか否かを判別し、ステップＳ２３では倍率補正操作が行われたか否かを判別する。

テンプレート画像更新操作が行われると、ステップＳ９からステップＳ１１に進み、注目テンプレート画像をリストＬ２上の次のテンプレート画像に更新する。更新処理が完了すると、ステップＳ７に戻る。画像記録操作が行われると、ステップＳ１３からステップＳ１５に進み、記録処理を実行する。ステップＳ７の画像合成処理によって作成された合成画像は、ＪＰＥＧファイル形式で記録媒体３０に記録される。

位置補正操作が行われると、ステップＳ１７からステップＳ１９に進み、注目テンプレート画像の多重位置を補正する。ステップＳ２１では、上述の数１および数２に従って正規化多重位置補正量を算出する。また、倍率補正操作が行われると、ステップＳ２３からステップＳ２５に進み、注目撮影画像の倍率を補正する。ステップＳ２７では、上述の数３に従って正規化倍率補正量を算出する。ステップＳ２１またはＳ２３の処理が完了すると、ステップＳ２９で注目テンプレート画像を注目撮影画像に再度多重する。この多重処理では、ステップＳ１９で補正された多重位置またはステップＳ２５で補正された倍率が参照される。ステップＳ３１では不要部分画像（注目テンプレート画像の外縁からはみ出した一部の注目撮影画像）を切り取る。ステップＳ３１の処理が完了すると、ステップＳ９に戻る。

図１２に示すステップＳ３の撮影画像選択処理は、図１４に示すサブルーチンに従って実行される。まずステップＳ４１で先頭の撮影画像を収めるＪＰＥＧファイルを記録媒体３０から再生する。この結果、先頭の撮影画像がＬＣＤモニタ２４に表示される。ステップＳ４３では撮影画像更新操作が行われたか否かを判別し、ステップＳ４５では選択操作が行われたか否かを判別する。

撮影画像更新操作が行われると、ステップＳ４３からステップＳ４５に進み、再生すべき撮影画像を次のＪＰＥＧファイルに収められた撮影画像に更新する。更新処理が完了すると、ステップＳ４３に戻る。選択操作が行われると、ステップＳ４７からステップＳ４９に進み、選択された撮影画像を収めるＪＰＥＧファイルからタグデータを検出する。

ステップＳ５１では、選択された撮影画像上に顔が存在するか否かをステップＳ４９で検出されたタグデータに基づいて判別する。ＮＯであれば、ステップＳ５３で警告を発生してステップＳ４３に戻る。ＹＥＳであればステップＳ５５に進み、被写界が正立するように回転させた状態で撮影画像をワークエリア２０ｆに展開する。こうして展開された撮影画像が注目撮影画像とされる。ステップＳ５５の処理が完了すると、上階層のルーチンに復帰する。

図１２に示すステップＳ５のテンプレート画像更新処理は、図１５〜図１６に示すサブルーチンに従って実行される。まずステップＳ６１で変数ＮＴを“１”に設定し、変数ＮＴが設定値ＮＴｍａｘを上回るか否かを判別する。設定値ＮＴｍａｘは、フラッシュメモリ３６に格納されたテンプレート画像の総数に相当し、ＮＴ≦ＮＴｍａｘである限りステップＳ６５に進む。

ステップＳ６５では、ＮＴ番目のテンプレート画像を収めるＪＰＥＧファイルからタグデータを検出する。ステップＳ６７では透明エリア枠が存在するか否かを検出されたタグデータに基づいて判別し、ステップＳ６９では季節設定が存在するか否かを検出されたタグデータに基づいて判別する。

ステップＳ６７およびＳ６９のいずれもＹＥＳであれば、ＮＴ番目のテンプレート画像の季節が注目撮影画像の日付に適合するか否かをステップＳ７１で判別する。ここでもＹＥＳであれば、ＮＴ番目のテンプレート画像をステップＳ７３でリストＬ１登録する。ステップＳ６７でＹＥＳである一方、ステップＳ６９でＮＯであれば、ステップＳ７１の処理を経ることなくステップＳ７３に進み、上述した登録処理を実行する。

ステップＳ７３の処理が完了すると、ステップＳ７５で変数ＮＴをインクリメントしてからステップＳ６３に戻る。ステップＳ６７またはステップＳ７１でＮＯであれば、ステップＳ７３の処理を経ることなくステップＳ７５でインクリメント処理を実行し、その後にステップＳ６３に戻る。

ステップＳ６３でＹＥＳと判断されると、ステップＳ７７で注目顔枠の水平・垂直サイズを検出し、ステップＳ７９で注目顔枠の中心座標を検出する。注目顔枠は注目撮影画像上の主たる顔枠であり、ステップＳ７７およびＳ７９いずれにおいても図１４のステップＳ４９で検出されたタグデータが参照される。また、注目撮影画像がワークエリア２０ｆ上で回転された撮影画像である場合、検出された中心座標の値はこの回転を考慮して変換される。

ステップＳ８１では変数ＮＬを“１”に設定し、変数ＮＬが設定値ＮＬｍａｘを上回るか否かを判別する。設定値ＮＬｍａｘは、リストＬ１に登録されたテンプレート画像の総数に相当し、ＮＬ≦ＮＬｍａｘである限りステップＳ８５に進む。ステップＳ８５では、リストＬ１上のＮＬ番目のテンプレート画像を再生する。再生されたテンプレート画像は、伸長画像エリア２０ｄに確保される。

ステップＳ８７では、再生されたテンプレート画像上の透過エリア枠のサイズを検出する。サイズの検出にあたっては、ステップＳ６５で検出されたタグデータが参照される。再生されたテンプレート画像上に複数の透過エリア枠が存在するときは、この複数の透過エリア枠の全てのサイズが検出される。ステップＳ８９では、ステップＳ７７で検出された注目顔枠のサイズとステップＳ８７で検出された透過エリア枠のサイズとの相違を算出する。

ステップＳ９１では、再生されたテンプレート画像上の透過エリア枠の中からサイズ条件を満足する透過エリア枠を選択する。上述のように、サイズ条件は注目顔枠のサイズとの相違が最も小さいという条件である。したがって、ステップＳ９１の処理はテンプレート画像上に複数の透過エリア枠が存在するときに意味をなし、注目顔枠のサイズに最も近いサイズを有する透過エリア枠が複数の透過エリア枠の中から選択される。

ステップＳ９３では、選択された透過エリア枠の中心座標を検出する。ステップＳ９５では、注目顔枠の中心座標とステップＳ９１で検出された中心座標との相違を算出する。算出処理が完了すると、ステップＳ９７で変数ＮＬをインクリメントしてからステップＳ８３に戻る。

ＮＬ＞ＮＬｍａｘとなると、ステップＳ８３からステップＳ９９に進み、季節設定を有するテンプレート画像をリストＬ１から特定する。ステップＳ１０１では、特定されたテンプレート画像を中心座標の相違が小さい方から順に（合成適合度が高い方から順に）リストＬ２に移動させる。ステップＳ１０３では、リストＬ１の残っているテンプレート画像つまり季節設定を有しないテンプレート画像を、中心座標の相違が小さい方から順に（合成適合度が高い方から順に）リストＬ２に移動させる。この結果、リストＬ２の最上位には季節設定を有しかつ中心座標の相違が最小のテンプレート画像が登録され、リストＬ２の最下位には季節設定を有さずかつ中心座標の相違が最大のテンプレート画像が登録される。

リストＬ２が完成するとステップＳ１０５に進み、リストＬ２の最上位のテンプレート画像を再生する。再生されたテンプレート画像は、伸長画像エリア２０ｄに格納される。再生処理が完了すると、上階層のルーチンに復帰する。

図１２に示すステップＳ５の画像合成処理は、図１７に示すサブルーチンに従って実行される。まずステップＳ１１１およびＳ１１３で、上述のステップＳ８７およびＳ８９と同様の処理を注目テンプレート画像に対して実行する。この結果、注目透過エリア枠が特定される。ステップＳ１１５では、注目顔枠の水平サイズが注目透過エリア枠の水平サイズと一致する注目撮影画像の倍率を算出する。ステップＳ１１７では、注目透過エリア枠の中心座標が注目顔枠の中心座標と一致する注目テンプレート画像の多重位置を算出する。

ステップＳ１１９では、ステップＳ１１５で算出された倍率を注目透過エリア枠の水平サイズと図１３に示すステップＳ２７で算出された正規化倍率補正量とを参照して補正する。ステップＳ１２１では、ステップＳ１１７で算出された多重位置を注目透過エリア枠の水平サイズと図１３に示すステップＳ２１で算出された正規化多重位置補正量とを参照して補正する。

ステップＳ１２３では、ステップＳ１１９で補正された倍率を参照して注目撮影画像を拡大／縮小し、ステップＳ１２１で補正された多重位置を参照して注目テンプレート画像を拡大／縮小された注目撮影画像に多重する。ステップＳ１２５では、注目テンプレート画像の外縁からはみ出した一部の注目撮影画像を切り取る。こうして合成画像が完成すると、上階層のルーチンに復帰する。

この実施例によれば、複数のテンプレート画像（Ｍ個の既定画像）の各々に設けられた透過エリア枠（透過エリア）の属性（属性：中心座標およびサイズ）は、ＣＰＵ３２によって検出される(S87~S93)。撮影画像が有する顔画像（特定物画像）或いは顔枠（特定物画像エリア）の属性も、ＣＰＵ３２によって検出される(S77, S79)。ＣＰＵ３２は、検出された透過エリア枠および顔枠の属性に基づいて複数のテンプレート画像の各々の合成適合度を算出し(S95)、複数のテンプレート画像の各々を算出された合成適合度が高い方から順に指定する(S99~S105, S11)。ＣＰＵ３２はさらに、指定されたテンプレート画像を撮影画像に多重する処理を合成適合度が向上する態様で実行する(S111~S123)。

このように、合成適合度は、テンプレート画像上の透過エリア枠の属性と撮影画像上の顔枠の属性とに基づいて算出される。撮影画像に多重されるテンプレート画像は合成適合度が高い方から順に指定され、テンプレート画像を撮影画像に多重する処理は合成適合度が向上する態様で実行される。これによって、良好な合成画像が得られる。

なお、顔枠（特定物画像エリア）の属性は、顔画像（特定物画像）の属性の１つに相当する。つまり、顔画像の属性の下位概念として、顔枠の属性が存在する。

この実施例を別の視点で眺めると、テンプレート画像上に設けられた複数の透過エリア枠の各々の属性は、ＣＰＵ３２によって検出される(S87)。撮影画像が有する顔枠の属性も、ＣＰＵ３２によって検出される(S77)。ＣＰＵ３２は、テンプレート画像から検出された複数の属性の各々と撮影画像から検出された属性との相違を算出し(S89)、算出された相違に基づいて複数の透過エリア枠の１つを選択する(S91)。ＣＰＵ３２は、テンプレート画像を撮影画像に多重する処理を、選択された透過エリア枠の属性と顔枠の属性との相違が抑制される態様で実行する(S111~S123)。

このように、多重処理のために注目される透過エリア枠は、複数の透過エリア枠の各々の属性と顔枠の属性との相違に基づいて選択される。また、多重処理は、透過エリア枠と顔枠との相違が抑制される態様で実行される。これによって、複数の透過エリアを有する既定画像を撮影画像に良好に合成することができる。

この実施例をさらに別の視点で眺めると、ＣＰＵ３２は、撮影画像が有する顔枠の属性とテンプレート画像上に設けられた透過エリア枠の属性とに基づいて、合成処理パラメータ（合成処理パラメータ：撮影画像の倍率およびテンプレート画像の多重位置）を算出する(S115, S117)。ＣＰＵ３２はまた、テンプレート画像を撮影画像に多重する処理を算出された合成処理パラメータと正規化倍率／多重位置補正量（補正係数）とに基づいて実行する(S117~S123)。正規化倍率／多重位置補正量は、多重処理が完了した後の倍率／位置補正操作に応答して、ＣＰＵ３２によって更新される(S27, S21)。テンプレート画像を撮影画像に多重する処理は、倍率／位置補正操作に従う態様で再度実行される(S29)。ＣＰＵ３２は、テンプレート画像更新操作を受け付けたとき、テンプレート画像を更新して合成処理パラメータの算出処理を再起動する。

したがって、多重処理の態様は、顔枠および透過エリア枠の属性に基づく合成処理パラメータと正規化倍率／多重位置補正量とに依存する。倍率／位置補正操作が行われると、多重処理の態様が変化し、かつ正規化倍率／多重位置補正量が更新される。テンプレート画像更新操作が行われると、テンプレート画像が更新され、合成処理パラメータが再度算出される。更新されたテンプレート画像を用いた多重処理の態様は、新たに算出された合成処理パラメータと更新された正規化倍率／多重位置補正量に依存する。この結果、更新前のテンプレート画像を用いた多重処理の態様が更新後のテンプレート画像を用いた多重処理に反映され、更新後のテンプレート画像を撮影画像に良好に合成することができる。

なお、この実施例では、テンプレート画像上に複数の透過エリア枠が存在するとき、顔枠のサイズとの相違が最も小さいサイズを有する透過エリア枠を選択するようにしている(S89, S91)。また、テンプレート画像をリストＬ１からリストＬ２に移動させるとき、透過エリア枠の中心座標と顔枠の中心座標との相違が小さい方から順に選択するようにしている(S95, S101, S103)。

しかし、顔枠の中心座標との相違が最も小さい中心座標を有する透過エリア枠をテンプレート画像上の複数の透過エリア枠から選択するようにしてもよいし、テンプレート画像をリストＬ１からリストＬ２に移動させるとき透過エリア枠のサイズと顔枠のサイズとの相違が小さい方から順に選択するようにしてもよい。

なお、この実施例では、テンプレート画像への順位の割り当てにあたってテンプレート画像に設定された季節を考慮するようにしている(S69, S99~S103)。しかし、季節に代えて月別の行事のような時節の情報をテンプレート画像に設定し、設定された時節を考慮してテンプレート画像に順位を割り当てるようにしてもよい。なお、ここでは、“時節”を“季節”の上位概念として捉えている。

また、この実施例では、顔画像を特定物画像として想定しているが、サッカーボール、花などを特定物画像として想定するようにしてもよい。

さらに、この実施例では、多重処理の際に倍率調整は撮影画像に対して実行する一方、位置調整はテンプレート画像に対して実行するようにしているが、位置調整は撮影画像に対して実行するようにしてもよい。

この発明の一実施例の構成を示すブロック図である。 図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 撮影画像を収めたＪＰＥＧファイルの構造の一例を示す図解図である。 テンプレート画像を収めたＪＰＥＧファイルの構造の一例を示す図解図である。 （Ａ）は撮影画像の一例を示す図解図であり、（Ｂ）は撮影画像の他の一例を示す図解図である。 （Ａ）はテンプレート画像の一例を示す図解図であり、（Ｂ）はテンプレート画像の他の一例を示す図解図であり、（Ｃ）はテンプレート画像のその他の一例を示す図解図であり、（Ｄ）はテンプレート画像のさらにその他の一例を示す図解図である。 （Ａ）はテンプレート画像抽出処理動作の一例を示す図解図であり、（Ｂ）はテンプレート画像抽出処理動作の他の一例を示す図解図である。 （Ａ）は画像合成処理のために選択された撮影画像の一例を示す図解図であり、（Ｂ）は画像合成処理のために選択されたテンプレート画像の一例を示す図解図であり、（Ｃ）はテンプレート画像および撮影画像からそれぞれ検出された透過エリア枠および顔枠の一例を示す図解図であり、（Ｄ）は顔枠の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｆ）は撮影画像へのテンプレート画像の多重状態の一例を示す図解図であり、そして（Ｇ）は合成画像の一例を示す図解図である。 （Ａ）は透過エリア枠および顔枠の配置の他の一例を示す図解図であり、（Ｂ）は合成画像の他の一例を示す図解図であり、（Ｃ）は画像合成処理のために選択されたテンプレート画像の他の一例を示す図解図であり、（Ｄ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の他の一例を示す図解図であり、（Ｆ）は合成画像のその他の一例を示す図解図であり、（Ｇ）は合成画像のさらにその他の一例を示す図解図である。 （Ａ）は画像合成処理のために選択された撮影画像の一例を示す図解図であり、（Ｂ）は画像合成処理のために選択されたテンプレート画像の一例を示す図解図であり、（Ｃ）はテンプレート画像および撮影画像からそれぞれ検出された透過エリア枠および顔枠の一例を示す図解図であり、（Ｄ）は顔枠の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｆ）は撮影画像へのテンプレート画像の多重状態の一例を示す図解図であり、そして（Ｇ）は合成画像の一例を示す図解図である。 （Ａ）は透過エリア枠および拡大顔枠の配置の他の一例を示す図解図であり、（Ｂ）は合成画像の他の一例を示す図解図であり、（Ｃ）は画像合成処理のために選択されたテンプレート画像の他の一例を示す図解図であり、（Ｄ）は透過エリア枠および顔枠の配置の一例を示す図解図であり、（Ｅ）は透過エリア枠および顔枠の配置の他の一例を示す図解図であり、（Ｆ）は合成画像のその他の一例を示す図解図であり、（Ｇ）は合成画像のさらにその他の一例を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１４ …撮像装置
１６ …カメラ処理回路
２０ …ＳＤＲＡＭ
２４ …ＬＣＤモニタ
２６ …ＪＰＥＧコーデック
３０ …記録媒体
３２ …ＣＰＵ
３４ …傾斜センサ
３６ …フラッシュメモリ

Claims (15)

1. 既定画像上に設けられた複数の透過エリアの各々の属性を検出する第１検出手段、
   撮影画像が有する特定物画像の属性を検出する第２検出手段、
   前記第１検出手段によって検出された複数の属性の各々と前記第２検出手段によって検出された属性との相違を算出する算出手段、
   前記算出手段によって算出された相違に基づいて前記複数の透過エリアの１つを選択する選択手段、および
   前記選択手段によって選択された透過エリアの属性と前記特定物画像の属性との相違が抑制される態様で前記既定画像と前記撮影画像を合成する第１合成手段を備える、画像合成装置。
2. 前記選択手段は前記相違が小さい透過エリアを選択する、請求項１記載の画像合成装置。
3. 前記第１検出手段は前記複数の透過エリアの各々のサイズを前記属性として検出し、
   前記第２検出手段は前記特定物画像のサイズを前記属性として検出し、
   前記算出手段は前記透過エリアの各々のサイズと前記特定物画像のサイズとの相違を算出する、請求項１または２記載の画像合成装置。
4. 前記第１合成手段は、前記特定物画像のサイズが前記透過エリアのサイズに近づくように前記撮影画像の倍率を調整する倍率調整手段、および前記透過エリアの位置が前記特定物画像の位置に近づくように合成位置を調整する位置調整手段を含む、請求項１ないし３のいずれかに記載の画像合成装置。
5. 倍率補正操作に応答して前記撮影画像の倍率を補正する第１倍率補正手段、
   位置補正操作に応答して前記合成位置を補正する第１位置補正手段、および
   前記指定手段によって指定された既定画像と前記撮影画像を前記第１倍率補正手段および／または前記第１位置補正手段の補正結果を参照して再度合成する第２合成手段をさらに備える、請求項４記載の画像合成装置。
6. 前記第１倍率補正手段による倍率補正量を前記指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する倍率補正量正規化手段をさらに備え、
   前記第１多重手段は前記指定手段によって指定された既定画像上の透過エリアのサイズと前記倍率補正量正規化手段によって正規化された倍率補正量とに基づいて前記撮影画像の倍率を補正する第２倍率補正手段をさらに含む、請求項５記載の画像合成装置。
7. 前記第１位置補正手段による位置補正量を前記指定手段によって指定された既定画像上の透過エリアのサイズに基づいて正規化する位置補正量正規化手段をさらに備え、
   前記第１多重手段は前記指定手段によって指定された既定画像上の透過エリアのサイズと前記位置補正量正規化手段によって正規化された位置補正量とに基づいて前記合成位置を補正する第２位置補正手段をさらに含む、請求項５または６記載の画像合成装置。
8. 前記第１合成手段によって合成された既定画像の外縁からはみ出した前記撮影画像の一部を切り取る切り取り手段をさらに備える、請求項１ないし７のいずれかに記載の画像合成装置。
9. 前記特定物画像は顔画像に相当する、請求項１ないし８のいずれかに記載の画像合成装置。
10. 画像合成装置のプロセサに、
    既定画像上に設けられた複数の透過エリアの各々の属性を検出する第１検出ステップ、
    撮影画像が有する特定物画像の属性を検出する第２検出ステップ、
    前記第１検出ステップによって検出された複数の属性の各々と前記第２検出ステップによって検出された属性との相違を算出する算出ステップ、
    前記算出ステップによって算出された相違に基づいて前記複数の透過エリアの１つを選択する選択ステップ、および
    前記選択ステップによって選択された透過エリアの属性と前記特定物画像の属性との相違が抑制される態様で前記既定画像と前記撮影画像を合成する合成ステップを実行させるための、画像合成プログラム。
11. 画像合成装置によって実行される画像合成方法であって、
    既定画像上に設けられた複数の透過エリアの各々の属性を検出する第１検出ステップ、
    撮影画像が有する特定物画像の属性を検出する第２検出ステップ、
    前記第１検出ステップによって検出された複数の属性の各々と前記第２検出ステップによって検出された属性との相違を算出する算出ステップ、
    前記算出ステップによって算出された相違に基づいて前記複数の透過エリアの１つを選択する選択ステップ、および
    前記選択ステップによって選択された透過エリアの属性と前記特定物画像の属性との相違が抑制される態様で前記既定画像と前記撮影画像を合成する合成ステップを備える、画像合成方法。
12. 撮影画像が有する特定物画像の属性と既定画像上に設けられた透過エリアの属性とに基づいて合成処理パラメータを算出する算出手段、
    前記算出手段によって算出された合成処理パラメータと補正係数とに基づいて前記既定画像と前記撮影画像を合成する第１合成手段、
    前記第１合成手段の処理が完了した後の補正操作に応答して前記補正係数を更新する更新手段、
    前記補正操作に従う態様で前記既定画像と前記撮影画像を再度合成する第２合成手段、および
    画像更新操作を受け付けたとき前記既定画像を更新して前記算出手段を再起動する再起動手段を備える、画像合成装置。
13. 前記算出手段は前記透過エリアの属性と前記特定物画像の属性との相違が抑制されるように前記合成処理パラメータを算出する、請求項１２記載の画像合成装置。
14. 前記第１合成手段は前記補正係数に基づいて前記合成処理パラメータを補正する補正手段を含む、請求項１２または１３記載の画像合成装置。
15. 前記合成処理パラメータは前記撮影画像の倍率および合成位置を含み、
    前記補正操作は前記倍率を補正する倍率補正操作および前記合成位置を補正する合成位置補正操作を含み、
    前記補正係数は倍率補正係数および合成位置補正係数を含む、請求項１２ないし１４のいずれかに記載の画像合成装置。

Images