JP5636660B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5636660B2 JP5636660B2 JP2009227623A JP2009227623A JP5636660B2 JP 5636660 B2 JP5636660 B2 JP 5636660B2 JP 2009227623 A JP2009227623 A JP 2009227623A JP 2009227623 A JP2009227623 A JP 2009227623A JP 5636660 B2 JP5636660 B2 JP 5636660B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- processing
- background
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Storing Facsimile Image Data (AREA)
Description
本発明は、複数の画像を合成する画像処理装置、画像処理方法及びプログラムに関する。
従来、被写体画像と背景画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。
しかしながら、上記従来の技術は、背景画像の指定された位置に被写体画像を合成するのみなので、合成対象の背景画像や被写体画像の内容、合成位置、合成サイズによっては、効果的な合成画像にならないという問題があった。
そこで、本発明の課題は、背景画像と前景画像とを合成する際、効果的な合成画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
背景画像に前景画像を合成する合成手段を備えた画像処理装置において、前記前景画像と所定の処理とを対応付けて記憶する記憶手段と、前記記憶手段に前記前景画像と対応付けて記憶されている前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施す画像処理手段と、を備えることを特徴としている。
背景画像に前景画像を合成する合成手段を備えた画像処理装置において、前記前景画像と所定の処理とを対応付けて記憶する記憶手段と、前記記憶手段に前記前景画像と対応付けて記憶されている前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施す画像処理手段と、を備えることを特徴としている。
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記背景画像における前記前景画像を合成すべき領域の位置を特定する特定手段と、前記特定手段により特定された前記前景画像を合成すべき領域の位置に基づいて、前記記憶手段に前記前景画像と対応付けて記憶されている前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施すか否かを判断する判断手段と、を更に備え、前記画像処理手段は、前記判断手段による判断結果が肯定の場合、前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施すことを特徴としている。
前記背景画像における前記前景画像を合成すべき領域の位置を特定する特定手段と、前記特定手段により特定された前記前景画像を合成すべき領域の位置に基づいて、前記記憶手段に前記前景画像と対応付けて記憶されている前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施すか否かを判断する判断手段と、を更に備え、前記画像処理手段は、前記判断手段による判断結果が肯定の場合、前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施すことを特徴としている。
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記特定手段により前記前景画像を合成すべき領域の位置として前記背景画像における所定領域の位置が特定されたか否かを判定する判定手段を更に備え、前記画像処理手段は、前記判定手段により前記背景画像における所定領域の位置が特定されたと判定された場合に、前記前景画像及び前記背景画像の少なくとも一方に所定の処理を施すことを特徴としている。
前記特定手段により前記前景画像を合成すべき領域の位置として前記背景画像における所定領域の位置が特定されたか否かを判定する判定手段を更に備え、前記画像処理手段は、前記判定手段により前記背景画像における所定領域の位置が特定されたと判定された場合に、前記前景画像及び前記背景画像の少なくとも一方に所定の処理を施すことを特徴としている。
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記画像処理手段は、前記判定手段により前記背景画像における所定領域の位置が特定されたと判定された場合に、前記背景画像における前記所定領域の画像部分を前記前景画像に対して優先的に表示させるように、前記前景画像及び前記背景画像の少なくとも一方に前記所定の処理を施すことを特徴としている。
前記画像処理手段は、前記判定手段により前記背景画像における所定領域の位置が特定されたと判定された場合に、前記背景画像における前記所定領域の画像部分を前記前景画像に対して優先的に表示させるように、前記前景画像及び前記背景画像の少なくとも一方に前記所定の処理を施すことを特徴としている。
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置において、
前記背景画像は、複数のフレーム画像からなる連写画像若しくは動画像であり、前記判定手段は、前記連写画像若しくは動画像を構成する各フレーム画像に、当該フレーム画像における所定領域の位置が前記特定手段により特定されたか否かを判定し、前記画像処理手段は、前記複数のフレーム画像のうち、前記判定手段により所定領域の位置が特定されたと判定されたフレーム画像及び前記前景画像の少なくとも一方に所定の処理を施すことを特徴としている。
前記背景画像は、複数のフレーム画像からなる連写画像若しくは動画像であり、前記判定手段は、前記連写画像若しくは動画像を構成する各フレーム画像に、当該フレーム画像における所定領域の位置が前記特定手段により特定されたか否かを判定し、前記画像処理手段は、前記複数のフレーム画像のうち、前記判定手段により所定領域の位置が特定されたと判定されたフレーム画像及び前記前景画像の少なくとも一方に所定の処理を施すことを特徴としている。
請求項６に記載の発明は、請求項３〜５の何れか一項に記載の画像処理装置において、
前記所定領域は、前記背景画像から検出された顔画像領域であることを特徴としている。
前記所定領域は、前記背景画像から検出された顔画像領域であることを特徴としている。
請求項７に記載の発明は、請求項２〜６の何れか一項に記載の画像処理装置において、
前記画像処理手段は、前記特定手段により前記前景画像を合成すべき領域として特定された前記背景画像における位置から所定の範囲内の前記背景画像に所定の処理を施すことを特徴としている。
前記画像処理手段は、前記特定手段により前記前景画像を合成すべき領域として特定された前記背景画像における位置から所定の範囲内の前記背景画像に所定の処理を施すことを特徴としている。
請求項８に記載の発明の画像処理方法は、
前景画像に対応付けて記憶手段に記憶されている所定の処理を、当該前景画像及び当該前景画像が合成される背景画像の少なくとも一方に施すステップと、前記ステップにて少なくとも一方に所定の処理を施された前記前景画像と前記背景画像とを合成するステップと、を含むことを特徴としている。
前景画像に対応付けて記憶手段に記憶されている所定の処理を、当該前景画像及び当該前景画像が合成される背景画像の少なくとも一方に施すステップと、前記ステップにて少なくとも一方に所定の処理を施された前記前景画像と前記背景画像とを合成するステップと、を含むことを特徴としている。
請求項９に記載の発明のプログラムは、
コンピュータを、前景画像に対応付けて記憶部に記憶されている前記所定の処理を、当該前景画像及び背景画像の少なくとも一方に施す画像処理手段、前記前景画像及び前記背景画像を合成する合成手段、として機能させることを特徴としている。
コンピュータを、前景画像に対応付けて記憶部に記憶されている前記所定の処理を、当該前景画像及び背景画像の少なくとも一方に施す画像処理手段、前記前景画像及び前記背景画像を合成する合成手段、として機能させることを特徴としている。
本発明によれば、背景画像と前景画像とを合成する際、効果的な合成画像を得ることができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、背景画像Ｂ（図７（ａ）等参照）における被写体画像（前景画像）Ｇ（図７（ａ）等参照）を合成すべき合成領域を特定して、当該被写体画像Ｇを合成すべき合成領域に基づいて、当該被写体画像Ｇ及び背景画像Ｂのうち、少なくとも何れか一方に所定の画像処理を施して被写体合成画像Ｐを生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。
このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、画像合成処理に係る背景画像Ｂ（図７（ａ）参照）や被写体存在画像（図示略）を撮像する。
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
撮像された被写体存在画像から被写体切り抜き画像を生成する場合、特徴量演算部６は、比較すべき被写体非存在画像を基準として、当該被写体非存在画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
ブロックマッチング部７は、被写体非存在画像と被写体存在画像の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像内のどこに対応するか、つまり、被写体存在画像内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像と被写体存在画像間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
画像処理部８は、切抜画像生成部８ａと、顔検出部８ｂと、合成領域特定部８ｃと、領域判定部８ｄと、加工処理部８ｅと、画像合成部８ｆとを具備している。
切抜画像生成部８ａは、被写体切り抜き画像の画像データを生成する。具体的には、切抜画像生成部８ａは、位置合わせ部と、被写体画像抽出部と、位置情報生成部等（何れも図示略）を備えている。
位置合わせ部は、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在画像の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像を座標変換して被写体非存在画像と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像から被写体が含まれる被写体画像（前景画像）Ｇを抽出する。
位置情報生成部は、被写体存在画像から抽出された被写体画像Ｇの位置を特定して、被写体存在画像における被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像の各画素について、被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
切抜画像生成部８ａは、位置情報生成部により生成されたアルファマップに基づいて、被写体存在画像の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像Ｇを所定の単一色画像と合成して被写体切り抜き画像の画像データを生成する。
位置合わせ部は、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在画像の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像を座標変換して被写体非存在画像と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像から被写体が含まれる被写体画像（前景画像）Ｇを抽出する。
位置情報生成部は、被写体存在画像から抽出された被写体画像Ｇの位置を特定して、被写体存在画像における被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像の各画素について、被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
切抜画像生成部８ａは、位置情報生成部により生成されたアルファマップに基づいて、被写体存在画像の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像Ｇを所定の単一色画像と合成して被写体切り抜き画像の画像データを生成する。
顔検出部８ｂは、背景画像Ｂから所定の顔検出方法を用いて顔を検出する。具体的には、顔検出部８ｂは、合成画像生成処理（後述）にて、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて指定された背景画像Ｂ内から顔画像領域Ａを検出し、その検出した各領域内から目、鼻、口等に相当する特徴部（顔パーツ）を検出する。この顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
合成領域特定部８ｃは、背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域を特定する。具体的には、合成画像生成処理にて、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて背景画像Ｂ上の被写体画像Ｇの合成位置が指定されると、合成領域特定部８ｃは、当該合成位置にて背景画像Ｂ上の被写体画像Ｇが重畳された領域を背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域として特定する。
ここで、合成領域特定部８ｃは、背景画像Ｂにおける被写体画像（前景画像）Ｇを合成すべき領域を特定する特定手段を構成している。
ここで、合成領域特定部８ｃは、背景画像Ｂにおける被写体画像（前景画像）Ｇを合成すべき領域を特定する特定手段を構成している。
領域判定部８ｄは、背景画像Ｂにおける被写体画像Ｇの合成領域と当該背景画像Ｂにおける所定領域とが重なるか否かを判定する。具体的には、領域判定部８ｄは、合成領域特定部８ｃにより特定された被写体画像Ｇの合成領域と顔検出部８ｂにより背景画像Ｂから検出された顔画像領域（所定領域）Ａとが重なるか否かを判定する。
ここで、領域判定部８ｄは、合成領域特定部８ｃにより被写体画像（前景画像）Ｇを合成すべき合成領域として背景画像Ｂにおける所定領域が特定されたか否かを判定する判定手段を構成している。
ここで、領域判定部８ｄは、合成領域特定部８ｃにより被写体画像（前景画像）Ｇを合成すべき合成領域として背景画像Ｂにおける所定領域が特定されたか否かを判定する判定手段を構成している。
加工処理部８ｅは、背景画像Ｂにおける被写体画像Ｇの合成領域に基づいて、背景画像Ｂに所定の画像処理を施す。具体的には、加工処理部８ｅは、被写体画像Ｇの合成領域にて、処理内容テーブルＴ（図２参照）に被写体画像Ｇと対応付けて登録されている所定の画像処理を背景画像Ｂに施す。
処理内容テーブルＴは、記憶手段として、被写体画像Ｇと所定の画像処理とを対応付けて記憶する。具体的には、図２に示すように、処理内容テーブルＴは、背景画像Ｂと合成される被写体画像（前景画像）Ｇに係る被写体画像名（例えば、「感嘆符」、「ライト」、「水滴」、「ボール」等）と、被写体画像Ｇの画像データと、背景画像Ｂに対する画像処理の処理内容とを対応付けて記憶している。例えば、被写体画像Ｇとしての「感嘆符」は、画像処理の処理内容として「顔画像領域をびっくりした表情にする」と対応付けられており、加工処理部８ｅは、背景画像Ｂの顔画像領域Ａの目の白目部分を顔の外側方向に拡大するとともに、黒目部分を顔の内側方向に縮小するような画像処理を施す。また、被写体画像Ｇとしての「ライト」は、画像処理の処理内容として「合成領域を中心に明るくする」と対応付けられており、加工処理部８ｅは、背景画像Ｂの合成領域以外の部分の明るさやコントラストや色調等を調整して合成領域の近傍ほど明るくするような画像処理を施す。また、被写体画像Ｇとしての「水滴」は、画像処理の処理内容として「合成位置を中心に波紋が広がるような処理」と対応付けられており、加工処理部８ｅは、背景画像Ｂの合成領域以外の領域に所定径の環状部を想定して、当該環状部と重なる部分が波立つような画像処理を施す。また、被写体画像Ｇとしての「ボール」は、画像処理の処理内容として「合成位置を中心に凹ませるような処理」と対応付けられており、加工処理部８ｅは、背景画像Ｂの合成領域の近傍ほど歪むような画像処理を施す。
なお、上記した処理内容テーブルＴは、一例であって被写体画像Ｇの種類や処理内容等はこれらに限られるものではなく、これらの内容は予め処理内容テーブルＴに登録されていても良いし、後述する被写体切り抜き処理によって登録できるようにしても良い。
また、上記した処理内容テーブルＴは、画像メモリ５に予め記憶されていてもよいし、記録媒体９の所定の記憶領域や画像ファイルごとの所定の記憶領域に記憶するようにしてもよい。
処理内容テーブルＴは、記憶手段として、被写体画像Ｇと所定の画像処理とを対応付けて記憶する。具体的には、図２に示すように、処理内容テーブルＴは、背景画像Ｂと合成される被写体画像（前景画像）Ｇに係る被写体画像名（例えば、「感嘆符」、「ライト」、「水滴」、「ボール」等）と、被写体画像Ｇの画像データと、背景画像Ｂに対する画像処理の処理内容とを対応付けて記憶している。例えば、被写体画像Ｇとしての「感嘆符」は、画像処理の処理内容として「顔画像領域をびっくりした表情にする」と対応付けられており、加工処理部８ｅは、背景画像Ｂの顔画像領域Ａの目の白目部分を顔の外側方向に拡大するとともに、黒目部分を顔の内側方向に縮小するような画像処理を施す。また、被写体画像Ｇとしての「ライト」は、画像処理の処理内容として「合成領域を中心に明るくする」と対応付けられており、加工処理部８ｅは、背景画像Ｂの合成領域以外の部分の明るさやコントラストや色調等を調整して合成領域の近傍ほど明るくするような画像処理を施す。また、被写体画像Ｇとしての「水滴」は、画像処理の処理内容として「合成位置を中心に波紋が広がるような処理」と対応付けられており、加工処理部８ｅは、背景画像Ｂの合成領域以外の領域に所定径の環状部を想定して、当該環状部と重なる部分が波立つような画像処理を施す。また、被写体画像Ｇとしての「ボール」は、画像処理の処理内容として「合成位置を中心に凹ませるような処理」と対応付けられており、加工処理部８ｅは、背景画像Ｂの合成領域の近傍ほど歪むような画像処理を施す。
なお、上記した処理内容テーブルＴは、一例であって被写体画像Ｇの種類や処理内容等はこれらに限られるものではなく、これらの内容は予め処理内容テーブルＴに登録されていても良いし、後述する被写体切り抜き処理によって登録できるようにしても良い。
また、上記した処理内容テーブルＴは、画像メモリ５に予め記憶されていてもよいし、記録媒体９の所定の記憶領域や画像ファイルごとの所定の記憶領域に記憶するようにしてもよい。
また、加工処理部８ｅは、領域判定部８ｄにより被写体画像Ｇの合成領域として背景画像Ｂにおける所定領域が特定された場合、即ち、被写体画像Ｇの合成領域と顔検出部８ｂにより背景画像Ｂから検出された顔画像領域Ａとが重なったと判定された場合に、背景画像Ｂに所定の画像処理を施す。具体的には、加工処理部８ｅは、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なったと判定されると、被写体画像Ｇの合成領域にて、処理内容テーブルＴに当該被写体画像Ｇと対応付けて登録されている所定の画像処理を背景画像Ｂに施す。
なお、加工処理部８ｅは、上記のような背景画像Ｂに対する画像処理とともに、或いは、背景画像Ｂに対する画像処理に替えて、被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
ここで、加工処理部８ｅは、合成領域特定部８ｃにより特定された背景画像Ｂにおける被写体画像（前景画像）Ｇを合成すべき合成領域に基づいて、当該被写体画像Ｇ及び背景画像Ｂのうち、少なくとも何れか一方に所定の処理を施す画像処理手段を構成している。
ここで、加工処理部８ｅは、合成領域特定部８ｃにより特定された背景画像Ｂにおける被写体画像（前景画像）Ｇを合成すべき合成領域に基づいて、当該被写体画像Ｇ及び背景画像Ｂのうち、少なくとも何れか一方に所定の処理を施す画像処理手段を構成している。
また、画像処理部８は、被写体切り抜き画像と背景画像Ｂとを合成する画像合成部（合成手段）８ｆを具備している。
画像合成部８ｆは、加工処理部８ｅにより所定の画像処理が施された背景画像Ｂと被写体切り抜き画像とを合成して被写体合成画像Ｐを生成する。具体的には、画像合成部８ｆは、画像処理後の背景画像Ｂの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像の対応する画素の画素値で上書きし、さらに、背景画像Ｂの各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成する。
画像合成部８ｆは、加工処理部８ｅにより所定の画像処理が施された背景画像Ｂと被写体切り抜き画像とを合成して被写体合成画像Ｐを生成する。具体的には、画像合成部８ｆは、画像処理後の背景画像Ｂの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像の対応する画素の画素値で上書きし、さらに、背景画像Ｂの各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成する。
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８の圧縮部（図示略）により符号化された背景画像Ｂや被写体切り抜き画像の画像データを記憶する。
また、被写体切り抜き画像の画像データは、画像処理部８の位置情報生成部により生成されたアルファマップと対応付けられて、当該被写体切り抜き画像の画像データの拡張子を「.jpe」とした複数の画像ファイルからなるグループが保存されている。
また、被写体切り抜き画像の画像データは、画像処理部８の位置情報生成部により生成されたアルファマップと対応付けられて、当該被写体切り抜き画像の画像データの拡張子を「.jpe」とした複数の画像ファイルからなるグループが保存されている。
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて画像や文字などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示や被写体切り抜き画像の被写体画像Ｇの合成位置の設定指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。
ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。
次に、撮像装置１００による背景画像生成処理について、図３を参照して説明する。
図３は、背景画像生成処理に係る動作の一例を示すフローチャートである。
図３は、背景画像生成処理に係る動作の一例を示すフローチャートである。
背景画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図３に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による背景画像Ｂの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ１）。
図３に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による背景画像Ｂの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ１）。
次に、ＣＰＵ１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景画像Ｂ（図７（ａ）等参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ３）。
続けて、画像データ生成部４は、電子撮像部２から転送された背景画像Ｂの画像フレームのＹＵＶデータを生成した後、当該背景画像ＢのＹＵＶデータを記録媒体９の所定の記憶領域に記憶させる（ステップＳ４）。
これにより、背景画像生成処理を終了する。
これにより、背景画像生成処理を終了する。
次に、撮像装置１００による被写体切り抜き処理について、図４を参照して説明する。
図４は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
図４は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図４に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。
図４に示すように、先ず、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１１）。
次に、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１２）。ここで、撮像指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像（図示略）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ１３）。
続けて、画像データ生成部４は、電子撮像部２から転送された被写体存在画像の画像フレームのＹＵＶデータを生成した後、当該被写体存在画像のＹＵＶデータを画像メモリ５に一時記憶させる。
また、撮像制御部３は、当該被写体存在画像の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
また、撮像制御部３は、当該被写体存在画像の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
そして、表示制御部１０は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像の半透過の表示態様の画像と被写体非存在画像の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１４）。
この後、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１５）。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像が被写体存在画像の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたと判定されると（ステップＳ１５；ＹＥＳ）、撮像制御部３は、被写体非存在画像の光学像を被写体存在画像の撮像後に固定された条件で電子撮像部２により撮像させる（ステップＳ１６）。
その後、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のＹＵＶデータを生成した後、当該ＹＵＶデータを画像メモリ５に一時記憶させる。
この後、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ１５）。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像が被写体存在画像の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたと判定されると（ステップＳ１５；ＹＥＳ）、撮像制御部３は、被写体非存在画像の光学像を被写体存在画像の撮像後に固定された条件で電子撮像部２により撮像させる（ステップＳ１６）。
その後、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のＹＵＶデータを生成した後、当該ＹＵＶデータを画像メモリ５に一時記憶させる。
次に、ＣＰＵ１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８の切抜画像生成部８ａに、画像メモリ５に一時記憶されている被写体非存在画像のＹＵＶデータを基準として、被写体存在画像のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ１７）。
具体的には、特徴量演算部６は、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と被写体存在画像間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切抜画像生成部８ａの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像の射影変換行列を算出する。
具体的には、特徴量演算部６は、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と被写体存在画像間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切抜画像生成部８ａの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像の射影変換行列を算出する。
次に、切抜画像生成部８ａの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像を射影変換することで、被写体存在画像のＹＵＶデータと被写体非存在画像のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ１８）。
そして、切抜画像生成部８ａの被写体領域抽出部は、被写体存在画像から被写体が含まれる被写体領域（被写体画像）を抽出する処理を行う（ステップＳ１９）。
具体的には、被写体領域抽出部は、被写体存在画像のＹＵＶデータと被写体非存在画像のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけた被写体存在画像と被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
具体的には、被写体領域抽出部は、被写体存在画像のＹＵＶデータと被写体非存在画像のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけた被写体存在画像と被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
次に、切抜画像生成部８ａの位置情報生成部は、抽出された被写体領域の被写体存在画像内での位置を示すアルファマップを生成する（ステップＳ２０）。
その後、切抜画像生成部８ａは、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像（図示略）の画像データを生成する処理を行わせる（ステップＳ２１）。
具体的には、切抜画像生成部８ａは、被写体存在画像、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
具体的には、切抜画像生成部８ａは、被写体存在画像、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
その後、ＣＰＵ１３は、被写体切り抜き画像のＹＵＶデータを、切抜画像生成部８ａの位置情報生成部により生成されたアルファマップがＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルとし、例えば、当該被写体切り抜き画像の画像データの拡張子を「.jpe」とする一ファイルで記録媒体９の所定の記憶領域に記憶させる（ステップＳ２２）。
なお、画像ファイルを記録媒体９の所定の記憶領域に記憶する際に、所定の処理内容を対応付けて記憶する。例えば、「明度を上げる」、「輝度を低くする」、「ボカシ処理を加える」などの処理内容が画像メモリ５に記憶されていて、この中から任意の画像処理内容を選択するようにし、選択した処理内容を当該画像ファイルと対応付けて記録媒体９の所定の記憶領域に記憶させる。
これにより、被写体切り抜き処理を終了する。
なお、画像ファイルを記録媒体９の所定の記憶領域に記憶する際に、所定の処理内容を対応付けて記憶する。例えば、「明度を上げる」、「輝度を低くする」、「ボカシ処理を加える」などの処理内容が画像メモリ５に記憶されていて、この中から任意の画像処理内容を選択するようにし、選択した処理内容を当該画像ファイルと対応付けて記録媒体９の所定の記憶領域に記憶させる。
これにより、被写体切り抜き処理を終了する。
次に、合成画像生成処理について図５〜図７を参照して詳細に説明する。
図５は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図６は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
図５は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図６は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
合成画像生成処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図５に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で合成画像の背景となる所望の背景画像Ｂ（図７（ａ）等参照）が選択して指定されると（ステップＳ３１）、画像処理部８は、指定された背景画像Ｂの画像データを読み出して画像メモリ５に展開して、画像処理部８の顔検出部８ｂが、当該画像データに対する顔検出処理を行って背景画像Ｂ内から顔画像領域Ａを検出する（ステップＳ３２）。
図５に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で合成画像の背景となる所望の背景画像Ｂ（図７（ａ）等参照）が選択して指定されると（ステップＳ３１）、画像処理部８は、指定された背景画像Ｂの画像データを読み出して画像メモリ５に展開して、画像処理部８の顔検出部８ｂが、当該画像データに対する顔検出処理を行って背景画像Ｂ内から顔画像領域Ａを検出する（ステップＳ３２）。
次に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像が選択して指定されると（ステップＳ３３）、画像処理部８は、指定された被写体切り抜き画像の画像データを読み出して画像メモリ５に展開する。
続けて、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇの合成位置が指定されると（ステップＳ３４；図７（ａ）等参照）、画像処理部８の合成領域特定部８ｃは、背景画像Ｂ上の被写体画像Ｇが重畳された領域を背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域として特定する（ステップＳ３５）。
続けて、画像処理部８の領域判定部８ｄは、顔検出部８ｂにより検出された顔画像領域Ａと合成領域特定部８ｃにより特定された被写体画像Ｇの合成領域とが重なるか否かを判定する（ステップＳ３６）。
ここで、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なる（図７（ｂ）参照）と判定されると（ステップＳ３６；ＹＥＳ）、画像処理部８の加工処理部８ｅは、処理内容テーブルＴに当該被写体画像Ｇと対応付けて登録されている所定の画像処理内容を取得して（ステップＳ３７）、取得した画像処理内容に従って背景画像Ｂに対する画像処理を行う（ステップＳ３８）。
例えば、被写体画像「感嘆符」が選択指定されている場合に、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なると、加工処理部８ｅは、処理内容テーブルＴから画像処理内容「顔画像領域をびっくりした表情にする」を取得して、顔画像領域Ａの目の白目部分を顔の外側方向に拡大するとともに、黒目部分を顔の内側方向に縮小するような画像処理を施す。また例えば、被写体画像Ｇとして処理テーブルＴの「ライト」が選択されている場合は、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なると、加工処理部８ｅは、処理内容テーブルＴから画像処理内容「合成領域を中心に明るくする」を取得して、当該合成領域を中心に背景画像Ｂが明るくなるような画像処理を施す。
ここで、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なる（図７（ｂ）参照）と判定されると（ステップＳ３６；ＹＥＳ）、画像処理部８の加工処理部８ｅは、処理内容テーブルＴに当該被写体画像Ｇと対応付けて登録されている所定の画像処理内容を取得して（ステップＳ３７）、取得した画像処理内容に従って背景画像Ｂに対する画像処理を行う（ステップＳ３８）。
例えば、被写体画像「感嘆符」が選択指定されている場合に、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なると、加工処理部８ｅは、処理内容テーブルＴから画像処理内容「顔画像領域をびっくりした表情にする」を取得して、顔画像領域Ａの目の白目部分を顔の外側方向に拡大するとともに、黒目部分を顔の内側方向に縮小するような画像処理を施す。また例えば、被写体画像Ｇとして処理テーブルＴの「ライト」が選択されている場合は、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なると、加工処理部８ｅは、処理内容テーブルＴから画像処理内容「合成領域を中心に明るくする」を取得して、当該合成領域を中心に背景画像Ｂが明るくなるような画像処理を施す。
次に、画像処理部８は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇの合成位置が再指定されたか否かを判定する（ステップＳ３９）。
ここで、被写体画像Ｇの合成位置が再指定されたと判定されると（ステップＳ３９；ＹＥＳ）、画像処理部８は、処理をステップＳ３５に移行して、それ以降の処理を実行する。
ステップＳ３５以降の処理は、ステップＳ３９にて、被写体画像Ｇの合成位置が再指定されていないと判定されるまで（ステップＳ３９；ＮＯ）、繰り返し行われる。
そして、ステップＳ３９にて、被写体画像Ｇの合成位置が再指定されていないと判定されると（ステップＳ３９；ＮＯ）、画像処理部８の画像合成部８ｆは、背景画像Ｂと被写体切り抜き画像とを合成する画像合成処理を行う（ステップＳ４０）。
また、ステップＳ３６にて、被写体画像Ｇの合成領域と顔画像領域Ａとが重なっていない（図７（ａ）、図７（ｃ）等参照）と判定された場合にも（ステップＳ３６；ＮＯ）、画像合成部８ｆは、画像合成処理を行う。
ここで、被写体画像Ｇの合成位置が再指定されたと判定されると（ステップＳ３９；ＹＥＳ）、画像処理部８は、処理をステップＳ３５に移行して、それ以降の処理を実行する。
ステップＳ３５以降の処理は、ステップＳ３９にて、被写体画像Ｇの合成位置が再指定されていないと判定されるまで（ステップＳ３９；ＮＯ）、繰り返し行われる。
そして、ステップＳ３９にて、被写体画像Ｇの合成位置が再指定されていないと判定されると（ステップＳ３９；ＮＯ）、画像処理部８の画像合成部８ｆは、背景画像Ｂと被写体切り抜き画像とを合成する画像合成処理を行う（ステップＳ４０）。
また、ステップＳ３６にて、被写体画像Ｇの合成領域と顔画像領域Ａとが重なっていない（図７（ａ）、図７（ｃ）等参照）と判定された場合にも（ステップＳ３６；ＮＯ）、画像合成部８ｆは、画像合成処理を行う。
ここで、画像合成処理について図６を参照して詳細に説明する。
画像合成処理は、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっている場合には、ステップＳ３８にて所定の画像処理が施された背景画像Ｂを対象画像として行われ、一方、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていない場合には、所定の画像処理が施されていない背景画像Ｂを対象画像として行われる。
なお、以下の説明にあっては、処理対象となる背景画像Ｂは所定の画像処理が施されているか否かに関わらず、単に背景画像Ｂと言う。
画像合成処理は、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっている場合には、ステップＳ３８にて所定の画像処理が施された背景画像Ｂを対象画像として行われ、一方、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていない場合には、所定の画像処理が施されていない背景画像Ｂを対象画像として行われる。
なお、以下の説明にあっては、処理対象となる背景画像Ｂは所定の画像処理が施されているか否かに関わらず、単に背景画像Ｂと言う。
図６に示すように、画像合成部８ｆは、被写体切り抜き画像と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ５１）。
なお、図５のステップＳ３４やステップＳ３９にて背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇの合成位置が指定された際に、背景画像Ｂとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
なお、図５のステップＳ３４やステップＳ３９にて背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇの合成位置が指定された際に、背景画像Ｂとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
次に、画像合成部８ｆは、背景画像Ｂの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ５２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ５３）。具体的には、画像合成部８ｆは、背景画像Ｂの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ５３；α＝１）、被写体切り抜き画像の対応する画素の画素値で上書きし（ステップＳ５４）、アルファ値が０＜α＜１の画素については（ステップＳ５３；０＜α＜１）、１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成し（ステップＳ５５、アルファ値が０の画素については（ステップＳ５３；α＝０）、何もせずに背景画像Ｂを透過させるようにする。
続けて、画像合成部８ｆは、背景画像Ｂの全ての画素について処理したか否かを判定する（ステップＳ５６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ５６；ＮＯ）、画像合成部８ｆは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ５７）、処理をステップＳ５３に移行させる。
上記の処理を、ステップＳ５６にて全ての画素について処理したと判定されるまで（ステップＳ５６；ＹＥＳ）、繰り返すことで、画像合成部８ｆは、被写体切り抜き画像と背景画像Ｂとを合成した被写体合成画像Ｐの画像データを生成させる。
これにより、画像合成処理を終了する。
ここで、全ての画素について処理していないと判定されると（ステップＳ５６；ＮＯ）、画像合成部８ｆは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ５７）、処理をステップＳ５３に移行させる。
上記の処理を、ステップＳ５６にて全ての画素について処理したと判定されるまで（ステップＳ５６；ＹＥＳ）、繰り返すことで、画像合成部８ｆは、被写体切り抜き画像と背景画像Ｂとを合成した被写体合成画像Ｐの画像データを生成させる。
これにより、画像合成処理を終了する。
その後、図５に示すように、表示制御部１０は、画像合成部８ｆにより生成された被写体合成画像Ｐの画像データに基づいて、背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐを表示部１１の表示画面に表示させる（ステップＳ４１）。
具体的には、表示制御部１０は、例えば、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっている場合には、所定の画像処理が施された背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐｂ（図７（ｂ）参照）を表示部１１に表示させる。一方、表示制御部１０は、例えば、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていない場合には、所定の画像処理が施されていない背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐａ、Ｐｃ（図７（ａ）、図７（ｃ）等参照）を表示部１１に表示させる。
これにより、合成画像生成処理を終了する。
具体的には、表示制御部１０は、例えば、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっている場合には、所定の画像処理が施された背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐｂ（図７（ｂ）参照）を表示部１１に表示させる。一方、表示制御部１０は、例えば、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていない場合には、所定の画像処理が施されていない背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐａ、Ｐｃ（図７（ａ）、図７（ｃ）等参照）を表示部１１に表示させる。
これにより、合成画像生成処理を終了する。
以上のように、本実施形態の撮像装置１００によれば、背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域に基づいて、当該被写体画像Ｇ及び背景画像Ｂのうち、少なくとも何れか一方に所定の画像処理を施すので、従来のように被写体画像Ｇと背景画像Ｂとを単に合成するのではなく、被写体画像Ｇや背景画像Ｂに所定の画像処理を施された斬新な態様の被写体合成画像Ｐｂを生成することができ、被写体合成画像Ｐｂに違和感を生じさせて当該被写体合成画像Ｐｂの興趣性の向上を図ることができる。
特に、背景画像Ｂにおける被写体画像Ｇを合成すべき合成領域として当該背景画像Ｂにおける顔画像領域Ａが特定された場合に、処理内容テーブルＴに被写体画像Ｇと対応付けて記憶されている所定の画像処理を被写体画像Ｇ及び背景画像Ｂのうち、少なくとも何れか一方に施すので、例えば、被写体画像Ｇと背景画像Ｂの顔画像領域Ａとが重なってしまい顔画像領域Ａ全体の視認が制限されてしまうような場合に、当該顔画像領域Ａに対して所定の画像処理を施すことで、被写体合成画像Ｐｂに違和感を生じさせて当該被写体合成画像Ｐｂの興趣性の向上を図ることができる。
このように、背景画像Ｂと被写体画像Ｇとを合成して、効果的な被写体合成画像Ｐを得ることができる。
特に、背景画像Ｂにおける被写体画像Ｇを合成すべき合成領域として当該背景画像Ｂにおける顔画像領域Ａが特定された場合に、処理内容テーブルＴに被写体画像Ｇと対応付けて記憶されている所定の画像処理を被写体画像Ｇ及び背景画像Ｂのうち、少なくとも何れか一方に施すので、例えば、被写体画像Ｇと背景画像Ｂの顔画像領域Ａとが重なってしまい顔画像領域Ａ全体の視認が制限されてしまうような場合に、当該顔画像領域Ａに対して所定の画像処理を施すことで、被写体合成画像Ｐｂに違和感を生じさせて当該被写体合成画像Ｐｂの興趣性の向上を図ることができる。
このように、背景画像Ｂと被写体画像Ｇとを合成して、効果的な被写体合成画像Ｐを得ることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１００の変形例について説明する。
ここで、撮像装置１００の変形例は、以下に詳細に説明する以外の点で上記実施形態の撮像装置１００と略同様の構成を成し、その説明は省略する
以下に、撮像装置１００の変形例について説明する。
ここで、撮像装置１００の変形例は、以下に詳細に説明する以外の点で上記実施形態の撮像装置１００と略同様の構成を成し、その説明は省略する
＜変形例１＞
変形例１の撮像装置１００は、被写体画像Ｇの合成領域と背景画像Ｂにおける所定領域とが重なったと判定された場合に、加工処理部８ｅは、背景画像Ｂにおける当該所定領域の画像部分を被写体画像Ｇに対して優先的に表示させるように、被写体画像Ｇや背景画像Ｂに対して所定の画像処理を施す。
即ち、加工処理部８ｅは、領域判定部８ｄにより被写体画像Ｇの合成領域と顔画像領域（所定領域）Ａとが重なったと判定された場合に、被写体画像Ｇを半透過の表示態様で表示されるように当該被写体画像Ｇに対して画像処理を施す。
なお、被写体画像Ｇの半透過の表示態様とは、被写体画像Ｇが透明と不透明の中間で表示された状態であり、当該被写体画像Ｇに重畳して後側に表示される背景画像Ｂの輪郭や色彩や明暗などを透過する程度の表示態様のことである。
変形例１の撮像装置１００は、被写体画像Ｇの合成領域と背景画像Ｂにおける所定領域とが重なったと判定された場合に、加工処理部８ｅは、背景画像Ｂにおける当該所定領域の画像部分を被写体画像Ｇに対して優先的に表示させるように、被写体画像Ｇや背景画像Ｂに対して所定の画像処理を施す。
即ち、加工処理部８ｅは、領域判定部８ｄにより被写体画像Ｇの合成領域と顔画像領域（所定領域）Ａとが重なったと判定された場合に、被写体画像Ｇを半透過の表示態様で表示されるように当該被写体画像Ｇに対して画像処理を施す。
なお、被写体画像Ｇの半透過の表示態様とは、被写体画像Ｇが透明と不透明の中間で表示された状態であり、当該被写体画像Ｇに重畳して後側に表示される背景画像Ｂの輪郭や色彩や明暗などを透過する程度の表示態様のことである。
これにより、背景画像Ｂにおける当該顔画像領域Ａの画像部分が被写体画像Ｇに対して優先的に表示される（図８参照）。
なお、背景画像Ｂにおける当該顔画像領域Ａの画像部分を被写体画像Ｇに対して優先的に表示させる際に、被写体画像Ｇに所定の画像処理を施すようにしたが、これに限られるものではなく、背景画像Ｂに対して所定の画像処理を施すようにしても良い。また、背景画像Ｂの優先的な表示態様として、被写体画像Ｇの半透過の表示態様を例示したが、これに限られるものではなく、例えば、被写体画像Ｇの背景画像Ｂの顔画像領域Ａと重なる部分を切り欠いたような表示態様や、被写体画像Ｇに対して背景画像Ｂの顔画像領域Ａの方がより目立つように、これらの画像の明るさやコントラストや色調等を調整した表示態様などが挙げられる。
なお、背景画像Ｂにおける当該顔画像領域Ａの画像部分を被写体画像Ｇに対して優先的に表示させる際に、被写体画像Ｇに所定の画像処理を施すようにしたが、これに限られるものではなく、背景画像Ｂに対して所定の画像処理を施すようにしても良い。また、背景画像Ｂの優先的な表示態様として、被写体画像Ｇの半透過の表示態様を例示したが、これに限られるものではなく、例えば、被写体画像Ｇの背景画像Ｂの顔画像領域Ａと重なる部分を切り欠いたような表示態様や、被写体画像Ｇに対して背景画像Ｂの顔画像領域Ａの方がより目立つように、これらの画像の明るさやコントラストや色調等を調整した表示態様などが挙げられる。
従って、変形例１の撮像装置１００によれば、背景画像Ｂにおける被写体画像Ｇを合成すべき合成領域として当該背景画像Ｂにおける顔画像領域Ａが特定された場合に、当該顔画像領域Ａの画像部分を被写体画像Ｇに対して優先的に表示することができる。
＜変形例２＞
変形例２の撮像装置１００は、複数（例えば、２０枚）の背景画像Ｂを含む連写背景画像と被写体画像Ｇとを合成する際に、加工処理部８ｅは、連写背景画像を構成する複数の背景画像Ｂ、…のうち、被写体画像Ｇの合成領域として顔画像領域Ａが特定された背景画像Ｂの各々に所定の画像処理を施す。
変形例２の撮像装置１００は、複数（例えば、２０枚）の背景画像Ｂを含む連写背景画像と被写体画像Ｇとを合成する際に、加工処理部８ｅは、連写背景画像を構成する複数の背景画像Ｂ、…のうち、被写体画像Ｇの合成領域として顔画像領域Ａが特定された背景画像Ｂの各々に所定の画像処理を施す。
連写背景画像は、図示は省略するが、レンズ部１、電子撮像部２及び撮像制御部３により所定の撮像フレームレートで連続して撮像された複数の背景画像（フレーム画像）Ｂ、…からなる。
画像処理部８の顔検出部８ｂは、連写背景画像を構成する複数の背景画像Ｂ、…の各々に対する顔検出処理を行って顔画像領域Ａを検出する。また、画像処理部８の合成領域特定部８ｃは、連写背景画像を構成する複数の背景画像Ｂ、…の各々における被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域を特定する。
そして、画像処理部８の領域判定部８ｄは、合成領域特定部８ｃにより特定された各背景画像Ｂにおける被写体画像Ｇの合成領域と顔検出部８ｂにより各背景画像Ｂから検出された顔画像領域（所定領域）Ａとが重なるか否かを判定する。即ち、領域判定部８ｄは、連写背景画像を構成する各背景画像（構成画像）Ｂ毎に、当該背景画像Ｂにおける顔画像領域（所定領域）Ａが合成領域特定部８ｃにより特定されたか否かを判定する。
画像処理部８の顔検出部８ｂは、連写背景画像を構成する複数の背景画像Ｂ、…の各々に対する顔検出処理を行って顔画像領域Ａを検出する。また、画像処理部８の合成領域特定部８ｃは、連写背景画像を構成する複数の背景画像Ｂ、…の各々における被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域を特定する。
そして、画像処理部８の領域判定部８ｄは、合成領域特定部８ｃにより特定された各背景画像Ｂにおける被写体画像Ｇの合成領域と顔検出部８ｂにより各背景画像Ｂから検出された顔画像領域（所定領域）Ａとが重なるか否かを判定する。即ち、領域判定部８ｄは、連写背景画像を構成する各背景画像（構成画像）Ｂ毎に、当該背景画像Ｂにおける顔画像領域（所定領域）Ａが合成領域特定部８ｃにより特定されたか否かを判定する。
加工処理部８ｅは、連写背景画像を構成する複数の背景画像Ｂ、…のうち、領域判定部８ｄにより被写体画像Ｇの合成領域と顔画像領域（所定領域）Ａとが重なると判定された背景画像Ｂの各々に所定の画像処理を施す。
なお、加工処理部８ｅは、上記のような連写背景画像を構成する複数の背景画像Ｂ、…に対する画像処理とともに、或いは、各背景画像Ｂに対する画像処理に替えて、被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
なお、加工処理部８ｅは、上記のような連写背景画像を構成する複数の背景画像Ｂ、…に対する画像処理とともに、或いは、各背景画像Ｂに対する画像処理に替えて、被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
次に、変形例２の撮像装置１００による合成画像生成処理について、図９を参照して説明する。
図９は、合成画像生成処理に係る動作の一例を示すフローチャートである。
図９は、合成画像生成処理に係る動作の一例を示すフローチャートである。
図９に示すように、先ず、上記実施形態と略同様に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像が選択して指定されると（ステップＳ６１）、画像処理部８は、指定された被写体切り抜き画像の画像データを読み出して画像メモリ５に展開する。
次に、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体９に記録されている複数の画像の中で合成画像の背景となる所望の連写背景画像（図示略）が選択して指定されると（ステップＳ６２）、画像処理部８は、指定された連写背景画像の画像データを読み出して画像メモリ５に展開して、当該連写背景画像を構成する最初の背景画像Ｂを指定する（ステップＳ６３）。また、画像処理部８は、連写背景画像の連写枚数に応じて被写体切り抜き画像を複製して、各背景画像Ｂに対応する被写体切り抜き画像を画像メモリ５に記憶しておく。
続けて、画像処理部８の顔検出部８ｂが、最初の背景画像Ｂの画像データに対する顔検出処理を行って当該背景画像Ｂ内から顔画像領域Ａを検出する（ステップＳ６４）。
続けて、画像処理部８の顔検出部８ｂが、最初の背景画像Ｂの画像データに対する顔検出処理を行って当該背景画像Ｂ内から顔画像領域Ａを検出する（ステップＳ６４）。
続けて、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、最初の背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇの合成位置が指定されると（ステップＳ６５）、画像処理部８の合成領域特定部８ｃは、最初の背景画像Ｂ上の被写体画像Ｇが重畳された領域を背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇを合成すべき合成領域として特定する（ステップＳ６６）。
続けて、画像処理部８の領域判定部８ｄは、顔検出部８ｂにより検出された顔画像領域Ａと合成領域特定部８ｃにより特定された被写体画像Ｇの合成領域とが重なるか否かを判定する（ステップＳ６７）。
ここで、背景画像Ｂにおける顔画像領域Ａと被写体画像Ｇの合成領域とが重なる（図７（ｂ）参照）と判定されると（ステップＳ６７；ＹＥＳ）、画像処理部８の加工処理部８ｅは、処理内容テーブルＴに当該被写体画像Ｇと対応付けて登録されている所定の画像処理内容を取得して（ステップＳ６８）、取得した画像処理内容に従って処理対象の背景画像Ｂに対する画像処理を行う（ステップＳ６９）。
なお、画像処理の具体的な内容は、上記実施形態にて説明したものと同一であり、その詳細な説明は省略する。
ここで、背景画像Ｂにおける顔画像領域Ａと被写体画像Ｇの合成領域とが重なる（図７（ｂ）参照）と判定されると（ステップＳ６７；ＹＥＳ）、画像処理部８の加工処理部８ｅは、処理内容テーブルＴに当該被写体画像Ｇと対応付けて登録されている所定の画像処理内容を取得して（ステップＳ６８）、取得した画像処理内容に従って処理対象の背景画像Ｂに対する画像処理を行う（ステップＳ６９）。
なお、画像処理の具体的な内容は、上記実施形態にて説明したものと同一であり、その詳細な説明は省略する。
次に、画像処理部８は、連写背景画像を構成する複数の背景画像Ｂ、…の中で処理対象となっている背景画像Ｂが最初の背景画像Ｂであるか否かを判定する（ステップＳ７０）。また、ステップＳ６７にて、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていないと判定された場合にも（ステップＳ６７；ＮＯ）、画像処理部８は、処理をステップＳ７０に移行して、処理対象の背景画像Ｂが最初の背景画像Ｂであるか否かを判定する。
ステップＳ７０にて、処理対象の背景画像Ｂが最初の背景画像Ｂであると判定されると（ステップＳ７０；ＹＥＳ）、画像処理部８は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、最初の背景画像Ｂにおける被写体切り抜き画像の被写体画像Ｇの合成位置が再指定されたか否かを判定する（ステップＳ７１）。
ここで、被写体画像Ｇの合成位置が再指定されたと判定されると（ステップＳ７１；ＹＥＳ）、画像処理部８は、処理をステップＳ６６に移行して、それ以降の処理を実行する。
ステップＳ６６以降の処理は、ステップＳ７１にて、被写体画像Ｇの合成位置が再指定されていないと判定されるまで（ステップＳ７１；ＮＯ）、繰り返し行われる。
そして、ステップＳ７１にて、被写体画像Ｇの合成位置が再指定されていないと判定されると（ステップＳ７１；ＮＯ）、画像処理部８の画像合成部８ｆは、処理対象の背景画像Ｂと被写体切り抜き画像とを合成する画像合成処理を行う（ステップＳ４０）。
ここで、被写体画像Ｇの合成位置が再指定されたと判定されると（ステップＳ７１；ＹＥＳ）、画像処理部８は、処理をステップＳ６６に移行して、それ以降の処理を実行する。
ステップＳ６６以降の処理は、ステップＳ７１にて、被写体画像Ｇの合成位置が再指定されていないと判定されるまで（ステップＳ７１；ＮＯ）、繰り返し行われる。
そして、ステップＳ７１にて、被写体画像Ｇの合成位置が再指定されていないと判定されると（ステップＳ７１；ＮＯ）、画像処理部８の画像合成部８ｆは、処理対象の背景画像Ｂと被写体切り抜き画像とを合成する画像合成処理を行う（ステップＳ４０）。
画像合成処理は、連写背景画像の中から指定された背景画像Ｂ（例えば、最初の背景画像Ｂ等）を処理対象として実行する以外は、上記実施形態と略同様であり、詳細な説明は省略する。
これにより、処理対象の背景画像Ｂ（例えば、最初の背景画像Ｂ）に被写体切り抜き画像の被写体画像Ｇが重畳された被写体合成画像Ｐが生成される。なお、生成された被写体合成画像Ｐの画像データは、画像メモリ５に一時記憶される。
これにより、処理対象の背景画像Ｂ（例えば、最初の背景画像Ｂ）に被写体切り抜き画像の被写体画像Ｇが重畳された被写体合成画像Ｐが生成される。なお、生成された被写体合成画像Ｐの画像データは、画像メモリ５に一時記憶される。
次に、画像処理部８は、連写背景画像を構成する複数の背景画像Ｂ、…の全てについて処理したか否かを判定する（ステップＳ７２）。
ここで、背景画像Ｂの全てについて処理していないと判定されると（ステップＳ７２；ＮＯ）、画像処理部８は、処理対象として次の背景画像Ｂ（例えば、二枚目の背景画像Ｂ）を指定して当該背景画像Ｂに処理対象を移動させる（ステップＳ７３）。続けて、画像処理部８の顔検出部８ｂは、処理対象の背景画像Ｂの画像データに対する顔検出処理を行って当該背景画像Ｂ内から顔画像領域Ａを検出した後（ステップＳ７４）、処理をステップＳ６６に移行させる。
ここで、背景画像Ｂの全てについて処理していないと判定されると（ステップＳ７２；ＮＯ）、画像処理部８は、処理対象として次の背景画像Ｂ（例えば、二枚目の背景画像Ｂ）を指定して当該背景画像Ｂに処理対象を移動させる（ステップＳ７３）。続けて、画像処理部８の顔検出部８ｂは、処理対象の背景画像Ｂの画像データに対する顔検出処理を行って当該背景画像Ｂ内から顔画像領域Ａを検出した後（ステップＳ７４）、処理をステップＳ６６に移行させる。
画像処理部８は、上記の処理をステップＳ７２にて複数の背景画像Ｂ、…の全てについて処理したと判定されるまで（ステップＳ７２；ＹＥＳ）、繰り返す。
ここで、処理対象が二枚目以降の背景画像Ｂに指定された場合、ステップＳ７０にて、処理対象の背景画像Ｂが最初の背景画像Ｂでないと判定されることから（ステップＳ７０；ＮＯ）、画像処理部８は、ステップＳ７１の処理をとばして、画像合成部８ｆが、処理対象の背景画像Ｂと被写体切り抜き画像とを合成する画像合成処理を行う（ステップＳ４０）。
ここで、処理対象が二枚目以降の背景画像Ｂに指定された場合、ステップＳ７０にて、処理対象の背景画像Ｂが最初の背景画像Ｂでないと判定されることから（ステップＳ７０；ＮＯ）、画像処理部８は、ステップＳ７１の処理をとばして、画像合成部８ｆが、処理対象の背景画像Ｂと被写体切り抜き画像とを合成する画像合成処理を行う（ステップＳ４０）。
そして、ステップＳ７２にて、複数の背景画像Ｂ、…の全てについて処理したと判定されると（ステップＳ７２；ＹＥＳ）、表示制御部１０は、画像合成部８ｆにより生成された複数の被写体合成画像Ｐ、…の画像データに基づいて、被写体合成動画像を表示部１１の表示画面に表示させる（ステップＳ７５）。
具体的には、表示制御部１０は、画像メモリ５から複数の被写体合成画像Ｐ、…の画像データを取得して、複数の被写体合成画像Ｐ、…を所定の表示フレームレートで切り換えて表示部１１の表示画面に再生表示させることで、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっている場合には、所定の画像処理が施された背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐを表示部１１に表示させ、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていない場合には、所定の画像処理が施されていない背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐを表示部１１に表示させる。
これにより、合成画像生成処理を終了する。
具体的には、表示制御部１０は、画像メモリ５から複数の被写体合成画像Ｐ、…の画像データを取得して、複数の被写体合成画像Ｐ、…を所定の表示フレームレートで切り換えて表示部１１の表示画面に再生表示させることで、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっている場合には、所定の画像処理が施された背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐを表示部１１に表示させ、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっていない場合には、所定の画像処理が施されていない背景画像Ｂに被写体画像Ｇが重畳された被写体合成画像Ｐを表示部１１に表示させる。
これにより、合成画像生成処理を終了する。
従って、変形例２の撮像装置１００によれば、連写背景画像を構成する複数の背景画像Ｂ、…のうち、被写体画像Ｇの合成領域として顔画像領域Ａが特定された背景画像Ｂの各々に所定の画像処理を施すので、背景画像Ｂの顔画像領域Ａと被写体画像Ｇの合成領域とが重なっているか否かに応じて、被写体画像Ｇが所定の画像処理が施された背景画像Ｂに重畳された被写体合成画像Ｐと所定の画像処理が施されていない背景画像Ｂに重畳された被写体合成画像Ｐとを切り替えて表示することができ、斬新な態様の被写体合成動画像を生成することができ、被写体合成動画像に違和感を生じさせて当該被写体合成動画像の興趣性の向上を図ることができる。
なお、上記変形例２にあっては、背景画像Ｂとして、複数の背景画像Ｂ、…を含む連写背景画像を例示したが、処理対象画像はこれに限られるものではなく、複数の画像フレーム（構成画像）を含む動画像であっても良い。
また、上記実施形態にあっては、合成画像生成処理にて、背景画像Ｂにおける被写体画像Ｇの合成領域として当該背景画像Ｂにおける顔画像領域（所定領域）Ａが特定された場合に、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしたが、画像処理の実行タイミングはこれに限られるものではない。
例えば、背景画像Ｂにおける被写体画像Ｇの合成領域が特定された場合に、当該被写体画像Ｇの合成領域に基づいて、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしても良い。即ち、例えば、略中央部近傍に比較的重要な被写体が配置された構図で静止画撮像される場合があるが、被写体画像Ｇの合成領域が背景画像Ｂの略中央部近傍である場合には、被写体画像Ｇと背景画像Ｂにおける比較的重要な被写体が重なった状態となる虞がある。そこで、かかる場合を考慮して、背景画像Ｂにおける被写体画像Ｇを合成すべき合成領域に基づいて、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
さらに、例えば、背景画像Ｂにおける被写体画像Ｇの合成領域が特定された後、画像合成処理にて実際に背景画像Ｂと被写体画像Ｇとを合成する際に、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
例えば、背景画像Ｂにおける被写体画像Ｇの合成領域が特定された場合に、当該被写体画像Ｇの合成領域に基づいて、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしても良い。即ち、例えば、略中央部近傍に比較的重要な被写体が配置された構図で静止画撮像される場合があるが、被写体画像Ｇの合成領域が背景画像Ｂの略中央部近傍である場合には、被写体画像Ｇと背景画像Ｂにおける比較的重要な被写体が重なった状態となる虞がある。そこで、かかる場合を考慮して、背景画像Ｂにおける被写体画像Ｇを合成すべき合成領域に基づいて、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
さらに、例えば、背景画像Ｂにおける被写体画像Ｇの合成領域が特定された後、画像合成処理にて実際に背景画像Ｂと被写体画像Ｇとを合成する際に、背景画像Ｂや被写体画像Ｇに対して所定の画像処理を施すようにしても良い。
また、上記実施形態にあっては、背景画像Ｂにおける所定領域として顔画像領域Ａを例示したが、所定領域の種類はこれに限られるものではない。例えば、背景画像Ｂに対して画像認識処理を行って、例えば、色、明るさ、コントラスト、高周波成分情報などの画像の各種情報を利用して主要被写体の画素集合の輪郭を抽出して、当該主要被写体の画像部分を所定領域としても良い。
さらに、この所定領域は被写体画像Ｇごとに設定できるようにしても良い。図２に示した処理内容テーブルＴを例にとると、被写体画像Ｇとしての「感嘆符」は、画像処理の処理内容として「顔画像領域をびっくりした表情にする」と対応付けられているが、これに加えて所定領域として「顔画像領域」が対応付けられているものとする。つまり、「感嘆符」の合成領域が背景画像Ｂにおける顔画像領域と重なる場合に、当該顔画像領域を「びっくりした表示にする」処理を施すようにする。また、被写体画像Ｇとしての「ライト」は、画像処理の処理内容として「合成領域を中心に明るくする」に加えて所定領域として「暗い領域」が対応付けられており、「ライト」の合成領域が背景画像Ｂにおける暗い領域（例えば輝度が所定値以下である領域）と重なる場合に、「合成領域を中心に明るくする」処理を施すようにしても良い。
また、処理内容テーブルＴには被写体画像Ｇごとに、加工処理部８ｅによる背景画像Ｂや被写体画像Ｇに対する所定の画像処理の処理範囲を対応付けて記憶できるようにしても良い。
また、被写体画像Ｇの種類に関係なく、背景画像における所定領域と処理内容とを対応付けて記録できるようにしてもよい。例えば、所定領域として「顔画像領域」が記憶されていて、処理内容として「顔画像領域をびっくりした表示にする」と対応付けられている場合は、いかなる被写体画像Ｇであっても、合成領域が顔画像領域と重なった場合は当該顔画像領域をびっくりした表示にするように画像処理を施すようにしても良い。
さらに、この所定領域は被写体画像Ｇごとに設定できるようにしても良い。図２に示した処理内容テーブルＴを例にとると、被写体画像Ｇとしての「感嘆符」は、画像処理の処理内容として「顔画像領域をびっくりした表情にする」と対応付けられているが、これに加えて所定領域として「顔画像領域」が対応付けられているものとする。つまり、「感嘆符」の合成領域が背景画像Ｂにおける顔画像領域と重なる場合に、当該顔画像領域を「びっくりした表示にする」処理を施すようにする。また、被写体画像Ｇとしての「ライト」は、画像処理の処理内容として「合成領域を中心に明るくする」に加えて所定領域として「暗い領域」が対応付けられており、「ライト」の合成領域が背景画像Ｂにおける暗い領域（例えば輝度が所定値以下である領域）と重なる場合に、「合成領域を中心に明るくする」処理を施すようにしても良い。
また、処理内容テーブルＴには被写体画像Ｇごとに、加工処理部８ｅによる背景画像Ｂや被写体画像Ｇに対する所定の画像処理の処理範囲を対応付けて記憶できるようにしても良い。
また、被写体画像Ｇの種類に関係なく、背景画像における所定領域と処理内容とを対応付けて記録できるようにしてもよい。例えば、所定領域として「顔画像領域」が記憶されていて、処理内容として「顔画像領域をびっくりした表示にする」と対応付けられている場合は、いかなる被写体画像Ｇであっても、合成領域が顔画像領域と重なった場合は当該顔画像領域をびっくりした表示にするように画像処理を施すようにしても良い。
さらに、上記実施形態にあっては、被写体切り抜き画像の被写体画像Ｇを前景画像として背景画像Ｂと合成するようにしたが、前景画像の種類はこれに限られるものではなく、背景画像Ｂに重畳して合成される画像であれば如何なる画像であっても良い。
また、上記実施形態にあっては、加工処理部８ｅは、背景画像Ｂや被写体画像Ｇに対する所定の画像処理を背景画像Ｂにおける被写体画像Ｇの合成領域を基準として行うようにしたが、所定の画像処理の基準はこれに限られるものではない。
即ち、加工処理部８ｅは、処理内容テーブルＴ（図２参照）に被写体画像Ｇと対応付けて登録されている所定の画像処理を、背景画像Ｂ及び被写体画像Ｇのうち、少なくとも何れか一方に画像処理を施すようにしても良い。
このような構成としても、従来のように被写体画像Ｇと背景画像Ｂとを単に合成するのではなく、被写体画像Ｇや背景画像Ｂに所定の画像処理を施された斬新な態様の被写体合成画像Ｐを生成することができ、当該被写体合成画像Ｐの興趣性の向上を図ることができる。
即ち、加工処理部８ｅは、処理内容テーブルＴ（図２参照）に被写体画像Ｇと対応付けて登録されている所定の画像処理を、背景画像Ｂ及び被写体画像Ｇのうち、少なくとも何れか一方に画像処理を施すようにしても良い。
このような構成としても、従来のように被写体画像Ｇと背景画像Ｂとを単に合成するのではなく、被写体画像Ｇや背景画像Ｂに所定の画像処理を施された斬新な態様の被写体合成画像Ｐを生成することができ、当該被写体合成画像Ｐの興趣性の向上を図ることができる。
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置１００を例示したが、これに限られるものではない。例えば、背景画像Ｂや被写体画像Ｇの生成は、当該撮像装置１００とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データを記録して合成画像生成処理を実行する画像処理装置であっても良い。
加えて、上記実施形態にあっては、ＣＰＵ１３の制御下にて、画像処理部８の合成領域特定部８ｃや加工処理部８ｅが駆動することにより本発明が実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、特定処理ルーチン、画像処理ルーチン及び合成処理ルーチンを含むプログラム、或いは画像処理ルーチン及び合成処理ルーチンを含むプログラムを記憶しておく。そして、特定処理ルーチンによりＣＰＵ１３を、背景画像Ｂにおける被写体画像（前景画像）Ｇを合成すべき領域を特定する特定手段として機能させるようにしても良い。また、画像処理ルーチンによりＣＰＵ１３を、特定手段により特定された前景画像を合成すべき領域に基づいて、当該前景画像及び背景画像Ｂの少なくとも一方に所定の処理を施す画像処理手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３を、画像処理手段によって少なくとも一方に所定の処理が施された前景画像と背景画像とを合成する合成手段として機能っせるようにしても良い。
また、画像処理ルーチンによりＣＰＵ１３を、記憶部に前景画像と対応付けて記憶されている所定の処理を、当該前景画像及び背景画像Ｂの少なくとも一方に施す画像処理手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３を、画像処理手段によって少なくとも一方に所定の処理が施された前景画像と背景画像とを合成する合成手段として機能させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、特定処理ルーチン、画像処理ルーチン及び合成処理ルーチンを含むプログラム、或いは画像処理ルーチン及び合成処理ルーチンを含むプログラムを記憶しておく。そして、特定処理ルーチンによりＣＰＵ１３を、背景画像Ｂにおける被写体画像（前景画像）Ｇを合成すべき領域を特定する特定手段として機能させるようにしても良い。また、画像処理ルーチンによりＣＰＵ１３を、特定手段により特定された前景画像を合成すべき領域に基づいて、当該前景画像及び背景画像Ｂの少なくとも一方に所定の処理を施す画像処理手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３を、画像処理手段によって少なくとも一方に所定の処理が施された前景画像と背景画像とを合成する合成手段として機能っせるようにしても良い。
また、画像処理ルーチンによりＣＰＵ１３を、記憶部に前景画像と対応付けて記憶されている所定の処理を、当該前景画像及び背景画像Ｂの少なくとも一方に施す画像処理手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３を、画像処理手段によって少なくとも一方に所定の処理が施された前景画像と背景画像とを合成する合成手段として機能させるようにしても良い。
１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
８ 画像処理部
８ｂ 顔検出部
８ｃ 合成領域特定部
８ｄ 領域判定部
８ｅ 加工処理部
８ｆ 画像合成部
１３ ＣＰＵ
Ｔ 処理内容テーブル
１ レンズ部
２ 電子撮像部
３ 撮像制御部
８ 画像処理部
８ｂ 顔検出部
８ｃ 合成領域特定部
８ｄ 領域判定部
８ｅ 加工処理部
８ｆ 画像合成部
１３ ＣＰＵ
Ｔ 処理内容テーブル
Claims (9)
- 背景画像に前景画像を合成する合成手段を備えた画像処理装置において、
前記前景画像と所定の処理とを対応付けて記憶する記憶手段と、
前記記憶手段に前記前景画像と対応付けて記憶されている前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施す画像処理手段と、
を備えることを特徴とする画像処理装置。 - 前記背景画像における前記前景画像を合成すべき領域の位置を特定する特定手段と、
前記特定手段により特定された前記前景画像を合成すべき領域の位置に基づいて、前記記憶手段に前記前景画像と対応付けて記憶されている前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施すか否かを判断する判断手段と、
を更に備え、
前記画像処理手段は、前記判断手段による判断結果が肯定の場合、前記所定の処理を、当該前景画像及び前記背景画像の少なくとも一方に施すことを特徴とする請求項１に記載の画像処理装置。 - 前記特定手段により前記前景画像を合成すべき領域の位置として前記背景画像における所定領域の位置が特定されたか否かを判定する判定手段を更に備え、
前記画像処理手段は、前記判定手段により前記背景画像における所定領域の位置が特定されたと判定された場合に、前記前景画像及び前記背景画像の少なくとも一方に所定の処理を施すことを特徴とする請求項２に記載の画像処理装置。 - 前記画像処理手段は、前記判定手段により前記背景画像における所定領域の位置が特定されたと判定された場合に、前記背景画像における前記所定領域の画像部分を前記前景画像に対して優先的に表示させるように、前記前景画像及び前記背景画像の少なくとも一方に前記所定の処理を施すことを特徴とする請求項３に記載の画像処理装置。
- 前記背景画像は、複数のフレーム画像からなる連写画像若しくは動画像であり、
前記判定手段は、前記連写画像若しくは動画像を構成する各フレーム画像に、当該フレーム画像における所定領域の位置が前記特定手段により特定されたか否かを判定し、
前記画像処理手段は、前記複数のフレーム画像のうち、前記判定手段により所定領域の位置が特定されたと判定されたフレーム画像及び前記前景画像の少なくとも一方に所定の処理を施すことを特徴とする請求項３又は４に記載の画像処理装置。 - 前記所定領域は、前記背景画像から検出された顔画像領域であることを特徴とする請求項３〜５の何れか一項に記載の画像処理装置。
- 前記画像処理手段は、前記特定手段により前記前景画像を合成すべき領域として特定された前記背景画像における位置から所定の範囲内の前記背景画像に所定の処理を施すことを特徴とする請求項２〜６の何れか一項に記載の画像処理装置。
- 前景画像に対応付けて記憶手段に記憶されている所定の処理を、当該前景画像及び当該前景画像が合成される背景画像の少なくとも一方に施すステップと、
前記ステップにて少なくとも一方に所定の処理を施された前記前景画像と前記背景画像とを合成するステップと、
を含むことを特徴とする画像処理方法。 - コンピュータを、
前景画像に対応付けて記憶部に記憶されている前記所定の処理を、当該前景画像及び背景画像の少なくとも一方に施す画像処理手段、
前記前景画像及び前記背景画像を合成する合成手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009227623A JP5636660B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009227623A JP5636660B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011077850A JP2011077850A (ja) | 2011-04-14 |
| JP5636660B2 true JP5636660B2 (ja) | 2014-12-10 |
Family
ID=44021344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009227623A Expired - Fee Related JP5636660B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5636660B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5967422B2 (ja) * | 2012-05-23 | 2016-08-10 | カシオ計算機株式会社 | 撮像装置及び撮像処理方法並びにプログラム |
| JP6423612B2 (ja) * | 2014-04-28 | 2018-11-14 | オリンパス株式会社 | 情報機器、画像処理方法およびプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07175587A (ja) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | 情報処理装置 |
| JPH11102434A (ja) * | 1997-07-31 | 1999-04-13 | Sony Corp | 画像処理装置及び方法 |
| JPH11317909A (ja) * | 1998-02-02 | 1999-11-16 | Matsushita Electric Ind Co Ltd | 画像合成方法，画像合成装置，及びデ―タ記録媒体 |
| JP3300280B2 (ja) * | 1998-04-23 | 2002-07-08 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像合成処理装置およびその方法 |
| JP4148165B2 (ja) * | 2004-03-12 | 2008-09-10 | セイコーエプソン株式会社 | 画像を重ね合わせて合成画像を生成する画像合成 |
| JP2005270378A (ja) * | 2004-03-25 | 2005-10-06 | Nobutaka Nishikata | 情報出力装置、通信システム及びコンピュータプログラム |
| JP2006060719A (ja) * | 2004-08-23 | 2006-03-02 | Make Softwear:Kk | 画像編集装置および画像編集方法 |
-
2009
- 2009-09-30 JP JP2009227623A patent/JP5636660B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011077850A (ja) | 2011-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5051156B2 (ja) | 画像処理装置及びプログラム | |
| JP5105550B2 (ja) | 画像合成装置及びプログラム | |
| JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
| JP5359856B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP4798236B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| US20190075245A1 (en) | Imaging device configured to control a region of imaging | |
| JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5267279B2 (ja) | 画像合成装置及びプログラム | |
| JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| JP5402166B2 (ja) | 画像合成装置及びプログラム | |
| JP5636660B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5494537B2 (ja) | 画像処理装置及びプログラム | |
| JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP6024135B2 (ja) | 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム | |
| JP5402148B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP2011041041A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
| JP2011003057A (ja) | 画像合成装置、画像特定方法、画像合成方法及びプログラム | |
| JP2010278701A (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP5565227B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5381207B2 (ja) | 画像合成装置及びプログラム | |
| JP4803319B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP6213619B2 (ja) | カメラおよびプログラム | |
| JP2011135619A (ja) | 画像処理装置及びプログラム | |
| JP2011175663A (ja) | 撮像装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120926 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120926 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141007 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5636660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |