JP5009204B2 - 撮影装置および撮影装置における画像合成方法 - Google Patents

Description

本発明は、被写体を撮影する撮影部を備えた撮影装置およびこの撮影装置における画像合成方法に関するものである。

従来から、ポートレート撮影を行う際の技法の一つとして、キャッチライト撮影が知られている。このキャッチライト撮影は、例えば光源等を用い、撮影時に被写体に光を当てることによって被写体の目にキャッチライトを映し込むものであり、人物の表情を生き生きとしたものにすることができる。しかしながら、キャッチライト撮影を行うためには光源等が必要であり、また撮影者の熟練を要するため、手軽に実施できるものではなかった。この種の問題を解決するための技術として、画像中の目の領域を検出して加工処理を施すものが知られている。例えば特許文献１には、目領域中の瞳の部分に装飾パターンを貼り付けることによって目にキャッチライトを発生させる技術が開示されている。

特開２００６−５３７１８号公報

特許文献１の技術では、目領域中の瞳の部分に対し、ユーザ（操作者）によって指定された装飾パターンを指定された表示色で貼り付けることで目にキャッチライトを発生させている。しかしながら、一様な輝度分布を有する装飾パターンを目領域に合成してしまうと、見た目に合成したことがわかり、合成後の画像に不自然さを生じさせてしまうという問題があった。ここで、装飾パターンの合成によって不自然のないキャッチライトを実現するためには、自然な輝度分布を有する装飾パターンを事前に準備しなければならず、手間であった。

本発明は、上記に鑑みてなされたものであって、顔を含む被写体を撮影した撮影画像中の目領域に対する自然なキャッチライトの合成を簡単な構成で実現することができる撮影装置および撮影装置における画像合成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる撮影装置は、被写体を撮影する撮影部を備えた撮影装置であって、前記撮影部が撮影した撮影画像のうち、顔を含む被写体を撮影した撮影画像を原画像として指定する原画像指定手段と、前記撮影部が撮影した撮影画像のうち、前記原画像に合成する撮影画像を加工画像として指定する加工画像指定手段と、前記原画像に対する前記加工画像の合成を指示する画像合成指示手段と、前記原画像から顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出手段と、前記目検出手段によって検出された目領域の位置をもとに、前記原画像中の合成位置を設定する合成位置設定手段と、前記加工画像を加工する画像加工手段と、前記画像加工手段によって加工された前記加工画像を前記原画像中の合成位置に合成し、合成画像を生成する画像合成手段と、前記合成画像を表示部に表示する制御を行う合成画像表示制御手段と、を備えることを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記目検出手段は、前記目領域の検出結果をもとに目の視線方向を特定し、前記合成位置設定手段は、前記特定された目の視線方向をもとに目領域中の瞳の基準位置を求め、該瞳の基準位置を前記合成位置として設定することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像加工手段は、前記加工画像に対して、歪加工処理、縮小処理、トリミング処理、明るさ調整処理、色調整処理および透明処理の少なくともいずれか一つを施すことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像加工手段は、前記歪加工処理として、前記加工画像中の所定位置を歪中心とした前記加工画像の歪加工を行うことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像加工手段は、前記歪加工処理の際に、前記加工画像の中心に歪中心を設定することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記目検出手段は、前記目領域の検出結果をもとに目の視線方向を特定し、前記画像加工手段は、前記歪加工処理の際に、前記特定された目の視線方向から求まる瞳の基準位置に従って、前記目領域に対する前記瞳の基準位置の相対位置をもとに前記加工画像中の歪中心を設定することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記目検出手段は、前記目領域の検出結果をもとに目の大きさを特定し、前記画像加工手段は、前記縮小処理として、前記特定された目の大きさをもとに前記加工画像の縮小を行うことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記目検出手段は、前記目領域の検出結果をもとに目の形状を特定し、前記画像加工手段は、前記トリミング処理として、前記特定された目の形状をもとに、所定の切り出し位置を中心とした前記加工画像の切り出しを行うことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像加工手段は、前記トリミング処理の際に、前記加工画像の中心に切り出し位置を設定することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記目検出手段は、前記目領域の検出結果をもとに目の視線方向を特定し、前記画像加工手段は、前記トリミング処理の際に、前記特定された目の視線方向から求まる瞳の基準位置に従って、前記目領域に対する前記瞳の基準位置の相対位置をもとに前記加工画像中の切り出し位置を設定することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記歪加工処理の際に用いる歪率、前記縮小処理の際に用いる縮小率、前記トリミング処理の際に用いるトリミング形状および前記透明処理の際に用いる透過率の少なくともいずれか一つを記憶する加工データ記憶手段を備えることを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記画像合成手段によって合成された合成画像を記録する記録手段を備えることを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記撮影部が撮影した撮影画像を前記表示部に順次切り換えて表示する制御を行う撮影画像表示制御手段を備え、前記原画像指定手段は、前記撮影画像表示制御手段によって順次表示制御される撮影画像の中から、顔を含む被写体を撮影した撮影画像を選択することによって前記原画像を指定し、前記加工画像指定手段は、前記撮影画像表示制御手段によって順次表示制御される撮影画像の中から、一の撮影画像を選択することによって前記加工画像を指定し、前記合成画像表示制御手段は、前記合成画像と併せて前記原画像および前記加工画像を表示する制御を行うことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記合成画像表示制御手段は、前記合成画像を、前記原画像および前記加工画像と比して大きく表示する制御を行うことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記撮影画像表示制御手段は、前記原画像指定手段によって前記原画像が指定された場合に、該指定された原画像を前記表示部に表示させた状態で前記撮影画像を順次切り換えて表示する制御を行うことを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記加工画像指定手段は、前記原画像指定手段によって前記原画像が指定された後、前記撮影画像表示制御手段によって前記撮影画像の表示が切り換えられる度に新たに表示制御された撮影画像を前記加工画像として指定し、前記画像合成指示手段は、前記加工画像指定手段によって前記加工画像が指定される度に前記原画像に対する前記加工画像の合成を指示することを特徴とする。

また、本発明にかかる撮影装置は、上記の発明において、前記撮影画像表示制御手段は、前記指定された原画像を前記表示部に表示させた状態で前記撮影画像を順次切り換えて表示する制御を行う際に、前記原画像と比して前記撮影画像を大きく表示する制御を行うことを特徴とする。

また、本発明にかかる撮影装置における画像合成方法は、被写体を撮影する撮影部を備えた撮影装置における画像合成方法であって、前記撮影部が撮影した撮影画像のうち、顔を含む被写体を撮影した撮影画像を原画像として指定する原画像指定ステップと、前記撮影部が撮影した撮影画像のうち、前記原画像に合成する撮影画像を加工画像として指定する加工画像指定ステップと、前記原画像に対する前記加工画像の合成を指示する画像合成指示ステップと、前記原画像から顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出ステップと、前記目検出ステップで検出された目領域の位置をもとに、前記原画像中の合成位置を設定する合成位置設定ステップと、前記加工画像を加工する画像加工ステップと、前記画像加工ステップで加工された前記加工画像を前記原画像中の合成位置に合成し、合成画像を生成する画像合成ステップと、を含むことを特徴とする。

本発明によれば、自然な輝度分布を有する撮影画像を加工画像として加工し、顔を含む被写体を撮影した撮影画像の目領域に対してキャッチライトとして合成することができる。したがって、目領域にキャッチライトとして合成する素材を事前に準備する必要がなく、目領域に対する自然なキャッチライトの合成を簡単な構成で実現することができるという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮影装置をデジタルカメラに適用した場合を例にとって説明する。

（実施の形態）
図１は、デジタルカメラの背面図である。図１に示すように、デジタルカメラ１は、カメラ本体２の上面に配設された撮影タイミングを指示するためのシャッターボタン（レリーズボタン）３、カメラ本体２の背面に配設された電源ボタン４やメニューボタン５、上下左右の各方向ボタン（上ボタン、下ボタン、左ボタンおよび右ボタン）を有する十字ボタン６、操作内容を確定する等のためのＯＫボタン７、各種画面を表示する表示部２４等を備えている。また、図示しないが、カメラ本体２の前面には、ファインダーや撮像レンズ等が配設される。

図２は、このデジタルカメラ１のシステム構成を示すブロック図である。図２に示すように、デジタルカメラ１は、撮像素子１１と、レンズ系ユニット１２と、レンズ駆動回路１３と、撮像回路１４と、ＳＤＲＡＭ１５と、ＡＥ部１６と、ＡＦ部１７と、画像処理部１８と、目検出手段としての器官検出部２０と、ＣＰＵ２１と、内蔵メモリ２２と、表示駆動回路２３と、表示部２４と、通信Ｉ／Ｆ２５と、操作部２６と、着脱メモリ２７と、電源回路２８と、電池２９とを備え、撮像回路１４、レンズ駆動回路１３、記憶部としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１５、ＡＥ部１６、ＡＦ部１７、画像処理部１８、器官検出部２０、ＣＰＵ２１、表示駆動回路２３および着脱メモリ２７がバス３０を介して接続されて構成されている。また、撮像素子１１やレンズ系ユニット１２、レンズ駆動回路１３、撮像回路１４は、被写体を撮影する撮影部を構成する。

撮像素子１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、レンズ系ユニット１２を通して入射する被写体像を光電変換し、アナログ電気信号を出力する。
レンズ系ユニット１２は、ＡＦ（Auto-Focus）用レンズやズーム用レンズ等を含む撮像レンズ、絞り、シャッター等を含み、レンズ駆動回路１３は、ＣＰＵ２１の制御のもと、レンズ系ユニット１２を駆動する。

撮像回路１４は、撮像素子１１から出力されたアナログ電気信号に対してＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を行った後、デジタル電気信号に変換するとともに、このデジタル電気信号に対して画素補間処理や色補正処理等のデジタル信号処理を行い、画像データとして出力する。この画像データは、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１５に一時的に記憶される。

ＳＤＲＡＭ１５は、撮像回路１４から出力される画像データや、画像処理部１８による処理中の画像データ等の一時記憶用に使用される。例えば、撮影タイミングで撮像回路１４から出力された静止画像（以下、「撮影画像」という。）の画像データや、スルー画像（ライブ画像）の画像データ等が一時的に記憶される。デジタルカメラ１のモードの一つである撮影モード等では、撮像素子１１に結像されている被写体像が動画的にリアルタイムに表示部２４に表示されるようになっており、スルー画像とは、この画像のことをいう。

ＡＥ部１６は、撮像回路１４から出力された画像データをもとに、自動露出を行う。ＡＦ部１７は、撮像回路１４から出力された画像データをもとに、自動焦点調節を行う。

画像処理部１８は、撮像回路１４から出力された画像データに対して各種の画像処理を施すとともに、記録用、表示用、キャッチライト合成用等に適した画像データに変換する処理を行う。例えば、撮影画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、ＪＰＥＧ（Joint Photographic Experts Group）方式等に基づく画像データの圧縮処理や伸張処理を行う。また、画像データを加工して歪ませる歪加工処理、画素数を増減させて画像データを拡大または縮小させるリサイズ処理、画像データを切り出すトリミング処理、各画素の輝度成分や色成分を調整する明るさ調整処理や色調整処理、透明処理等、画像データに対する各種の画像処理を行う。この画像処理部１８は、歪加工処理を行う歪加工処理部１８１を含む。図３は、歪加工処理部１８１の構成を示すブロック図である。図３に示すように、歪加工処理部１８１は、歪加工処理を施す加工対象の撮影画像（加工画像）の元座標（ｘ，ｙ）を生成する座標生成部１８３と、周知技術であるの歪加工の手法を適用し、座標生成部１８３が生成した元座標（ｘ，ｙ）を歪加工座標（ｘ´，ｙ´）に変換して出力する歪加工座標変換部１８５とを備え、加工画像中の所定位置を歪中心としてこの加工画像を所定の歪率で歪ませる処理を行う。この歪加工処理部１８１は、制御レジスタ１９１を通じて動作制御され、得られた歪加工座標（ｘ´，ｙ´）が結果格納用レジスタ１９３に格納されようになっている。

器官検出部２０は、撮影画像の画像データをもとに、周知技術であるパターンマッチングを適用してこの画像データ中の顔の領域（顔領域）を検出し、この顔領域の検出結果をもとに左右の目や鼻、唇等の各顔パーツを検出する。本実施の形態では、器官検出部２０は、顔領域の検出結果をもとに左右の目の領域（目領域）を検出し、この目領域の検出結果をもとに目の大きさ、形状および視線（視軸）の方向を特定する。視線方向の特定は、適宜周知の手法を用いて行うことができるが、例えば、目領域中の瞳孔部分および瞳孔周辺の虹彩部分である黒目の位置を検出するとともに、左右二つの目領域が検出されているか否かや、顔領域に対する検出された目領域の位置、顔領域に対する鼻や唇等の他の顔パーツの位置、目領域に対する黒目の位置等を組み合わせることにより特定することができる。検出された人物画像中の顔領域の位置座標、目領域の位置座標や目の大きさ、形状および視線方向を含む顔パーツのデータは、ＳＤＲＡＭ１５に記憶される。

ＣＰＵ２１は、操作部２６からの操作信号等に応じて内蔵メモリ２２からカメラプログラムを読み出して実行し、デジタルカメラ１を構成する各部に対する指示やデータの転送等を行ってデジタルカメラ１の動作を統括的に制御する。内蔵メモリ２２は、例えばフラッシュメモリ等の電気的に書き換えが可能な不揮発性メモリであり、この内蔵メモリ２２には、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等が予め記録されている。

表示駆動回路２３は、ＣＰＵ２１の制御のもと、表示部２４を駆動する。
表示部２４は、撮影画像やスルー画像の他、デジタルカメラ１の各種設定情報等を表示するためのものであり、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置で実現される。この表示部２４には、撮影モード中は例えば１フレーム毎にスルー画像が再描画されて動画的に連続表示され、再生モード中は撮影画像が表示される。

操作部２６は、撮影タイミングの指示、撮影モードや再生モードといったモードの設定操作、撮影条件の設定操作等、ユーザによる各種操作を受け付けて操作信号をＣＰＵ２１に通知するためのものであり、各種機能が割り当てられたボタンスイッチ等で実現される。この操作部２６は、図１のシャッターボタン３、電源ボタン４、メニューボタン５、十字ボタン６、およびＯＫボタン７を含む。

通信Ｉ／Ｆ２５は、例えばＵＳＢ（Universal Serial Bus）等の通信規格によってデジタルカメラ１を例えばパソコン等の外部機器と接続するためのインターフェースである。

着脱メモリ２７は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のデジタルカメラ１に着脱自在なメモリカードである。この着脱メモリ２７には、その種類に応じた図示しない読み書き装置によって撮影画像の画像データが書き込まれ、または読み書き装置によって着脱メモリ２７に記録された画像データが読み出される。

電源回路２８は、装填されている電池２９によって供給される電力を、所定の電力に変換してデジタルカメラ１の各部へと供給する。

ここで、以上のように構成されるデジタルカメラ１の機能の一つであるキャッチライト合成機能の概要について説明する。本実施の形態のデジタルカメラ１は、人物等の顔を含む被写体を撮影した撮影画像を原画像とし、この原画像中の目領域にキャッチライトを合成する処理を行うが、このとき、デジタルカメラ１のユーザが過去に撮影した撮影画像を加工画像（以下、本実施の形態では、「テンプレート画像」と称す。）として加工する。そして、加工したテンプレート画像をキャッチライトとして原画像中の目領域に合成する。

図４は、キャッチライトの合成原理を説明する説明図である。キャッチライトの合成に際しては、事前に原画像中の目領域を検出し、目の大きさ、形状および視線方向を特定しておく。そして、特定した目の視線方向をもとに目領域中の瞳の基準位置を求め、この瞳の基準位置を合成位置として設定するとともに、特定した目の大きさ、形状および視線方向をもとにテンプレート画像を加工し、加工したテンプレート画像を原画像中の目領域の合成位置に合成する。ここで、左右の二つの目領域が検出されている場合には、それぞれに合成位置を設定し、対応する目の大きさ、形状および視線方向をもとにテンプレート画像を別個に加工して対応する合成位置に合成する。

すなわち先ず、図４に示すように、テンプレート画像Ｉ１に縮小処理を施し、特定した目の大きさに応じた縮小率α（α＜１）でテンプレート画像Ｉ１を縮小する（Ａ）。続いて、縮小処理したテンプレート画像Ｉ３に歪加工処理を施し、縮小処理したテンプレート画像Ｉ３の例えば中心を歪中心とした歪加工を行って歪加工画像Ｉ５を生成する（Ｂ）。このとき、歪加工処理部１８１によって、縮小したテンプレート画像Ｉ３中の例えば元座標Ｐ１（ｘ，ｙ）が歪加工座標Ｐ３（ｘ´，ｙ´）に変換される。図５−１は、縮小処理したテンプレート画像Ｉ１１の一例を示す図であり、図５−２は、図５−１の縮小処理したテンプレート画像に対して歪加工処理を施した歪加工画像Ｉ１３の一例を示す図である。縮小処理したテンプレート画像Ｉ１１に対して歪加工処理を施すのは、加工後のテンプレート画像を最終的に球面状の眼球が映る目領域に合成するためであり、例えば予め設定された所定の歪率で縮小処理したテンプレート画像Ｉ１１を歪ませて、図５−２に示すような歪加工画像Ｉ１３を生成する。これにより、合成後の画像に不自然さが生じないようにすることができる。

続いて、図４に示すように、歪加工画像Ｉ５にトリミング処理を施し、特定した目の形状に従って目領域からはみ出さないように歪加工画像Ｉ５の外形を切り出す。具体的には先ず、特定した目の視線方向から求まる瞳の基準位置（本実施の形態では合成位置）に従って、歪加工画像中の切り出し位置を設定する。例えば特定した目の視線方向が正面向きであれば、図４中のトリミング処理（Ｃ−１）の上段に示すように、目領域Ｅ１中の黒目の中心が瞳の基準位置Ｐ５として求められるが、この瞳の基準位置Ｐ５の目領域Ｅ１に対する相対位置から、歪加工画像Ｉ５中の切り出し位置Ｐ６を設定する。これによって、目領域Ｅ１に対する瞳の基準位置Ｐ５の相対位置と略一致するように、歪加工画像Ｉ５の中心付近に切り出し位置Ｐ６が設定される。これに対し、例えば視線方向が右方向に横を向いている場合には、図４中のトリミング処理（Ｃ−２）の上段に示すように、瞳の基準位置Ｐ７が黒目の中心よりも右側にずれた位置として求められ、目領域Ｅ３に対する瞳の基準位置Ｐ７の相対位置から、歪加工画像Ｉ５中の切り出し位置Ｐ８を設定する。これによって、歪加工画像Ｉ５中において、その中心から右側にずれた位置に切り出し位置Ｐ８が設定される。

そして、図４中のトリミング処理（Ｃ−１）の下段に示すように、求めた切り出し位置Ｐ６を中心とし、予め設定された所定のトリミング形状で歪加工画像Ｉ７を切り出す。あるいは、図４中のトリミング処理（Ｃ−２）の下段に示すように、求めた切り出し位置Ｐ８を中心とし、予め設定された所定のトリミング形状で歪加工画像Ｉ９を切り出す。図示の例では、トリミング形状を円形状としている。具体的には、特定した目の形状をもとに、目領域からはみ出さないようにトリミング形状のサイズを決定し、決定したサイズで歪加工画像Ｉ５の切り出しを行う。

そして最後に、トリミング処理した歪加工画像Ｉ７，Ｉ９を、瞳の基準位置Ｐ５，Ｐ７である原画像中の目領域の合成位置に合成する。このとき、原画像中の上書き対象位置が黒目の位置の場合にはトリミング処理した歪加工画像の色成分および輝度成分で上書きする。一方、黒目の位置でない場合（白目の位置の場合）には、原画像中の上書き対象位置よりもトリミング処理した歪加工画像が明るい場合に、輝度成分のみを上書きすることとする。例えば、図４中の合成処理（Ｄ−１）では、黒目の範囲Ｅ５についてはトリミング処理した歪加工画像Ｉ７の色成分および輝度成分を上書きする。そして、白目の範囲Ｅ６については、原画像中の上書き対象位置よりもトリミング処理した歪加工画像Ｉ７が明るければ、歪加工画像Ｉ７の輝度成分のみを上書きする。一方、図４中の合成処理（Ｄ−２）では、トリミング処理した歪加工画像Ｉ９の上書き対象位置が全て黒目の範囲Ｅ７内であるため、トリミング処理した歪加工画像Ｉ９の色成分および輝度成分を上書きする。これによって、トリミング処理した歪加工画像を白目の位置に合成する場合であっても、合成画像に不自然さが生じないようにすることができる。

次に、デジタルカメラ１の動作について説明する。図６は、デジタルカメラ１の基本動作を示すフローチャートである。図６に示すように、デジタルカメラ１は、電源ボタン４が押下されて電源投入（パワーＯＮ）されると（ステップａ１：Ｙｅｓ）、パワーＯＮ状態に遷移する（ステップａ３）。

そして、メニュー操作ありの場合（メニューボタン５が押下された場合）には（ステップａ５：Ｙｅｓ）、メニュー動作に移る（ステップａ７）。このメニュー動作では、ＣＰＵ２１がメニュー処理を開始し、メニュー画面を表示部２４に表示させてモードの設定メニューや各種撮影条件の設定メニュー等のメニュー項目を提示する。そして、ＣＰＵ２１は、ユーザ操作によって選択されたメニュー項目に応じた処理を行い、操作部２６からの操作信号に従ってモードの設定や撮影条件の設定・変更等を行うための処理を実行する。ここでのメニュー処理によって、例えば撮影モードや再生モード等のモードを設定することができる。

メニュー操作がなければ（ステップａ５：Ｎｏ）、現在設定されているモードに応じた動作に移る。すなわち、現在のモードが撮影モードの場合には（ステップａ９：Ｙｅｓ）、撮影モード動作に移る（ステップａ１１）。ここで、撮影モード動作に移ると、表示部２４に対してスルー画像の表示が継続的に行われるスルー画像表示状態となる。すなわち、撮像素子１１に結像されている被写体像の画像データをＳＤＲＡＭ１５に一時的に記憶するとともに、この画像データを表示部２４に表示する一連の処理を繰り返し行い、スルー画像を動画的に連続表示する。そして、例えばシャッターボタン３が押下されたタイミングで撮影処理を行い、このときの撮影範囲の画像を撮影画像として生成する。一方、現在のモードが撮影モードではなく（ステップａ９：Ｎｏ）、再生モードの場合には（ステップａ１３：Ｙｅｓ）、再生モード動作に移る（ステップａ１５）。このときＣＰＵ２１は、例えば、着脱メモリ２７に記録されている撮影画像の画像データを読み出して表示部２４に再生表示するための制御を行う。また、現在のモードが再生モードではなく（ステップａ１３：Ｎｏ）、その他のモードの場合には（ステップａ１７：Ｙｅｓ）、そのモードに応じた動作に移る（ステップａ１９）。

そして、電源ボタン４が押下されて電源が遮断（パワーＯＦＦ）されると（ステップａ２１：Ｙｅｓ）、デジタルカメラ１はパワーＯＦＦ状態へと遷移し（ステップａ２３）、基本動作を終える。パワーＯＦＦされなければ（ステップａ２１：Ｎｏ）、ステップａ５に戻る。

次に、再生モードの場合のデジタルカメラ１の再生モード動作について説明する。図７は、デジタルカメラ１の再生モード動作を示すフローチャートである。再生モード動作に移ると、ＣＰＵ２１は、再生モード処理を開始する。ＣＰＵ２１は先ず、再生メニュー処理を行い、再生モードのメニュー項目を表示部２４に表示させてその選択操作を受け付ける（ステップｂ１）。そして、キャッチライト合成メニュー以外のメニュー項目が選択された場合には（ステップｂ３：Ｎｏ）、選択されたメニュー項目に応じた再生動作に移り（ステップｂ５）、その後、図６のステップａ１５にリターンし、ステップａ２１に移行する。

一方、キャッチライト合成メニューが選択された場合には（ステップｂ３：Ｙｅｓ）、ＣＰＵ２１は、撮影画像表示制御手段として、着脱メモリ２７に記録されている撮影画像を順次表示部２４に表示させて再生する制御を行い、キャッチライトを合成する原画像の選択操作を受け付ける。具体的には、ＣＰＵ２１は、十字ボタン６が押下された場合に（ステップｂ７：Ｙｅｓ）、原画像切換処理を行って再生する撮影画像を切り換えて表示部２４に表示制御する（ステップｂ９）。そして、ＣＰＵ２１は、ＯＫボタン７が押下された場合には（ステップｂ１１：Ｙｅｓ）、原画像指定手段として、表示中の撮影画像を原画像として指定する（ステップｂ１３）。ＯＫボタン７が押下されなれければ（ステップｂ１１：Ｎｏ）、ステップｂ７に戻る。ユーザは、撮影画像の中から、人物等の顔を含む被写体を撮影した撮影画像を原画像として指定する。

続いて、ＣＰＵ２１は、撮影画像表示制御手段として、再度着脱メモリ２７に記録されている撮影画像を順次表示部２４に表示させて再生する制御を行い、ステップｂ１３で指定した原画像に合成するテンプレート画像の選択操作を受け付ける。具体的には、ＣＰＵ２１は、十字ボタン６が押下された場合に（ステップｂ１４：Ｙｅｓ）、テンプレート画像切換処理を行って再生する撮影画像を切り換えて表示部２４に表示制御する（ステップｂ１５）。そして、ＣＰＵ２１は、ＯＫボタン７が押下された場合には（ステップｂ１７：Ｙｅｓ）、加工画像指定手段として、表示中の撮影画像をテンプレート画像として指定する（ステップｂ１９）。ＯＫボタン７が押下されなれければ（ステップｂ１７：Ｎｏ）、ステップｂ１４に戻る。ユーザは、撮影画像の中から、原画像に映る被写体の目領域にキャッチライトとして合成する撮影画像をテンプレート画像として指定する。

そして、このようにしてユーザの選択操作に従って原画像およびテンプレート画像を指定したならば、ＣＰＵ２１は、画像合成指示手段として合成処理の開始を制御し、原画像の目領域にテンプレート画像をキャッチライトとして合成した合成画像を生成する（ステップｂ２１）。そして、ＣＰＵ２１は、合成画像表示制御手段として、生成した合成画像を表示部２４に表示する制御を行うとともに（ステップｂ２３）、この合成画像を記録手段としての着脱メモリ２７に記録する制御を行う（ステップｂ２５）。その後、図６のステップａ１５にリターンし、ステップａ２１に移行する。

図８は、合成処理の詳細な処理手順を示すフローチャートである。図８に示すように、合成処理では先ず、器官検出部２０が器官検出処理を行い、原画像から顔領域を検出し、この顔領域の検出結果をもとに、左右の目領域等の顔パーツを検出する（ステップｃ１）。このとき、器官検出部２０は、検出した目領域中の黒目の位置を検出する。そして、器官検出部２０は、目領域の検出結果をもとに、左目の大きさ、形状および視線方向を特定するとともに（ステップｃ３）、右目の大きさ、形状および視線方向を特定する（ステップｃ５）。ここで、原画像が横顔を写した撮影画像の場合等、ステップｃ１で検出した目領域が一つの場合には、この一つの目領域について、目の大きさ、形状および視線方向を特定する。

続いて、画像処理部１８が、合成位置設定手段として、例えばステップｃ３およびステップｃ５で特定した目の視線方向をもとに目領域中の瞳の基準位置を求め、この瞳の基準位置を合成位置とする（ステップｃ７）。このとき、左右の目領域を検出している場合には、その瞳の基準位置をそれぞれ合成位置として設定する。そして、画像処理部１８が、検出した目領域について（左右の目領域を検出している場合には各目領域それぞれについて個別に）ステップｃ９〜ステップｃ１３の処理を順次実行することにより、画像加工手段としてテンプレート画像を加工し、画像合成手段として原画像中の対応する目領域に設定された合成位置に加工したテンプレート画像をキャッチライトとして合成する。

すなわち先ず、画像処理部１８は、テンプレート画像の縮小処理を行う（ステップｃ９）。このとき、ステップｃ３およびステップｃ５で特定した目の大きさをもとに縮小率αを決定し、この縮小率αでテンプレート画像を縮小する。次いで、画像処理部１８において、歪加工処理部１８１が、縮小処理したテンプレート画像の例えば中心を歪中心として歪加工処理を行い、この縮小処理したテンプレート画像を歪加工して歪加工画像を生成する（ステップｃ１１）。次いで、画像処理部１８は、歪加工画像のトリミング処理を行う（ステップｃ１３）。具体的には先ず、ステップｃ３およびステップｃ５で特定した目の視線方向から求まる瞳の基準位置に従って、対応する目領域に対する瞳の基準位置の相対位置をもとに歪加工画像中の切り出し位置を設定する。なお、本実施の形態では、ステップｃ７で設定した合成位置が瞳の基準位置に相当する。そして、ステップｃ３およびステップｃ５で特定した目の形状をもとに、設定した切り出し位置を中心とした歪加工画像の切り出しを行い、歪加工画像の外形が対応する目領域からはみ出さないように切り出す。

続いて、画像処理部１８は、トリミング処理した歪加工画像のピクセルを順番に処理ピクセルに設定する（ステップｃ１４）。そして、画像処理部１８は、原画像中の目領域の合成位置をもとに、設定した処理ピクセルに対応する原画像中の上書き対象位置のピクセルが黒目の位置か否かを判定する。黒目の位置であれば（ステップｃ１５：Ｙｅｓ）、画像処理部１８は、原画像中の上書き対象位置のピクセルの色成分および輝度成分を、処理ピクセルの色成分および輝度成分で上書きすることにより合成を行い（ステップｃ１７）、ステップｃ２３に移行する。黒目の位置でない場合、すなわち白目の位置の場合には（ステップｃ１５：Ｎｏ）、画像処理部１８は、続いて原画像中の上書き対象位置のピクセルの輝度成分と処理ピクセルの輝度成分とを比較し、上書き対象位置のピクセルの輝度が処理ピクセルの輝度以上の場合には（ステップｃ１９：Ｎｏ）、ステップｃ２３に移行する。一方、上書き対象位置のピクセルの輝度が処理ピクセルの輝度未満の場合には（ステップｃ１９：Ｙｅｓ）、原画像中の上書き対象位置のピクセルの輝度成分を処理ピクセルの輝度成分で上書きすることにより合成を行い（ステップｃ２１）、ステップｃ２３に移行する。

そして、ステップｃ２３では、トリミング処理した歪加工画像の全てのピクセルを処理ピクセルとしてステップｃ１５〜ステップｃ２１の処理を行ったか否かを判定する。全てのピクセルを処理していない場合には（ステップｃ２３：Ｎｏ）、次のピクセルを処理ピクセルに設定し（ステップｃ２５）、ステップｃ１５に戻る。全てのピクセルを処理した場合には（ステップｃ２３：Ｙｅｓ）、図７のステップｂ２１にリターンし、その後ステップｂ２３に移行する。

次に、原画像の目領域にテンプレート画像をキャッチライト合成する際のデジタルカメラ１の操作例について説明する。図９〜図１３は、キャッチライト合成メニューを選択した際に表示部２４に表示される表示画面の遷移例を示す図であり、原画像の目領域にテンプレート画像をキャッチライト合成する際のデジタルカメラ１の第１の操作例を示している。モードを再生モードに切り替え、再生メニューからキャッチライト合成メニューを選択すると、先ず、図９に示すように、画面中央の撮影画像表示エリアＥ２１において、過去に撮影されて着脱メモリ２７に記録されている撮影画像が表示されて再生される。そして、この撮影画像表示エリアＥ２１の最前面の撮影画像がユーザ操作に従って切り換えられ、撮影画像が順次表示されるようになっている。具体的には、ユーザは、十字ボタン６を押下し、撮影画像表示エリアＥ２１の最前面の撮影画像を切り換える。そして、人物等の顔を含む被写体を撮影した所望の撮影画像が最前面に表示された状態でＯＫボタン７を押下することによって、原画像の選択操作を行う。例えば図９に示す状態でＯＫボタン７を押下すると、図１０に示すように、撮影画像表示エリアＥ２１の最前面の撮影画像Ｉ２１が画面左上の原画像表示エリアＥ２３に移動しながら段階的に縮小していく演出表示がなされ、最終的に撮影画像Ｉ２１が原画像表示エリアＥ２３に縮小表示されてこの撮影画像Ｉ２１が原画像として指定される。

原画像を指定すると、図１１に示すように、画面左上の原画像表示エリアＥ２３に原画像の撮影画像Ｉ２１が縮小表示された状態で、画面中央の撮影画像表示エリアＥ２１において再度撮影画像が再生表示される。そして、この撮影画像表示エリアＥ２１の最前面の撮影画像がユーザ操作に従って切り換えられ、撮影画像が順次表示されるようになっている。ユーザは、原画像を指定したときと同じ要領で、十字ボタン６を押下することによって撮影画像表示エリアＥ２１の最前面の撮影画像を切り換え、所望の撮影画像が最前面に表示された状態でＯＫボタン７を押下することによってテンプレート画像の選択操作を行う。例えば、図１１に示す状態でＯＫボタン７を押下すると、図１２に示すように、撮影画像表示エリアＥ２１の最前面の撮影画像Ｉ２３が画面左下のテンプレート画像表示エリアＥ２５に移動しながら段階的に縮小していく演出表示がなされ、最終的に撮影画像Ｉ２３がテンプレート画像表示エリアＥ２５に縮小表示されてこの撮影画像Ｉ２３がテンプレート画像として指定される。

テンプレート画像を指定すると、内部処理として図８に示した合成処理が行われ、縮小処理、歪加工処理およびトリミング処理が順次施されて加工されたテンプレート画像である撮影画像Ｉ２３を原画像である撮影画像Ｉ２１の左右の目領域にキャッチライトとしてそれぞれ合成した合成画像Ｉ２５が生成される。そして、図１３に示すように、画面左上の原画像表示エリアＥ２３に原画像の撮影画像Ｉ２１が縮小表示されるとともに、画面左下のテンプレート画像表示エリアＥ２５にテンプレート画像の撮影画像Ｉ２３が縮小表示された状態で、画面中央に生成された合成画像Ｉ２５が表示される。この合成画像Ｉ２５は、その目領域において、図５−２に示して説明したような歪加工処理を含む加工が施された撮影画像Ｉ２３がキャッチライトとして合成された画像である。そして、このときＯＫボタン７を押下すると、合成画像Ｉ２５が着脱メモリ２７に記録される。

この第１の操作例によれば、指定した原画像の目領域に対して加工したテンプレート画像をキャッチライトとして合成した合成画像を、原画像およびテンプレート画像に指定した各撮影画像とともに、同じ画面上で確認することができるという効果がある。また、原画像の選択操作時には、撮影画像が画面中央に表示される。そして、テンプレート画像の選択時には、既に指定した原画像が縮小表示され、画面中央の撮影画像が原画像と比して大きく表示されるので、撮影画像の中から原画像またはテンプレート画像を選択する際に撮影画像を視認し易い。さらに、原画像およびテンプレート画像の指定後においては、指定した原画像およびテンプレート画像が縮小表示され、画面中央の合成画像が原画像およびテンプレート画像と比して大きく表示されるので、合成イメージを確認し易い。

また、図１４および図１５は、キャッチライト合成メニューを選択した際に表示部２４に表示される表示画面の他の遷移例を示す図であり、原画像の目領域にテンプレート画像をキャッチライト合成する際のデジタルカメラ１の第２の操作例を示している。

第２の操作例では、モードを再生モードに切り替え、再生メニューからキャッチライト合成メニューを選択すると、先ず、図１４に示すように、画面左上の原画像指定エリアＥ３１において、過去に撮影されて着脱メモリ２７に記録されている撮影画像が表示されて再生される。そして、この原画像指定エリアＥ３１の最前面の撮影画像がユーザ操作に従って切り換えられ、撮影画像が順次表示されるようになっている。ユーザは、十字ボタン６を押下することによって原画像指定エリアＥ３１の最前面の撮影画像を切り換え、顔を含む被写体を撮影した所望の撮影画像を最前面に表示させた状態でＯＫボタン７を押下することによって原画像の選択操作を行う。

そして、例えば図１４に示す状態でＯＫボタン７を押下すると、この原画像指定エリアＥ３１の最前面の撮影画像Ｉ３１が原画像として指定され、続いて図１５に示すように、画面左上の原画像表示エリアＥ３３に原画像の撮影画像Ｉ３１が縮小表示された状態で、画面左下のテンプレート画像指定エリアＥ３５において撮影画像が再生表示される。そして、このテンプレート画像指定エリアＥ３５の最前面の撮影画像がユーザ操作に従って切り換えられ、撮影画像が順次表示されるようになっている。ここで、ユーザは、十字ボタン６を押下することによってテンプレート画像指定エリアＥ３５の最前面の撮影画像を切り換え、所望の撮影画像をテンプレート画像として指定することができるが、第２の操作例では、テンプレート画像指定エリアＥ３５において最前面の撮影画像が切り換えられる度に、画面中央の合成画像表示エリアＥ３７において合成画像がプレビュー表示されるようになっている。具体的には、内部処理としてテンプレート画像指定エリアＥ３５の最前面の撮影画像Ｉ３３を加工し、原画像である撮影画像Ｉ３１の目領域にキャッチライトとして合成する処理が行われ、画面中央の合成画像表示エリアＥ３７において、生成された合成画像Ｉ３５が表示される。例えば図１５に示す状態でＯＫボタン７を押下すれば、合成画像Ｉ３５が着脱メモリ２７に記録される。一方、ＯＫボタン７を押下せずに十字ボタン６を押下した場合には、テンプレート画像指定エリアＥ３５の最前面の撮影画像が切り換えられる。そして、内部処理として、テンプレート画像指定エリアＥ３５において新たに最前面に表示された撮影画像を加工し、原画像である撮影画像Ｉ３１の目領域にキャッチライトとして合成する処理が行われ、画面中央の合成画像表示エリアＥ３７の表示が更新されて新たに生成された合成画像が表示されることとなる。

この第２の操作例によれば、原画像を指定した状態でテンプレート画像指定エリアＥ３５においてテンプレート画像を切り換えることにより、指定した原画像の目領域に対してテンプレート画像をキャッチライトとして合成した場合の合成画像をリアルタイムに確認することができる。指定するテンプレート画像（詳細には、指定するテンプレート画像の輝度分布）によって合成イメージは当然異なるが、この第２の操作例によれば、合成イメージを確認しながら原画像に合成するテンプレート画像を指定することができる。またこのとき、合成画像とともに、原画像およびテンプレート画像に指定した撮影画像を同じ画面上で確認することができる。

以上説明したように、本実施の形態によれば、撮影画像をテンプレート画像として加工し、顔を含む被写体を撮影した撮影画像の目領域に対してキャッチライトとして合成することができる。ここで、テンプレート画像として用いる撮影画像は、人物や風景等、ユーザが過去に撮影した撮影画像の中から自由に選択することができるが、撮影画像は自然な輝度分布を有する。したがって、撮影画像で得られる自然な輝度分布によって、目領域にキャッチライトとして合成する素材を事前に準備することなく、簡単な構成で自然なキャッチライト合成が実現できるという効果を奏する。また、テンプレート画像に対し、目の大きさ、形状および視線方向をもとに縮小処理や歪加工処理、トリミング処理等を施し加工するので、より自然なキャッチライトが実現できる。

以上、この発明の好適な実施の形態について説明したが、この発明は、上記したものに限定されず、発明の趣旨を逸脱しない範囲で適宜変更が可能である。

例えば、上記した実施の形態では、歪加工処理の際の歪中心を、縮小処理したテンプレート画像の中心とする場合について説明したが、目の視線方向から求まる瞳の基準位置に従って、対応する目領域に対する瞳の基準位置の相対位置をもとに縮小処理したテンプレート画像中の歪中心を設定することとしてもよい。図１６−１および図１６−２は、この場合の歪中心の設定方法を説明する図である。例えば、図１６−１に示すように目の視線方向が正面向きであれば、目領域Ｅ４１中の黒目の中心を瞳の基準位置Ｏ４１とし、目領域Ｅ４１に対する瞳の基準位置Ｏ４１の相対位置と略一致するように、縮小処理したテンプレート画像Ｉ４１の中心付近に歪中心Ｏ４３を設定する。これに対し、例えば視線方向が左方向に横を向いている場合には、図１６−２に示すように、瞳の基準位置Ｏ４５が黒目の中心よりも左側にずれた位置として求められ、目領域Ｅ４３に対する瞳の基準位置Ｏ４５の相対位置から、縮小処理したテンプレート画像Ｉ４３中の歪中心Ｏ４７を設定する。

図１７は、本変形例におけるキャッチライトの合成原理を説明する説明図である。本変形例では、上記した実施の形態と同様にして、先ずテンプレート画像Ｉ５１に縮小処理を施す（Ｅ）。続いて、図１６−１，２に示して説明したように、目領域に対する瞳の基準位置の相対位置から縮小処理したテンプレート画像Ｉ５１中の歪中心を設定し、この歪中心に従って歪加工を行って歪加工画像Ｉ５５を生成する（Ｆ）。図示の例では、歪加工処理部１８１によって、縮小したテンプレート画像Ｉ５３中の例えば元座標Ｐ５１（ｘ，ｙ）が歪加工座標Ｐ５３（ｘ´，ｙ´）に変換される。続いて、図１７に示すように、歪加工画像Ｉ５５にトリミング処理を施し、特定した目の形状に従って目領域からはみ出さないように歪加工画像Ｉ５５の外形を切り出す（Ｇ）。具体的には、歪加工画像Ｉ５５中の例えば歪中心を切り出し位置Ｐ５５とし、この切り出し位置Ｐ５５を中心として歪加工画像Ｉ５５の切り出しを行う。そして最後に、トリミング処理した歪加工画像Ｉ５７を原画像中の目領域中の瞳の基準位置Ｐ５７である合成位置に合成する（Ｈ）。

また、上記した実施の形態では、歪加工処理の際、縮小したテンプレート画像を、その矩形形状に内接するように歪ませる場合について説明したが、これに限定されるものではない。図１８は、歪加工処理の変形例を説明する図である。例えば、縮小したテンプレート画像Ｉ６１中の例えば元座標Ｐ６１（ｘ，ｙ）を歪加工座標Ｐ６３（ｘ´，ｙ´）に変換するように歪加工を行い、縮小したテンプレート画像Ｉ６１をその矩形形状に外接するように歪ませて歪加工画像Ｉ６３を生成するようにしてもよい。

また、瞳（黒目）の大きさや形状をもとに、瞳からはみ出さないように歪加工画像をトリミング処理することとしてもよい。これによれば、目領域の瞳の部分に、加工したテンプレート画像をキャッチライトとして合成することができる。またこの場合に、トリミング処理する際のトリミング形状を、瞳の外形に沿うように決定することとしてもよい。

また、加工したテンプレート画像を、原画像中の目領域にキャッチライトとして合成した後で、このキャッチライトの位置をユーザ操作に従って微調整できるように構成してもよい。例えば、図７のステップｂ２３において合成画像を表示部２４に表示制御した後、ステップｂ２５において合成画像を記録する前に、キャッチライト位置の微調整を受け付けるメッセージを表示部２４に表示する制御を行う。そして、例えば十字ボタン６によってキャッチライト位置の上下左右の４方向での微調整を受け付け、ＯＫボタン７によって操作を確定するようにしてもよい。

また、上記した実施の形態では、所定の歪率で歪加工処理を行う場合について説明したが、例えば目の大きさ、形状、視線方向またはこの視線方向から算出する瞳の基準位置等に応じて歪率を可変することとしてもよい。またこの場合に、この歪率を内蔵メモリ２２やＳＤＲＡＭ１５に予め記憶しておくこととしてもよい。

また、上記した実施の形態では、トリミング形状を円形状としてトリミング処理を行う場合について説明したが、トリミング形状は楕円形状等の他の形状としてもよい。また、予め複数パターンのトリミング形状を内蔵メモリ２２やＳＤＲＡＭ１５に記憶しておき、例えば目の大きさ、形状、視線方向またはこの視線方向から算出する瞳の基準位置等に応じて適切なトリミング形状を選出するように構成することもできる。

また、上記した実施の形態では、テンプレート画像として指定された撮影画像に対して歪加工処理、縮小処理およびトリミング処理を施す場合について説明したが、明るさ調整処理や色調整処理、透明処理等の画像処理を適宜施してテンプレート画像を加工することとしてもよい。また、テンプレート画像に透明処理を施して加工する場合に、この透明処理の際に用いる透過率を予め内蔵メモリ２２やＳＤＲＡＭ１５に記憶しておき、この透過率に従ってテンプレート画像を透明処理することとしてもよい。

また、上記した実施の形態では、テンプレート画像を目の大きさをもとに縮小処理した後、歪加工処理を施して加工することとしたが、先に歪加工処理を施し、その後目の大きさをもとに縮小処理することとしてもよい。

また、上記した実施の形態では、撮影画像の中から先ず原画像を指定し、次いで原画像の目領域にキャッチライトとして合成する加工画像を指定する場合について説明したが、加工画像を指定した後に、原画像を指定するようにしても構わない。

デジタルカメラの背面図である。 デジタルカメラのシステム構成を示すブロック図である。 歪加工処理部の構成を示すブロック図である。 キャッチライトの合成原理を説明する説明図である。 縮小処理したテンプレート画像の一例を示す図である。 図５−１の縮小処理したテンプレート画像に対して歪加工処理を施した歪加工画像の一例を示す図である。 デジタルカメラの基本動作を示すフローチャートである。 デジタルカメラの再生モード動作を示すフローチャートである。 合成処理の詳細な処理手順を示すフローチャートである。 デジタルカメラの第１の操作例を説明する画面遷移例を示す図である。 デジタルカメラの第１の操作例を説明する画面遷移例を示す図である。 デジタルカメラの第１の操作例を説明する画面遷移例を示す図である。 デジタルカメラの第１の操作例を説明する画面遷移例を示す図である。 デジタルカメラの第１の操作例を説明する画面遷移例を示す図である。 デジタルカメラの第２の操作例を説明する画面遷移例を示す図である。 デジタルカメラの第２の操作例を説明する画面遷移例を示す図である。 変形例における歪中心の設定方法を説明する図である。 変形例における歪中心の設定方法を説明する図である。 変形例におけるキャッチライトの合成原理を説明する説明図である。 歪加工処理の変形例を説明する図である。

符号の説明

１ デジタルカメラ
２ カメラ本体
３ シャッターボタン（レリーズボタン）
５ メニューボタン
６ 十字ボタン
７ ＯＫボタン
１１ 撮像素子
１２ レンズ系ユニット
１３ レンズ駆動回路
１４ 撮像回路
１５ ＳＤＲＡＭ
１６ ＡＥ部
１７ ＡＦ部
１８ 画像処理部
１８１ 歪加工処理部
１８３ 座標生成部
１８５ 歪加工座標変換部
２０ 器官検出部
２１ ＣＰＵ
２２ 内蔵メモリ
２３ 表示駆動回路
２４ 表示部
２５ 通信Ｉ／Ｆ
２６ 操作部
２７ 着脱メモリ
２８ 電源回路
２９ 電池
３０ バス

Claims (17)

1. 被写体を撮影する撮影部と前記撮影部が撮影した撮影画像を表示する表示部とを備えた撮影装置であって、
   前記撮影部が撮影した撮影画像のうち、顔を含む被写体を撮影した撮影画像を原画像として指定する原画像指定手段と、
   前記撮影部が撮影した撮影画像のうち、前記原画像に合成する撮影画像を加工画像として指定する加工画像指定手段と、
   前記原画像から顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出手段と、
   前記目検出手段によって検出された目領域の位置をもとに、前記原画像中の合成位置を設定する合成位置設定手段と、
   前記加工画像指定手段によって指定された前記加工画像を前記目領域に合成するために、前記加工画像の所定位置を歪中心として歪加工処理を行う画像加工手段と、
   前記原画像中の合成位置における明るさと前記原画像中の合成位置に対応する前記歪加工処理された歪加工画像の部分の明るさとに応じて、前記原画像中の合成位置に対応する部分の明るさを補正して該歪加工画像を前記原画像中の合成位置に合成して合成画像を生成する画像合成手段と、
   前記合成画像を前記表示部に表示させる制御を行う合成画像表示制御手段と、
   を備えることを特徴とする撮影装置。
2. 前記目検出手段は、前記目領域の検出結果をもとに目の視線方向を特定し、
   前記合成位置設定手段は、前記目の視線方向をもとに前記目領域中の瞳の基準位置を求め、該瞳の基準位置を前記合成位置として設定することを特徴とする請求項１に記載の撮影装置。
3. 前記画像加工手段は、前記歪加工画像に対して、縮小処理、トリミング処理、明るさ調整処理、色調整処理および透明処理の少なくともいずれか一つをさらに施すことを特徴とする請求項１または２に記載の撮影装置。
4. 前記画像加工手段は、前記歪加工処理の際に、前記加工画像の中心に歪中心を設定することを特徴とする請求項３に記載の撮影装置。
5. 前記画像加工手段は、前記歪加工処理の際に、前記特定された目の視線方向から求まる瞳の基準位置に従って、前記目領域に対する前記瞳の基準位置の相対位置をもとに前記加工画像中の歪中心を設定することを特徴とする請求項３に記載の撮影装置。
6. 前記目検出手段は、前記目領域の検出結果をもとに目の大きさを特定し、
   前記画像加工手段は、前記縮小処理として、前記特定された目の大きさをもとに前記歪加工画像の縮小を行うことを特徴とする請求項３〜５のいずれか一つに記載の撮影装置。
7. 前記目検出手段は、前記目領域の検出結果をもとに目の形状を特定し、
   前記画像加工手段は、前記トリミング処理として、前記特定された目の形状をもとに、所定の切り出し位置を中心とした前記歪加工画像の切り出しを行うことを特徴とする請求項３〜６のいずれか一つに記載の撮影装置。
8. 前記画像加工手段は、前記トリミング処理の際に、前記歪加工画像の中心に切り出し位置を設定することを特徴とする請求項７に記載の撮影装置。
9. 前記画像加工手段は、前記トリミング処理の際に、前記特定された目の視線方向から求まる瞳の基準位置に従って、前記目領域に対する前記瞳の基準位置の相対位置をもとに前記歪加工画像中の切り出し位置を設定することを特徴とする請求項８に記載の撮影装置。
10. 前記歪加工処理の際に用いる歪率、前記縮小処理の際に用いる縮小率、前記トリミング処理の際に用いるトリミング形状および前記透明処理の際に用いる透過率の少なくともいずれか一つを記憶する加工データ記憶手段を備えることを特徴とする請求項３に記載の撮影装置。
11. 前記画像合成手段によって合成された合成画像を記録する記録手段を備えることを特徴とする請求項１〜１０のいずれか一つに記載の撮影装置。
12. 前記撮影部が撮影した撮影画像を前記表示部に順次切り換えて表示する制御を行う撮影画像表示制御手段を備え、
    前記原画像指定手段は、前記撮影画像表示制御手段によって順次表示制御される撮影画像の中から、顔を含む被写体を撮影した撮影画像を選択することによって前記原画像を指定し、
    前記加工画像指定手段は、前記撮影画像表示制御手段によって順次表示制御される撮影画像の中から、一の撮影画像を選択することによって前記加工画像を指定し、
    前記合成画像表示制御手段は、前記合成画像と併せて前記原画像および前記加工画像を表示する制御を行うことを特徴とする請求項１〜１１のいずれか一つに記載の撮影装置。
13. 前記合成画像表示制御手段は、前記合成画像を、前記原画像および前記加工画像と比して大きく表示する制御を行うことを特徴とする請求項１２に記載の撮影装置。
14. 前記撮影画像表示制御手段は、前記原画像指定手段によって前記原画像が指定された場合に、該指定された原画像を前記表示部に表示させた状態で前記撮影画像を順次切り換えて表示する制御を行うことを特徴とする請求項１２または１３に記載の撮影装置。
15. 前記加工画像指定手段は、前記原画像指定手段によって前記原画像が指定された後、前記撮影画像表示制御手段によって前記撮影画像の表示が切り換えられる度に新たに表示制御された撮影画像を前記加工画像として指定し、
    前記画像合成指示手段は、前記加工画像指定手段によって前記加工画像が指定される度
    に前記原画像に対する前記加工画像の合成を指示することを特徴とする請求項１４に記載の撮影装置。
16. 前記撮影画像表示制御手段は、前記表示部が前記指定された原画像を表示した状態で前記撮影画像を順次切り換えて前記表示部に表示させる制御を行う際に、前記原画像と比して前記撮影画像を大きく前記表示部に表示させる制御を行うことを特徴とする請求項１４または１５に記載の撮影装置。
17. 被写体を撮影する撮影部を備えた撮影装置における画像合成方法であって、
    前記撮影部が撮影した撮影画像のうち、顔を含む被写体を撮影した撮影画像を原画像として指定する原画像指定ステップと、
    前記撮影部が撮影した撮影画像のうち、前記原画像に合成する撮影画像を加工画像として指定する加工画像指定ステップと、
    前記原画像から顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出ステップと、
    前記目検出ステップで検出された目領域の位置をもとに、前記原画像中の合成位置を設定する合成位置設定ステップと、
    前記加工画像指定ステップで指定された前記加工画像を前記目領域に合成するために、前記加工画像の所定位置を歪中心として歪加工処理を行う画像加工ステップと、
    前記原画像中の合成位置における明るさと前記原画像中の合成位置に対応する前記歪加工処理された歪加工画像の部分の明るさとに応じて、前記原画像中の合成位置に対応する部分の明るさを補正して該歪加工画像を前記原画像中の合成位置に合成して合成画像を生成する画像合成ステップと、
    を含むことを特徴とする撮影装置における画像合成方法。

Images