JP5075754B2 - 撮像装置および撮像装置における画像合成方法 - Google Patents

Description

本発明は、撮像装置およびこの撮像装置における画像合成方法に関するものである。

従来から、人物撮影を行う際の技法の一つとして、被写体の瞳にキャッチライトと呼ばれる光を映し込み、人物の表情を生き生きとさせる撮影技法が知られている。一般に、キャッチライト撮影はレフ板を用いて行われ、大掛かりな機材が必要となる上、撮影者の熟練を要するため、手軽に実施できるものではなかった。この種の問題を解決するための技術として、画像中の目の領域を検出して画像処理を施すことによって被写体の瞳にキャッチライトを発生させるものが知られている。例えば、特許文献１には、自然なキャッチライトを実現するため、被写体の顔の大きさや向き、照明の方向といった被写体の状況を検出してキャッチライトの合成位置を決定する技術が開示されている。

特開２００５−２２２１５２号公報

しかしながら、特許文献１に開示されているように、キャッチライトの合成位置を決定するためには、キャッチライトを合成する画像を解析して被写体の状況を検出しなければならない。このため、複雑な処理を行わなければならず、処理負荷が増大してしまうという問題があった。この問題は、デジタルカメラ等の処理能力に制限がある撮像装置に適用する場合に特に問題であった。

本発明は、上記に鑑みてなされたものであって、撮影した画像中の目領域に対して簡単且つ短時間の処理で自然なキャッチライトを合成することができる撮像装置および撮像装置における画像合成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる撮像装置は、被写体像を光電変換して画像データを生成する撮像手段と、被写体を照明する照明手段と、撮影開始を指示する撮影指示手段と、前記撮影指示手段によって撮影開始が指示された場合に、前記照明手段および前記撮像手段の動作を制御し、前記照明手段が照明動作を行った状態で前記撮像手段が撮像動作を行う照明撮影動作を制御する撮影制御手段と、前記撮影制御手段の制御によって得られた画像データに含まれる目の輝点位置を特定する輝点特定手段と、前記目の輝点位置に所定の合成用画像データを合成処理する画像合成手段と、を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影制御手段の制御によって得られた画像データから顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出手段を備え、前記輝点特定手段は、前記目領域の位置と前記画像データを構成する画素の輝度値とをもとに、前記目の輝点位置を特定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記輝点特定手段は、前記目領域を構成する各画素を走査してその輝度値が周囲の画素と比較して高く変化している画素の位置を前記目の輝点位置として特定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影制御手段は、前記照明手段が照明動作を行わない状態で前記撮像手段が撮像動作を行う非照明撮影動作をさらに制御し、前記輝点特定手段は、前記撮影制御手段の制御によって前記照明撮影動作の結果得られた画像データを構成する画素の輝度値と前記非照明撮影動作の結果得られた画像データを構成する画素の輝度値との差分をもとに前記目の輝点位置を特定し、前記画像合成手段は、前記非照明撮影動作の結果得られた画像データにおける前記目の輝点位置に前記所定の合成用画像データを合成処理することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記照明撮影動作の結果得られた画像データおよび前記非照明撮影動作の結果得られた画像データから顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出手段を備え、前記輝点特定手段は、前記目検出手段による検出結果をもとに前記各画像データの目領域を構成する画素の輝度値の差分を算出し、前記目の輝点位置を特定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮像手段によって生成された画像データを記憶する画像記憶手段をさらに備え、前記合成用画像データとして、前記画像記憶手段に記憶された画像データを用いることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影制御手段は、前記撮影指示手段によって撮影開始が指示された場合に、被写体が顔を含むか否か、当該撮像装置と被写体との距離および被写体の顔の大きさの少なくともいずれか１つをもとに、前記輝点特定手段による目の輝点位置の特定および前記画像合成手段による合成処理を行うか否かを判定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記画像合成手段による合成処理前の画像データと合成処理後の画像データとを所定の切換操作に応じて表示部に切り換えて表示する制御を行う画像表示制御手段を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記画像合成手段による合成処理後の画像データの前記目領域を含む部分画像データを拡大処理する拡大処理手段を備え、前記画像表示制御手段は、前記合成処理後の画像データを表示する制御を行う際に、前記合成処理後の画像データとともに前記拡大処理手段によって拡大処理された前記目領域を含む部分画像データを表示する制御を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記画像合成手段による合成処理前の画像データの前記目領域を含む部分画像データと合成処理後の画像データの前記目領域を含む部分画像データとを並べて表示部に表示する制御を行う画像表示制御手段を備えることを特徴とする。

また、本発明にかかる撮像装置における画像合成方法は、被写体像を光電変換して画像データを生成する撮像手段と照明光を発光する照明手段とを備えた撮像装置における画像合成方法であって、撮影開始を指示する撮影指示ステップと、前記撮影指示ステップで撮影開始が指示された場合に、前記照明手段および前記撮像手段の動作を制御し、前記照明手段が照明動作を行った状態で前記撮像手段が撮像動作を行う照明撮影動作を制御する撮影制御ステップと、前記撮影制御ステップでの制御によって得られた画像データに含まれる目の輝点位置を特定する輝点特定ステップと、前記目の輝点位置に所定の合成用画像データを合成処理する画像合成ステップと、を含むことを特徴とする。

また、本発明にかかる撮像装置における画像合成方法は、上記の発明において、前記撮影制御ステップにおいて、前記照明手段が照明動作を行わない状態で前記撮像手段が撮像動作を行う非照明撮影動作をさらに制御し、前記輝点特定ステップにおいて、前記撮影制御ステップでの制御によって前記照明撮影動作の結果得られた画像データを構成する画素の輝度値と前記非照明撮影動作の結果得られた画像データを構成する画素の輝度値との差分をもとに前記目の輝点位置を特定し、前記画像合成ステップにおいて、前記非照明撮影動作の結果得られた画像データにおける前記目の輝点位置に前記所定の合成用画像データを合成処理することを特徴とする。

本発明によれば、照明光を発光させた状態で被写体を撮影することで被写体の目に強制的に光（輝点）を映し込ませることができ、このようにして撮影した画像データから目の輝点位置を特定し、特定した目の輝点位置に合成用画像データを合成処理することができる。したがって、撮影した画像データ中の目領域に対して簡単且つ短時間の処理で自然なキャッチライトを合成することができるという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮像装置をデジタルカメラに適用した場合を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態）
図１は、デジタルカメラ１の背面図である。図１に示すように、デジタルカメラ１は、カメラ本体２の上面に配設された撮影タイミングを指示するためのレリーズスイッチ（シャッターボタン）３、カメラ本体２の背面に配設された電源スイッチ４やメニュースイッチ５、上下左右の各方向ボタン（上ボタン、下ボタン、左ボタンおよび右ボタン）を有する十字キー６、操作内容を確定する等のためのＯＫスイッチ７、各種画面を表示する表示部２５等を備えている。また、図示しないが、カメラ本体２の前面には、撮像レンズ等が配設されている。ユーザが電源スイッチ４を押下し、電源をＯＮすると、デジタルカメラ１は撮影可能な状態（撮影モード）となる。この撮影モードでは、撮像レンズを通して撮像素子１１（図２参照）に結像されている被写体像が１フレーム（例えば１／３０秒）毎に出力され、ライブビュー画像として表示部２５にリアルタイムに表示されるようになっている。そして、例えばレリーズスイッチ３の押下タイミングで電子的な撮影が行われる。

図２は、このデジタルカメラ１のシステム構成を示すブロック図である。図２に示すように、デジタルカメラ１は、撮像素子１１と、レンズ系ユニット１２と、レンズ駆動回路１３と、撮像回路１４と、フラッシュユニット１６と、充電／発光回路１７と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１８と、ＡＥ部１９と、ＡＦ部２０と、輝点特定手段および画像合成手段、拡大処理手段としての画像処理部２１と、目検出手段としての器官検出部２２と、撮影制御手段としてのＣＰＵ２３と、内蔵メモリ２４と、表示部２５と、表示駆動回路２６と、通信Ｉ／Ｆ２７と、操作部２８と、着脱メモリ２９と、電源回路３０と、電池３１とを備え、撮像回路１４、レンズ駆動回路１３、充電／発光回路１７、ＳＤＲＡＭ１８、ＡＥ部１９、ＡＦ部２０、画像処理部２１、器官検出部２２、ＣＰＵ２３、表示駆動回路２６および着脱メモリ２９がバス３２を介して接続されて構成されている。また、撮像素子１１やレンズ系ユニット１２、レンズ駆動回路１３、撮像回路１４は、被写体像を光電変換して撮影画像の画像データを生成する撮像動作を行う撮像手段としての撮像部１０を構成する。

撮像素子１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、レンズ系ユニット１２を通して入射する被写体像をフレーム単位で光電変換し、アナログ電気信号を出力する。レンズ系ユニット１２は、ＡＦ（Auto-Focus）用レンズやズーム用レンズ等を含む撮像レンズ、絞り、シャッター等を含み、レンズ駆動回路１３は、レンズ系ユニット１２を駆動する。

撮像回路１４は、撮像素子１１から出力されたアナログ電気信号に対してＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を行った後、デジタル電気信号に変換するとともに、このデジタル電気信号に対して画素補間処理や色補正処理等のデジタル信号処理を行い、画像データとして出力する。この画像データは、ＳＤＲＡＭ１８に一時的に記憶される。

フラッシュユニット１６は、例えばキセノンガスが充填された放電管（キセノン管）を光源として備えたものであり、充電／発光回路１７から供給される電荷を放電することによって発光する。充電／発光回路１７は、コンデンサに電荷を蓄えておき、照明動作の際にフラッシュユニット１６の放電管に放電することでフラッシュユニット１６を発光させる。このフラッシュユニット１６および充電／発光回路１７は照明手段としての照明部１５を構成し、照明光を発光して被写体を照明する照明動作を行う。撮影時に照明動作を行うか否かは、ユーザ操作に従ってあるいは自動的に設定される。なお、フラッシュユニット１６は、放電管を備えた構成に限らず、ＬＥＤ等の発光素子を備えた構成で実現することもできる。

ＳＤＲＡＭ１８は、撮像回路１４から出力される画像データや、画像処理部２１による処理中の画像データ等の一時記憶用に使用される。例えば、１フレーム毎に撮像回路１４から出力される画像（ライブビュー画像）の画像データや、撮影タイミングで撮像回路１４から出力される画像（撮影画像）の画像データ等が一時的に記憶される。デジタルカメラ１のモードの一つである撮影モード等では、撮像素子１１に結像されている被写体像が動画的にリアルタイムに表示部２５に表示されるようになっており、ライブビュー画像とは、この画像のことをいう。

ＡＥ部１９は、撮像回路１４から出力された画像データをもとに、自動露出を行う。ＡＦ部２０は、撮像回路１４から出力された画像データをもとに、自動焦点調節を行う。

画像処理部２１は、撮像回路１４から出力された画像データに対して各種の画像処理を施すとともに、記録用、表示用、キャッチライト合成用等に適した画像データに変換する処理を行う。例えば、撮影画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、ＪＰＥＧ（Joint Photographic Experts Group）方式等に基づく画像データの圧縮処理や伸張処理を行う。また、画像データを加工して歪ませる歪加工処理、画素数を増減させて画像データを拡大または縮小させるリサイズ処理、画像データを切り出すトリミング処理、各画素の輝度成分や色成分を調整する明るさ調整処理や色調整処理、透明処理等、画像データに対する各種の画像処理を行う。この画像処理部２１は、歪加工処理を行う歪加工処理部２１１を含む。図３は、歪加工処理部２１１の構成を示すブロック図である。図３に示すように、歪加工処理部２１１は、歪加工処理を施す加工対象の画像（本実施の形態ではキャッチライト画像に指定された過去に撮影された撮影画像）の元座標（ｘ，ｙ）を生成する座標生成部２１３と、周知技術であるの歪加工の手法を適用し、座標生成部２１３が生成した元座標（ｘ，ｙ）を歪加工座標（ｘ´，ｙ´）に変換して出力する歪加工座標変換部２１５とを備え、加工対象の画像中の所定位置を歪中心としてこの画像を所定の歪率で歪ませる処理を行う。この歪加工処理部２１１は、制御用レジスタ２１７を通じて動作制御され、得られた歪加工座標（ｘ´，ｙ´）が結果格納用レジスタ２１９に格納されようになっている。

器官検出部２２は、撮影画像の画像データをもとに、周知技術であるパターンマッチングを適用してこの画像データ中の顔の領域（顔領域）を検出し、この顔領域の検出結果をもとに左右の目や鼻、唇等の各顔パーツを検出する。本実施の形態では、器官検出部２２は、顔領域の検出結果をもとに左右の目の領域（目領域）を検出し、この目領域の検出結果をもとに目の大きさや形状、黒目の領域等を特定する。検出された人物画像中の顔領域の位置座標、目領域の位置座標や目の大きさ、形状、黒目の領域の位置座標を含む顔パーツのデータは、ＳＤＲＡＭ１８に記憶される。

ＣＰＵ２３は、操作部２８からの操作信号等に応じて内蔵メモリ２４からカメラプログラムを読み出して実行し、デジタルカメラ１を構成する各部に対する指示やデータの転送等を行ってデジタルカメラ１の動作を統括的に制御する。

内蔵メモリ２４は、例えばフラッシュメモリ等の電気的に書き換えが可能な不揮発性メモリであり、この内蔵メモリ２４には、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等が予め記録されている。すなわち、ＣＰＵ２３がこの内蔵メモリ２４に格納されているカメラプログラムを読み出して実行することによって、デジタルカメラ１の機能が実現される。なお、プログラムの記録媒体はフラッシュメモリに限定されるものではなく、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカードなどの半導体メモリを用いることができる。

表示部２５は、撮影画像やライブビュー画像の他、デジタルカメラ１の各種設定情報等を表示するためのものであり、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置で実現される。表示駆動回路２６は、表示部２５を駆動する。この表示部２５には、撮影モード中は例えば１フレーム毎にライブビュー画像が再描画されて動画的に連続表示され、再生モード中は撮影画像が表示される。

操作部２８は、撮影の開始指示、補正モードを含む各種の撮影モードや再生モードといったモードの設定操作、撮影条件の設定操作等、ユーザによる各種操作を受け付けて操作信号をＣＰＵ２３に通知するためのものであり、各種機能が割り当てられたボタンスイッチ等で実現される。この操作部２８は、図１のレリーズスイッチ３、電源スイッチ４、メニュースイッチ５、十字キー６、およびＯＫスイッチ７を含む。

通信Ｉ／Ｆ２７は、例えばＵＳＢ（Universal Serial Bus）等の通信規格によってデジタルカメラ１を例えばパソコン等の外部機器と接続するためのインターフェースである。

着脱メモリ２９は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のデジタルカメラ１に着脱自在なメモリカードである。この着脱メモリ２９には、その種類に応じた図示しない読み書き装置によって撮影画像の画像データが書き込まれ、または読み書き装置によって着脱メモリ２９に記録された画像データが読み出される。

電源回路３０は、装填されている電池３１によって供給される電力を、所定の電力に変換してデジタルカメラ１の各部へと供給する。

ここで、以上のように構成されるデジタルカメラ１の機能の一つであるキャッチライト合成機能の概要について説明する。本実施の形態のデジタルカメラ１は、撮影モードに関する設定として補正モードが選択されている際、人物等の顔を含む被写体を撮影した場合に、この撮影画像を原画像として目領域にキャッチライトを合成する処理を行う。キャッチライトの合成に際しては、事前に原画像中の目領域を検出し、目の大きさや形状、黒目の領域等を特定しておく。そして、キャッチライトの合成は、例えば、デジタルカメラ１で過去に撮影された撮影画像を、キャッチライト画像として原画像中の目領域に合成処理することで行う。左右の２つの目領域が検出されている場合には、それぞれにキャッチライト画像を合成処理する。このように、自然な輝度分布を有する撮影画像をキャッチライト画像として用いることで、自然なキャッチライトが実現できる。なお、予め自然な輝度分布を有する画像をキャッチライト画像として用意しておくこととしてもよい。

そして、このキャッチライト合成機能を実現するために、フラッシュユニット１６が照明光を発光した状態（フラッシュ発光あり）での撮影を少なくとも１回行う。すなわち、撮影環境が十分明るく、撮影にフラッシュ発光が必要ない場合には、フラッシュユニット１６が照明光を発行しない状態（フラッシュ発光なし）で本撮影を行った後、続けてフラッシュ発光ありで撮影を行う。なお、順番は特に限定されるものではなく、フラッシュ発光ありでの撮影の後、フラッシュ発光なしで本撮影を行うこととしてもよい。一方、撮影環境が暗く、撮影にフラッシュ発光が必要ある場合には、フラッシュ発光ありで本撮影を行う。そして、得られた画像をもとに目の輝点位置を特定する。

先ず、目の輝点位置の特定原理について説明する。図４〜図６は、本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する図であり、視線が正面を向いている場合を例示している。ここで、図４は、フラッシュ撮影なしでの本撮影で得られた画像中の目領域Ｅ１を構成する画素の輝度値を示し、図５は、続けてフラッシュ発光ありで撮影された画像中の目領域Ｅ３を構成する画素の輝度値を示している。

図４では、目領域Ｅ１を図４中に向かって左右に横切る一点鎖線で示すラインＬ１１上の各画素の輝度値の変化が、グラフＧ１１に対応している。同様にして、ラインＬ１２がグラフＧ１２に、ラインＬ１３がグラフＧ１３に、ラインＬ１４がグラフＧ１４にそれぞれ対応しており、各ラインＬ１１〜Ｌ１４上の各画素の輝度値の変化は、それぞれ黒目の領域に対応して低輝度値を示すグラフＧ１１〜Ｇ１４で表される。目領域Ｅ１を図４中に向かって上下に横切る二点差線で示すラインＬ２１〜Ｌ２４も同様であり、ラインＬ２１がグラフＧ２１に、ラインＬ２２がグラフＧ２２に、ラインＬ２３がグラフＧ２３に、ラインＬ２４がグラフＧ２４にそれぞれ対応し、各ラインＬ２１〜Ｌ２４上の各画素の輝度値の変化は、それぞれ黒目の領域に対応して低輝度値を示すグラフＧ２１〜Ｇ２４として得られる。

一方、図５に示すように、フラッシュ発光ありで撮影された画像中の目領域Ｅ３には、黒目の中心付近に光（輝点）Ｄ３が映し込まれている。図５では、この目領域Ｅ３を図５中に向かって左右に横切る一点鎖線で示すラインＬ３１上の各画素の輝度値の変化がグラフＧ３１に対応している。また、ラインＬ３２がグラフＧ３２に、ラインＬ３３がグラフＧ３３に、ラインＬ３４がグラフＧ３４にそれぞれ対応している。各ラインＬ３１〜Ｌ３４上の各画素の輝度値の変化は、それぞれ黒目の領域に対応して低輝度値を示すグラフＧ３１〜Ｇ３４で得られるが、輝点Ｄ３を通るラインＬ３２，Ｌ３３に対応するグラフＧ３２，Ｇ３４では、輝点Ｄ３の位置の輝度値が、隣接する画素と比較して高く変化したピークＰ３２，Ｐ３３として現れている。目領域Ｅ３を図５中に向かって上下に横切る二点差線で示すラインＬ４１〜Ｌ４４も同様であり、ラインＬ４１がグラフＧ４１に、ラインＬ４２がグラフＧ４２に、ラインＬ４３がグラフＧ４３に、ラインＬ４４がグラフＧ４４にそれぞれ対応している。そして、輝点Ｄ３を通るラインＬ４２，Ｌ４３に対応するグラフＧ４２，Ｇ４３において、輝点Ｄ３の位置の輝度値がピークＰ４２，Ｐ４３として現れている。

そして、本撮影にフラッシュ発光が必要ない場合には、図４の目領域Ｅ１における輝度値の変化と図５の目領域Ｅ３における輝度値の変化とをもとに、図５の輝点Ｄ３の位置を目の輝点位置として特定する。具体的には、図４の目領域Ｅ１を構成する各画素の輝度値と、図５の目領域Ｅ３を構成する各画素の輝度値との差分を画素位置毎に算出することによって目の輝点位置を特定する。図６は、図４のラインＬ１２の各画素の輝度値と、対応する図５のラインＬ３２の各画素の輝度値とから求まる差分を表したグラフＧ５１である。フラッシュ発光なしの本撮影とフラッシュ発光ありの撮影とは連続して行われるため、各画像の目領域Ｅ１（図４）と目領域Ｅ３（図５）とは、目領域Ｅ３に輝点Ｄ３が映り込んでいることを除いて略同じ画像として得られる。したがって、差分値が大きくピークＰ５１として現れている画素の位置を、目の輝点位置として特定する。

このように目の輝点位置を特定したならば、この目の輝点位置にキャッチライト画像を合成処理する。図７は、図４〜図６を参照して説明したように特定した目の輝点位置をもとに、本撮影で得られた原画像中の目領域Ｅ３にキャッチライト画像を合成処理する様子を示す図である。すなわち、合成処理では、図７（ａ）に示す原画像中の目領域Ｅ１に対し、図７（ｂ）に示すキャッチライト画像Ｉ５を合成する。このキャッチライト画像Ｉ５は、詳細には、キャッチライト画像に指定された過去に撮影された撮影画像を目領域に合成するために加工した画像である。このキャッチライト画像Ｉ５を特定した目の輝点位置に合成することによって、図７（ｃ）に示すように、キャッチライトが合成された目領域Ｅ５を得る。なお、図７（ａ）〜（ｃ）において、図４のラインＬ１２およびこのラインＬ１２にそれぞれ対応するラインＬ６１，Ｌ６２を一点鎖線で示し、各ラインＬ１２，Ｌ６１，Ｌ６２における輝度値の変化を表すグラフＧ１２，Ｇ６１，Ｇ６２を併せて示している。

また、図８〜図１０は、本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図であり、視線が左方向に横を向いている場合を例示している。ここで、図８は、フラッシュ撮影なしでの本撮影で得られた画像中の目領域Ｅ７を構成する画素の輝度値を示し、図９は、続けてフラッシュ発光ありで撮影された画像中の目領域Ｅ８を構成する画素の輝度値を示している。

図８において、例えば、目領域Ｅ７を図８中に向かって左右に横切る一点鎖線で示すラインＬ７２上の各画素の輝度値の変化がグラフＧ７２に対応している。また、例えば、目領域Ｅ７を図８中に向かって上下に横切る二点差線で示すラインＬ８２上の各画素の輝度値の変化が、グラフＧ８２に対応している。一方、図９に示すように、フラッシュ発光ありで撮影された画像中の目領域Ｅ８には、黒目の中心から右側にずれた位置に光（輝点）Ｄ８が映し込まれている。そして、例えば、目領域Ｅ８を図９中に向かって左右に横切る一点鎖線で示すラインＬ９２上の各画素の輝度値の変化がグラフＧ９２に対応しており、輝点Ｄ８の位置の輝度値が、隣接する画素と比較して高く変化したピークＰ９２として現れている。同様にして、例えば、目領域Ｅ８を図９中に向かって上下に横切る二点差線で示すラインＬ１０２上の各画素の輝度値の変化がグラフＧ１０２に対応しており、輝点Ｄ８の位置の輝度値がピークＰ１０２として現れている。

そして、図１０は、図８のラインＬ７２の各画素の輝度値と、対応する図９のラインＬ９２の各画素の輝度値とから求まる差分を表したグラフＧ１１１である。図１０に示すように、各画像の目領域Ｅ７（図８）と目領域Ｅ８（図９）とから画素位置毎に求めた差分値が大きく、ピークＰ１１１として現れている画素の位置を、目の輝点位置として特定する。

このように目の輝点位置を特定したならば、この目の輝点位置にキャッチライト画像を合成処理する。図１１は、図８〜図１０を参照して説明したように特定した目の輝点位置をもとに、本撮影で得られた原画像中の目領域Ｅ７にキャッチライト画像を合成処理する様子を示す図である。すなわち、図１１（ａ）に示す原画像中の目領域Ｅ７について特定した目の輝点位置に図１１（ｂ）に示すキャッチライト画像Ｉ９を合成処理することによって、図１１（ｃ）に示すように、キャッチライトが合成された目領域Ｅ９を得る。なお、図１１（ａ）〜（ｃ）において、図８のラインＬ７２およびこのラインＬ７２にそれぞれ対応するラインＬ１２１，Ｌ１２２を一点鎖線で示し、各ラインＬ７２，Ｌ１２１，Ｌ１２２における輝度値の変化を表すグラフＧ７２，Ｇ１２１，Ｇ１２２を併せて示している。

また、図１２〜図１４は、本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図であり、横顔を写した場合を例示している。ここで、図１２は、フラッシュ撮影なしでの本撮影で得られた画像中の目領域Ｅ１０を構成する画素の輝度値を示し、図１３は、続けてフラッシュ発光ありで撮影された画像中の目領域Ｅ１１を構成する画素の輝度値を示している。

図１２において、例えば、目領域Ｅ１０を図１２中に向かって左右に横切る一点鎖線で示すラインＬ１３２上の各画素の輝度値の変化がグラフＧ１３２に対応している。また、例えば、目領域Ｅ１０を図１２中に向かって上下に横切る二点差線で示すラインＬ１４２上の各画素の輝度値の変化が、グラフＧ１４２に対応している。一方、図１３に示すように、フラッシュ発光ありで撮影された画像中の目領域Ｅ１１には、黒目の右端位置に光（輝点）Ｄ１１が映し込まれている。そして、例えば、目領域Ｅ１１を図１３中に向かって左右に横切る一点鎖線で示すラインＬ１５２上の各画素の輝度値の変化がグラフＧ１５２に対応しており、輝点Ｄ１１の位置の輝度値が、隣接する画素と比較して高く変化したピークＰ１５２として現れている。同様にして、例えば、目領域Ｅ１１を図１３中に向かって上下に横切る二点差線で示すラインＬ１６２上の各画素の輝度値の変化がグラフＧ１６２に対応しており、輝点Ｄ１１の位置の輝度値がピークＰ１６２として現れている。

そして、図１４は、図１２のラインＬ１３２の各画素の輝度値と、対応する図１３のラインＬ１５２の各画素の輝度値とから求まる差分を表したグラフＧ１７１である。図１４に示すように、各画像の目領域Ｅ１０（図１２）と目領域Ｅ１１（図１３）とから画素位置毎に求めた差分値が大きく、ピークＰ１７１として現れている画素の位置を、目の輝点位置として特定する。

このように目の輝点位置を特定したならば、この目の輝点位置にキャッチライト画像を合成処理する。図１５は、図１２〜図１４を参照して説明したように特定した目の輝点位置をもとに、本撮影で得られた原画像中の目領域Ｅ１０にキャッチライト画像を合成処理する様子を示す図である。すなわち、図１５（ａ）に示す原画像中の目領域Ｅ１０について特定した目の輝点位置に図１５（ｂ）に示すキャッチライト画像Ｉ１２を合成処理することによって、図１５（ｃ）に示すように、キャッチライトが合成された目領域Ｅ１２を得る。なお、図１５（ａ）〜（ｃ）において、図１２のラインＬ１３２およびこのラインＬ１３２にそれぞれ対応するラインＬ１８１，Ｌ１８２を一点鎖線で示し、各ラインＬ１３２，Ｌ１８１，Ｌ１８２における輝度値の変化を表すグラフＧ１３２，Ｇ１８１，Ｇ１８２を併せて示している。

以上、本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理について説明した。これに対して、本撮影にフラッシュ発光が必要ある場合には、フラッシュ発光ありの本撮影で得られた１枚の画像（撮影画像）をもとに、目領域を構成する各画素を走査してその輝度値が周囲の画素と比較して高く変化している画素の位置を目の輝点位置として特定する。具体的には、図５や図９、図１３に示して説明した目領域における各画素の変化から、その極大値（輝度値の変化のグラフに表われるピークの値）を検出し、目の輝点位置とする。

次に、キャッチライト画像に指定された過去に撮影された撮影画像の加工原理について説明する。図１６は、キャッチライト画像の加工原理を説明する図である。すなわち先ず、図１６に示すように、キャッチライト画像Ｉ２１に縮小処理を施し、特定した目の大きさに応じた縮小率α（α＜１）でキャッチライト画像Ｉ２１を縮小する（Ａ）。続いて、縮小処理したキャッチライト画像Ｉ２３に歪加工処理を施し、縮小処理したキャッチライト画像Ｉ２３の例えば中心を歪中心とした歪加工を行って歪加工画像Ｉ２５を生成する（Ｂ）。このとき、歪加工処理部１８１によって、縮小処理したキャッチライト画像Ｉ２３中の例えば元座標Ｐ２１（ｘ，ｙ）が歪加工座標Ｐ２３（ｘ´，ｙ´）に変換される。縮小処理したキャッチライト画像Ｉ２３に対して歪加工処理を施すのは、加工後のキャッチライト画像を最終的に球面状の眼球が映る目領域に合成するためであり、例えば予め設定された所定の歪率で縮小処理したキャッチライト画像Ｉ２３を歪ませて、歪加工画像Ｉ２５を生成する。これにより、合成後の画像に不自然さが生じないようにすることができる。

続いて、歪加工画像Ｉ２５にトリミング処理を施し、特定した目の形状に従って目領域からはみ出さないように歪加工画像Ｉ２５の外形を切り出す。具体的には先ず、特定した目の輝点位置に従って、歪加工画像中の切り出し位置を設定する。例えば、トリミング処理（Ｃ）の上段に示すように、特定した目の輝点位置の目領域Ｅ２１に対する相対位置から、歪加工画像Ｉ２５中の切り出し位置Ｐ２６を設定する。これによって、目領域Ｅ２１に対する目の輝点位置Ｐ２５の相対位置と略一致するように、歪加工画像Ｉ２５の中心付近に切り出し位置Ｐ２６が設定される。

そして、トリミング処理（Ｃ）の下段に示すように、求めた切り出し位置Ｐ２６を中心とし、予め設定された所定のトリミング形状で歪加工画像Ｉ２７を切り出す。ここで、図示の例では、トリミング形状を円形状としている。具体的には、特定した目の形状をもとに、目領域からはみ出さないようにトリミング形状のサイズを決定し、決定したサイズで歪加工画像Ｉ２５の切り出しを行う。

そして最後に、トリミング処理した歪加工画像Ｉ２７を、原画像中の目領域の目の輝点位置Ｐ２５に合成する。このとき、原画像中の上書き対象位置が黒目の位置の場合にはトリミング処理した加工画像の色成分および輝度成分で上書きする。一方、黒目の位置でない場合（白目の位置の場合）には、原画像中の上書き対象位置よりもトリミング処理した加工画像が明るい場合に、輝度成分のみを上書きすることとする。例えば、合成処理（Ｄ）では、黒目の範囲Ｅ２５についてはトリミング処理した歪加工画像Ｉ２７の色成分および輝度成分を上書きする。そして、白目の範囲Ｅ２６については、原画像中の上書き対象位置よりもトリミング処理した歪加工画像Ｉ２７が明るければ、歪加工画像Ｉ２７の輝度成分のみを上書きする。これによって、トリミング処理した加工画像を白目の位置に合成する場合であっても、合成画像に不自然さが生じないようにすることができる。

次に、デジタルカメラ１の動作について説明する。図１７は、デジタルカメラ１の基本動作を示すフローチャートである。図１７に示すように、デジタルカメラ１は、電源スイッチ４が押下されて電源投入（パワーＯＮ）されると（ステップａ１：Ｙｅｓ）、パワーＯＮ状態へ遷移する（ステップａ３）。

そして、メニュー操作ありの場合（メニュースイッチ５が押下された場合）には（ステップａ５：Ｙｅｓ）、メニュー動作に移る（ステップａ７）。このメニュー動作では、ＣＰＵ２３がメニュー処理を開始し、メニュー画面を表示部２５に表示させてモードの設定メニューや各種撮影条件の設定メニュー等のメニュー項目を提示する。そして、ＣＰＵ２３は、ユーザ操作によって選択されたメニュー項目に応じた処理を行い、操作部３１からの操作信号に従ってモードの設定や撮影条件の設定・変更等を行うための処理を実行する。ここでのメニュー処理によって、例えば撮影モードや再生モード等のモードを設定することができ、撮影モードとして補正モードを選択しない通常の撮影モードや補正モードを選択した撮影モードを設定することができる。

メニュー操作がなければ（ステップａ５：Ｎｏ）、現在設定されているモードに応じた動作に移る。すなわち、現在のモードが撮影モードの場合には（ステップａ９：Ｙｅｓ）、撮影モード動作に移る（ステップａ１１）。ここで、撮影モード動作に移ると、表示部２５に対してライブビュー画像の表示が継続的に行われるライブビュー画像表示状態となる。すなわち、撮像素子１１に結像されている被写体像の画像データをＳＤＲＡＭ１８に一時的に記憶するとともに、この画像データを所定のフレームレートで表示部２５に表示する一連の処理を繰り返し行い、ライブビュー画像を動画的に連続表示する。そして、例えばレリーズスイッチ３が押下されたタイミングで撮影処理を行い、このときの撮影範囲の画像を撮影画像として生成する。一方、現在のモードが撮影モードではなく（ステップａ９：Ｎｏ）、再生モードの場合には（ステップａ１３：Ｙｅｓ）、再生モード動作に移る（ステップａ１５）。このときＣＰＵ２３は、例えば、着脱メモリ２９に記録されている撮影画像の画像データを読み出して表示部２５に再生表示するための制御を行う。また、現在のモードが再生モードではなく（ステップａ１３：Ｎｏ）、その他のモードの場合には（ステップａ１７：Ｙｅｓ）、そのモードに応じた動作に移る（ステップａ１９）。

そして、電源スイッチ４が押下されて電源が遮断（パワーＯＦＦ）されると（ステップａ２１：Ｙｅｓ）、デジタルカメラ１はパワーＯＦＦ状態へと遷移し（ステップａ２３）、基本動作を終える。パワーＯＦＦされなければ（ステップａ２１：Ｎｏ）、ステップａ５に戻る。

次に、撮影モードの場合のデジタルカメラ１の撮影モード動作について詳細に説明する。図１８は、デジタルカメラ１の撮影モード動作を示すフローチャートである。

図１８に示すように、撮影モード動作では先ず、ＣＰＵ２３の制御のもと、撮像回路１４が撮像素子１１を起動する（ステップｂ１）。続いて測光処理を行い（ステップｂ３）、ライブビュー画像を表示部２５に表示する（ステップｂ５）。そして、撮影操作が入力されない間は（ステップｂ７：Ｎｏ）、ステップｂ３に戻って処理を繰り返し、ライブビュー画像を１フレーム毎に更新表示する。ここで、ＣＰＵ２３は、レリーズスイッチ３の押下によって撮影開始の指示を受け付けるとともに、押下された場合に撮影開始を制御し、撮影開始指示手段として機能する。すなわち、レリーズスイッチ３が押下され、撮影操作が入力された場合には（ステップｂ７：Ｙｅｓ）、ＡＦ部２０がＡＦ（自動焦点）動作を行う（ステップｂ９）。そして、撮影処理を行ってこのときの撮影範囲の静止画像を撮影し（ステップｂ１１）、図１７のステップａ１１にリターンする。

図１９は、撮影処理の詳細な処理手順を示すフローチャートである。図１９に示すように、撮影処理では、先ず、ＣＰＵ２３は、撮影開始が指示された際の被写体が顔を含むか否かを判定する。例えば、器官検出部２２に顔領域の検出を行わせ、検出の結果顔領域が検出された場合に被写体が顔を含むと判定し（ステップｃ１：Ｙｅｓ）、ＣＰＵ２３は、続いて、被写体の距離を判定する。被写体の距離が所定の閾値Ｌ以下の場合には（ステップｃ３：Ｙｅｓ）、ＣＰＵ２３は、続いて、検出された顔の大きさを判定する。このとき、焦点距離を判定することとしてもよい。これらの処理は、撮影画像に顔が含まれない場合や、含まれる場合であっても顔が小さい場合には、キャッチライトの合成を行わないようにするために行う。

そして、顔の大きさが所定の閾値Ｋ以上の場合には（ステップｃ５：Ｙｅｓ）、フラッシュ発光の有無を判定する。そして、フラッシュ発光しない場合には（ステップｃ７：Ｎｏ）、ステップｃ９に移行し、フラッシュ発光する場合には（ステップｃ７：Ｙｅｓ）、ステップｃ１７に移行する。

すなわち、ステップｃ９では、ＣＰＵ２３が、照明部１５および撮像部１０の動作を制御し、フラッシュ発光なしの状態で撮像動作を行う非照明撮影動作を制御することによってフラッシュ非発光撮影を行い、本撮影を行う。続いて、ＣＰＵ２３は、さらに照明部１５および撮像部１０の動作を制御し、フラッシュ発光ありの状態で撮像動作を行う照明撮影動作を制御することによってフラッシュ発光撮影を行う（ステップｃ１１）。

続いて、器官検出部２２が、ステップｃ９の非照明撮影動作の結果得られた画像（撮影画像）およびステップｃ１１の照明撮影動作の結果得られた画像についてそれぞれ器官検出処理を行う（ステップｃ１２）。すなわち、器官検出部２２は、各画像からそれぞれ顔領域を検出し、この顔領域の検出結果をもとに、左右の目領域等の顔パーツを検出する。またこのとき、器官検出部２２は、目領域の検出結果をもとに左右の目の大きさや形状、黒目の領域等を特定する。

続いて、画像処理部２１が、非照明撮影動作の結果得られた画像の目領域を構成する各画素の輝度値と、照明撮影動作の結果得られた画像の目領域を構成する各画素の輝度値との差分を、画素位置毎に算出する（ステップｃ１３）。そして、画像処理部２１は、算出した各画素位置の差分値をもとに目の輝点位置を特定する（ステップｃ１５）。

一方、ステップｃ１７では、ＣＰＵ２３は、照明部１５および撮像部１０の動作を制御し、フラッシュ発光ありの状態で撮像動作を行う照明撮影動作を制御することによってフラッシュ発光撮影を行い、本撮影を行う。

続いて、器官検出部２２が、ステップｃ１７の照明撮影動作の結果得られた画像（撮影画像）について器官検出処理を行う（ステップｃ１８）。そして、画像処理部２１が、この照明撮影動作の結果得られた画像の目領域を構成する各画素を順次走査して、その輝度値変化の極大値を検出し（ステップｃ１９）、目の輝点位置として特定する（ステップｃ２１）。

そして、ステップｃ１５またはステップｃ２１で目の輝点位置を特定したならば、ステップｃ２３のキャッチライト画像合成処理に移る。

図２０は、キャッチライト合成処理の詳細な処理手順を示すフローチャートである。図２０に示すように、先ず、ＣＰＵ２３が、フラッシュ発光ありで本撮影を行ったか否かを判定する。そして、本撮影がフラッシュ発光ありの場合には（ステップｄ１：Ｙｅｓ）、ステップｄ５に移行する。一方、本撮影がフラッシュ発光なし場合には（ステップｄ１：Ｎｏ）、ＣＰＵ２３は、本撮影で得られた画像（撮影画像）から図１９のステップｃ１２またはｃ１８で特定された黒目の領域の中心位置の輝度値が、予め設定される基準輝度値以上か否かを判定する。そして、黒目の領域の中心位置の輝度値が基準輝度値以上の場合には（ステップｄ３：Ｙｅｓ）、キャッチライト画像の合成処理を行わずに図１９のステップｃ２３にリターンする。黒目の中心の輝度が高い場合にキャッチライトを合成してしまうと、違和感のある不自然な画像となる場合があるからである。一方、黒目の領域の中心位置の輝度値が基準輝度値未満であれば（ステップｄ３：Ｎｏ）、ステップｄ５に移行し、本撮影で得られた画像（撮影画像）を原画像としてキャッチライト画像を合成処理する。

すなわち、ステップｄ５では、ＣＰＵ２３は、ユーザ操作に従ってキャッチライト画像を指定する。例えば、ＣＰＵ２３は、着脱メモリ２９に記録されている過去に撮影された撮影画像を順次表示部２５に表示させて再生する制御を行い、キャッチライト画像の指定操作を受け付ける。ユーザは、過去に撮影された撮影画像の中から、今回撮影された撮影画像中の被写体の目領域にキャッチライトとして合成する画像を指定する。

そして、画像処理部２１が、原画像中の目領域について（左右の目領域を検出している場合には各目領域それぞれについて個別に）ステップｄ７〜ステップｄ１３の処理を順次実行することにより、キャッチライト画像を加工し、原画像中の目の輝点位置にキャッチライトとして合成する。

先ず、画像処理部２１は、キャッチライト画像の縮小処理を行う（ステップｄ７）。このとき、特定した目の大きさをもとに縮小率を決定し、この縮小率αでキャッチライト画像を縮小する。次いで、画像処理部２１において、歪加工処理部２１１が、縮小処理したキャッチライト画像の例えば中心を歪中心として歪加工処理を行い、この縮小処理したキャッチライト画像を歪加工して歪加工画像を生成する（ステップｄ９）。次いで、画像処理部２１は、歪加工画像のトリミング処理を行う（ステップｄ１１）。具体的には先ず、目領域内の輝点位置に従って、目領域に対する輝点位置の相対位置をもとに歪加工画像中の切り出し位置を設定する。そして、特定した目の形状をもとに、設定した切り出し位置を中心とした歪加工画像の切り出しを行い、歪加工画像の外形が対応する目領域からはみ出さないように切り出す。

そして、画像処理部２１は、トリミング処理した歪加工画像を輝点位置に合成して合成画像を生成する（ステップｄ１３）。すなわち、例えば、黒目の領域に対しては色成分および輝度成分を上書きして合成し、白目の領域に対しては輝度成分のみを上書きする。以上のようにして原画像に対するキャッチライト画像の合成処理を行い、合成画像を生成したならば、図１９のステップｃ２３にリターンし、その後ステップｃ２５に移行する。

ステップｃ２５では、ＣＰＵ２３は、画像表示制御手段として、撮影画像である原画像および生成した合成画像を表示部２５に表示する制御を行う。そして、画像削除受付処理に移る（ステップｃ２７）。

図２１は、画像削除受付処理の詳細な処理手順を示すフローチャートである。画像削除受付処理では、ＣＰＵ２３は、表示切換操作が入力された場合に（ステップｅ１：Ｙｅｓ）、原画像と合成画像とを表示部２５に切換表示する制御を行い（ステップｅ３）、ステップｅ１に戻る。すなわち、表示切換操作が入力された時点で表示部２５に表示されていた画像が合成画像の場合には原画像を、原画像の場合には合成画像を表示部２５に表示する制御を行う。なお、後述するステップｅ７で原画像または合成画像のいずれか一方が削除された場合には、切換表示を行なわない。あるいは、ステップｅ７で原画像または合成画像のいずれか一方が削除された場合には、ステップｅ１での表示切換操作の受け付けを行わない構成としてもよい。

また、画像削除操作が入力された場合には（ステップｅ５：Ｙｅｓ）、ＣＰＵ２３は、現時点で表示している原画像または合成画像の画像データを削除する（ステップｅ７）。ここでの処理の結果、原画像および合成画像の両方が削除された場合には（ステップｅ９：Ｙｅｓ）、図１９のステップｃ２７にリターンし、その後ステップｃ３５に移行する。残りの原画像または合成画像が削除されていない場合には（ステップｅ９：Ｎｏ）、この残りの原画像または合成画像を表示部２５に表示制御した後、ステップｅ１に戻る。そして、画像削除操作の終了操作を受け付けた場合（ステップｅ１１：Ｙｅｓ）、あるいは所定の時間が経過してタイムアップした場合に（ステップｅ１３：Ｙｅｓ）、画像削除操作の受け付けを終了することとし、図１９のステップｃ２７にリターンする。画像削除操作の終了操作を受け付けない場合であって（ステップｅ１１：Ｎｏ）、タイムアップしていない間は（ステップｅ１３：Ｎｏ）、ステップｅ１に戻って表示切換操作または画像削除操作を受け付ける。

そして、ステップｃ３５では、ＣＰＵ２３は、画像削除受付処理で画像削除操作されなかった画像を着脱メモリ２９に記録する制御を行い、その後、図１８のステップｂ１１にリターンする。例えば、画像削除受付処理の結果、原画像の画像データが削除された場合であれば合成画像の記録を行い、合成画像の画像データが削除された場合には原画像の記録を行う。また、画像削除操作の受付を終了したときに原画像および合成画像のいずれの削除操作も受け付けていない場合には、例えば、原画像および合成画像を両方記録する。そして、原画像および合成画像の両方の画像データが削除された場合には、ステップｃ３５では特に処理を行わない。

一方、撮影開始が指示された際のライブビュー画像から顔領域が検出されない場合や（ステップｃ１：Ｎｏ）、被写体の距離が所定の閾値Ｌより大きい場合（ステップｃ３：Ｎｏ）、あるいは顔の大きさが所定のサイズＫ未満の場合には（ステップｃ５：Ｎｏ）、キャッチライト画像の合成処理を行わないこととしてステップｃ２９に移行する。

すなわち、ステップｃ２９では、フラッシュ発光の有無を判定する。そして、フラッシュ発光しない場合には（ステップｃ２９：Ｎｏ）、ＣＰＵ２３が、照明部１５および撮像部１０の動作を制御し、フラッシュ発光なしの状態で撮像動作を行う非照明撮影動作を制御することによってフラッシュ非発光撮影を行い、本撮影を行う（ステップｃ３１）。フラッシュ発光する場合であれば（ステップｃ２９：Ｙｅｓ）、ＣＰＵ２３は、照明部１５および撮像部１０の動作を制御し、フラッシュ発光ありの状態で撮像動作を行う照明撮影動作を制御することによってフラッシュ発光撮影を行い、本撮影を行う（ステップｃ３３）。そして、ステップｃ３５に移行し、ＣＰＵ２３が、得られた画像（撮影画像）を着脱メモリ２９に記録する制御を行う。

次に、画像削除受付処理で受け付ける表示切換操作および画像削除操作の操作例について説明する。図２２は、表示切換操作および画像削除操作の第１の操作例を示す図である。操作例１では、撮影を終えると、画面中央の画像表示エリアＥ３１において先ず、合成画像が表示される（図２２（ａ））。この合成画像Ｉ３１は、その目領域において、図１６に示して説明したように加工が施されたキャッチライト画像がキャッチライトとして合成された画像である。そして、この画像表示エリアＥ３１において、所定のユーザ操作に従って原画像Ｉ３３が切換表示されるようになっている（図２２（ｂ））。具体的には、ユーザは、十字キー６を押下し、画像表示エリアＥ３１の合成画像Ｉ３１と原画像Ｉ３３とを切り換える。そして、削除したい画像が表示された状態でＯＫスイッチ７を押下すると、その画像の画像データが削除される。例えば図２２（ａ）に示す状態でＯＫスイッチ７を押下すると、合成画像Ｉ３１の画像データが削除される。一方、図２２（ｂ）に示す状態でＯＫスイッチ７を押下すると、原画像Ｉ３３の画像データが削除される。また、画像削除操作を終了したい場合には、メニュースイッチ５を押下して画像削除操作の終了操作を行う。この第１の操作例によれば、画像を適宜削除することで、所望の画像のみを着脱メモリ２９に記録しておくことができる。また、撮影画像である原画像と、この原画像の目領域に対してキャッチライトを合成した合成画像とを切り換えながら確認することができる。したがって、ユーザは、原画像と合成画像とを比較しながら削除する画像（記録したい画像）を選択することができる。

また、図２３は、表示切換操作および画像削除操作の第２の操作例を示す図である。操作例２では、撮影を終えると、画面中央の画像表示エリアＥ４１において、目領域にキャッチライト画像が合成処理された合成画像の目領域を含む部分画像Ｉ４１と、原画像の目領域を含む部分画像Ｉ４３とが上下に並べられ、上段の合成画像の部分画像Ｉ４１が選択された状態で表示される（図２３（ａ））。なお、図示の例では、選択状態の部分画像の外枠を太枠で表示することによって選択状態を示しているが、選択状態の部分画像と非選択状態の部分画像とが識別できればよく、その表示形態は限定されない。そして、この画像表示エリアＥ４１において、所定のユーザ操作に従って選択状態が切り換わるようになっている。具体的には、ユーザは、十字キー６を押下することによって、画像表示エリアＥ４１における選択状態の部分画像を原画像に切り換えることができる（図２３（ｂ））。そして、削除したい画像が選択された状態でＯＫスイッチ７を押下すると、その画像の画像データが削除される。例えば図２３（ａ）に示す状態でＯＫスイッチ７を押下すると、合成画像の画像データが削除される。一方、図２３（ｂ）に示す状態でＯＫスイッチ７を押下すると、原画像の画像データが削除される。また、メニュースイッチ５を押下すると、画像削除操作が終了される。この第２の操作例によれば、撮影画像である原画像と、この原画像の目領域に対してキャッチライトを合成した合成画像とを同じ画面上で確認することができるという効果がある。

また、図２４は、表示切換操作および画像削除操作の第３の操作例を示す図である。操作例３では、撮影を終えると、画面中央の画像表示エリアＥ５１において、最初に合成画像Ｉ５１が表示されるが、このとき、合成画像Ｉ５１上に、この合成画像Ｉ５１中の目領域を含む部分画像が拡大処理されて表示されるようになっている（図２４（ａ））。図示の例では、画像表示エリアＥ５１の右下に拡大処理された部分画像Ｉ５２が配置されている。そして、この画像表示エリアＥ５１において、所定のユーザ操作に従って原画像Ｉ５３が切換表示されるようになっている（図２４（ｂ））。具体的には、ユーザは、十字キー６を押下し、画像表示エリアＥ５１の合成画像Ｉ５１と原画像Ｉ５３とを切り換える。そして、削除したい画像が表示された状態でＯＫスイッチ７を押下すると、その画像の画像データが削除される。この場合には、内部処理として、画像処理部２１が、合成画像中の目領域を含む部分画像を抽出する。続いて画像処理部２１は、部分画像を、予め設定された所定の倍率で拡大処理して合成画像上の所定位置に配置する。また、メニュースイッチ５を押下すると、画像削除操作が終了される。この第３の操作例によれば、合成画像中の目領域に対するキャッチライトの合成効果を拡大処理された部分画像によって容易に視認することができるという効果を奏する。

以上説明したように、本実施の形態によれば、フラッシュ発光ありでの撮影を少なくとも１回行って目に強制的に光（輝点）を映し込ませる。そして、この目の輝点位置を特定し、特定した目の輝点位置にキャッチライト画像を合成処理することによって目領域にキャッチライトを合成することができる。また、キャッチライト画像として自然な輝度分布を有する画像を用い、自然なキャッチライトが実現できる。したがって、撮影した画像中の目領域に対して簡単且つ短時間の処理で自然なキャッチライトを合成することができるという効果を奏する。

以上、この発明の好適な実施の形態について説明したが、この発明は、上記したものに限定されず、発明の趣旨を逸脱しない範囲で適宜変更が可能である。

例えば、上記した実施の形態では、フラッシュ発光が必要ない場合において、フラッシュ発光撮影で得られた画像とフラッシュ非発光撮影で得られた画像から目領域をそれぞれ検出し、その輝度値の差分を画素位置毎に算出する場合について説明したが、以下のようにしてもよい。すなわち、目領域の検出を行わずに、フラッシュ発光撮影で得られた画像の各画素の輝度値とフラッシュ非発光撮影で得られた画像の各画素の輝度値との差分を画素位置毎に算出することとしてもよい。上記のように、本撮影であるフラッシュ非発光撮影とフラッシュ発光撮影とは連続して行われるため、各画像は、目領域だけでなく画像全体としてみても目領域に輝点が映り込んでいることを除いて略同じ画像として得られる。本変形例によれば、画像全体を走査して各画素位置の差分を求めることによって、差分値が大きくピークとして現れている画素の位置を、目の輝点位置として特定することができる。この場合には、目領域を検出する処理を行う必要がないため処理を簡略化でき、キャッチライト画像の合成処理に要する時間を短縮できる。

また、上記した実施の形態で説明したキャッチライト画像の加工方法は一例であって、特に限定されない。例えば、黒目（瞳）の大きさや形状をもとに、黒目からはみ出さないように加工画像をトリミング処理することとしてもよい。これによれば、目領域の黒目の部分に、加工したキャッチライト画像をキャッチライトとして合成することができる。またこの場合に、トリミング処理する際のトリミング形状を、黒目の外形に沿うように決定することとしてもよい。また、円形状や楕円形状等の所定の形状をトリミング形状として予め設定しておくこととしてもよい。あるいは、キャッチライト画像として円形状や楕円形状の画像を用意しておくこととしてもよい。さらに、キャッチライト画像に対して歪加工処理、縮小処理およびトリミング処理を施すこととしたが、歪加工処理を施さない構成としてもよい。あるいは、明るさ調整処理や色調整処理、透明処理等の画像処理を適宜施してキャッチライト画像を加工することとしてもよい。

また、本発明は、上記した各実施の形態そのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

また、ＣＰＵ２３が行うこととして説明した処理の一部または全部を、ハードウェアで実現することもできる。一方、画像処理部２１や器官検出部２２等をハードウェアで実現する構成について説明したが、所定のプログラムを実行することによってソフトウェアとして実現することとしてもよい。

また、上記実施の形態では、撮像装置の具体例としてデジタルカメラを例にとって説明したが、これに限定されるものではなく、携帯電話のカメラ部やＰＣ付属のカメラ部に適用してもよい。そして、静止画像データを加工して補正処理する場合について説明したが、補正処理の対象は静止画像データに限定されるものではなく、動画像データに対しても同様に適用できる。

デジタルカメラの背面図である。 デジタルカメラのシステム構成を示すブロック図である。 歪加工処理部の構成を示すブロック図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する図である。 図４に示す原画像中の目領域にキャッチライト画像を合成処理する様子を示す図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図である。 図８に示す原画像中の目領域にキャッチライト画像を合成処理する様子を示す他の図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図である。 本撮影にフラッシュ発光が必要ない場合の目の輝点位置の特定原理を説明する他の図である。 図１２に示す原画像中の目領域Ｅ３にキャッチライト画像を合成処理する様子を示す他の図である。 キャッチライト画像の加工原理を説明する図である。 デジタルカメラの基本動作を示すフローチャートである。 デジタルカメラの撮影モード動作を示すフローチャートである。 撮影処理の詳細な処理手順を示すフローチャートである。 キャッチライト合成処理の詳細な処理手順を示すフローチャートである。 画像削除受付処理の詳細な処理手順を示すフローチャートである。 表示切換操作および画像削除操作の第１の操作例を示す図である。 表示切換操作および画像削除操作の第２の操作例を示す図である。 表示切換操作および画像削除操作の第３の操作例を示す図である。

符号の説明

１ デジタルカメラ
２ カメラ本体
３ レリーズスイッチ
５ メニュースイッチ
６ 十字キー
７ ＯＫスイッチ
１０ 撮像部
１１ 撮像素子
１２ レンズ系ユニット
１３ レンズ駆動回路
１４ 撮像回路
１５ 照明部
１６ フラッシュユニット
１７ 充電／発光回路
１８ ＳＤＲＡＭ
１９ ＡＥ部
２０ ＡＦ部
２１ 画像処理部
２１１ 歪加工処理部
２１３ 座標生成部
２１５ 歪加工座標変換部
２２ 器官検出部
２３ ＣＰＵ
２４ 内蔵メモリ
２５ 表示部
２６ 表示駆動回路
２７ 通信Ｉ／Ｆ
２８ 操作部
２９ 着脱メモリ
３０ 電源回路
３１ 電池
３２ バス

Claims (5)

1. 被写体像を光電変換して画像データを生成する撮像手段と、
   被写体を照明する照明手段と、
   撮影開始を指示する撮影指示手段と、
   前記撮影指示手段によって撮影開始が指示された場合に、前記照明手段および前記撮像手段の動作を制御して前記画像データを取得する際に、前記照明手段が照明動作を行った状態で前記撮像手段が撮像動作を行う照明撮影動作を制御する撮影制御手段と、
   前記撮影制御手段の制御によって得られた画像データに含まれる目の輝点位置を特定する輝点特定手段と、
   前記撮像手段によって生成された画像データを記憶する画像記憶手段と、
   前記画像記憶手段に記憶された画像データに歪加工処理または透明処理の少なくとも何れかの処理を行い、合成用画像データを生成する画像処理部と、
   前記撮影制御手段の制御によって得た画像データに含まれる目の輝点位置を基に、前記合成用画像データを合成処理する画像合成手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮影制御手段は、前記照明手段が照明動作を行わない状態で前記撮像手段が撮像動作を行う非照明撮影動作をさらに制御し、
   前記輝点特定手段は、前記撮影制御手段の制御によって前記照明撮影動作の結果得られた画像データを構成する画素の輝度値と前記非照明撮影動作の結果得られた画像データを構成する画素の輝度値との差分をもとに前記目の輝点位置を特定し、
   前記画像合成手段は、前記非照明撮影動作の結果得られた画像データにおける前記目の輝点位置に前記合成用画像データを合成処理することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影制御手段の制御によって得られた画像データから顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出手段を備え、
   前記輝点特定手段は、前記目領域の位置と前記画像データを構成する画素の輝度値とをもとに、前記目の輝点位置を特定することを特徴とする請求項１に記載の撮像装置。
4. 前記照明撮影動作の結果得られた画像データおよび前記非照明撮影動作の結果得られた画像データから顔領域を検出し、該顔領域の検出結果をもとに目領域を検出する目検出手段を備え、
   前記輝点特定手段は、前記目検出手段による検出結果をもとに前記各画像データの目領域を構成する画素の輝度値の差分を算出し、前記目の輝点位置を特定することを特徴とする請求項２に記載の撮像装置。
5. 被写体像を光電変換して画像データを生成する撮像手段と照明光を発光する照明手段とを備えた撮像装置における画像合成方法であって、
   撮影開始を指示する撮影指示ステップと、
   前記撮影指示ステップにおける撮影開始の指示に応じて、前記照明手段および前記撮像手段の動作を制御し、前記照明手段が照明動作を行った状態で前記撮像手段が撮像動作を行う照明撮影動作を制御する撮影制御ステップと、
   前記撮影制御ステップでの制御によって得られた画像データに含まれる目の輝点位置を特定する輝点特定ステップと、
   前記撮像ステップで生成された画像データを記憶する画像記憶ステップと、
   前記画像記憶ステップで記憶された画像データに歪加工処理または透明処理の少なくとも何れかの処理を行い、合成用画像データを生成する画像処理ステップと、
   前記撮影して得た画像データに含まれる目の輝点位置を基に、前記合成用画像データを合成処理する画像合成ステップと、
   を含むことを特徴とする撮像装置における画像合成方法。