以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。なお、以下の各比較例及び第1の実施形態では、本発明を、静止画像の撮影を行うデジタル電子スチルカメラ(以下、「デジタルカメラ」という。)に適用した場合について説明する。
〔第1の比較例〕
先ず、図1を参照して、本比較例に係るデジタルカメラ10の外観上の構成を説明する。
同図に示すように、デジタルカメラ10の正面には、被写体像を結像させるためのレンズ21と、撮影時に被写体に向けて予め定められた発光量で撮影用補助光を照射するストロボ部44と、撮影する被写体の構図を決定するために用いられるファインダ20と、が備えられている。また、デジタルカメラ10の上面には、撮影を実行する際に押圧操作されるレリーズスイッチ(所謂シャッター)56Aと、電源スイッチ56Bと、モード切替スイッチ56Cと、が備えられている。
なお、本比較例に係るデジタルカメラ10のレリーズスイッチ56Aは、中間位置まで押下される状態(以下、「半押し状態」という。)と、当該中間位置を超えた最終押下位置まで押下される状態(以下、「全押し状態」という。)と、の2段階の押圧操作が検出可能に構成されている。
そして、デジタルカメラ10では、レリーズスイッチ56Aを半押し状態にすることによりAE(Automatic Exposure、自動露出)機能が働いて露出状態(シャッタースピード、絞りの状態)が設定された後、AF(Auto Focus、自動合焦)機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光(撮影)が行われる。
また、モード切替スイッチ56Cは、1回の撮影毎に1枚の静止画像を示す画像情報を記録するモードである撮影モードと、レリーズスイッチ56Aを1回押圧操作すると、先ず、ストロボ光を発光させずに撮影を行い、次いで、所定期間(例えば、0.1秒)おいてストロボ光を発光させて撮影を行うことにより、2枚の静止画像を示す画像情報を連続的に記録した後、これらの画像情報から合成画像を作成する合成画像作成モードと、被写体像を後述するLCD38に再生するモードである再生モードと、の何れかのモードに設定する際にスライド操作される。
一方、デジタルカメラ10の背面には、前述のファインダ20の接眼部と、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ(以下、「LCD」という。)38と、十字カーソルスイッチ56Dと、が備えられている。なお、十字カーソルスイッチ56Dは、LCD38の表示領域における上・下・左・右の4方向の移動方向を示す4つの矢印キーを含んで構成されている。
更に、デジタルカメラ10の背面には、LCD38にメニュー画面を表示させるときに押圧操作されるメニュースイッチと、それまでの操作内容を確定するときに押圧操作される実行スイッチと、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチとが備えられている。
次に、図2を参照して、本比較例に係るデジタルカメラ10の電気系の要部構成を説明する。
デジタルカメラ10は、前述のレンズ21を含んで構成された光学ユニット22と、レンズ21の光軸後方に配設された電荷結合素子(以下、「CCD」という。)24と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部26と、を含んで構成されている。
また、デジタルカメラ10は、入力されたアナログ信号をデジタルデータに変換するアナログ/デジタル変換器(以下、「ADC」という。)28と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部30と、を含んで構成されている。
なお、デジタル信号処理部30は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ48の所定領域に直接記憶させる制御も行う。
CCD24の出力端はアナログ信号処理部26の入力端に、アナログ信号処理部26の出力端はADC28の入力端に、ADC28の出力端はデジタル信号処理部30の入力端に、各々接続されている。従って、CCD24から出力された被写体像を示すアナログ信号はアナログ信号処理部26によって所定のアナログ信号処理が施され、ADC28によってデジタル画像情報に変換された後にデジタル信号処理部30に入力される。
一方、デジタルカメラ10は、被写体像やメニュー画面等をLCD38に表示させるための信号を生成してLCD38に供給するLCDインタフェース36と、デジタルカメラ10全体の動作を司るCPU(中央処理装置)40と、撮影により得られたデジタル画像情報等を一時的に記憶するRAM(Random Access Memory)領域及びCPU40により実行される各種制御プログラムやデータが予め記憶されたROM(Read Only Memory)領域を有するメモリ48と、メモリ48に対するアクセスの制御を行うメモリインタフェース46と、を含んで構成されている。
また、デジタルカメラ10は、本発明の記憶手段に相当する可搬型のメモリカード52をデジタルカメラ10でアクセス可能とするための外部メモリインタフェース50と、デジタル画像情報に対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路54と、を含んで構成されている。
なお、本比較例のデジタルカメラ10では、メモリ48としてフラッシュ・メモリ(Flash Memory)が用いられ、メモリカード52としてスマート・メディア(Smart Media(登録商標))が用いられている。
デジタル信号処理部30、LCDインタフェース36、CPU40、メモリインタフェース46、外部メモリインタフェース50及び圧縮・伸張処理回路54はシステムバスBUSを介して相互に接続されている。従って、CPU40は、デジタル信号処理部30及び圧縮・伸張処理回路54の作動の制御、LCD38に対するLCDインタフェース36を介した各種情報の表示、メモリ48及びメモリカード52へのメモリインタフェース46ないし外部メモリインタフェース50を介したアクセスを各々行うことができる。
一方、デジタルカメラ10には、主としてCCD24を駆動させるためのタイミング信号を生成してCCD24に供給するタイミングジェネレータ32が備えられており、CCD24の駆動はCPU40によりタイミングジェネレータ32を介して制御される。
また、デジタルカメラ10にはモータ駆動部34が備えられており、光学ユニット22に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もCPU40によりモータ駆動部34を介して制御される。
すなわち、本比較例に係るレンズ21は複数枚のレンズを有し、焦点距離の変更(変倍)が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、これらのモータは各々CPU40の制御によりモータ駆動部34から供給された駆動信号によって駆動される。
更に、前述のレリーズスイッチ56A、電源スイッチ56B、モード切替スイッチ56C、十字カーソルスイッチ56D、メニュースイッチ等の各種スイッチ(同図では、「操作部56」と総称。)はCPU40に接続されており、CPU40は、これらの操作部56に対する操作状態を常時把握できる。
また、デジタルカメラ10には、ストロボ部44とCPU40との間に介在されると共に、CPU40の制御によりストロボ部44に設けられた光源(図示省略)を発光させるための電力を充電する充電部42が備えられている。更に、ストロボ部44はCPU40にも接続されており、ストロボ部44の光源の発光はCPU40によって制御される。
ところで、本比較例に係るデジタルカメラ10はExif(Exchangeable Image File Format)規格に対応しており、撮影することにより得られた画像情報は、一例として図3に模式的に示すように、Exif規格の電子化ファイル(以下、「画像ファイル」と称する)60としてメモリカード52に記憶される。そして、操作部56の押圧操作に応じてLCD38に表示されるメニュー画面上でExif規格の画像ファイル60に含まれるタグ領域60Bに記憶したい情報を予め設定しておくことにより、それ以降の撮影によって得られた画像ファイル60のタグ領域60Bに当該情報を記憶することができる。
すなわち、図3に示すように、本比較例に係るデジタルカメラ10において、撮影により得られてメモリカード52に記憶される画像ファイル60はExif規格に対応しているため、スタートコード領域60A、タグ領域60B、サムネイル画像領域60C、及び主画像領域60Dが含まれている。ここで、タグ領域60Bには、メニュー画面上で予め設定された各種情報が記憶されることになる。
なお、タグ領域60Bに記憶可能な情報として、本比較例では、画像ファイル60を得るための撮影条件に関する撮影情報(ストロボの発光/未発光を示す情報、絞りの状態を示す情報、撮影日時を示す情報等)や、デジタルカメラ10で設定されていた撮影条件(マニュアル撮影、オート撮影、プログラム撮影、マクロ撮影、移動体撮影、夜景撮影、人物撮影等)を示す情報等が予め設定できるものとして構成されている。
ところで、本比較例に係るCPU40は、合成画像作成モードで撮影が行われた場合、ストロボ光が無い環境下の撮影で得られた画像ファイル(以下、「第1画像ファイル」と称する)60とストロボ光が有る環境下の撮影で得られた画像ファイル(以下、「第2画像ファイル」と称する)60とをメモリカード52に順次に記憶し、次いで、メモリカード52から第1画像ファイル60及び第2画像ファイル60を読み出し、これらの画像ファイル60を合成する機能を有している。
次に、本比較例に係るデジタルカメラ10の撮影時における全体的な動作について簡単に説明する。
まず、CCD24は、光学ユニット22を介した撮像を行い、被写体像を示すR(赤)、G(緑)、B(青)毎のアナログ信号をアナログ信号処理部26に順次出力する。アナログ信号処理部26は、CCD24から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にADC28に順次出力する。
ADC28は、アナログ信号処理部26から入力されたR、G、B毎のアナログ信号を各々12ビットのR、G、Bの信号(デジタル画像情報)に変換してデジタル信号処理部30に順次出力する。デジタル信号処理部30は、内蔵しているラインバッファにADC28から順次入力されるデジタル画像情報を蓄積して一旦メモリ48の所定領域に直接格納する。
メモリ48の所定領域に格納されたデジタル画像情報は、CPU40による制御に応じてデジタル信号処理部30により読み出され、所定の物理量に応じたR,G,B毎のデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理を行って8ビットのデジタル画像情報を生成する。
そして、デジタル信号処理部30は、生成した8ビットのデジタル画像情報に対しYC信号処理を施して輝度信号Yとクロマ信号Cr、Cb(以下、「YC信号」という。)を生成し、YC信号をメモリ48の上記所定領域とは異なる領域に格納する。
なお、LCD38は、CCD24による連続的な撮像によって得られた動画像(スルー画像)を表示してファインダとして使用することができるものとして構成されており、LCD38をファインダとして使用する場合には、生成したYC信号を、LCDインタフェース36を介して順次LCD38に出力する。これによってLCD38にスルー画像が表示されることになる。
ここで、レリーズスイッチ56Aがユーザによって半押し状態とされたタイミングで前述のようにAE機能が働いて露出状態が設定された後、AF機能が働いて合焦制御され、その後、引き続き全押し状態とされたタイミングで、その時点でメモリ48に格納されているYC信号を、圧縮・伸張処理回路54によって所定の圧縮形式(本比較例では、JPEG形式)で圧縮した後に外部メモリインタフェース50を介してメモリカード52にExifフォーマットの画像ファイル60として記録する。この際、画像ファイル60のタグ領域60Bには、予めメニュー画面上でタグ領域60Bに記憶すべき情報として設定された情報が記憶されることになる。
ところで、本比較例に係るデジタルカメラ10では、合成画像作成モードで撮影を行った場合、先ず、メモリカード52に第1画像ファイル60と第2画像ファイル60とを記憶し、次いで、メモリカード52から第1画像ファイル60と第2画像ファイル60とを読み出し、各画像ファイル60から互いに位置が一致する画素の画素値を抽出し、これらの画素値を比較し、第2画像ファイル60の画素の画素値が第1画像ファイル60の画素の画素値よりも大きい場合、第2画像ファイル60の画素の画素値に予め定められた重み付け係数(本比較例では「1」)を乗じて得られた値に第1画像ファイル60の画素の画素値を加えて得た値を規定値を超えない範囲内で画素値として出力すると共に、第2画像ファイル60の画素の画素値が第1画像ファイル60の画素の画素値以下の場合、第1画像ファイル60の画素の画素値を出力して、合成画像を示す画像ファイル(以下、「合成画像ファイル」と称する)60を作成し、合成画像ファイル60をメモリカード52に出力する処理を行う合成画像作成処理が実行される。
なお、本比較例では、一例として、画素値は0〜255の256通りの数値(18ビット)で表現し、上記規定値を255とする。また、上記合成画像作成処理を実行することにより画素値が255を超えた場合は、当該画素値を255とする。
次に、図4を参照して上記合成画像作成処理を実行する際のデジタルカメラ10の処理ルーチンを説明する。なお、図4は、この際にデジタルカメラ10のCPU40によって実行される合成画像作成処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ48のROM領域に予め記憶されている。
先ず、ステップ100では、合成画像作成モードで撮影を行って、第1画像ファイル60と第2画像ファイル60とをメモリカード52に記憶する。
本比較例では、一例として図5に示すように、照明装置62を用いて人の顔の右上(図5における人の顔の正面視左上)から当該顔に向けて一定の光量の光を継続して照射した状態で合成画像作成モードで当該顔を正面から撮影した場合、ストロボ光を使用しない状態で撮影を行うことにより得られた第1画像ファイル60により示される人の顔の画像では、当該画像を構成している画素の画素値が照明装置62から離れるに従って徐々に小さくなり(図5(a)参照)、一方、ストロボ光を使用した状態で撮影を行うことにより得られた第2画像ファイル60により示される人の顔の画像では、当該画像を構成している画素の画素値が均一になる(図5(b)参照)。
なお、図5、図6、図7、図9及び図11の各々に示されている人の顔の画像を水平方向に横断している1点鎖線は何れも同じ位置に配されており、図5、図6、図7、図9及び図11の各々にグラフとして示されている画素値は当該1点鎖線上の画素の画素値である。
次のステップ102では、第1画像ファイル60及び第2画像ファイル60の各々から画素毎に画素値を抽出し、これらの画素値をメモリ48の所定領域に記憶する。
次のステップ104では、第2画像ファイル60により示される人の顔の画像を構成している画素及び第1画像ファイル60により示される人の顔の画像を構成している画素の互いに位置が一致している1つの着目画素において第2画像ファイル60の画素の画素値が第1画像ファイル60の画素の画素値よりも大きいか否かを判定する。ここで、肯定判定となった場合はステップ106へ移行する一方、否定判定となった場合はステップ108へ移行する。
ステップ106では、第2画像ファイル60の画素の画素値に予め定められた重み付け係数α(本比較例では「1」)を乗じて得た値に第1画像ファイル60の画素の画素値を加算して得た値を合成画像を形成するための画素の画素値としてメモリ48の所定領域に記憶する処理を行う。ステップ106の処理が終了するとステップ110へ移行する。なお、上記の予め定められた重み付け係数は、メモリ48の所定領域に予め記憶されており、本比較例では、デジタルカメラ10の実機による試験や、デジタルカメラ10の設計仕様等に基づいてコンピュータ・シミュレーション等によって予め得られた値を適用している。
ステップ108では、第1画像ファイル60の画素の画素値をメモリ48の所定領域に記憶する処理を行う。ステップ108の処理が終了するとステップ110へ移行する。
次のステップ110では、上記ステップ104〜ステップ108の処理が全画素について行われたか否かを判定し、肯定判定となった場合はステップ112へ移行する一方、否定判定となった場合はステップ104へ戻る。
ステップ112では、上記ステップ106及び上記ステップ108でメモリ48に記憶した画素値に基づいて合成画像ファイル60を作成する。ステップ112の処理が終了するとステップ114へ移行する。
なお、本比較例では、前述した第1画像ファイル60の画素の画素値の変化率とは、図6又は図7に示されている1点鎖線上の第1画像ファイル60の画素の一端から他端までの距離に対する図6又は図7に示されている1点鎖線上の第1画像ファイル60の画素の画素値の変動幅の比率であり、前述した第2画像ファイル60の画素の画素値の変化率とは、図6に示されている1点鎖線上の第2画像ファイル60の画素の一端から他端までの距離に対する図6に示されている1点鎖線上の第2画像ファイル60の画素の画素値の変動幅の比率であり、前述した上記ステップ106で得た画素値を有する画素の当該画素値の変化率とは、図7に示されている1点鎖線上の上記ステップ106で得た画素値を有する画素の一端から他端までの距離に対する図7に示されている1点鎖線上の上記ステップ106で得た画素値を有する画素の当該画素値の変動幅の比率である。
ステップ114では、上記ステップ112で作成した合成画像ファイル60をメモリカード52に記憶させる。ステップ114の処理が終了すると本合成画像作成処理プログラムが終了する。
〔第2の比較例〕
本第2の比較例では、上記第1の比較例で説明した合成画像作成処理プログラムとは異なる合成画像作成処理プログラムの形態例について説明する。なお、本第2の比較例に係るデジタルカメラ10の構成は上記第1の比較例に係るもの(図1〜図3参照。)と同様であるので、ここでの説明は省略する。
本第2の比較例に係るデジタルカメラ10では、合成画像作成モードで撮影を行った場合、先ず、メモリカード52に第1画像ファイル60と第2画像ファイル60とを記憶し、次いで、メモリカード52から第1画像ファイル60と第2画像ファイル60とを読み出し、各画像ファイル60から互いに位置が一致する画素の画素値を抽出し、これらの画素値を比較し、第1画像ファイル60の画素の画素値が第2画像ファイル60の画素の画素値よりも大きい場合、第1画像ファイル60の画素の画素値に予め定められた重み付け係数(本比較例では「1」)を乗じて得られた値に第2画像ファイル60の画素の画素値を加えて得た値を規定値を超えない範囲内で出力すると共に、第1画像ファイル60の画素の画素値が第2画像ファイル60の画素の画素値以下の場合、第2画像ファイル60の画素の画素値を出力して合成画像ファイル60を作成し、合成画像ファイル60をメモリカード52に出力する処理を行う合成画像作成処理が実行される。
なお、本第2の比較例では、一例として、画素値は0〜255の256通りの数値(18ビット)で表現し、上記規定値を255とする。また、本第2の比較例に係る合成画像作成処理を実行することにより画素値が255を超えた場合は、当該画素値を255とする。
以下、図8を参照して、本第2の比較例に係る合成画像作成処理を実行する際のデジタルカメラ10の処理ルーチンを説明する。なお、図8は、この際にデジタルカメラ10のCPU40によって実行される合成画像作成処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ48のROM領域に予め記憶されている。また、図8における図4と同一の処理を行うステップについては図4と同一の符号を付して、その説明を極力省略する。
先ず、上記第1の比較例で説明したステップ100及びステップ102の処理を順次に実行する。ステップ102の処理が終了するとステップ104bへ移行する。
ステップ104bでは、第1画像ファイル60により示される人の顔の画像を構成している画素及び第2画像ファイル60により示される人の顔の画像を構成している画素の互いに位置が一致している1つの着目画素において第1画像ファイル60の画素の画素値が第2画像ファイル60の画素の画素値よりも大きいか否かを判定する。ここで、肯定判定となった場合はステップ106bへ移行する一方、否定判定となった場合はステップ108bへ移行する。
ステップ106bでは、第1画像ファイル60の画素の画素値に予め定められた重み付け係数β(本比較例では「1」)を乗じて得た値に第2画像ファイル60の画素の画素値を加算して得た値を合成画像を形成するための画素の画素値としてメモリ48の所定領域に記憶する処理を行う。ステップ106bの処理が終了するとステップ110bへ移行する。なお、上記の予め定められた重み付け係数は、メモリ48の所定領域に予め記憶されており、本比較例では、デジタルカメラ10の実機による試験や、デジタルカメラ10の設計仕様等に基づいてコンピュータ・シミュレーション等によって予め得られた値を適用している。
ステップ108bでは、第2画像ファイル60の画素の画素値をメモリ48の所定領域に記憶する処理を行う。ステップ108bの処理が終了するとステップ110bへ移行する。
次のステップ110bでは、上記ステップ104b〜ステップ108bの処理が全画素について行われたか否かを判定し、肯定判定となった場合はステップ112bへ移行する一方、否定判定となった場合はステップ104bへ戻る。
ステップ112bでは、上記ステップ106b及び上記ステップ108bでメモリ48に記憶した画素値に基づいて合成画像ファイル60を作成する。ステップ112bの処理が終了するとステップ114bへ移行する。
なお、本比較例では、前述した第2画像ファイル60の画素の画素値の変化率とは、図9に示されている1点鎖線上の第2画像ファイル60の画素の一端から他端までの距離に対する図9に示されている1点鎖線上の第2画像ファイル60の画素の画素値の変動幅の比率であり、前述した上記ステップ106bで得た画素値を有する画素の当該画素値の変化率とは、図9に示されている1点鎖線上の上記ステップ106bで得た画素値を有する画素の一端から他端までの距離に対する図9に示されている1点鎖線上の上記ステップ106bで得た画素値を有する画素の当該画素値の変動幅の比率である。
ステップ114bでは、上記ステップ112bで作成した合成画像ファイル60をメモリカード52に記憶する。ステップ114bの処理が終了すると本合成画像作成処理プログラムが終了する。
〔第1の実施形態〕
本第1の実施形態では、上記第1及び第2の比較例で説明した合成画像作成処理プログラムとは異なる合成画像作成処理プログラムの形態例について説明する。なお、本第1の実施形態に係るデジタルカメラ10の構成は上記第1の比較例に係るもの(図1〜図3参照。)と同様であるので、ここでの説明は省略する。
本第1の実施形態に係るデジタルカメラ10では、合成画像作成モードで撮影を行った場合、先ず、メモリカード52に第1画像ファイル60と第2画像ファイル60とを記憶し、次いで、メモリカード52から第1画像ファイル60と第2画像ファイル60とを読み出し、第1画像ファイルにより示される人の顔の画像の輝度値と第2画像ファイルにより示される人の顔の画像の輝度値との和に対する第1画像ファイルにより示される画像の輝度値の比率に第1画像ファイルの画素の画素値を乗じて得た値に、第1画像ファイルにより示される人の顔の画像の輝度値と第2画像ファイルにより示される人の顔の画像の輝度値との和に対する第2画像ファイルにより示される画像の輝度値の比率に第2画像ファイルの画素の画素値を乗じて得た値を加えて得た値を前記規定値を超えない範囲内で合成画像を形成するための画素の画素値として出力し、当該画素値を合成して合成画像ファイル60を作成し、合成画像ファイル60をメモリカード52に出力する処理を行う合成画像作成処理が実行される。
なお、本第1の実施形態では、一例として、画素値は0〜255の256通りの数値(18ビット)で表現し、上記規定値を255とする。また、本第1の実施形態に係る合成画像作成処理を実行することにより画素値が255を超えた場合は、当該画素値を255とする。
以下、図10を参照して、本第1の実施形態に係る合成画像作成処理を実行する際のデジタルカメラ10の処理ルーチンを説明する。なお、図10は、この際にデジタルカメラ10のCPU40によって実行される合成画像作成処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ48のROM領域に予め記憶されている。また、図10における図4と同一の処理を行うステップについては図4と同一の符号を付して、その説明を極力省略する。
先ず、上記第1の比較例で説明したステップ100の処理を実行する。ステップ100の処理が終了するとステップ116へ移行する。
ステップ116では、第1画像ファイル60により示される人の顔の画像の輝度値及び第2画像ファイル60により示される人の顔の画像の輝度値を導出する。本実施形態では、第1画像ファイル60により示される人の顔の画像の輝度値の一例として、第1画像ファイル60により示される人の顔の画像を構成している全画素の画素値の平均値を用い、第2画像ファイル60により示される人の顔の画像の輝度値の一例として、第2画像ファイル60により示される人の顔の画像を構成している全画素の画素値の平均値を用いる。
次のステップ118では、第1画像ファイル60により示される人の顔の画像の輝度値L1と第2画像ファイルにより示される人の顔の画像の輝度値L2との和に対する第1画像ファイル60により示される人の顔の画像の輝度値L1の比率n1と、第1画像ファイル60により示される人の顔の画像の輝度値L1と第2画像ファイル60により示される人の顔の画像の輝度値L2との和に対する第2画像ファイルにより示される人の顔の画像の輝度値L2の比率n2とを導出する。本実施形態では、一例として、下記の(1)式により第1比率n1を算出し、下記の(2)式により第2比率n2を算出する。
次のステップ120では、第1画像ファイル60及び第2画像ファイル60の各々から互いに位置が一致している1つの着目画素における画素値を抽出し、第1画像ファイル60から抽出した画素値に比率n1を乗じて得た値に、第2画像ファイル60から抽出した画素値に比率n2を乗じて得た値を加算して得た値を合成画像を形成するための画素の画素値としてメモリ48の所定領域に記憶する処理を行う。
次のステップ122では、上記ステップ120の処理が全画素について行われたか否かを判定し、肯定判定となった場合はステップ124へ移行する一方、否定判定となった場合はステップ120へ戻る。
ステップ124では、上記ステップ120でメモリ48に記憶した画素値に基づいて合成画像ファイル60を作成する。
ところで、上記ステップ124で作成した合成画像ファイル60により示される人の顔の画像は、図11に示すように、上記ステップ120で得た画素値を有する画素で表される。
ここで、図6に示されている第1画像ファイル60の画素の画素値の変化率と第2画像ファイル60の画素の画素値の変化率との差と、図11における、図6に示されている1点鎖線上の第1画像ファイル60の画素の一端及び他端に相当する位置の画素間の変化率と、図11における、図6に示されている1点鎖線上の第2画像ファイル60の画素の一端から他端に相当する位置の画素間の変化率との差とを比較すると、前者よりも後者の差の方が小さい。従って、第1画像ファイル60の画素と第2画像ファイル60の画素とで構成される合成画像よりも、上記ステップ120で得た画素値を有する画素で構成される合成画像の方が、合成画像の明るさの段差が目立たなくなる。
なお、本実施形態では、前述した図11における、図6に示されている1点鎖線上の第1画像ファイル60の画素の一端及び他端に相当する位置の画素間の変化率とは、図11における、図6に示されている1点鎖線上の第1画像ファイル60の画素の一端及び他端に相当する位置の画素間の距離に対する、図11における、図6に示されている1点鎖線上の第1画像ファイル60の画素の一端及び他端に相当する位置の画素間での画素値の変動幅の比率であり、図11における、図6に示されている1点鎖線上の第2画像ファイル60の画素の一端から他端に相当する位置の画素間の変化率とは、図11における、図6に示されている1点鎖線上の第2画像ファイル60の画素の一端から他端に相当する位置の画素間の距離に対する、図11における、図6に示されている1点鎖線上の第2画像ファイル60の画素の一端から他端に相当する位置の画素間での画素値の変動幅の比率である。
次のステップ126では、上記ステップ124で作成した合成画像ファイル60をメモリカード52に記憶する。ステップ126の処理が終了すると本合成画像作成処理プログラムが終了する。
なお、本合成画像作成処理プログラムのステップ116〜ステップ122が本発明の出力手段及び出力ステップに相当し、ステップ124が本発明の合成画像形成手段及び合成画像形成ステップに相当する。
〔第2の実施形態〕
本第2の実施形態では、本発明を一般的なパーソナルコンピュータ(以下、「PC」と称す)に適用した形態例について説明する。なお、本第2の実施形態に係るもので上記第1及び第2の比較例並びに第1の実施形態に係るものと同一のものについては同一の符号を付し、その説明は省略する。
図12に本発明が適用されたPC70を示す。図12に示すように、PC70は、ディスプレイ72、キーボード74及びマウス76を周辺機器として備えている。また、PC70は、CPU78と、RAM80と、ROM82と、HDD84と、ディスプレイ72、キーボード74、マウス76の各々とデータを入出力するためのインタフェース回路(以下、「I/F」と称す)86、88、90とを備えている。CPU78、RAM80、ROM82、HDD84、I/F86、88、90は、バスBUSを介して相互に接続されている。なお、CPU78が本発明の合成手段に相当する。
上記のハードウェア構成はPCの一般的な構成であるため、以下では詳細な説明は省略し、本発明に係わる部分のみ詳細に説明する。
ROM82には、OS(Operating System)を始めとする当該PC70を動作させるための各種プログラムが予め記憶されており、特に本発明に係わるものとして、キーボード74やマウス76の入力操作に応じてコマンドを実行するための合成画像作成処理プログラム92が予め記憶されている。HDD84には、前述した第1画像ファイル60及び第2画像ファイル60が予め記憶されている。HDD84は記憶手段に相当する。
以下、上記のように構成されたPC70の作用を説明する。なお、PC70のCPU78によって実行される合成画像作成処理プログラム92の処理の流れを示すフローチャート(図示省略)は、図4に示すフローチャートの一部を変更したものである。即ち、このフローチャートは、図4に示すフローチャートにおいて、ステップ100の処理を削除し、ステップ106の第2画像ファイル60の画素の画素値に予め定められた重み付け係数を乗じて得た値に第1画像ファイル60の画素の画素値を加算して得た値を合成画像を形成するための画素の画素値としてメモリ48の所定領域に記憶する処理を、第2画像ファイル60の画素の画素値に予め定められた重み付け係数を乗じて得た値に第1画像ファイル60の画素の画素値を加算して得た値を合成画像を形成するための画素の画素値としてRAM80の所定領域に記憶する処理に置き換え、ステップ108の第1画像ファイル60の画素の画素値をメモリ48の所定領域に記憶する処理を、第1画像ファイル60の画素の画素値をRAM80の所定領域に記憶させる処理に置き換え、ステップ114の合成画像ファイル60をメモリカード52に記憶する処理を、合成画像ファイル60をHDD84に記憶する処理に置き換えたものである。
従って、このフローチャートの処理がCPU78によって実行されると、本第2の実施形態に係るPC70では、HDD84から第1画像ファイル60と第2画像ファイル60とが読み出され、各画像ファイル60から互いに位置が一致する画素の画素値が抽出され、これらの画素値が比較され、第2画像ファイル60の画素の画素値が第1画像ファイル60の画素の画素値よりも大きい場合、第2画像ファイル60の画素の画素値に予め定められた重み付け係数を乗じて得られた値に第1画像ファイル60の画素の画素値を加えて得た値が規定値を超えない範囲内で合成画像を形成するための画素の画素値とされ、第2画像ファイル60の画素の画素値が第1画像ファイル60の画素の画素値以下の場合、第1画像ファイル60の画素の画素値が合成画像を形成するための画素の画素値とされ、これらの画素値に基づいて合成画像ファイル60が作成され、当該合成画像ファイル60がHDD84に出力される。
なお、本第2の実施形態では、合成画像作成処理プログラム92の処理の流れを示すフローチャートとして、図4に示すフローチャートの一部を変更したものを用いたが、合成画像作成処理プログラム92の処理の流れを示すフローチャートとして、図8に示すフローチャートの一部を変更したもの又は図10に示すフローチャートの一部を変更したものを用いても良い。
ここで、前述した図8に示すフローチャートの一部を変更したものとは、図8に示すフローチャートにおいて、ステップ100の処理を削除し、ステップ106bの第1画像ファイル60の画素の画素値に予め定められた重み付け係数を乗じて得た値に第2画像ファイル60の画素の画素値を加算して得た値を合成画像を形成するための画素の画素値としてメモリ48の所定領域に記憶する処理を、第1画像ファイル60の画素の画素値に予め定められた重み付け係数を乗じて得た値に第2画像ファイル60の画素の画素値を加算して得た値を合成画像を形成するための画素の画素値としてRAM80の所定領域に記憶する処理に置き換え、ステップ108bの第2画像ファイル60の画素の画素値をメモリ48の所定領域に記憶する処理を、第2画像ファイル60の画素の画素値をRAM80の所定領域に記憶する処理に置き換え、ステップ114bの合成画像ファイル60をメモリカード52に記憶する処理を、合成画像ファイル60をHDD84に記憶する処理に置き換えたものである。
従って、このフローチャートの処理がCPU78によって実行されると、本第2の実施形態に係るPC70では、HDD84から第1画像ファイル60と第2画像ファイル60とが読み出され、各画像ファイル60から互いに位置が一致する画素の画素値が抽出され、これらの画素値が比較され、第1画像ファイル60の画素の画素値が第2画像ファイル60の画素の画素値よりも大きい場合、第1画像ファイル60の画素の画素値に予め定められた重み付け係数を乗じて得られた値に第2画像ファイル60の画素の画素値を加えて得た値が規定値を超えない範囲内で合成画像を形成するための画素の画素値とされ、第1画像ファイル60の画素の画素値が第2画像ファイル60の画素の画素値以下の場合、第2画像ファイル60の画素の画素値が合成画像を形成するための画素の画素値とされ、これらの画素値に基づいて合成画像ファイル60が作成され、当該合成画像ファイル60がHDD84に出力される。
一方、前述した図10に示すフローチャートの一部を変更したものとは、図10に示すフローチャートにおいて、ステップ100の処理を削除し、ステップ120の第1画像ファイル60及び第2画像ファイル60の各々から互いに位置が一致している1つの着目画素における画素値を抽出し、第1画像ファイル60から抽出した画素値に比率n1を乗じて得た値に、第2画像ファイル60から抽出した画素値に比率n2を乗じて得た値を加算して得た値を合成画像を形成するための画素の画素値としてメモリ48の所定領域に記憶する処理を、第1画像ファイル60及び第2画像ファイル60の各々から互いに位置が一致している1つの着目画素における画素値を抽出し、第1画像ファイル60から抽出した画素値に比率n1を乗じて得た値に、第2画像ファイル60から抽出した画素値に比率n2を乗じて得た値を加算して得た値を合成画像を形成するための画素の画素値としてHDD84の所定領域に記憶する処理に置き換え、ステップ124の合成画像ファイル60をメモリカード52に記憶する処理を、合成画像ファイル60をHDD84に記憶させる処理に置き換えたものである。
従って、このフローチャートの処理がCPU78によって実行されると、本第2の実施形態に係るPC70では、HDD84から第1画像ファイル60と第2画像ファイル60とが読み出され、第1画像ファイルにより示される画像の輝度値と第2画像ファイルにより示される画像の輝度値との和に対する第1画像ファイルにより示される画像の輝度値の比率に第1画像ファイルの画素の画素値を乗じて得た値に、第1画像ファイルにより示される画像の輝度値と第2画像ファイルにより示される画像の輝度値との和に対する第2画像ファイルにより示される画像の輝度値の比率に第2画像ファイルの画素の画素値を乗じて得た値を加えて得た値が前記規定値を超えない範囲内で合成画像を形成するための画素の画素値とされ、当該画素値に基づいて合成画像ファイル60が作成され、当該合成画像ファイル60がHDD84に出力される。
この結果、当該合成画像ファイル60により示される画像は、第1の実施形態と同様に、図11に示されているステップ120で得た画素値を有する画素で表される。よって、第1の実施形態で説明したデジタルカメラ10と同様の効果を得ることができる。
なお、本第2の実施形態では、一例として、画素値は0〜255の256通りの数値(18ビット)で表現し、上記規定値を255とする。また、本第2の実施形態に係る合成画像作成処理を実行することにより画素値が255を超えた場合は、当該画素値を255とする。
また、上記第1の実施形態によれば、第1画像情報により示される画像の輝度値と前記第2画像情報により示される画像の輝度値との和に対する第1画像情報により示される画像の輝度値の比率(ここでは、比率n2)に第1画像情報の画素の画素値を乗じて得た値に、前記和に対する第2画像情報により示される画像の輝度値の比率(ここでは、比率n1)に第2画像情報の画素の画素値を乗じて得た値を加えて得た値を前記規定値を超えない範囲内で合成画像を形成するための画素の画素値として出力するので、合成画像の明るさの段差を目立たなくすることができる。
以上、本発明を上記各実施形態を用いて説明したが、本発明の技術的範囲は上記各実施形態に記載の範囲には限定されない。発明の主旨を逸脱しない範囲で上記各実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記各実施形態は、特許請求の範囲に記載された発明を限定するものではなく、また、上記各実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。上記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。上記各実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
また、上記第1の実施形態では、合成画像作成処理プログラムがメモリ48のROM領域に予め記憶されており、上記第2の実施形態では、合成画像作成処理プログラム92がROM82に予め記憶されている例を挙げて説明したが、本発明はこれに限定されるものではなく、合成画像作成処理プログラムがコンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、合成画像作成処理プログラムが有線又は無線による通信手段を介して配信される形態等を適用することができる。
また、上記各実施形態で説明した合成画像作成処理プログラムの実行により得られる合成画像ファイル60により示される合成画像(図7、図9及び図11参照)の態様は一例であり、この態様が第1画像ファイル60により示される画像と第2画像ファイル60により示される画像とによって変わることは言うまでもない。
また、上記実施形態で説明したデジタルカメラ10の構成(図1〜図3参照)も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
また、上記第2の実施形態で説明したPC70の構成(図12参照)も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
また、上記各実施形態で説明した合成画像作成処理プログラムの処理の流れ(図4、図8及び図10)も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもなく、適宜変更可能である。
また、上記各実施形態では、画素値は0〜255の256通りの数値で表現し、規定値を255とする形態例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、画素値を0〜7の8通りの数値で表現し、規定値を7としても良い。また、画素値を0〜15の16通りの数値で表現し、規定値を15としても良い。更に、画素値を0〜31の32通りの数値で表現し、規定値を31としても良い。このように画素値の規定値はデジタルカメラ10やPC70の設計仕様や製造コストなどを考慮して、状況に最も合うと考えられる数値を採用すれば良い。
また、上記実施形態では、照明装置62を用いて人の顔の右上から当該顔に向けて一定の光量の光を継続して照射した状態で合成画像作成モードで当該顔を正面から撮影した場合の形態例を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、照明装置62を用いて人の顔の左上から当該顔に向けて一定の光量の光を継続して照射した状態で合成画像作成モードで当該顔を正面から撮影しても良い。また、照明装置62を用いずに合成画像作成モードで被写体を撮影しても良い。
また、上記実施形態では、予め定められた重み付け係数を「1」としたが、本発明はこれに限定されるものではなく、予め定められた重み付け係数を0よりも大きく1よりも小さな値としても良い。
また、上記各実施形態では、人の顔の画像を例に挙げて説明したが、本発明はこれに限定されるものではなく、人の顔以外の画像であっても良いことは言うまでもない。
また、上記第1の実施形態では、本発明をデジタルカメラに適用した場合について説明し、上記第2の実施形態では、本発明をPCに適用した場合について説明したが、本発明はこれに限定されるものではなく、本発明は、PDA(Personal Digital Assistant)や携帯電話機等の情報処理機器にも適用できることは言うまでもない。