JP5115568B2 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。

従来、夜景と人物被写体等の主要被写体とをシーンの撮影に際して、夜景と主要被写体との双方が際立った画像を記録できるよう様々な技術が考案されている。例えば、特許文献１に開示されている技術では、フラッシュ発光を伴うフラッシュオン撮影と、フラッシュを伴わないフラッシュオフ撮影とを連続して行う。このとき、フラッシュオフ撮影時には、夜景が適正に露光されるように、撮影感度を高く設定する。

これにより、フラッシュオフ撮影で得られた画像（非フラッシュ画像）は、主要被写体の明るさは不適正であるにしても、夜景の明るさは適正な画像となる。また、フラッシュ撮影で得られた画像（フラッシュ画像）は、夜景の明るさは不適正であるにしても、主要被写体の明るさは適正な画像となる。したがって、これら非フラッシュ画像とフラッシュ画像とを合成することにより、夜景と主要被写体との双方の明るさが適正で、双方が際立った画像を記録できるとするものである。

特開２００５−０８６４８８号公報

前述の技術にあっては、フラッシュオフ撮影時には、夜景が適正に露光されるように、撮影感度を高く設定する。このため、フラッシュオフ撮影時の画像、つまり夜景と主要被写体とからなる非フラッシュ画像上には熱ノイズが発生してしまうものの、主要被写体上に発生した熱ノイズに関しては、フラッシュ画像との合成により補正され消去される。

しかしながら、主要被写体領域以外に発生した熱ノイズに関しては補正されることが無いため、熱ノイズが残存した低品位の画像が得られることには変わりないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、比較的暗い撮影環境であっても背景と主要被写体との双方が際立った高品位の画像を得ることができるようにすることを目的とするものである。

前記課題を解決するために請求項１記載の発明は、撮像手段と、発光手段と、前記撮像手段に対し、画像を複数撮像するよう制御する第１の撮像制御手段と、この第１の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段と、前記第１の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第２の撮像制御手段と、この第２の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段と、この選択手段によって選択された画像と前記第１の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段と、この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段と、前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第１の撮像制御手段による撮像タイミングに最も近いタイミングで前記第２の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段と、を備えることを特徴とする。

また、請求項２記載の発明は、請求項１に記載の発明において、前記加算合成手段によって得られた画像と前記第２の撮像制御手段によって撮像された画像とのホワイトバランスを一致させるよう調整するホワイトバランス調整手段を更に備えたことを特徴とする。

また、請求項３記載の発明は、請求項１又は２に記載の発明において、前記合成手段による合成に先立ち、前記加算合成手段によって加算合成された画像にγ補正を施す補正処理手段を更に備えたことを特徴とする。

また、請求項４記載の発明は、請求項１、２又は３に記載の発明において、前記合成手段による合成に先立ち、該合成手段によって合成されるべき、前記加算合成手段によって加算合成された画像又は前記第２の撮像手段によって撮像された画像の少なくとも一方の輝度を調整する輝度調整手段を更に備えたことを特徴とする。

また、請求項５記載の発明は、請求項４記載の発明において、前記加算合成手段によって加算合成された画像又は前記第２の撮像手段によって撮像された画像に含まれる顔画像を検出する顔画像検出手段を更に備え、前記輝度調整手段は、前記顔画像検出手段により検出された顔画像を含む肌色領域に基づいて、輝度の合成度合いを調整することを特徴とする。

また、請求項６記載の発明は、撮像手段に対し、画像を複数撮像するよう制御する第１の撮像制御ステップと、この第１の撮像制御ステップにて得られた複数の画像について、位置合わせを行い加算合成する加算合成ステップと、前記第１の撮像制御ステップによる撮像の直前若しくは直後に、発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第２の撮像制御ステップと、この第２の撮像制御ステップにて撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択ステップと、この選択ステップにて選択された画像と前記第１の撮像制御ステップにより得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断ステップと、この判断ステップにて略一致すると判断した場合には、前記加算合成ステップにて加算合成された画像と前記選択ステップにて選択された画像とを合成する合成ステップと、前記判断ステップにて略一致しないと判断した場合には、前記加算合成ステップにて加算合成された画像と前記第１の撮像制御ステップの撮像タイミングに最も近いタイミングで前記第２の撮像制御ステップにて撮像された画像とを合成するよう制御する合成制御ステップと、を含むことを特徴とする。

また、請求項７記載の発明は、撮像手段と発光手段とを備える撮像装置が有するコンピュータを、前記撮像手段に対し、画像を複数撮像するよう制御する第１の撮像制御手段、この第１の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段、前記第１の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第２の撮像制御手段、この第２の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段、この選択手段によって選択された画像と前記第１の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段、この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段、前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第１の撮像制御手段による撮像タイミングに最も近いタイミングで前記第２の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段、として機能させることを特徴とする。

本発明によれば、夜景と主要被写体との双方が際立った画像であり、かつ、熱ノイズのない高品位の画像が得ることができる。

本発明の各実施の形態に共通するデジタルカメラの回路ブロック図である。 本発明の第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態における撮影のタイミングを示す図である。 デモザイク時のトーンカーブ設定を示す図である。 画像位置合わせ処理の処理手順を示すフローチャートである。 加算平均画像のヒストグラムを示す図である。 γ値算出処理の処理手順を示すフローチャートである。 加算合成処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における処理手順を示すフローチャートである。 画像合成処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における画像合成処理の処理手順を示すフローチャートである。 図１１のフローチャートのステップＧ１の詳細を示すフローチャートである。 ＵＶ重み付けα値の特性を示す図である。 顔枠の変化を示す図である。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の各実施の形態に共通するデジタルカメラ１００の電気的構成を示す回路ブロック図である。このデジタルカメラ１００は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１には、ズームレンズや図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。

レンズブロック１が有する光軸上にはメカシャッタ１２とＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子で構成された撮像部２とが配置されている。撮像部２からの画像を表すアナログ信号は、Ａ／Ｄ変換部３によりデジタル信号に変換されてＤＲＡＭ（Dynamic Random Access Memory）で構成されたワークメモリ４に格納される。

カスタムＬＳＩ７（Large Scale Integration）は、ＤＲＡＭ４に格納された画像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。撮影モードでは、ワークメモリ４に１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換されて、液晶表示コントローラ５に送られる。液晶表示コントローラ５は、ワークメモリ４から送られてきたビデオ信号に基づき、液晶表示部８を駆動する。これにより、液晶表示部８にはライブビューで逐次撮像されている画像が表示される。また、撮影モードにおいては、シャッタボタン９の操作をトリガとしてワークメモリ４に画像データを一時記憶し、この一時記憶された画像データは、カスタムＬＳＩ７により圧縮されて最終的には所定のフォーマットの静止画ファイルとして外部記憶媒体１１に記録される。

カスタムＬＳＩ７は、ＣＰＵ（Central Processing Unit）コア７ａ、フラッシュ制御部７ｂ、受光制御部７ｃ、デモザイク部７ｄ、特徴量演算部７ｅ、ＳＲＡＭ（Static Random Access Memory）７ｆ、ブロックマッチング部７ｇ、画像変形合成加算部７ｈ、プログラムＲＯＭ７ｉ、及びメカシャッタ制御部７ｊを有している。

ＣＰＵコア７ａは、プログラムＲＯＭ７ｉに記憶されているプログラムに従って、ワークメモリ４をワークエリアとして使用しつつ各処理を実行することにより、カスタムＬＳＩ７を構成する前記各部を制御する。また、フラッシュ制御部７ｂは、ＣＰＵコア７ａからの指示に従って、フラッシュ発光部６の発光タイミングを制御する。受光制御部７ｃは、ＣＭＯＳ撮像素子２とＡ／Ｄ変換部３との動作タイミングを制御し、電子シャッタとして機能させる。

デモザイク部７ｄは、ＲＡＷ画像（非圧縮画像）のデモザイク処理を行う。特徴量演算部７ｅは、撮影された画像から顔画像を検出する際や、検出した顔画像において瞬きの検出、詳細には眼が開いているか否かを判断する際に用いられる。ブロックマッチング部７ｇは、ＳＲＡＭ７ｆをワークエリアとして用い、画像位置合わせを行う際に必要となる画像同士のブロックマッチング処理を行う。画像変形合成加算部７ｈは、フラッシュ発光部６の発光を伴わずに撮影された画像である非フラッシュ画像と、フラッシュ発光部６の発光を伴って撮影された画像であるフラッシュ画像の合成加算処理等を行う。メカシャッタ制御部７ｊは、メカシャッタ１２を制御するものである。

また、カスタムＬＳＩ７のＣＰＵコア７ａには、シャッタボタン９、モードボタン１０及び外部記憶媒体１１が接続されている。シャッタボタン９は、１段目の操作ストローク（半押し）と、２段目の操作ストローク（全押し）との２段階の操作ストロークを有する釦式スイッチからなる。モードボタン１０は、ユーザの操作に応じて、撮影モード、再生モードの切り替え指示信号を送出する。また、撮影モードにおける「連写合成による夜景と人物モード」等の詳細な撮影モードの指示信号も出力する。

外部記憶媒体１１は、ＳＤカード等の着脱自在な記録媒体である。外部記憶媒体１１には、通常の撮影モード、あるいは「連写合成による夜景と人物モード」等の撮影モードで撮影された画像の画像データが記憶される。また、再生時には、外部記憶媒体１１から読み出された画像データがＣＰＵコア７ａを介して、液晶表示コントローラ５に供給され、液晶表示部８に再生画像が表示される。

なお、プログラムＲＯＭ７ｉには撮影時の適正な露出値である適正露出に対応する絞り値とシャッタスピード（シャッタ時間、露光時間）との組み合わせを示すプログラム線図を構成するプログラムＡＥデータも格納されている。

（第１の実施の形態）
次に、本発明の第１の本実施の形態の動作について、図２のフローチャートに従って説明する。ユーザがモードボタン１０を操作して、撮影モードにおける「夜景と人物モード」を設定すると、カスタムＬＳＩ７のＣＰＵコア７ａは、プログラムＲＯＭ７ｉに記憶されているプログラムに従って処理を開始する。

まず、ＣＰＵコア７ａは、液晶表示コントローラ５を制御して、液晶表示部８に逐次撮像されている画像をライブビューで表示させる（ステップＡ１）。次に、ＣＰＵコア７ａは、シャッタボタン９が半押しされたか否かを判断し（ステップＡ２）、シャッタボタン９が半押しされたならば、測光処理、及び、合焦処理を実行し、適正露出値、及び、フォーカス位置を取得する（ステップＡ３）。したがって、このステップＡ３の測光処理により、絞り値とシャッタ速度（後述のシャッタ時間、及び、露光時間と同義）とからなる適正露出値が演算される。

そして、ユーザが撮影を行うべく、シャッタボタン９を全押しするとステップＡ４の判断がＹＥＳとなる。したがって、ＣＰＵコア７ａはステップＡ４からステップＡ５に処理を進めて、フラッシュ制御部７ｂに指示し、フラッシュ発光部６を予備発光させる（ステップＡ５）。この予備発光は、フラッシュ発光部６の発光量を調光する目的、及び主要被写体となる人物の眼について赤目を防止する目的で行われるものであり、後述するステップＡ７でのフラッシュ発光を伴う連写の、例えば少なくとも０．８秒前までに実行する。

引き続き、適正露出値に対して、シャッタ時間（露光時間）を２段（露光時間に換算して適正露出値に対応する露光時間の１／４）下げた撮影条件で、先ず、フラッシュ発光部６による発光を行うこと無しにローリングシャッタ方式で８回連続的に撮影する（ステップＡ６）。

引き続き、フラッシュ制御部７ｂの駆動によりフラッシュ発光部６を発光させて、メカシャッタ方式で３回連続的に撮影する（ステップＡ７）。この時のメカシャッタ１２の間隔は、被写体人物が瞬いた状態で撮影される瞬き画像の撮影を回避するために、例えば０．１秒以上開ける。

また、前記ステップＡ７での撮影の際の撮影条件は、前記ステップＡ６での撮影よりもＩＳＯ感度を低くして撮影する。また、メカシャッタ制御部７ｊは、遠方の背景はできるだけ写らないようにするため、メカシャッタ１２がフラッシュ発光部６が発光しているタイミングで開状態となるように制御する。

したがって、前記ステップＡ６とこのステップＡ７での処理とにより、図３に示すように、ワークメモリ４には８枚のＲＡＷ画像と３枚のＲＡＷ画像との計１１枚のＲＡＷ画像が格納される。

ステップＡ８では、これら１１枚のＲＡＷ画像についてホワイトバランスを計測する。そして、ステップＡ８で計測されたホワイトバランスに基づいて、デモザイク部７ｄによりＲＡＷ画像１１枚全てについてデモザイクを行う（ステップＡ９）。このとき、図４（ａ）に示すように、ステップＡ７で撮影された３枚のＲＡＷ画像に関しては、ヒストグラムの伸長度によりγカーブを決定する。一方、図４（ｂ）に示すように、ステップＡ６で撮影されたＲＡＷ画像については、白飛びの発生を抑制するために、逆γのトーンカーブを補正する。これにより、フラッシュ発光による白飛び部分の輝度を抑えることができる。

次に、特徴量演算部７ｅでの演算処理により、デモザイクされた１１枚の画像のうちステップＡ７で撮影されたものに対応する３枚の画像から被写体の顔画像を検出するとともに、検出した顔画像についてブレが少ないか否か、また、（複数の被写体人物が含まれる場合には）より多くの顔画像について眼が開いているか否かを基準として、最も評価の高い画像を選択する（ステップＡ１０）。このステップＡ１０で選択される画像は、後述するようにステップＡ６で撮影されたものに対応する画像の位置合わせ処理において一致しなかった場合や、ステップＡ６で撮影されたものに対応する画像との加算合成に用いられる画像である。

ステップＡ１０にて画像の選択が終了すると、この選択された画像とステップＡ６で撮影されたものに対応する８枚の画像との位置合わせ処理を実行する（ステップＡ１１）。

図５は、この画像位置合わせ処理（ステップＡ１１）の処理手順を示すフローチャートである。この画像の位置合わせに際しては、ステップＡ６で撮影された８枚のＲＡＷ画像と、ステップＡ７で撮影された３枚のＲＡＷ画像とについて先ず、サイズを変更することなくＹＵＶ画像を夫々生成し、更に、位置合わせ用にＶＧＡサイズに縮小した縮小ＹＵＶ画像を生成する（ステップＢ１）。画像同士の位置合わせに際しては、基準となる画像である基準画像を決定する必要がある。そこで、本実施の形態においては、最初は、ステップＡ６で連続的に撮影されたものに対応する縮小ＹＵＶ画像については、中間点で撮影されたものに対応する縮小ＹＵＶ画像を基準画像として決定する（ステップＢ２）。例えば、本実施の形態においては、８回連続的に撮影されることから、中間点である４回目に撮影されたものに対応する縮小ＹＵＶ画像を基準画像とする。

なお、基準画像の決定方法は、このように中間時点で撮影されたものに限ることなく、先頭、若しくは、ステップＡ７での撮影の直前に撮影されたものであってよい。
（最終的にはフラッシュ発光時に撮影した画像と合成することを目的とすると、ステップＡ７での撮影の直前に撮影されたものを基準画像として選択するのが望ましい。）

次に、ステップＢ２で決定した基準画像と他の７枚の縮小ＹＵＶ画像との位置合わせを行う（ステップＢ３）。この位置合わせは、ブロックマッチング及びＲＡＮＳＡＣ法により行う。このとき、前記ステップＡ６での連写時に手ブレが生じていると、連写された画像が合致せず、画像の位置合わせが不成功となる場合が生ずる。

したがって、続くステップＢ４では、ステップＡ６で８回連続的に撮影されたもののうち最も直近に撮影されたものの縮小ＹＵＶ画像との位置合わせが成功したか否かを判断する。ここで、画像の位置合わせが成功したか否かの判断は、例えばブロックマッチングにおけるブロックが基準画像に対して９０％以上一致している場合には、位置合わせが成功したものとし、これ未満である場合には、位置合わせが失敗したものとする。つまり、画像が略一致するか否かを判断するものとする。そして、ステップＢ４で位置合わせが成功した場合には、ステップＢ４からステップＢ７に進んで、ステップＡ７で撮影された画像との位置合わせに移行する。

なお、ブロックマッチングにおけるブロックが基準画像に対して完全一致（１００％一致）している場合には、位置合わせが成功したものとし、これ以外である場合には、一合わせが失敗したものとするようにしてもよい。

しかし、ステップＢ４にて位置合わせが成功しなかった場合には、ステップＢ２で決定した基準画像が連続的に撮影された８枚のうち直近、又は、直近から２番目に撮影されたものに対応する縮小ＹＵＶ画像であるか否かを判断する（ステップＢ５）。直近、又は、直近から２番目に撮影されたものに対応する縮小ＹＵＶ画像でないと判断した場合には、連続的に撮影された８枚のうち直近に撮影したものに対応する縮小ＹＵＶ画像を消去するとともに、残る複数の縮小ＹＵＶ画像から、新しい基準画像を決定する（ステップＢ６）。このステップＢ６においても、残る複数の縮小ＹＵＶ画像のうち、中間点に撮影されたものに対応する縮小ＹＵＶ画像を新たな基準画像として決定する。

したがって、ステップＢ４の判断がＮＯとなって、位置合わせが不成功となる都度、ステップＢ６の処理で縮小ＹＵＶ画像が消去され、位置合わせする縮小ＹＵＶ画像の枚数が減少する。また、このような処理を繰返すと、結果的に決定される基準画像については、順次最古に撮影されたものにシフトしていく。そして、この処理の繰り返しにより、ステップＢ５で基準画像が直近から２番目に撮影されたものに対応する縮小ＹＵＶ画像であると判断されると、縮小ＹＵＶ画像の位置合わせは失敗と判断されて終了する（ステップＢ９）。

また、ステップＢ５で位置合わせが成功した場合には、この基準画像とステップＡ７で撮影されたもののうち最も最古に撮影されたものに対応する縮小ＹＵＶ画像との位置合わせを行い（ステップＢ７）、画像位置合わせを終了する（ステップＢ８）。

このようにして、図２のステップＡ１１で画像の位置合わせを行い、その結果として位置合わせが成功しているか否かを判断する（ステップＡ１２）。ステップＢ８で位置合わせが成功している場合には、ステップＡ１２からステップＡ１４に進む。そして、位置合わせが成功した枚数分（３〜８枚）について、ステップＢ１でサイズを変更することなく生成されたＹＵＶ画像について夫々位置合わせして、加算平均する（ステップＡ１４）。

つまり、ブロックマッチングで一致したブロック毎に加算平均することにより、位置合わせが成功したＹＵＶ画像の加算平均画像を生成する。

なお、本実施の形態においては、位置合わせが成功した枚数分を位置合わせして、加算平均するようにしたが、８枚のＹＵＶ画像を位置合わせして、加算平均するようにしてもよい。

次に、加算平均画像のγ（補正）値算出処理を実行する（ステップＡ１５）。この処理は、背景が暗くなることを抑制するために行われる。すなわち、ステップＡ６で撮影されたＲＡＷ画像と、ステップＡ７で撮影されたＲＡＷ画像とを平均加算した場合、ステップＡ６で撮影されたＲＡＷ画像において画素値が大きい領域と、ステップＡ７で撮影されたＲＡＷ画像において画素値が大きい領域とが明確に分離されていれば、後段のヒストグラム伸長で、ゲインを戻すことが可能である。しかし、図６に示すように、両者において画素値が大きい領域が重なっている場合は、画像の重なる箇所が多いほど、ヒストグラムにおける高輝度側が伸びることになる。こうなった場合、ヒストグラム伸長の余地が少なく、ゲインを戻すことができず、特にフラッシュ光の当たらない背景が暗く修正されてしまう。このため、ステップＡ６で撮影されたものに対応するＹＵＶ画像についてはγ補正をかけて、背景が暗くなることを抑制する。

図７は、加算平均画像のγ値算出処理（ステップＡ１５）の処理手順を示すフローチャートである。まず、加算平均画像とステップＡ７で撮影されたものに対応するＹＵＶ画像とを加算平均する（ステップＣ１）。次に、このステップＣ１で加算平均された輝度値のヒストグラムマップを作成する（ステップＣ２）。作成したヒストグラムマップを積分して、輝度ＭＡＸ（最大）側から０．５％となるＭＡＸ側ポイント（Yhistmax）を算出する（ステップＣ３）。この算出されたＭＡＸ側ポイントをもとに、γ値を下記例示式により算出する。
γ=Kcoef(Yhistmax-Ythresh）
但し、
γ＝非フラッシュ画像にかけるγ補正のγ値
Kcoef：調整用係数
Yhistmax：単純加算平均画像におけるヒストグラムＭＡＸ側０．５％のポイントの輝度値
Ythresh：調整用閾値

そして、図２のフローチャートにおけるステップＡ１５に続くステップＡ１６では、前記ステップＡ１４で得られた加算平均画像を、ステップＡ１５で得られたγ値で補正する。次に、このγ補正された加算平均画像と、前記ステップＡ１０で選択された画像とを合成加算処理する（ステップＡ１７）。

これにより、ステップＡ１７で加算合成処理が行われる前に、ステップＡ１６で加算平均画像のγ補正を行うことから、背景（夜景）の輝度低下を抑えることができる。

図８は、このステップＡ１７で実行される加算合成処理の詳細を示すフローチャートである。このフローチャートにおいて、ＹＵＶ成分のうち、Ｙ（輝度）成分に関しては、ステップＤ２〜Ｄ７の処理を実行し、Ｕ（輝度と青色成分との差）成分、及びＶ（輝度と赤色成分との差）成分に関しては、ステップＤ１の処理のみを行う。

すなわち、前記ステップＡ１６で得られたγ補正された加算平均画像と、前記ステップＡ１０で選択された画像とを加算平均し、加算合成画像を生成する（ステップＤ２）。また、この加算平均により得られた画像にシャープネスフィルタをかけて、画像の輪郭を強調させる（ステップＤ３）。更に、Ｙの輝度値分布のヒストグラムマップを作成する（ステップＤ４）。但し、全画素に対して計測を行うとヒストグラムマップの作成処理時間がかかるので、例えば１００画素おきに計測する。

次に、ヒストグラム伸長閾値を取得する（ステップＤ５）。つまり、高輝度側のヒストグラムマップ面積の０．５％のポイントとなる輝度値を求める。また、トーンカーブ画素変換テーブル、つまりステップＤ５で求めた高輝度側の伸長ポイントが、それぞれ２５５となる直線変換の変換テーブルを作成する（ステップＤ６）。この作成した変換テーブルに基づき、ステップＤ２で生成した加算合成画像のＹ成分を伸長する。

他方、ＵＶ成分に関しては、Softmax処理で合成する（ステップＤ２）。Ｕ成分について説明すると、下記例示式で計算される出力値をＵのSoftmax出力値（USoftmax）とする。
Ucomp=(Uave+Umax*Coef)/(1+Coef)
但し、
Ucomp：USoftmax出力値
Uave：Ｕの平均値
Umax：Ｕの絶対値とＶの絶対値の和が一番大きい画像のＵの値
Coef：調整係数

また、Ｖ成分について説明すると、下記例示式で計算される出力値をＶのSoftmax出力値（VSoftmax）とする。
Vcomp=(Vave+Vmax*Coef)/(1+Coef)
但し、
Vcomp：VSoftmax出力値
Vave：Ｖの平均値
Vmax：Ｕの絶対値とＶの絶対値の和が一番大きい画像のＶの値
Coef：調整係数

このようにして、図２のフローチャートにおけるステップＡ１７でγ補正された加算平均画像と、ステップＡ１０で選択された画像との合成加算処理が終了したならば、この合成加算処理された画像を最終出力画像として、外部記憶媒体１１に保存する。

よって、最終出力画像として、夜景と人物被写体との双方が際立った画像であり、かつ、熱ノイズのない高品位の画像が得ることができる。

しかも、本実施の形態においては、フラッシュ発光部６を発光させて３回連続的に撮影するため、顔画像にブレが少ない評価の高い画像を選択して（ステップＡ１０）、加算合成に使用するようにした。よって、主要被写体である人物が高品位である画像を記録することもできる。

他方、前述のように、ステップＢ９で画像位置合わせが終了し、位置合わせが失敗している場合には、ステップＡ１２からステップＡ１３に進む。そして、このステップＡ１３では、前記ステップＡ１０で選択されている１枚の画像のみを、例えばＪＰＥＧフォーマットで現像し、最終出力画像とする。更に、この最終画像を外部記憶媒体１１に保存する。

ここで、ステップＡ１０で選択されている画像とは、前述のように、検出した顔にブレが少なく、複数の人物被写体においてより多くの人物の眼が開いている画像である。したがって、非フラッシュ画像の位置合わせが失敗であった撮影時においても、画像中における複数の人物被写体にブレがなく、より多くの人物の眼が開いている画像を記録することができる。

なお、本実施形態においては、ステップＡ６の処理の後にステップＡ７の処理を行うようにしたがこれとは逆にしてもよい。

また、本実施の形態においては、ステップＡ１０で選択された画像を加算合成に用いるようにした。しかし、位置合わせで画像が略一致し位置合わせが成功した場合には、前記選択された画像を用い、略一致せず位置合わせが失敗した場合には、ステップＡ６の処理の直後に撮影された画像を加算合成に用いるようにしてもよい。

このようにすれば、３回連続的に撮影された画像にブレがある場合であっても、８回連続的に撮影された画像との関係においては、一致性が最も高い画像を加算合成に用いることができる。

更に、本実施の形態においては、ステップＡ１７で加算合成された最終出力画像をそのまま外部記憶媒体１１に保存するようにしたが、最終出力画像のホワイトバランスを３回連続的に撮影された画像のホワイトバランスと一致させるホワイトバランス調整ステップ（ホワイトバランス調整手段）を設けるようにしてもよい。これにより、被写体人物のホワイトバランスが適正な画像を最終出力画像として記録することができる。

（第２の実施の形態）
図９は、本発明の第２の実施の形態における処理手順を示すフローチャートである。本実施の形態は、第１の実施の形態とは合成の手順が異なり、γ補正とヒストグラム伸長で合成する代わりに、加算平均後、YMax値によって画素の輝度をゲイン調整する。

図９のフローチャートにおいて、ステップＥ１〜Ｅ１４及びステップＥ１８は、図２に示した第１の実施の形態のフローチャートにおけるステップＡ１〜Ａ１４及びステップＥ１８と同一である。したがって、ステップＥ１〜Ｅ１４及びステップＥ１８については説明を省略する。第１の実施の形態におけるステップＡ１５〜Ａ１７に代わって実行されるステップＥ１５においては、画像合成処理を実行する。

図１０は、画像合成処理の処理手順を示すフローチャートである。ステップＥ１０で選択された画像と、加算平均画像とを加算平均する（ステップＦ１）。

また、選択された画像と加算平均画像との輝度のＭＡＸ値（最大値）で構成されるYmax画像を生成する（ステップＦ２）。更に、前記ステップＦ１で加算平均画像の輝度が、Ymax/2となるように、αマップを作成する（ステップＦ３）。

つまり、ステップＦ１で得られた加算平均画像の輝度の平均値であるYaveが、Ymax/2となるようなαを各画素に対して求める。具体的には、α=Ymax/(2*Yave)の演算を行う。この演算を行うことにより、ヒストグラム分布が必ず１２８以下となる（輝度が８bitの場合）。

引き続き、前記ステップＦ３で得られたαマップの各値を、ステップＦ１で得られた加算平均画像にかけることにより、加算平均画像を減衰させる（ステップＦ４）。更に、このステップＦ４での処理でヒストグラム圧縮されたものを２倍のゲインをかけて戻す（ステップＦ５）。

以上で、図９のフローチャートにおけるステップＥ１５の合成処理を終了し、前記ステップＦ５で得られた画像を最終出力画像として外部記憶媒体１１に保存する。

したがって、本実施の形態によれば、合成処理を第１の実施の形態よりも簡単なものにすることができる。

（第３の実施の形態）
図１１は、本発明の第３の実施の形態において、図９のフローチャートのステップＥ１５で実行される画像合成処理の処理手順を示すフローチャートである。

すなわち、第３の実施の形態における全般的な処理は、前述した第２の実施の形態と同様に、図９に示したフローチャートに従って実行される。但し、第２の実施の形態においては、画像合成処理（ステップＥ１５）が図１０に示したフローチャートに従って実行されたのに対し、第３の実施の形態においては、画像合成処理（ステップＥ１５）が図１１に示したフローチャートに従って実行される。

この図１１のフローチャートにおいて、ステップＧ２〜Ｇ６は、図１０に示した第２の実施の形態のフローチャートにおけるステップＦ１〜Ｆ５と同一である。そして、前記図１０のフローチャートにおけるステップＦ１〜Ｆ５と同一の処理であるステップＧ２〜Ｇ６に、新たにステップＧ１が加えられている。この加えられたステップＧ１では、選択された画像の輝度、加算平均画像の輝度に対してＵＶ重み付け加算処理を実行する。

図１２は、ＵＶ重み付け加算処理（ステップＧ１）の処理手順を示すフローチャートである。先ず、各画素について、ステップＥ１０で選択された画像の輝度Ｙｆと、加算平均画像の輝度Ｙｎｆにより、ＵＶ合成用のαマップを作成する（ステップＨ１）。ＵＶ重み付けα計算式を下記に示す。
αuvf(x,y) = αf(Yf(x,y)) - αnf(Ynf(x,y)) + 0.5 : (右辺が0〜1.0の範囲を超えた倍は、クリップ処理をする。)
（但し、x,yは画素の座標）
前記関数αf(Y)、αnf(Y) は、図１３にも示すように下記特性を持たせる。
αf (Y) = 0 ： (Y < 128 )
= af * (Y-128) ： (Y ≧ 128 )
αnf (Y) = 0 ： (Y < 192 )
= anf * (Y-192) ： (Y ≧ 192 , anf > af)

また、図１３において、
α_ＵＶＮＦ（ｘ，ｙ）は、座標（ｘ，ｙ）における選択された画像のＵＶ合成比率、
Ｙ_Ｆ（ｘ，ｙ）は、選択された画像の輝度値、
Ｙ_ＮＦ（ｘ，ｙ）は、平均加算画像の輝度値、
「ａ」「ｂ」は、選択された画像と平均加算画像両方が飽和気味のところは、平均加算画像のＵＶの重み付けを１．０とするために、ｂ−ａ＞0.5となる加点関数の傾き（ａ_Ｆ，ａ_ＮＦ）を設定することを示す。

前記数式及び図１３は、下記事項を意味する。
１．選択された画像の輝度のみが飽和領域に近い場合は、選択された画像のＵＶの重みを重たくする。
２．加算平均画像の輝度のみが飽和領域に近い場合は、選択された画像のＵＶの重みを重たくする。
３．選択された画像、加算平均画像の双方の輝度が飽和領域に近い場合は、フラッシュ以外の光源を直接撮影している可能性が高く、ＷＢのずれた選択された画像のＵＶが張り付かないように、加算平均画像のＵＶの重みを重たくする。
４．選択された画像、加算平均画像の双方の輝度が中間値より低い場合は、１：１で加算平均する。
５．選択された画像、加算平均画像の双方の輝度が中間値より若干高い場合は、選択された画像のＵＶの重みづけを重くする。これは、顔などのフラッシュ画像の輝度が高い領域での色混合による変色を目立たなくするためである。

次に、選択された画像に対して、顔画像検出を行う（ステップＨ２）。このステップＨ２において、選択された画像から顔画像を検出した際には、図１４に示すように、顔画像２０における顔部分を囲繞する顔枠２１を設定して、顔枠２１内の部分が顔画像２０であることを特定する。

引き続き、顔画像が検出されてこれを特定する顔枠を、顔画像よりも下部の首画像部分が含まれるように、枠を縦方向に延長する（ステップＨ３）。このステップＨ３での処理により、図１４に点線で示す延長部２２が加えられて、顔枠２１は縦方向に延長される。また、顔枠２１内には、顔画像２０のみならずその下部部分の肌色領域でもある頸画像２２までが含まれることとなる。

更に、この延長された顔枠２１の内側について、顔枠２１からの距離が遠くなる（つまり、顔枠２１の中心に近くなる）に従い、値が大きくなるようなα値の加点を行う（ステップＨ４）。しかる後に、前記ステップＨ１で作成されたＵＶ合成用のαマップに基づき、選択された画像と平均加算画像のＵＶを合成する（ステップＨ５）。

これにより、図１１のフローチャートにおけるステップＧ１の処理が終了する。引き続き、ステップＧ２〜ステップＧ６で、前述した第２の実施の形態における図１０のステップＦ１〜ステップＦ５と同様の処理を実行する。

以上で、図９のフローチャートにおけるステップＥ１５の合成処理を終了し、前記ステップＧ６で得られた画像を最終出力画像として外部記憶媒体１１に保存する。

したがって、本実施の形態によれば、選択された画像（フラッシュ画像）と平均加算画像（非フラッシュ画像）との合成による不自然な着色が目立つことを防止することができる。

しかも、本実施の形態においては、顔画像に対して輝度調整を行うことから、選択された画像（フラッシュ画像）と平均加算画像（非フラッシュ画像）との合成による顔画像が不自然な着色が目立つことを防止することができる。

更に、顔画像のならずその下部の首画像までも輝度調整を行うようにしたことから、人物被写体の顔画像を含む肌色領域において、選択された画像（フラッシュ画像）と平均加算画像（非フラッシュ画像）との合成による不自然な着色が目立つことを防止することができる。

なお、ステップＧ１においては、選択された画像の輝度と、平均加算画像の輝度の両方に基づき、ＵＶ重み付け加算処理を行うようにしたが、いずれか一方の画像の輝度に基づき、ＵＶ重み付け加算処理を行うようにしてもよい。このようにした場合であっても、選択された画像（フラッシュ画像）と平均加算画像（非フラッシュ画像）との合成による不自然な着色を目立たないようにすることができる。

また、平均加算画像（非フラッシュ画像）の輝度が飽和に近い程度高い場合、選択された画像（フラッシュ画像）の重み付けを減らすことなく、フラッシュ画像のホワイトバランスをフラッシュ画像に合わせて加算するようにしてもよい。

１ レンズブロック
２ ＣＭＯＳ撮像素子
４ ワークメモリ
５ 液晶表示コントローラ
６ フラッシュ発光部
７ カスタムＬＳＩ
７ａ ＣＰＵコア
７ｂ フラッシュ制御部
７ｃ 受光制御部
７ｄ デモザイク部
７ｅ 特徴量演算部
７ｆ ＳＲＡＭ
７ｇ ブロックマッチング部
７ｈ 画像変形合成加算部
７ｉ プログラムＲＯＭ
７ｊ メカシャッタ制御部
８ 液晶表示部
９ シャッタボタン
１０ モードボタン
１１ 外部記憶媒体
１２ メカシャッタ
１００ デジタルカメラ

Claims (7)

1. 撮像手段と、
   発光手段と、
   前記撮像手段に対し、画像を複数撮像するよう制御する第１の撮像制御手段と、
   この第１の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段と、
   前記第１の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第２の撮像制御手段と、
   この第２の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段と、
   この選択手段によって選択された画像と前記第１の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段と、
   この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段と、
   前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第１の撮像制御手段による撮像タイミングに最も近いタイミングで前記第２の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記合成手段によって得られた画像のホワイトバランスを前記第２の撮像制御手段によって撮像された画像のホワイトバランスと一致させるよう調整するホワイトバランス調整手段を更に備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段による合成に先立ち、前記加算合成手段によって加算合成された画像にγ補正を施す補正処理手段を更に備えたことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記合成手段による合成に先立ち、該合成手段によって合成されるべき、前記加算合成手段によって加算合成された画像又は前記第２の撮像手段によって撮像された画像の少なくとも一方の輝度を調整する輝度調整手段を更に備えたことを特徴とする請求項１、２又は３に記載の撮像装置。
5. 前記加算合成手段によって加算合成された画像又は前記第２の撮像手段によって撮像された画像に含まれる顔画像を検出する顔画像検出手段を更に備え、
   前記輝度調整手段は、前記顔画像検出手段により検出された顔画像を含む肌色領域に基づいて、輝度の合成度合いを調整することを特徴とする請求項４記載の撮像装置。
6. 撮像手段に対し、画像を複数撮像するよう制御する第１の撮像制御ステップと、
   この第１の撮像制御ステップにて得られた複数の画像について、位置合わせを行い加算合成する加算合成ステップと、
   前記第１の撮像制御ステップによる撮像の直前若しくは直後に、発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第２の撮像制御ステップと、
   この第２の撮像制御ステップにて撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択ステップと、
   この選択ステップにて選択された画像と前記第１の撮像制御ステップにより得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断ステップと、
   この判断ステップにて略一致すると判断した場合には、前記加算合成ステップにて加算合成された画像と前記選択ステップにて選択された画像とを合成する合成ステップと、
   前記判断ステップにて略一致しないと判断した場合には、前記加算合成ステップにて加算合成された画像と前記第１の撮像制御ステップの撮像タイミングに最も近いタイミングで前記第２の撮像制御ステップにて撮像された画像とを合成するよう制御する合成制御ステップと、
   を含むことを特徴とする撮像方法。
7. 撮像手段と発光手段とを備える撮像装置が有するコンピュータを、
   前記撮像手段に対し、画像を複数撮像するよう制御する第１の撮像制御手段、
   この第１の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段、
   前記第１の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第２の撮像制御手段、
   この第２の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段、
   この選択手段によって選択された画像と前記第１の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段、
   この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段、
   前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第１の撮像制御手段による撮像タイミングに最も近いタイミングで前記第２の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段、
   として機能させることを特徴とする撮像プログラム。

Images