JP5393189B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、顔検出機能を利用した撮影により得られた画像に対する画像補正処理に関するものである。

人物の顔検出機能を搭載したデジタルカメラ等の撮像装置が知られている。この種の撮像装置のなかには、撮影時に人物の顔を検出し、画像処理によりその人物の顔の明るさや色を適切にするように自動的に補正する機能を有するものがある。しかし、これらの撮像装置は、正面を向いた顔は顔検出できても横顔は検出できない場合や、サングラスをかけた顔、髪の毛のかかった顔なども検出できない場合がある。このため、同じようなシーンで人物を撮影しても、その人物の顔の状態によって顔検出できる場合と出来ない場合とがあり、自動補正の結果、顔の明るさや色が変化してしまう。特に連写撮影した一連の画像において、顔検出結果に応じて撮影毎に色や明るさが変化すると、撮影コマ毎に補正バラツキが生じ、一連の画像を並べて見た場合に違和感のある画像となってしまう場合がある。この不具合を改善するために、特許文献１では、連写中に顔検出できなかった場合、１コマ前の画像と比較し変化量が少ないと判断した場合には、１コマ前と同じ補正値を用いて画像処理を施すことで、連写中の撮影コマの補正バラツキを抑制している。

特開２００７−１８０８９２号

しかしながら、上記特許文献１では、１コマ目に顔が検出できた場合には、次コマに顔が検出できなくても補正バラツキを抑制することができるが、１コマ目に顔が検出できなかった場合において、次コマ以降に顔検出できた場合には補正バラツキを抑制することができない。また、例えば２コマ連続して顔検出できた場合においても、顔に生じる影などの変化によって算出される画像補正値が異なり、補正バラツキを生じてしまう。この様に、従来は、顔検出を伴う連続撮影において補正バラツキを適切に抑制する技術が存在せず、不具合が生じていた。

本発明はこのような問題を解決するためのもので、その目的は、顔検出を伴う連続撮影時の一連の撮影画像に対する補正バラツキを適切に抑制することである。

上記課題を解決するために、本発明の撮像装置は、入力された画像から顔を検出する検出手段と、前記検出した顔の領域に対応する画像の色情報又は輝度情報を取得する取得手段と、入力された画像に対して画像処理を施す画像処理手段と、を備え、連続撮影の１コマ目の撮影において前記取得手段により顔を検出し、前記１コマ目以降の撮影において前記取得手段により顔を検出しなかった場合、前記画像処理手段は前記１コマ目以降の撮影での画像に対して、前記１コマ目の撮影において前記取得手段により取得した色情報又は輝度情報に基づく画像処理を施し、連続撮影の１コマ目の撮影において前記取得手段により顔を検出しなかった場合、前記画像処理手段は前記１コマ目以降の撮影での画像に対して、画像毎に当該画像全体の色又は輝度情報に基づく画像処理を施すことを特徴とする。

本発明によれば、顔検出を伴う連続撮影時の一連の撮影画像に対する補正バラツキを適切に抑制することができる。

本実施形態のデジタルカメラのブロック図を示した図である。 本実施形態における自動画像補正処理の動作を示したフローチャートである。 本実施形態における顔検出処理時のデータ取得方法を示した図である。 本実施形態における顔検出処理時の、明るさ補正用のガンマ補正値の算出方法を示した図である。 本実施形態における、顔検出できなかった場合の明るさ補正用のガンマ補正値算出用のヒストグラムを示した図である。 本実施形態における、顔検出できなかった場合の明るさ補正用のガンマ補正値算出の一例を示した図である。 本実施形態における、連写時の自動画像補正処理の動作を示したフローチャートである。

以下、本発明の好適な実施の形態について、添付図面を参照して詳細に説明する。

図１は本発明の実施形態に係るデジタルカメラ１の全体構成を示すブロック図である。

図１において、１００は撮影レンズ、１０１は絞り、１０２はシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。タイミング発生部１０５は、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部１０５はメモリ制御部１０８及びシステム制御部１３０により制御されている。

画像処理部１１３はＡ／Ｄ変換器１０４からのデータ或いはメモリ制御部１０８からのデータに対して画像処理を施す。画像処理部１１３の具体的な処理は後述する。メモリ制御部１０８は、Ａ／Ｄ変換器１０４からのデータを、画像処理部１１３、メモリ制御部１０８を介して、或いは直接メモリ制御部１０８を介して、表示用メモリ１０９或いはメモリ１１０に書き込む等、各ブロックを介したデータの流れを制御する。

表示用メモリ１０９は表示部Ａ１０７に表示するデータを記憶しており、この記憶されているデータはＤ／Ａ変換器１０６を介してＴＦＴ，ＬＣＤ等の表示部Ａ１０７に出力されて表示される。また表示部Ａ１０７は、ホワイトバランス選択メニューなどのカメラを制御する為の様々なメニューの表示を行う。これらのメニューの表示や選択は操作部Ａ１２４を操作することで行われる。

メモリ１１０は撮影した静止画像を格納する為のメモリで、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。また、このメモリ１１０はシステム制御部１３０や画像処理部１１３の作業領域としても使用することが可能である。圧縮／伸張部１１１は、メモリ１１０に格納された画像データの圧縮処理や圧縮された画像データの伸張処理を行い、その処理を終えたデータをメモリ１１０に書き込む。外部記録メモリ１１２はＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体であり、メモリ１１０に一時的に記録された画像データを最終的に記録する。

測光センサ１１９は、撮影画面と共役に関係付けられたそれぞれの画素の輝度を測定することが出来る。この測光センサ１１９の出力に応じて、システム制御部１３０が適切な露光量を算出すると、露光制御部１１４は、露光量に応じた絞り１０１とシャッター１０２を制御する。測距センサ１１８はユーザにより任意に選択された測距点の距離情報を検出する。測距制御部１１５は測距センサ１１８の出力によりレンズ１００のフォーカシングを制御する。

ズーム制御部１１６は手動で行われたレンズ１００のズーミング量（焦点距離）を検知する。または、ズーミングをカメラの操作部Ｂ１２５を用いて自動で行う場合にレンズのズーム量を制御する。自動ストロボユニット１２６は、ＡＦ補助光の投光機能及びストロボ調光機能も有する。角速度センサ１１７はカメラの水平／垂直方向の振れを検知するセンサで、周知の手ぶれ補正処理や縦位置撮影、横位置撮影の判定などに用いられる。

システム制御部１３０は、デジタルカメラ１の全体の動作を制御している。メモリ１２０は、このシステム制御部１３０の動作用の定数、変数プログラム、画像処理用パラメータ等を記憶しており、ワークメモリとしても使用される。表示部Ｂ１２１は、システム制御部１３０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージなどを表示する液晶表示ユニット、スピーカ等を含んでいる。この表示部Ｂ１２１は、ＬＣＤで構成されている。この表示部Ｂ１２１の表示内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

不揮発性メモリ１２２は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。レリーズ釦１２３、操作部Ｂ１２５は、システム制御部１３０の各種の動作指示を入力する為の操作ユニットである。レリーズ釦１２３はＳＷ１とＳＷ２の２段階のスイッチを備えている。ＳＷ１はレリーズ釦１２３の第１ストロークでＯＮし、測光、測距を開始するスイッチとなる。ＳＷ２はレリーズ釦１２３の第２ストロークでＯＮし、露光動作を開始するスイッチとなる。また、操作部Ｂ１２５はシングルショット／連写撮影／セルフタイマーの切り替え、マニュアルフォーカス／オートフォーカス切り替え、シャッタースピード、絞り値、露出補正の設定等で使用される。ここで、連写撮影に設定されている場合、レリーズ釦１２３のＳＷ２が押し続けられている間、連続的に撮影される連写撮影が行われる。

また、電源スイッチ１２７は、デジタルカメラ１のメイン電源をＯＮ／ＯＦＦするスイッチである。電源制御部１２８は電池検出部、ＤＣ−ＤＣコンバーター、通電するブロック等を切り替えるスイッチ部等を備えている。

次に本実施形態における画像処理部１１３の自動画像補正処理の動作について、図２のフローチャートを用いて説明する。本フローチャートの処理手順は、システム制御部１３０の制御のもと実行される。

撮像素子１０３による撮影が行われると、Ａ／Ｄ変換器１０４で１２ビットのデジタル信号に変換された被写体の画像データが画像処理部１１３に入力され、本処理が開始される。

ます、画像処理部１１３は、この１２ビット画像データから顔検出処理により顔を検出する（ステップＳ２０１）。本発明は顔検出の具体的な手法は限定しないが、本実施形態では、例えば、目、鼻、口といった顔の部位の位置を画像からエッジ検出処理やパターンマッチング処理等により解析して特定し、その結果から画像中の顔の位置や大きさの情報を取得する。

次に顔が検出できたかどうかの判定を行う（ステップＳ２０２）。ここで、顔が検出できたことの判断基準は限定しないが、例えば、２つの目の位置が特定できた場合は顔が検出できたと判定し、横顔であるために１つの目の位置しか特定できなかった場合は顔が検出できなかったと判定する基準がある。また、顔検出に信頼度の尺度を導入し、各顔の部位が検出されても顔が小さい場合や撮影条件等の理由により顔としての信頼度が所定値より低い場合に顔が検出できなかったと判定するようにしてもよい。

ステップＳ２０２において顔が検出できたと判断した場合、検出した顔の領域の輝度情報、及び色情報を算出する（ステップＳ２０３）。

具体的には、図３に示したように顔の内側の領域Ｆに対応するＲ，Ｇ，Ｂ信号の平均値を抽出する。本実施形態ではガンマ変換処理前の１２ビット画像データに対して顔検出を行っている。このため、検出した顔領域に対応したＲ，Ｇ，Ｂ信号に対してガンマ補正処理を適用し１２ビットから８ビットに変換して、８ビットＲ、Ｇ、Ｂ信号の平均値を求め、顔領域Ｆの色としている。この方法とは別に、ガンマ補正処理後の８ビット画像に対して顔検出処理を行い、前記８ビット画像データから検出した顔の位置に対応した領域の８ビットＲ、Ｇ、Ｂ信号の平均値を抽出するようにしても良い。この場合は既に前記Ｒ，Ｇ，Ｂ信号は８ビットになっているため、１２ビットから８ビットに変換するためのガンマ処理は不要となる。

また、このＲ，Ｇ，Ｂ信号のうちＧ信号に対して１２ビットから８ビットに変換する為のガンマ処理を適用し８ビットのＧ信号を得、この８ビットのＧ信号の平均値を顔領域Ｆの明るさとする。

次に、顔の明るさからガンマ補正値を算出する（ステップＳ２０４）。本実施形態のデジタルカメラ１は、適切な顔の明るさを、顔の明るさ目標値としてメモリ１２０に予め記憶している。システム制御部１３０は、顔の明るさとして算出した前記ガンマ処理後のＧ信号の平均値がこの顔の明るさ目標値になるように、例えば図４に示すガンマカーブＫを算出する。図４において、Ａｉｎは前記ガンマ処理後の８ビットＧ信号の平均値、Ａｏｕｔは前記メモリ１２０に記憶している顔の明るさ目標値である。ここで算出した明るさ補正用のガンマカーブＫ（ガンマ補正値）は後のステップ２１１で使用するため、メモリ１１０に一次記憶しておく。

次にステップＳ２０３で算出しておいた顔のＲＧＢ信号の平均値からホワイトバランスの補正値を算出する（ステップＳ２０５）。具体的には、予め適切な顔の色となるＧ／Ｒ比、Ｇ／Ｂ比をホワイトバランス目標値としてメモリ１２０に記憶しておき、ステップＳ２０３で算出した顔のＲＧＢ信号の平均値の比がこの目標値と同じ比になるようなホワイトバランス補正値を算出する。ここで算出したホワイトバランス補正値はステップＳ２０９で使用するため、メモリ１１０に一次記憶しておく。

次にメモリ１１０に一次記憶しておいたホワイトバランス補正値を用いて、画像処理部１１３に入力された１２ビットデータに対して画像にホワイトバランス処理を施す（ステップＳ２０９）。

続いて、ステップＳ２０９でのホワイトバランス補正処理後の画像に対して現像処理を行う（ステップＳ２１０）。すなわち、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、１２ビットデータから８ビットデータに変換する為のガンマ処理、彩度補正処理、色相補正処理、が施され、８ビットカラー画像が生成される。

そして、ステップＳ２１０で処理された画像データに対して、メモリ１１０に一次記憶しておいた明るさ補正用のガンマカーブを用いてガンマ補正処理を施す（ステップＳ２１１）。このガンマ補正処理はＲ，Ｇ，Ｂ信号それぞれに対して同じガンマを適用しても良いし、Ｒ，Ｇ，Ｂ信号を例えば下記式（１）により一度輝度信号Ｙに変換した後に、Ｙ信号に対してのみ適用する方法でもよい。
Ｙ＝０．３ｘＲ＋０．６ｘＲ＋０．１ｘＢ ・・・式（１）
以上により、顔が検出できた場合の自動画像補正処理の動作が終了する。

次にステップＳ２０２において顔検出できなかったと判断された場合の処理のフローについて説明する。

ステップＳ２０２で顔検出できないと判断された場合には、画像処理部１１３に入力された１２ビットデータの画像全体のヒストグラムを検出する（Ｓ２０６）。具体的には、まず、画像データのＲＧＢデータのうちＧ値に対して１２ビットデータを８ビットデータに変換する為のガンマ補正処理が施される。そして、ガンマ補正処理後の８ビットＧ値に対して、図５に示すような０〜２５５ＬＳＢそれぞれの画像全体の度数分布（ヒストグラム）を算出する。

次に、ステップＳ２０７において、検出したヒストグラムからガンマ補正値を算出する。具体的には、まず、検出したヒストグラムに対して、図５に示したように、輝度０からの累積頻度が所定の度数となる輝度を低輝度ポイントＬ、輝度２５５からの累積頻度が所定の度数となる輝度を高輝度ポイントＨ、として算出する。そして、この低輝度ポイントＬ、高輝度ポイントＨの輝度に応じて、明るさ補正用のガンマ補正値を算出する。図６にそのガンマ補正値の例を３つ示した。図６において、Ｃ０はガンマ補正量が０を示しており、Ｃ１、Ｃ２はそれぞれ、低輝度部を暗く、高輝度部を明るくするようなガンマ補正値を示しており、Ｃ１よりもＣ２のほうがその補正効果が強いことを示している。

ここで、図５の低輝度ポイントＬが高いほど低輝度部を暗くするように、また高輝度ポイントＨが低いほど高輝度部を明るくするように、図６のガンマ補正値Ｃ１，Ｃ２のように補正量を決定する。本実施形態ではガンマカーブをいわゆるＳ字カーブにしているが、低輝度部を明るくし、高輝度部を暗くする逆Ｓ字カーブや、低輝度部も高輝度部も明るくする弓形カーブ、低輝度部も高輝度部も暗くする逆弓形カーブなどでもよい。

次に、画像全体からホワイトバランス補正値を算出する（ステップＳ２０８）。具体的には、画像全体を複数のブロックに分け、そのブロックの中から、黒体輻射軌跡の色に近いブロックのみ抽出し、抽出したブロック積分値から、Ｇ／Ｒ比，Ｇ／Ｂ比を算出しこれをホワイトバランス補正値とする。ここで算出したホワイトバランス補正値はステップＳ２０９で使用するため、メモリ１１０に一次記憶しておく。

以降の処理は、ステップＳ２０９からステップＳ２１１までの処理と同様なものであるので、説明を省略する。以上により、顔が検出できなかった場合の自動画像補正処理の動作が終了する。

次に本実施形態のデジタルカメラにおける連写時の処理について、図７のフローチャートを用いて説明する。

図１の操作部Ｂ１２５にて、撮影モードを連写撮影にし、レリーズ釦１２３のＳＷ２を押し続けて撮影することで、連写撮影が行われる。本実施形態ではＳＷ２を押し続けている間に撮影される状態を連写と定義して、本発明が適用される連続撮影の一態様を説明しているが、適用される撮影モードや操作状態を限定するものではない。例えば、撮影モードに関係なく、前コマからの経過時間が所定時間以内（例えば１秒以内）の撮影を本発明が適用される連続撮影としてもよい。

この連写時の処理において、まず、連写１コマ目かどうかの判断が行われ（ステップＳ７０１）、１コマ目と判断された場合、連写１コマ目用の処理に移行する（ステップＳ７０２）。ここでいう連写１コマ目用の処理とは、前述した図２のフローチャートの処理を示している。また本実施形態では連写１コマ目の顔検出の有無による判定を行っているが、連写における補正処理の状態を１コマ目と同様の初期状態に戻すために定義しておいたＮコマ目（Ｎは自然数）としても良い。その場合、撮影がＮコマ目か、Ｎコマ目以降のＭコマ目か、による判断がなされる。

ステップＳ７０１において、連写２コマ目以降であったと判断された場合、次に連写１コマ目に顔検出されたかどうかを判断する（ステップＳ７０３）。

ステップＳ７０３で１コマ目に顔検出されたと判断された場合、今回撮影された画像について顔検出処理を行い、同時に図２のフローチャートの説明で述べたように、顔領域のＲ、Ｇ、Ｂ信号の平均値を算出する（ステップＳ７０４）。そして、今回のコマで顔検出されたかどうか再度判定を行う（ステップＳ７０５）。

ここで顔検出されたと判断された場合、今回のコマ以外で最後に顔検出されたときの顔の明るさ（本実施形態では顔領域のＧ信号の平均値を明るさとして使用）と今回の顔検出で得た顔の領域のＧ信号の平均値とを比較する。この比較は互いの平均値の差を算出することにより行われ、その差に応じて補正値を決定する（ステップＳ７０６）。ここで、その差が所定値未満の場合には、前のコマのホワイトバランス補正値、明るさ補正用のガンマ補正値を使用する。

逆にその差が所定値以上の場合には、図２のフローチャートのステップＳ２０３からステップＳ２０５で説明したのと同様の方法で、今回のコマの顔検出結果を用いて明るさ補正用のガンマ補正値、ホワイトバランス補正値を算出する。ここで算出したガンマ補正値、ホワイトバランス補正値は以降の処理で使用するため、メモリ１１０に一次記憶しておく。

一方、ステップＳ７０５において、今回のコマで顔検出されなかったと判断された場合、１個前の補正値を、今回のコマで使用する、明るさ補正用のガンマ補正値、ホワイトバランス補正値として使用する（ステップＳ７０７）。

次に、ステップＳ７１１〜ステップＳ７１３により、ホワイトバランス補正処理、現像処理、明るさ補正用ガンマ補正処理が施され、今回のコマの処理が終了する。これらの処理は、図２のフローチャートのステップＳ２０９からステップＳ２１１と同様なものである。

次にステップＳ７０３で連写１コマ目に顔検出されなかったと判断された場合の処理について説明する。この場合、２コマ目以降のコマは全て顔検出処理を用いないで、明るさ補正用ガンマ補正値やホワイトバランス補正値を算出する。ステップＳ７０８〜Ｓ７１０までに画像からヒストグラムを検出、そのヒストグラムからガンマ補正値を算出、画像全体からホワイトバランス補正値算出という流れで処理を行う。この処理は、図２のフレーチャートのステップＳ２０６〜ステップＳ２０８までの処理と同様である。

本実施形態では連写１コマ目に顔検出できなかった場合には２コマ目以降に顔検出を用いないで自動画像補正用の補正値を算出するようにしているが、連写１コマ目に顔検出できなかった場合には単純に常に１コマ目と同じ補正値を使用するようにしてもよい。

次に、ステップＳ７１１〜ステップＳ７１３により、ホワイトバランス補正処理、現像処理、明るさ補正用ガンマ補正処理が施され、今回のコマの処理が終了する。これらの処理は、図２のフローチャートのステップＳ２０９〜ステップＳ２１１と同様である。

以上説明したように、本実施形態では、連写時に１コマ目に顔検出できたかどうかに応じて２コマ目以降のコマで顔検出結果を利用するかどうかを決定する。１コマ目に顔検出できた場合は、主被写体は顔である可能性が高いので、顔検出結果を積極的に利用し、他の撮影画像の補正値等を反映させることにより顔検出によるキリムラを抑制するよう補正処理する。一方、１コマ目に顔検出できなかった場合は、主被写体は顔でない可能性があり、後で顔が検出された場合でも、画像全体の解析結果に応じたそのシーンに応じた補正を行うようにする。したがって、本実施形態によれば、連写中の一連の画像において、顔検出の有無による補正効果のキリムラを適正に抑制することができる。

１３０ システム制御部
１３１ 画像処理部

Claims (4)

1. 入力された画像から顔を検出する検出手段と、
   前記検出した顔の領域に対応する画像の色情報又は輝度情報を取得する取得手段と、
   入力された画像に対して画像処理を施す画像処理手段と、を備え、
   連続撮影の１コマ目の撮影において前記取得手段により顔を検出し、前記１コマ目以降の撮影において前記取得手段により顔を検出しなかった場合、前記画像処理手段は前記１コマ目以降の撮影での画像に対して、前記１コマ目の撮影において前記取得手段により取得した色情報又は輝度情報に基づく画像処理を施し、
   連続撮影の１コマ目の撮影において前記取得手段により顔を検出しなかった場合、前記画像処理手段は前記１コマ目以降の撮影での画像に対して、画像毎に当該画像全体の色又は輝度情報に基づく画像処理を施すことを特徴とする撮像装置。
2. 前記連続撮影の前記１コマ目の撮影において前記取得手段により顔を検出し、Ｍコマ目の撮影において前記取得手段により顔を検出しなかった場合、前記画像処理手段は前記Ｍコマ目の撮影での画像に対して、Ｍ−Ｌ（Ｌ≦Ｍ−１）コマ目の撮影で取得した前記色情報又は前記輝度情報に基づく画像処理を施すことを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、ガンマ補正手段、及びホワイトバランス補正手段のうち少なくとも１つを含むことを特徴とする請求項１または２に記載の撮像装置。
4. 入力された画像から顔を検出する検出ステップと、
   前記検出した顔の領域に対応する画像の色情報又は輝度情報を取得する取得ステップと、
   入力された画像に対して画像処理を施す画像処理ステップと、を備え、
   連続撮影の１コマ目の撮影において前記取得ステップにより顔を検出した場合、前記画像処理ステップは前記１コマ目以降の撮影での画像に対して、前記１コマ目の撮影で前記取得ステップにより取得した色情報又は輝度情報に基づく画像処理を施し、連続撮影の１コマ目の撮影において前記取得ステップにより顔を検出しなかった場合、前記画像処理ステップは前記１コマ目以降の撮影での画像に対して、画像毎に当該画像全体の色又は輝度情報に基づく画像処理を施すことを特徴とする画像処理方法。