JP5132470B2 - 画像処理装置 - Google Patents

Description

この発明は、画像処理装置に関し、特に、既定の特徴画像の有無を含む入力画像の属性を判別して入力画像を形成する複数の画素の各々の輝度を補正する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像素子の出力に基づく映像信号は、外部に出力されるとともに、被写体抽出回路に与えられる。被写体抽出回路は、特定被写体を表す特定被写体信号を映像信号から抽出する。また、制御回路は、抽出された特定被写体信号に基づいて、信号処理回路の設定つまり映像信号の利得，黒レベル，周波数特性，色相などの設定を調整する。これによって、特定被写体の部分と他の部分とを別々に処理することができ、特定被写体に対して適応的な画質制御が実現される。
特開平５−１１０９３６号公報

しかし、背景技術では、信号処理回路の設定を調整するにあたって、映像信号の輝度が考慮されることはなく、適応的な画質制御動作に限界がある。

それゆえに、この発明の主たる目的は、被写界の属性を考慮したより適応的な画質制御を実現することができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、入力画像を形成する複数の画素の各々の輝度の偏り度(σ1, σ2)を入力画像の平均輝度(AVEblk, AVEfrm)を参照して算出する偏り度算出手段(54, 58)、入力画像を形成する複数の画素の各々の輝度を偏り度算出手段によって算出された偏り度に基づいて補正する輝度補正手段(52, 56, 60, 68, 70, 72)、および既定の特徴画像の有無を含む入力画像の属性を判別して輝度補正手段の補正特性を変更する第１変更手段(S35, S41, S49, S55, S37, S43, S51, S57)を備え、第１サイズを有する第１ブロック毎の入力画像の平均輝度に相当する第１平均輝度(AVEblk)を算出する第１平均輝度算出手段(62, 64)、および第１サイズよりも大きい第２サイズを有する第２ブロック毎の入力画像の平均輝度に相当する第２平均輝度(AVEfrm)を算出する第２平均輝度算出手段(62, 66)をさらに備え、偏り度算出手段は、第１平均輝度に対する偏り度に相当する第１偏り度(σ1)を算出する第１偏り度算出手段(54)、および第２平均輝度に対する偏り度に相当する第２偏り度(σ2)を算出する第２偏り度算出手段(58)を含む。

好ましくは、第１変更手段が判別処理のために注目する属性は入力画像の平均輝度をさらに含む。

さらに好ましくは、輝度補正手段は、第１偏り度に基づいて第１補正係数(K1)を調整する第１係数調整手段(56)、第２偏り度に基づいて第２補正係数(K2)を調整する第２係数調整手段(60)、および第１平均輝度および第２平均輝度に第１補正係数および第２補正係数を参照した演算処理を施す演算手段(68)を含み、第１変更手段は第１係数調整手段および第２係数調整手段の調整特性を変更する調整特性変更手段(S35, S41, S49, S55)を含む。

より好ましくは、演算手段は、第２平均輝度に対する第１平均輝度の偏り度に相当するブロック偏り度(ΔAVE)を算出するブロック偏り度算出手段(80)、およびブロック偏り度を第１補正係数を参照して重み付けする重み付け手段(78)を含む。

ある局面では、演算手段は重み付け手段の重み付け結果を既定値から減算する減算手段(86)がさらに備えられ、調整特性変更手段は入力画像が既定の特徴画像を有するとき重み付け手段による重み付け量が増大するように第１係数調整手段の調整特性を変更する第１調整特性変更手段(S41, S55)を含む。

好ましくは、輝度補正手段はオフセットを加算する加算手段(90)を含み、第１変更手段はオフセットの大きさを変更するオフセット変更手段(S37, S43, S51, S57)を含む。

好ましくは、輝度補正手段は、入力画像を形成する複数の画素の各々に対応するガンマ補正量を出力するガンマ補正量出力手段(52)、およびガンマ補正量出力手段によって出力されたガンマ補正量を演算手段の演算結果を参照して修正する修正手段(70)をさらに含む。

好ましくは、入力画像を形成する複数の画素の各々の色を輝度補正手段によって補正された輝度を参照して補正する色補正手段(76)、および第１変更手段の変更処理に関連して色補正手段の補正特性を変更する第２変更手段(S39, S45, S53, S59)がさらに備えられる。

この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、入力画像を形成する複数の画素の各々の輝度の偏り度(σ1, σ2)を入力画像の平均輝度(AVEblk, AVEfrm)を参照して算出する偏り度算出ステップ(54, 58)、入力画像を形成する複数の画素の各々の輝度を偏り度算出ステップによって算出された偏り度に基づいて補正する輝度補正ステップ(52, 56, 60, 68, 70, 72)、および既定の特徴画像の有無を含む入力画像の属性を判別して輝度補正ステップの補正特性を変更する変更ステップ(S35, S41, S49, S55, S37, S43, S51, S57)を備え、第１サイズを有する第１ブロック毎の入力画像の平均輝度に相当する第１平均輝度(AVEblk)を算出する第１平均輝度算出ステップ(62, 64)、および第１サイズよりも大きい第２サイズを有する第２ブロック毎の入力画像の平均輝度に相当する第２平均輝度(AVEfrm)を算出する第２平均輝度算出ステップ(62, 66)をさらに備え、偏り度算出ステップは、第１平均輝度に対する偏り度に相当する第１偏り度(σ1)を算出する第１偏り度算出ステップ(54)、および第２平均輝度に対する偏り度に相当する第２偏り度(σ2)を算出する第２偏り度算出ステップ(58)を含む。

この発明によれば、輝度の偏りが既定の特徴画像と異なる画像の輪郭に起因する場合、輝度は或る補正特性に従って補正される。これに対して、輝度の偏りが既定の特徴画像の輪郭に起因する場合、輝度は他の補正特性に従って補正される。こうして、入力画像の属性を考慮した適応的な画質制御が実現される。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、撮像装置１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。

なお、撮像面は図示しない原色フィルタによって覆われ、撮像面に配置された複数の画素の各々で生成される電荷は、Ｒ(Red)，Ｇ(Green)およびＢ(Blue)のいずれか１つの色情報を有する。

電源が投入されると、ＣＰＵ３６は、撮像タスクの下でスルー画像処理を実行するべく、ドライバ１８ｃに露光動作および間引き読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷の一部をラスタ走査態様で読み出す。撮像装置１６からは、読み出された電荷に基づく生画像データが周期的に出力される。

カメラ処理回路２０は、撮像装置１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。生成された画像データのコントラストはコントラスト補正回路２２によって補正され、補正されたコントラストを有する画像データはメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込まれる。ＬＣＤドライバ２８は、ＳＤＲＡＭ２６に格納された画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。

図２を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。

ＡＥ／ＡＷＢ評価回路３２は、カメラ処理回路２０から出力されたＹデータのうち評価エリアＥＶＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ／ＡＷＢ評価値が垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＷＢ評価回路３２から出力される。また、ＡＦ評価回路３４は、同じ評価エリアＥＶＡに属するＹデータの高域周波数成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路３４から出力される。このようなＡＥ／ＡＷＢ評価値またはＡＦ評価値に基づく処理動作は後述する。

ＣＰＵ３６は、撮像タスクと並行する顔検出タスクの下で、ＳＤＲＡＭ２６に格納された各フレームの画像データから人物の顔画像を検出する。このような顔検出タスクのために図３（Ａ）〜図３（Ｃ）に示すようなサイズの異なる３つの顔検出枠が準備され、まず図３（Ａ）に示す“大サイズ”の顔検出枠が図２に示す評価エリアＥＶＡの左上つまり顔検出開始位置に設定される。また、顔画像の検出の有無を識別するための顔検出フラグＦＬＧが、“０”に設定される。

垂直同期信号Ｖｓｙｎｃが発生すると、ＳＤＲＡＭ２６に格納された現フレームの画像データのうち顔検出枠に対応する部分画像データが顔認識のための照合処理を施される。具体的には、フラッシュメモリ４４に準備された人物の“目”，“鼻”，“口”などの辞書データを参照して、顔検出枠内の部分画像が人物の顔画像に相当するか否かが判別される。注目する部分画像が顔画像に相当すると判別されれば、顔検出フラグＦＬＧが“１”に設定され、かつ現時点の顔検出枠の位置およびサイズが記述された顔枠情報が図４に示す顔枠情報テーブルＴＢＬに記述される。

なお、顔検出フラグＦＬＧは垂直同期信号Ｖｓｙｎｃが発生する毎に“０”に戻され、顔枠情報テーブルＴＢＬもまた垂直同期信号Ｖｓｙｎｃが発生する毎にクリアされる。

顔検出枠は、図５に示す要領でラスタ方向に既定量ずつ移動され、評価エリアＥＶＡ上の複数の位置で上述の照合処理が実行される。そして、顔認識に成功する毎に、認識された顔に対応する顔枠情報が顔枠情報テーブルＴＢＬに記述されていく。

“大サイズ”の顔検出枠が評価エリアＥＶＡの右下つまり顔検出終了位置に達すると、顔検出枠のサイズが“中サイズ”に更新され、更新されたサイズを有する顔検出枠が顔検出開始位置に再配置される。上述と同様、顔検出枠は評価エリアＥＶＡ上をラスタ方向に移動し、照合処理によって認識された顔に対応する顔枠情報は顔枠情報テーブルＴＢＬに記述される。“中サイズ”の顔検出枠が顔検出終了位置に達すると、次は“小サイズ”の顔検出枠が顔検出開始位置に配置され、上述と同様の移動処理および照合処理が実行される。これによって得られた顔枠情報もまた、顔枠情報テーブルＴＢＬに記述される。

図６（Ａ）に示す被写界を撮影する場合は、顔枠情報が顔枠情報テーブルＴＢＬに記述されることはなく、顔検出フラグＦＬＧは“０”を維持する。一方、図６（Ｂ）に示す被写界を撮影する場合は、太線で示す枠の位置およびサイズが顔枠情報テーブルＴＢＬに記述され、顔検出フラグＦＬＧが“１”に更新される。

このような顔検出タスクと並行して、ＣＰＵ３６は、ＡＥ／ＡＷＢ評価回路３２の出力に基づくスルー画像用ＡＥ／ＡＷＢ処理を撮像タスクの下で実行する。ここで、顔枠情報テーブルＴＢＬに少なくとも１つの顔枠が設定されていれば、この顔枠を覆う一部の分割エリアが抽出エリアとして定義される。これに対して、顔枠情報テーブルＴＢＬに１つの顔枠も設定されていなければ、評価エリアＥＶＡ全体が抽出エリアとして定義される。

スルー画像用ＡＥ／ＡＷＢ処理は、定義された抽出エリアに属するＡＥ／ＡＷＢ評価値に基づいて実行され、これによって適正ＥＶ値および適正白バランス調整ゲインが算出される。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。また、算出された適正白バランス調整ゲインは、カメラ処理回路２０に設定される。この結果、ＬＣＤモニタ３０に表示されるスルー画像の明るさおよび白バランスが適度に調整される。

キー入力装置３８に設けられたシャッタボタン３８ｓが半押しされると、ＣＰＵ３６は、顔検出タスクを停止して、ＡＥ／ＡＷＢ評価回路３２の出力に基づく記録用ＡＥ／ＡＷＢ処理とＡＦ評価回路３４の出力に基づくＡＦ処理とを撮像タスクの下で実行する。

記録用ＡＥ／ＡＷＢ処理もまた、定義された抽出エリアに属するＡＥ／ＡＷＢ評価値に基づいて実行され、これによって最適ＥＶ値および最適白バランス調整ゲインが算出される。上述と同様、算出された最適ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、算出された最適白バランス調整ゲインはカメラ処理回路２０に設定される。この結果、最適な明るさおよび白バランスを有するスルー画像がＬＣＤモニタ３０に表示される。

ＡＦ処理も同様に、定義された抽出エリアに属するＡＦ評価値に基づいて実行される。フォーカスレンズ１２はドライバ１８ａによって光軸方向に移動し、いわゆる山登り処理によって合焦点に配置される。

ＡＦ処理が完了すると、ＣＰＵ３６は、撮像タスクの下でコントラスト調整処理を実行する。後段で詳しく説明するが、コントラスト調整の態様は、被写界像に人物の顔画像が存在するか否か（顔検出フラグＦＬＧが“１”であるか否か）、ならびに被写界像の平均輝度が基準値ＲＥＦ１を上回るか否かによって異なる。この結果、被写界の属性に応じたコントラストを有するスルー画像がＬＣＤモニタ３０から出力される。

シャッタボタン３８ｓが全押しされると、撮像タスクの下で記録処理が実行される。ＣＰＵ４０は、本露光動作および全画素読み出しを１回ずつ実行することをドライバ１８ｃに命令する。ドライバ１８ｃは、垂直同期信号Ｖｓｙｎｃの発生に応答して撮像面に本露光を施し、電荷読み出しエリアで生成された全ての電荷をラスタ走査態様で読み出す。この結果、被写界を表す高解像度の生画像データが撮像装置１６から出力される。

出力された生画像データは上述と同様の処理を施され、この結果、ＹＵＶ形式に従う高解像度の画像データがＳＤＲＡＭ２６に確保される。Ｉ／Ｆ４０は、こうしてＳＤＲＡＭ２６に格納された高解像度の画像データをメモリ制御回路２４を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。なお、スルー画像処理および顔検出タスクは、高解像度の画像データがＳＤＲＡＭ２６に格納された時点で再開される。

コントラスト補正回路２２は、図７に示すように構成される。カメラ処理回路２０から出力された画像データを形成するＹデータは、Ｙ補正回路７２，γ補正量算出回路５２，標準偏差算出回路５４および５８，ブロック輝度算出回路６２に与えられる。また、カメラ処理回路２０から出力された画像データを形成するＵデータおよびＶデータは、ＵＶ補正回路７６に与えられる。

ブロック輝度算出回路６２は、図８に示す要領で撮像面を６４個の輝度検出ブロックに分割し、分割された輝度検出ブロック毎にＹデータの平均値を算出する。線形補間回路６４は、現時点で入力されている画素つまり現画素ＴＰＸを中心として輝度検出ブロックと同じサイズを有するブロックＴＢＫを想定し、周辺の輝度検出ブロックで算出された平均値に線形補間を施す（図９参照）。この結果、想定ブロックＴＢＫにおける輝度の平均値がブロック平均輝度ＡＶＥｂｌｋとして出力される。また、全体輝度算出回路６６は、ブロック輝度算出回路６２によって算出された６４個の平均値をさらに平均し、これによって得られた平均値を全体輝度ＡＶＥｆｒｍとして出力する。

線形補間回路６４によって算出されたブロック平均輝度ＡＶＥｂｌｋは、標準偏差算出回路５４および修正ゲイン算出回路６８に与えられる。また、全体平均輝度算出回路６６によって算出された全体平均輝度ＡＶＥｆｒｍは、標準偏差算出回路５８および修正ゲイン算出回路６８に与えられる。

標準偏差算出回路５４は、現画素ＴＰＸの輝度のブロック平均輝度ＡＶＥｂｌｋに対する偏り度を、標準偏差σ１として算出する。補正係数算出回路５６は、標準偏差算出回路５４から与えられた標準偏差σ１に基づいて補正係数Ｋ１を算出ないし調整する。また、標準偏差算出回路５６は、現画素ＴＰＸの輝度の全体平均輝度ＡＶＥｆｒｍに対する偏り度を、標準偏差σ２として算出する。補正係数算出回路６０は、標準偏差算出回路５８から与えられた標準偏差σ２に基づいて補正係数Ｋ２を算出ないし調整する。

ここで、補正係数算出回路５６による補正係数Ｋ１の算出特性（調整特性）および補正係数算出回路６０による補正係数Ｋ２の算出特性（調整特性）は、被写界像に人物の顔画像が存在するか否か、ならびに被写界像の平均輝度が基準値ＲＥＦ１を上回るか否かを考慮して、ＣＰＵ３６によって設定Ａ〜Ｄの間で変更される。

ＣＰＵ３６は、被写界に人物の顔が存在せずかつ全体平均輝度ＡＶＥｆｒｍが基準値ＲＥＦ１を上回るときに設定Ａを選択し、被写界に人物の顔が存在しかつ全体平均輝度ＡＶＥｆｒｍが基準値ＲＥＦ１を上回るときに設定Ｂを選択する。ＣＰＵ３６はまた、被写界に人物の顔が存在しかつ全体平均輝度ＡＶＥｆｒｍが基準値ＲＥＦ１以下のときに設定Ｃを選択し、被写界に人物の顔が存在せずかつ全体平均輝度ＡＶＥｆｒｍが基準値ＲＥＦ１以下のときに設定Ｄを選択する。

図１０を参照して、補正係数Ｋ１の算出特性は、設定Ａに対応して直線Ｋ１＿Ａに沿う特性を示し、設定Ｂに対応して直線Ｋ１＿Ｂに沿う特性を示し、設定Ｃに対応して直線Ｋ１＿Ｃに沿う特性を示し、そして設定Ｄに対応して直線Ｋ１＿Ｄに沿う特性を示す。また、補正係数Ｋ２の算出特性は、設定Ａに対応して直線Ｋ２＿Ａに沿う特性を示し、設定Ｂに対応して直線Ｋ２＿Ｂに沿う特性を示し、設定Ｃに対応して直線Ｋ２＿Ｃに沿う特性を示し、そして設定Ｄに対応して直線Ｋ２＿Ｄに沿う特性を示す。

修正ゲイン算出回路６８は、こうして算出された補正係数Ｋ１およびＫ２を参照して、ブロック平均輝度ＡＶＥｂｌｋおよび全体平均輝度ＡＶＥｆｒｍに数式１に従う演算を施す。
［数式１］
ＰＩＸ＿Ｇ＝２．０−ΔＡＶＥ＊Ｋ１−（（ＡＶＥｆｒｍ＊Ｋ２），ＰＩＸ＿ＵＤＲ，ＰＩＸ＿ＯＶＲ）＋ＧＡＩＮ＿ＯＦＳＴ
ＰＩＸ＿Ｇ：修正ゲイン
２．０：既定値
ΔＡＶＥ：ＡＶＥｂｌｋ−ＡＶＥｆｒｍ
ＧＡＩＮ＿ＯＦＳＴ：オフセット
ＰＩＸ＿ＵＤＲ：定数
ＰＩＸ＿ＯＶＲ：ＰＩＸ＿ＵＤＲを上回る定数

数式１によれば、ブロック平均輝度ＡＶＥｂｌｋと全体平均輝度ＡＶＥｆｒｍとの差分に補正係数Ｋ１を掛け算（重み付け）して得られる掛け算値と全体平均輝度ＡＶＥｆｒｍに補正係数Ｋ２を掛け算（重み付け）して得られる掛け算値（ただし、ＰＩＸ＿ＵＤＲを下限値とし、ＰＩＸ＿ＯＶＲを上限値とする）とが既定値“２．０”から減算され、オフセットＧＡＩＮ＿ＯＦＳＴが減算値に加算される。

なお、オフセットＧＡＩＮ＿ＯＦＳＴの値もまた、被写界像に人物の顔画像が存在するか否か、ならびに被写界像の平均輝度が基準値ＲＥＦ１を上回るか否かを考慮して、ＣＰＵ３６によって設定Ａ〜Ｄの間で変更される。オフセットＧＡＩＮ＿ＯＦＳＴは、設定Ａに対応して“−０．１２５”を示し、設定Ｂに対応して“−０．０６２５”を示し、設定Ｃに対応して“０”を示し、そして設定Ｄに対応して“＋０．０６２５”を示す。

こうして算出された修正ゲインＰＩＸ＿Ｇは、γ補正量算出回路７０に与えられる。一方、γ補正量算出回路５２は、現画素ＴＰＸのＹデータ値に対応するγ補正量を既定のγ補正曲線を参照して算出し、算出されたγ補正量をγ補正量修正回路７０に与える。γ補正量修正回路７０は、修正ゲイン算出回路６８から与えられた修正ゲインＰＩＸ＿Ｇをγ補正量算出回路５２から与えられたγ補正量に掛け算し、これによって得られた修正γ補正量をＹ補正回路７２に与える。Ｙ補正回路７２は、与えられた修正γ補正量を参照して現画素ＴＰＸのＹデータを補正し、補正Ｙデータをメモリ制御回路２４（図１参照）に向けて出力するとともにＵＶ補正量算出回路７４に与える。

ＵＶ補正量算出回路７４は、与えられた補正Ｙデータに基づいてＵＶ補正量を算出する。ＵＶ補正回路７６は、算出されたＵＶ補正量を参照して現画素ＴＰＸのＵＶデータを補正し、補正ＵＶデータをメモリ制御回路２４（図１参照）に向けて出力する。

ＵＶ補正量の算出特性も、被写界像に人物の顔画像が存在するか否か、ならびに被写界像の平均輝度が基準値ＲＥＦ１を上回るか否かを考慮して、ＣＰＵ３６によって設定Ａ〜Ｄの間で変更される。図１１を参照して、ＵＶ補正量の算出特性は、設定Ａに対応して直線ＵＶ＿Ａに沿う特性を示し、設定Ｂに対応して直線ＵＶ＿Ｂに沿う特性を示し、設定Ｃに対応して直線ＵＶ＿Ｃに沿う特性を示し、そして設定Ｄに対応して直線ＵＶ＿Ｄに沿う特性を示す。

この結果、Ｙ補正回路７２の入出力特性は図１２（Ａ）に示すように定義され、ＵＶ補正回路７６の入出力特性は図１２（Ｂ）に示すように定義される。つまり、Ｙデータは、設定Ａに対応して曲線Ｌ＿Ａ１に示す要領で補正され、設定Ｂに対応して曲線Ｌ＿Ｂ１に示す要領で補正され、設定Ｃに対応して曲線Ｌ＿Ｃ１に示す要領で補正され、そして設定Ｄに対応して曲線Ｌ＿Ｄ１に示す要領で補正される。また、ＵＶデータは、設定Ａに対応して曲線Ｌ＿Ａ２に示す要領で補正され、設定Ｂに対応して曲線Ｌ＿Ｂ２に示す要領で補正され、設定Ｃに対応して曲線Ｌ＿Ｃ２に示す要領で補正され、そして設定Ｄに対応して曲線Ｌ＿Ｄ２に示す要領で補正される。

図６（Ａ）に示すような風景画を撮影する場合は、設定ＡまたはＤが選択される。補正係数Ｋ１は図１０に示す直線Ｋ１＿ＡまたはＫ１＿Ｄに沿って調整され、補正係数Ｋ２は同じ図１０に示す直線Ｋ２＿ＡまたはＫ２＿Ｄに沿って調整される。このため、ビルディングＢＬＤ１や橋ＢＲＧ１の輪郭部分つまり空との境界部分の輝度が抑制され、ビルディングＢＬＤ１や橋ＢＲＧ１の中央部分の輝度が増大する。また、ＵＶ補正量は、図１１に示す直線ＵＶ＿ＡまたはＵＶ＿Ｄに沿って調整される。このため、低輝度部分の彩度が低く抑えられ、高輝度部分の彩度が増大される。これによって、風景画のコントラストが良好に補正される。

これに対して、図６（Ｂ）に示すような人物画を撮影する場合は、設定ＢまたはＣが選択される。補正係数Ｋ１は図１０に示す直線Ｋ１＿ＢまたはＫ１＿Ｃに沿って調整され、補正係数Ｋ２は同じ図１０に示す直線Ｋ２＿ＢまたはＫ２＿Ｃに沿って調整される。このため、人物Ｈ１の顔の輪郭部分の輝度がより大きく抑制され、人物Ｈ１の顔の中央部分の輝度が増大する。また、ＵＶ補正量は、図１１に示す直線ＵＶ＿ＢまたはＵＶ＿Ｃに沿って調整される。このため、中輝度部分の彩度が増大し、高輝度部分および低輝度部分の彩度が抑制される。これによって、人物画のコントラストが良好に補正される。

修正ゲイン算出回路６８は、図１３に示すように構成される。補正係数Ｋ１およびＫ２はそれぞれ、掛け算器７８の一方入力端および掛け算器８２の一方入力端に与えられる。加算器８０は、ブロック平均輝度ＡＶＥｂｌｋから全体平均輝度ＡＶＥｆｒｍを減算し、これによって得られた減算値ΔＡＶＥを掛け算器７８の他方入力端に与える。全体平均輝度ＡＶＥｆｒｍはまた、掛け算器８２の他方入力端に与えられる。

掛け算器７８は、差分値ΔＡＶＥに補正係数Ｋ１を掛け算し、掛け算値を加算器８６の一方入力端に与える。掛け算器８２は、全体平均輝度ＡＶＥｆｒｍに補正係数Ｋ２を掛け算し、掛け算値をリミッタ８４に入力する。リミッタ８４は、入力された掛け算値が定数ＰＩＸ＿ＵＤＲ以上でかつＰＩＸ＿ＯＶＲ以下のときこの掛け算値を加算器８８の一方入力端に与える。リミッタ８４はまた、入力された掛け算値が定数ＰＩＸ＿ＵＤＲを下回るとき定数ＰＩＸ＿ＵＤＲを加算器８８の一方入力端に与え、入力された掛け算値が定数ＰＩＸ＿ＯＶＲを上回るとき定数ＰＩＸ＿ＯＶＲを加算器８８の一方入力端に与える。

加算器８６の他方入力端には、既定値“２．０”が与えられる。加算器８６は、既定値“２．０”から掛け算値７８の出力を減算し、減算値を加算器８８の他方入力端に与える。加算器８８は、この減算値からリミッタ８４の出力を減算し、減算値を加算器９０の一方入力端に与える。加算器９０は、一方入力端に与えられた減算値に他方入力端に与えられたオフセットＧＡＩＮ＿ＯＦＳＴを加算し、加算値を修正ゲインＰＩＸ＿Ｇとして出力する。

ＣＰＵ３６は、図１４〜図１７に示す撮像タスクおよび図１８〜図１９に示す顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図１４を参照して、ステップＳ１では初期化処理を実行する。この結果、係数Ｋ１およびＫ２の算出特性，オフセットＧＡＩＮ＿ＯＦＳＴおよびＵＶ補正量の算出特性は、設定Ａに適合するように調整される。ステップＳ３ではスルー画像処理を実行し、続くステップＳ５では顔検出タスクを起動する。ステップＳ３の処理によって、被写界を表すスルー画像がＬＣＤモニタ３８から出力される。また、ステップＳ５の処理によって、図１８〜図１９に示す顔検出タスクの処理が開始される。

ステップＳ７ではシャッタボタン３８ｓが半押しされたか否かを判別し、判別結果がＮＯである限りステップＳ９のスルー画像用ＡＥ／ＡＷＢ処理を繰り返す。この結果、スルー画像の明るさおよび白バランスが適度に調整される。シャッタボタン３８ｓが半押しされると、ステップＳ１１で顔検出タスクを停止し、ステップＳ１３で記録用ＡＥ／ＡＷＢ処理を実行し、ステップＳ１５でＡＦ処理を実行し、そしてステップＳ１７でコントラスト調整処理を実行する。

ステップＳ１１の処理によって顔検出タスクの処理が停止され、ステップＳ１３の処理によってスルー画像の明るさが最適値に調整される。また、ステップＳ１５の処理によってフォーカスレンズ１２が合焦点に配置され、ステップＳ１７の処理によってスルー画像のコントラストが被写界の属性に適した態様で調整される。

ステップＳ１９ではシャッタボタン３８ｓが全押しされたか否かを判別し、ステップＳ２１ではシャッタボタン３８ｓの操作が解除されたか否かを判別する。ステップＳ１９でＹＥＳであればステップＳ２３の記録処理を経てステップＳ２５に進み、ステップＳ２１でＹＥＳであればそのままステップＳ２５に進む。ステップＳ２５ではステップＳ３と同様の処理を実行し、ステップＳ２７ではステップＳ５と同様の処理を実行する。ステップＳ２７の処理が完了すると、ステップＳ５に戻る。

図１４に示すステップＳ１７のコントラスト調整処理は、図１６〜図１７に示すサブルーチンに従う。

まず、ステップＳ３１で平均値ＡＶＥｆｒｍが基準値ＲＥＦ１を上回るか否かを判別し、ステップＳ３３およびＳ４７の各々でフラグＦＬＧが“０”であるか否かを判別する。なお、フラグＦＬＧは、顔検出タスクによって被写界像から人物の顔画像が検出されたときに“０”から“１”に更新される。

ステップＳ３１およびＳ３３の各々でＹＥＳと判断されると、ステップＳ３５〜Ｓ３９の処理を実行する。ステップＳ３１でＹＥＳと判断される一方、ステップＳ３３でＮＯと判断されると、ステップＳ４１〜Ｓ４５の処理を実行する。ステップＳ３１でＮＯと判断される一方、ステップＳ４７でＹＥＳと判断されると、ステップＳ４９〜Ｓ５３の処理を実行する。ステップＳ３１およびＳ４７の各々でＮＯと判断されると、ステップＳ５５〜Ｓ５９の処理を実行する。ステップＳ３９，Ｓ４５，Ｓ５３またはＳ５９の処理が完了すると、上階層のルーチンに復帰する。

ステップＳ３５では設定Ａに適合するように係数Ｋ１およびＫ２の算出特性を調整し、ステップＳ３７では設定Ａに適合するようにオフセットＧＡＩＮ＿ＯＦＳＴを調整し、そしてステップＳ３９では設定Ａに適合するようにＵＶ補正量の算出特性を調整する。ステップＳ４１では設定Ｂに適合するように係数Ｋ１およびＫ２の算出特性を調整し、ステップＳ４３では設定Ｂに適合するようにオフセットＧＡＩＮ＿ＯＦＳＴを調整し、そしてステップＳ４５では設定Ｂに適合するようにＵＶ補正量の算出特性を調整する。

ステップＳ４９では設定Ｄに適合するように係数Ｋ１およびＫ２の算出特性を調整し、ステップＳ５１では設定Ｄに適合するようにオフセットＧＡＩＮ＿ＯＦＳＴを調整し、そしてステップＳ５３では設定Ｄに適合するようにＵＶ補正量の算出特性を調整する。ステップＳ５５では設定Ｃに適合するように係数Ｋ１およびＫ２の算出特性を調整し、ステップＳ５７では設定Ｃに適合するようにオフセットＧＡＩＮ＿ＯＦＳＴを調整し、そしてステップＳ５９では設定Ｃに適合するようにＵＶ補正量の算出特性を調整する。

図１８〜図１９を参照して、ステップＳ６１ではフラグＦＬＧを“０”に設定し、続くステップＳ６３では“大サイズ”の顔検出エリアを評価エリアＥＶＡの左上の顔検出開始位置に配置する。

ステップＳ６５では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、ＹＥＳであればステップＳ６７で顔枠情報テーブルＴＢＬをクリアする。ステップＳ６９では顔認識のための照合処理を実行し、ステップＳ７１では人物の顔が発見されたか否かを判別する。照合処理によって顔検出枠に属する画像が人物の顔画像に相当する判別されると、ステップＳ７１でＹＥＳと判断し、ステップＳ７３〜Ｓ７５の処理を経てステップＳ７７に進む。これに対して、照合処理によって顔検出枠に属する画像が顔画像と異なると判別されると、ステップＳ７１でＮＯと判断し、そのままステップＳ７７に進む。

ステップＳ７３では、現時点の顔検出枠の位置およびサイズが記述された顔枠情報を作成し、作成された顔枠情報を顔枠情報テーブルＴＢＬに書き込む。ステップＳ７５では、顔画像が発見されたことを表明するべく、フラグＦＬＧを“１”に設定する。

ステップＳ７７では、顔検出枠が評価エリアＥＶＡの右下の顔検出終了位置に達したか否かを判別する。また、ステップＳ７９では、顔検出枠のサイズが小サイズであるか否かを判別する。ステップＳ７７でＮＯであればステップＳ８１に進み、顔検出枠をラスタ方向に既定量だけ移動させる。移動処理が完了すると、ステップＳ６９に戻る。

ステップＳ７７でＹＥＳである一方、ステップＳ７９でＮＯであれば、ステップＳ８３で顔検出枠のサイズを更新する。顔検出枠の現時点のサイズが大サイズであれば、更新後のサイズは中サイズとなり、顔検出枠の現時点のサイズが中サイズであれば、更新後のサイズは小サイズとなる。ステップＳ８５では顔検出枠を顔検出開始位置に配置し、配置処理が完了するとステップＳ６９に戻る。なお、ステップＳ７７およびＳ７９のいずれもＹＥＳであれば、現フレーム上での顔検出処理は終了したとみなし、次フレームの顔検出処理に備えるべくステップＳ６１に戻る。

以上の説明から分かるように、標準偏差算出回路５４および５８は、入力画像を形成する複数の画素の各々の輝度の偏差σ１およびσ２（偏り度）を、入力画像の平均輝度を参照して算出する。補正係数算出回路５６は、標準偏差算出回路５４によって算出された偏差σ１に基づいて、補正係数Ｋ１を調整する。補正係数算出回路６０は、標準偏差算出回路５８によって算出された偏差σ２に基づいて、補正係数Ｋ２を調整する。

Ｙ補正回路７２は、入力画像を形成する複数の画素の各々の輝度を、こうして調整された補正係数Ｋ１およびＫ２を参照して補正する。ＣＰＵ３６は、人物の顔画像（既定の特徴画像）の有無を含む入力画像の属性を判別して、補正係数Ｋ１およびＫ２の調整特性を変更する(S35, S41, S49, S55)。

つまり、Ｙ補正回路７２の補正処理のために参照される補正係数Ｋ１およびＫ２は、入力画像を形成する各画素の輝度の偏り度に基づいて調整される。ただし、補正係数Ｋ１およびＫ２の調整特性は、人物の顔画像の有無を含む入力画像の属性を判別して変更される。

したがって、輝度の偏りが人物の顔画像と異なる画像の輪郭に起因する場合、補正係数Ｋ１およびＫ２は、或る調整特性に従って調整される。これに対して、輝度の偏りが人物の顔画像の輪郭に起因する場合、補正係数Ｋ１およびＫ２は、他の調整特性に従って調整される。こうして、入力画像の属性を考慮した適応的な画質制御が実現される。

なお、この実施例では、静止画を撮影するスチルカメラを想定しているが、この発明はビデオカメラにも適用できる。

また、この実施例では、既定の特徴画像として人物の顔画像を想定しているが、既定の特徴画像はこれに限られるものではない。

この発明の一実施例の構成を示すブロック図である。 撮像面における評価エリアの割り当て状態の一例を示す図解図である。 （Ａ）は大サイズを有する顔検出枠の一例を示す図解図であり、（Ｂ）は中サイズを有する顔検出枠の一例を示す図解図であり、（Ｃ）は小サイズを有する顔検出枠の一例を示す図解図である。 図１実施例に適用される顔枠情報テーブルの一例を示す図解図である。 顔検出動作の一部を示す図解図である。 （Ａ）は撮像装置によって捉えられる被写界の一例を示す図解図であり、（Ｂ）は撮像装置によって捉えられる被写界の他の一例を示す図解図である。 図１実施例に適用されるコントラスト補正回路の構成の一例を示すブロック図である。 図７実施例に適用されるブロック輝度算出回路の動作の一部を示す図解図である。 図７実施例に適用される線形補間回路の動作の一部を示す図解図である。 輝度の標準偏差に対する補正係数の変化の一例を示すグラフである。 補正Ｙデータに対するＵＶゲインの変化の一例を示すグラフである。 （Ａ）はＹデータの補正特性の一例を示すグラフであり、（Ｂ）はＵＶデータの補正特性の一例を示すグラフである。 図７実施例に適用される修正ゲイン算出回路の構成の一例を示すブロック図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１６ …撮像装置
２０ …カメラ処理回路
２２ …コントラスト補正回路
２６ …ＳＤＲＡＭ
３２ …ＡＥ／ＡＷＢ評価回路
３４ …ＡＦ評価回路
３６ …ＣＰＵ

Claims (9)

1. 入力画像を形成する複数の画素の各々の輝度の偏り度を前記入力画像の平均輝度を参照して算出する偏り度算出手段、
   前記入力画像を形成する複数の画素の各々の輝度を前記偏り度算出手段によって算出された偏り度に基づいて補正する輝度補正手段、および
   既定の特徴画像の有無を含む前記入力画像の属性を判別して前記輝度補正手段の補正特性を変更する第１変更手段を備え、
   第１サイズを有する第１ブロック毎の前記入力画像の平均輝度に相当する第１平均輝度を算出する第１平均輝度算出手段、および
   前記第１サイズよりも大きい第２サイズを有する第２ブロック毎の前記入力画像の平均輝度に相当する第２平均輝度を算出する第２平均輝度算出手段をさらに備え、
   前記偏り度算出手段は、前記第１平均輝度に対する偏り度に相当する第１偏り度を算出する第１偏り度算出手段、および前記第２平均輝度に対する偏り度に相当する第２偏り度を算出する第２偏り度算出手段を含む、画像処理装置。
2. 前記第１変更手段が判別処理のために注目する属性は前記入力画像の平均輝度をさらに含む、請求項１記載の画像処理装置。
3. 前記輝度補正手段は、前記第１偏り度に基づいて第１補正係数を調整する第１係数調整手段、前記第２偏り度に基づいて第２補正係数を調整する第２係数調整手段、および前記第１平均輝度および前記第２平均輝度に前記第１補正係数および前記第２補正係数を参照した演算処理を施す演算手段を含み、
   前記第１変更手段は前記第１係数調整手段および前記第２係数調整手段の調整特性を変更する調整特性変更手段を含む、請求項１または２記載の画像処理装置。
4. 前記演算手段は、前記第２平均輝度に対する前記第１平均輝度の偏り度に相当するブロック偏り度を算出するブロック偏り度算出手段、および前記ブロック偏り度を前記第１補正係数を参照して重み付けする重み付け手段を含む、請求項３記載の画像処理装置。
5. 前記演算手段は前記重み付け手段の重み付け結果を既定値から減算する減算手段をさらに備え、
   前記調整特性変更手段は前記入力画像が前記既定の特徴画像を有するとき前記重み付け手段による重み付け量が増大するように前記第１係数調整手段の調整特性を変更する第１調整特性変更手段を含む、請求項４記載の画像処理装置。
6. 前記輝度補正手段はオフセットを加算する加算手段を含み、
   前記第１変更手段は前記オフセットの大きさを変更するオフセット変更手段を含む、請求項３ないし５のいずれかに記載の画像処理装置。
7. 前記輝度補正手段は、前記入力画像を形成する複数の画素の各々に対応するガンマ補正量を出力するガンマ補正量出力手段、および前記ガンマ補正量出力手段によって出力されたガンマ補正量を前記演算手段の演算結果を参照して修正する修正手段をさらに含む、請求項３ないし６のいずれかに記載の画像処理装置。
8. 前記入力画像を形成する複数の画素の各々の色を前記輝度補正手段によって補正された輝度を参照して補正する色補正手段、および
   前記第１変更手段の変更処理に関連して前記色補正手段の補正特性を変更する第２変更手段をさらに備える、請求項１ないし７のいずれかに記載の画像処理装置。
9. 画像処理装置によって実行される画像処理方法であって、
   入力画像を形成する複数の画素の各々の輝度の偏り度を前記入力画像の平均輝度を参照して算出する偏り度算出ステップ、
   前記入力画像を形成する複数の画素の各々の輝度を前記偏り度算出ステップによって算出された偏り度に基づいて補正する輝度補正ステップ、および
   既定の特徴画像の有無を含む前記入力画像の属性を判別して前記輝度補正ステップの補正特性を変更する変更ステップを備え、
   第１サイズを有する第１ブロック毎の前記入力画像の平均輝度に相当する第１平均輝度を算出する第１平均輝度算出ステップ、および
   前記第１サイズよりも大きい第２サイズを有する第２ブロック毎の前記入力画像の平均輝度に相当する第２平均輝度を算出する第２平均輝度算出ステップをさらに備え、
   前記偏り度算出ステップは、前記第１平均輝度に対する偏り度に相当する第１偏り度を算出する第１偏り度算出ステップ、および前記第２平均輝度に対する偏り度に相当する第２偏り度を算出する第２偏り度算出ステップを含む、画像処理方法。

Images