JP4666179B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、顔検出機能を用いた画像のノイズ低減処理に関する。

特許文献１では、肌色領域内の画素を輝度・色差信号に分解し、ウェーブレット変換して、特定範囲内の肌色領域画素について信号強度を減衰し、しわやしみを取り除く。

特許文献２では、顔の大きさに応じて輪郭強調や階調を変える。これにより、顔領域と別領域で別処理ができる。
特開２００５−１９６２７０号公報 特開平９−２３３４２３号公報

特許文献１では、肌が肌色範囲にない場合、しみ除去処理が行われない。特許文献２では、２つの領域に別処理を施す分、処理時間がかかるし、複雑な制御になる。

本発明は、画角に占める顔の割合によって、しわやしみの除去の重みを変え、背景の解像度劣化を極力減らし、しわやしみの除去と高画質維持を両立させることを目的とする。

本発明に係る画像処理方法は、画像を入力するステップと、画像から顔領域を検出するステップと、検出された顔領域の大きさに基づいて画像の輝度信号に対する所定のコアリング処理を施す周波数帯域を決定するステップと、画像の輝度信号から決定された周波数帯域を抽出するステップと、画像の輝度信号から抽出された周波数帯域に所定のコアリング処理を施すステップと、を含む。

本発明に係る画像処理方法は、画像を入力するステップと、画像から顔領域を検出するステップと、検出された顔領域の大きさに基づいて画像の色差信号に対する所定のコアリング処理を施す周波数帯域を決定するステップと、画像の色差信号から決定された周波数帯域を抽出するステップと、画像の色差信号から抽出された周波数帯域に所定のコアリング処理を施すステップと、を含む。

本発明に係る画像処理方法は、画像を入力するステップと、画像の輝度信号を所定の複数の周波数帯域に応じた複数の周波数成分に分離するステップと、画像から顔領域を検出するステップと、検出された顔領域の大きさに基づいてコアリング処理を施す分離周波数成分ごとの重みを決定するステップと、決定された分離周波数成分ごとの重みに応じ、分離周波数成分ごとに所定のコアリング処理を施すステップと、を含む。

本発明に係る画像処理方法は、画像を入力するステップと、画像の色差信号を所定の複数の周波数帯域に応じた複数の周波数成分に分離するステップと、画像から顔領域を検出するステップと、検出された顔領域の大きさに基づいてコアリング処理を施す分離周波数成分ごとの重みを決定するステップと、決定された分離周波数成分ごとの重みに応じ、分離周波数成分ごとに所定のコアリング処理を施すステップと、を含む。

顔領域の大きさが、予め区分された２つの段階の顔の大きさである第１の大きさと第２の大きさの間に位置する中間の大きさの場合、中間の大きさの顔に対応する重みは、第１の大きさおよび第２の大きさに対応する重みを線形補間することで決定されてもよい。

本発明に係る画像処理装置は、画像を入力する画像入力部と、画像から顔領域を検出する顔検出部と、検出された顔領域の大きさに基づいて画像の輝度信号に対する所定のコアリング処理を施す周波数帯域を決定する周波数帯域決定部と、画像の輝度信号から決定された周波数帯域を抽出する周波数帯域抽出部と、画像の輝度信号から抽出された周波数帯域に所定のコアリング処理を施すノイズリダクション処理部と、を備える。

本発明に係る画像処理装置は、画像を入力する画像入力部と、画像から顔領域を検出する顔検出部と、検出された顔領域の大きさに基づいて画像の色差信号に対する所定のコアリング処理を施す周波数帯域を決定する周波数帯域決定部と、画像の色差信号から決定された周波数帯域を抽出する周波数帯域抽出部と、画像の色差信号から抽出された周波数帯域に所定のコアリング処理を施すノイズリダクション処理部と、を備える。

本発明に係る画像処理装置は、画像を入力する画像入力部と、画像の輝度信号を所定の複数の周波数帯域に応じた複数の周波数成分に分離する分離部と、画像から顔領域を検出する顔検出部と、検出された顔領域の大きさに基づいてコアリング処理を施す分離周波数成分ごとの重みを決定する重み決定部と、決定された分離周波数成分ごとの重みに応じ、分離周波数成分ごとに所定のコアリング処理を施すノイズリダクション処理部と、を備える。

本発明に係る画像処理装置は、画像を入力する画像入力部と、画像の色差信号を所定の複数の周波数帯域に応じた複数の周波数成分に分離する分離部と、画像から顔領域を検出する顔検出部と、検出された顔領域の大きさに基づいてコアリング処理を施す分離周波数成分ごとの重みを決定する重み決定部と、決定された分離周波数成分ごとの重みに応じ、分離周波数成分ごとに所定のコアリング処理を施すノイズリダクション処理部と、を備える。

上記の画像処理方法をコンピュータに実行させる画像処理プログラムも本願発明に含まれる。

上記の画像処理装置と、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を出力する撮像素子と、アナログ画像信号をデジタル画像データに変換して画像入力部に出力する画像出力部と、を備える撮像装置も本願発明に含まれる。

本発明では、顔領域の大きさに応じてノイズリダクションの強弱を変化させるから、人物被写体の美肌効果と周囲の背景画質維持の両立が可能である。

＜第１実施形態＞
図１はデジタルカメラ２の電気的構成を示す。図１（ａ）に示すように、デジタルカメラ１０は、レンズを含んで構成された光学ユニット２２と、レンズの光軸後方に配設されたＣＣＤ２４と、相関二重サンプリング回路（以下、「ＣＤＳ」という。）を含んで構成されたアナログ信号処理部２６と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、所定容量のラインバッファを内蔵し、かつ入力されたデジタル画像データを後述するメモリ７２の所定領域に直接記憶させる制御を行うと共に、デジタル画像データに対して各種の画像処理を行うデジタル信号処理部３０と、を含んで構成されている。ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。

ここで、ＣＤＳによる相関二重サンプリング処理は、固体撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、固体撮像素子の１画素ごとの出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理である。

一方、デジタルカメラ１０は、デジタル画像データにより示される画像やメニュー画面等をＬＣＤ４４に表示させるための信号を生成してＬＣＤ４４に供給するＬＣＤインタフェース４２と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）５０と、主として撮影により得られたデジタル画像データを記憶するＶＲＡＭ（Video RAM）により構成されたメモリ７２と、メモリ７２に対するアクセスの制御を行うメモリインタフェース７０と、スマートメディア（Smart Media（Ｒ））により構成されたメモリカード８２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース８０と、所定の圧縮形式でデジタル画像データに対して圧縮処理を施す一方、圧縮処理されたデジタル画像データに対して圧縮形式に応じた伸張処理を施す圧縮・伸張処理回路８６と、を含んで構成されている。

デジタル信号処理部３０、ＬＣＤインタフェース４２、ＣＰＵ５０、メモリインタフェース７０、外部メモリインタフェース８０、および圧縮・伸張処理回路８６はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ５０は、デジタル信号処理部３０および圧縮・伸張処理回路８６の作動の制御、ＬＣＤ４４に対するＬＣＤインタフェース４２を介した各種情報の表示、メモリ７２およびメモリカード８２へのメモリインタフェース７０ないし外部メモリインタフェース８０を介したアクセスを行うことができる。

一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ５０によりタイミングジェネレータ３２を介して制御される。

さらに、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた焦点調整モータ、ズームモータおよび絞り駆動モータの駆動もＣＰＵ５０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係る光学ユニット２２に含まれるレンズ２１は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータおよび絞り駆動モータは含まれるものであり、焦点調整モータ、ズームモータおよび絞り駆動モータは各々ＣＰＵ５０の制御下でモータ駆動部３４から供給された駆動信号によって駆動される。

ＣＰＵ５０は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット２２に含まれるレンズ２１の焦点距離を変化させる。

また、ＣＰＵ５０は、ＣＣＤ２４による撮像によって得られた画像のコントラスト値が最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、本実施の形態に係るデジタルカメラ１０では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂ＴＴＬ（Through The Lens）方式を採用している。

さらに、レリーズボタン、電源スイッチ、モード切替スイッチ、十字カーソルボタン、および強制発光スイッチの各種ボタン類およびスイッチ類（これらを「操作部９０」と総称）はＣＰＵ５０に接続されており、ＣＰＵ５０は、これらの操作部９０に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ６２とＣＰＵ５０との間に介在されると共に、ＣＰＵ５０の制御によりストロボ６２を発光させるための電力を充電する充電部６０が備えられている。さらに、ストロボ６２はＣＰＵ５０にも接続されており、ストロボ６２の発光はＣＰＵ５０によって制御される。

光学ユニット２２に含まれるレンズ駆動機能、ＣＣＤ２４、タイミングジェネレータ３２、およびモータ駆動部３４が本発明の撮像手段に、アナログ信号処理部２６、ＡＤＣ２８、およびデジタル信号処理部３０が本発明の信号処理手段に、ストロボ６２が本発明の発光手段に、充電部６０が本発明の充電手段に、ＣＰＵ５０が本発明の間欠作動手段に、各々相当する。

顔検出部９１は、メモリ７２のデジタル画像データから人物の顔部分を含む領域である顔領域を特定する。顔領域の検出方法としては、例えば本出願人による特許公開２００７−１２４１１２号公報において開示された技術を適用することができる。

すなわち、顔検出部９１は、撮影された画像の画像データＰ0′を読み込み、画像Ｐ0′中の顔部分Ｐ0f′を検出する。具体的には、特開２００５−１０８１９５号公報に記載されているように、画像Ｐ0′の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器に入力することによって画像Ｐ0′中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ0f′として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。

なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、肌色検出、知識ベース、特徴抽出、テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。

図１（ｂ）に示すように、デジタル信号処理部３０は、輝度／色差信号分離部３０ａ、顔大きさ判断部３０ｂ、輝度信号ノイズ低減処理部３０ｃを含む。これらの機能については後述する。

次に、撮影時におけるデジタルカメラ１０の全体的な動作について簡単に説明する。

光学ユニット２２を介した撮像によってＣＣＤ２４から出力された被写体像を示す信号は順次アナログ信号処理部２６に入力されて相関二重サンプリング処理等のアナログ信号処理が施された後にＡＤＣ２８に入力され、ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ（赤）、Ｇ（緑）、Ｂ（青）の信号を各々１２ビットのＲ、Ｇ、Ｂ信号（デジタル画像データ）に変換してデジタル信号処理部３０に出力する。

デジタル信号処理部３０は内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ７２の所定領域に格納する。

メモリ７２の所定領域に格納されたデジタル画像データは、ＣＰＵ５０による制御下でデジタル信号処理部３０によって読み出され、これらに所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理およびシャープネス処理を行って８ビットのデジタル画像データを生成し、さらにＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ７２の上記所定領域とは異なる領域に格納する。

なお、ＬＣＤ４４は、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されているが、このようにＬＣＤ４４をファインダとして使用する場合には、生成したＹＣ信号を、ＬＣＤインタフェース４２を介して順次ＬＣＤ４４に出力する。これによってＬＣＤ４４にスルー画像が表示されることになる。

ここで、レリーズボタンがユーザによって半押し状態とされた場合、前述のようにＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態とされた場合、この時点でメモリ７２に格納されているＹＣ信号を、圧縮・伸張処理回路８６によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース８０を介してメモリカード８２に記録することによって撮影が行われる。

なお、ＣＰＵ５０は、当該撮影の際に、強制発光スイッチによって強制発光モードが設定されている場合にはストロボ６２を強制的に発光させる。また、強制発光モードが設定されていない場合であっても、ＣＣＤ２４を介して得られた画像情報により示される被写体の測光レベルが所定レベルより低い場合には、ＣＰＵ５０はストロボ６２を発光させる。

そして、ＣＰＵ５０は、このようなストロボ６２の発光に備えて、充電部６０による充電量が十分でない場合には、前述のＬＣＤ４４へのスルー画像の表示動作と並行して充電部６０を充電させるストロボ充電処理を実行する。

次に、図２のフローチャートを参照し、カメラ１０の実行する美肌処理の流れを説明する。

Ｓ１では、輝度／色差信号分離部３０ａは、ＡＤＣ２８から出力されたオリジナルの撮影画像のＲ，Ｇ，Ｂデータを輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換するＹＣ処理を行う。輝度／色差信号分離部３０ａは、輝度信号Ｙを輝度信号ノイズ低減処理部３０ｃに送る。

Ｓ２では、顔検出部９１は、顔領域の検出を試みる。そして、顔領域の検出に成功した場合はＳ３に進む。

Ｓ３では、顔大きさ判断部３０ｂは、顔検出部９１の検出した顔領域に基づき、その大きさを取得する。顔大きさ判断部３０ｂは、当該顔領域の大きさが、所定の閾値（例えば、検出した顔領域の横幅が、全画面の画素横幅の１／８）以上であるか否かを判断する。顔領域の大きさが所定の閾値以上である場合はＳ４、顔領域の大きさが所定の閾値未満である場合はＳ５に進む。

Ｓ４では、輝度信号ノイズ低減処理部３０ｃは、輝度信号Ｙの高域成分のノイズ成分を第１のローパスフィルタＬ１（図３参照）でカットすることで、低域成分の輝度信号Ｙ１を生成する。

Ｓ５では、輝度信号ノイズ低減処理部３０ｃは、輝度信号Ｙの高域成分のノイズ成分を、第２のローパスフィルタＬ２（図３参照）でカットすることで、輝度信号Ｙ１を生成する。第２のローパスフィルタＬ２は、第１のローパスフィルタＬ１よりも広域カット範囲が狭い。

Ｓ６では、輝度信号ノイズ低減処理部３０ｃは、図示しない減算器により、オリジナルの輝度信号Ｙから輝度信号Ｙ１を減算して、高周波成分の差分信号Ｙｄを抽出する。

Ｓ７では、差分信号Ｙｄに対し、ノイズリダクションを施し、ノイズ低減した高周波成分の差分信号Ｙ２を生成する。これは例えば、コアリング処理により行われる。すなわち、図４に示すように、差分信号Ｙｄのうち、小さな振幅の信号を通さないようにする処理であり、所定の振幅より小さな振幅の信号をノイズ信号とみなして除去あるいは抑制して出力する処理である。

Ｓ８では、輝度信号ノイズ低減処理部３０ｃは、図示しない加算器により、信号Ｙ１と信号Ｙ２とを合成し、最終輝度信号Ｙ３を生成する。最終輝度信号Ｙ３は、オリジナルの輝度信号Ｙの高周波成分Ｙｄから、小さな振幅の信号（しみやしわに相当）のみが除去され、大きい振幅の信号（背景に相当）は残されたものである。

この処理による画像処理の具体例を示すと図５・図６のようになる。図５は顔領域の大きさが所定の閾値以上であった場合、図６は顔領域の大きさが所定の閾値未満であった場合を想定している。

図５（ａ）に示すように、オリジナルの撮影画像ＩＭ１の顔領域の大きさが所定の閾値以上であった場合、図５（ｂ）に例示する第１のローパスフィルタＬ１を用いて低域成分の輝度信号Ｙ１が得られる。

次に、図５（ａ）に示すように、オリジナルの輝度信号Ｙから低域成分の輝度信号Ｙ１を減算すると、高周波成分の差分信号Ｙｄが抽出される。これに対してコアリング処理などのノイズリダクションを施し、小振幅のノイズのみ低減した高周波成分の差分信号Ｙ２を得る。そして、低域成分の輝度信号Ｙ１と小振幅のノイズのみ低減した差分信号Ｙ２とを加算することで、最終輝度信号Ｙ３を生成する。このＹ３とＣｒ、Ｃｂからなる画像データが、美肌処理の施された最終画像データＩＭ２である。

一方、図６（ａ）に示すように、オリジナルの撮影画像ＩＭ１の顔領域の大きさが所定の閾値未満であった場合、図６（ｂ）に例示する第２のローパスフィルタＬ２によって、輝度信号の高域成分のみがカットされた低域成分の輝度信号Ｙ１が得られる。

次に、図６（ａ）に示すように、オリジナルの輝度信号Ｙから低域成分の輝度信号Ｙ１を減算すると、高周波成分の差分信号Ｙｄが抽出される。これに対してコアリング処理などのノイズリダクションを施し、小振幅のノイズのみ低減した高周波成分の差分信号Ｙ２を得る。そして、低域成分の輝度信号Ｙ１と差分信号Ｙ２とを加算することで、最終輝度信号Ｙ３を生成する。このＹ３とＣｒ、Ｃｂからなる画像データが、美肌処理の施された最終画像データＩＭ２である。

同じ被写体を撮影したとき、顔を大きく撮影した時と小さく撮影した時とでは、顔表面のしわやしみの出方は異なり、小さいときには顔のディテールが落ちることから、顔の大きいときに視認できた細かなしわやしみは、あまり感じられなくなる。

そこで、顔領域が小さいときのローパスフィルタＬ２は、顔領域が大きいときのローパスフィルタＬ１よりも高域カット範囲を小さくし、より狭い範囲の高域成分Ｙｄを抽出する。

顔領域が小さい場合の高周波成分の差分信号Ｙｄの周波数範囲は、顔領域が大きい場合よりも狭くなる。しかし、上述したように、小さいときには顔のディテールが落ちることから、顔の大きいときにあった細かなしわやしみは、あまり感じられなくなるから、この狭い範囲でのノイズリダクション処理でも、効果は十分である。

また、顔領域が小さい場合の高周波成分の差分信号Ｙｄの周波数範囲は、顔領域が大きい場合よりも狭くなるから、従来では不必要に消されていた背景部分のディテールが、ノイズリダクションを施してもカットされずに残る。つまり、美肌効果と周囲の背景画質維持の両立が可能である。

＜第２実施形態＞
図７は第２実施形態に係るカメラ１０のデジタル信号処理部３０の詳細構成を示す。デジタル信号処理部３０は、色差信号ノイズ低減処理部３０ｄを含む。他の実施形態と同一のブロックには同一の符号を付している。

図８は、カメラ１０の実行する第２実施形態に係る美肌処理の流れを説明する。

Ｓ１１では、輝度／色差信号分離部３０ａは、ＡＤＣ２８から出力されたオリジナルの撮影画像のＲ，Ｇ，Ｂデータを輝度信号Ｙ、色差信号Ｃｒ、Ｃｂ（これらの色差信号をまとめてＣで表す）に変換するＹＣ処理を行う。輝度／色差信号分離部３０ａは、色差信号Ｃを色差信号ノイズ低減処理部３０ｄに送る。

Ｓ１２では、顔検出部９１は、顔領域の検出を試みる。そして、顔領域の検出に成功した場合はＳ１３に進む。

Ｓ１３では、顔大きさ判断部３０ｂは、顔検出部９１の検出した顔領域に基づき、その大きさを取得する。顔大きさ判断部３０ｂは、当該顔領域の大きさが、所定の閾値（例えば、検出した顔領域の横幅が、全画面の画素横幅の１／８）以上であるか否かを判断する。顔領域の大きさが所定の閾値以上である場合はＳ１４、顔領域の大きさが所定の閾値未満である場合はＳ１５に進む。

Ｓ１４では、色差信号ノイズ低減処理部３０ｄは、色差信号Ｃの高域成分のノイズ成分を第１のローパスフィルタＬ１（図９（ｂ）参照）でカットすることで、低域成分の色差信号Ｃ１を生成する。

Ｓ１５では、色差信号ノイズ低減処理部３０ｄは、色差信号Ｃの高域成分のノイズ成分を、第２のローパスフィルタＬ２（図１０（ｂ）参照）でカットすることで、低域成分の色差信号Ｃ１を生成する。第２のローパスフィルタＬ２は、第１のローパスフィルタＬ１よりも広域カット範囲が狭い。

Ｓ１６では、色差信号ノイズ低減処理部３０ｄは、図示しない減算器により、オリジナルの色差信号Ｃから色差信号Ｃ１を減算して、高周波成分の差分信号Ｃｄを抽出する。

Ｓ１７では、差分信号Ｃｄに対し、ノイズリダクションを施し、ノイズ低減した高周波成分の差分信号Ｃ２を生成する。これは例えば、コアリング処理により行われる。すなわち、差分信号Ｃｄのうち、小さな振幅の信号を通さないようにする処理であり、所定の振幅より小さな振幅の信号をノイズ信号とみなして除去あるいは抑制して出力する処理である。

Ｓ１８では、色差信号ノイズ低減処理部３０ｄは、図示しない加算器により、色差信号Ｃ１と、信号Ｃ２と合成し、最終色差信号Ｃ３を生成する。最終色差信号Ｃ３は、オリジナルの色差信号ＣをフィルタＬ１に通して得られた高周波成分Ｃｄから、小さな振幅の信号（しみやしわに相当）のみが除去され、大きい振幅の信号（背景に相当）は残されたものである。

この処理による画像処理の具体例を示すと図９・図１０のようになる。図９は顔領域の大きさが所定の閾値以上であった場合、図１０は顔領域の大きさが所定の閾値未満であった場合を想定している。

図９（ａ）に示すように、オリジナルの撮影画像ＩＭ１の顔領域の大きさが所定の閾値以上であった場合、図９（ｂ）に例示するような使用する第１のローパスフィルタＬ１によって、色差信号の高域成分のみがカットされた低域の色差信号Ｃ１が得られる。

次に、図９（ａ）に示すように、オリジナルの色差信号Ｃから色差信号Ｃ１を減算すると、高周波成分の差分信号Ｃｄが抽出される。これに対してコアリング処理などのノイズリダクションを施し、ノイズ低減した高周波成分の差分信号Ｃ２を得る。そして、低域の色差信号Ｃ１と差分信号Ｃ２とを加算することで、最終色差信号Ｃ３を生成する。このＣとＹとからなる画像データが、美肌処理の施された最終画像データＩＭ２である。

一方、図１０（ａ）に示すように、オリジナルの撮影画像ＩＭ１の顔領域の大きさが所定の閾値未満であった場合、図１０（ｂ）に例示するような使用する第２のローパスフィルタＬ２によって、輝度信号の高域成分のみがカットされた低域の色差信号Ｃ１が得られる。

次に、図１０（ａ）に示すように、オリジナルの色差信号Ｃから色差信号Ｃ１を減算すると、高周波成分の差分信号Ｃｄが抽出される。これに対してコアリング処理などのノイズリダクションを施し、ノイズ低減した高周波成分の差分信号Ｃ２を得る。そして、低域の色差信号Ｃ１と差分信号Ｃ２とを加算することで、最終色差信号Ｃ３を生成する。このＣとＹとからなる画像データが、美肌処理の施された最終画像データＩＭ２である。

同じ被写体を撮影したとき、顔を大きく撮影した時と小さく撮影した時とでは、顔表面の色むらの出方は異なり、顔の小さいときには肌の面積が少ないことから、色むらはあまり感じられなくなる。よって、顔の大きさによって、色差信号についてもノイズリダクション効果を変える方が望ましいといえる。

そこで、顔領域が小さいときのローパスフィルタＬ２は、顔領域が大きいときのローパスフィルタＬ１よりも高域カット範囲を大きくし、顔の大きさによって、より狭い範囲の高域成分Ｃｄを抽出する。

顔領域が小さい場合の高周波成分の差分信号Ｃｄの周波数範囲は、顔領域が大きい場合よりも狭くなる。しかし、上述したように、小さいときには顔のディテールが落ち、顔の大きいときにあった細かな色むらは、あまり感じられなくなるから、この狭い範囲でのノイズリダクション処理でも、効果は十分であるし、また、従来と異なり、顔が小さい場合は、弱いノイズリダクション処理で済ませるため、背景部分の色にじみやボケの発生も防げる。つまり、美肌効果と周囲の背景画質維持の両立が可能である。

＜第３実施形態＞
図１１は第３実施形態に係るカメラ１０のデジタル信号処理部３０の詳細構成を示す。デジタル信号処理部３０は、輝度信号周波数分解部３０ｅ、各周波数帯域輝度信号ノイズ低減処理部３０ｆを含む。他の実施形態と同一のブロックには同一の符号を付している。

図１２は、カメラ１０の実行する第３実施形態に係る美肌処理の流れを説明する。

Ｓ２１，Ｓ２２は、それぞれＳ１、Ｓ２と同様である。

Ｓ２３では、各周波数帯域輝度信号ノイズ低減処理部３０ｆは、輝度信号Ｙから、段階的に区分された複数の周波数帯域（例えば高・中・低の３段階）に対応する周波数成分を、抽出する。

Ｓ２４は、Ｓ２と同様、顔領域の検出が成功したか否かを判断し、成功したと判断した場合、Ｓ２５に進む。

Ｓ２５では、顔大きさ判断部３０ｂは、当該顔領域の大きさが、所定の閾値（例えば、検出した顔領域の横幅が、全画面の画素横幅の１／８）以上であるか否かを判断する。顔領域の大きさが所定の閾値以上である場合はＳ２６、顔領域の大きさが所定の閾値未満である場合はＳ２７に進む。

Ｓ２６では、輝度信号Ｙの各周波数成分に対し、顔が大きい場合の第１のノイズリダクションを施す。例えば、図１３の重みテーブルで示すように、高周波数帯域の成分にはノイズ低減効果の大きい処理（例えばコアリング処理でカットする低周波数領域を大きくする）を行い、中周波数帯域の成分にはノイズ低減効果の大きい処理を行い、低周波数帯域の成分にはノイズ低減効果の大きい処理を行うといったように、周波数帯域ごとに対応するノイズリダクションの重みを決め、それに応じて周波数帯域ごとに重みづけされたノイズリダクション処理を各周波数成分に施すことで、輝度信号Ｙから、しみやしわに相当する周波数成分のみを取り除く。

Ｓ２７では、輝度信号Ｙの各周波数成分に対し、顔が小さい場合の第２のノイズリダクションを施す。例えば、図１３のテーブルで示すように、高周波数帯域にはノイズ低減効果の大きい処理（例えばコアリング処理でカットする周波数帯域を大きくする）を行い、中周波数帯域にはノイズ低減効果の中間程度の処理（例えばコアリング処理でカットする周波数帯域を中程度にする）を行い、低周波数帯域にはノイズ低減効果の小さい処理（例えばコアリング処理でカットする周波数帯域を小さくする）を行うといったように、周波数帯域ごとに対応するノイズリダクションの重みを決め、それに応じて周波数帯域ごとに重みづけされたノイズリダクション処理を各周波数成分に施すことで、輝度信号Ｙから、しみやしわに相当する周波数部分のみを取り除く。

この処理による画像処理の具体例を示すと図１４・図１５のようになる。図１４は顔領域の大きさが所定の閾値以上であった場合、図１５は顔領域の大きさが所定の閾値未満であった場合を想定している。

図１４に示すように、オリジナル画像データＩＭ１から輝度信号Ｙを抽出し、さらに、輝度信号Ｙを高中低の３つの周波数帯域に分離する。次に、各周波数帯の小振幅成分をノイズ（しみ、しわ）とみなし、図１３のテーブルに従って各周波数帯域ごとにコアリングの重みづけをして、各周波数帯域ごとにノイズリダクション処理を施す。

図１５に示すように、オリジナル画像データＩＭ１から輝度成分Ｙを抽出し、さらに、輝度成分Ｙを高中低の３つの周波数帯域に分離する。次に、各周波数帯の小振幅成分をノイズ（しみ、しわ）とみなし、図１３のテーブルに従って各周波数帯域ごとにコアリングの重みづけをして、各周波数帯域ごとにノイズリダクション処理を施す。

顔領域が小さい場合、ノイズ成分（しみ、しわ）は、高周波数側にシフトする。これは、顔領域の解像度が低下し、高解像度下ではくっきりしていたノイズ成分がぼやけてくる、すなわち、画像としての顔領域表面の周波数特性が、顔領域が小さくなるにつれて低周波数側に集まるためである。

顔領域が小さい場合、高周波帯域側のノイズリダクションのみで十分所期の効果が達成でき、低周波帯域側のノイズリダクションは、あまり意味がない。よって、顔領域が小さい場合、低周波帯域側のノイズリダクションに対して特に大きな重みづけをする。

このように、顔の大きさに応じて、ノイズとして除去する輝度信号の周波数帯域を変えることで、より精度の高いノイズリダクション効果を得ることができる。

＜第４実施形態＞
図１７は第４実施形態に係るカメラ１０のデジタル信号処理部３０の詳細構成を示す。デジタル信号処理部３０は、色差信号周波数分解部３０ｇ、各周波数帯域色差信号ノイズ低減処理部３０ｈを含む。他の実施形態と同一のブロックには同一の符号を付している。

図１８は、カメラ１０の実行する第４実施形態に係る美肌処理の流れを説明する。

Ｓ３１，Ｓ３２は、それぞれＳ１、Ｓ２と同様である。

Ｓ３３では、各周波数帯域色差信号ノイズ低減処理部３０ｈは、色差信号Ｃから、段階的に区分された複数の周波数帯域（例えば、「高」、「中」、「低」の３つの帯域）に対応する周波数成分を、抽出する。

Ｓ３４は、Ｓ２と同様、顔領域の検出が成功したか否かを判断し、成功したと判断した場合、Ｓ３５に進む。

Ｓ３５では、顔大きさ判断部３０ｂは、当該顔領域の大きさが、所定の閾値（例えば、検出した顔領域の横幅が、全画面の画素横幅の１／８）以上であるか否かを判断する。顔領域の大きさが所定の閾値以上である場合はＳ３６、顔領域の大きさが所定の閾値未満である場合はＳ３７に進む。

Ｓ３６では、色差信号Ｃの各周波数成分に対し、顔が大きい場合の第１のノイズリダクションを施す。例えば、図１８のテーブルで示すように、高周波数帯域にはノイズ低減効果の大きい処理（例えばコアリング処理でカットする低周波数領域を大きくする）を行い、中周波数帯域にはノイズ低減効果の大きい処理を行い、低周波数帯域にはノイズ低減効果の大きい処理を行うといったように、周波数帯域ごとに対応するノイズリダクションの重みを決め、それに応じて周波数成分ごとに重みづけされたノイズリダクション処理を施す。

Ｓ３７では、色差信号Ｃの各周波数成分に対し、顔が小さい場合の第２のノイズリダクションを施す。例えば、図１８のテーブルで示すように、高周波数帯域にはノイズ低減効果の大きい処理（例えばコアリング処理でカットする周波数帯域を大きくする）を行い、中周波数帯域にはノイズ低減効果の中間程度の処理（例えばコアリング処理でカットする周波数帯域を中程度にする）を行い、低周波数帯域にはノイズ低減効果の小さい処理（例えばコアリング処理でカットする周波数帯域を小さくする）を行うといったように、周波数帯域ごとに対応するノイズリダクションの重みを決め、それに応じて周波数成分ごとに重みづけされたノイズリダクション処理を施す。

この処理による画像処理の具体例を示すと図１９・図２０のようになる。図１９は顔領域の大きさが所定の閾値以上であった場合、図２０は顔領域の大きさが所定の閾値未満であった場合を想定している。

図１９に示すように、オリジナル画像データＩＭ１から色差信号Ｃを抽出し、さらに、高中低の３つの周波数帯域に分離する。次に、各周波数帯の小振幅成分をノイズ（しみ、しわ）とみなし、図１８のテーブルに従って各周波数帯域ごとにコアリングの重みづけをして、ノイズリダクション処理を施す。

図２０に示すように、オリジナル画像データＩＭ１から色差信号Ｃを抽出し、さらに、高中低の３つの周波数帯域に分離する。次に、各周波数帯の小振幅成分をノイズ（しみ、しわ）とみなし、図１８のテーブルに従って各周波数帯域ごとにコアリングの重みづけをして、ノイズリダクション処理を施す。

顔領域が小さい場合、ノイズ成分（しみ、しわ）は、高周波数側にシフトする。これは、顔領域の解像度が低下し、高解像度下ではくっきりしていたノイズ成分がぼやけてくるすなわち、画像としての顔領域表面の周波数特性が、顔領域が小さくなるにつれて低周波数側に集まるためである。

顔領域が小さい場合、高周波帯域側のノイズリダクションのみで十分所期の効果が達成でき、低周波帯域側のノイズリダクションは、あまり意味がない。よって、顔領域が小さい場合、低周波帯域側のノイズリダクションに対して特に重みづけをする。

このように、顔の大きさに応じて、ノイズとして除去する色差信号の周波数帯域を変えることで、より精度の高いノイズリダクション効果を得ることができる。

＜第５実施形態＞
図２１は第５実施形態に係るカメラ１０のデジタル信号処理部３０の詳細構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

図２２は、カメラ１０の実行する第５実施形態に係る美肌処理の流れを説明する。

Ｓ４１〜Ｓ４４は、Ｓ２１〜Ｓ２４と同様である。

Ｓ４５では、顔領域の大きさが「大きい」か否かを判断する。例えば図２３の顔サイズ判定テーブルに従い、顔領域の横サイズと全画像の横サイズの比が７／８以上であれば、大きいと判断する。そして、大きいと判断した場合、Ｓ４６に進む。

Ｓ４６では、各周波数帯域輝度信号ノイズ低減処理部３０ｆは、顔領域の大きさが「大きい」場合に対応する輝度信号Ｙの各周波数帯の重みを決定し、その重みに従って各周波数成分にノイズリダクション処理を施す。図２４は、顔領域の大きさに対応する重みを規定した重みテーブルの一例を示す。Ｓ４６では、「大きい」場合に対応する重み、すなわち高周波帯域では「大」、中周波帯域では「大」、小周波帯域では「大」の重みが与えられる。これはＳ２６と同様である。

Ｓ４７では、顔領域の大きさが「小さい」か否かを判断する。例えば図２３の顔サイズ判定テーブルに従い、顔領域の横サイズと全画像の横サイズの比が１／８未満であれば、小さいと判断する。そして、小さいと判断した場合、Ｓ４８に進む。小さいと判断しない場合、Ｓ４９に進む。

Ｓ４８では、各周波数帯域輝度信号ノイズ低減処理部３０ｆは、顔領域の大きさが「大きい」場合に対応する輝度信号Ｙの各周波数帯の重みを決定し、その重みに従って各周波数成分にノイズリダクション処理を施す。

図２４は、顔領域の大きさに対応する重みを規定した重みテーブルの一例を示す。Ｓ４８では、顔が「小さい」場合に対応する重み、すなわち高周波帯域では「大」、中周波帯域では「中」、小周波帯域では「小」の重みが与えられる。これはＳ２７と同様である。

Ｓ４９では、顔領域の大きさが「大きい」場合に対応する各周波数帯の重みと、「小さい」場合に対応する各周波数帯の重みとを線形補間することで、顔領域の大きさが「中間」場合に対応する各周波数帯の重みを算出する。

例えば、図２５が、顔領域の大きさが「大きい」場合に対応する輝度信号Ｙの高、中、低の各周波数帯の重みをパラメータ「Ｙ＿ＢＬ＿Ｈ」、「Ｙ＿ＢＬ＿Ｍ」、「Ｙ＿ＢＬ＿Ｌ」で、あるいは「小さい」場合に対応する高、中、低の各周波数帯の重みをパラメータ「Ｙ＿ＢＳ＿Ｈ」、「Ｙ＿ＢＳ＿Ｍ」、「Ｙ＿ＢＳ＿Ｌ」で、一般的に表したものとする。この場合、図２６に例示するような、各周波数帯ごとの線形補間式により、高、中、低の各周波帯に対応する重み「Ｙ＿ＢＸ＿Ｈ」、「Ｙ＿ＢＸ＿Ｍ」、「Ｙ＿ＢＸ＿Ｌ」を算出する。

これにより、顔の大きさが中間の場合でも、周波数帯に応じて輝度信号Ｙの適切なノイズリダクションが可能であり、顔の大きさが中途半端な場合に不適切なパラメータでノイズリダクションがされてハンチング現象が発生することを防げる。

＜第６実施形態＞
図２７は第６実施形態に係るカメラ１０のデジタル信号処理部３０の詳細構成を示す。他の実施形態と同一のブロックには同一の符号を付している。

図２８は、カメラ１０の実行する第６実施形態に係る美肌処理の流れを説明する。

Ｓ５１〜Ｓ５４は、Ｓ３１〜Ｓ３４と同様である。

Ｓ５５では、顔領域の大きさが「大きい」か否かを判断する。例えば図２９の顔サイズ判断テーブルに従い、顔領域の横サイズと全画像の横サイズの比が７／８以上であれば、大きいと判断する。そして、大きいと判断した場合、Ｓ５６に進む。

Ｓ５６では、各周波数帯域色差信号ノイズ低減処理部３０ｈは、顔領域の大きさが「大きい」場合に対応する色差信号Ｃの各周波数帯の重みを決定し、その重みに従って各周波数成分にノイズリダクション処理を施す。図３０は、顔領域の大きさに対応する重みを規定したテーブルの一例を示す。Ｓ５６では、「大きい」場合に対応する重み、すなわち高周波帯域では「大」、中周波帯域では「大」、小周波帯域では「大」の重みが与えられる。これはＳ３６と同様である。

Ｓ５７では、顔領域の大きさが「小さい」か否かを判断する。例えば図３０の顔サイズ判断テーブルに従い、顔領域の横サイズと全画像の横サイズの比が１／８未満であれば、小さいと判断する。そして、小さいと判断した場合、Ｓ５８に進む。小さいと判断しない場合、Ｓ５９に進む。

Ｓ５８では、各周波数帯域色差信号ノイズ低減処理部３０ｈは、顔領域の大きさが「大きい」場合に対応する色差信号Ｃの各周波数帯の重みを決定し、その重みに従って各周波数成分にノイズリダクション処理を施す。

図３１は、顔領域の大きさに対応する重みを規定した重みテーブルの一例を示す。Ｓ５６では、「大きい」場合に対応する重み、すなわち高周波帯域では「大」、中周波帯域では「中」、小周波帯域では「小」の重みが与えられる。これはＳ３７と同様である。

Ｓ５９では、顔領域の大きさが「中間」場合に対応する各周波数帯の重みおよび「小さい」場合に対応する各周波数帯の重みを、線形補間することで、顔領域の大きさが「中間」場合に対応する各周波数帯の重みを算出する。

例えば、図３１が、顔領域の大きさが「大きい」場合に対応する色差信号Ｃの高、中、低の各周波数帯の重みをパラメータ「Ｃ＿ＢＬ＿Ｈ」、「Ｃ＿ＢＬ＿Ｍ」、「Ｃ＿ＢＬ＿Ｌ」で、あるいは「小さい」場合に対応する高、中、低の各周波数帯の重みをパラメータ「Ｃ＿ＢＳ＿Ｈ」、「Ｃ＿ＢＳ＿Ｍ」、「Ｃ＿ＢＳ＿Ｌ」で、一般的に表したものとする。この場合、図３２に例示するような各周波数帯ごとの線形補間式により、高、中、低の各周波帯に対応する重み「Ｃ＿ＢＸ＿Ｈ」、「Ｃ＿ＢＸ＿Ｍ」、「Ｃ＿ＢＸ＿Ｌ」を算出する。

これにより、顔の大きさが中間の場合でも、周波数帯に応じて色差信号Ｃの適切なノイズリダクションが可能であり、顔の大きさが中途半端な場合に不適切なパラメータでノイズリダクションがされてハンチング現象が発生することを防げる。

デジタルカメラの電気的構成および第１実施形態に係るデジタル信号処理部の詳細構成を示す図 第１実施形態に係る美肌処理のフローチャート ローパスフィルタＬ１・Ｌ２の一例を示す図 コアリング処理で画像信号に重畳される関数の一例を示す図 第１実施形態において顔領域が大きい場合の処理の流れを例示した図 第１実施形態において顔領域が小さい場合の処理の流れを例示した図 第２実施形態に係るデジタル信号処理部のブロック図 第２実施形態に係る美肌処理のフローチャート 第２実施形態において顔領域が大きい場合の処理の流れを例示した図 第２実施形態において顔領域が小さい場合の処理の流れを例示した図 第３実施形態に係るデジタル信号処理部のブロック図 第３実施形態に係る美肌処理のフローチャート 第３実施形態に係る重みテーブルを例示した図 第３実施形態において顔領域が大きい場合の処理の流れを例示した図 第３実施形態において顔領域が小さい場合の処理の流れを例示した図 第４実施形態に係るデジタル信号処理部のブロック図 第４実施形態に係る美肌処理のフローチャート 第４実施形態に係る重みテーブルを例示した図 第４実施形態において顔領域が大きい場合の処理の流れを例示した図 第４実施形態において顔領域が小さい場合の処理の流れを例示した図 第５実施形態に係るデジタル信号処理部のブロック図 第５実施形態に係る美肌処理のフローチャート 第５実施形態に係る顔サイズ判定テーブルを例示した図 第５実施形態に係る重みテーブルを例示した図 第５実施形態に係るパラメータ化された重みテーブルを例示した図 第５実施形態に係る線形補間による顔領域の重みの算出式を例示した図 第６実施形態に係るデジタル信号処理部のブロック図 第６実施形態に係る美肌処理のフローチャート 第６実施形態に係る顔サイズ判定テーブルを例示した図 第６実施形態に係る重みテーブルを例示した図 第６実施形態に係るパラメータ化された重みテーブルを例示した図 第６実施形態に係る線形補間による顔領域の重みの算出式を例示した図

符号の説明

３０：デジタル信号処理部、３０ａ：輝度／色差信号分離部、３０ｂ：顔大きさ判断部、３０ｃ：輝度信号ノイズ低減処理部、３０ｄ：色差信号ノイズ低減処理部、３０ｅ：輝度信号周波数分解部、３０ｆ：各周波数帯域輝度信号ノイズ低減処理部、３０ｇ：色差信号周波数分解部、３０ｈ：各周波数帯域色差信号ノイズ低減処理部、９１：顔検出部

Claims (4)

1. 画像を入力するステップと、
   前記画像から顔領域を検出するステップと、
   前記検出された顔領域の大きさに基づいて前記画像の色差信号に対する所定のコアリング処理を施す周波数帯域を決定するステップと、
   前記画像の色差信号から前記決定された周波数帯域を抽出するステップと、
   前記画像の色差信号から抽出された周波数帯域に前記所定のコアリング処理を施すステップと、
   を含む画像処理方法。
2. 画像を入力するステップと、
   前記画像の色差信号を所定の複数の周波数帯域に応じた複数の周波数成分に分離するステップと、
   前記画像から顔領域を検出するステップと、
   前記検出された顔領域の大きさに基づいてコアリング処理を施す分離周波数成分ごとの
   重みを決定するステップと、
   前記決定された分離周波数成分ごとの重みに応じ、前記分離周波数成分ごとに所定のコ
   アリング処理を施すステップと、
   を含む画像処理方法。
3. 画像を入力する画像入力部と、
   前記画像から顔領域を検出する顔検出部と、
   前記検出された顔領域の大きさに基づいて前記画像の色差信号に対する所定のコアリング処理を施す周波数帯域を決定する周波数帯域決定部と、
   前記画像の色差信号から前記決定された周波数帯域を抽出する周波数帯域抽出部と、
   前記画像の色差信号から抽出された周波数帯域に前記所定のコアリング処理を施すノイズリダクション処理部と、
   を備える画像処理装置。
4. 画像を入力する画像入力部と、
   前記画像の色差信号を所定の複数の周波数帯域に応じた複数の周波数成分に分離する分離部と、
   前記画像から顔領域を検出する顔検出部と、
   前記検出された顔領域の大きさに基づいてコアリング処理を施す分離周波数成分ごとの重みを決定する重み決定部と、
   前記決定された分離周波数成分ごとの重みに応じ、前記分離周波数成分ごとに所定のコアリング処理を施すノイズリダクション処理部と、
   を備える画像処理装置。

Images