JP5264695B2 - 画像処理方法、画像処理装置、及び撮像装置 - Google Patents

Description

本発明は、入力された画像のシーンを判別し、判別したシーンに応じた画像処理を行う画像処理方法、画像処理装置及び撮像装置に関するものである。

従来、画像のシーンや被写体の種類を判別し、判別したシーンや被写体の種類に応じた画像処理を行う画像処理装置があった。

例えば、特許文献１では、入力された画像データが鮮やかなシーン（被写体）であるかを判別し、鮮やかなシーンの画像は高解像度で出力する画像出力装置が開示されている。

また、特許文献２では、入力された画像データの明るさを判別し、明るさに応じた彩度の知覚変化に合わせて画像データの彩度を補正する撮像装置が開示されている。

特開２０００−２５９３７２号公報 特開２００７−２６７１７０号公報

しかし、特許文献１のような処理では、画像内の全ての色に対して一律に補正を行うので、被写体の種類によっては違和感が生じる場合があるという課題があった。例えば、人間は人の肌色などの記憶色と呼ばれる色の変化に敏感であるため、人の肌色の彩度を上述のような方法で、他の色と同じように補正してしまうと、違和感のある画像になってしまう。

特許文献２では、彩度補正の際に肌色を除外しているが、画像の色相のみに基づいて、肌色であるか否かを判定しているため、人の肌色とは彩度などが異なる色に対しても影響を与える場合があった。

そこで、本発明の目的は、入力された画像の撮影されたシーンを判別し、判別結果に応じて画像を補正する画像処理において、記憶色の被写体が存在する場合の違和感を低減させることが可能な画像処理方法、画像処理装置及び撮像装置を提供することである。

上記目的を達成するために、本発明の画像処理方法は、請求項１に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正ステップと、画像データの画像中の被写体を検出する検出ステップと、を有し、前記第１の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行い、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の画像処理方法は、請求項２に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正ステップと、画像データの画像中の被写体を検出する検出ステップと、前記検出ステップで前記被写体が検出されたとき、前記第１の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第２の補正ステップと、を有し、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の画像処理方法は、請求項３に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正ステップと、画像データの画像中の被写体を検出する検出ステップと、前記第１の補正ステップでは、画像データの画像中の、前記検出ステップで前記被写体が検出された領域以外の領域に対して、前記補正処理を行い、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の画像処理装置は、請求項１２に記載の通り、画像データを取得する取得手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、を有し、前記第１の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行い、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の画像処理装置は、請求項１３に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、画像データの画像中の被写体を検出する検出手段と、を有し、前記第１の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行い、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の画像処理装置は、請求項１４に記載の通り、画像データを取得する取得ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、前記画像データの画像中の被写体を検出する検出手段と、前記検出手段で前記被写体が検出されたとき、前記第１の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第２の補正手段と、を有し、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の撮像装置は、請求項１５に記載の通り、被写体を撮像し、画像データを出力する撮像ステップと、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、画像データの画像中の被写体を検出する検出手段と、前記検出手段で前記被写体が検出されたとき、前記第１の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第２の補正手段と、を有し、前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の撮像装置は、請求項１６に記載の通り、画像データを取得する取得手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、画像データの画像中の被写体を検出する検出手段と、前記第１の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行い、前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

また、本発明の撮像装置は、請求項１７に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、画像データの画像中の被写体を検出する検出手段と、前記第１の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行い、前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする。

本発明によれば、撮影されたシーンを判別し、判別結果に応じて画像を補正する画像処理画像処理装置において、肌色等の記憶色の被写体が存在する場合でもの違和感を生じさせない、もしくは低減させすることができる。

第１の実施形態に係る撮像装置の構成を示すブロック図 画像信号のブロック分割を示す図 色差信号と彩度・色相の関係を示す図 第１の実施形態に係るシーン判別部の処理を示すフローチャート シーン判別部が行うシーン判別処理の特性を示す図 第１の実施形態に係る画像信号の補正処理を示すフローチャート 第２の実施形態に係る撮像装置の構成を示すブロック図 第２の実施形態に係る画像信号の補正処理を示すフローチャート 第２の実施形態に係る色相別の画像信号の補正処理を示すフローチャート 第２の実施形態に係る肌色の判定方法を示す図 第２の実施形態に係る補正処理の特性を示す図

（第１の実施形態）
以下、図１〜図６を参照して、本発明の第１の実施形態による画像処理装置について説明する。

図１は第１の実施形態に係るシーン判別機能を備え、シーンに応じた画像補正処理を行う画像処理装置の一例である撮像装置の構成を示すブロック図である。図１において、１０１は被写体の光束を結像するレンズである。１０２はレンズからの光束を撮像素子に導く際に絞る絞りである。１０３は入射された光束を光電変換して画像信号として出力する撮像素子である。１０４はオートゲインコントロールアンプ（ＡＧＣ）であり、撮像素子１０３からの信号を適正レベルに増幅する。

１０５は輝度・色信号生成部であり、撮像素子１０３で生成された信号を輝度信号（Ｙ）、及び色信号（Ｒ，Ｇ，Ｂ）に変換する。１０６はホワイトバランス増幅部であり、輝度・色信号生成部１０５から出力される色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲインに従って増幅し、増幅色信号（Ｒ’，Ｇ’，Ｂ’）を生成する。１０７は色差信号生成部であり、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成する。１０８は、色差信号に対してゲインをかけるなどの補正を行う色差信号補正部、１０９は標準テレビ信号等に変換するエンコーダである。

１１０は信号分割部であり、輝度信号（Ｙ）、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を所定の小ブロックに分割する。１１１は、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）から彩度信号（Ｃｈｒｏｍａ）を算出する彩度算出部である。１１２は、入力画像のシーンを判別するシーン判別部である。１１３は撮像システム全体を制御するカメラ制御部であり、図示していないが撮像装置中の各部に指示を送り、処理を行わせることができる。１１４は撮影画像から人物の顔を検出する顔検出部である。

次に、図１の撮像装置の撮影動作について説明する。レンズ１０１、アイリス１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３に入射した光は、光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５では、輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）を生成し、このうち色信号（Ｒ，Ｇ，Ｂ）をホワイトバランス増幅部１０６に出力し、輝度信号（Ｙ）をエンコーダ１０９に出力する。

ホワイトバランス増幅部１０６では、カメラ制御部１１３によって算出されたホワイトバランスゲインに基づいて色信号（Ｒ，Ｇ，Ｂ）を増幅し、増幅した色信号（Ｒ’，Ｇ’，Ｂ’）を色差信号生成部１０７に出力する。色差信号生成部１０７では、色信号（Ｒ’，Ｇ’，Ｂ’）から色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成し、色差信号補正部１０８及び信号分割部１１０に出力する。

色差信号補正部１０８では、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）に対して、カメラ制御部１１３によって算出された色差ゲインＧ（ゲインの強度に関しては後述する）をかけ補正する。また、補正後の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）をエンコーダ１０９に出力する。エンコーダ１０９では、輝度信号（Ｙ）及び色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）からＮＴＳＣ等の標準テレビジョン信号を生成し、不図示の記録部へ出力する。

次に本発明の特徴部分である、画像データに施す、撮影シーンに応じた画像処理について説明する。本実施形態では、撮像系から取り込まれた画像データに基づいて、この画像データが撮影されたシーンが鮮やかなシーンであるか否かを判別し、判別結果に応じた画像処理を画像データに施す処理を行う。このとき、人物等、一般的に記憶色といわれる色を含む被写体が画像中に含まれている場合には、肌色等の記憶色への違和感を低減させる処理を施す。

本実施形態の特徴部分であるこれら一連の処理についてのフローチャート図を図３に示す。これらの処理はカメラ制御部１１３の指示によって各部で行われる。

ステップＳ３０１では、色差信号生成部１０７から画像データを取得し信号分割部１１０で複数のブロックに分割される。ステップＳ３０２では、画像全体の平均彩度及びブロック毎の彩度を基に、得られた画像データが鮮やかなシーンであるか否かの鮮やか判別処理が行われる。ステップＳ３０３では、ステップＳ３０２での判別結果に基づいて、画像データに対して補正処理が行われ、処理が終了する。

ここで、本実施形態では、シーン判別結果に用いた画像データに対して、その判別結果を反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム（画像データ）に対する判別結果に応じた補正処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた補正処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。

具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すＰＣなどの情報処理装置において、撮影された画像データ（フレーム）に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すＰＣなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。

次に、上述した一連の各処理についての詳細を説明する。ステップＳ３０１では、色差信号生成部１０７から出力される色差信号を信号分割部１１０に取り込む。取り込まれた画像全体は、図２に示すようなブロック（８×８ブロック）に分割し、ブロック毎の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の平均値を算出し、彩度算出部１１１に出力される。彩度算出部１１１では、ブロック毎の色差信号（Ｒ’−Ｙ、Ｂ’−Ｙ）から、ブロック毎の彩度（Ｃｈｒｏｍａ）を算出する。色差信号と彩度の関係を図５（ａ）に示した。なお、図中には、色差信号と色相（Ｈｕｅ）の関係も示した。また、色差信号から色相、彩度を算出する式を以下に示した。

彩度算出部１１１は、算出したブロック毎の彩度（Ｃｈｒｏｍａ）をシーン判別部１１２へ出力する。

次にステップＳ３０２で行われる鮮やか判別処理について図４のフローチャート、図５（ｂ）を用いて詳述する。鮮やか判別処理はカメラ制御部１１３の指示によってシーン判別部１１２で行われる。図４において、ステップＳ４０１では、彩度算出部１１１が算出したブロック毎の彩度を、画像の全ブロックに対して平均し、平均彩度を算出する。

ステップＳ４０２では、画像の全ブロックの中で、その彩度が所定の彩度閾値以上であるブロック（高彩度ブロック）の数をカウントする。

ステップＳ４０３では、算出したブロック数を所定のブロック閾値と比較し、シーンの判別を行う。図５（ｂ）は、鮮やかなシーンの判別基準を表しており、図の横軸は画像全体の平均彩度、縦軸は高彩度ブロックの数を表している。図の斜線で示した領域が鮮やかなシーンと判別する場合に相当する。

すなわち、ステップＳ４０１で算出した平均彩度が所定値（Ｔｈ＿Ｃｈｒｏｍａ）より高く、かつ、ステップＳ４０２で算出した高彩度ブロック数が所定のブロック閾値（Ｔｈ＿Ａｒｅａ）よりも大きい場合に、現在のシーンを鮮やかなシーンであると判別する。

シーン判別部１１２は、上述の判別処理を行い、判別基準が満たされる場合はステップＳ４０４へ進み、現在のシーンを鮮やかなシーンと判別する。一方、判別基準が満たされない場合はステップＳ４０５へ進み、現在のシーンを鮮やかではないシーンと判別する。

ステップＳ４０６では、シーン判別部１１２が、シーン判別結果をカメラ制御部１１３へ出力する。以上が、シーン判別部１１２が行うシーン判別処理である。

最後に、ステップＳ３０３で行われる鮮やか補正処理（第１の補正ステップ）について詳述する。図６は鮮やか補正処理の流れを示したフローチャートである。ここでの処理はカメラ制御部１１３で行われる。ステップＳ６０１では、色差信号生成部１０７より出力された画像データの画像中の特定の被写体を検出するための、被写体検出処理を行う。特定の被写体とは、一般的に記憶色とされている色を含む被写体を示し、本実施形態では、肌色を含む人物を特定の被写体として検出する。また、人物を検出する処理として、顔検出部１１４によって顔検出処理を行う。具体的には、顔検出部１１４は、種々の顔パターンをテンプレートとして予め用意しておき、入力された画像データとの間でパターンマッチングを行うことにより、人物の顔を検出する。なお、顔検出部１１４の顔検出方法はこれに限らず、顔の検出できる方法であればなんでも適用できる。顔検出部１１４は、画像中に人物の顔が検出されたか否かの情報を、カメラ制御部１１３へ出力する。

ステップＳ６０２では、シーン判別部１１２でのシーン判別結果を用いて現在のシーンが鮮やかなシーンと判別されたか否かの判定を行う。鮮やかなシーンだと判別されている場合は、ステップＳ６０３に進み、鮮やかなシーンでないと判別されている場合は、ステップＳ６０６に進む。ステップＳ６０３では、顔検出部１１４の検出結果に基づいて、画像中に人物が検出されたか否かの判定処理を行う。人物が検出されている場合、ステップＳ６０４に進み、人物が検出されていない場合、ステップＳ６０５に進む。ステップＳ６０４、６０５、６０６ではこれら３つの判定結果に対応して、色差信号補正部１０８で彩度補正に用いられる色差ゲインＧがそれぞれ設定される。ステップＳ６０４、すなわち鮮やかなシーンであり、顔が検出された場合には色差ゲインＧとしてＧ１が設定される。ステップＳ６０５、すなわち鮮やかなシーンであり、人物が検出されていない場合には色差ゲインＧとしてＧ２が設定される。ステップＳ６０６、すなわち鮮やかなシーンでない場合には色差ゲインＧとしてＧ０が設定される。ここで、これら色差ゲインＧの大小関係は、
Ｇ０（鮮やかでない）＜Ｇ１（鮮やか・人物有り）＜Ｇ２（鮮やか・人物無し）
となっている。すなわち、人物の顔が検出された場合には、色差信号の補正強度を弱めているため、人物の肌色の彩度が大きく変化することが無く、違和感が低減される。ここでは、各パラメータの値としてＧ０＝１、Ｇ１＝１．３、Ｇ２＝１．５とする。

ステップＳ６０６では、色差信号補正部１０８が、設定された色差ゲインＧで彩度補正を行う。

以上、説明したように、本実施形態では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する際に、人物の顔の検出結果に基づいて鮮やかなシーンに対して行う画像処理を制御した。具体的には、人物の顔が検出された場合には、検出されなかった場合に比べて、色差ゲインＧの値を低く設定した。これにより、画像内に人物がいても、その肌色への違和感が低減される補正を行うことが可能となる。

なお、上記実施形態では、信号分割部１１０が８×８ブロックに画像信号を分割する例を説明したが、画像の色信号に応じて鮮やかなシーンの判別を制御する構成であれば、どのような分割数であってもかまわない。また、画素単位での色信号からシーンを判別する構成であっても構わない。

また、上記実施形態では、色相・彩度を色差信号から算出したが、本発明は色相・彩度の算出方法をこれに限定するものではない。例えば、Ｌ＊ａ＊ｂ＊空間などの他の空間に一度変換してからＬ＊ａ＊ｂ＊空間での色相・彩度を算出してもよい。

また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の２つの情報を元に行ったが、鮮やかなシーンの判別方法をこれに限定するものではない。平均彩度、高彩度ブロック数のいずれかを用いて判別を行っても良い。また、例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。

また、上記実施形態では、鮮やかなシーンであるか否かの２値で判定したが、鮮やか度合い等のように多値で算出しても構わない。この場合、平均彩度が高ければ高いほど、また、彩度が所定の彩度閾値以上のブロック数が多ければ多いほど鮮やか度合いが高くなる。ただし、もちろん本実施形態で示したＧ０、Ｇ１、Ｇ２の大小関係は維持されておく必要が有る。そして、算出した鮮やか度合いに基づき、色差信号補正部１０８の信号を補正する（鮮やか度合いが高いほど色差ゲインを高くする）。

また、上記実施形態では、人物の顔が検出されたか否かに応じて色差ゲインＧの値を設定したが、本発明は彩度ゲインの設定方法をこれに限定するものではない。例えば、人物の顔が検出された場合に、図２の枠２０１から算出される顔のサイズＳ（画像中に占める面積）に応じて色差ゲインＧの値を制御するようにしても良い。ここで、顔のサイズＳが大きいほど、その色の変化が目立つことになる。したがって、顔のサイズＳが大きいほど、色差ゲインＧの値をＧ０に近づけ、顔のサイズＳが小さいほど、色差ゲインＧの値をＧ２に近づけて設定すれば良い。また、顔検出の際には、その顔が横顔であるなどの状況も考えられるため、信頼度というパラメータが存在する。これを利用して、信頼度に応じて色差ゲインＧの値を制御するようにしても良い。すなわち、Ｇ１＜Ｇ＜Ｇ２であり、顔としての信頼度が高いほど、色差ゲインＧを本実施形態におけるＧ１に近づけていくような制御が考えられる。

また、上記実施形態では、鮮やかなシーンであるか否かの判定結果に基づき、色差ゲインＧの値を制御する場合について説明したが、鮮やかなシーンであるか否かの判別結果と人物の顔検出結果に基づいて、画像信号を補正する制御であればこれに限らない。例えば、鮮やかなシーンである場合に、被写体の輪郭を強調する輪郭強調補正を行うようにしても良い。これにより、鮮やかな被写体をくっきり見せることで、鮮やかさを強調することができる。この場合、人物の顔に対して輪郭強調を行うと違和感が生じる画像となる。したがって、人物の顔が検出された場合には、輪郭強調補正の強度を弱めるよう制御しても良い。

また、上記実施形態では、特定の被写体として記憶色である肌色を含む人物を検出させているが、本発明はこれに限定されるものではなく、記憶色を含む被写体に対して、エッジ抽出などを用いて被写体検出を行い、本発明を適用することもできる。

また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばＧ２＜Ｇ１＜Ｇ０≦１のようにゲインを設定してやるとよい。

（第２の実施形態）
第１の実施形態では、シーン判別結果と人物の顔の検出結果に基づいて、鮮やかなシーンにおける画像処理を制御する場合について説明した。具体的には、人物の顔が検出されたか否かに応じて色差ゲインＧの値を制御した。

以下、本発明の第２の実施形態として、シーン判別結果に応じて画像信号の彩度を補正する際に、肌色を除外して補正を行う場合について説明する。図７に本実施形態に係る撮像装置の主要な構成を示した。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態で新たに追加された構成要素について説明する。

７０１は、各画素の色差信号に対して色差ゲインをかけるなどの補正を行う色相別色差信号補正部である。色相別色差信号補正部７０１は、色相・彩度判定部７０３の判定結果に基づいて色差信号への補正を制御することにより、ある特定の色相・彩度範囲にある画素に対してのみ補正を行う。

７０２は、各画素の色差信号（Ｒ’−Ｙ、Ｂ’−Ｙ）から、画素毎の色相（Ｈｕｅ）・彩度（Ｃｈｒｏｍａ）を算出する色相・彩度算出部である。色差信号と色相・彩度の関係は図５（ａ）に示した通りである。また、色差信号から色相、彩度を算出する式を以下に示した。

７０３は、各画素の色相・彩度信号が、それぞれ設定された所定の領域内にあるか否かを判定する色相・彩度判定部である。

次に本発明の特徴部分である、画像データに施す、撮影シーンに応じた画像処理について説明する。

本実施形態における第１の実施形態との処理の違いは、図３のステップＳ３０３の鮮やか補正処理である。本実施形態では、色差信号補正部１０８、及び、その後段の色相別色差信号補正部７０１において、色差信号に対する補正（第２の補正ステップ）が行われる。以下、順に、ステップＳ３０３で行われる、色差信号補正部１０８における補正処理と色相別色差信号補正部７０１における補正処理について説明する。

図８は、色差信号補正部１０８における彩度の補正処理の流れを示したフローチャートである。

図８において、ステップＳ８０１では、カメラ制御部１１３が、シーン判別部１１２によるシーン判別結果が鮮やかなシーンであるか否かを判定する。シーン判別結果が鮮やかなシーンである場合はステップＳ８０２へ進み、鮮やかでないシーンである場合はステップＳ８０３へ進む。

ステップＳ８０２では、カメラ制御部１１３が、色差ゲインパラメータＧ２を色差ゲインＧとして選択し、その値を色差信号補正部１０８へ設定する。

ステップＳ８０３では、カメラ制御部１１３が、色差ゲインパラメータＧ０を色差ゲインＧとして選択し、その値を色差信号補正部１０８へ設定する。

ここで、これら色差ゲインＧの大小関係は、Ｇ０（鮮やかでない）＜Ｇ２（鮮やか）となっている。

ステップＳ８０４では、色差信号補正部１０８が、設定された色差ゲインＧに基づいて色差信号に対する補正を行う。以上が、色差信号補正部１０８における彩度の補正処理の流れである。

次に、色相別色差信号補正部７０１における色相別の色差信号補正について説明する。図８で説明したように、鮮やかなシーンにおいては、画像の全画素に色差ゲインＧに基づいた補正が行われており、その彩度が本来の値より高い値になっている。これにより、被写体の鮮やかさを強調することが可能となるが、同時に肌色領域の彩度も高くなるため、違和感のある画像となってしまう。そこで、色相別色差信号補正部７０１は、肌色領域に対して、色差ゲインＧの影響を打ち消す方向に、つまり逆方向に補正処理を行う。これにより、肌色領域の彩度を肌色として違和感の低減された値に戻すことができる。

具体的には、色相別色差信号補正部７０１は、設定された色相別色差ゲインＫに基づいて画像信号の彩度を補正する。

以下、図９を用いて、色相別色差信号補正部７０１における補正処理（第２の補正ステップ）について説明する。図９は、色相別色差信号補正部７０１における彩度の補正処理の流れを示したフローチャートである。

ステップＳ９０１では、カメラ制御部１１３が、画像の全ての画素に対して、色相別の色差信号の補正が完了したか否かを判定する。完了していなければステップＳ９０２へ進み、完了していれば補正処理を終了する。

ステップＳ９０２では、カメラ制御部１１３が、顔検出部１１４において人物の顔が検出されたか否かを判定する。顔が検出されている場合はステップＳ９０３へ進み、顔が検出されていない場合はステップＳ９０６へ進む。

ステップＳ９０３では、色相・彩度算出部７０２が、色差信号補正部１０８により出力された各画素の色差信号から、各画素の色相・彩度を算出し、色相・彩度判定部７０３へ出力する。

ステップＳ９０４では、色相・彩度判定部７０３が、入力された各画素の色相・彩度信号が、肌色領域として設定された領域内にあるか否かを判定する。

以下、図１０を参照しながら、肌色の判定方法について説明する。図１０は、肌色として抽出する画像信号の範囲を示す図であり、図の縦軸はＲ−Ｙ、横軸はＢ−Ｙを表す。色相・彩度判定部７０３は、各画素の色相・彩度がそれぞれ所定の領域内である、図中の斜線で示した領域１００１に含まれる場合、その画素は肌色であると判定する。領域１００１の定義方法の一例として、本実施形態では領域１００１の開始色相５０２を１００度、終了色相５０３を１３０度、彩度の上限５０４を２００、彩度下限５０５を５０とする。ここで、彩度は０〜２５５の間で定義されているものとする。

ここで、入力された画素の画像信号が肌色領域１００１に含まれると判定された場合はステップＳ９０５へ進み、含まれないと判定された場合はステップＳ９０６へ進む。

ステップＳ９０５では、カメラ制御部１１３が、色相別色差信号補正部７０１で用いる色差ゲインである色相別色差ゲインＫの値を、Ｋ＝１／Ｇに設定する。ここで、Ｇとは、色差信号補正部１０８に設定されている色差ゲインの値である。

ステップＳ９０６では、カメラ制御部１１３が、色相別色差ゲインＫの値を、Ｋ＝１に設定する。

ステップＳ９０７では、色相別色差信号補正部７０１が、設定された色相別色差ゲインＫに基づいて、入力された各画素の画像信号の彩度を補正する。

上述のステップＳ９０１〜ステップＳ９０７までの一連の処理は、画像中の全ての画素に対して、順次行われる。以上の処理によって、画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを色差ゲインＧによる補正処理と逆方向に補正する。

図１１に、各条件における色差ゲインの値をまとめて表を示した。表の上段は鮮やかなシーン、下段は鮮やかでないシーンに対応している。また、表の左から順に色差信号補正部１０８における色差ゲインＧ、色相別色差信号補正部７０１における色相別色差ゲインＫ、及び、２つのゲインを合成した色差ゲインＧ×色相別色差ゲインＫの値を示している。肌色以外の画素に対しては、鮮やかなシーンの場合にＧ×Ｋ＝Ｇ２となっており、被写体の鮮やかさを強調する補正がなされる。一方、肌色画素では、Ｋ＝１／Ｇであるので、鮮やかさを抑制する抑制処理がかかり、シーンに関らずＧ×Ｋ＝１となっており、本来の彩度が保たれることとなる。

以上、説明したように、本実施形態では、鮮やかなシーンか否かを判定し、判定結果に応じて画像処理を制御する画像処理装置において、人物の顔の検出結果に応じてシーンの判定を制御した。具体的には、画像全体に対して色差ゲインを乗じる補正を行った後、肌色であると判定された画素に対して本来の彩度に戻す方向に補正を行うようにした。これにより、画像中に人物の顔などが含まれる場合でも、鮮やかな被写体の鮮やかさを強調すると同時に、人物の顔に対して違和感を低減させる補正を行うことが可能となる。

なお、上記実施形態では、顔検出部１１４によって人物の顔が検出された場合にのみ、肌色領域に対する色相別色差信号補正部７０１での補正を行うよう制御する場合で説明したが、本発明は彩度の補正方法をこれに限定するものではない。例えば、人物の顔の検出結果に関らず、色相・彩度判定部７０３において肌色領域に含まれると判定された画素に対して色相別色差信号補正部７０１での補正を行うようにしても良い。これにより、人物が横を向いている等、顔が検出できない場合であっても、被写体人物に対しての違和感を低減させる補正を行うことが可能となる。

また、上記実施形態では、色差信号補正部１０８の後段に色相別色差信号補正部７０１を設ける構成としたが、本発明は色差信号の補正方法をこれに限定するものではない。例えば、色相別色差信号補正部７０１を、色差信号補正部１０８の前段に設ける構成としても良い。この場合、色相別色差信号補正部７０１において、肌色画素の彩度を本来の彩度より低い彩度に補正した後、色差信号補正部１０８において、画像全体に対して色差ゲインを乗じて、肌色画素を本来の彩度に戻すよう補正することとなる。

また、上記実施形態では、色差信号補正部１０８で乗じた色差ゲインの逆数を、色相別色差信号補正部７０１での色差ゲインとして設定することにより、肌色領域を本来の彩度に戻すよう制御したが、本発明は彩度の制御方法をこれに限定するものではない。例えば、色差信号補正部１０８での色差ゲインをＧ、色相別色差信号補正部７０１での色差ゲインをＫとすると、Ｋ＝ｋ／Ｇと設定しても良い。ここで、ｋは１＜ｋ＜Ｇを満たす係数である。すなわち、肌色領域に対しての彩度の補正強度を、肌色の領域以外の領域に対する補正強度より弱めるように制御する。これにより、人物の顔などに対して違和感の生じない範囲で、鮮やかさを強調する補正を行うことが可能となる。すなわち、Ｋは色差ゲインの彩度に対する補正方向と逆方向に補正を行うものであれば、その値は特に限定されない。

また、上記実施形態では、色相別色差信号補正部７０１において、肌色と判定された画素に対する補正を行うよう制御したが、本発明は色差信号の補正方法をこれに限定するものではない。例えば、鮮やかなシーンの場合に、色相別色差信号補正部７０１において、肌色でないと判定された画素に対して、色差ゲインを乗じるよう制御しても良い。これにより、色差信号補正部１０８を備えない構成においても、人物の顔に対しての違和感を低減させる補正を行うことができ、回路構成を単純化することが可能となる。

また、上記実施形態では、肌色であると判定された画素に対してのみ、色相別色差信号補正部７０１において、本来の彩度に戻す方向に補正を行うよう制御したが、本発明は画像信号の補正方法をこれに限定するものではない。例えば、青空の青色や木の葉の緑色などの記憶色に対しても同様に補正を行うようにしても良い。具体的には、色相・彩度判定部７０３において、青空の色や木の葉の緑色に対応する領域を設定しておき、各画素のうち、その画像信号が設定した領域に含まれる画素について、本来の彩度に戻す補正を色相別色差信号補正部７０１において行うよう制御する。これにより、青空の青色や木の葉の緑色などの記憶色に対しての違和感を低減させる補正を行うことが可能となる。

また、上記実施形態では、肌色領域の判定に、各画素の色相、彩度情報を用いたが、本発明は、肌色領域の判定方法をこれに限定するものではない。例えば、各画素の色相、彩度に加えて、各画素の輝度情報も用いるようにしても良い。具体的には、色相・彩度判定部７０３に輝度・色信号生成部１０５で生成した輝度信号も入力する構成とし、各画素のうち、その輝度信号が設定した範囲内に含まれるか否かを判定するようにすればよい。これにより、肌色領域の判定を、より精度良く行う事が可能となる。

また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばＧ２＜Ｇ０≦１のようにゲインを設定してやるとよい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。

１０５ 輝度・色信号生成部
１０６ ＷＢ増幅部
１０７ 色差信号生成部
１０８ 色差信号補正部
１０９ エンコーダ
１１０ 信号分割部
１１１ 彩度算出部
１１２ シーン判別部
１１３ カメラ制御部
１１４ 顔検出部

Claims (17)

1. 画像データを取得する取得ステップと、
   前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正ステップと、
   画像データの画像中の被写体を検出する検出ステップと、を有し、
   前記第１の補正ステップでは、前記検出ステップで被写体が検出されたとき、前記検出ステップで被写体が検出されなかったときに比べて前記補正処理を弱く行い、
   前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする画像処理方法。
2. 画像データを取得する取得ステップと、
   前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正ステップと、
   前記画像データの画像中の被写体を検出する検出ステップと、
   前記検出ステップで前記被写体が検出されたとき、前記第１の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第２の補正ステップと、を有し、
   前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする画像処理方法。
3. 画像データを取得する取得ステップと、
   前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正ステップと、
   画像データの画像中の被写体を検出する検出ステップと、を有し、
   前記第１の補正ステップでは、画像データの画像中の、前記検出ステップで前記被写体が検出された領域以外の領域に対して、前記補正処理を行い、
   前記第１の補正ステップでは、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする画像処理方法。
4. 前記補正処理は、画像データの彩度を上げる処理であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理方法。
5. 前記補正処理は、画像データの画像中の輪郭を補正する処理であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理方法。
6. 前記第１の補正ステップでは、前記画像データの彩度が所定値より高い場合、前記画像データの彩度が所定値より低い場合に比べて前記補正処理を強く行うことを特徴とする請求項１乃至５のいずれか１つに記載の画像処理方法。
7. 前記第１の補正ステップでは、前記画像データの画像全体を複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合、前記所定の彩度閾値より大きい彩度であるブロックの数が前記所定のブロック閾値より少ない場合に比べて前記補正処理を強く行うことを特徴とする請求項１乃至６のいずれか１つに記載の画像処理方法。
8. 前記検出ステップでは、顔検出処理によって前記被写体の検出が行われることを特徴とする請求項１乃至７のいずれか１つに記載の画像処理方法。
9. 前記検出ステップでは、前記画像データの画像中の所定の色相及び所定の彩度を有する領域を検出することで被写体を検出することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理方法。
10. 請求項１乃至９のいずれか１つに記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
11. 請求項１乃至９のいずれか１つに記載の画像処理方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
12. 画像データを取得する取得手段と、
    前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、
    画像データの画像中の被写体を検出する検出手段と、を有し、
    前記第１の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行い、
    前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする画像処理装置。
13. 被写体を撮像し、画像データを出力する撮像手段と、
    前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、
    画像データの画像中の被写体を検出する検出手段と、を有し、
    前記第１の補正手段は、前記検出手段で被写体が検出されたとき、前記検出手段で被写体が検出されなかったときに比べて前記補正処理を弱く行い、
    前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする撮像装置。
14. 画像データを取得する取得手段と、
    前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、
    画像データの画像中の被写体を検出する検出手段と、
    前記検出手段で前記被写体が検出されたとき、前記第１の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第２の補正手段と、を有し、
    前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする画像処理装置。
15. 被写体を撮像し、画像データを出力する撮像手段と、
    前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、
    前記画像データの画像中の被写体を検出する検出手段と、
    前記検出手段で前記被写体が検出されたとき、前記第１の補正ステップで補正処理された前記画像データ中の、色相及び彩度がそれぞれ所定の領域内である画像データに対して、鮮やかさを前記補正処理と逆方向に補正する処理を行う第２の補正手段と、を有し、
    前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする撮像装置。
16. 画像データを取得する取得手段と、
    前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、
    前記画像データの画像中の被写体を検出する検出手段と、
    前記第１の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行い、
    前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする画像処理装置。
17. 被写体を撮像し、画像データを出力する撮像手段と、
    前記画像データの彩度情報に応じて、画像データに鮮やかさを補正する補正処理を行う第１の補正手段と、
    前記画像データの画像中の被写体を検出する検出手段と、
    前記第１の補正手段は、画像データの画像中の、前記検出手段で前記被写体が検出された領域以外の領域に対して、前記補正処理を行い、
    前記第１の補正手段は、画像データを複数のブロックに分割し、所定の彩度閾値より大きい彩度であるブロックの数が所定のブロック閾値より多い場合に前記補正処理を行うことを特徴とする撮像装置。

Images