JP5132327B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関するものである。

従来、撮影された画像に対し圧縮符号化を行う画像処理装置において、重要度が高いとされる所定色を含む領域を検出し、所定色が検出された領域に対して画質を向上させる処理を行う装置がある。

このような装置で重要度が高いとされる色は一般的に人物の顔に相当する色、即ち、肌色である場合が多い。

このように画像中の肌色を含む領域を検出し、肌色が検出された領域に対して、フィルタ処理を行い、画像圧縮時の符号割り当て量を制御することにより、画質を向上させる提案として特許文献１がある。

図１５は、従来例（特許文献１）に係る画像処理装置のブロック図である。

図１５において、撮像部１５０１は、レンズや撮像素子を含み映像を撮影（撮像）する。画像信号処理部１５０２は、ガンマ変換、色空間変換、ラスタ−ブロック変換等一連の画像信号処理を実行する。

肌色検出処理部１５０３は、一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する。フィルタ部１５０４は、撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させる。

動き補償予測部１５０５は、予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。直交変換部１５０６は、離散コサイン変換等の直交変換を行う。量子化部１５０７は、直交変換係数を量子化行列等で除算し、情報量を削減する。

エントロピー符号化部１５０８は、ハフマン符号等で可変長符号化することにより更に情報量を削減する。バッファ部１５０９は、変動する単位時間あたりに発生する符号量を時間軸上で平滑化する。

記録部１５１０は、磁気テープやメモリカード等の記録媒体へ符号化データを記録する。逆量子化部１５１１は、参照画像を再構成するため、量子化部１５０７により量子化された直交変換係数を逆量子化する。

逆直交変換部１５１２は、逆量子化部１５１１により生成された逆量子化後の直交変換係数を逆直交変換する。撮影モード選択部１５１３は、撮影者により操作され撮影モードを選択（設定）する。

制御部１５１４は、バッファ部１５０９の占有率を監視し、システム全体を統括的に制御する。符号化モード選択部１５１５は、撮影者により操作され、静止画または動画を選択する。

図１６は、図１５の量子化部における符号量制御処理の手順を示すフローチャートである。

ステップＳ１６０１で撮影者により撮影開始が指示されると、ステップＳ１６０２にて制御部１５１４は符号化モード選択部１５１５に設定されている符号化モードを調べる。

符号化モードが動画符号化モードであった場合は、ステップＳ１６０３に進んで撮影モード選択部１５１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。

ステップＳ１６０３において、撮影モードがポートレートモードで無い場合は処理を終了する。

一方、ステップＳ１６０３で撮影モードがポートレートモードであった場合は、ステップＳ１６０４に進む。そして、ステップＳ１６０４で、肌色検出処理部１５０３において肌色と検出された領域に該当する画像ブロックの量子化に際して量子化ステップ値を小さくする等して符号量を増加させ、処理を終了する。

尚、この制御に加えて、肌色と検出された領域以外の領域に該当する画像ブロックの量子化に際しては、量子化ステップ値を大きくする等して符号量を低減させるように量子化部１５０７を制御する。結果的に、肌色検出処理部１５０３において肌色と検出された領域に対する符号量をそれ以外の領域と比べて相対的に増加するように量子化部１５０７を制御する。

このような符号量制御処理により、画像中に肌色の存在が検出された領域における符号量は増加し、一方、それ以外の領域における符号量は低減するので全体の符号量を保ちながら肌色を含む領域の画質を向上させることができるような構成となっている。

また、特許文献１では、ユーザーがポートレートモードを選択した時に限り肌色の存在が検出された領域に符号量を与えることにより、効果的に符号量を削減できる構成にもなっている。
特開２００５―２１８０１７号公報

以下に特許文献１に示した従来技術における問題点について説明する。

通常、図１５に示すようなビデオカメラに代表される画像処理装置では、被写体を照らす光源の色温度変化を補正する目的で所謂ホワイトバランス補正が行われている。

ここで、本発明が解決しようとする課題を説明するために、一般的なホワイトバランス補正の動作について述べる。

（一般的なホワイトバランスの動作説明）
ホワイトバランス補正で制御可能な色温度範囲は、実際の撮影で使用される光源の色温度変化範囲を想定して設定されており、ある一定の有限な範囲に限定されている。

通常、ホワイトバランスの補正可能な色温度範囲として、高色温度側は、太陽光の色温度付近に設定され、低色温度側は、白熱電球の色温度付近に設定されている。

このように、ホワイトバランス補正で制御可能な色温度範囲を設定することにより、例えば、ろうそくや暖炉の炎のように低い色温度による光源で照らされた被写体を撮影した場合には、光源の赤みが残された画像になり、温かみのある画像を得ることができる。

一方、日陰のように高い色温度による光源の元での被写体を撮影した場合には、光源の青みが残された画像になり、清涼感のある画像を得ることができる。

更に、ホワイトバランス補正で制御可能な色温度範囲を所定の有限な範囲以内に定めることにより、以下の効果がある。即ち、特定の有彩色の影響を受け、カラーフェイリアと呼ばれるホワイトバランス誤補正が生じた場合でも、ホワイトバランス補正された画像の色味が極端にずれてしまう事態を防ぐ効果もある。

また、時間的に連続した動画を撮影するビデオカメラに代表される画像処理装置では、急激なホワイトバランス補正によりシーンの途中で色味が変化しないように、単位時間当たりの補正量も制限されており、時間的に緩やかな補正が行われている。

上記のようなホワイトバランス補正機能を持ち、肌色を含む領域を検出する場合の問題点について説明する。

図１７は被写体を示す図であり、白い衣服を着た人物の例である。図中１７０１、１７０２はそれぞれ肌色部である人物の顔部と白色の衣服部を示す。

図１８は、図１７に示す被写体が撮影された場合の画像信号における色差信号のレベルを示したベクトル図である。

ホワイトバランス補正がされた状態では、被写体の衣服部１７０２は白色なので、図１８中、Ｐ１８０２に示す点となる。

また、被写体の顔部１７０１は肌色であるので、図１８中、Ｐ１８０１に示す点となる。尚、図１８中、破線Ａ１８０１は、肌色と判定するための色差信号の閾値を示しており、破線Ａ１８０１で囲まれた内側の領域内に色差信号が存在すれば肌色と判定される。以降、この領域を肌色判定領域Ａ１８０１と記す。

画像の色差信号が図１８に示した状態の時、人物の顔部１７０１であるＰ１８０１は肌色判定領域Ａ１８０１の内側に入っているため肌色と判定される。

また、衣服部１７０２であるＰ１８０２は肌色判定領域Ａ１８０１の内側に入っていないため肌色とは判定されない。

肌色を含む領域に多くの符号量を割り当てる従来の方式では、このような通常のホワイトバランス補正がなされた状態においては、図１７の顔部１７０１は肌色と判定されるため、それ以外の領域に比べ相対的に多くの符号量が割り当てられるようになる。

また、図１７の衣服部１７０２は肌色と判定されないので、相対的に少ない符号量が割り当てられ、全体の符号量を保ちながら肌色を含む領域の画質を向上させることができる。

しかしながら、色温度が通常のホワイトバランス制御範囲よりも低色温度側であったり高色温度側であったりするような場合には次に示す問題が生じる。

図１９は、低色温度の光源の元で図１７に示す人物を撮影した場合の色差信号のレベルを示したベクトル図である。

例えば、ろうそくや暖炉の炎のように、通常のホワイトバランス制御範囲よりも低い色温度による光源で照らされた場合、即ち、ホワイトバランスが低色温度側で動作している場合には、ホワイトバランス補正がなされても画像の赤みが残ってしまうことがある。

その場合、被写体の衣服部１７０２は、図１９中、Ｐ１９０２に示す点となる。また、被写体の顔部１７０１は、図１９中、Ｐ１９０１に示す点となる。尚、図１９中のＡ１９０１は、図１８中のＡ１８０１と同じ肌色判定領域である。

図１９に示した状態では、人物の顔部であるＰ１９０１、衣服部Ｐ１９０２共に肌色判定領域Ａ１９０１の内側に入っているため肌色と判定されてしまう。その結果、顔部１７０１と衣服部１７０２の両方に対して多くの符号量を割り当てようと動作してしまう。

しかしながら、顔部１７０１以外に衣服部１７０２にも多くの符号量を割り当ててしまと、相対的に顔部１７０１のみに多くの符号量を割り当てることができなくなり、顔部１７０１の画質を向上させることができなくなるという問題がある。

また、光源が低色温度の場合には、本来の人物の肌でなくとも他の被写体も肌色に類似した赤みのある色になりやすい傾向がある。その場合、肌色判定領域に対してフィルタ処理を行うと、肌色に類似した他の被写体に対しもフィルタ処理を施してしまうので人物の肌色部以外の画質も変化してしまうという問題があった。

図２０は、高色温度の光源の元で図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。

例えば、日陰のように高い色温度による光源で照らされた場合、即ち、ホワイトバランスが高色温度側で動作している場合には画像の青みが残ってしまうことがある。

その場合、被写体の衣服部１７０２は、図２０中、Ｐ２００２に示す点となる。また、被写体の顔部１７０１は、図２０中Ｐ２００１に示す点となる。尚、図２０中、Ａ２００１は、図１８中、Ａ１８０１と同じ肌色判定領域である。

この場合、人物の顔部であるＰ２００１、衣服部Ｐ２００２共に肌色判定領域Ａ２００１の内側に入っていないため肌色とは判定されない。その結果、顔部１７０１に対して多くの符号量を割り当てようとする動作は行わないため、顔部１７０１の画質を向上させることができなくなるという問題がある。

この問題は、前述したような色温度が極端に低い場合や高い場合以外でも生じる場合がある。

ホワイトバランス補正の動作説明でも述べたように、ホワイトバランスの補正は時間的に緩やかに変化するように制御されている。そのため、屋内から屋外にカメラが移動する等して光源の色温度が急激に変化した場合、ホワイトバランス補正が追従できない場合がある。

例えば、色温度の低い屋内で、図１７の被写体を撮影し、ホワイトバランスが図１８に示すように正しく補正されている状態で、被写体が色温度の高い屋外に移動したとする。

その場合、光源の色温度が急激に高く変化するため、色差ベクトルは一時的に図２０に示す状態となる。

その後、ホワイトバランスが屋外の色温度に追従して、図１８のように正しく補正されるまでの間、肌色が本来よりも青側にずれてしまうので、人物の顔が正しく肌色と判定されない。

同様に、色温度の高い屋外から色温度の低い屋内に移動した場合、色差ベクトルは一時的に図１９のような状態となる。

その後、ホワイトバランスが屋外の色温度に追従して、図１８のように正しく補正されるまでの間は、肌色以外の衣服も肌色と誤判定されてしまう。

このように、光源の色温度が急激に変化した場合にも、従来例では、顔部が正しく検出されず、顔部即ち肌色部に対してのみ多くの符号量を割り当てる動作が行われないという問題があった。

本発明の目的は、光源の色温度やホワイトバランスの制御状態が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる画像処理装置を提供することにある。

上記目的を達成するために、請求項１記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする。
請求項７記載の画像処理装置は、入力された画像データから所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像撮影時のホワイトバランス制御状態及び撮影時の色温度情報を検出するホワイトバランス検出手段と、検出された前記ホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における前記所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする。
請求項９記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御状態が所定の値に固定されている場合と自動追尾状態である場合とで前記色検出部における肌色を検出する際の前記輝度信号及び色信号の閾値を変化させることを特徴とする。
請求項１４記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記符号化部における前記所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合には、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする。
請求項１７記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記フィルタ処理部における前記所定色が検出された領域に対して施す前記フィルタ処理の種類及び強度を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする。
請求項１９記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御における現在の補正量と最終補正量とを求め、前記補正量と最終補正量との差に応じて前記色検出部における前記所定色を検出する際の輝度信号や色信号の閾値を変化させることを特徴とする。

本発明の画像処理装置によれば、光源の色温度やホワイトバランスの制御状態が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

（第１の実施の形態）
図１は、本発明のビデオカメラに代表される画像処理装置の第１の構成例を示すブロック図である。

図１において、撮像部１０１は、レンズや撮像素子を含み映像を撮影（撮像）する。画像信号処理部１０２は、ガンマ変換、色空間変換、ホワイトバランス処理、ラスタ−ブロック変換等一連の画像信号処理を実行する。

肌色検出処理部（色検出部）１０３は、一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する。フィルタ部（フィルタ処理部）１０４は、撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させる。

動き補償予測部１０５は、予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。直交変換部１０６は、離散コサイン変換等の直交変換を行う。量子化部１０７は、直交変換係数を量子化行列等で除算し、情報量を削減する。

エントロピー符号化部１０８は、ハフマン符号等で可変長符号化することにより更に情報量を削減する。バッファ部１０９は、変動する単位時間当たりに発生する符号量を時間軸上で平滑化する。

記録部１１０は、磁気テープやメモリカード等の記録媒体へ符号化データを記録する。逆量子化部１１１は、参照画像を再構成するために、量子化部１０７により量子化された直交変換係数を逆量子化する。

逆直交変換部１１２は、逆量子化部１１１により生成された逆量子化後の直交変換係数を逆直交変換する。ホワイトバランス動作モード選択部１１３は、撮影者により操作されたホワイトバランス動作モードを選択（設定）する。

制御部（制御手段）１１４は、本ビデオカメラを統括的に制御する。即ち、制御部１１４は、バッファ部１０９の占有率を監視し符号化データ量を保つ制御、後述する肌色検出処理における閾値制御、フィルタ部１０４の強度制御等を行う。

制御部１１４は、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、肌色検出処理部１０３における所定色を検出する際の輝度信号及び色信号の閾値を変化させる。または、制御部１１４は、エントロピー符号化部１０８における所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる。または、制御部１１４は、フィルタ部１０４における所定色が検出された領域に対して施すフィルタ処理の種類及び強度を変化させる。

また、制御部１１４は、ホワイトバランス制御状態が所定の値に固定されている場合と自動追尾状態である場合とで肌色検出処理部１０３部における肌色を検出する際の輝度信号及び色信号の閾値を変化させる。

また、制御部１１４は、ホワイトバランス制御における現在の補正量と最終補正量とを求め、補正量と最終補正量との差に応じて肌色検出処理部１０３における所定色を検出する際の輝度信号や色信号の閾値を変化させる。

上記構成を有する画像処理装置において、本発明の特徴的な動作について説明する。

撮像部１０１より入力された画像データは、画像信号処理部１０２においてガンマ変換、色空間変換、ホワイトバランス処理、ラスタ−ブロック変換等一連の画像信号処理が施される。

尚、ここでのホワイトバランス処理は、ホワイトバランス動作モード選択部１１３で設定された動作モードに応じて動作する。

図２は、図１におけるホワイトバランス動作モード選択部で、オートモード（オートホワイトバランスモード）が選択されている例を示す図である。

図２に示すように、設定可能なホワイトバランスの動作モードとしては、光源の色温度変化に対して自動てきに追尾して調整する所謂オートホワイトバランスモードがある。また、白紙等を撮影して任意の光源の色温度に調整するホワイトバランスセットモード、太陽光や蛍光灯等、予めいくつかの光源の色温度に合わせたホワイトバランス調整値に設定可能なプリセットモード等がある。

このように選択されたホワイトバランスの動作モード、及び画像信号処理部１０２におけるホワイトバランスの動作状態、色温度情報は制御部１１４に出力される。

次に、一連の画像処理が施された画像に対して、肌色検出処理部１０３は、撮影対象としての重要度が一般的に高い人物を検出する目的で肌色検出処理を行う。

ここで、本実施の形態におけるホワイトバランスの制御状態と肌色検出処理部１０３、制御部１１４の動作について、図３、図４、図５を用いて説明する。

図３は、図１の画像処理装置における色温度とホワイトバランスの制御データの関係を示す図である。

図３の実線で示す特性は、色温度の変化に伴うホワイトバランス制御データＲ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎの制御特性であり、Ｒ＿Ｇａｉｎは画像信号中の赤成分のゲインを調整するデータであり、Ｂ＿Ｇａｉｎは画像信号中の青成分のゲインを調整するデータである。

図３に示すように、Ｒ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎは、色温度が低色温度から高色温度に変化するのに伴い、それぞれＲＧ１→ＲＧ４、ＢＧ１→ＢＧ４と変化する。

制御部１１４は、Ｒ＿ｇａｉｎがＲＧ２以下、もしくは／かつＢ＿ｇａｉｎがＢＧ２以上である場合には、ホワイトバランス制御状態が低色温度側であると判定する。また、Ｒ＿ｇａｉｎがＲＧ３以上、もしくは／かつＢ＿ｇａｉｎがＢＧ３以下である場合には、ホワイトバランス制御状態が高色温度側であると判定する。制御部１１４は、ホワイトバランス制御状態が高色温度側でも低色温度側でもない場合には通常範囲と判定する。

図４（ａ）〜（ｃ）は、図１における制御部が判定した色温度と肌色検出処理部による肌色判定領域との関係を示す図である。

図４（ａ）の破線内の領域Ａ４０１ａは、色温度が低色温度側と判定された場合の肌色判定領域である。

図４（ｂ）の破線内の領域Ａ４０１ｂは色温度が通常範囲と判定された場合の肌色判定領域である。

図４（ｃ）の破線内の領域Ａ４０１ｃは、色温度が高色温度側と判定された場合の肌色判定領域である。

このように、図４（ｂ）の通常範囲と判定された場合の肌色判定領域４０１ｂに比べ、低色温度側と判定された場合の肌色判定領域Ａ４０１ａは、図４（ａ）に示すように彩度が高い方向にシフトする。

また、高色温度側と判定された場合の肌色判定領域Ａ４０１ｃは、図４（ｃ）に示すように彩度が低い方向にシフトする。

このように、本実施の形態の肌色検出処理部１０３は、ホワイトバランスの制御状態に応じて肌色判定領域を変化させる動作を行う。

ここで、本実施の形態における色温度が低い場合と高い場合の肌色検出の動作について図５を用いて説明する。

図５（ａ）は、低色温度の光源において図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。

前述したように、例えば、ろうそくや暖炉の炎のように低い色温度による光源で被写体が照らされた場合、即ち、ホワイトバランスが低色温度側で動作している場合には、ホワイトバランス補正がなされても画像の赤みが残ってしまうことがある。

その場合、被写体の衣服部１７０２（図１７）は、図５中、Ｐ５０２ａに示す点となる。また、被写体の顔部１７０１（図１７）は、図５中、Ｐ５０１ａに示す点となる。

しかし、本実施の形態での肌色判定領域は、Ａ５０１ａに示すように、彩度が高い方向にシフトするため、顔部の色差信号Ｐ５０１ａのみが肌色判定領域Ａ５０１ａ内に入り、衣服部の色差信号Ｐ５０２ａは肌色と判定されることはない。

また、図５（ｃ）は、高色温度の光源において図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。

前述したように、例えば、日陰のように高い色温度による光源で被写体が照らされた場合、即ち、ホワイトバランスが高色温度側で動作している場合には、ホワイトバランス補正がなされても画像の青みが残ってしまうことがある。

その場合、被写体の衣服部１７０２は、図５（ｃ）中、Ｐ５０２ｃに示す点となる。

また、被写体の顔部１７０１は、図５（ｃ）中、Ｐ５０１ｃに示す点となるが、本実施の形態の肌色判定領域は、Ａ５０１ｃに示すように彩度が低い方向にシフトするため、人物の顔部であるＰ５０１ｃを肌色と判定することができる。

尚、ホワイトバランス制御状態が図５（ｂ）に示す通常範囲である場合には、従来例と同様に、人物の顔部であるＰ５０１ｂのみを肌色と判定することができる。衣服部１７０２であるＰ５０２ｂは、肌色と判定されない。

このように、様々な色温度状態に適応して肌色と判定するための色差信号の閾値を変化させることにより、光源の色温度によらず安定的に肌色を検出することが可能となる。

図６は、図１の画像処理装置によって実行されるフィルタ処理及び量子化処理の手順を示すフローチャートである。

本処理は、図１における制御部１１４の制御の下に実行される。

図６において、処理が開始されると、まず、ステップＳ６０１にて画像全体の目標符号量を元に、基本となる量子化ステップＱを算出する。次に、ステップＳ６０２にてホワイトバランス制御状態から色温度判定を行う。

ステップＳ６０２は、ホワイトバランス制御状態から色温度を判定する判定手段として機能する。色温度判定は、図３で示したように、ホワイトバランス制御データＲ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎの値により行う。次にステップＳ６０３にて低色温度側か否かを判定する。

ステップＳ６０３にて低色温度側と判定された場合には、ステップＳ６０４にて量子化ステップＱに補正係数Ｋ１を乗じ、補正量子化ステップＱ’を算出し、ステップＳ６０５にてフィルタ強度を弱に設定する。

ステップＳ６０３にて低色温度側と判定されない場合には、ステップＳ６０６にて高色温度側か否かを判定する。ステップＳ６０６にて高色温度側と判定された場合には、ステップＳ６０７にて量子化ステップＱに補正係数Ｋ３を乗じた補正量子化ステップＱ’を算出し、ステップＳ６０８にてフィルタ強度を強に設定する。

ステップＳ６０６にて高色温度側と判定されない場合には、通常色温度とみなし、ステップＳ６０９にて量子化ステップＱに補正係数Ｋ２を乗じた補正量子化ステップＱ’を算出し、ステップＳ６１０にてフィルタ強度を中に設定する。

ステップＳ６０４、Ｓ６０７、Ｓ６０９は、判定手段の判定結果に基づき画像全体の目標符号量を元に算出された量子化ステップを補正する補正手段として機能する。

ステップＳ６０５、Ｓ６０８、Ｓ６１０は、補正手段の補正結果に基づきフィルタ強度を設定する設定手段として機能する。

尚、前述の係数Ｋ１、Ｋ２、Ｋ３の値は数式１に示す関係とする。
［数１］
Ｋ３ ＜ Ｋ２ ＜ Ｋ１ ＜ １．０
数式１で示すＫ１〜Ｋ３の各係数値を与えることにより、補正量子化ステップＱ’は基本となる量子化ステップＱよりも小さくなる。かつ色温度が高くなるに伴い、補正量子化ステップＱ’はより小さく設定される。

また、フィルタ強度も色温度が高くなるに伴い強く設定される。尚、本実施の形態では、フィルタ強度が強くなるにつれて画像信号中の高周波成分をより低減させる動作を行う。

次に、ステップＳ６１１では前述の処理で設定されたフィルタ強度を用いて肌色を含むと判定された領域に対してフィルタ処理を行う。

ステップＳ６１１は、設定手段で設定されたフィルタ強度で肌色判定領域をフィルタ処理するフィルタ処理手段として機能する。

次に、ステップＳ６１２では前述の処理で設定された補正量子化ステップＱ’を用いて肌色を含むと判定された領域に対して量子化処理を行う。

ステップＳ６１２は、補正された量子化ステップで肌色判定領域を量子化する量子化処理手段として機能する。

尚、図６には示していないが、肌色判定領域以外の部分に関しては基本の量子化ステップＱを用いて量子化を行う。

その後、エントロピー符号化部１０８により一連の符号化処理を施された後、符号化データはバッファ部１０９に一時蓄えられ、最終的に記録部１１０により磁気テープやメモリカード等の記録媒体へ記録される。

このように、本実施の形態では、光源の色温度情報やホワイトバランス制御状態に応じて、肌色を検出する際の輝度信号や色信号の閾値、肌色判定領域に対して行うフィルタ強度及び量子化ステップを適時変更させることが可能な構成となっている。

その結果、一般的に撮影対象としての重要度が高い人物の特に顔面部が、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができる。

また、色温度に応じて逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくすることにより、情報量を増加させることが可能となる。

また、肌色判定領域には色温度に対応したフィルタ処理が行われるので、色温度が低い場合に、人物以外の被写体がフィルタ処理によって画質が変化してしまうことを低減することができる。

これらの結果として、安定的に肌色を含む領域の画質を向上させることが可能になる。

尚、本実施の形態では、色温度に応じて３つのレベルで肌色検出のための閾値、量子化ステップ、及びフィルタ強度を変化させる構成としたが特に３つのレベルでなくても良い。

例えば、図７の実線で示すように、光源の色温度の変化に対応して変化するホワイトバランス制御データであるＲ＿Ｇａｉｎに応じて連続的に量子化補正係数を変化させることで、肌色判定領域に対する量子化ステップも連続的に変化させる構成にしても良い。

また、色温度に応じて肌色判定領域を決める色差信号や輝度信号の閾値レベル、及びフィルタ強度も連続的に変化させても良いことはいうまでもない。

また、本実施の形態では量子化ステップを変化させることが可能な符号化方式例に説明したが、量子化ステップが変更できない符号化方式の場合にはフィルタ強度のみを変化させる構成にしても良い。

（第２の実施の形態）
以下、本発明の第２の実施の形態について説明する。尚、第２の実施の形態における画像処理装置の構成は、第１の実施の形態と同様であるため、説明を省略する。

本実施の形態の特徴は、ホワイトバランスの制御状態、特にホワイトバランスの動作モードによって肌色判定領域を変更する点にある。

図２で説明したように、設定可能なホワイトバランスの動作モードとしては、光源の色温度変化に対して自動的に追尾して調整する所謂オートホワイトバランスモードがある。また、白紙等を撮影して任意の光源の色温度に調整するホワイトバランスセットモード、太陽光や蛍光灯等予めいくつかの光源の色温度に合わせたホワイトバランス調整値に設定可能なプリセットモード等がある。

ホワイトバランスセットモードでは、一旦白紙等無色の被写体を撮影してホワイトバランスを調整するため、オートホワイトバランスモードの場合と比べて正確にホワイトバランスが補正できる。また、太陽光や蛍光灯等のプリセットモードを使用する場合も、撮影者は光源の色温度状態を事前に把握した上で用いるため、比較的正しくホワイトバランス補正を行うことができる。

それに対して、一般的にオートホワイトバランスモードでは、被写体の色の影響を受けやすく、人物を撮影した場合には僅かではあるが肌色の彩度が低下する場合がある。

本実施の形態は、このようなオートホワイトバランスモードとそれ以外のモードにおける肌色の彩度の差に対応するためのものである。

図８は、本実施の形態におけるホワイトバランス動作モードと肌色判定領域の変化を示す図である。

図８（ａ）のＡ８０１ａは、ホワイトバランスの動作モードがセットモードまたはプリセットモードの場合の肌色判定領域を示す。また図８（ａ）中、Ｐ８０１ａ、Ｐ８０２ａは、図１７に示す人物を撮影した場の顔部１７０１及び衣服部１７０２に対応する点である。

図８（ａ）に示すように、ホワイトバランス動作モードがセットモードやプリセットモードの場合は、撮影者が光源の色温度に合わせて正しくホワイトバランス調整するため、正確に衣服部１７０２の白に相当するＰ８０２ａがベクトル図の中心に合っている。

本実施の形態では、このような場合には肌色判定領域Ａ８０１ａを変化させずに固定の領域とする。

一方、図８（ｂ）中、Ｐ８０１ｂ、Ｐ８０２ｂは、ホワイトバランス動作モードがオートモードで、図１７に示す人物を撮影した場の顔部１７０１及び衣服部１７０２に対応する点である。

図８（ｂ）に示すように、ホワイトバランス動作モードがオートモード場合、僅かにホワイトバランスが誤補正され、被写体の衣服部１７０２の白に相当する点Ｐ８０２ｂがベクトル図の中心から青方向に少しずれる。そして、それに伴い、顔部１７０１に相当する点Ｐ８０１ｂの彩度も低下する場合がある。

本実施の形態では、ホワイトバランス動作モードがオートモードの場合に、図８（ｂ）に示すように、肌色判定領域Ａ８０１ｂを少し低彩度側にシフトさせる処理を行うことで、ホワイトバランスの動作モードに関係なく、正しく肌色を検出することが可能となる。

結果として、第１の実施の形態と同様に、一般的に撮影対象としての重要度が高い人物の特に顔面部を、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができる。

また、色温度に応じて逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくし、情報量を増加させることが可能となる。また、肌色判定領域には色温度に応じたフィルタ処理も行われるので、結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量を、それ以外の領域と比べて相対的に増加するように量子化部１０７を制御することが可能となる。その結果、安定的に肌色を含む領域の画質を向上させることが可能になる。

（第３の実施の形態）
以下、本発明の第３の実施形態について説明する。尚、第３の実施形態における画像処理装置の構成は、第１の実施の形態と同様であるため、説明を省略する。

本実施の形態は、第１の実施の形態の構成及び動作に加えてホワイトバランスがオートモードで動作している場合に、光源の色温度が急激に変化した場合にも適切に対応可能とするものである。

また、本実施の形態の特徴は、ホワイトバランス制御データの目標補正量と現在の補正値との差に対応して肌色判定領域を変化させる点にある。

図９、及び図１０を用いて第３の実施の形態について詳しく説明する。

ここで、光源の色温度が高く、ホワイトバランス制御データは、図９におけるＴＳの値を出力してホワイトバランス補正されているとする。

その場合に、図１７の被写体を撮影したときの顔部１７０１と白い衣服部１７０２の色差ベクトルは図１０中、Ｐ＿ＴＳ１、Ｐ＿ＴＳ２となる。また、肌色判定領域は、図１０中のＡ＿ＴＳとなる。

その後、急速に光源の色温度が低く変化した場合、色差ベクトルは、それぞれ、図１０中のＰ＿ＴＳ１がＰ＿ＴＤ１へ、Ｐ＿ＴＳ２がＰ＿ＴＤ２へずれてしまう。これは、ホワイトバランス補正が時間的にゆっくりと行われるので、急速に光源の色温度が変化した場合にホワイトバランス補正が追従できないためである。

この場合、第１の実施の形態の構成のみでは、ホワイトバランスが追従するまでの間は肌色判定領域は、図１０中のＡ＿ＴＳのままであるので、色温度変化後の肌色に相当するＰ＿ＴＤ１がＡ＿ＴＳの領域外となり、肌色と検出されなくなってしまう恐れがある。

そこで、本実施の形態では、ホワイトバランス制御データの現在の補正値と最終的に目標とすべき目標補正値との差に応じて肌色判定領域を変化させるようにしている。

尚、ホワイトバランスの目標補正値は、例えば、白の衣服部等、白に相当する領域の色差信号の値が色差ベクトルの中心（色差ゼロの点）からどれくらいずれているかを算出することによって求めることができる。本実施の形態では、図１０中のＰ＿ＴＤ２の色差ベクトル中心からのずれ量によって求める。

ここで、求められたホワイトバランス制御データの目標補正量が図９中のＴＤであった場合、現在の補正量ＴＳとＴＤとの差に応じて、また肌色判定領域をシフトする。

図９に示すように、ＴＳとＴＤに対応するＲ_Ｇａｉｎの補正量をそれぞれＲＧ＿ＴＳ、ＲＧ＿Ｔとすると、例えば、現在の制御値と目標とする制御値が図９に示すような場合は、数式２に示す関係が成り立つ。従って、目標とする色温度は現在の色温度よりも低いと判定することができる。
［数２］
ＲＧ＿ＴＳ ＞ ＲＧ＿ＴＤ
その場合は、肌色判定領域を低色温度側にシフトし、図１０中のＡ＿ＴＤの位置にする。ここで、肌色判定領域をシフトする量は、ＲＧ＿ＴＳとＲＧ＿ＴＤとの差に対応して行えば良い。

その結果、色温度が低く変化した場合の肌色に相当するＰ＿ＴＤ１がＡ＿ＴＤの領域内となり、肌色と検出することが可能となる。

本実施の形態では、ホワイトバランス補正の追従速度を超える急激な光源の色温度変化が生じた場合でも、ホワイトバランス制御データの目標補正量と現在の補正値との差に対応して肌色判定領域を変化させるので、適切な肌色検出を行うことが可能となる。

それにより、同様に逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して、量子化ステップ値を小さくし情報量を増加させることが可能となる。また、肌色判定領域には適時フィルタ処理が行われるので、結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量を、それ以外の領域と比べて相対的に増加するように量子化部１０７を制御することが可能となる。

その結果、重要度が高い人物の特に顔面部を、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができるので、安定的に肌色を含む領域の画質を向上させることが可能になる。

（第４の実施の形態）
第１乃至第３の実施の形態では、画像を符号化する際に安定的に肌色を検出し、肌色を含む領域の画質を向上させる例について説明した。

しかし、本発明は必ずしも画像を符号化して記録する場合にのみ効果を発揮するものではなく、画像を再生する場合にも有効である。

図１１は、本発明のビデオカメラに代表される画像処理装置の第２の構成例を示すブロック図である。

図１１を用いて画像を再生する場合の本実施の形態の動作について説明する。

図１１において、記録媒体１１０１は、メモリカード、ハードディスク、光ディスク等からなる。読み出し部１１０２は、記録媒体１１０１から後述する画像データ及びメタデータを読み出す。

復号化部１１０３は、圧縮符号化された画像データをベースバンドの画像データに伸張する。ホワイトバランス検出部１１０４は、読み出された画像データやメタデータから後述するホワイトバランス情報を検出する。

肌色検出処理部１１０５は、第１乃至第３の実施の形態と同様の動作を行う。フィルタ部１１０６も、第１乃至第３の実施の形態と同様の動作を行う。画像出力部１１０７は、画像を図示しないディスプレイや他の画像機器に出力する。制御部１１０８は、画像処理装置全体を統括的に制御する。

上記構成を有する画像処理装置において、本実施の形態の特徴的な動作について説明する。

図１１中の記録媒体１１０１には、図１２に示すように、圧縮符号化された画像データ１２０１とそれに付随するメタデータ１２０２が記録されている。

メタデータ１２０２には、撮影時のホワイトバランス制御情報、撮影時の色温度情報等が記録されている。

読み出し部１１０２により、符号化された画像データ及びメタデータが記録媒体１１０１から読み出される。読み出された画像データは、復号化部１１０３によりベースバンドの画像信号に復号化される。

尚、本実施の形態において、圧縮符号化の方式は特にどのような種類のものであっても差し支えない。また、記録媒体１１０１に記録されている画像は必ずしも圧縮符号化されている必要もない。よって、本実施の形態では、復号化部１１０３の詳細構成及び動作については説明を省略する。

復号化部１１０３によりベースバンド画像に復号された画像データは、ホワイトバランス検出手段であるホワイトバランス検出部１１０４に入力される。尚、ホワイトバランス検出部１１０４には、記録媒体１１０１から読み出されたメタデータも入力される。復号された画像データは、肌色検出処理部１１０５及びフィルタ部１１０６にも入力される。

尚、フィルタ部１１０６は、再生時に処理されるフィルタであるため一般的にはポストフィルタと称される。

ホワイトバランス検出部１１０４では、入力されたメタデータや画像データによってホワイトバランス制御状態や画像が撮影された光源の色温度を検出する。

図１３は、図１１におけるホワイトバランス検出部でのホワイトバランス検出処理の手順を示すフローチャートである。

図１３において、ホワイトバランス検出処理が開始されると、まず、ステップＳ１３０１にてメタデータの読み込みを行う。次に、ステップＳ１３０２にて入力されたメタデータ中に撮影時のホワイトバランス制御情報や光源の色温度情報等のホワイトバランス情報が含まれているかどうかを判定する。

ホワイトバランス情報が含まれている場合、ステップＳ１３０３にてメタデータ含まれたホワイトバランス情報を抜き出し、ホワイトバランス検出データとして制御部１１０８に出力し処理を終える。

ステップＳ１３０３にてメタデータにホワイトバランス情報が含まれていない場合やメタデータ自体が存在しない場合、ステップＳ１３０４にて画像データを読み込む処理を行う。次に、ステップＳ１３０５にて画像データから光源の色温度を推定する処理を行う。

本実施の形態では、色温度の推定は画像の色差信号の平均値により行う。例えば、画像中の色差信号を平均した値が赤方向に偏っている場合、低色温度と判定する。また、画像中の色差信号を平均した値が青方向に偏っている場合、高色温度と判定する。

これらの判定結果を、ステップＳ１３０６にてホワイトバランス検出データとして制御部１３０８に出力して、処理を終了する。

肌色検出処理部１１０５では、ホワイトバランス検出部１１０４にて検出されたホワイトバランス検出情報、即ち、ホワイトバランス動作モードや色温度情報に応じた肌色検出動作を行う。

尚、本実施の形態でも、ホワイトバランス動作モードや色温度情報に応じて肌色判定領域を変化させる肌色検出動作については第１乃至第３の実施の形態と同様であるので説明を省略する。

次にフィルタ部１１０６は、肌色検出処理部１１０５にて肌色と検出された領域に対してフィルタ処理を行う。

図１４は、図１１におけるフィルタ部のフィルタ制御処理の手順を示すフローチャートである。

尚、この処理は図１１の制御部１１０８が行う。

図１４において、フィルタ制御処理が開始されると、まず、フステップＳ１４０１にてホワイトバランス検出部１１０４からの出力により色温度が低色温度側か否かを判定する。

ステップＳ１４０１にて低色温度側と判定された場合には、ステップＳ１４０２にてフィルタ強度を弱に設定する。ステップＳ１４０１にて低色温度側と判定されない場合にはステップＳ１４０３にて高色温度側か否かを判定する。

ステップＳ１４０３にて高色温度側と判定された場合には、ステップＳ１４０４にてフィルタ強度を強に設定する。ステップＳ１４０３にて高色温度側と判定されない場合には、通常色温度とみなし、ステップＳ１４０５にてフィルタ強度を中に設定する。

このように、フィルタ強度は色温度が高くなるに伴い強く設定される。尚、本実施の形態では、フィルタ強度が強くなるにつれて画像信号中の高周波成分をより低減させる動作を行う。

次に、ステップＳ１４０６にて前述の処理で設定されたフィルタ強度を用いて肌色を含むと判定された領域に対してフィルタ処理を行い、このフローを抜ける。

尚、図１４には示していないが、肌色判定領域以外の部分に関しては特にフィルタ処理は行わない。

これらのフィルタ処理が行われた画像信号は、画像出力部１１０７や他の画像機器に出力される。

このように、本実施の形態では、記録された画像データから光源の色温度情報やホワイトバランス制御状態を検出して、肌色判定領域の閾値及び肌色判定領域に対して行うフィルタ強度を適時変更させることが可能な構成となっている。

一般的に、重要度が高い人物の特に顔面部が肌色検出処理により精度良く安定的に認識することができる。また、肌色判定領域には適時フィルタ処理が行われるので、安定的に肌色を含む領域の画質を向上させることが可能になる。

尚、本実施の形態では、色温度に応じて３つのレベルでフィルタ強度を変化させる構成としたが特に３つのレベルでなくても良く、連続してフィルタ強度を変化させる構成にしても良い。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしても良い。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯステップＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

図１は、本発明のビデオカメラに代表される画像処理装置の第１の構成例を示すブロック図である。 図１におけるホワイトバランス動作モード選択部で、オートモード（オートホワイトバランスモード）が選択されている例を示す図である。 図１の画像処理装置におけるホワイトバランス制御データと色温度の関係を示す図である。 図１の画像処理装置における色温度変化と肌色判定領域の関係を示す色差ベクトル図である。 図１の画像処理装置における色温度変化と肌色判定領域と白色部、肌色部の関係を示す色差ベクトル図である。 図１の画像処理装置によって実行されるフィルタ処理及び量子化処理の手順を示すフローチャートである。 図１の画像処理装置における色温度変化と量子化補正係数の関係を示す図である。 図１の画像処理装置におけるホワイトバランス動作モードと肌色判定領域の関係を示す色差ベクトル図である。 図１の画像処理装置におけるホワイトバランス制御データの現在値と目標制御値を示す図である。 図１の画像処理装置における目標制御値と肌色判定領域の関係を示す色差ベクトル図である。 本発明のビデオカメラに代表される画像処理装置の第２の構成例を示すブロック図である。 図１１における記録媒体上の画像データとメタデータを示す図である。 図１１におけるホワイトバランス検出部でのホワイトバランス検出処理の手順を示すフローチャートである。 図１１におけるフィルタ部のフィルタ制御処理の手順を示すフローチャートである。 従来例（特許文献１）に係る画像処理装置のブロック図である。 図１５の量子化部における符号量制御処理の手順を示すフローチャートである。 は被写体を示す図である。 図１７に示す被写体が撮影された場合の画像信号における色差信号のレベルを示すベクトル図である。 低色温度の光源の元で図１７に示す人物を撮影した場合の色差信号のレベルを示すベクトル図である。 高色温度の光源の元で図１７に示す人物を撮影した場合の画像信号の色差レベルを示すベクトル図である。

符号の説明

１０１ 撮像部
１０２ 画像信号処理部
１０３ 肌色検出処理部
１０４ フィルタ部
１０５ 動き補償予測部
１０６ 直交変換部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ バッファ部
１１０ 記録部
１１１ 逆量子化部
１１２ 逆直交変換部
１１３ ホワイトバランス動作モード選択部
１１４ 制御部

Claims (19)

1. 画像中の所定色を含む領域を検出する色検出部と、
   画像データに対してフィルタ処理を行うフィルタ処理部と、
   画像データを符号化する符号化部と、
   画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
   前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする画像処理装置。
2. 前記制御手段は、前記ホワイトバランス制御状態が所定の値に固定されている場合と自動追尾状態である場合とで前記色検出部における肌色を検出する際の前記輝度信号及び色信号の閾値を変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記ホワイトバランス制御状態が自動追尾状態である場合には、所定の値に固定された状態である場合に比べ前記色検出部における肌色を検出する際の前記輝度信号及び色信号の閾値を低彩度側に変更することを特徴とする請求項２記載の画像処理装置。
4. 前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合には、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記ホワイトバランス制御における現在の補正量と最終補正量とを求め、前記補正量と最終補正量との差に応じて前記色検出部における前記所定色を検出する際の輝度信号や色信号の閾値を変化させることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 入力された画像データから所定色を含む領域を検出する色検出部と、
   画像データに対してフィルタ処理を行うフィルタ処理部と、
   画像撮影時のホワイトバランス制御状態及び撮影時の色温度情報を検出するホワイトバランス検出手段と、
   検出された前記ホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における前記所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
   前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする画像処理装置。
8. 前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項７に記載の画像処理装置。
9. 画像中の所定色を含む領域を検出する色検出部と、
   画像データに対してフィルタ処理を行うフィルタ処理部と、
   画像データを符号化する符号化部と、
   画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
   前記制御手段は、前記ホワイトバランス制御状態が所定の値に固定されている場合と自動追尾状態である場合とで前記色検出部における肌色を検出する際の前記輝度信号及び色信号の閾値を変化させることを特徴とする画像処理装置。
10. 前記制御手段は、前記ホワイトバランス制御状態が自動追尾状態である場合には、所定の値に固定された状態である場合に比べ前記色検出部における肌色を検出する際の前記輝度信号及び色信号の閾値を低彩度側に変更することを特徴とする請求項９記載の画像処理装置。
11. 前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合には、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項９乃至請求項１０のいずれか１項に記載の画像処理装置。
13. 前記制御手段は、前記ホワイトバランス制御における現在の補正量と最終補正量とを求め、前記補正量と最終補正量との差に応じて前記色検出部における前記所定色を検出する際の輝度信号や色信号の閾値を変化させることを特徴とする請求項９乃至請求項１２のいずれか１項に記載の画像処理装置。
14. 画像中の所定色を含む領域を検出する色検出部と、
    画像データに対してフィルタ処理を行うフィルタ処理部と、
    画像データを符号化する符号化部と、
    画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記符号化部における前記所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる制御手段と、を備え、
    前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側である場合には、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする画像処理装置。
15. 前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項１４に記載の画像処理装置。
16. 前記制御手段は、前記ホワイトバランス制御における現在の補正量と最終補正量とを求め、前記補正量と最終補正量との差に応じて前記色検出部における前記所定色を検出する際の輝度信号や色信号の閾値を変化させることを特徴とする請求項１４又は１５に記載の画像処理装置。
17. 画像中の所定色を含む領域を検出する色検出部と、
    画像データに対してフィルタ処理を行うフィルタ処理部と、
    画像データを符号化する符号化部と、
    画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記フィルタ処理部における前記所定色が検出された領域に対して施す前記フィルタ処理の種類及び強度を変化させる制御手段と、を備え、
    前記制御手段は、前記ホワイトバランス制御状態及び色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする画像処理装置。
18. 前記制御手段は、前記ホワイトバランス制御における現在の補正量と最終補正量とを求め、前記補正量と最終補正量との差に応じて前記色検出部における前記所定色を検出する際の輝度信号や色信号の閾値を変化させることを特徴とする請求項１７に記載の画像処理装置。
19. 画像中の所定色を含む領域を検出する色検出部と、
    画像データに対してフィルタ処理を行うフィルタ処理部と、
    画像データを符号化する符号化部と、
    画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
    前記制御手段は、前記ホワイトバランス制御における現在の補正量と最終補正量とを求め、前記補正量と最終補正量との差に応じて前記色検出部における前記所定色を検出する際の輝度信号や色信号の閾値を変化させることを特徴とする画像処理装置。

Images