JPWO2010061493A1

JPWO2010061493A1 - 映像処理装置及び映像処理方法

Info

Publication number: JPWO2010061493A1
Application number: JP2010540293A
Authority: JP
Inventors: 進一冨岡; 暢子藤田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-11-27
Filing date: 2009-07-13
Publication date: 2012-04-19
Also published as: US20110134328A1; WO2010061493A1

Abstract

色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置（１３）と、肌色領域検出結果を入力として１フレーム中の肌色部分の面積を算出する肌色面積算出装置（１４）と、肌色面積算出結果を入力として輝度信号に対するガンマ補正制御信号を生成するガンマ補正制御装置（１５）と、当該ガンマ補正制御信号に応じたガンマ補正を輝度信号に掛けるガンマ補正装置（１１）と、ガンマ補正後の輝度信号及び色差信号を前記色相、彩度、明度信号に変換する色空間変換装置（１２）と、当該変換出力を入力として肌色のみを補正する肌色補正装置（１６）と、当該補正後の色相、彩度、明度信号を出力データとなる色信号へ逆変換する色空間逆変換装置（１７）と、逆変換後の色信号を映像として表示する映像表示装置（１８）とを設ける。

Description

本発明は、暗い映像部分をより黒側に伸張して黒浮きのないダイナミックな映像を提供し、かつ肌色の色再現性を向上する映像処理装置及び映像処理方法に関するものである。

近年、フラットパネルテレビの大画面化は目ざましいものがあり、そのため画質に関する要求はますます高まりつつある。特に人間の目は人の肌の再現に関しては敏感であり、人の肌の再現性が画質に与える影響は大なるものがある。

ある従来技術に係る映像信号補正制御装置は、色差信号から１フレーム中の肌色部分の面積を算出する肌色面積検出回路と、色差信号と輝度信号とから１フレーム中の肌色部分の平均輝度レベルを検出する肌色平均輝度レベル検出回路と、輝度信号から１フレームの平均輝度レベルを検出する平均輝度レベル検出回路と、肌色面積検出回路からの出力及び肌色平均輝度レベル検出回路からの出力及び平均輝度レベル検出回路からの出力を入力として黒伸長補正制御信号を作成する黒伸長補正制御装置と、黒伸長補正制御装置からの出力を入力として黒伸長補正を輝度信号に掛ける黒伸長補正回路とで構成されている（特許文献１参照）。

特開平７−２８８８３９号公報

しかしながら、上記従来技術は、色差信号のみによって肌色面積を算出していたため、人の肌だけでなく、肌色に近い他の物体についても肌色として面積を算出する結果、特定の風景で黒伸張効果が低下するという課題があった。

前記の課題を解決するため、本発明の第１の映像処理装置は、色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置と、前記肌色領域検出結果を入力として１フレーム中の肌色部分の面積を算出する肌色面積算出装置と、前記肌色面積算出装置からの出力を入力として輝度信号に対するガンマ補正制御信号を生成するガンマ補正制御装置と、前記ガンマ補正制御装置からの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を入力データとなる輝度信号に掛けるガンマ補正装置と、前記ガンマ補正後の輝度信号及び色差信号を前記色相、彩度、明度信号に変換する色空間変換装置と、前記肌色領域検出装置及び前記色空間変換装置の出力を入力として肌色のみを補正する肌色補正装置と、前記肌色補正装置から出力される調整後の色相、彩度、明度信号を、出力データとなる色信号へ変換する色空間逆変換装置と、前記色信号を映像として表示する映像表示装置とを含むものである。

また、本発明の第２の映像処理装置は、入力データとなる色信号を、色相、彩度、明度信号へ変換する色空間変換装置と、前記色空間変換装置から出力される色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置と、前記色空間変換装置から出力される色相、彩度、明度信号及び前記肌色領域検出装置の出力を入力として、肌色のみを補正する肌色補正装置と、前記肌色領域検出装置の出力を入力として、ガンマ補正制御信号を生成するガンマ補正制御装置と、前記肌色補正装置の出力である明度信号及び前記ガンマ補正制御装置からの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を明度信号のみに掛けるガンマ補正装置と、前記ガンマ補正後の明度信号及び前記肌色補正装置の出力である色相、彩度信号を出力データとなる色信号に変換する色空間逆変換装置と、前記色信号を映像として表示する映像表示装置とを含むものである。

また、本発明の第３の映像処理装置は、入力データとなる色信号を、色相、彩度、明度信号へ変換する色空間変換装置と、前記色空間変換装置から出力される色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置と、前記肌色領域検出装置の出力を入力として、人の形状を認識する物体認識装置と、前記色空間変換装置から出力される色相、彩度、明度信号及び前記物体認識装置の出力を入力として、肌色のみを補正する肌色補正装置と、前記物体認識装置からの出力を入力として、ガンマ補正制御信号を生成するガンマ補正制御装置と、前記肌色補正装置の出力である明度信号及び前記ガンマ補正制御装置からの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を明度信号のみに掛けるガンマ補正装置と、前記ガンマ補正後の明度信号及び前記肌色補正装置の出力である色相、彩度信号を出力データとなる色信号に変換する色空間逆変換装置と、前記色信号を映像として表示する映像表示装置とを含むものである。

なお、前記肌色領域検出装置は、色相信号を入力として、色相のみで肌色を検出する色相肌色検出装置と、彩度信号を入力として、彩度のみで肌色を検出する彩度肌色検出装置と、明度信号を入力として、明度のみで肌色を検出する明度肌色検出装置と、前記色相、彩度、明度肌色検出装置の出力を入力として、肌色領域を決定する肌色領域判別装置とを含むものであってもよい。

また、本発明の映像処理方法は、以上の本発明の第１〜第３の映像処理装置に対応するものである。

本発明の映像処理装置及び映像処理方法によれば、色相、彩度、明度の色空間において肌色領域の検出精度を向上できるため、特定の風景で黒を沈める効果が抑制されることがなくなり、黒及び肌色の再現性を向上することが可能となる。また、人間の肌の領域を示す検出信号を複数の回路ブロックが共有することで、映像処理装置の回路規模を削減することができる。更に、人間の肌色のみを補正することを可能とすることで、肌色の再現性を向上することが可能である。

本発明の第１の実施形態の映像処理装置の構成を示すブロック図である。第１の実施形態に係るガンマ補正装置の動作を示す図である。第１の実施形態に係る肌色領域検出装置の詳細を示すブロック図である。第１の実施形態に係る色相領域の肌色検出を示す図である。第１の実施形態に係る彩度領域の肌色検出を示す図である。第１の実施形態に係る明度領域の肌色検出を示す図である。第１の実施形態に係る肌色面積に連動したガンマ補正を示す図である。本発明の第２の実施形態の映像処理装置の構成を示すブロック図である。本発明の第３の実施形態の映像処理装置の構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

《第１の実施形態》
図１〜図７を用いて、第１の実施形態における映像処理装置について説明する。第１の実施形態は、色相、彩度、明度からなる色空間において、肌色領域の検出及び１フレーム分の肌色面積を算出して、肌色補正に連動して輝度信号の低輝度側のレベルを下げることで黒を沈めるガンマ補正を行い、また、ガンマ補正後の信号に対して肌色領域の検出結果に基づいて肌色のみに対して色相、彩度、明度の調整をする肌色補正を行うようにしたものである。

図１は、第１の実施形態における映像処理装置の構成を示すブロック図である。図１において、１１は、入力データである輝度信号Ｙに対してガンマ補正制御信号に応じたガンマ補正を掛けるガンマ補正装置であり、１２は、ガンマ補正後の輝度信号Ｙ’及び入力データである色差信号Ｒ−Ｙ、Ｂ−Ｙを色相Ｈｉ、彩度Ｓｉ、明度Ｖｉへ変換して出力する色空間変換装置であり、１３は、色相Ｈｉ、彩度Ｓｉ、明度Ｖｉから肌色領域を検出する肌色領域検出装置であり、１４は、肌色領域検出結果から肌色面積を算出する肌色面積算出装置であり、１５は、肌色面積からガンマ補正制御信号を生成するガンマ補正制御装置であり、１６は、肌色領域検出結果に基づき色相Ｈｉ、彩度Ｓｉ、明度Ｖｉの肌色を調整する肌色補正装置であり、１７は、補正後の色相Ｈｏ、彩度Ｓｏ、明度Ｖｏを出力データとなる色信号Ｒｏ、Ｇｏ、Ｂｏへ変換して出力する色空間逆変換装置であり、１８は、色信号Ｒｏ、Ｇｏ、Ｂｏを映像として表示する映像表示装置である。

図１に示す構成において、入力データである輝度信号Ｙはガンマ補正装置１１に送られ、低輝度信号のみに対して信号レベルを下げることで、黒を沈める。

図２は、ガンマ補正関数の一例である。ガンマ折れ点（スタートポイント）を設定して、折れ点以下の輝度信号のレベルを下げることで黒を沈めることが可能である。

ガンマ補正後の輝度信号Ｙ’及び入力データである色差信号Ｒ−Ｙ、Ｂ−Ｙは、色空間変換装置１２において色相Ｈｉ、彩度Ｓｉ、明度Ｖｉへ変換される。この変換は、周知の色空間変換式を用いて実行される。変換された色相Ｈｉ、彩度Ｓｉ、明度Ｖｉは、肌色領域検出装置１３及び肌色補正装置１６に入力される。肌色領域検出装置１３では、肌色領域のみの検出を行う。肌色面積算出装置１４では、肌色領域検出装置１３の出力結果から肌色面積の算出を行う。

図３は、肌色領域検出装置１３の一例を示す。４１は、色相による肌色検出装置である。図４は、色相肌色検出装置４１における肌色検出方法の一例であり、色相の範囲によって肌色領域の検出を行い、肌色領域では１、それ以外では０としている。４２は、彩度による肌色検出装置である。図５は、彩度肌色検出装置４２における肌色検出方法の一例であり、彩度の範囲によって肌色領域の検出を行い、肌色領域では１、それ以外では０としている。４３は、明度による肌色検出装置である。図６は、明度肌色検出装置４３における肌色検出方法の一例であり、明度の範囲によって肌色領域の検出を行い、肌色領域では１、それ以外では０としている。４４は肌色領域判別装置であり、肌色検出装置４１、４２、４３の検出結果の掛け算を行い、肌色領域では１、それ以外では０となる信号を出力する。肌色面積算出装置１４は、肌色領域判別装置４４の出力信号を１フレーム期間累積することで肌色面積を算出する。算出された肌色面積は、ガンマ補正制御装置１５に入力され、肌色面積に応じたガンマ補正量が決定する。

図７は、ガンマ補正制御装置１５におけるガンマ補正制御関数の一例である。黒伸張防止閾値及び基本伸張ゲインを決定することで、肌色面積に応じてガンマ補正量である伸張ゲインを決定する。肌色面積が大きいところでは伸張ゲインを小さくしている。

ガンマ補正及び色空間変換後の色相Ｈｉ、彩度Ｓｉ、明度Ｖｉは肌色補正装置１６に入力され、肌色領域検出結果に基づき肌色領域と判定された領域のみ色相Ｈｉ、彩度Ｓｉ、明度Ｖｉの補正を行う。例えば、肌色領域のみ明度Ｖｉを１．５倍にすることで、美しい肌色を実現する。肌色補正後の色相Ｈｏ、彩度Ｓｏ、明度Ｖｏは、色空間逆変換装置１７において、出力データである色信号Ｒｏ、Ｇｏ、Ｂｏへと逆変換されて、出力される。この逆変換は、周知の色空間逆変換式を用いて実行される。最後に、逆変換後の色信号Ｒｏ、Ｇｏ、Ｂｏが映像表示装置１８において表示される。

《第２の実施形態》
図８は、第２の実施形態における映像処理装置を示すブロック図である。図８において、２１は、入力データである色信号Ｒｉ、Ｇｉ、Ｂｉを色相Ｈｉ、彩度Ｓｉ、明度Ｖｉへ変換する色空間変換装置であり、２３は、肌色領域検出装置１３の出力を入力としてガンマ補正制御信号を生成するガンマ補正制御装置であり、２２は、肌色補正後の明度信号Ｖｏに対してガンマ補正制御信号に応じたガンマ補正を掛けるガンマ補正装置である。

図８に示す構成において、入力された色データ（色信号）Ｒｉ、Ｇｉ、Ｂｉは、色空間変換装置２１に送られ、色相Ｈｉ、彩度Ｓｉ、明度Ｖｉへ変換される。この変換は、ＲＧＢからＨＳＶへの周知の色空間変換式を用いて実行される。

変換後の色相Ｈｉ、彩度Ｓｉ、明度Ｖｉは、肌色領域検出装置１３及び肌色補正装置１６に入力される。動作は第１の実施形態と同様である。肌色検出結果はガンマ補正制御装置２３に送られ、肌色領域でガンマ補正効果を抑えたガンマ補正制御信号を出力する。

肌色補正後の明度信号Ｖｏ及びガンマ補正制御信号はガンマ補正装置２２に送られ、ガンマ補正制御信号に基づいてガンマ補正後の明度信号Ｖｏ’が得られる。色空間逆変換装置１７は、肌色補正後の色相Ｈｏ、彩度Ｓｏ、明度Ｖｏ’を、出力データである色信号Ｒｏ、Ｇｏ、Ｂｏへと逆変換する。映像表示装置１８の動作は、第１の実施形態と同様である。

《第３の実施形態》
図９は、第３の実施形態における映像処理装置を示すブロック図である。図９において、３１は、肌色領域の検出結果より物体の形状を解析して人間かどうかを示す信号を出力する物体認識装置である。

図９に示す構成において、色空間変換装置２１及び肌色領域検出装置１３は第２の実施形態と同様である。肌色検出結果は、物体認識装置３１に送られる。物体認識装置３１では、肌色領域の検出結果から物体の形状を解析して人間かどうかを示す信号を生成する。生成された信号に基づいて、肌色補正装置１６において人間の肌色領域のみに対して肌色補正が行われる。

また、物体認識装置３１の出力はガンマ補正制御装置２３に送られ、ガンマ補正制御装置２３は、人間の場合にガンマ補正効果を抑えたガンマ補正制御信号を出力する。肌色補正後の明度信号Ｖｏ及びガンマ補正制御信号はガンマ補正装置２２に送られ、ガンマ補正制御信号に基づいてガンマ補正後の明度信号Ｖｏ’が得られる。色空間逆変換装置１７及び映像表示装置１８の動作は、第２の実施形態と同様である。

なお、図３に示した肌色領域検出装置１３の構成は、第２及び第３の実施形態にも適用可能である。また、第１〜第３の実施形態の各々において、色データを表示する映像表示装置１８は、撮像装置におけるモニタ装置であってもよい。

以上説明してきたとおり、本発明に係る映像処理装置及び映像処理方法は、色相、彩度、明度の色空間において肌色領域の検出精度を向上できるため、フラットパネルテレビ等の技術として有用である。

１１（輝度に対する）ガンマ補正装置
１２色空間変換装置
１３肌色領域検出装置
１４肌色面積算出装置
１５（輝度に対する）ガンマ補正制御装置
１６肌色補正装置
１７色空間逆変換装置
１８映像表示装置
２１色空間変換装置
２２（明度に対する）ガンマ補正装置
２３（明度に対する）ガンマ補正制御装置
３１物体認識装置
４１色相による肌色検出装置
４２彩度による肌色検出装置
４３明度による肌色検出装置
４４肌色領域判別装置

特開平７−２８８８３９号公報

Claims

色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置と、
前記肌色領域検出結果を入力として１フレーム中の肌色部分の面積を算出する肌色面積算出装置と、
前記肌色面積算出装置からの出力を入力として輝度信号に対するガンマ補正制御信号を生成するガンマ補正制御装置と、
前記ガンマ補正制御装置からの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を入力データとなる輝度信号に掛けるガンマ補正装置と、
前記ガンマ補正後の輝度信号及び色差信号を前記色相、彩度、明度信号に変換する色空間変換装置と、
前記肌色領域検出装置及び前記色空間変換装置の出力を入力として肌色のみを補正する肌色補正装置と、
前記肌色補正装置から出力される調整後の色相、彩度、明度信号を、出力データとなる色信号へ変換する色空間逆変換装置と、
前記色信号を映像として表示する映像表示装置とを備えたことを特徴とする映像処理装置。
入力データとなる色信号を、色相、彩度、明度信号へ変換する色空間変換装置と、
前記色空間変換装置から出力される色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置と、
前記色空間変換装置から出力される色相、彩度、明度信号及び前記肌色領域検出装置の出力を入力として、肌色のみを補正する肌色補正装置と、
前記肌色領域検出装置の出力を入力として、ガンマ補正制御信号を生成するガンマ補正制御装置と、
前記肌色補正装置の出力である明度信号及び前記ガンマ補正制御装置からの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を明度信号のみに掛けるガンマ補正装置と、
前記ガンマ補正後の明度信号及び前記肌色補正装置の出力である色相、彩度信号を出力データとなる色信号に変換する色空間逆変換装置と、
前記色信号を映像として表示する映像表示装置とを備えたことを特徴とする映像処理装置。
入力データとなる色信号を、色相、彩度、明度信号へ変換する色空間変換装置と、
前記色空間変換装置から出力される色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出装置と、
前記肌色領域検出装置の出力を入力として、人の形状を認識する物体認識装置と、
前記色空間変換装置から出力される色相、彩度、明度信号及び前記物体認識装置の出力を入力として、肌色のみを補正する肌色補正装置と、
前記物体認識装置からの出力を入力として、ガンマ補正制御信号を生成するガンマ補正制御装置と、
前記肌色補正装置の出力である明度信号及び前記ガンマ補正制御装置からの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を明度信号のみに掛けるガンマ補正装置と、
前記ガンマ補正後の明度信号及び前記肌色補正装置の出力である色相、彩度信号を出力データとなる色信号に変換する色空間逆変換装置と、
前記色信号を映像として表示する映像表示装置とを備えたことを特徴とする映像処理装置。
請求項１〜３のいずれか１項に記載の映像処理装置において、
前記肌色領域検出装置は、
色相信号を入力として、色相のみで肌色を検出する色相肌色検出装置と、
彩度信号を入力として、彩度のみで肌色を検出する彩度肌色検出装置と、
明度信号を入力として、明度のみで肌色を検出する明度肌色検出装置と、
前記色相、彩度、明度肌色検出装置の出力を入力として、肌色領域を決定する肌色領域判別装置とを有することを特徴とする映像処理装置。
色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出ステップと、
前記肌色領域検出結果を入力として１フレーム中の肌色部分の面積を算出する肌色面積算出ステップと、
前記肌色面積算出ステップからの出力を入力として輝度信号に対するガンマ補正制御信号を生成するガンマ補正制御ステップと、
前記ガンマ補正制御ステップからの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を入力データとなる輝度信号に掛けるガンマ補正ステップと、
前記ガンマ補正後の輝度信号及び色差信号を前記色相、彩度、明度信号に変換する色空間変換ステップと、
前記肌色領域検出ステップ及び前記色空間変換ステップの出力を入力として肌色のみを補正する肌色補正ステップと、
前記肌色補正ステップから出力される調整後の色相、彩度、明度信号を、出力データとなる色信号へ変換する色空間逆変換ステップと、
前記色信号を映像として表示する映像表示ステップとを備えたことを特徴とする映像処理方法。
入力データとなる色信号を、色相、彩度、明度信号へ変換する色空間変換ステップと、
前記色空間変換ステップから出力される色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出ステップと、
前記色空間変換ステップから出力される色相、彩度、明度信号及び前記肌色領域検出ステップの出力を入力として、肌色のみを補正する肌色補正ステップと、
肌色領域検出ステップの出力を入力として、ガンマ補正制御信号を生成するガンマ補正制御ステップと、
前記肌色補正ステップの出力である明度信号及び前記ガンマ補正制御ステップからの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を明度信号のみに掛けるガンマ補正ステップと、
前記ガンマ補正後の明度信号及び前記肌色補正ステップの出力である色相、彩度信号を出力データとなる色信号に変換する色空間逆変換ステップと、
前記色信号を映像として表示する映像表示ステップとを備えたことを特徴とする映像処理方法。
入力データとなる色信号を、色相、彩度、明度信号へ変換する色空間変換ステップと、
前記色空間変換ステップから出力される色相、彩度、明度信号から１フレーム中の肌色領域を検出する肌色領域検出ステップと、
前記肌色領域検出ステップの出力を入力として、人の形状を認識する物体認識ステップと、
前記色空間変換ステップから出力される色相、彩度、明度信号及び前記物体認識ステップの出力を入力として、肌色のみを補正する肌色補正ステップと、
前記物体認識ステップからの出力を入力として、ガンマ補正制御信号を生成するガンマ補正制御ステップと、
前記肌色補正ステップの出力である明度信号及び前記ガンマ補正制御ステップからの出力を入力として、前記ガンマ補正制御信号に応じたガンマ補正を明度信号のみに掛けるガンマ補正ステップと、
前記ガンマ補正後の明度信号及び前記肌色補正ステップの出力である色相、彩度信号を出力データとなる色信号に変換する色空間逆変換ステップと、
前記色信号を映像として表示する映像表示ステップとを備えたことを特徴とする映像処理方法。
請求項５〜７のいずれか１項に記載の映像処理方法において、
前記肌色領域検出ステップは、
色相信号を入力として、色相のみで肌色を検出する色相肌色検出ステップと、
彩度信号を入力として、彩度のみで肌色を検出する彩度肌色検出ステップと、
明度信号を入力として、明度のみで肌色を検出する明度肌色検出ステップと、
前記色相、彩度、明度肌色検出ステップの出力を入力として、肌色領域を決定する肌色領域判別ステップとを有することを特徴とする映像処理方法。