JP5031877B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力される動画像又は静止画像に対して階調補正を行う画像処理装置及び画像処理方法に関する。

動画像又は静止画像において人物の顔が表示される領域（以下、「顔領域」と表記）は、視聴者が特に注目する重要な領域である。そのため、デジタルカメラ等の撮影装置では顔領域の検出が一般的に実施されている。

一方、テレビ等の表示機器では、一般的に、コントラストを高めることや、局所的な黒つぶれや白飛びを軽減したりすることなどを目的として、局所的な階調補正が実施されている。例えば、画像を複数領域に分割して画像の局所的な統計情報（例えば、輝度情報）を取得し、統計情報に基づいて階調補正に使用するガンマ曲線を局所的に制御して階調補正を実施するといった処理が挙げられる。

下記特許文献１では、人物の顔部分に適切な階調を確保するため、画像を複数のブロック領域に分割し、複数のブロック領域の明るさ情報と顔部分の明るさ情報に基づいて入力画像の明るさを補正する階調補正システムが開示されている。

特開２００９−５９１１９号公報

しかしながら、上記特許文献１においては、分割した領域毎に検出する明るさ情報と顔部分の明るさ情報に基づいて階調補正を行うため、必ずしも顔部分に均一な階調補正がなされるとは限らなかった。その結果、視聴者が注目する顔領域の階調補正が不均一となり、視聴者に違和感を与えてしまう恐れがあった。たとえば、顔部分の左側近傍に黒い物体が存在する場合、顔の左側が黒い物体に対する階調補正に引きずられ、顔の右側と左側とで階調補正が不均一になることがあった。

そこで、本発明は、画像に対して局所的な階調補正を行う画像処理装置及び画像処理方法において、人物の顔等の特定種類のオブジェクトが存在する領域に対する階調補正が不均一になることを抑制することを目的とする。

本発明は、入力される画像に対して階調補正処理を行う画像処理装置であって、
前記入力される画像において所定の種類のオブジェクトが存在する領域であるオブジェクト領域に関する座標情報を取得する取得部と、
前記入力される画像を複数の分割領域に分割する分割部と、
前記複数の分割領域の各々の輝度情報に基づいて、前記階調補正処理に係る前記分割領域毎の階調補正係数を決定する第１決定部と、
前記オブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも前記オブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、前記オブジェクト領域に対する階調補正処理に係る階調補正係数を決定する第２決定部と、
前記入力される画像内の前記オブジェクト領域に対して、前記第２決定部により決定さ
れる階調補正係数を座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記オブジェクト領域以外の領域に対して、前記第１決定部により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行う画像処理部と、
を備えることを特徴とする画像処理装置である。

本発明は、入力される画像に対して階調補正処理を行う画像処理方法であって、
前記入力される画像において所定の種類のオブジェクトが存在する領域であるオブジェクト領域に関する座標情報を取得する取得工程と、
前記入力される画像を複数の分割領域に分割する分割工程と、
前記複数の分割領域の各々の輝度情報に基づいて、前記階調補正処理に係る前記分割領域毎の階調補正係数を決定する第１決定工程と、
前記オブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも前記オブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、前記オブジェクト領域に対する階調補正処理に係る階調補正係数を決定する第２決定工程と、
前記入力される画像内の前記オブジェクト領域に対して、前記第２決定工程により決定される階調補正係数を座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記オブジェクト領域以外の領域に対して、前記第１決定工程により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行う画像処理工程と、
を有することを特徴とする画像処理方法である。

本発明によれば、画像に対して局所的な階調補正を行う画像処理装置及び画像処理方法において、人物の顔等の特定種類のオブジェクトが存在する領域に対する階調補正が不均一になることを抑制することが可能となる。

実施例１及び２の画像処理装置のブロック図 実施例１の顔領域を含む画像に対する画像処理を説明するための図 実施例１の階調補正で用いる平均輝度値に応じたガンマ曲線を示す図 仮想ガンマ係数ｋ’を示す図 実施例１の階調補正係数を決定する処理のフローチャート 実施例１の階調補正処理のフローチャート 実施例１の重複する複数の顔領域及びそれらを包含する包含領域の例 実施例２の複数の顔領域が存在している例 実施例２のガンマ曲線の平均値の算出を説明する図 実施例３の画像処理装置のブロック図

（実施例１）
図１は本発明の第１の実施例に係る画像処理装置の構成を示すブロック図である。この画像処理装置は、画像の中の人物の顔の画像が存在する領域（顔領域）を検出する装置やプログラムによる顔領域の検出結果がメタデータとして付加された画像データに対して階調補正を行って出力する装置である。

この画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮影装置、デジタルテレビやモニタ等の映像表示装置、レコーダ、プレーヤ、ゲーム機等の映像出力装置等に適用することができる。なお、本実施例は、本発明における「所定の種類のオブジェクト」が「人物の顔」である場合の例であり、本実施例の「顔領域」は本発明の「オブジェク
ト領域」に相当する。

入力部１０１には、デジタルカメラ等の撮影装置によって顔領域が検出された結果がメタデータとして付加された画像データが入力される。なお、付加される顔領域のメタデータは、顔が存在することを示す矩形領域の頂点の座標を特定することができる情報である。

例えば、顔が存在することを示す矩形領域の左上頂点の横方向座標（ｘ座標）、縦方向座標（ｙ座標）と、右下頂点の横方向座標（ｘ座標）、縦方向座標（ｙ座標）である。なお、本実施例では、画像内の顔部分を内包する矩形領域として顔領域が検出されている場合を例に説明するが、顔領域が矩形領域以外の形状で検出されている画像に対しても本発明を適用可能である。

顔領域情報抽出部１０２は、入力部１０１に入力された画像データのメタデータから、顔領域である矩形領域の４つの頂点の座標を抽出する。また、抽出した顔領域の頂点座標から顔領域の中心座標を算出する。顔領域情報抽出部１０２は、抽出した顔領域の頂点座標情報と中心座標情報（オブジェクト領域の情報）を顔領域係数決定部１０６及び画像処理部１０７に出力する。本実施例の顔領域情報抽出部１０２は、本発明の「取得部」を構成する。

分割部１０３は、入力部１０１に入力された画像データを複数の分割領域に空間的に分割する。分割統計量取得部１０４は、分割領域毎の輝度情報として平均輝度値を算出する。平均輝度値は、各分割領域内の輝度値を累積加算し、最後に分割領域内の画素数で除算することによって算出する。

局所係数決定部１０５は、分割統計量取得部１０４によって算出された平均輝度値から、各分割領域の中心に位置する画素を階調補正する際に使用するガンマ曲線を決定する。ガンマ曲線に基づいて階調補正処理に係る階調補正係数を算出することができる。

なお、局所係数決定部１０５は、分割領域毎の平均輝度値ではなく、分割領域毎の輝度ヒストグラムに基づいて、各分割領域の中心に位置する画素を階調補正する際に使用するガンマ曲線を決定してもよい。例えば、輝度ヒストグラムから暗部注目階調と明部注目階調を求めて、注目階調の階調性を高めるようなガンマ曲線を決定する。また、Ｒ（赤）ヒストグラム、Ｇ（緑）ヒストグラム、Ｂ（青）ヒストグラムなどの色情報に基づいて、各分割領域の中心に位置する画素を階調補正する際に使用するガンマ曲線を決定してもよい。

ここで図２及び図３に基づいて、局所係数決定部１０５による、分割領域の中心画素を階調補正する際に使用するガンマ曲線の決定方法について説明する。図２は分割部１０３によって分割された画像から、顔領域と共通部分を有する分割領域及びその近傍にある分割領域の例として、隣り合う６つの分割領域２０１〜２０６を抜き出した図である。

また、各分割領域の中心に位置する画素が中心画素２０７〜２１２、顔領域情報抽出部１０２から入力される顔領域の座標情報に基づき特定される顔領域が顔領域２１３、顔領域の中心に位置する画素が中心画素２１４で示されている。

また、顔領域２１３の頂点位置に存在する画素が顔領域頂点画素２１５〜２１８、顔領域２１３の外周に接する所定範囲の領域が顔外周領域２１９、顔外周領域２１９の頂点位置に存在する画素が顔外周領域頂点画素２２０〜２２３として示されている。

また、図３はガンマ曲線記憶部（不図示）に記憶されているガンマ曲線３０１〜３０５を示している。なお、入力値が小さい領域の傾きが急峻であるガンマ曲線３０１は低輝度の入力に対して階調を多く割り当てる際に適したガンマ曲線である。また、入力値が大きい領域の傾きが急峻であるガンマ曲線３０５は高輝度の入力に対して階調を多く割り当てる際に適したガンマ曲線である。

例えば、ガンマ曲線３０１はガンマ係数ｋ＝０．６、ガンマ曲線３０２はガンマ係数ｋ＝０．８、ガンマ曲線３０３はガンマ係数ｋ＝１、ガンマ曲線３０４はガンマ係数ｋ＝１．２、ガンマ曲線３０５はガンマ係数ｋ＝１．４である。

ここで、局所係数決定部１０５は、分割領域の中心画素２０７〜２１２の階調補正に使用するガンマ曲線を、分割統計量取得部１０４によって算出された分割領域２０１〜２０６の平均輝度値に基づいて、ガンマ曲線記憶部（不図示）から選択して決定する。選択方法の一例としては以下のようなものが挙げられる。

すなわち、平均輝度値の閾値としてＴｈ１＜Ｔｈ２＜Ｔｈ３＜Ｔｈ４の大小関係を満たす４つの閾値を定め、平均輝度値が閾値Ｔｈ１以下の場合、ガンマ曲線３０１を選択する。平均輝度値が閾値Ｔｈ１より大きくＴｈ２以下の場合、ガンマ曲線３０２を選択する。平均輝度値が閾値Ｔｈ２より大きくＴｈ３以下の場合、ガンマ曲線３０３を選択する。平均輝度値が閾値Ｔｈ３より大きくＴｈ４以下の場合、ガンマ曲線３０４を選択する。平均輝度値が閾値Ｔｈ４より大きい場合、ガンマ曲線３０５を選択する。

本実施例において、分割領域の平均輝度値に基づいて分割領域の中心画素で使用するガンマ曲線を決定する局所係数決定部１０５は、本発明の「第１決定部」を構成する。

顔領域係数決定部１０６は、顔領域の中心画素２１４及び顔外周領域頂点画素２２０〜２２３を階調補正する際に使用するガンマ曲線を決定する。この処理は、局所係数決定部１０５によって決定された分割領域の中心画素２０７〜２１２で使用するガンマ曲線と、顔領域情報抽出部１０２から入力される顔領域の頂点座標情報と中心座標情報とに基づき、行われる。

まず、顔領域の中心画素２１４で使用するガンマ曲線の決定方法について具体的に説明する。顔領域の中心画素２１４は、分割領域の中心画素２０７、２０８、２１０、２１１を頂点とする矩形領域内に存在する。

そこで、顔領域係数決定部１０６は、分割領域の中心画素２０７、２０８、２１０、２１１の各々で階調補正に使用するガンマ曲線を重み付け補間することによって、顔領域の中心画素２１４の階調補正で使用するガンマ曲線を決定する。この重み付け補間は、顔領域の中心画素２１４から分割領域の中心画素２０７、２０８、２１０、２１１のそれぞれまでの距離に応じた重み付け補間である。

すなわち、顔領域の中心画素２１４の階調補正で使用するガンマ曲線は、顔領域の情報と、分割領域のうち顔領域と共通部分を有する２つの分割領域及びそれに隣接する２つの分割領域のガンマ曲線に基づいて決定する。詳細には、分割領域のうち顔領域と共通部分を有する２つの分割領域の中心画素２０８、２１１と、該２つの分割領域に隣接する２つの分割領域の中心画素２０７、２１０と、の階調補正で使用するガンマ曲線に基づいて決定する。

本実施例において顔領域の中心画素２１４の階調補正で使用するガンマ曲線を決定する顔領域係数決定部１０６が、本発明の「第２決定部」を構成する。

次に、顔外周領域頂点画素２２０〜２２３で使用するガンマ曲線の決定方法について具体的に説明する。顔外周領域頂点画素２２０、２２２は、分割領域の中心画素２０７、２０８、２１０、２１１を頂点とする矩形領域内に存在する。

そこで、顔領域係数決定部１０６は、分割領域の中心画素２０７、２０８、２１０、２１１の各々で階調補正に使用するガンマ曲線を重み付け補間することによって、顔外周領域頂点画素２２０、２２２の階調補正で使用するガンマ曲線を決定する。この重み付け補間は、顔外周領域頂点画素２２０、２２２の各々から分割領域の中心画素２０７、２０８、２１０、２１１のそれぞれまでの距離に応じた重み付け補間である。

同様に、顔領域係数決定部１０６は、分割領域の中心画素２０８、２０９、２１１、２１２の各々で階調補正に使用するガンマ曲線を重み付け補間することによって、顔外周領域頂点画素２２１、２２３の階調補正で使用するガンマ曲線を決定する。この重み付け補間は、顔外周領域頂点画素２２１、２２３の各々から分割領域の中心画素２０８、２０９、２１１、２１２のそれぞれまでの距離に応じた重み付け補間である。

以上の局所係数決定部１０５及び顔領域係数決定部１０６の処理により、各分割領域の中心画素２０７〜２１２、顔領域の中心画素２１４、顔外周領域頂点画素２２０〜２２３の階調補正に用いる画像処理係数（階調補正係数）であるガンマ曲線が決定される。

画像処理部１０７は、局所係数決定部１０５及び顔領域係数決定部１０６によって決定された画像処理係数と、顔領域情報抽出部１０２から入力される顔領域の頂点座標とに基づいて、入力部１０１から出力された画像を画像処理（階調補正）する。

以下に、図２および図４を用いて、画像処理部１０７による画像処理を、顔領域２１３、顔外周領域２１９の外側の領域、顔外周領域２１９、の３つに分けて順に説明する。図４は、図２の画素２０８と画素２１１とを結ぶ線上に位置する画素の仮想ガンマ係数ｋ’を示す図である。

まず、顔領域２１３での画像処理について説明する。画像処理部１０７は、顔領域２１３の画像処理を均一にするため、顔領域２１３に含まれる全ての画素に対して、共通の画像処理係数を使用して画像処理を実施する。

具体的には、画像処理部１０７は、顔領域係数決定部１０６によって決定された顔領域の中心画素２１４の階調補正で使用するガンマ曲線を、顔領域２１３に含まれる全ての画素に対して画素の座標に依らず一様に適用してガンマ変換を実施する。これにより、視聴者が注目する顔領域の画像処理が均一となるため、視聴者に違和感を与えてしまう可能性を低減することが可能となる。

次に、顔外周領域２１９の外側の領域での画像処理について説明する。画像処理部１０７は、顔外周領域２１９の外側の領域の各画素に対して、コントラストを高めたり、局所的な黒つぶれや白飛びを軽減したりする効果を得るための局所的なガンマ曲線を用いた画像処理を実施する。

具体的には、顔外周領域２１９の外側、かつ、中心画素２０７、２０８、２１０、２１１を頂点とする矩形領域内にある各画素を対象画素とする階調補正処理では、画像処理部１０７は、次のような処理を行う。すなわち、画像処理部１０７は、まず各画素に対して各分割領域の中心画素２０７、２０８、２１０、２１１の各々の階調補正に使用するガンマ曲線を使用してガンマ変換を実施する。

次に、画像処理部１０７は、階調補正処理の対象画素に対して各分割領域の中心画素の階調補正に使用するガンマ曲線を使用して実施した前記ガンマ変換の結果を、該対象画素の座標に応じて重み付け加算平均する。具体的には、画像処理部１０７は、前記ガンマ変換の結果を、対象画素から各分割領域の中心画素２０７、２０８，２１０，２１１の各々までの距離に応じて重み付け加算平均処理し、これを対象画素の画像処理結果（階調補正処理結果）として出力する。

あるいは、顔外周領域２１９の外側、かつ、中心画素２０７、２０８、２１０、２１１を頂点とする矩形領域内の各画素を対象画素とする階調補正処理は、以下のように処理を行っても良い。まず、階調補正処理の対象画素から中心画素２０７、２０８、２１０、２１１の各々までの距離に応じて、中心画素２０７、２０８、２１０、２１１の階調補正で用いるガンマ係数を重み付け加算平均する。これを、対象画素の階調補正で用いるガンマ係数ｋ’（これを仮想ガンマ係数という）とする。

次に、中心画素２０７、２０８、２１０、２１１を頂点とする矩形領域の内側にある対象画素に対し、仮想ガンマ係数ｋ’を用いてガンマ変換し、これを画像処理結果（階調補正処理結果）として出力する。以上のような処理が、本発明の「分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理」に該当する。

同様に、顔外周領域２１９の外側、かつ、中心画素２０８、２０９、２１１、２１２を頂点とする矩形領域内の各画素を対象画素とする階調補正処理では、画像処理部１０７は、次のような処理を行う。すなわち、画像処理部１０７は、まず各画素に対して各分割領域の中心画素２０８、２０９、２１１、２１２の各々の階調補正に使用するガンマ曲線を使用してガンマ変換を実施する。

次に、階調補正処理の対象画素に対して各分割領域の中心画素の階調補正に使用するガンマ曲線を使用して実施した前記ガンマ変換の結果を、該対象画素の座標に応じて重み付け加算平均する。具体的には、画像処理部１０７は、前記ガンマ変換の結果を、対象画素から各分割領域の中心画素２０８、２０９、２１１、２１２の各々までの距離に応じて重み付け加算平均処理し、これを対象画素の画像処理結果（階調補正処理結果）として出力する。

あるいは、まず、階調補正処理の対象画素から中心画素２０８、２０９、２１１、２１２の各々までの距離に応じて、中心画素２０８、２０９、２１１、２１２の各々の階調補正に用いられるガンマ係数を重み付け加算平均する。これを、対象画素の階調補正に用いるガンマ係数ｋ’（仮想ガンマ係数）とする。

次に、中心画素２０８、２０９、２１１、２１２を頂点とする矩形領域の内側にある対象画素を仮想ガンマ係数ｋ’を用いてガンマ変換し、これを画像処理結果（階調補正処理結果）として出力してもかまわない。

また、中心画素２０７、２０９、２１０、２１２を頂点とする矩形領域の外側の領域にある画素に対しては、画像処理部１０７は、図２に示した分割領域２０１〜２０６の外側にある分割領域の中心画素（不図示）を使用して、上記と同様の画像処理を実施する。

すなわち、顔外周領域２１９の外側の領域の各画素を対象画素とする階調補正処理では、局所係数決定部１０５により決定された各分割領域の中心画素の階調補正に使用するガンマ曲線が、対象画素の座標に応じた重みを付けて適用される。

このように本実施例では、局所係数決定部１０５が決定した各分割領域の中心画素の階調補正に使用する各ガンマ曲線を、画像処理部１０７が対象画素の座標に応じて重み付け加算する。これにより、結果として顔領域以外の領域の各画素に対する階調補正係数が決定されることになる。従って、本実施例では、当該重み付け加算処理を行う画像処理部１０７も本発明の「第１決定部」を構成していると言える。

以上のように、顔外周領域２１９の外側の領域では、分割領域の平均輝度値或いは輝度ヒストグラムに基づいて決定したガンマ曲線を参照して画像処理を実施することにより、コントラストを高めたり、局所的な黒つぶれや白飛びを軽減したりすることが可能となる。

ここでは、顔外周領域２１９の外側の領域が、本発明における「オブジェクト領域以外の領域」を構成している。顔外周領域２１９も「オブジェクト領域以外の領域」を構成するが、本実施例では、顔外周領域２１９に対しては後述するように更に詳細な階調補正処理を行う。

次に、顔外周領域２１９での画像処理について説明する。上記のように、顔領域２１３では、領域内の各画素に適用される階調補正係数が共通のガンマ曲線を参照して決定される。また、顔外周領域２１９の外側の領域では、領域内の各画素に適用される階調補正係数が中心画素２０７〜２１２の階調補正で使用されるガンマ曲線を参照して決定される。

顔外周領域２１９は、顔領域２１３と、顔外周領域２１９の外側の領域と、の境界において、画像処理に係る階調補正係数が急激に変化することを防ぎ、緩やかに画像処理に係る階調補正係数を変化させるための領域である。

具体的には、顔領域頂点画素２１５、２１６、顔外周領域頂点画素２２０、２２１を頂点とする四角形の領域に含まれる画素を対象画素とする階調補正処理では、画像処理部１０７は、次のように処理を行う。すなわち、画像処理部１０７は、まず、頂点２１５、２１６、２２０、２２１の位置の画素の階調補正で使用するガンマ曲線を参照して、対象画素に対しガンマ変換を実施する。

次に、階調補正処理の対象画素に対して頂点２１５、２１６、２２０、２２１の各々の階調補正で使用するガンマ曲線を使用して実施した前記ガンマ変換の結果を、該対象画素から頂点２１５、２１６、２２０、２２１までの距離に応じて重み付け加算平均する。これを、対象画素の画像処理結果（階調補正処理結果）として出力する。

あるいは、顔領域頂点画素２１５、２１６、顔外周領域頂点画素２２０、２２１を頂点とする四角形の領域に含まれる画素を対象画素とする階調補正処理は、以下のように処理を行っても良い。まず、階調補正処理の対象画素から頂点２１５、２１６、２２０、２２１までの距離に応じて、頂点２１５、２１６、２２０、２２１の階調補正で用いられるガンマ係数を重み付け加算平均処理する。これを、対象画素の階調補正に用いるガンマ係数ｋ’（仮想ガンマ係数）とする。

次に、頂点２１５、２１６、２２０、２２１を頂点とする四角形の領域に含まれる対象画素を仮想ガンマ係数ｋ’を用いてガンマ変換し、これを画像処理結果（階調補正処理結果）として出力する。

なお、顔領域頂点画素２１５、２１６の階調補正で使用するガンマ曲線は、上述したように顔領域の中心画素２１４の階調補正で使用するガンマ曲線と等しい。また、顔外周領域頂点画素２２０、２２１の階調補正で使用するガンマ曲線は、顔領域係数決定部１０６
によって決定したガンマ曲線である。

顔領域頂点画素２１６、２１８、顔外周領域頂点画素２２１、２２３で囲まれる四角形の領域内の画素の階調補正、顔領域頂点画素２１７、２１８、顔外周領域頂点画素２２２、２２３で囲まれる四角形の領域内の画素の階調補正についても同様に行う。また、顔領域頂点画素２１５、２１７、顔外周領域頂点画素２２０、２２２で囲まれる四角形の領域内の画素の階調補正についても同様に行う。

以上の処理によって顔外周領域２１９における階調補正は、顔領域２１３の階調補正で使用するガンマ曲線と、顔外周領域２１９の外側の領域の階調補正で使用するガンマ曲線と、の双方を参照して行われることになる。

すなわち、顔外周領域２１９内の各画素を対象画素とする階調補正処理では、局所係数決定部１０５及び顔領域係数決定部１０６により決定されたガンマ曲線が、対象画素の座標に応じた重みを付けて適用される。この結果、顔領域２１３と顔外周領域２１９の外側の領域との境界付近における画像処理に係る階調補正係数の緩やかな変化を実現することが可能となる。

上記のように、画像処理部１０７は、顔領域２１３、顔外周領域２１９の外側の領域、及び顔外周領域２１９の各領域に応じた画像処理を実施し、画像処理した画像データを出力部１０８に出力する。出力部１０８は、画像処理部１０７によって画像処理された画像データを外部表示ティスプレイに出力する。

図５、図６は、本実施例の画像処理を示すフローチャートである。まず、図５に基づいて、画像処理係数であるガンマ曲線を決定するフローについて説明する。分割部１０３により入力画像を分割し（Ｓ４０１）、分割統計量取得部１０４によって分割統計量を取得し（Ｓ４０２）、局所係数決定部１０５によって各分割領域の中心画素の階調補正に使用するガンマ曲線を決定する（Ｓ４０３）。

このとき、画像に顔領域が存在する場合（Ｓ４０４）、顔領域係数決定部１０６が、顔領域の中心画素及び顔外周領域の頂点画素の階調補正に使用するガンマ曲線をさらに決定する（Ｓ４０５）。

次に、図６を使用して画像処理のフローについて説明する。画像処理部１０７は、画像処理の対象となる画素が顔領域に存在する画素である場合（Ｓ５０１）、当該画素に対して、顔領域の中心画素の階調補正に使用するガンマ曲線を使用してガンマ変換処理を行う（Ｓ５０２）。

画像処理の対象となる画素が顔外周領域の外側の領域に存在する画素である場合（Ｓ５０３）、当該画素に対して、分割領域の中心画素の階調補正に使用するガンマ曲線を使用してガンマ変換処理を行う（Ｓ５０４）。

画像処理の対象となる画素が顔外周領域に存在する画素である場合、当該画素に対して、顔領域の中心画素の階調補正に使用するガンマ曲線と、顔外周領域の頂点画素の階調補正に使用するガンマ曲線と、を使用してガンマ変換処理を行う（Ｓ５０５）。

以上の処理により、顔領域以外の領域に関して局所的な画像処理を実施すると共に、顔領域に対して均一な画像処理を実施することが可能となる。この結果、局所的にコントラストを高めたり黒つぶれや白飛びを軽減したりする効果を損なうことなく、顔領域への不均一な画像処理によって視聴者に違和感を与えることを防ぐことも可能となる。

顔領域以外の領域（顔外周領域及びその外側の領域）の画素に対する画像処理は、当該画素が存在する分割領域及びその近傍の分割領域の中心画素の階調補正に適用されるガンマ曲線を用いてガンマ変換した結果を重み付け加算平均することにより行った。

一方、顔領域以外の領域（顔外周領域及びその外側の領域）の画素に対する画像処理は、当該画素が存在する分割領域の中心画素の階調補正に適用されるガンマ曲線だけを用いてガンマ変換することにより行っても良い。

この場合、顔領域以外の領域の画素に対する画像処理は、分割領域毎に行われることになるため、処理が簡略化される。上述のように、画像処理係数は分割領域毎に分割領域の画像の統計量に基づいて決定されるので、このように簡略化したとしても顔領域以外の領域においては局所的な画像処理を行うことができる。

本実施例では、画像データ中に顔領域が１つ存在する例について説明したが、顔領域が複数存在する場合であっても、それぞれの顔領域について同様の処理を実施することにより、本発明を適用可能である。

さらに、図７に示すように、顔領域が複数存在し、かつ、複数の顔領域が空間的に重複している場合であっても、本発明を適用可能である。例えば、重複している顔領域６０１、６０２から、新たに結合顔領域６０３（包含領域）を算出し、結合顔領域について上述した画像処理を実施することにより、本発明を適用可能である。

このとき、結合顔領域６０３の左上頂点の座標は、顔領域６０１、６０２の４つの顔領域頂点の各横方向座標（ｘ座標）、縦方向座標（ｙ座標）のうち最も小さい横方向座標（ｘ座標）と縦方向座標（ｙ座標）を組み合わせた座標である。

また、結合顔領域６０３の右下頂点の座標は、顔領域６０１、６０２の４つの顔領域頂点の各横方向座標（ｘ座標）、縦方向座標（ｙ座標）のうち最も大きい横方向座標（ｘ座標）と縦方向座標（ｙ座標）を組み合わせた座標である。

このような包含領域の情報は、メタデータに含まれていないことが考えられる。その場合、顔領域情報抽出部１０２がメタデータに含まれる個々の顔領域情報に基づいて包含領域情報を算出する。また、画像処理部１０７は、包含領域以外の領域の画素に対して、上記と同様に局所係数決定部１０５により決定されたガンマ曲線を用いたガンマ変換結果を画素の座標に応じた重み付けで加算平均することにより階調補正を行うことができる。

（実施例２）
実施例１は顔領域が１つ又は複数存在する場合に、それぞれの顔領域内で使用する画像処理係数を均一にする実施例である。本実施例は、顔領域内の画素の階調補正で使用する画像処理係数を均一にし、かつ、顔領域が複数存在する場合は、該複数の顔領域内の画素の階調補正で使用する画像処理係数を、該複数の顔領域間で共通とする実施例である。本実施例を適用すると、画像データ中に存在する複数の顔領域に渡って均一な画像処理を実施することが可能となる。

本実施例における画像処理装置のブロック図は、図１と同様である。また、入力部１０１、顔領域情報抽出部１０２、分割部１０３、分割統計量取得部１０４、局所係数決定部１０５、出力部１０８の処理内容も、実施例１と同様である。

顔領域係数決定部１０６は、顔領域が１つだけ存在する場合は実施例１と同様の処理を
実施し、顔領域が複数存在する場合は該複数の顔領域内の画素の階調補正で使用する画像処理係数を、該複数の顔領域間で共通とするための処理を実施する。この処理を、図８及び図９に基づいて説明する。

図８は、図２で示した隣り合う６つの分割領域上に、例として顔領域情報抽出部１０２から３つの顔領域７０１〜７０３が入力された場合の図である。また、３つの顔領域７０１〜７０３の中心に位置する画素が中心画素７０４〜７０６、各顔領域の外周に接する所定範囲の領域が顔外周領域７０７〜７０９として示されている。

また、図９は３つの中心画素７０４〜７０６の階調補正で使用するガンマ曲線を、それぞれガンマ曲線８０１〜８０３として示している。各中心画素の階調補正で使用するガンマ曲線は、実施例１で説明した方法により算出できる。

まず、顔領域係数決定部１０６は複数の顔領域内の画素の階調補正で共通して使用する画像処理係数を決定するため、各顔領域内の画素の階調補正で使用するガンマ曲線の平均を算出する。各顔領域７０１〜７０３内の画素の階調補正で使用するガンマ曲線は、各顔領域の中心画素７０４〜７０６の階調補正で使用するガンマ曲線である。

従って、図８に示した中心画素７０４〜７０６の階調補正で使用するガンマ曲線８０１〜８０３を顔領域の個数で平均することによって複数の顔領域内の画素の階調補正で共通して使用するガンマ曲線を算出することができる。

なお、算出した平均のガンマ曲線を、ガンマ曲線８０４として図９に示す。顔領域係数決定部１０６は、上記のように算出したガンマ曲線８０４を該複数の顔領域内の画素の階調補正で共通して使用するガンマ曲線とする。

次に、画像処理部１０７は、顔領域７０１〜７０３、顔外周領域７０７〜７０９の外側の領域、顔外周領域７０７〜７０９、のそれぞれの領域について、実施例１と同様の画像処理を順次実施する。

以上の処理により、画像データに存在する複数の顔領域内の画素の階調補正で使用する画像処理係数を共通とすることができるため、画像データ中に存在する複数の顔領域に渡って均一な画像処理を実施することが可能となる。

なお、本実施例では局所係数決定部１０５は平均輝度値から使用するガンマ曲線を決定しているが、分割統計量取得部１０４によって分割領域毎の輝度ヒストグラムを取得し、輝度ヒストグラム情報に応じてガンマ曲線を決定してもよい。

本実施例では、画像データに存在する複数の顔領域の全てにおいて共通の画像処理係数を使用して画像処理を行うものとした。すなわち、複数の顔領域の全部により１つのグループを定め、該グループに属する全ての顔領域において共通の画像処理係数を用いて階調補正処理を行った。

これに対し、複数の顔領域の一部においてのみ共通の画像処理係数を使用して階調補正処理をしてもよい。すなわち、複数の顔領域の一部によりグループを定め、該グループに属する全ての顔領域において共通の画像処理係数を用いて階調補正処理を行うことも出来る。

この場合、顔領域係数決定部１０６は、顔領域情報抽出部１０２から入力される顔領域の中心座標情報を元に、複数の顔領域同士の間隔を算出し、該間隔が所定の閾値より大き
い場合は、画像処理係数の共通化を実施しないようにすればよい。顔領域同士の間隔は、例えば中心座標（代表点）間の距離により求めることができる。すなわち、複数の顔領域のうち互いの距離が所定の閾値以下の顔領域の集合としてグループを定めるようにしても良い。

（実施例３）
実施例１及び実施例２は、顔が存在することを示す領域に関する情報がメタデータとして付加された画像データに対して、局所的な画像処理と、顔領域に対する均一な画像処理と、を両立させる実施例である。

本実施例は、デジタルカメラ等の撮影装置によって特定のオブジェクトが検出され、その種類情報と、該オブジェクトが存在する領域情報と、がメタデータとして付加された画像データに対する画像処理を行う。本実施例は、この画像処理において、局所的な画像処理と、該オブジェクト領域に対する均一な画像処理と、の両立を実現する。

本実施例における画像処理装置のブロック図を図１０に示す。図１０において、入力部１０１、分割部１０３、分割統計量取得部１０４、局所係数決定部１０５、出力部１０８は実施例１と同じである。なお、特定のオブジェクトとしては、例えば猫や犬などのペットの顔や、人物の体全体や、ペットの体全体や、予め登録した建物などの物体が挙げられる。また、後述するオブジェクトの種類情報とは、上記例示したオブジェクトの種類を識別するための情報である。

オブジェクト情報抽出部９０１は、入力部１０１に入力された画像データのメタデータを参照し、まず、画像データに付加されているオブジェクトの種類に関する情報及び該オブジェクトが存在する位置（座標）に関する情報を抽出する。次に、オブジェクト情報抽出部９０１は、抽出したオブジェクトが均一な画像処理を実施する対象であるか否かを判別する。

これは、均一な画像処理を実施する対象となるオブジェクトの種類を記述したテーブルを記憶部（不図示）に予め記録しておき、抽出したオブジェクトの種類に関する情報と該テーブルを比較することにより判別する。この結果、抽出したオブジェクトが均一な画像処理を実施する対象である場合、オブジェクト情報抽出部９０１は、オブジェクト領域係数決定部９０２に、該オブジェクトの座標情報を出力する。

オブジェクト領域係数決定部９０２は、実施例１の顔領域係数決定部１０６の処理における「顔領域」を、オブジェクト情報抽出部９０１から入力される「オブジェクトが存在する領域」に代えた処理を行う。画像処理部９０３は、実施例１の画像処理部１０７の処理における「顔領域」を、オブジェクト情報抽出部９０１から入力される「オブジェクトが存在する領域」に代えた処理を行う。

以上の処理により、デジタルカメラ等の撮影装置によって特定のオブジェクトが検出され、その種類情報と、該オブジェクトが存在する領域情報と、がメタデータとして付加された画像データに対して、好適な画像処理が可能となる。すなわち、局所的な画像処理と、該オブジェクト領域に対する均一な画像処理と、を両立させた画像処理が可能となる。

なお、本実施例ではオブジェクト情報抽出部９０１は、オブジェクトの種類のみを判断材料として均一な画像処理を実施するか否かを判定したが、オブジェクトの種類に加えて、オブジェクトの大きさ、オブジェクトの位置等を判断材料として判定を実施しても良い。

この場合、均一な画像処理を実施する対象となるオブジェクトの種類、大きさ、位置等の関係を記述したテーブルを記憶部（不図示）に予め記録しておく。そして、オブジェクト情報抽出部９０１は、オブジェクトの種類に関する情報及び座標情報を該テーブルと比較することにより、均一な画像処理の対象とするか否か判別すれば良い。

なお、実施例の画像処理装置は、顔領域情報がメタデータとして付加された画像が入力され、該メタデータから顔領域情報を取得する構成だが、メタデータを持たない画像の入力を受け、当該画像に対して顔検出処理を行って顔領域情報を取得する構成でも良い。

また、実施例では階調補正を行う画像処理装置を例に説明したが、本発明の思想は階調補正を行う画像処理装置以外にも、例えば画像の輝度や色を変化させる画像処理を行う画像処理装置に適用することができる。このような画像処理が顔領域に不均一に適用されると、顔の輝度や色が不均一になり視聴者が違和感を覚える可能性があるが、本発明を適用すれば顔領域に対してこれらの画像処理を均一に行うことが可能になる。

また、顔領域以外の領域に対してはこれらの画像処理を局所的に行うことができるので、局所的に輝度や色を変化させることも可能になる。また、実施例では分割領域毎の階調補正係数を分割領域の輝度情報に基づいて決定する構成を説明したが、輝度情報以外の画像情報や画像の統計量等に基づいて階調補正係数を決定することも可能である。

１００：画像処理装置、１０２：顔領域情報抽出部、１０３：分割部、１０５：局所係数決定部、１０６：顔領域係数決定部、１０７：画像処理部

Claims (16)

1. 入力される画像に対して階調補正処理を行う画像処理装置であって、
   前記入力される画像において所定の種類のオブジェクトが存在する領域であるオブジェクト領域に関する座標情報を取得する取得部と、
   前記入力される画像を複数の分割領域に分割する分割部と、
   前記複数の分割領域の各々の輝度情報に基づいて、前記階調補正処理に係る前記分割領域毎の階調補正係数を決定する第１決定部と、
   前記オブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも前記オブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、前記オブジェクト領域に対する階調補正処理に係る階調補正係数を決定する第２決定部と、
   前記入力される画像内の前記オブジェクト領域に対して、前記第２決定部により決定される階調補正係数を座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記オブジェクト領域以外の領域に対して、前記第１決定部により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行う画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像処理部は、前記オブジェクト領域の外側の領域であって該オブジェクト領域の外周に接する所定範囲の領域に対して、前記第１決定部により決定される前記分割領域毎の階調補正係数、及び前記第２決定部により決定される前記オブジェクト領域の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得部は、前記入力される画像内に複数のオブジェクト領域がある場合、該複数のオブジェクト領域を包含する包含領域に関する座標情報を取得し、
   前記第２決定部は、前記包含領域に関する座標情報及び前記複数の分割領域のうち少なくとも前記包含領域と共通部分を有する分割領域の階調補正係数に基づいて、前記包含領域に対する階調補正処理に係る階調補正係数を決定し、
   前記画像処理部は、前記入力される画像内の前記包含領域に対して、前記第２決定部に
   より決定される階調補正係数を座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記包含領域以外の領域に対して、前記第１決定部により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得部は、前記入力される画像内に複数のオブジェクト領域がある場合、該複数のオブジェクト領域の各々に関する座標情報を取得し、
   前記第２決定部は、前記複数のうちの一部又は全部のオブジェクト領域からなるオブジェクト領域のグループを定め、該グループに属するオブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも該グループに属するオブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、該グループに属するオブジェクト領域に対して共通に行う階調補正処理に係る階調補正係数を決定し、
   前記画像処理部は、前記入力される画像内の前記グループに属するオブジェクト領域に対して、前記第２決定部により決定される階調補正係数を共通に且つ座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記グループに属するオブジェクト領域以外の領域に対して、前記第１決定部により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第２決定部は、前記複数のオブジェクト領域のうち、オブジェクト領域の所定の代表点の間の距離が所定の閾値以下のオブジェクト領域の集合として前記グループを定めることを特徴とする請求項４に記載の画像処理装置。
6. 前記第２決定部は、前記グループに属するオブジェクト領域の各々について、該オブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも該オブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、該オブジェクト領域に対する階調補正処理に係る階調補正係数を決定し、前記グループに属する全てのオブジェクト領域について該決定された階調補正係数の平均を、前記グループに属するオブジェクト領域に共通に適用される前記階調補正係数として決定することを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記画像処理部は、前記オブジェクト領域以外の領域に対して階調補正処理を行う場合に、互いに隣接する複数の分割領域に対応する複数の階調補正係数を用いて、座標に応じた重み付け補間を行うことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記所定の種類のオブジェクトは人物の顔であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 入力される画像に対して階調補正処理を行う画像処理方法であって、
   前記入力される画像において所定の種類のオブジェクトが存在する領域であるオブジェクト領域に関する座標情報を取得する取得工程と、
   前記入力される画像を複数の分割領域に分割する分割工程と、
   前記複数の分割領域の各々の輝度情報に基づいて、前記階調補正処理に係る前記分割領域毎の階調補正係数を決定する第１決定工程と、
   前記オブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも前記オブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、前記オブジェクト領域に対する階調補正処理に係る階調補正係数を決定する第２決定工程と、
   前記入力される画像内の前記オブジェクト領域に対して、前記第２決定工程により決定される階調補正係数を座標に依らず一様に適用して階調補正処理を行うとともに、前記入
   力される画像内の前記オブジェクト領域以外の領域に対して、前記第１決定工程により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行う画像処理工程と、
   を有することを特徴とする画像処理方法。
10. 前記画像処理工程において、前記オブジェクト領域の外側の領域であって該オブジェクト領域の外周に接する所定範囲の領域に対して、前記第１決定工程により決定される前記分割領域毎の階調補正係数、及び前記第２決定工程により決定される前記オブジェクト領域の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行うことを特徴とする請求項９に記載の画像処理方法。
11. 前記取得工程において、前記入力される画像内に複数のオブジェクト領域がある場合、該複数のオブジェクト領域を包含する包含領域に関する座標情報を取得し、
    前記第２決定工程において、前記包含領域に関する座標情報及び前記複数の分割領域のうち少なくとも前記包含領域と共通部分を有する分割領域の階調補正係数に基づいて、前記包含領域に対する階調補正処理に係る階調補正係数を決定し、
    前記画像処理工程において、前記入力される画像内の前記包含領域に対して、前記第２決定工程により決定される階調補正係数を座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記包含領域以外の領域に対して、前記第１決定工程により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行うことを特徴とする請求項９又は１０に記載の画像処理方法。
12. 前記取得工程において、前記入力される画像内に複数のオブジェクト領域がある場合、該複数のオブジェクト領域の各々に関する座標情報を取得し、
    前記第２決定工程において、前記複数のうちの一部又は全部のオブジェクト領域からなるオブジェクト領域のグループを定め、該グループに属するオブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも該グループに属するオブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、該グループに属するオブジェクト領域に対して共通に行う階調補正処理に係る階調補正係数を決定し、
    前記画像処理工程において、前記入力される画像内の前記グループに属するオブジェクト領域に対して、前記第２決定工程により決定される階調補正係数を共通に且つ座標に依らず一様に適用して階調補正処理を行うとともに、前記入力される画像内の前記グループに属するオブジェクト領域以外の領域に対して、前記第１決定工程により決定される前記分割領域毎の階調補正係数を用いて、座標に応じて重み付け補間した階調補正処理を行うことを特徴とする請求項９又は１０に記載の画像処理方法。
13. 前記第２決定工程において、前記複数のオブジェクト領域のうち、オブジェクト領域の所定の代表点の間の距離が所定の閾値以下のオブジェクト領域の集合として前記グループを定めることを特徴とする請求項１２に記載の画像処理方法。
14. 前記第２決定工程において、前記グループに属するオブジェクト領域の各々について、該オブジェクト領域に関する座標情報及び前記複数の分割領域のうち少なくとも該オブジェクト領域と共通部分を有する分割領域の階調補正係数に基づいて、該オブジェクト領域に対する階調補正処理に係る階調補正係数を決定し、前記グループに属する全てのオブジェクト領域について該決定された階調補正係数の平均を、前記グループに属するオブジェクト領域に共通に適用される前記階調補正係数として決定することを特徴とする請求項１２又は１３に記載の画像処理方法。
15. 前記画像処理工程において、前記オブジェクト領域以外の領域に対して階調補正処理を行う場合に、互いに隣接する複数の分割領域に対応する複数の階調補正係数を用いて、座
    標に応じた重み付け補間を行うことを特徴とする請求項９から１４のいずれか１項に記載の画像処理方法。
16. 前記所定の種類のオブジェクトは人物の顔であることを特徴とする請求項９から１５のいずれか１項に記載の画像処理方法。

Images