JP6890218B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本開示は、画像処理装置に関する。

液晶表示装置などのディスプレイの特性に合わせて、映像信号にγ（ガンマ）補正が行われる。例えば、特許文献１には、映像信号の信号内容と表示素子の表示特性とに基づいて、γ補正の補正内容を変更する技術が開示されている。これにより、入力信号の内容に対して自動的にγカーブを切り替えている。

特開平６−２３０７６０号公報

本開示は、画質を高めることができる画像処理装置を提供する。

上記課題を解決するため、本開示に係る画像処理装置は、画像の平均輝度と階調補正カーブとの間の予め定められた対応関係に基づいて、入力画像の平均輝度から、入力画像の階調の補正に用いる階調補正カーブである共通カーブを生成するカーブ生成部と、カーブ生成部によって生成された共通カーブを、入力画像の赤色信号、緑色信号及び青色信号の各々に共通して用いて、赤色信号、緑色信号及び青色信号の各々の階調を補正する階調補正部とを備える。そして、カーブ生成部は、入力画像の第１領域の輝度の平均値である第１平均輝度と、第１領域に含まれる所定の色の第２領域の輝度の平均値である第２平均輝度と、第２領域の面積とに基づいて、共通カーブを生成する。

本開示によれば、画質を高めることができる。特に、画面全体が暗く、視聴者にとって見づらい映像を自然に明るくし、見やすくすることができる。

実施の形態１に係る画像表示装置の機能ブロック図である。 実施の形態１に係る画像処理装置に入力される入力画像と、当該入力画像内における第１領域及び第２領域とを示す図である。 本実施の形態１に係る画像処理装置が用いる階調補正カーブと画素の平均輝度との関係を示す図である。 実施の形態１に係る画像処理装置のカーブ生成部の詳細構成を示す機能ブロック図である。 実施の形態１に係る指標決定部における第２領域の面積率と補正パラメータとの関係を示す図である。 実施の形態１に係るカーブ生成部における階調補正カーブの生成方法を説明するための図である。 実施の形態１に係る画像処理装置の動作（画像処理方法）を示すフローチャートである。 実施の形態１に係る画像処理装置の効果を説明するための図である。 実施の形態２に係る画像処理装置のカーブ生成部の詳細構成を示す機能ブロック図である。 実施の形態３に係る画像表示装置の機能ブロック図である。 変形例１に係る入力画像と、当該入力画像内における第１領域及び第２領域とを示す図である。 変形例２に係る入力画像と、当該入力画像内における第１領域及び第２領域とを示す図である。 変形例３に係る入力画像内における第２領域の位置の重みを示す図である。 各実施の形態又は変形例に係る画像表示装置の外観図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下に説明する実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示における技術を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態１）
以下、図１〜図８を用いて、実施の形態に係る画像処理装置などについて説明する。

［１．構成］
図１は、本実施の形態に係る画像表示装置１０の機能ブロック図である。画像表示装置１０は、図１に示すように、画像取得部２０と、表示制御部３０と、表示部４０と、画像処理装置１００とを備える。

画像取得部２０は、入力画像を取得する。入力画像は、静止画又は動画像（映像）である。入力画像は、例えば、ＲＧＢ画像であり、行列状に配置された複数の画素を含んでいる。複数の画素の各々は、赤色（Ｒ）信号、緑色（Ｇ）信号及び青色（Ｂ）信号を含んでいる。

画像取得部２０は、例えば、チューナ及びデコーダなどで実現され、放送波などを受信して、放送波に含まれる映像データをデコードすることで入力画像を取得する。あるいは、画像取得部２０は、通信インタフェースなどで実現され、インターネットなどのネットワークを介してストリーミング配信された映像などを入力画像として取得してもよい。また、画像取得部２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はフラッシュメモリなどの記録媒体に記録された映像データを読み出すことで入力画像を取得してもよい。

表示制御部３０は、画像処理装置１００によって処理された画像を表示部４０に表示するための制御を行う。

表示部４０は、画像処理装置１００によって処理された画像を表示する。表示部４０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、又は、プロジェクタなどで実現される。

画像処理装置１００は、画像取得部２０によって取得された入力画像を処理する。具体的には、画像処理装置１００は、入力画像の階調を補正する。本実施の形態では、画像処理装置１００は、入力画像をフレーム単位で処理する。画像処理装置１００は、入力画像に基づいて階調補正カーブを生成し、生成した階調補正カーブを用いて入力画像の各画素の階調を補正する。

図１に示すように、画像処理装置１００は、カーブ生成部１１０と、階調補正部１２０とを備える。なお、画像処理装置１００は、例えば、画像処理プログラムが格納された不揮発性メモリ、画像処理プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、画像処理プログラムを実行するプロセッサなどで実現される。

カーブ生成部１１０は、入力画像の階調の補正に用いられる階調補正カーブである共通カーブを生成する。本実施の形態では、カーブ生成部１１０は、１フレーム分の入力画像に対して１つの共通カーブを生成する。つまり、共通カーブは、画像のＲ信号、Ｇ信号及びＢ信号の各々の階調の補正に共通して用いられる。カーブ生成部１１０は、入力画像に含まれる第１領域と第１領域に含まれる第２領域とから決定される特徴量に基づいて、共通カーブを生成する。カーブ生成部１１０の構成及び動作の詳細については、後で説明する。

階調補正部１２０は、カーブ生成部１１０によって生成された共通カーブを、入力画像のＲ信号、Ｇ信号及びＢ信号の各々に共通して用いて、Ｒ信号、Ｇ信号及びＢ信号の各々の階調を補正する。共通カーブをＲ信号、Ｇ信号及びＢ信号の各々に共通して用いることで、処理の簡易化を実現することができる。

本実施の形態では、階調補正部１２０は、１フレーム分の入力画像に対して、１つの共通カーブを用いて階調を補正する。具体的には、階調補正部１２０は、１フレーム分の入力画像の全画素のＲ信号、Ｇ信号及びＢ信号の全てに共通して、共通カーブを用いる。

［２．入力画像］
ここで、画像処理装置１００の処理対象となる入力画像２００について、図２を用いて説明する。図２は、（ａ）本実施の形態に係る画像処理装置１００に入力される入力画像２００と、（ｂ）入力画像２００内における第１領域２１１及び第２領域２１２とを示す図である。

第１領域２１１は、入力画像２００の全領域（具体的には、画面全体）である。

第２領域２１２は、第１領域２１１に含まれる所定の色の領域である。本実施の形態では、第２領域２１２は、記憶色の領域である。記憶色は、人がイメージとして記憶している色であり、例えば、肌色、緑色又は空色を含んでいる。本実施の形態では、第２領域２１２は、肌色の領域であり、入力画像２００に含まれる人間の顔などの肌領域２０１に対応している。

［３．階調補正カーブ］
次に、本実施の形態において、入力画像の階調の補正に用いる階調補正カーブについて図３を用いて説明する。図３は、本実施の形態に係る画像処理装置１００が用いる階調補正カーブと画素の平均輝度との関係を示す図である。

階調補正カーブは、入力値（Ｙ_ｉｎ）を所定の出力値（Ｙ_ｏｕｔ）に変換するためのカーブである。具体的には、階調補正カーブは、ガンマ（γ）変換に用いられるガンマカーブ（γカーブ）であり、Ｙ_ｏｕｔ＝Ｙ_ｉｎ＾（１／γ）で示されるカーブである。

図３には、２つの階調補正カーブ２２１及び２２２が示されている。図３において、横軸は入力値であり、縦軸は出力値である。例えば、入力値が「Ａ」である場合に、階調補正カーブ２２１を用いたときは出力値が「Ａ１」になり、階調補正カーブ２２２を用いたときは出力値が「Ａ２」になる。入力値が「Ｂ」である場合には、階調補正カーブ２２１を用いたときは出力値が「Ｂ１」になり、階調補正カーブ２２２を用いたときは出力値が「Ｂ２」になる。

図３において、Ａ１＞Ａ２であり、Ｂ１＞Ｂ２である。したがって、階調補正カーブ２２１を用いた場合の方が、階調補正カーブ２２２を用いた場合よりも、入力値を大きな値に変換することができる。

本実施の形態では、階調補正カーブは、画像の特徴量との間に予め定められた対応関係を有する。画像の特徴量は、例えば、画像の平均輝度である。具体的には、画像の所定の領域（例えば、全領域）の平均輝度である。

階調補正カーブ２２１は、画像の平均輝度が小さい（すなわち、画像が暗い）ときに用いられる補正カーブである。階調補正カーブ２２２は、画像の平均輝度が大きい（すなわち、画像が明るい）ときに用いられる補正カーブである。具体的には、階調補正カーブ２２１を用いることで、暗い画像の暗い部分を明るくし、明るい部分はほとんど変化させないようにすることができる。

本実施の形態では、画像の平均輝度が高い程、対応付けられた階調補正カーブは、入力値と出力値とが一致する直線（Ｙ_ｏｕｔ＝Ｙ_ｉｎ；γ＝１）に近いカーブになる（例えば、階調補正カーブ２２２）。画像の平均輝度が低い程、対応付けられた階調補正カーブは、入力値の低い領域を大きく変換し、入力値の高い領域をほとんど変化させないカーブ（すなわち、曲がりが大きいカーブ）になる（γ＜１；例えば、階調補正カーブ２２１）。

つまり、本実施の形態では、画像の平均輝度と階調補正カーブとの間には、画像の平均輝度が高い（画像が明るい）程、直線に近いカーブとなり、画像の平均輝度が低い（画像が暗い）程、曲がりが大きいカーブになるという対応関係が定められている。

［４．カーブ生成部の構成］
カーブ生成部１１０は、図３で示した対応関係に基づいて、入力画像２００の平均輝度から共通カーブを生成する。具体的には、カーブ生成部１１０は、第１領域２１１の輝度の平均値である第１平均輝度と、第２領域２１２の輝度の平均値である第２平均輝度と、第２領域２１２の面積とに基づいて、共通カーブを生成する。本実施の形態では、カーブ生成部１１０は、第２平均輝度と第２領域２１２の面積とを用いて第１平均輝度を補正することで補正輝度を算出し、算出した補正輝度から共通カーブを生成する。

図４は、本実施の形態に係る画像処理装置１００のカーブ生成部１１０の詳細構成を示す機能ブロック図である。図４に示すように、カーブ生成部１１０は、第１領域平均部１１１と、第２領域平均部１１２と、指標決定部１１３と、平均輝度補正部１１４と、生成部１１５とを備える。

第１領域平均部１１１は、第１領域２１１に含まれる全画素の輝度の平均値を第１平均輝度として算出する。具体的には、第１領域平均部１１１は、各画素のＲ信号、Ｇ信号及びＢ信号から算出した輝度信号（Ｙ信号）を全画素で平均することで第１平均輝度を算出する。なお、第１平均輝度は、Ｒ信号、Ｇ信号及びＢ信号の全ての全画素での平均値でもよい。あるいは、第１平均輝度は、Ｒ信号、Ｇ信号及びＢ信号のうち画素毎の最大の信号を全画素で平均してもよい。

第２領域平均部１１２は、第２領域２１２に含まれる全画素の輝度の平均値を第２平均輝度として算出する。具体的な平均値の算出方法は、第１領域平均部１１１と同様である。

指標決定部１１３は、第２領域２１２に基づく指標を決定する。指標は、第１平均輝度を補正する際に、第２領域２１２を重視する割合に相当する。本実施の形態では、指標は、図５に示す補正パラメータαである。指標決定部１１３は、図５に示すグラフに基づいて、第２領域２１２の面積率から補正パラメータαを決定する。

図５は、本実施の形態に係る指標決定部１１３における第２領域２１２の面積率と補正パラメータαとの関係を示す図である。図５において、横軸が第２領域２１２の面積率を示し、縦軸が補正パラメータαを示している。

第２領域２１２の面積率は、第１領域２１１の面積に対する第２領域２１２の面積の割合である。第１領域２１１の面積は、第１領域２１１に含まれる画素数である。本実施の形態では、第１領域２１１が入力画像２００の全領域であるので、第１領域２１１の面積は、入力画像２００の全画素数である。第２領域２１２の面積は、第２領域２１２に含まれる画素数である。本実施の形態では、入力画像２００の肌領域２０１の画素数である。

補正パラメータαは、指標の一例である。具体的には、補正パラメータαは、第１平均輝度と第２平均輝度との重み付け加算に用いられる重み係数である。

本実施の形態では、指標決定部１１３は、第１領域２１１の第１平均輝度が第２領域２１２の平均輝度より小さいか否かを判定する。指標決定部１１３は、第１平均輝度が第２平均輝度より小さい場合に、第２領域２１２の面積率から補正パラメータαを決定する。指標決定部１１３は、第１平均輝度が第２平均輝度より大きい場合には、第２領域２１２の面積率に関わらず、補正パラメータαを０にする。

例えば、入力画像２００の全体が暗く、肌領域２０１が明るい場合、第１平均輝度は、第２平均輝度より小さくなる。この場合に、指標決定部１１３は、図５に示すグラフに基づいて補正パラメータαを決定する。したがって、生成部１１５は、第２平均輝度に基づいて補正された補正輝度から共通カーブを生成する。

一方、入力画像２００の全体が明るく、肌領域２０１が暗い場合、第１平均輝度は、第２平均輝度より大きくなる。この場合に、指標決定部１１３は、補正パラメータαを０にする。したがって、生成部１１５は、第１平均輝度から共通カーブを生成する。すなわち、肌領域２０１が暗い場合には、第２平均輝度の大きさによらずに共通カーブが生成される。

平均輝度補正部１１４は、第２平均輝度と第２領域２１２の面積とを用いて第１平均輝度を補正することで、補正輝度を算出する。具体的には、平均輝度補正部１１４は、以下の（式１）に基づいて、第１平均輝度Ｙ_１と第２平均輝度Ｙ_２との重み付け加算を行うことで、補正輝度Ｙ_ｃを算出する。

（式１） Ｙ_ｃ＝（１−α）×Ｙ_１＋α×Ｙ_２
（式１）において、αは、指標決定部１１３によって決定された補正パラメータである。

図５に示す例では、第２領域２１２の面積率が１０％以上の場合、補正パラメータαは１．０で一定である。すなわち、（式１）に示す通り、補正輝度Ｙ_ｃは、第２平均輝度Ｙ_２に等しくなる。

第２領域２１２の面積率が０％〜１０％の場合、補正パラメータαは、０〜１．０の範囲で第２領域２１２の面積率に対して線形である。つまり、第２領域２１２の面積率が大きい程、補正パラメータαの値は大きくなる。したがって、第２領域２１２の面積率が大きくなる程、補正輝度Ｙ_ｃに含まれる第２平均輝度Ｙ_２の割合が大きくなる。つまり、第２領域２１２を重視して第１平均輝度Ｙ_１が補正される。

生成部１１５は、画像の平均輝度と階調補正カーブとの間の予め定められた対応関係に基づいて、補正輝度Ｙ_ｃから共通カーブを生成する。

図６は、本実施の形態に係るカーブ生成部１１０における階調補正カーブの生成方法を説明するための図である。図６の横軸には、第１平均輝度Ｙ_１、第２平均輝度Ｙ_２及び補正輝度Ｙ_ｃが示されている。補正輝度Ｙ_ｃは、（式１）に基づいて算出された値であり、第１平均輝度Ｙ_１と第２平均輝度Ｙ_２との間の値となる。

図６には、３つの階調補正カーブが示されている。階調補正カーブ２３１は、第１平均輝度Ｙ_１から生成された階調補正カーブである。階調補正カーブ２３２は、第２平均輝度Ｙ_２から生成された階調補正カーブである。共通カーブ２３３は、補正輝度Ｙ_ｃから生成された階調補正カーブである。図６に示すように、共通カーブ２３３は、階調補正カーブ２３１と階調補正カーブ２３２との間の特徴を有するカーブである。例えば、共通カーブ２３３のγ値は、階調補正カーブ２３１のγ値と階調補正カーブ２３２のγ値との間である。

例えば、本実施の形態では、互いに異なる１７本の階調補正カーブが予め用意されている。１７本の階調補正カーブは、画像処理装置１００の記憶部（図示せず）に予め記憶されている。１７本の階調補正カーブの各々には、予め定められた平均輝度が対応付けられている。平均輝度が「０」〜「２５５」の範囲で表される場合、例えば、１６本の階調補正カーブは、平均輝度が「１６」の倍数毎に割り当てられている。１７番目の補正カーブは「２５６」に仮想的に割り当てたものであり、上記平均輝度の範囲を全て網羅するために用意するものである。

生成部１１５は、１７本の階調補正カーブの中から、補正輝度Ｙ_ｃに近い平均輝度に対応付けられた２本の階調補正カーブを選択し、選択した２本の階調補正カーブを補間することで、補正輝度Ｙ_ｃに対応する共通カーブ２３３を生成する。例えば、補正輝度Ｙ_ｃが「１３５」である場合に、生成部１１５は、「１２８」に対応付けられた階調補正カーブと「１４４」に対応付けられた階調補正カーブとを補間することで、共通カーブ２３３を生成する。

なお、階調補正カーブの本数、平均輝度との割り当て方などは、これらの例に限らない。階調補正カーブは、例えば２本のみでもよい。

［５．動作（画像処理方法）］
続いて、本実施の形態に係る画像処理装置１００の動作（画像処理方法）について、図７を用いて説明する。図７は、本実施の形態に係る画像処理装置１００の動作（画像処理方法）を示すフローチャートである。

まず、第１領域平均部１１１は、第１平均輝度Ｙ_１を算出する（Ｓ１０）。次に、第２領域平均部１１２は、第２平均輝度Ｙ_２を算出する（Ｓ１２）。なお、第２平均輝度Ｙ_２の算出が第１平均輝度Ｙ_１の算出より先に行われてもよく、あるいは、並列して行われてもよい。

次に、指標決定部１１３は、第１平均輝度Ｙ_１が第２平均輝度Ｙ_２より小さいか否かを判定する（Ｓ１４）。第１平均輝度Ｙ_１が第２平均輝度Ｙ_２より小さい場合（Ｓ１４でＹｅｓ）、指標決定部１１３は、指標を決定する（Ｓ１６）。具体的には、指標決定部１１３は、第２領域２１２の面積率を算出し、算出した面積率から、図５に示すグラフに基づいて補正パラメータαを算出する。

次に、平均輝度補正部１１４は、補正パラメータαを用いて第１平均輝度Ｙ_１を補正する（Ｓ１８）。具体的には、平均輝度補正部１１４は、（式１）に基づいて補正輝度Ｙ_ｃを算出する。

次に、生成部１１５は、図３で示した対応関係に基づいて、補正輝度Ｙ_ｃに基づいて共通カーブを生成する（Ｓ２０）。そして、階調補正部１２０は、共通カーブを用いて、入力画像２００の階調を補正する（Ｓ２２）。階調が補正された入力画像２００は、表示制御部３０を介して表示部４０に表示される。

［６．効果など］
図８は、本実施の形態に係る画像処理装置１００の効果を説明するための図である。図８では、入力値としてＲＧＢの比率が大きい画素（具体的には、第２領域２１２に含まれる画素）が示されている。なお、ＲＧＢの比率は、Ｒ信号、Ｇ信号及びＢ信号のうち、最大の信号と最小の信号との差に相当する。図８に示す例では、ＲＧＢの比率は、最大の信号であるＲ信号と最小の信号であるＢ信号との差である。

図８の（ａ）は、第１平均輝度Ｙ_１から生成した階調補正カーブ２３１を用いた比較例を示している。図８の（ａ）に示すように、階調補正カーブ２３１を用いた場合、入力値が低いＢ信号が大きな出力値に変換される一方で、入力値が大きいＲ信号は、あまり大きく変化しない。このため、補正後のＲＧＢの比率は、補正前に比べて小さくなる。ＲＧＢの比率が小さくなることで、色の差が少なくなって色が薄くなる。例えば、図２の（ａ）に示す肌領域２０１の画素値の階調補正をした場合、肌領域２０１の肌色が白っぽい色に変化する。

これに対して、図８の（ｂ）は、補正輝度Ｙ_ｃから生成した共通カーブ２３３を用いた場合を示している。図８の（ｂ）に示すように、共通カーブ２３３を用いた場合、入力値が低いＢ信号の変化量が、階調補正カーブ２３１を用いた場合に比べて抑制されている。したがって、補正後のＲＧＢの比率は、補正前とあまり変わらない。このため、補正後の色が薄くなりにくい。

以上のように、本実施の形態に係る画像処理装置１００は、画像の平均輝度と階調補正カーブとの間の予め定められた対応関係に基づいて、入力画像２００の平均輝度から、入力画像２００の階調の補正に用いる階調補正カーブである共通カーブ２３３を生成するカーブ生成部１１０と、カーブ生成部１１０によって生成された共通カーブ２３３を、入力画像２００の赤色信号、緑色信号及び青色信号の各々に共通して用いて、赤色信号、緑色信号及び青色信号の各々の階調を補正する階調補正部１２０とを備え、カーブ生成部１１０は、入力画像２００の第１領域２１１の輝度の平均値である第１平均輝度Ｙ_１と、第１領域２１１に含まれる所定の色の第２領域２１２の輝度の平均値である第２平均輝度Ｙ_２と、第２領域２１２の面積とに基づいて、共通カーブ２３３を生成する。

このように、画像処理装置１００は、第１平均輝度Ｙ_１だけでなく、第２平均輝度Ｙ_２と第２領域２１２の面積とに基づいて共通カーブ２３３を生成する。このため、共通カーブ２３３は、第１平均輝度Ｙ_１から生成される階調補正カーブ２３１より、第２領域２１２に適した階調補正カーブになる。これにより、図８で示したように、第２領域２１２の色が薄くなるのを抑制することができる。したがって、画像処理装置１００によれば、入力画像２００の画質を高めることができる。特に、画面全体が暗く、視聴者にとって見づらい映像を自然に明るくすると同時に、階調を補正することによる色の変化を最小限に留めることができる。

また、例えば、本実施の形態では、カーブ生成部１１０は、第２平均輝度Ｙ_２と第２領域２１２の面積とを用いて第１平均輝度Ｙ_１を補正することで、補正輝度Ｙ_ｃを算出し、上記対応関係に基づいて、補正輝度Ｙ_ｃから共通カーブ２３３を生成する。例えば、本実施の形態では、カーブ生成部１１０は、第１平均輝度Ｙ_１と第２平均輝度Ｙ_２との重み付け加算を行うことで、補正輝度Ｙ_ｃを算出し、重み付け加算の重み係数（補正パラメータα）は、第１領域２１１の面積に対する第２領域２１２の面積の割合に基づいて決定される。

このように、画像処理装置１００は、補正輝度Ｙ_ｃから生成した共通カーブ２３３を用いて階調補正を行う。補正輝度Ｙ_ｃは、第２領域２１２の第２平均輝度Ｙ_２と第２領域２１２の面積に基づく補正パラメータαとに基づいて第１平均輝度Ｙ_１を補正した値である。このため、共通カーブ２３３は、第１平均輝度Ｙ_１から生成される階調補正カーブ２３１より、第２領域２１２に適した階調補正カーブになる。これにより、第２領域２１２の色が薄くなるのを抑制することができる。したがって、画像処理装置１００によれば、入力画像２００の画質を高めることができる。

また、例えば、本実施の形態では、第２領域２１２は、肌色、緑色又は空色を含む記憶色の領域である。

肌色などの記憶色には、大きな階調補正を行った場合に色の変化が大きくなる色が含まれる。したがって、本実施の形態に係る画像処理装置１００は、記憶色などに特に有用である。つまり、画像処理装置１００によれば、肌色などの記憶色の変化を抑制することができ、画質を高めることができる。

また、例えば、本実施の形態に係る画像処理方法は、画像の平均輝度と階調補正カーブとの間の予め定められた対応関係に基づいて、入力画像２００の平均輝度から、入力画像２００の階調の補正に用いる階調補正カーブである共通カーブ２３３を生成するカーブ生成ステップと、生成した共通カーブを、入力画像２００の赤色信号、緑色信号及び青色信号の各々に共通して用いて、赤色信号、緑色信号及び青色信号の各々の階調を補正する階調補正ステップとを含み、カーブ生成ステップでは、入力画像２００の第１領域２１１の輝度の平均値である第１平均輝度Ｙ_１と、第１領域２１１に含まれる所定の色の第２領域２１２の輝度の平均値である第２平均輝度Ｙ_２と、第２領域２１２の面積とに基づいて、共通カーブ２３３を生成する。

なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

（実施の形態２）
以下では、実施の形態２について説明する。本実施の形態に係る画像処理装置では、実施の形態１に係る画像処理装置１００と比較して、カーブ生成部の処理が相違する。以下では、本実施の形態に係るカーブ生成部の構成及び動作を中心に説明し、その他の実施の形態１と同じ点については、説明を省略又は簡略化する。

図９は、本実施の形態に係る画像処理装置１００のカーブ生成部３１０の詳細構成を示す機能ブロック図である。

本実施の形態に係るカーブ生成部３１０は、第１平均輝度及び第２平均輝度の各々から第１階調補正カーブ及び第２階調補正カーブを生成し、生成した第１階調補正カーブ及び第２階調補正カーブを補間することで共通カーブを生成する。具体的には、図９に示すように、カーブ生成部３１０は、第１領域平均部１１１と、第２領域平均部１１２と、指標決定部１１３と、第１カーブ生成部３２４と、第２カーブ生成部３２５と、補間部３２６とを備える。

第１カーブ生成部３２４は、画像の平均輝度と階調補正カーブとの間の対応関係に基づいて、第１領域２１１の第１平均輝度から第１階調補正カーブを生成する。第１カーブ生成部３２４の具体的な動作は、実施の形態１に係る生成部１１５と同様である。例えば、第１カーブ生成部３２４は、第１階調補正カーブとして、図６に示す階調補正カーブ２３１を生成する。

第２カーブ生成部３２５は、画像の平均輝度と階調補正カーブとの間の対応関係に基づいて、第２領域２１２の第２平均輝度から第２階調補正カーブを生成する。第２カーブ生成部３２５の具体的な動作は、実施の形態１に係る生成部１１５と同様である。例えば、第２カーブ生成部３２５は、第２階調補正カーブとして、図６に示す階調補正カーブ２３２を生成する。

補間部３２６は、第１階調補正カーブと第２階調補正カーブとを補間することで、共通カーブを生成する。補間の重み係数は、第１領域２１１の面積に対する第２領域２１２の面積の割合に基づいて決定される。具体的には、補間の重み係数は、実施の形態１に係る補正パラメータαである。

例えば、補間部３２６は、階調補正カーブ２３１と階調補正カーブ２３２とを、補正パラメータαを用いて補間することで、共通カーブ２３３を生成する。このとき、階調補正カーブ２３１の重み係数は１−αであり、階調補正カーブ２３２の重み係数はαである。αが１に近い値である程、共通カーブ２３３は、階調補正カーブ２３２に近いカーブになる。αが０に近い値である程、共通カーブ２３３は、階調補正カーブ２３１に近いカーブになる。

以上のように、本実施の形態では、カーブ生成部３１０は、上記対応関係に基づいて第１平均輝度Ｙ_１から階調補正カーブ２３１を生成し、上記対応関係に基づいて第２平均輝度Ｙ_２から階調補正カーブ２３２を生成し、階調補正カーブ２３１と階調補正カーブ２３２とを補間することで、共通カーブ２３３を生成し、補間の重み係数は、第１領域２１１の面積に対する第２領域２１２の面積の割合に基づいて決定される。

これにより、実施の形態１と同様に、入力画像２００の肌領域２０１の色が薄くなるのを抑制することができる。

（実施の形態３）
続いて、実施の形態３について説明する。本実施の形態に係る画像処理装置では、入力画像を縮小した縮小画像を用いて共通カーブを生成する。以下では、実施の形態１と異なる点を中心に説明し、同じ点については説明を省略又は簡略化する。

図１０は、本実施の形態に係る画像処理装置４００を備える画像表示装置４０１の機能ブロック図である。図１０に示すように、画像処理装置４００は、画像縮小部４０５と、カーブ生成部４１０と、階調補正部１２０とを備える。

画像縮小部４０５は、画像取得部２０が取得した入力画像２００を縮小する。画像縮小部４０５は、例えば、入力画像２００の画素のサンプリング（間引き）又は平均化などを行うことで、入力画像２００を縮小する。例えば、入力画像２００が１９２０×１０８０の画素から構成される場合に、画像縮小部４０５は、入力画像２００を縮小することで、２５６×１４４画素から構成される縮小画像を生成する。

カーブ生成部４１０は、画像縮小部４０５によって縮小された入力画像の第１平均輝度及び第２平均輝度を算出する。カーブ生成部４１０の具体的な動作は、処理対象が入力画像そのものではなく、入力画像の縮小画像になった点を除き、実施の形態１に係るカーブ生成部１１０と同じである。

以上のように、本実施の形態に係る画像処理装置４００は、入力画像を縮小する画像縮小部４０５を備え、カーブ生成部４１０は、画像縮小部４０５によって縮小された入力画像の第１平均輝度Ｙ_１及び第２平均輝度Ｙ_２を算出する。

これにより、カーブ生成部４１０は縮小画像を用いてカーブを生成するので、第１平均輝度及び第２平均輝度の算出処理の処理量を低減することができる。したがって、例えば、カーブ生成部４１０は、ソフトウェアで実現されたとしても、少ない処理量で共通カーブを生成することができる。

（変形例１）
以下では、上記の各実施の形態の変形例１について説明する。本変形例では、入力画像内に複数の第２領域が含まれる場合のカーブ生成部１１０の動作について説明する。

図１１は、（ａ）本変形例に係る入力画像５００と、（ｂ）入力画像５００内における第１領域５１１及び第２領域５１２ａ〜５１２ｃとを示す図である。

図１１の（ａ）に示すように、入力画像５００には、複数の人物が含まれており、複数の肌領域５０１〜５０３が含まれている。したがって、図１１の（ｂ）に示すように、第１領域５１１には、肌領域５０１〜５０３の各々に対応した複数の第２領域５１２ａ〜５１２ｃが含まれる。なお、第１領域５１１は、実施の形態と同様に、入力画像５００の全領域（具体的には、画面全体）である。

カーブ生成部１１０は、第１領域５１１に複数の第２領域５１２ａ〜５１２ｃが含まれている場合、複数の第２領域５１２ａ〜５１２ｃの各々の面積の最大値を第２領域の面積として用いて、共通カーブを生成する。具体的には、指標決定部１１３は、複数の第２領域５１２ａ〜５１２ｃの各々に含まれる画素数を各々の面積として算出する。図１１の（ｂ）に示す例では、第２領域５１２ａの面積が最大である。したがって、指標決定部１１３は、第１領域５１１の面積（入力画像５００の全画素数）に対する第２領域５１２ａの面積の割合を算出し、算出した割合を用いて図５に基づいて補正パラメータαを決定する。

これにより、入力画像５００において最も目立つ肌領域５０１の色が薄くなるのを抑制することができる。

なお、本変形例では、カーブ生成部１１０は、複数の第２領域５１２ａ〜５１２ｃの各々の面積の最大値の代わりに合計値を用いてもよい。カーブ生成部１１０は、複数の第２領域５１２ａ〜５１２ｃの各々に含まれる画素数の合計値を第２領域の面積として算出する。

（変形例２）
次に、変形例２について説明する。本変形例では、入力画像内に１以上の黒領域が含まれる場合のカーブ生成部１１０の動作について説明する。

図１２は、（ａ）本変形例に係る入力画像６００と、（ｂ）入力画像６００内における第１領域６１１と第２領域６１２とを示す図である。

図１２の（ａ）に示すように、入力画像６００の上下に帯状の非表示領域６０５が設けられている。非表示領域６０５は、例えば、表示部４０のアスペクト比に合わせて付加された黒色領域である。図１２の（ａ）に示す入力画像６００は、例えば、４：３のアスペクト比の表示画面に合うように、１６：９の横長の画像の上下に非表示領域６０５が付加された画像である。

ここで、上記の実施の形態と同様に、例えば、第１領域６１１が入力画像６００の全領域である場合、黒色領域６１５の影響で第１平均輝度が低下する。したがって、入力画像６００に適した階調補正カーブを生成することができない。

本変形例では、図１２の（ｂ）に示すように、第１領域６１１は、入力画像６００の全領域から黒色領域６１５を除いた領域である。これにより、第１領域６１１の第１平均輝度が低下するのを抑制することができる。なお、第２領域６１２は、実施の形態と同様に、入力画像６００に含まれる肌領域６０１に相当する領域である。

（変形例３）
次に、変形例３について説明する。本変形例では、第２領域の位置に応じて重み付けた第２領域の面積を用いる場合のカーブ生成部１１０の動作について説明する。

図１３は、本変形例に係る入力画像７００内における第２領域の位置の重みを示す図である。具体的には、入力画像７００の中央に近い程、重みが大きく、入力画像７００の周縁に近い程、重みが小さく割り当てられている。例えば、入力画像の中央は、重みが１であり、周縁は重みが０である。

本変形例では、カーブ生成部１１０は、第１領域内における第２領域の位置に応じて重みづけた第２領域の面積を用いて、共通カーブを生成する。

指標決定部１１３は、第２領域に含まれる画素の各々に割り当てられた重みを加算することで、第２領域の面積を算出する。これにより、同じ画素数からなる第２領域の場合でも、入力画像７００の中央に位置する第２領域の面積が、入力画像７００の周縁に近い位置に位置する第２領域の面積より大きくなる。

これにより、例えば、図２の（ａ）に示す入力画像２００のように、注目されやすい中央部分に肌領域２０１が存在する場合において、肌領域２０１の色が薄くなるのを抑制することができる。つまり、注目されやすい領域を重視した階調補正を行うことができるので、効果的に入力画像の画質を高めることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記の実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下では、他の実施の形態を例示する。

例えば、上記の実施の形態では、画像取得部２０がＲＧＢ画像を入力画像として取得する例について示したが、これに限らない。例えば、画像取得部２０は、ＹＵＶ画像を入力画像として取得してもよい。ＹＵＶ画像は、行列状に配置された複数の画素を含み、各画素は、輝度信号（Ｙ）と２つの色差信号（Ｃｂ及びＣｒ）とを含んでいる。

この場合、画像表示装置１０は、ＹＵＶ画像をＲＧＢ画像に変換するＲＧＢ変換部を備える。ＲＧＢ変換部は、例えば、画像取得部２０とカーブ生成部１１０との間、又は、カーブ生成部１１０と階調補正部１２０との間に設けられている。

また、例えば、上記の実施の形態では、第２領域が肌色などの記憶色の領域である例について示したが、これに限らない。例えば、第２領域は、彩度が所定値以上の高彩度領域でもよい。彩度は、例えば、Ｒ信号、Ｇ信号及びＢ信号のうち最大の信号と最小の信号との差で示される。

これにより、彩度が高く鮮やかな第２領域の色が薄くなるのを抑制することができる。したがって、入力画像の画質を高めることができる。

また、例えば、上記の実施の形態に係る画像表示装置１０は、例えば、図１４に示すようなテレビなどのフラットパネルディスプレイなどである。あるいは、画像表示装置１０は、飛行機の座席に設けられたパーソナルモニタなどでもよい。

また、上記の各実施の形態において、各構成要素は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

なお、本開示は、画像処理装置として実現できるだけでなく、画像処理装置の各構成要素が行う処理をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体として実現することもできる。

つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示に係る画像処理装置は、例えば、テレビ、モニタ、カメラなどに利用することができる。

１０，４０１ 画像表示装置
２０ 画像取得部
３０ 表示制御部
４０ 表示部
１００，４００ 画像処理装置
１１０，３１０，４１０ カーブ生成部
１１１ 第１領域平均部
１１２ 第２領域平均部
１１３ 指標決定部
１１４ 平均輝度補正部
１１５ 生成部
１２０ 階調補正部
２００，５００，６００，７００ 入力画像
２０１，５０１，５０２，５０３，６０１ 肌領域
２１１，５１１，６１１ 第１領域
２１２，５１２ａ，５１２ｂ，５１２ｃ，６１２ 第２領域
２２１，２２２，２３１，２３２ 階調補正カーブ
２３３ 共通カーブ
３２４ 第１カーブ生成部
３２５ 第２カーブ生成部
３２６ 補間部
４０５ 画像縮小部
６０５ 非表示領域
６１５ 黒色領域

Claims (15)

1. 画像の平均輝度と階調補正カーブとの間の予め定められた対応関係に基づいて、入力画像の平均輝度から、前記入力画像の階調の補正に用いる共通カーブを生成するカーブ生成部と、
   前記カーブ生成部によって生成された共通カーブを、前記入力画像の赤色信号、緑色信号及び青色信号の各々に共通して用いて、前記赤色信号、前記緑色信号及び前記青色信号の各々の階調を補正する階調補正部と、を備え、
   前記カーブ生成部は、前記入力画像の第１領域の輝度の平均値である第１平均輝度と、前記第１領域に含まれる所定の色の第２領域の輝度の平均値である第２平均輝度と、前記第２領域の面積とに基づいて、前記共通カーブを生成し、
   前記画像の平均輝度と階調補正カーブとの間の予め定められた対応関係は、前記画像の平均輝度が高い程、前記階調補正カーブの入力値と出力値とが一致する直線に近い階調補正カーブである
   画像処理装置。
2. 前記画像の平均輝度が低い程、前記入力値の低い領域に対応する前記出力値を前記入力値の高い領域に対応する前記出力値より大きく変換する階調補正カーブである
   請求項１に記載の画像処理装置。
3. 前記カーブ生成部は、前記第１平均輝度が前記第２平均輝度より小さい場合に、第１平均輝度と、前記第２平均輝度と、前記第２領域の面積とに基づいて、前記共通カーブを生成する
   請求項１に記載の画像処理装置。
4. 前記カーブ生成部は、前記第２平均輝度と前記第２領域の面積とを用いて前記第１平均輝度を補正することで、補正輝度を算出し、前記対応関係に基づいて、前記補正輝度から前記共通カーブを生成する
   請求項１に記載の画像処理装置。
5. 前記カーブ生成部は、前記第１平均輝度と前記第２平均輝度との重み付け加算を行うことで、前記補正輝度を算出し、
   前記重み付け加算の重み係数は、前記第１領域の面積に対する前記第２領域の面積の割合に基づいて決定される
   請求項４に記載の画像処理装置。
6. 前記カーブ生成部は、
   前記対応関係に基づいて前記第１平均輝度から第１階調補正カーブを生成し、
   前記対応関係に基づいて前記第２平均輝度から第２階調補正カーブを生成し、
   前記第１階調補正カーブと前記第２階調補正カーブとを補間することで、前記共通カーブを生成し、
   前記補間の重み係数は、前記第１領域の面積に対する前記第２領域の面積の割合に基づいて決定される
   請求項１に記載の画像処理装置。
7. 前記カーブ生成部は、前記第１領域に前記第２領域が複数含まれている場合、複数の前記第２領域の各々の面積の合計値又は最大値を、前記第２領域の面積として用いて、前記共通カーブを生成する
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記カーブ生成部は、前記第１領域内における前記第２領域の位置に応じて重み付けた前記第２領域の面積を用いて、前記共通カーブを生成する
   請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記第２領域は、肌色、緑色又は空色を含む記憶色の領域である
   請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第２領域は、彩度が所定値以上の高彩度領域である
    請求項１〜８のいずれか１項に記載の画像処理装置。
11. 前記第１領域は、前記入力画像の全領域のうち上下左右の少なくとも１つに帯状に設けられた黒色領域を除いた領域である
    請求項１〜１０のいずれか１項に記載の画像処理装置。
12. さらに、
    前記入力画像を縮小する縮小部を備え、
    前記カーブ生成部は、前記縮小部によって縮小された入力画像の前記第１平均輝度及び前記第２平均輝度を算出する
    請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 画像の平均輝度と階調補正カーブとの間の予め定められた対応関係に基づいて、入力画像の平均輝度から、前記入力画像の階調の補正に用いる階調補正カーブである共通カーブを生成するカーブ生成ステップと、
    生成した共通カーブを、前記入力画像の赤色信号、緑色信号及び青色信号の各々に共通
    して用いて、前記赤色信号、前記緑色信号及び前記青色信号の各々の階調を補正する階調補正ステップと、を含み、
    前記カーブ生成ステップでは、前記入力画像の第１領域の輝度の平均値である第１平均輝度と、前記第１領域に含まれる所定の色の第２領域の輝度の平均値である第２平均輝度と、前記第２領域の面積とに基づいて、前記共通カーブを生成し、
    前記画像の平均輝度と階調補正カーブとの間の予め定められた対応関係は、前記画像の平均輝度が高い程、前記階調補正カーブの入力値と出力値とが一致する直線に近い階調補正カーブである
    画像処理方法。
14. 前記画像の平均輝度が低い程、前記入力値の低い領域に対応する前記出力値を前記入力値の高い領域に対応する前記出力値より大きく変換する階調補正カーブである
    請求項１３に記載の画像処理方法。
15. 請求項１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images