JP5178473B2

JP5178473B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5178473B2
Application number: JP2008296860A
Authority: JP
Inventors: 正巳森本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-11-20
Filing date: 2008-11-20
Publication date: 2013-04-10
Anticipated expiration: 2028-11-20
Also published as: JP2010122506A; US20100123731A1; US8487949B2

Description

この発明は、液晶などを用いた表示パネルに表示する画像の補正を行う画像処理装置に関する。

周知のように、LCD(Liquid Crystal Display)などの表示パネルに画像を表示する場合、暗いシーンにおいては、明るいシーンにおけるバックライト輝度を基準にしてバックライト輝度を暗く調整する。しかし、LCDの透過率が低階調では十分下がらないために、このようなバックライト制御を行うと、理想ガンマから乖離してしまう。

これに対して従来は、バックライト輝度を暗く調整するとともに、画像の視覚的な明度を維持するために階調を高く補正する。これにより、低階調画像の階調性を改善している（例えば、特許文献１）。

しかしながら、視覚的な輝度が一定になるように調整するためには、一般に、画像中に現れる最高輝度(画像の最高階調の透過率×バックライト輝度)が変わらないように、かつ画像の最高階調がなるべく高くなるように階調とバックライト輝度を変更する。このため、全体的に高階調側へシフトし、低階調画像の階調性を改善するものの、色再現性が確保できなくなる場合があった。
特開２００６−２１７４２４公報

従来の画像処理装置では、低階調画像の階調性を改善する場合に、色再現性が確保できなくなる場合があるという問題があった。
この発明は上記の問題を解決すべくなされたもので、低階調画像の階調性を改善する場合に、色再現性を確保することが可能な画像処理装置および画像処理方法を提供することを目的とする。

上記の目的を達成するために、この発明は、各画素のRGB値を理想的な３刺激値X、Y、Zに変換する変換手段と、１フレーム分の３刺激値X、Y、Zについて、Y毎に度数を合算し、Yヒストグラムを求めるYヒストグラム生成手段と、前記Yヒストグラムに基づいて、最大頻度のY値を選択するY値選択手段と、前記Y値選択手段が選択したY値毎に、色度のヒストグラムを生成する色度ヒストグラム生成手段と、表示パネルで表示可能な色度の分布を示す色再現域の情報を、Y値毎に記憶する色再現域情報記憶手段と、前記Y値選択手段が選択したY値をバックライト輝度に応じた補正ゲインで補正した値に対応する色再現域の情報と、前記色度ヒストグラム生成手段が作成した色度ヒストグラムとに基づいて、バックライト輝度毎に、色再現域を逸脱するヒストグラムの度数である色度のエラー数を求める色度エラー数検出手段と、各画素のRGB値から明度のヒストグラムを作成する明度ヒストグラム作成手段と、バックライト輝度に応じた補正ゲインでＲＧＢ値を補正した後に最高階調となる明度と、前記明度ヒストグラム作成手段が作成した明度ヒストグラムとに基づいて、バックライトの輝度毎に、最高階調を逸脱するヒストグラムの度数である明度のエラー数を求める明度エラー数検出手段と、前記色度エラー数検出手段が求めた色度のエラー数と、前記明度エラー数検出手段が求めた明度のエラー数とに基づいて、バックライトの輝度を決定する決定手段と、この決定手段が決定したバックライトの輝度に応じて、各画素のRGB値を階調変換する階調変換手段とを具備して構成するようにした。

以上述べたように、この発明では、複数のバックライト輝度について、それぞれ色度のエラー数と明度のエラー数を求め、この色度のエラー数と明度のエラー数に基づいて、最適なバックライト輝度を決定し、このバックライト輝度に応じた階調変換を行うようにしている。

したがって、この発明によれば、バックライト輝度に応じた色度のエラー数と明度のエラー数を考慮して、最適なバックライト輝度を決定し、このバックライト輝度に応じた階調変換を行うようにしているので、低階調画像の階調性を改善する場合に、色再現性を確保することが可能な画像処理装置および画像処理方法を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像処理装置を備えた画像表示装置の構成を示すものである。

なお、このような画像表示装置は、一般的に、携帯電話やパーソナルコンピュータに搭載され、ビデオコーデックで動画像や静止画をデコードすることで得たＲＧＢ信号に対する処理を行う。

逆γ補正部１０は、入力信号のRGB値に逆γ補正を施して、LCD(Liquid Crystal Display)などの表示パネル（図示しない）上で、リニアに再現されるRGB値に変換する。例えば、表示パネルがγ=2.2、最高階調255（24bitのRGB）とすると、下式に示すような変換を行う。なお、下式において、Rin、Gin、Binは、それぞれ入力信号の各色のRGB値を示しており、R、G、Bは、各色の出力信号を示している。

R = 255×(Rin/255)^2.2
G = 255×(Gin/255)^2.2
B = 255×(Bin/255)^2.2
XYZ変換部２０は、逆γ補正部１０から出力されるR、G、Bの各値を、フレーム毎に、各画素について３刺激値X、Y、Zに変換して、理想的な値を得る。この変換は、例えば以下に示すようなRGB-XYZ変換の一般式、すなわちRGB- CIE XYZ (CCIR709) 変換式を適用する。
X = 0.412R+0.358G+0.180B
Y = 0.213R+0.715G+0.072B
Z = 0.019R+0.119G+0.950B
記憶色補正部３０は、XYZ変換部２０から出力される３刺激値X、Y、Zを補正する。例えば、草木の葉の色をより鮮やかにするために緑色付近の色度(X,Y,Z)をもつ画素について緑の原色点の色度に近づけるなど、特定の色を強調するような色補正を行う。
Yヒストグラム生成部４０は、記憶色補正部３０で補正された１フレーム分の３刺激値X、Y、Zについて、下式にしたがい、Y毎に度数を合算し、Yヒストグラムを求める。
Yヒストグラム[Y]＋=１
通常Y値は0から100の値をとるため、例えば1フレーム中にY値が100の画素が1000画素ある場合はYヒストグラムの要素100が1000となり、Yヒストグラム[100]=1000となる。

Y値選択部５０は、Yヒストグラム生成部４０が生成したYヒストグラムから最大頻度や平均値に対応する値など特徴的なY値を選択する。
xyヒストグラム生成部６０は、Y値選択部５０が選択したY値毎に、記憶色補正部３０で補正された１フレーム分の３刺激値X、Y、Zに基づいて、下式にしたがい、色度であるxyヒストグラム(2次元)を求める。したがって、選択されたY値が３つならば、３つのxyヒストグラムが生成する。
x=X/(X+Y+Z)
y=Y/(X+Y+Z)
また、xyヒストグラムは、下式のように各画素のx、y毎に度数をカウントすることで生成する。
xyヒストグラム[x, y]+=1
Y値別色再現域情報記憶部７０は、Y値別色再現域情報を記憶する。このY値別色再現域情報は、表示パネルのY値別の表示可能なxy分布を示すものであって、予め表示パネルの表示特性に基づいて求めておく。

具体的には、Y値別色再現域情報は、R、G、Bのすべての組み合わせをそれぞれ表示した場合のXYZを計測器などで測定し、この測定結果に基づいてY値毎に存在するxとyの組み合わせを求めることで得られる。例えばLCDパネルにおいては、図２のように、Y値が小さくなるにつれて色再現域（色度）が狭くなるようなxy特性となる。なお、図２の一番外側にある馬蹄形は、国際証明委員会ＣＩＥで定められているＣＩＥ標準表色系であるＸＹＺダイアグラムで、人間の可視範囲を表わしている。

xyエラー数生成部８０は、各フレームについて、Y値別色再現域情報記憶部７０が記憶するY値別色再現域情報とxyヒストグラム生成部６０が求めたxyヒストグラムを比較して、表示パネルのバックライト輝度毎に、表示パネルで再現可能な色域外となるxy値の度数をxyエラー数として求める。

なお、xyエラー数生成部８０が上記比較に用いるために、Y値別色再現域情報記憶部７０から読み出すY値別色再現域情報は、Y値選択部５０が選択したY値に対応するものではなく、選択したY値をゲイン変換部１４０から与えられる補正ゲインで補正したY値に対応するY値別色再現域情報を読み出す。図２に示すような特性の場合、上記補正ゲインが高いほどY値が大きくなるため、色再現域が広がりxyエラー数が減少することになる。

一方、RGB変換部９０は、理想的なX、Y、Zで表示されるように、パネルRGB変換テーブル記憶部１００が記憶する変換テーブルに基づいて、フレーム毎に各画素のX、Y、ZをR、G、Bに再変換する。なぜなら、図２に示したように、Y値によって色再現域が異なるため、表示パネルに表示されるX、Y、Zは、一般式でもとまる理想的な値にならない。上記変換テーブルは、予め求めておいた表示パネルのRGB特性に基づいて作成したものであって、X、Y、ZをR、G、Bに変換する逆引きテーブルである。

明度ヒストグラム生成部１１０は、再変換されたR、G、Bから、１フレーム毎の明度ヒストグラム(1次元)を求める。ここで、各画素のR、G、Bのうち、最大の値RGBmaxを明度として用いる。すなわち、１つのフレームを構成する全画素について、下式を適用して明度ヒストグラムを求める。
明度ヒストグラム[RGBmax] +=1
明度エラー数生成部１２０は、ゲイン変換部１４０で求めた補正ゲインで明度を補正した場合に、表示可能な最高階調を越える明度の度数を明度ヒストグラム生成部１１０で求めた明度ヒストグラムからカウントして、明度エラー数を求める。BL（バックライト）輝度を高くすることに伴って補正ゲインが低くなるほど、補正後の最高階調となる明度が下がるため、図３に示すような特性の場合、最高階調よりも高い階調の明度の累積である明度エラー数が増加することになる。

BL輝度生成部１３０は、適切なバックライト輝度を求めるために、評価するバックライト輝度（以下、探索BL輝度と称する）を、例えば０〜１００％まで段階的に変えて順次生成する。

ゲイン変換部１４０は、BL輝度生成部１３０が生成した探索BL輝度に応じた補正ゲインを生成し、xyエラー数生成部８０と明度エラー数生成部１２０に出力する。なお、補正ゲインは、バックライト輝度が１００％の時と同等の明るさとなるようなY値を得るためのものである。このため、例えば、探索BL輝度が50%輝度であった場合には、パネル表示時のY値を２倍にすればバックライト輝度が１００％の場合と同等の明るさとなるため、補正ゲインを２とする。

加算器１５０は、xyエラー数生成部８０が求めたxyエラー数に重み係数W（0<W<1）を乗算した値と、明度エラー数生成部１２０が求めた明度エラー数に重み係数(1-W)を乗算した値とを加算する。なお、色再現性を重視する場合には、重み係数Wの値を大きくし、一方、明るさを重視する場合には、重み係数Wを小さくする。

エラー最小BL輝度検出部１６０は、BL輝度生成部１３０から探索BL輝度が通知され、加算器１５０の加算結果が最小となる探索BL輝度を検出する。
xyエラー数と明度エラー数は、いずれも少ないほど理想的な表示が行えるものと考えられる。すなわち、xyエラー数が少なければ、理想的な色からずれて表示される画素が少なく、また明度エラー数が少なければ、明部の明るさがより維持されることになる。

したがって、この２つのエラー数が共に少なければよいが、LCDパネルの特性としては、バックライト輝度を下げると明度エラー数が増加する代わりにxyエラー数は減少するという傾向にある。このため、上述した加算器１５０による重み付け加算によって、最適なBL輝度を求める。

階調変換部１７０は、エラー最小BL輝度検出部１６０が検出した探索BL輝度を表示パネルのバックライト輝度とした場合に、表示パネル上に表示される最高輝度がバックライト輝度１００％と同等の明るさとなるように、RGB変換部９０から出力される各画素のRGB信号を階調変換する。例えば、検出した探索BL輝度が５０％の場合には、各画素のRGB信号を2倍に階調変換する。

γ補正部１８０は、表示パネルのγ特性に合わせて、階調変換部１７０から出力されるRGB信号をγ補正する。例えば、表示パネルがγ=2.2、最高階調255（24bitのRGB）であるならば、下式に示すような変換を行う。なお、下式において、Rout、Gout、Boutは、それぞれ出力信号の各色のRGB値を示しており、R、G、Bは、階調変換部１７０から出力される各色の信号を示している。
Rout = 255×(R/255)^0.45
Gout = 255×(G/255)^0.45
Bout = 255×(B/255)^0.45
バックライト調光部１９０は、エラー最小BL輝度検出部１６０が検出した探索BL輝度に応じて、表示パネルのバックライトの輝度を制御する。

以上のように、上記構成の画像表示装置では、フレーム毎に、各画素のRGB値を理想的な３刺激値X、Y、Zに変換し、この３刺激値X、Y、Zに基づく色度のヒストグラムと、バックライト輝度に応じて補正したY値毎の色再現域とに基づいて、複数のバックライト輝度について、それぞれ色度のエラー数を求める。またフレーム毎に、RGB信号から明度ヒストグラムを作成し、このヒストグラムと、バックライト輝度に応じて補正することで最高階調を超える明度とに基づいて、複数のバックライト輝度について、それぞれ明度のエラー数を求める。そして色度のエラー数と明度のエラー数に基づいて、最適なバックライト輝度を決定し、このバックライト輝度に応じた階調変換を行うようにしている。

したがって、上記構成の画像処理装置によれば、バックライト輝度に応じた色度のエラー数と明度のエラー数を考慮して、最適なバックライト輝度を決定し、このバックライト輝度に応じた階調変換を行うようにしているので、低階調画像の階調性を改善する場合に、色再現性を確保することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その一例として例えば、上記実施の形態では、xyエラー数生成部８０は、全ての色度を対象としたがこれに限定されるものではない。LCDパネルの特性から、Y値が小さいほど色再現域が狭くなる。このため、無彩色のグレー画像でない限り、xyエラーが0になるバックライト輝度を求めることは難しい。そして、xyエラー数の測定に用いるY値が小さいとxyエラー数が下がらず、色再現性改善効果が薄れてしまう。このため、xyエラー数生成部８０は、例えば、画像表示で重要視される肌色のxy色度についてのみ、xyエラー数をカウントするようにしてもよい。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

この発明に係わる画像処理装置を備えた画像表示装置の一実施形態の構成を示す回路ブロック図。 Y値と色再現域の関係を示す図。明度ヒストグラムを示す図。

符号の説明

１０…逆γ補正部、２０…XYZ変換部、３０…記憶色補正部、４０…Yヒストグラム生成部、５０…Y値選択部、６０…xyヒストグラム生成部、７０…Y値別色再現域情報記憶部、８０…xyエラー数生成部、９０…RGB変換部、１００…パネルRGB変換テーブル記憶部、１１０…明度ヒストグラム生成部、１２０…明度エラー数生成部、１３０…BL輝度生成部、１４０…ゲイン変換部、１５０…加算器、１６０…エラー最小BL輝度検出部、１７０…階調変換部、１８０…γ補正部、１９０…バックライト調光部。

Claims

各画素のRGB値を理想的な３刺激値X、Y、Zに変換する変換手段と、
１フレーム分の３刺激値X、Y、Zについて、Y毎に度数を合算し、Yヒストグラムを求めるYヒストグラム生成手段と、
前記Yヒストグラムに基づいて、最大頻度のY値を選択するY値選択手段と、
前記Y値選択手段が選択したY値毎に、色度のヒストグラムを生成する色度ヒストグラム生成手段と、
表示パネルで表示可能な色度の分布を示す色再現域の情報を、Y値毎に記憶する色再現域情報記憶手段と、
前記Y値選択手段が選択したY値をバックライト輝度に応じた補正ゲインで補正した値に対応する色再現域の情報と、前記色度ヒストグラム生成手段が作成した色度ヒストグラムとに基づいて、バックライト輝度毎に、色再現域を逸脱するヒストグラムの度数である色度のエラー数を求める色度エラー数検出手段と、
各画素のRGB値から明度のヒストグラムを作成する明度ヒストグラム作成手段と、
バックライト輝度に応じた補正ゲインでＲＧＢ値を補正した後に最高階調となる明度と、前記明度ヒストグラム作成手段が作成した明度ヒストグラムとに基づいて、バックライトの輝度毎に、最高階調を逸脱するヒストグラムの度数である明度のエラー数を求める明度エラー数検出手段と、
前記色度エラー数検出手段が求めた色度のエラー数と、前記明度エラー数検出手段が求めた明度のエラー数とに基づいて、バックライトの輝度を決定する決定手段と、
この決定手段が決定したバックライトの輝度に応じて、各画素のRGB値を階調変換する階調変換手段とを具備することを特徴とする画像処理装置。
前記決定手段は、前記色度エラー数検出手段が求めた色度のエラー数と、前記明度エラー数検出手段が求めた明度のエラー数に、重み付けを行った値に基づいて、バックライトの輝度を決定することを特徴とする請求項１に記載の画像処理装置。
前記色度エラー数検出手段は、予め設定した色度について、バックライト輝度毎に、色再現域を逸脱するヒストグラムの度数を求めることを特徴とする請求項１に記載の画像処理装置。
各画素のRGB値を理想的な３刺激値X、Y、Zに変換する変換工程と、
１フレーム分の３刺激値X、Y、Zについて、Y毎に度数を合算し、Yヒストグラムを求めるYヒストグラム生成工程と、
前記Yヒストグラムに基づいて、最大頻度のY値を選択するY値選択工程と、
前記Y値選択工程で選択したY値毎に、色度のヒストグラムを生成する色度ヒストグラム生成工程と、
表示パネルで表示可能な色度の分布を示す色再現域の情報をY値毎に記憶する色再現域情報記憶手段から、前記Y値選択工程で選択したY値をバックライト輝度に応じた補正ゲインで補正した値に対応する色再現域の情報を読み出し、この情報と前記色度ヒストグラム生成工程で作成した色度ヒストグラムとに基づいて、バックライト輝度毎に、色再現域を逸脱するヒストグラムの度数である色度のエラー数を求める色度エラー数検出工程と、
各画素のRGB値から明度のヒストグラムを作成する明度ヒストグラム作成工程と、
バックライト輝度に応じた補正ゲインでＲＧＢ値を補正した後に最高階調となる明度と、前記明度ヒストグラム作成工程で作成した明度ヒストグラムとに基づいて、バックライトの輝度毎に、最高階調を逸脱するヒストグラムの度数である明度のエラー数を求める明度エラー数検出工程と、
前記色度エラー数検出工程で求めた色度のエラー数と、前記明度エラー数検出工程で求めた明度のエラー数とに基づいて、バックライトの輝度を決定する決定工程と、
この決定工程で決定したバックライトの輝度に応じて、各画素のRGB値を階調変換する階調変換工程とを具備することを特徴とする画像処理方法。