JP5319814B2

JP5319814B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP5319814B2
Application number: JP2012066371A
Authority: JP
Inventors: 正巳森本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-03-22
Filing date: 2012-03-22
Publication date: 2013-10-16
Anticipated expiration: 2032-03-22
Also published as: JP2013198124A; US20130249931A1

Description

本発明の実施形態は、画像を補正する画像処理装置及び画像処理方法に関する。

さまざまな符号化方式に対応している記憶媒体（ディスク媒体、メモリカードなど）、通信媒体（放送波、ＩＰ（Internet Protocol）ネットワーク）などから取得した画像を表示デバイス（ＬＣＤ（Liquid Crystal Display）、自発光型デバイスであるＯＬＥＤ（Organic Light-Emitting Diode）ディスプレイなど）に出力するときに、画像補正を行うことがある。例えば、画像補正の１種であるヒストグラム平坦化は、入力画像の画素値（例えば、輝度値）の分布を平坦化させることにより、補正された出力画像を得る。

また例えば、特許文献１のものは、色空間でのダイナミックレンジ圧縮により表示デバイスの色再現に合わせて映像を変換するシステムに置いて、映像の色のヒストグラムから表示デバイスの色再現範囲を超えた画素値をカウントし、その画素数が少なくなるように圧縮率を変えるという内容のものである。

しかし、高彩度の飽和は抑えられるものの中間彩度のつぶれは考慮されていないという問題点があった。より色つぶれを防止することができる技術が求められている。

特開２００５−１６７６８１

本発明の実施の形態は、より色つぶれを防止することができる画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、実施形態によれば、表示パネルで表示に用いる画像信号を補正する画像処理装置において、入力画像信号に基づく画像について輝度毎に画素の色差値のヒストグラムをそれぞれ生成するとともに前記ヒストグラムの度数を累積して累積ヒストグラムを作成するヒストグラム生成手段と、前記作成された輝度毎の累積ヒストグラムに基づいて正規化する色差補正により色強調を行う色強調手段と、前記色強調に基づいて、前記入力画像信号の階調を変換して補正した前記画像信号を生成する階調変換手段とを具備する。

この発明に係わる画像処理装置を備えたタブレットPCの主要な構成を示す図。同実施形態の画像補正装置（画像処理機能９９）を例示するブロック図。同実施形態の中心部の全体の処理の流れを示すフローチャート。同実施形態の階調補正を輝度別の色差に適用する手順を示すフローチャート。同実施形態に用いられる図４の結果を輝度方向で平滑化する手順を示すフローチャート。同実施形態の色差補正LUTを作成する処理手順を示すフローチャート。

以下、実施形態を図１乃至図６を参照して説明する。

図１は、この発明の一実施形態に係わる画像処理装置を備えたタブレットPC１０の概略構成を示した図であり、タブレットPC１０は、タブレットPC１０の各種動作を制御する制御部１、符号化された動画像信号を復号処理するビデオデコーダ２、アンテナ４を介して受信される地上デジタルテレビジョン放送の放送信号のうち、制御部１によって指定されたチャネルの放送信号を復調してＴＳ（トランスポート）パケットを取り込む地デジ受信部３、アンテナ７を介して基地局から受信した無線信号を復調してベースバンド信号を得る無線部５、ベースバンド信号をＣＤＭＡなどの方式に準拠した復号処理を行うことで音声信号、制御信号、及びデータ信号を得るとともにアンテナ７を介して送信される音声信号、制御信号、及びデータ信号を符号化する信号処理部６、信号処理部６から送られた音声信号を出力するスピーカ９、話者の音声を取り込むマイクロホン８、制御部１から受信した動画像信号に基づいて映像信号を表示パネル３０に表示制御する表示制御部２０から構成される。

なお、上記画像処理装置は、図１において画像処理機能９９及び階調変換ルックアップテーブル記憶部（LUT）１４０から構成される。即ち、この一実施形態では、画像処理の主な機能がプログラムによって実現されることを想定しているためである。後述の入力画像記憶部１０１（入力画像バッファ）、累積ヒストグラム記憶部１０２、ＬＵＴ記憶部１０５、補正ＬＵＴ記憶部１０７、出力画像記憶部１０９は、この階調変換ルックアップテーブル記憶部１４０内にあってもよい。

表示制御部２０は、後述する補正された動画像信号に基づいて、LCD(Liquid Crystal Display)パネルやOLED(Organic Light Emitting Diode)パネル、PDP(Plasma Display Panel)などを表示デバイスとして用いた表示パネル３０を駆動制御し、階調が補正された映像画像を表示パネル３０に表示される。

次に、上記構成の画像処理機能９９の動作について説明する。

まず、本願発明に係る画像処理機能９９によって補正処理される動画像信号は、地上デジタルテレビジョン放送（地デジ放送）によって送られたテレビ信号に含まれる動画像信号を例としている。この地デジ放送の放送信号は、アンテナ４を介して受信された後、制御部１によって指定されたチャネルの放送信号が地デジ受信部３によって抽出、及び復調処理が行われてＴＳパケットとしてビデオエンコーダ２に送られる。なお、地デジ放送には符号化されたオーディオ信号も含まれているが、本実施形態が動画像信号に対する処理を対象としているため、オーディオ信号の処理に必要な構成、及びオーディオ信号の処理に関する説明は省略している。

地デジ受信部３で抽出されたＴＳパケットのうち、動画像信号を含むＴＳパケットはビデオデコーダ２に送られる。

ビデオデコーダ２では、地デジ受信部３から受信した複数のＴＳパケットのペイロードを組み合わせてＰＥＳ（Packetized Elementary Stream）パケットを復元させるとともに、このＰＥＳパケットのペイロードに含まれる符号化された動画像信号を抽出し、復号して動画像信号を復元させる。なお、タブレットPC向けの地デジ放送では、動画像はMPEG-2と呼ばれる符号化方式に従って符号化が行われているため、ビデオデコーダ２では、この符号化方式に従った復号処理を行う。なお、レコーダで録画した番組やDLNA経由でタブレットに転送して視聴する場合はH.264にトランスコードされる場合がある。

このようにして復元された動画像信号は、ビデオデコーダ２から制御部１に出力され、画像処理機能９９によって輝度補正や後に詳しく述べる色補正が行われる。

図２は、画像処理機能９９によって行われる処理を更に詳細に示した機能ブロック図である。実施形態に係わる画像処理機能９９は、図２に示されるように、ヒストグラム作成部１００、入力画像記憶部１０１、累積ヒストグラム記憶部１０２、ヒストグラム累積部１０３、ＬＵＴ（ルックアップテーブル）作成部１０４、ＬＵＴ記憶部１０５、ＬＵＴ補正部１０６、補正ＬＵＴ記憶部１０７、色補正部１０８、出力画像記憶部１０９及び画像出力処理部１１０を有する。

更にそれぞれ図示はしないが、累積ヒストグラム記憶部１０２は後述する、輝度別色ヒストグラムバッファ、累積加算ヒストグラムバッファを含む。また、ＬＵＴ記憶部１０５は輝度別色差補正LUTバッファを、補正ＬＵＴ記憶部１０７は補正後輝度別色差補正LUTバッファを、出力画像記憶部１０９は色差信号出力バッファを、それぞれ含む。

尚、入力画像内の輝度値に基づいて画像補正用のパラメータ（一例として輝度補正ＬＵＴ）を作成し、このパラメータを用いて入力画像の輝度値を補正する従来からの例を説明するが、この説明は輝度値に限らず様々な画素値の補正についても適用可能である。また、本実施形態では、入力画像の輝度値を８ビット長で表現することとするが、他のビット長に適宜拡張または縮小して表現可能である。まずはこの、輝度補正のための処理について述べる。

入力画像記憶部１０１には、図１の画像処理機能９９による補正の対象となる入力画像が少なくとも一時的に記憶される。入力画像は、例えば記憶媒体、通信媒体などから取得され、必要に応じて復号化されて入力画像記憶部１０１に記憶される。尚、入力画像は、静止画像であってもよいし、動画像に含まれる複数のフレームのいずれかであってもよい。或いは、本実施形態に係わる画像処理機能９９がフレーム内の特定の局所領域に適応的に補正を行う場合を想定すると、入力画像がフレーム内の局所領域であることもあり得る。入力画像記憶部１０１に記憶された入力画像は、画像補正用のパラメータを作成するためにヒストグラム作成部１００によって読み込まれたり、このパラメータを用いて補正を行うために色補正部１０８によって読み込まれたりする。

ヒストグラム作成部１００は、入力画像の輝度値のヒストグラムを作成する。またヒストグラム作成部１００は、基本的には、次の数式（１）に従ってヒストグラムを作成する。

数式（１）において、ｈｉｓｔｏＹは、入力画像の輝度値Ｙのビット長に応じたサイズ（例えば８ビット長であれば２５６個）の配列である。数式（１）は、入力画像における全対象画素の輝度値Ｙの度数を１つずつカウントすることを意味している。ここで、輝度値Ｙは、入力画像がＹＵＶ方式で表現されていればＹ信号値に相当し、入力画像がＲＧＢ形式で表現されていれば次の数式（２）に示されるようにＲＧＢ信号値のうちの最大値に相当する。

ヒストグラム作成部１００は、作成したヒストグラムを累積ヒストグラム記憶部１０２に記憶させる。累積ヒストグラム記憶部１０２に記憶されたヒストグラムはヒストグラム累積部１０３によって必要に応じて読み出され、また累積ヒストグラム記憶部１０２に記憶されたヒストグラムはＬＵＴ（ルックアップテーブル）作成部１０４によって必要に応じて読み出される。

ＬＵＴ（ルックアップテーブル）作成部１０４は、ヒストグラムを累積ヒストグラム記憶部１０２から読み出し、ヒストグラムの度数を累積して累積ヒストグラムを計算する。ＬＵＴ（ルックアップテーブル）作成部１０４は、例えば次の数式（３）に従って累積ヒストグラムを計算する。

数式（３）において、ＡｃｃＨｉｓｔｏＹ［Ｙ］が輝度値Ｙに対応する累積度数を表す。ＬＵＴ（ルックアップテーブル）作成部１０４は、計算した累積ヒストグラムをＬＵＴ記憶部１０５に記憶させる。ＬＵＴ記憶部１０５には、累積ヒストグラムが少なくとも一時的に記憶される。ＬＵＴ記憶部１０５に記憶された累積ヒストグラムは、補正ＬＵＴ作成部１０６によって必要に応じて読み出される。

補正ＬＵＴ作成部１０６は、累積ヒストグラムをＬＵＴ記憶部１０５から読み出し、累積ヒストグラムを正規化する。補正ＬＵＴ作成部１０６は、正規化した累積ヒストグラムに対応する入出力特性を持つ輝度補正ＬＵＴを作成する。補正ＬＵＴ作成部１０６は、例えば次の数式（４）に従って輝度補正ＬＵＴを作成する。

数式（４）においてＬＵＴ［Ｙ］は入力輝度値Ｙに対応する出力輝度値を表し、ＹｏｕｔＭａｘは出力輝度の最大値を表す。ＹｏｕｔＭａｘは、出力画像の表示デバイスのビット長で表現可能な最大輝度値（８ビットパネルに関して「２５５」）であってもよい。或いは、ＹｏｕｔＭａｘは、表示デバイスがＯＬＥＤディスプレイなどの自発光デバイスであれば、表示デバイスのビット長で表現可能な最大輝度値を低減させた輝度値とされることもある。このような最大出力輝度値の制限により、パネル消費電力を効果的に削減できる。数式（４）によれば、入力輝度Ｙの最大値（＝２５５）にはＹｏｕｔＭａｘが対応付けられ、他の入力輝度ＹにはＹｏｕｔＭａｘを正規化された累積度数によってスケーリングした値が対応付けられる。補正ＬＵＴ作成部１０６は、作成した輝度補正ＬＵＴを補正ＬＵＴ記憶部１０７に記憶させる。補正ＬＵＴ記憶部１０７には、少なくとも一時的に輝度補正ＬＵＴが記憶される。補正ＬＵＴ記憶部１０７に記憶された輝度補正ＬＵＴは、色（＋輝度）補正部１０８によって必要に応じて読み出される。

色補正部１０８は、入力画像記憶部１０１から入力画像を読み出し、補正ＬＵＴ記憶部１０７から輝度補正ＬＵＴを読み出す。色補正部１０８は、次の数式（５）に示されるように、輝度補正ＬＵＴを用いて入力画像内の入力輝度値Ｙを出力輝度値Ｙｏｕｔに補正する。

色補正部１０８は、補正済画像を出力画像記憶部１０９に記憶させる。出力画像記憶部１０９には、色補正部１０８からの補正済画像が少なくとも一時的に記憶される。出力画像記憶部１０９に記憶された補正済画像は、画像出力処理部１１０によって必要に応じて読み出される。

画像出力処理部１１０は、出力画像記憶部１０９から補正済画像を読み出し、各対象画素の色差値と補正済輝度値とに基づいて出力画像を再生し、表示デバイス（表示装置＝表示制御部２０＋表示パネル３０）へ出力する。

以下では、図３乃至図６を用いて図１のタブレットPC１０、特に画像処理機能９９の動作例を説明する。本実施形態の中心部の全体の処理の流れとしては、図３のように大きな3つの処理ステップに別れ、輝度別色差補正LUT算出ステップ、輝度別色差補正LUTを修正、色相補正ステップを行い入力画像から出力画像を生成し表示装置に出力する。

即ちまず図３のように、各入力画像バッファ内の輝度信号や色差信号を用いて、上述のような一般的なヒストグラムに基づいたヒストグラム平坦化による階調補正を輝度別の色差に適用し（ステップＳ１０）、またその結果を輝度方向で平滑化し（ステップＳ２０）、色差補正LUTを作成する処理（ステップＳ３０）、表示装置へ画像出力処理部１１０が出力する処理（ステップＳ４０）を備えている。このステップＳ４０以外のステップの動作主体は図4から図6の説明までにおいて以下に述べる。

まず図４の輝度別色差補正LUT算出ステップ（上記ステップＳ１０に相当）では、ヒストグラム作成部１００は、数式（１）以下の処理と同様に、今度は輝度別ヒストグラム作成処理で1フレーム分の輝度値ｘごとに、言わばより立体的に色差UとVそれぞれ度数histoU[x][U]、histoV[x][V]を求め、前述の輝度別色ヒストグラムバッファに出力する（ステップＳ１１）。ｈｉｓｔｏＹに関する入力画像が所謂４ｋ２ｋの画像であれば、８メガ個ほどが対象画素としてカウントアップされている。ここで、輝度値ｘについてhistoU[x][U]、histoV[x][V]の度数を集計すると夫々これと同数となる。

次にヒストグラム累積加算処理に進み、ヒストグラム累積部１０３はこの輝度別色ヒストグラムバッファを入力としてヒストグラムを累積し、累積加算ヒストグラムバッファに出力する（ステップＳ１２）。ここでヒストグラムをhistoU[x][]、histoU[x][]、累積ヒストグラムをAccHistoU[]、AccHistoV[]とすると次の数式（６）、数式（７）のようになる。

次に、ＬＵＴ（ルックアップテーブル）作成部１０４による色補正ルックアップテーブル作成処理に進み、累積加算ヒストグラムバッファを入力とし、輝度ｘごとに累積ヒストグラムの最大値が出力時の色差値の取りえる最大値UoutMax[x]、VoutMax[x]となるように正規化し入出力補正特性を求める。

UoutMax[x]、VoutMax[x]はRGB信号に変換した際に飽和する値から求めることができ、8bitパネルの最大であれば255となる。

色差の補正性をlut_u[U]、lut_ｖ[V]とすると、数式（８）、数式（９）のようになる。

これを輝度ごとに入力色差UとVの色差値Uout、色差値Voutの対応を求めるルックアップテーブルとして、輝度別色差補正LUTバッファに保存する（数式（１０）数式（１１）、ステップＳ１３の終了）。

次に、補正ＬＵＴ作成部１０６による輝度別色差補正LUT修正ステップに進み、輝度別色ヒストグラムバッファと輝度別色差補正LUTバッファとを入力として、輝度の変化に対して、同じ色差の補正量が大きく変化しないように抑制する（ステップＳ２１）。出力は補正後輝度別色差補正LUTバッファに保存される。

例えば修正後の輝度別色差補正LUTをCLUT_U[x][U]、CLUT_V[x][V]とすると、のように隣接する輝度値の色差補正Lut値と平均（算術平均）化する（数式（１２）数式（１３））。

なお平均演算は算術平均の他にも各種あり、平均演算の一般形は、例えば０から１の間で正規化された３量の平均とは０から１の間の出力を得るものとされている。内で比較的極端なものとして激烈積、激烈和のようなものもあるが、通常には調和平均など調和性の高い平均演算を適宜採用すればよい。

これが全LUTについて終了したら（ステップＳ２２のYes）次に、色補正部１０８による色差補正ステップに進み、
補正後輝度別色差補正LUTバッファを入力として、入力画像の各画素を輝度信号Yin,色差信号Uin,VinとするとルックアップテーブルCLUT_U、CLUT_Vに従ってレベル変換し補正後の色差信号Uout,Voutを求める（数式（１４）数式（１５））。出力は色差信号出力バッファに保存される。

これが全画素について終了したら（ステップＳ３２のYes）次にビデオ信号出力処理に進み、画像出力処理部１１０は色差信号出力バッファを入力として、輝度信号と色差信号Uout,Voutを合わせて1フレーム分の色強調画像として表示部（表示装置）に出力する。

以上の本実施形態の効果について説明する。従来技術では、入力画像を色差再現範囲が狭いデバイスで表示した場合、全体に表示彩度の低い表示しかできないが、本実施形態によれば、表示デバイスの色差再現範囲で中間の彩度は表示彩度が改善され、高彩度のつぶれも抑えることが可能となる。

ヒストグラム最適化により中間彩度がつぶれるのを防ぐとともに、YUV空間のように輝度値に応じて色再現域が異なる色成分についても、表示デバイスの色再現域を最大限に使用した彩度補正が可能となる。例えば、YUV空間では、低輝度では青や紫の色再現域が広く、緑の色再現域が狭い、一方で高輝度ではその逆で緑の色再現が広くなっている。実施形態では、輝度ごとに色差補正の最適化を行うため、従来方法のように彩度を補正した場合に輝度によって色がつぶれてしまうようなことがない。

即ち先行技術と比べた実施形態の効果に関し、従来は高彩度の飽和は抑えられるものの中間彩度のつぶれは考慮されていない。本実施形態はこれを解決するもので、輝度値毎の色差ヒストグラム最適化により中間彩度がつぶれるのを防ぐとともに、YUV空間のように輝度値に応じて色再現域が異なる色成分についても、高彩度、中彩度等の色つぶれを防止することができる。

（実施形態の要点の補足）
（１）輝度ごとに色差信号のヒストグラム最適化により求めた色差補正LUTにより色強調をおこなう
（２）輝度ごとに求めた色差補正LUTを重みつき平均化して色差補正LUTを修正する

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１００・・・ヒストグラム作成部
１０１・・・入力画像記憶部
１０２・・・累積ヒストグラム記憶部
１０３・・・ヒストグラム累積部
１０４・・・ＬＵＴ作成部
１０５・・・ＬＵＴ記憶部
１０６・・・ＬＵＴ補正部
１０７・・・補正ＬＵＴ記憶部
１０８・・・色補正部
１０９・・・出力画像記憶部
１１０・・・画像出力処理部

Claims

表示パネルで表示に用いる画像信号を補正する画像処理装置において、
入力画像信号に基づく画像について輝度毎に画素の色差値のヒストグラムをそれぞれ生成するとともに前記ヒストグラムの度数を累積して累積ヒストグラムを作成するヒストグラム生成手段と、
前記作成された輝度毎の累積ヒストグラムに基づいて正規化する色差補正により色強調を行う色強調手段と、
前記色強調に基づいて、前記入力画像信号の階調を変換して補正した前記画像信号を生成する階調変換手段とを具備する画像処理装置。
前記色強調は、更に隣接する輝度値の色差補正値との平均化を行う請求項１に記載の画像処理装置。
更に前記表示パネルを備えた請求項１に記載の画像処理装置。
表示パネルで表示に用いる画像信号を補正する画像処理装置における画像処理方法であって、
入力画像信号に基づく画像について輝度毎に画素の色差値のヒストグラムをそれぞれ生成するとともに前記ヒストグラムの度数を累積して累積ヒストグラムを作成するヒストグラム生成工程と、
前記作成された輝度毎の累積ヒストグラムに基づいて正規化する色差補正により色強調を行う色強調工程と、
前記色強調に基づいて、前記入力画像信号の階調を変換して補正した前記画像信号を生成する階調変換工程とを含んだ画像処理方法。
前記色強調は、更に隣接する輝度値の色差補正値との平均化を行う請求項４に記載の画像処理方法。