JP4901821B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、画像の補正を行う画像処理装置に関する。

周知のように、従来の画像処理装置は、ヒストグラム平坦化による輝度値変換で表示画像の階調補正を行う方式を採用するものがある。この装置では、補正量は、入力画像のヒストグラムの度数が高い輝度値ほど補正量が大きくなる。しかし、同じ補正量でも高周波成分を有する領域、すなわち絵柄が複雑な領域では、絵柄が強調され好ましい補正となるが、平坦な絵柄の領域では階調飛びを認識し易い補正がなされるなどの問題があった。

これに対して従来は、度数が集中している階調範囲に対して補正量を制限することでヒストグラム平坦化を行う方法が提案されている。例えば、特許文献１の手法では、輝度信号Yのヒストグラムに偏りがある場合に過度な補正が掛からないように、度数が集中している輝度範囲を１つ以上検出し、それぞれの範囲ごとに補正後のダイナミックレンジを制限するようにしている。
特開２００６−２１７４２４公報

しかしながら、上記のような従来の画像処理装置では、ヒストグラムの分布だけで領域の判断を行っているため、強調したい領域か強調を抑えたい領域かの判断はできず、結局補正量を抑える方向に調整せざるを得ないという問題があった。
この発明は上記の問題を解決すべくなされたもので、画像の絵柄の複雑さに応じた補正量で画像補正を行うことが可能な画像処理装置および画像処理方法を提供することを目的とする。

上記の目的を達成するために、この発明は、画像信号からフレームを構成する各画素の輝度値を検出する第１検出手段と、画素毎に、その画素を中心とした所定の領域の高周波成分の振幅を前記画像信号から検出して、その画素を含む領域の絵柄の複雑さを検出する第２検出手段と、前記第２検出手段が検出した複雑さに応じた度数を各画素に設定する重み付け手段と、前記第１検出手段が検出した各画素の輝度値に基づいて、前記重み付け手段が設定した各画素の度数を輝度値毎に集計したヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段が作成したヒストグラムに基づいて、輝度値方向に累積加算した補正特性を作成する補正特性作成手段と、前記補正特性作成手段が作成した補正特性に基づいて、前記画像信号の輝度を補正する補正手段とを具備して構成するようにした。

以上述べたように、この発明では、画素の輝度のヒストグラムに基づいて、輝度信号の補正を行うにあたり、画素毎に周辺の絵柄の複雑さに応じて重み付けた度数を集計したヒストグラムを作成するようにしている。

したがって、この発明によれば、画像の複雑さを考慮した輝度のヒストグラムに基づいて輝度レベルの補正が行えるので、画像の絵柄の複雑さに応じた補正量で画像補正を行うことが可能な画像処理装置および画像処理方法を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、例えば、地上デジタル放送を受信するテレビジョン装置や、同放送の録画や再生を行う録画再生装置、光学メディアに記録された動画像データの再生装置、ネットワークを通じて配信される動画像データの再生装置などに搭載される。

そしてこの画像処理装置は、動画像デコーダ１０と、Ｙヒストグラム作成処理部２０と、ヒストグラム整形処理部３０と、入出力補正特性作成処理部４０と、補正ルックアップテーブル作成処理部５０と、補正ルックアップテーブル記憶部６０と、Ｙ補正処理部７０と、ＹＵＶ／ＲＧＢ変換部８０とを備えている。

これらの構成は、１つのプロセッサで実現することが可能である。またプロセッサが記憶部に記録された制御プログラムや制御データにしたがって動作することにより、上記各部の機能を発揮して、実現することも可能である。なお、このようにプロセッサで実現する場合には、補正ルックアップテーブル記憶部６０は、別途設けるようにしてもよい。

動画像デコーダ１０は、放送やネットワークを通じて伝送された、もしくはHDD(Hard Disk Drive)やDVD(Digital Versatile Disc)、フラッシュメモリなどの記録メディアを用いた記憶装置で読み出された１フレーム分の動画像符号化データをデコードし、YUV信号形式の動画像に変換する。例えば、DVDや地上デジタル放送では、MPEG-2デコーダとなり、ワンセグ放送においてはH.264デコーダが動画像デコーダ１０に相当する。

Ｙヒストグラム作成処理部２０は、動画像デコーダ１０から出力されるYUV信号に基づいて、フレームを構成する各画素のＹ信号成分の信号レベル（輝度レベル）を検出し、信号レベル毎に画素の数を集計したヒストグラムを作成する処理を行う。この処理は、フレーム毎に実施する。

これにより例えば図３に示すような信号レベル毎の画素の度数分布が作成される。一般的なヒストグラムにおける度数は、１画素毎に同一の値、例えば１を加算するが、Ｙヒストグラム作成処理部２０は、後に詳述するように、各画素を中心とした所定の範囲の領域が平坦（単調）か否かで重み付けした値を加算するものであって、その加算値は、その領域が平坦な絵柄の場合は１を加算し、それ以外は２を加算する。

ヒストグラム整形処理部３０は、Ｙヒストグラム生成処理部２０で求めたヒストグラムに整形処理を施して、整形したヒストグラム（以下、整形ヒストグラムと称する）を求める。この整形処理では、後段の入出力補正特性作成処理部４０で作成される入出力特性で、階調範囲間で極端な差が生じないように整形する。例えば図２の例では、Ｙヒストグラム生成処理部２０で求めたヒストグラムH0の度数に対して、ピークを抑えるクリッピングや、階調範囲全体を底上げするオフセット加算を行う整形処理を施して、整形ヒストグラムH1を得る。

クリッピングは、特定の階調範囲で度数が予め設定した第１閾値を超えて集中している場合に実施し、その階調範囲の階調ステップが後の処理で極端に広がることを抑える。またオフセット加算は、階調ステップが少なくなることにより後の処理で階調つぶれが生じることを防止するために、階調範囲全体をオフセットさせる。なお、このオフセット加算では、例えばヒストグラムの平均度数の半分の値を加算することで階調範囲間の度数の差を縮めている。

入出力補正特性作成処理部４０は、上記整形ヒストグラムにおいて、信号レベル（輝度レベル）の低い方から高い方へ度数を累積加算した累積度数を信号レベル毎に求め、さらに、すべての度数を累積加算した最大信号レベルにおける累積度数が１となるように、各信号レベルの累積度数を正規化した特性（以下、入出力補正特性と称する）を得る。

補正ルックアップテーブル作成処理部５０は、上記入出力補正特性に最大信号レベルを乗算したルックアップテーブルを作成し、これを補正ルックアップテーブルとして補正ルックアップテーブル記憶部６０に記録する。この補正ルックアップテーブルは、例えば、Ｙ信号の最大信号レベルが235であった場合、ある信号レベルにおける上記入出力補正特性が0.5ならば、その信号レベルが235×0.5に補正される補正テーブルである。図２に、入出力補正特性Ｃとして一例を示す。

Ｙ補正処理部７０は、動画像デコーダ１０から出力された１フレーム分のYUV信号のY信号に対して、補正ルックアップテーブル記憶部６０が記憶する補正ルックアップテーブルにしたがった補正を行う。この補正されたＹ信号は、補正されない他のYUV信号成分（色差信号）と共に、YUV信号としてＹＵＶ／ＲＧＢ変換部８０に出力される。

ＹＵＶ／ＲＧＢ変換部８０は、Ｙ補正処理部７０から出力されたYUV信号をRGB信号に変換しディスプレイドライバ（図示しない）へ出力する。ＹＵＶ／ＲＧＢ変換部８０における変換は、例えばデジタル放送のコンテンツであれば、ITU-R BT.709規格の変換式を利用した変換処理である。

次に、上記構成の画像処理装置の動作について説明する。図３は、上記構成の画像処理装置の動作を説明するためのフローチャートであって、この図に示す処理は、１フレーム毎にくり返し実施される。以下、図３を参照して説明する。

まずステップ３ａでは、Ｙヒストグラム作成処理部２０が、動画像デコーダ１０から出力される１フレーム分のYUV信号に基づいて、そのフレームを構成する各画素のＹ信号成分の信号レベル（輝度レベル）を検出し、各画素を中心とした所定の範囲の領域の画像に複雑さに応じた重み付けを行って、信号レベル毎に画素の数を集計したヒストグラムを作成する。

より詳細には、図４に示すような処理を各画素毎に実施してヒストグラムを作成する。以下、図４を参照して、Ｙヒストグラム作成処理部２０によるヒストグラム作成処理について説明する。

まずステップ４ａにおいてＹヒストグラム作成処理部２０は、ハイパスフィルタを用いて、Ｙ信号成分から処理対象の画素を中心とした所定の範囲の領域の画素の輝度を参照して、上記領域のＹ信号の高周波成分を抽出し、ステップ４ｂに移行する。図５に、３×３画素領域のハイパスフィルタの一例を示す。
ステップ４ｂにおいてＹヒストグラム作成処理部２０は、ステップ４ａで求めた高周波成分の絶対値を求めることで、その振幅の大きさを求め、ステップ４ｃに移行する。

ステップ４ｃにおいてＹヒストグラム作成処理部２０は、ステップ４ｂで求めた振幅の大きさが、予め設定した閾値以上か否かを判定する。ここで、振幅の大きさが、予め設定した閾値以上の場合、すなわち処理対象領域の絵柄が複雑な場合には、ステップ４ｄに移行し、一方、予め設定した閾値未満の場合、すなわち処理対象領域の絵柄が平坦な場合には、ステップ４ｅに移行する。

ステップ４ｄにおいてＹヒストグラム作成処理部２０は、処理対象領域の絵柄が複雑であることより、加算度数をｎ（ただし、ｎ＞１）とし、ステップ４ｆに移行する。
一方、ステップ４ｅにおいてＹヒストグラム作成処理部２０は、処理対象領域の絵柄が平坦であることより、加算度数を通常値１とし、ステップ４ｆに移行する。
すなわち、例えば図６に示すように、絵柄が複雑な領域に属する画素については、加算度数がｎに設定され、一方、絵柄が平坦な領域に属する画素については、加算度数が１に設定される。

ステップ４ｆにおいてＹヒストグラム作成処理部２０は、ステップ４ｄもしくはステップ４ｅで決定した加算度数を、処理対象の画素の信号レベルに対応したヒストグラムの度数として加算し、処理対象の画素についての処理を終了する。
このような処理を、１フレームすべての画素について実施する。なお、図４に示した処理では、加算度数を１かｎの２段階としたが、処理対象領域の絵柄の複雑さに応じて、３以上の多段階にするようにしてもよい。

また、ステップ４ｃで用いる閾値は、量子化係数に基づいて決定するようにし、ステップ４ａのハイパスフィルタの出力が上記閾値以下であった場合は、平坦な絵柄に載ったノイズとみなし平坦領域の画素として度数を加算するようにしてもよい。

そしてまた、ステップ４ａではハイパスフィルタを用いるものとして説明したが、ステップ４ａでは、各画素を中心とした周辺画素の信号レベルの分散値を求め、この分散値をステップ４ｃで閾値判定する。これによれば、分散が大きい場合に、加算度数を大きくすることで、ハイパスフィルタと同様な効果が期待できる。

以下、再び図３を参照して説明する。
ステップ３ｂでは、ヒストグラム整形処理部３０が、ステップ３ａでＹヒストグラム生成処理部２０が求めたヒストグラムに、ピークを抑えるクリッピングや、底上げするオフセット加算を行って、階調範囲間で極端な差が生じないように整形し、整形ヒストグラムを得る。

ステップ３ｃでは、入出力補正特性作成処理部４０が、ステップ３ｂでヒストグラム整形処理部３０が整形した整形ヒストグラムに基づいて、度数を累積加算した累積度数を信号レベル毎に求め、さらに、すべての度数を累積加算した累積度数が１となるように、各信号レベルの累積度数を正規化して、入出力補正特性を得る。

ステップ３ｄでは、補正ルックアップテーブル作成処理部５０が、ステップ３ｃで入出力補正特性作成処理部４０が求めた入出力補正特性に最大信号レベルを乗算して、補正ルックアップテーブルを作成し、これを補正ルックアップテーブル記憶部６０に記録する。上記補正ルックアップテーブルは、入力信号の輝度値と、補正値（出力信号の輝度値）を対応付けたテーブルである。

ステップ３ｅでは、Ｙ補正処理部７０が、ステップ３ｄで補正ルックアップテーブル記憶部６０に記録された補正ルックアップテーブルにしたがって、動画像デコーダ１０から出力された１フレーム分のYUV信号のY信号を補正値に変換し、補正されない他のYUV信号成分と共に、YUV信号として出力する。

ステップ３ｆでは、ＹＵＶ／ＲＧＢ変換部８０は、Ｙ補正処理部７０から出力されたYUV信号をRGB信号に変換する。

ステップ３ｇでは、ディスプレイドライバがステップ３ｆでＹＵＶ／ＲＧＢ変換部８０によって得られたRGB信号に基づいて、ディスプレイを駆動制御し、１フレームの映像を表示する。

以上のように、上記構成の画像処理装置では、画素の輝度のヒストグラムに基づいて、輝度信号の補正を行うにあたり、画素毎に周辺の絵柄の複雑さに応じて重み付けた度数を集計したヒストグラムを作成するようにしている。
したがって、上記構成の画像処理装置によれば、画像の絵柄の複雑さに応じた補正量で画像補正を行うことができ、絵柄が複雑な領域では、絵柄が強調され好ましい補正となるとともに、平坦な絵柄の領域では階調飛びを抑制した補正を行うことができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

この発明に係わる画像処理装置の一実施形態の構成を示す回路ブロック図。 図１に示した画像処理装置で生成されるヒストグラムおよび入出力補正特性を説明するための図。 図１に示した画像処理装置の動作を説明するためのフローチャート。 図３に示したヒストグラム作成処理を説明するためのフローチャート。 図４に示したハイパスフィルタの係数の一例を示す図。 図４に示したハイパスフィルタの入出力結果の一例を示す図。

符号の説明

１０…動画像デコーダ、２０…Ｙヒストグラム作成処理部、３０…Ｙヒストグラム整形処理部、４０…入出力補正特性作成処理部、５０…補正ルックアップテーブル作成処理部、６０…補正ルックアップテーブル記憶部、７０…Ｙ補正処理部、８０…ＲＧＢ／ＹＵＶ変換部。

Claims (4)

1. 画像信号からフレームを構成する各画素の輝度値を検出する第１検出手段と、
   画素毎に、その画素を中心とした所定の領域の高周波成分の振幅を前記画像信号から検出して、その画素を含む領域の絵柄の複雑さを検出する第２検出手段と、
   前記第２検出手段が検出した複雑さに応じた度数を各画素に設定する重み付け手段と、
   前記第１検出手段が検出した各画素の輝度値に基づいて、前記重み付け手段が設定した各画素の度数を輝度値毎に集計したヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段が作成したヒストグラムに基づいて、輝度値方向に累積加算した補正特性を作成する補正特性作成手段と、
   前記補正特性作成手段が作成した補正特性に基づいて、前記画像信号の輝度を補正する補正手段とを具備することを特徴とする画像処理装置。
2. 前記重み付け手段は、前記第２検出手段が検出した高周波成分の振幅に応じた度数を各画素毎に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、
   前記補正特性作成手段が作成した補正特性に基づいて、輝度値と補正値とを対応付けたテーブルを作成するテーブル作成手段と、
   前記テーブル作成手段が作成したテーブルを参照して、前記画像信号の輝度を補正値に変換する変換手段とを備えることを特徴とする請求項１に記載の画像処理装置
4. 画像信号からフレームを構成する各画素の輝度値を検出する第１検出工程と、
   画素毎に、その画素を中心とした所定の領域の高周波成分の振幅を前記画像信号から検出して、その画素を含む領域の絵柄の複雑さを検出する第２検出工程と、
   前記第２検出工程で検出した複雑さに応じた度数を各画素に設定する重み付け工程と、
   前記第１検出工程で検出した各画素の輝度値に基づいて、前記重み付け工程で設定した各画素の度数を輝度値毎に集計したヒストグラムを作成するヒストグラム作成工程と、
   前記ヒストグラム作成工程で作成したヒストグラムに基づいて、輝度値方向に累積加算した補正特性を作成する補正特性作成工程と、
   前記補正特性作成工程で作成した補正特性に基づいて、前記画像信号の輝度を補正する補正工程とを具備することを特徴とする画像処理方法。

Images