JP6334358B2 - 画像信号処理装置およびビット拡張演算処理方法 - Google Patents

Description

本発明は、入力ビット数を拡張して表示する際に、画質劣化を生じさせることのない画像信号処理装置およびビット拡張演算処理方法に関する。

テレビやＰＣおよび携帯端末等の画像ディスプレイにおいては、ＲＧＢそれぞれ８ビットの精度のものが多い。そして、入力画像（ＲＧＢ各８ビット）に対し、何らかの画像信号処理後に表示されるときには、演算誤差の積み重ねによって、信頼できるビット長が８ビットより少なくなって、疑似輪郭が生じることがあった。

画像信号処理の顕著な例としては、ガンマ補正処理があるが、入力８ビットに対してＬＵＴ（ルックアップテーブル）等で階調変換をする際に、ビット精度が落ちることがある。

このような問題を解決するために、あらかじめ、８ビットの入力を例えば１０ビットに拡張して、ＬＵＴに入力する方法がある。図８は、従来の画像信号処理装置の構成図である。具体的には、８ビットの入力画像を１０ビットに拡張した後、ガンマ補正処理を行って８ビットとし、ディスプレイパネルに出力する際の構成を示したものである。このように、ビット拡張処理を施した後に、ガンマ補正などの所望の演算処理を施すことで、ビット精度の劣化を抑えることが検討されている。

しかしながら、従来技術には、以下のような演算精度の問題、および階調変換の問題がある。
（１）演算精度の問題について
フィルタ等では積和演算が主である。ここで、簡単のために、固定長演算で８ビットの入力と８ビットの係数の積和演算を考える。図９は、従来の画像信号処理装置において積和演算を行うことによって精度劣化が生じる状態を説明するための図である。途中演算でビット精度を維持したとしても、最終的に８ビットに丸めて出力すると、有効桁は、７ビットになる。

また、フィルタを２段使用した場合には、有効桁は、さらに１ビット少なくなり、６ビットになる。このように、演算が重なるに従って、有効桁が少なくなり、結果として、６ビットや５ビット精度の画像になることで、グラデーション部において疑似輪郭が見えるなどといった問題が生じることがある。

（２）階調変換の問題について
例えば、ガンマ変換を考えた場合、８ビット入力で８ビット出力のガンマ変換では、画素値の存在範囲が飛び飛びになることがある。図１０は、従来の画像信号処理装置において、階調変換を行った際のヒストグラムの変化の様子を説明するための図である。具体的には、図１０（ａ）は、８ビット入力データに対して、ガンマ変換を施して８ビット出力データを得た際の変換カーブを示している。また、図１０（ｂ）は、入力画像のヒストグラム、図１０（ｃ）は、ガンマ変換後の画像のヒストグラムを示している。図１０（ｂ）と図１０（ｃ）との比較から明らかなように、ガンマ変換後は、画素値の頻度分布に飛び飛びの変化が生じ、元の画像の滑らかさが失われることがある。

以上の内容を整理すると、以下のようになる。例えば、８ビットの入力画像に対し、輝度補正や色調補正あるいは画質改善のために、何らかの階調変換やフィルタ処理が行われることがある。しかしながら、その演算過程においては、ハードウェアの制約のため、演算の丸め誤差が蓄積し、信頼できるビット精度が６ビットや５ビットよりも少なくなることがある。結果として、グラデーション部に疑似輪郭等の画質劣化が見えることが問題となっている。

また、このような問題は、入力画像を単純にビット拡張しただけでは改善されず、画像劣化を防止するために、入力画像の輝度分布状態に応じて適切にビット拡張処理を行うことが望まれていた。

本発明は、前記のような課題を解決するためになされたものであり、演算誤差の蓄積で精度を落とさず、あらかじめ、疑似輪郭等の画質劣化を防止するように、入力画像の輝度分布状態に応じて、ｐビットからｑビットへ高精度に階調を拡張することのできる画像信号処理装置およびビット拡張演算処理方法を得ることを目的とする。

本発明に係る画像信号処理装置は、輝度値がｐビットの分解能を有するディジタル入力画像を、ｑビット（ｐ＜ｑ）にビット拡張するビット拡張処理部を備えた画像信号処理装置であって、ビット拡張処理部は、ディジタル入力画像における注目画素の輝度値をビット拡張する際に、注目画素の周囲に存在する複数の周囲画素の輝度値と、注目画素の輝度値との大小関係から、注目画素の輝度値に重み付けを付加し、重み付けが付加された後の注目画素の輝度値に対してゲイン補正を行うことで、ｐビットからｑビットへのビット拡張処理を実行するものである。

また、本発明に係るビット拡張演算処理方法は、輝度値がｐビットの分解能を有するディジタル入力画像を、ｑビット（ｐ＜ｑ）にビット拡張するビット拡張処理部を備えた画像信号処理装置で実行されるビット拡張演算処理方法であって、ビット拡張処理部において、ディジタル入力画像における注目画素の輝度値をビット拡張する際に、注目画素の周囲に存在する複数の周囲画素の輝度値と、注目画素の輝度値との大小関係から、注目画素の輝度値に重み付けを付加する重み付けステップと、重み付けが付加された後の注目画素の輝度値に対してゲイン補正を行うことで、ｐビットからｑビットへのビット拡張処理を実行するゲイン補正ステップとを有するものである。

本発明によれば、所望の信号処理を実行する前段階で、ｐビットの入力画像に対して、入力画像の局所的な特徴を生かして、あらかじめｑビットにビット拡張処理を行っておく構成を備えている。この結果、演算誤差の蓄積で精度を落とさず、あらかじめ、疑似輪郭等の画質劣化を防止するように、入力画像の輝度分布状態に応じて、ｐビットからｑビットへ高精度に階調を拡張することのできる画像信号処理装置およびビット拡張演算処理方法を得ることができる。

本発明の実施の形態１における画像信号処理装置の構成図である。 本発明の実施の形態１におけるビット拡張処理部によるビット拡張アルゴリズを説明するための図である。 本発明の実施の形態１におけるビット拡張処理部において選択可能な３種類の周囲画素パターンを例示した図である。 本発明の実施の形態１の均等量子化時における画素値の存在範囲（値域）とゲイン補正の考え方を説明するための図である。 本発明の実施の形態１における画像の局所的特徴を利用する効果を説明するための図である。 本発明の実施の形態１におけるビット拡張処理部の詳細構成を示した図である。 本発明の実施の形態１におけるビット拡張処理部および表示画像生成処理部による一連処理を示したフローチャートである。 従来の画像信号処理装置の構成図である。 従来の画像信号処理装置において積和演算を行うことによって精度劣化が生じる状態を説明するための図である。 従来の画像信号処理装置において、階調変換を行った際のヒストグラムの変化の様子を説明するための図である。

本発明は、ｐビット（例えば、８ビット）の入力画像に対し、入力画像の輝度分布状態に応じて、画像の局所的な特徴を活かして、あらかじめｑビット（例えば、１０ビットや１２ビット）に階調を高精度に拡張することで、ビット拡張後の入力画像に対する演算後の信頼できるビット精度を、８ビット以上に保つことができ、画質劣化を生じさせることのない画像信号処理装置およびビット拡張演算処理方法を実現することを技術的特徴とするものである。そこで、本発明の画像信号処理装置およびビット拡張演算処理方法の好適な実施の形態につき図面を用いて、以下に説明する。

実施の形態１．
図１は、本発明の実施の形態１における画像信号処理装置の構成図である。本実施の形態１における画像信号処理装置１０は、ビット拡張処理部１１および表示画像生成処理部１２で構成され、表示画像生成処理部１２による処理後の出力画像が、ディスプレイパネル２０に表示される。なお、図１においては、入力画像が８ビット、ビット拡張処理後の画像が１０ビット、出力画像が８ビットの場合を一例として示している。

ただし、本発明は、図１に例示したような、８ビットから１０ビットへの拡張に限定されるものではなく、ビット拡張処理部１１により、入力画像の輝度分布状態に応じて、画像の局所的な特徴を活かして、入力画像ｐビットをｑ（ｑ＞ｐ）ビットに拡張することで、その後の表示画像生成処理部１２による処理後の画像品質の劣化を防止することがポイントである。

次に、入力画像ｐビットをｑビットに拡張する場合について、一般化して、本実施の形態１におけるビット拡張アルゴリズムのコア部分を説明する。図２は、本発明の実施の形態１におけるビット拡張処理部１１によるビット拡張アルゴリズを説明するための図である。

本実施の形態１におけるビット拡張処理部１１は、図２に示す注目画素Ｘ５の周辺の８個の画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９の変化について、局所的な特徴を検出するために、以下の比較演算を行う。

比較演算の結果、注目画素Ｘ５よりも周辺の８個の画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９が全て小さかった場合には、ｓｕｍ＝−８となり、逆に、注目画素Ｘ５よりも周辺の８個の画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９が全て大きかった場合には、ｓｕｍ＝＋８となる。従って、ｓｕｍは、周辺の８個の画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９と、注目画素Ｘ５との大小関係に応じて、−８〜＋８の値をとることとなる。

そして、この変化の様子を表す指標値として算出されたｓｕｍに対して重みづけをして、オフセットの０．５と合わせて、もとの画素値Ｘ５に加減することで、ビット拡張を行う。

このビット拡張処理において、元の量子化された画素値の存在範囲を超えないように正規化するための係数が、１／１６であり、ｗｇｔは、−０．５〜＋０．５の範囲に制限される。

また、ｍａは、ビット拡張の効き具合を調整するための係数であり、通常０．０〜１．０の値である。ｍａを１．０以上に設定するときは、最終的なｗｇｔを−０．５〜＋０．５の範囲にクリップする必要がある。

さらに、全体のゲインを補償するための係数が、（２^ｑ−１）／２^ｐである。

各注目画素に対して、このような演算処理を行うことで、画像の局所的な特徴である周囲の画素の影響を反映させて、注目画素のビット拡張処理を行うことができる。

なお、図２においては、周囲の８個の画素を、注目画素Ｘ５に隣接する画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９として規定した。しかしながら、注目画素Ｘ５に対して、隣接する画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９がほとんど変化しないような画像に対しては、注目画素Ｘ５に対して、隣接する画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９の影響を十分に反映できないことが考えられる。

そこで、本発明では、入力画像の輝度分布状態に応じて、周囲の画素として、隣接する画素Ｘ１〜Ｘ４、Ｘ６〜Ｘ９よりも遠方の８つの画素を選択することを可能としている。この内容を、図３を用いて、説明する。図３は、本発明の実施の形態１におけるビット拡張処理部１１において選択可能な３種類の周囲画素パターンを例示した図である。

図３には、選択可能な周囲画素パターンとして、以下の３つのパターンが示されている。なお、図３において、斜めのハッチングで示した画素が、注目画素に相当する。
パターンＡ：注目画素に隣接する８個の画素ａ１〜ａ４、ａ６〜ａ９を周囲画素として規定したもの。
パターンＢ：注目画素から１画素隔てた位置の８個の画素ｂ１〜ｂ４、ｂ６〜ｂ９を周囲画素として規定したもの。
パターンＣ：注目画素から２画素隔てた位置の８個の画素ｃ１〜ｃ４、ｃ６〜ｃ９を周囲画素として規定したもの。

次に、パターンＡとパターンＢの選択を例に、具体的に説明する。まず、ビット拡張処理部１１は、注目画素を中心とした３×３の領域の９画素の輝度値に関する分散値を算出する。そして、算出した分散値が、あらかじめ設定した判定用閾値よりも大きい場合には、ビット拡張処理部１１は、注目画素に対して、８個の画素ａ１〜ａ４、ａ６〜ａ９がばらついているため、これらの影響を反映させたビット拡張処理を行うことが適切であると判断し、周囲画素としてパターンＡを採用する。

一方、算出した分散値が、あらかじめ設定した判定用閾値以下の場合には、ビット拡張処理部１１は、注目画素に対して、８個の画素ａ１〜ａ４、ａ６〜ａ９がばらついていないため、これらの影響を反映させたビット拡張処理を行うことは不適切であると判断し、周囲画素として、パターンＡの代わりに、パターンＡよりも遠方のパターンＢを採用する。

なお、遠方のパターンとしては、パターンＢではなく、パターンＣを採用するように、あらかじめ設定しておくことも可能である。

また、ビット拡張処理部１１は、注目画素を中心とした５×５の領域の分散値に基づいて、周囲画素として、パターンＢとパターンＣのいずれを採用すべきかを、同様の処理によって判断することが可能である。

次に、図４、図５を用いて、本実施の形態１におけるビット拡張処理の原理および有効性について説明する。まず、図４は、本発明の実施の形態１の均等量子化時における画素値の存在範囲（値域）とゲイン補正の考え方を説明するための図である。なお、説明を簡略化するために、図４では、２ビットから３ビットへのビット拡張を一例として示している。

図４に示すように、００〜１１の４つの値域を有する２ビットデータは、ゲイン補正を行ってビット拡張を行うことで、０００〜１１１の８つの値域を有する３ビットデータへと拡張される。ここで、例えば、２ビットの値域０１をビット拡張する際に、３ビットでの値域として、０１１あるいは０１０のいずれの値に拡張すべきかが問題となる。単純にどちらか一方にビット拡張してしまうと、ビット拡張後のデータに片寄りが発生してしまう。

これに対して、本発明では、ビット拡張する際に、注目画素の値だけに依存して、特定のビットにゲイン補正を行ってしまうのではなく、周囲画素における輝度値の局所的特徴を考慮して、例えば、２ビットの値域０１を、０１１あるいは０１０のどちらかに拡張すべきかを決定している。この結果、ビット拡張後のデータが、局所的特徴に基づいて、全ての値域に存在することとなる。

次に、図５は、本発明の実施の形態１における画像の局所的特徴を利用する効果を説明するための図である。なお、説明を簡略化するために、図５では、２ビットデータを例に、注目画素Ｘ５に対して、水平方向の周囲画素Ｘ４、Ｘ６の局所的特徴を考慮することによる効果を示している。

図５の例では、ビット拡張前の２ビットデータ画像において、注目画素Ｘ５の輝度値（信号値）が０１であり、注目画素Ｘ５の水平方向の周囲画素Ｘ４、Ｘ６の輝度値がともに１０である状態を示している。このような状態において、本発明では、周囲画素Ｘ４、Ｘ６の局所的特徴を考慮することで、注目画素Ｘ５は、図５に示したような、値域１０に近い「真の存在範囲」のデータであると推測し、３ビットに拡張する際には、値域０１１となるようにしている。

なお、図５では、値域０１の中の上半分の位置が「真の存在範囲」として特定されているが、局所的特徴に応じて、下半分の位置を「真の存在範囲」と特定する場合もある。そして、本発明では、先の数式で示したような比較演算処理をそれぞれの注目画素に対して実行し、周囲画素の局所的特徴を考慮した重み付けを行った上でビット拡張を行うことで、このような図５で説明した「真の存在範囲」を特定した上で、適切なビット拡張処理を実現している。

次に、ビット拡張処理部１１の詳細な構成および詳細な処理内容について、図面を用いて説明する。図６は、本発明の実施の形態１におけるビット拡張処理部１１の詳細構成を示した図である。また、図７は、本発明の実施の形態１におけるビット拡張処理部１１および表示画像生成処理部１２による一連処理を示したフローチャートである。そこで、先の数式で示した演算処理、および図６の内部構成を踏まえて、図７によるフローチャートに示した一連処理を説明する。

なお、以下の説明では、ｎ＝５とし、注目画素のビット拡張を行う際に考慮する局所的特徴の対象となる周囲画素を、先の図３に示したパターンＡ（周囲画素をａ１〜ａ４、ａ６〜ａ９とする場合）と、パターンＢ（周囲画素をｂ１〜ｂ４、ｂ６〜ｂ９とする場合）のいずれかに切り換える場合について説明する。

入力されたｐビットのデータは、一旦、ｎラインメモリ１１１に蓄えられる（ステップＳ７０１）。次に、ｎ×ｎデータ読出し部１１２は、ｎラインメモリ１１１からは、ｎ×ｎ個のブロックデータを読み出す（ステップＳ７０２）。すなわち、ｎ＝５を例にとると、パターンＡとパターンＢを包含する、５×５の領域が抽出されることとなる。

次に、分散値算出部１１３は、パターンＡを含む３×３の領域について、分散値を算出する（ステップＳ７０３）。そして、平坦度判定部１１４は、分散値算出部１１３で算出された分散値と、平坦度を判定するためにあらかじめ設定された閾値ＴＨ１とを比較し、分散値が閾値ＴＨ１よりも小さいときには０（分散値が小さいことから、平坦度が高く、３×３の領域が平坦部分であると判定したことに相当）、分散値が閾値ＴＨ１以上のときには１（分散値が大きいことから、平坦度が低く、３×３の領域が平坦部ではないと判定したことに相当）を、判定結果として出力する（ステップＳ７０４）。

次に、３×３データ読出し部１１５は、平坦度判定部１１４の判定結果が１のときは、最近傍の３×３のデータを、ｎラインメモリ１１１から読み出す（ステップＳ７０５）。すなわち、注目画素と、注目画素に対してＡパターンとして規定される周囲画素ａ１〜ａ４、ａ６〜ａ９とから構成される３×３のデータを読み出す。

一方、３×３データ読出し部１１５は、平坦度判定部１１４の判定結果が０のときは、遠方より３×３のデータを、ｎラインメモリ１１１から読み出す（ステップＳ７０６）。すなわち、注目画素と、注目画素に対してＢパターンとして規定される周囲画素ｂ１〜ｂ４、ｂ６〜ｂ９とから構成される３×３のデータを読み出す。

このようにして、３×３データ読出し部１１５は、平坦度判定部１１４の判定結果に応じて、周囲画素が平坦でない場合には、注目画素に近い８画素を周囲画素として収集し、周囲画素が平坦である場合には、注目画素から遠い８画素を周囲画素として収集することで、入力画像の輝度分布状態に応じて、ビット拡張処理を行うために適切な３×３のデータを読み出すことができる。

次に、データ比較総和値算出部１１６は、総和値ｓｕｍを０に初期化するとともに、ステップＳ７０５またはステップＳ７０６で読み出した３×３のデータを、先の図２に示したようなＸ１〜Ｘ９としてセットする（ステップＳ７０７）。

次に、データ比較総和値算出部１１６は、３×３データ読出し部１１５で読み出された３×３のデータのうち、中心部Ｘ５を注目画素とし、その周辺のデータＸｉ（ｉ＝１〜４、６〜９）との比較により、Ｘ５が小さい時は＋１とし、Ｘ５が大きい時は−１として、総和値ｓｕｍを算出する（ステップＳ７０８〜ステップＳ７１３）。

さらに、正規化補正部１１７は、データ比較総和値算出部１１６で算出された総和値ｓｕｍに対し、先に数式として示したような適切な正規化処理を行い、注目画素Ｘ５に加算した上で、適切なゲイン補正を行い、ｑビットに拡張されたデータを出力する（ステップＳ７１４、ステップＳ７１５）。

以上のように、実施の形態１によれば、入力画像の局所的な特徴を生かして、周囲画素の平坦度に応じて、注目画素の重み付けを適切に行うことで、入力画像の輝度分布状態に応じて、入力画像ｐビット（例えば、８ビット）のデータを、ｑビット（例えば、１０ビットや１２ビット）に精度よく拡張できる。この結果、途中の丸め演算による誤差の蓄積を抑えることができ、疑似輪郭等の画質劣化を防止できる。

また、８ビットの入力画像に対して、本発明のビット拡張手法を実行することで、１０ビットや１２ビットを表現できる高精度ディスプレイに対し、高階調表示が実現できる。さらに、本発明のビット拡張手法は、簡単な比較演算をベースに実施できるため、ソフトウェア的にもハードウェア的にも軽く、安価に高精度化を実現できるメリットがある。

なお、本実施の形態１では、入力画像の局所的な特徴を得るための周囲画素として、図３に示したようなパターンＡ〜パターンＣのいずれかを選択する場合について説明したが、周囲画素の集合は、このようなパターンに限定されるものではない。例えば、パターンＡで示した注目画素に隣接する８つの画素よりも、注目画素から遠方の位置にある画素の集合を、パターンＢ、パターンＣの代わりに、遠方の周囲画素として設定することも可能である。

入力画像の輝度分布状態によっては、例えば、パターンＢ、パターンＣの両方の要素からなる画素の集合を、遠方の周囲画素として規定することができる。あるいは、注目画素から１画素以上の間隔を空けて、ある距離範囲に含まれるような画素の集合を、遠方の周囲画素として規定することもできる。

また、近傍の周囲画素自体も、パターンＡで示した注目画素に隣接する８つの画素に限定する必要はない。入力画像の輝度分布状態によっては、例えば、パターンＡ、パターンＢの両方の要素からなる画素の集合を、近傍の周囲画素として規定する、あるいは、パターンＢを近傍の周囲画素として規定することができる。

いずれにせよ、注目画素に対して、ある一定の距離範囲内の領域を近傍の周囲画素として規定し、近傍の周囲画素よりも、注目画素から遠方に位置する画素の集合を遠方の周囲画素として規定することが可能である。そして、近傍の周囲画素と注目画素からなる画素の集合のばらつき具合に応じて、周囲画素の選択を近傍か遠方に切り換えることができればよい。

１０ 画像信号処理装置、１１ ビット拡張処理部、１２ 表示画像生成処理部、２０ ディスプレイパネル、１１１ ｎラインメモリ、１１２ ｎ×ｎデータ読出し部、１１３ 分散値算出部、１１４ 平坦度判定部、１１５ ３×３データ読出し部、１１６ データ比較総和値算出部、１１７ 正規化補正部。

Claims (4)

1. 輝度値がｐビットの分解能を有するディジタル入力画像を、ｑビット（ｐ＜ｑ）にビット拡張するビット拡張処理部を備えた画像信号処理装置であって、
   前記ビット拡張処理部は、前記ディジタル入力画像における注目画素の輝度値をビット拡張する際に、前記注目画素の周囲に存在する複数の周囲画素の輝度値と、前記注目画素の輝度値との大小関係から、前記注目画素の輝度値に重み付けを付加し、前記重み付けが付加された後の前記注目画素の輝度値に対してゲイン補正を行うことで、ｐビットからｑビットへのビット拡張処理を実行する
   画像信号処理装置。
2. 前記ビット拡張処理部は、前記注目画素を中心とした３×３画素の領域における輝度値の分散値を算出し、算出した前記分散値が、あらかじめ設定した判定閾値よりも大きい場合には、前記注目画素に隣接する８つの画素を前記周囲画素として設定し、算出した前記分散値が、あらかじめ設定した判定閾値以下の場合には、前記注目画素に隣接する前記８つの画素よりも、前記注目画素から遠方の位置にある画素の集合を前記周囲画素として設定することで、前記ビット拡張処理を実行する
   請求項１に記載の画像信号処理装置。
3. 前記ビット拡張処理部は、
   前記ゲイン補正を行った後のビット拡張データが、前記ｑビットで表現できる値域を超えないように、前記重み付けに対して正規化を行い、正規化後の重み付けが付加された後の前記注目画素の輝度値に対してゲイン補正を行うことで、ｐビットからｑビットへのビット拡張処理を実行する
   請求項１または２に記載の画像信号処理装置。
4. 輝度値がｐビットの分解能を有するディジタル入力画像を、ｑビット（ｐ＜ｑ）にビット拡張するビット拡張処理部を備えた画像信号処理装置で実行されるビット拡張演算処理方法であって、
   前記ビット拡張処理部において、
   前記ディジタル入力画像における注目画素の輝度値をビット拡張する際に、前記注目画素の周囲に存在する複数の周囲画素の輝度値と、前記注目画素の輝度値との大小関係から、前記注目画素の輝度値に重み付けを付加する重み付けステップと、
   前記重み付けが付加された後の前記注目画素の輝度値に対してゲイン補正を行うことで、ｐビットからｑビットへのビット拡張処理を実行するゲイン補正ステップと
   を有するビット拡張演算処理方法。

Images