JP4241608B2 - 画像信号処理装置および画像信号処理方法 - Google Patents

Description

本発明は、デジタル入力画像信号に対し多階調表示を行う表示装置において、階調不足による画質劣化を改善するための画像信号処理装置および画像信号処理方法に関する。

表示可能な階調数が少ない表示装置において多階調表示を行う場合、明暗の滑らかな変化を表示できず、その結果、明るさがステップ状に変化して等高線状の模様が現れ、画質が劣化してしまう。

例えば、プラズマディスプレイパネル（ＰＤＰ）やデジタルミラーデバイス（ＤＭＤ）等のように、１フィールドを輝度重みの異なる複数のサブフィールドに分割してそれぞれのサブフィールドにおける発光・非発光を組み合わせることによって多階調を表示する表示装置においては、動画部分で動画擬似輪郭と呼ばれる特有のノイズが発生することが知られている。これを防止するために、動画擬似輪郭が発生しやすい階調を使用せず、擬似輪郭の発生しにくい階調（以下、「使用可能な階調」と略記する）のみを用いて画像表示を行う方法がある。ここで、使用可能な階調を用いてすべての階調を擬似的に表現するために誤差拡散法を用いることができる。例えば、特許文献１には、表示すべき階調を使用可能な階調に変換する階調変換手段を備え、表示すべき階調が使用可能な階調でない場合には、表示すべき階調をその階調に最も近い使用可能な階調に変換し、このとき発生する誤差を周囲の画素に振分けて加算することにより、使用可能な階調のみを用いて擬似的に表示すべき階調を表示する方法が開示されている。

ここで、コストあるいは実装の面から考えると、階調変換手段としてＳＲＡＭ等のメモリ素子を用いるのが有利であるが、ＳＲＡＭのアクセス時間は比較的遅く、アクセス時間が１データ期間（例えば、１フレームが８５２×４８０画素のとき、１データ期間は約４１ｎｓである）を越える場合には、右隣の画素に誤差を拡散することができないので、このままではＳＲＡＭを階調変換手段として用いることができない。

この問題に対して、特許文献１には、画像信号の下位ビットを仮の誤差として右隣の画素に拡散する方法についても開示されている。
特開２０００−２７６１００号公報

しかしながら、上記の方法によれば右隣の画素に拡散する誤差が正確な値ではないため、正しく誤差拡散処理を行った場合と比べて画質が劣化してしまうという課題があった。

本発明は上記の課題を解決するためになされたものであり、階調を変換する手段のアクセス時間が１データ期間を越えてしまう場合であっても、右隣の画素に正確に誤差を拡散する誤差拡散処理を行うことが可能な画像信号処理装置および画像信号処理方法を提供することを目的とする。

本発明は、Ｍ階調の入力画像信号をＮ階調（Ｎ＜Ｍ）の出力画像信号に変換し、変換により発生する誤差を、対応する画素の周囲の画素に拡散することにより擬似的にＭ階調を表示する画像信号処理装置であって、ある画素に対して拡散すべき誤差の内その画素に対する入力画像信号へ拡散するタイミングに誤差の算出が間に合う誤差を入力画像信号に拡散する第１の加算手段と、第１の加算手段で誤差を拡散された画像信号の階調を出力画像信号の階調の候補となる複数の階調候補に変換する階調候補変換手段と、第１の加算手段で誤差を拡散された画像信号を遅延する遅延手段と、ある画素に対して拡散すべき誤差の内その画素に対する入力画像信号へ拡散するタイミングに誤差の算出が間に合わない誤差を遅延手段で遅延された画像信号に拡散する第２の加算手段と、第２の加算手段で誤差を拡散された画像信号の階調に基づき階調候補変換手段で変換された複数の階調候補の中から出力画像信号として１つの階調を選択する階調選択手段と、第２の加算手段で誤差を拡散された画像信号の階調と階調選択手段で出力画像信号として選択された階調との差分を変換により発生する誤差として算出する誤差算出手段とを有することを特徴とする。この構成により、階調を変換する手段のアクセス時間が１データ期間を越えてしまう場合であっても、右隣の画素に正確に誤差を拡散する誤差拡散処理を行うことが可能な画像信号処理装置を提供することができる。

また、本発明の画像信号処理装置の複数の階調候補は、Ｎ階調の内、第１の加算手段の出力の階調以下でありかつ第１の加算手段の出力の階調に最も近い階調と、その階調の次に大きい階調と、さらにその階調の次に大きい階調であってもよい。この構成により表示誤差を正の数に限定できるので回路構成を簡素化できる。

また、本発明は、Ｍ階調の入力画像信号をＮ階調（Ｎ＜Ｍ）の出力画像信号に変換し、変換により発生する誤差を、対応する画素の周囲の画素に拡散することにより擬似的にＭ階調を表示する画像信号処理方法であって、ある画素に対して拡散すべき誤差の内その画素に対する入力画像信号へ拡散するタイミングに誤差の算出が間に合う誤差を入力画像信号に拡散するステップ１と、ステップ１で誤差を拡散された画像信号の階調を出力画像信号の階調の候補となる複数の階調候補に変換するステップ２と、ステップ１で誤差を拡散された画像信号を遅延するステップ３と、ある画素に対して拡散すべき誤差の内その画素に対する入力画像信号へ拡散するタイミングに誤差の算出が間に合わない誤差をステップ３で遅延された画像信号に拡散するステップ４と、ステップ４で誤差を拡散された画像信号の階調に基づきステップ２で変換された複数の階調候補の中から出力画像信号として１つの階調を選択するステップ５と、ステップ４で誤差を拡散された画像信号の階調とステップ５で出力画像信号として選択された階調との差分を変換により発生する誤差として算出するステップ６とを有することを特徴とする。この方法により、階調を変換する手段のアクセス時間が１データ期間を越えてしまう場合であっても、右隣の画素に正確に誤差を拡散する誤差拡散処理を行うことが可能な画像信号処理方法を提供することができる。

また、本発明の画像信号処理方法の複数の階調候補は、Ｎ階調の内、ステップ１における出力の階調以下でありかつステップ１における出力の階調に最も近い階調と、その階調の次に大きい階調と、さらにその階調の次に大きい階調であってもよい。この方法により表示誤差を正の数に限定できるので回路構成を簡素化できる。

本発明の画像信号処理装置および画像信号処理方法によれば、階調を変換する手段のアクセス時間が１データ期間を越えてしまう場合であっても、右隣の画素に正確に誤差を拡散する誤差拡散処理を行うことが可能な画像信号処理装置および画像信号処理方法を提供することができる。

（実施の形態）
以下、図面を参照して本発明の一実施の形態による画像信号処理装置について説明する。図１は本実施の形態における使用可能な階調と入力画像信号の階調との対応の一例を示す図である。このように本実施の形態においては、使用可能な階調が０、１、３、６、１２、２３、４１、７１、１１５、１７５、２５５であり、これら１１個の階調を用いて０から２５５までの２５６階調を表示するものとして説明する。また、１フレームが８５２×４８０画素で構成されており、１データ期間が約４１ｎｓであるものとして説明する。しかし本発明はこれらの数値に限定されるものではない。

まず、本発明の画像信号処理方法の考え方について説明する。図２は誤差拡散処理の基本的な考え方を説明するための図である。図２（ａ）に示すように、ある１つの画素Ｐ０に注目し、対応する画像信号を入力したとする。このとき注目画素Ｐ０の１ライン前の画素Ｐ１、Ｐ２、Ｐ３および直前画素Ｐ４の表示誤差それぞれに重み係数ｋ１、ｋ２、ｋ３およびｋ４をそれぞれ乗算し、これらの合計を注目画素Ｐ０の入力画像信号に加算する。そしてこの加算した画像信号と階調変換手段の数値とを比較し、加算した画像信号に最も近い数値を注目画素Ｐ０の出力画像信号として出力する。それとともに、上記加算した画像信号と出力画像信号との差を表示誤差として求め、その結果に、それぞれ重み係数ｋ５（＝ｋ４）、ｋ６（＝ｋ３）、ｋ７（＝ｋ２）、ｋ８（＝ｋ１）を乗じて注目画素Ｐ０の次の画素Ｐ５と１ライン後の画素Ｐ６、Ｐ７、Ｐ８に拡散する。ここで、各重み係数はｋ１＋ｋ２＋ｋ３＋ｋ４＝１となる値に設定されており、図２には、ｋ１＝ｋ８＝１／１６、ｋ２＝ｋ７＝５／１６、ｋ３＝ｋ６＝３／１６、ｋ４＝ｋ５＝７／１６として図示している。

ここで、１ライン前の画素Ｐ１、Ｐ２、Ｐ３については、それぞれの画素の表示誤差を求め、重み係数倍して注目画素Ｐ０に加算するまで、およそ１ライン期間の時間的余裕がある。１ライン期間は４１ｎｓ×８５２画素＝約３．５μｓであり、階調変換手段としてＳＲＡＭを用いても余裕を持ってアクセスすることができる。しかし、直前画素Ｐ４については、表示誤差を求め、重み係数倍して注目画素Ｐ０に加算するまで、１データ期間の時間的余裕しかない。

そこで本発明の実施の形態における画像信号処理方法は、まず時間的に余裕のある画素、すなわち１ライン前の画素Ｐ１、Ｐ２、Ｐ３の表示誤差それぞれに重み係数ｋ１、ｋ２、ｋ３をそれぞれ乗算した値を求め、これらの合計を注目画素Ｐ０の入力画像信号に加算する。そしてこの加算した画像信号の階調を使用可能な階調に変換するのであるが、この時点では左隣の画素Ｐ４の表示誤差が求まっていないので、画素Ｐ４の誤差を加算したときに変換する可能性のある複数の使用可能な階調候補に変換しておく。そしてその後、左隣の画素Ｐ４で発生した誤差に重み係数ｋ４を乗算し、画素Ｐ１〜Ｐ３の誤差を含む注目画素Ｐ０の画像信号に加算する。そして、この画像信号の階調に最も近い階調を複数の階調候補の中から選択し、注目画素Ｐ０の画像信号として出力するとともに、表示誤差を算出し周囲の画素Ｐ５〜Ｐ８に拡散する。

図３は本実施の形態における使用可能な階調候補と入力画像信号の階調との対応を示す図であり、本実施の形態においては入力画像信号の階調を３つの階調候補に変換している。例えば、注目画素Ｐ０に対応する入力画像信号と１ライン上の３つの画素Ｐ１〜Ｐ３で発生した誤差とを加算した値が「２０」であった場合には、階調候補として「１２」、「２３」、「４１」という３つの階調が出力される。そして、左隣の画素Ｐ４で発生した誤差が、例えば「１６」の場合は「１６」に「７／１６」を乗じ、その結果の「７」が「２０」に加算されて「２７」となり、最終的に「２７」に最も近い「２３」が注目画素Ｐ０の出力画像信号として出力される。そして「２７」と「２３」の差分である「４」が誤差として周囲の画素Ｐ５〜Ｐ８に拡散される。

このようにして、ＳＲＡＭのようにアクセス時間が１データ期間を越えてしまうメモリ素子を階調候補変換手段として用いても、右隣の画素に正確に誤差を拡散する誤差拡散処理を行うことが可能となる。

図４は、本発明の実施の形態における画像信号処理装置の構成を示す回路ブロック図である。遅延回路１１０は、１ライン期間と１データ期間から後述するＳＲＡＭのアクセス時間を引いた時間だけ画像信号を遅延し、乗算回路１１４は遅延回路１１０の出力に重み係数ｋ１を乗ずる。遅延回路１０９は１ライン期間からＳＲＡＭのアクセス時間を引いた時間だけ画像信号を遅延し、乗算回路１１３は遅延回路１０９の出力に重み係数ｋ２を乗ずる。遅延回路１０８は１ライン期間から１データ期間とＳＲＡＭのアクセス時間を引いた時間だけ画像信号を遅延し、乗算回路１１２は遅延回路１０８の出力に重み係数ｋ３を乗ずる。遅延回路１０７は１データ期間の時間だけ画像信号を遅延し、乗算回路１１１は遅延回路１０７の出力に重み係数ｋ４を乗ずる。

第１の加算手段としての第１の加算回路１０１は、入力された画像信号と乗算回路１１４の出力と乗算回路１１３の出力と乗算回路１１２の出力とを加算する。ここで、入力された画像信号が注目画素Ｐ０に対応する画像信号とすると、乗算回路１１４、１１３、１１２の出力は画素Ｐ１、Ｐ２、Ｐ３からの誤差信号である。

階調候補変換手段１０２は第１の加算回路１０１の出力に対し、図３に示したように３つの階調候補を出力する。ここで階調候補を、使用可能なＮ階調の内、第１の加算回路１０１の出力の階調以下でありかつ第１の加算回路１０１の出力の階調に最も近い階調と、その階調の次に大きい階調と、さらにその階調の次に大きい階調となるように変換しておくと、表示誤差が負の数になることがなく第１の加算回路１０１や第２の加算回路１０４等の回路構成を簡素化できる。

階調候補変換手段１０２はアクセス時間の遅いメモリ素子、本実施の形態においてはアクセス時間が１データ期間の５倍であるＳＲＡＭを用いて構成されている。遅延手段としての遅延回路１０３は、第１の加算回路１０１の出力を階調候補変換手段１０２のアクセス時間と同じ時間だけ遅延する。したがって本実施の形態においては遅延回路１０３の遅延時間は５データ期間に等しい。

第２の加算手段としての第２の加算回路１０４は遅延回路１０３で遅延された画像信号と乗算回路１１１の出力とを加算する。乗算回路１１１の出力は画素Ｐ４からの誤差に対応するので、第２の加算回路１０４の出力には４つの隣接画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の誤差が拡散されている。

階調選択手段１０５は、階調候補変換手段１０２から出力された３つの階調候補の中から、第２の加算回路１０４の出力に最も近い階調を選択し、出力画像信号として出力する。誤差算出手段としての差分回路１０６は、表示誤差、すなわち第２の加算回路１０４で誤差を拡散された画像信号の階調と階調選択手段１０５で出力画像信号として選択された階調との差分を求め、遅延回路１１０、１０９、１０８、１０７に注目画素Ｐ０に対する表示誤差として出力する。

図５は本発明の実施の形態における階調選択手段１０５の回路ブッロク図の一例である。差分回路１２１、１２２、１２３のそれぞれは、第２の加算回路１０４の出力と３つの階調候補のそれぞれとの差を求める。最小値選択回路１２４は、差分回路１２１、１２２、１２３の出力の内、その絶対値の最も小さい値を選択する。そして加算回路１２５は、最小値選択回路１２４の出力に第２の加算回路１０４の出力を加算することにより、３つの階調候補の中で第２の加算回路１０４の出力に最も近い階調を出力する。このように階調選択手段１０５はランダムロジックを用いて構成することができるので、高速処理が可能である。

図６は本発明の実施の形態における画像信号処理装置の動作を説明するためのタイミング図である。なお、説明を簡単にするために、第１の加算回路１０１、第２の加算回路１０４、乗算回路１１１〜１１４、差分回路１０６および階調選択手段１０５の処理時間は１データ期間と比較して十分に速く、無視できるものと仮定する。また、階調候補変換手段１０２のアクセス時間は５データ期間であるものと仮定する。

注目画像Ｐ０に対応する入力画像信号Ｓ０が入力されるデータ期間をＴ０とする。上述したように、１ライン前の画素Ｐ１、Ｐ２、Ｐ３から拡散される誤差を求めるまでおよそ１ライン期間あるので、遅延回路１１０、１０９、１０８の遅延量を調節することにより乗算回路１１４、１１３、１１２から注目画素Ｐ０に拡散される誤差Δε１、Δε２、Δε３の出力を期間Ｔ０に合わせることができる。したがって、期間Ｔ１において誤差Δε１、Δε２、Δε３を加算された信号Ｓ’０が第１の加算回路１０１から出力される。

階調候補変換手段１０２のアクセス時間は５データ期間であるので、３つの階調候補Σ０ａ、Σ０ｂ、Σ０ｃが出力されるのは期間Ｔ５である。このとき遅延回路１０３によって信号Ｓ’０も期間Ｔ５まで遅延される。ここで期間Ｔ５において左隣の画素Ｐ４から拡散される誤差Δε４があれば、注目画素Ｐ０に対する出力信号Σ０と表示誤差ε０を求めることができる。ところで、左隣の画素Ｐ４の画像信号は注目画素Ｐ０の１クロック期間前に入力されているので、期間Ｔ５の１クロック期間前である期間Ｔ４において画素Ｐ４に対する表示誤差ε４が求まっている。したがって、遅延回路１０７で１データ期間遅延し、乗算回路１１１で重み係数を乗ずることによって、期間Ｔ５において注目画素Ｐ４から画素Ｐ０に拡散すべき誤差Δε４が得られる。

このようにして本発明の実施の形態によれば、階調候補変換手段１０２のアクセス時間が１データ期間を越える場合であっても正確な誤差拡散処理を行うことができるので、画像信号処理を実行するロジック部から離れたＬＳＩ内の領域またはＬＳＩ外に設けたＳＲＡＭを階調候補変換手段１０２として用いることができる。

なお、本実施の形態においては、図３に示したように複数の階調候補として階調そのものをＳＲＡＭ等の記憶素子に格納した。しかし、階調そのものを格納するのではなく、階調候補の値と次の階調候補までの差分値とを格納しておき、加算回路等を用いて階調を再生してもよい。図７は、本発明の他の実施の形態における使用可能な階調候補と入力画像信号の階調との対応を示す図である。このように差分値を格納することにより記憶素子の記憶容量を削減することができる。実際、図７に示した値と図３に示した値とを比較すると記憶容量が２ビット分削減されていることが分かる。

また、ここでは３つの階調候補を備えた場合について説明したが、階調候補の数は必要に応じて任意の数に設定することができる。

さらに、本発明の実施の形態においては、第１の加算回路１０１、第２の加算回路１０４、乗算回路１１１〜１１４、差分回路１０６および階調選択手段１０５の処理時間は無視できるものと仮定したが、これらの回路の処理時間がある程度大きい場合には、遅延回路１０３、１０７、１０８、１０９、１１０の遅延時間を調整することにより上述の効果を得ることができる。

本発明の画像信号処理装置および画像信号処理方法は、階調候補変換手段のアクセス時間が１データ期間を越えてしまう場合であっても、右隣の画素に正確に誤差を拡散する誤差拡散処理を行うことができるので、デジタル入力画像信号に対し多階調表示を行う表示装置において、階調不足による画質劣化を改善するための画像信号処理装置および画像信号処理方法として有用である。

本発明の実施の形態の画像信号処理装置において使用可能な階調と入力画像信号の階調との対応の一例を示す図 誤差拡散処理の基本的な考え方を説明するための図 本発明の実施の形態における使用可能な階調と入力画像信号の階調との対応を示す図 本発明の実施の形態における画像信号処理装置の構成を示す回路ブロック図 本発明の実施の形態における階調選択手段の一例の回路ブッロク図 本発明の実施の形態における画像信号処理装置の動作を説明するためのタイミング図 本発明の他の実施の形態における使用可能な階調と入力画像信号の階調との対応を示す図

符号の説明

１０１ 第１の加算回路
１０２ 階調候補変換手段
１０３，１０７，１０８，１０９，１１０ 遅延回路
１０４ 第２の加算回路
１０５ 階調選択手段
１０６，１２１，１２２，１２３ 差分回路
１１１，１１２，１１３，１１４ 乗算回路
１２４ 最小値選択回路
１２５ 加算回路

Claims (4)

1. Ｍ階調の入力画像信号をＮ階調（Ｎ＜Ｍ）の出力画像信号に変換し、前記変換により発生する誤差を、対応する画素の周囲の画素に拡散することにより擬似的に前記Ｍ階調を表示する画像信号処理装置であって、
   ある画素に対して拡散すべき誤差の内、その画素に対する前記入力画像信号へ拡散するタイミングに誤差の算出が間に合う誤差を前記入力画像信号に拡散する第１の加算手段と、
   前記第１の加算手段で誤差を拡散された画像信号の階調を、出力画像信号の階調の候補となる複数の階調候補に変換する階調候補変換手段と、
   前記第１の加算手段で誤差を拡散された画像信号を遅延する遅延手段と、
   ある画素に対して拡散すべき誤差の内、その画素に対する前記入力画像信号へ拡散するタイミングに誤差の算出が間に合わない誤差を前記遅延手段で遅延された画像信号に拡散する第２の加算手段と、
   前記第２の加算手段で誤差を拡散された画像信号の階調に基づき、前記階調候補変換手段で変換された複数の階調候補の中から前記出力画像信号として１つの階調を選択する階調選択手段と、
   前記第２の加算手段で誤差を拡散された画像信号の階調と前記階調選択手段で前記出力画像信号として選択された階調との差分を、前記変換により発生する誤差として算出する誤差算出手段とを有する画像信号処理装置。
2. 前記複数の階調候補は、前記Ｎ階調の内、前記第１の加算手段の出力の階調以下でありかつ前記第１の加算手段の出力の階調に最も近い階調と、その階調の次に大きい階調と、さらにその階調の次に大きい階調であることを特徴とする請求項１に記載の画像信号処理装置。
3. Ｍ階調の入力画像信号をＮ階調（Ｎ＜Ｍ）の出力画像信号に変換し、前記変換により発生する誤差を、対応する画素の周囲の画素に拡散することにより擬似的に前記Ｍ階調を表示する画像信号処理方法であって、
   ある画素に対して拡散すべき誤差の内、その画素に対する前記入力画像信号へ拡散するタイミングに誤差の算出が間に合う誤差を前記入力画像信号に拡散するステップ１と、
   前記ステップ１で誤差を拡散された画像信号の階調を、出力画像信号の階調の候補となる複数の階調候補に変換するステップ２と、
   前記ステップ１で誤差を拡散された画像信号を遅延するステップ３と、
   ある画素に対して拡散すべき誤差の内、その画素に対する前記入力画像信号へ拡散するタイミングに誤差の算出が間に合わない誤差を前記ステップ３で遅延された画像信号に拡散するステップ４と、
   前記ステップ４で誤差を拡散された画像信号の階調に基づき、前記ステップ２で変換された複数の階調候補の中から前記出力画像信号として１つの階調を選択するステップ５と、
   前記ステップ４で誤差を拡散された画像信号の階調と前記ステップ５で前記出力画像信号として選択された階調との差分を、前記変換により発生する誤差として算出するステップ６とを有する画像信号処理方法。
4. 前記複数の階調候補は、前記Ｎ階調の内、前記ステップ１における出力の階調以下でありかつ前記ステップ１における出力の階調に最も近い階調と、その階調の次に大きい階調と、さらにその階調の次に大きい階調であることを特徴とする請求項３に記載の画像信号処理方法。

Images