JP3958278B2 - 画像処理方法 - Google Patents

Description

本発明は画像処理方法に関するものであり、特にディジタル画像の信号処理方法に関するものである。

近年、薄型のディスプレイとして液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ（ＰＤＰ）、フィールドエミッションディスプレイ（ＦＥＤ）等が注目されている。

ＬＣＤやＰＤＰ、ＦＥＤは、固定画素のマトリックス駆動型のディスプレイであり、ディジタル画像信号によって駆動可能である。

これらのディスプレイの階調数は、各画素に対応した映像信号のビット数により表現される。

一方、人間の見た目にきれいに表示できるよう画像信号に各種信号処理を施し、ディスプレイに表示する技術が考えられている。

たとえば、画像の輪郭部分や高周波成分を強調し、みかけ上解像度の高い画像として表示する、エッジ強調処理がある。

図８は、画像信号にエッジ強調を行う場合の構成を示す図である。

図８中、８００はエッジ強調器である。

入力端子８０１から入力された画像信号は、ハイパスフィルター８０３へ出力するとともに、加算器８０７へ出力する。

ハイパスフィルター８０３では、入力された画像信号の高周波成分を抽出し、乗算器８０５へ出力する。

乗算器８０５では、制御部８０９の指示により、画像の高周波成分をどの程度強調するかを示す強調係数と高周波成分を乗算し、加算器８０７へ出力する。

この強調係数を制御することにより、画像の高周波成分の強調具合を調整することが出来る。

ところで、乗算器８０５から出力される高周波成分のビット精度として、入力端子８０１から入力された８ビットの画像信号を、ハイパスフィルター８０３と、乗算器８０５との演算により、１２ビットに増加させることができる。

すると、加算器８０７では、本来の８ビットの画素信号と、乗算器８０５から出力される１２ビットの調整された高周波成分を加算し、高周波成分が強調された１２ビットの画素信号を四捨五入器８１１へ出力することになる。

なお、制御部８０９より出力される強調係数をマイナスの値をとる事により、エッジ強調をする代わりに、画像を滑らかにすることも出来る。

四捨五入器８１１では、１２ビットの画像信号を８ビットの画素信号にするため、四捨五入により、下位４ビットを捨てて出力端子８１３へ８ビットの画素信号として出力する。

ところで、プリンターなどでは、２値化処理方法として古くからディザ処理による中間調処理方式が提案されている。特に特許文献１に示されるように、プリンターなどの分野では、文字領域や写真領域などに画像分離し、画像領域に応じて２値化処理方法を変える方法がある。
特開２０００−１３４４７１号公報

ところが、エッジ強調を行って画素信号のビット数を増やした後、単純に画素信号の四捨五入を行ってビット数を減らす場合、画像によっては、擬似輪郭を発生しやすい。

特に、一面の青空のような自然画のように、ダイナミックレンジが狭い画像は、隣接した画素の相関が高く、擬似輪郭が発生しやすく、また視覚上、より目に付きやすい。

一方、擬似輪郭を防止するために、四捨五入のかわりに、常時ディザ処理を行う場合には、ダイナミックレンジが広い画像や、エッジ強調処理がなされた画像は、隣接した画素に相関があまりなく、擬似輪郭も発生し難いので、ディザ処理を施してもあまり効果がない。逆にこの場合は、ディザ処理による固定パターン状のノイズが目に付き、ディザによる弊害が発生し易い。

本発明は上記の従来技術の課題を鑑みなされたもので、その目的とするところは、効果的に擬似輪郭の発生を抑制し、高画質な表示を行うことが可能な画像処理方法を提供することにある。

本発明の画像処理方法は、入力された画像データのダイナミックレンジを検出するダイナミックレンジ検出工程と、
入力された画像データに階調数の増大を伴うエッジ強調処理処理を施すエッジ強調工程と、
入力された画像データに１画素あたりの階調数の低下を伴うディザ処理を、複数のディザマトリクスを用いて施すディザ処理工程とからなる画像処理方法において、
前記ディザ処理工程は、前記エッジ強調が相対的に弱い処理の場合又は前記ダイナミックレンジが相対的に狭い画像の場合には、複数ビットの閾値からなるディザマトリクスを選択することによって、前記ディザ処理における擬似階調数が増大するように処理することを特徴とする。

本発明によれば、入力画像信号のダイナミックレンジの大きさとエッジ強調の強弱に応じて、ディザによる擬似階調数を制御することができる。これにより、より効果的に擬似輪郭を抑制し、高画質な表示を行い得る信号処理を施すことが出来る。

具体的には、エッジ強調が相対的に弱い処理モードの場合には、当該モードよりエッジ強調が強い処理モードの場合に比べて、ディザ処理における擬似階調数が増大するように、当該擬似階調数を決定する。或いは、ダイナミックレンジが相対的に狭い画像モードの場合には、ダイナミックレンジが相対的に広い画像モードの場合に比べて、ディザ処理における擬似階調数が増大するように、当該擬似階調数を決定する。こうして、より効果的に擬似輪郭を抑制し、高画質な表示を行うことができる。

以下、図面を用いて本発明の実施形態について詳細に説明する。

（実施形態１）
図１は本発明の画像処理方法を実施するための画像処理装置を示すブロック図である。

まず、ディジタル化された画像信号は入力端子１に入力される。

本実施形態では入力されるディジタル画素信号は８ビットで量子化されていることとする。

入力端子１に入力されたディジタル画素信号は、遅延器３とダイナミックレンジ検出器９へ出力される。

遅延器３では、ダイナミックレンジ検出器９で画像信号のダイナミックレンジの検出が完了するまでディジタル画素信号を遅延させる。

ダイナミックレンジの検出方法の例としては、入力画像の一画面中の画素信号の最大値と最小値の差の絶対値を求める方法があり、こうして求められた絶対値を予め設定した閾値と比較すれば、ダイナミックレンジの広い画像信号、又は狭い画像信号を相対的に区別することができる。

遅延させたディジタル画像信号は、エッジ強調器５へ出力される。

エッジ強調器５では、制御部１１の指示により、画像のエッジ部分を強調させる処理を行い、ディザ器７へ出力する。ここで、エッジ強調器５では、８ビットで入力された画素信号を、エッジ強調処理によって演算精度を保つために１２ビットに増加する。制御部１１は、ダイナミックレンジの大きさに係るパラメータと、エッジ強調の大きさに係るパラメータと、をそれぞれ信号として受信して、それらパラメータに応じて、ディザ処理における擬似階調数を決定する制御を行う。

図２は、図１中のディザ器７の構成を説明した図である。

図１中のエッジ強調器５から出力された１２ビットの画素信号は、図２中の加算器２５へ入力される。

一方、閾値マトリックス２３は、図３の（ａ）〜（ｅ）のいずれかで示される閾値マトリクスを画素の位置に応じて加算器２５へ出力する。

この閾値マトリックスは、メモリーまたはレジスターなどで構成され、制御器１１により、書き換えることが出来る。

加算器２５では、１２ビットの画素信号と４ビットのディザマトリックスの閾値を加算し、割り算器２７へ出力する。

この加算器２５においては、１２ビットの画素信号と４ビットの閾値データを加算した結果、最上位ビットが桁上がりする場合、クリッピング処理を行い１２ビットとして割り算器２７へ出力しても良い。

クリッピング処理とは、画素信号のビット長が、設定された最大値を超えた場合に、その最大値に置き換える処理をいう。

割り算器２７では、入力された１２ビットの画素信号を８ビットに減らすために、割り算を行い図１中の出力端子１３へ出力する。

なお、この割り算器２７は切り捨て処理をする割り算である。

例えば、この割り算器２７では、加算器２５から出力された画素信号が１２ビットにクリッピングされた画素信号である場合には、４ビットシフトすることによって、割り算器を実現しても良い。

ここで、ディザマトリクスを使用して、画素信号の四捨五入を実現する場合について説明する。

マトリクスすべての値の最上位ビットに１を設定する。すなわち、４ビットの閾値マトリクスならばすべて８に設定する。

加算器２５において、１２ビット画素信号と閾値マトリクス２３の閾値を加算し、割り算器２７へ出力する。

そして、割り算器２７において下位４ビットを切り捨てれば、四捨五入を行うことが出来る。

一方、ダイナミックレンジ検出器９に入力された画像信号は、１フレーム分を単位として画像のダイナミックレンジが検出され、その大きさを制御部１１へ出力する。

制御部１１では、エッジ強調器５のエッジの強調度合いを制御するとともに、ダイナミックレンジ検出器９から入力されるダイナミックレンジの大きさと、エッジ強調器５のエッジ強調の強弱に応じて、ディザ器７のディザマトリックスの閾値を制御する。

図３中（ａ）は、閾値マトリックスのビット長は４ビットであり、擬似的に表現できるビット数は０〜１５の４ビット（１６階調）であるマトリクスを示している。また、マトリクスのサイズは縦横４ｘ４のサイズのマトリクスになっている。

図３中（ｂ）は、閾値マトリクスのビットは４ビットであるが、最下位ビットは０になっており、実際に擬似的に表現できるビット数は、０、２、４、６、８、１０、１２、１４の３ビット（８階調）であるマトリクスを示している。

また、図３中（ｃ）は、閾値マトリクスのビットは４ビットであるが、下位２ビットは０となっており、実際に擬似的に表現できるビット数は、０、４、８、１２の２ビット（４階調）であるマトリクスを示している。

図４は、ダイナミックレンジの大きさと、エッジ強調の強弱に応じて、ディザマトリックスの閾値を制御した場合の各パラメータの対応テーブルを示す図である。エッジ強調の強弱は、前述したとおり乗算器において高周波成分に乗算する係数を大きくしたり小さくしたりすることにより、達成できる。

図４中、例えば、ダイナミックレンジが狭くて、エッジ強調が弱い画像の場合（モード１）は、もっとも画像が滑らかであり、エッジ強調処理を行ったあとに切り捨て処理を行うともっとも擬似輪郭が発生しやすい。そこで、このモード１の場合には、ディザで表現する擬似階調ビット数は４ビットとし、ディザマトリクスとして図３の（ａ）を使用する。

この場合、表現できる見かけの階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数４ビットの合計１２ビットになる。

また、図４中、ダイナミックレンジが広い画像で、エッジ強調が弱い処理を行う場合（モード２）は、相対的に２番目に画像が滑らかであり、比較的擬似輪郭が発生しやすい。

そこで、このモード２の場合には、ディザで表現する擬似階調ビット数は３ビットとし、ディザマトリクスは図３の（ｂ）を使用する。

この場合、表現できる階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数３ビットの合計１１ビットになる。

また、図４中、ダイナミックレンジが狭い画像で、エッジ強調が強い処理を行う場合（モード３）は、比較的擬似輪郭が発生しにくいので、ディザで表現する擬似階調ビット数は２ビットとし、ディザマトリクスとしては図３中（ｃ）を使用する。

このモード３の場合、表現できる階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数２ビットの合計１０ビットになる。

また、図４中、ダイナミックレンジが広くて、エッジ強調が強い処理を行う場合（モード４）は、もっとも擬似輪郭が発生しづらく、また、視覚的に擬似輪郭も目立たないため、ディザ処理は行わず画像信号の四捨五入を行う。

ただし、四捨五入を行う実現方法として、図３中（ｄ）のように、ディザマトリックスの閾値をすべて８に固定し、１２ビットに拡張された画素信号に加算し、下位４ビットを切り捨てることにより実現しても良い。

この場合、表現できる階調数は、８ビットになる。

（実施形態２）
図５は、本発明の別の実施形態による画像処理方法を実現する画像処理装置の構成を示すブロック図である。

まず、ディジタル化された画像信号は入力端子５０１に入力される。

本実施形態では入力されるディジタル画素信号は８ビットで量子化されているものとする。

入力端子５０１に入力されたディジタル画素信号は、遅延器５０３とダイナミックレンジ検出器５１１へ出力される。

遅延器５０３では、ダイナミックレンジ検出器５１１で画像のダイナミックレンジの検出が完了するまでディジタル画像信号を遅延させる。たとえば、遅延器５０３は、ＴＶ信号の１画面分のダイナミックレンジを検出したい場合は、１フレーム分遅延させる。

遅延させたディジタル画像信号は、解像度変換器５０５へ出力される。

解像度変換器５０５では、図示しない固定画素表示デバイスの画素数のような表示デバイスの解像度に合わせるために、入力信号の解像度を変換する。

例えば、表示デバイスの解像度が水平１２８０画素、垂直７２０画素であり、入力した画像信号の水平画素数が７２０画素で、垂直の画素数が４８０画素である場合、水平は１６／９倍、垂直は３／２倍に拡大処理をする。

本発明に用いられる拡大処理としては、特に限定されることは無いが、ニアリストネイバーを除く方法、例えば、バイリニアのような線形補間、バイキュービックのような３次畳み込みによる補間方法が好ましく用いられる。

また、表示デバイスの解像度が１２８０画素、垂直７２０画素であり、入力した画像信号が、水平１９２０画素、垂直１０８０画素である場合、水平２／３倍、垂直も２／３倍に縮小処理を行う。この時、例えば８ビットで入力された画像は１０ビットに拡張される。

本発明に用いられる縮小処理としては、単純に画素信号を間引く方法や、上記線形補間や３次畳み込みによる補間方法によって、座標変換を行った後に、不要な座標位置の画素信号を間引く方法が挙げられる。

エッジ強調器５０７では、制御部５１３の指示により、画像のエッジ部分を強調させ、ディザ器５０９へ出力する。ここで、エッジ強調器５０７では、１０ビットで入力された画素信号を、エッジ強調処理によって増加したビットの演算精度を保つために１２ビットに増加する。

一方、ダイナミックレンジ検出器５１１に入力された画像信号は、１フレーム分の画像のダイナミックレンジを検出し、その大きさを制御部５１３へ出力する。

制御部５１３では、解像度変換器５０５の拡大、縮小率を設定するとともに、エッジ強調器５０７のエッジの強調具合を制御し、ダイナミックレンジ検出器５１１から入力されるダイナミックレンジの大きさと、エッジ強調器５０７のエッジ強調の強弱と、解像度変換器５０５の拡大又は縮小、つまりスケーリング率に応じて、ディザ器５０９のディザマトリックスの閾値を制御する。

ディザマトリックスの閾値としては、図３に示したものと同じマトリクスを採用し得る。

図３中（ｅ）は、閾値マトリクスのビットは４ビットであるが、下位３ビットは０となっており、実際に擬似的に表現できるビット数は、０、８の１ビット（２値）である。

図６は、解像度変換の拡大、縮小と、ダイナミックレンジの大きさと、エッジ強調の強弱に応じて、ディザマトリックスの閾値を制御した場合の各モードと各処理の関係を示す図である。

特に図６は解像度変換の拡大処理がエッジ強調の強弱よりも優先する処理モードの対応テーブルを示しており、ディザによる擬似階調数をより多くして擬似輪郭を防止することを説明するための図である。

図６中、例えば、ダイナミックレンジが狭く、解像度変換が拡大で、かつ、エッジ強調が弱い画像の場合（モード１１）は、もっとも画像が滑らかであり、もっとも擬似輪郭が発生しやすい。そこで、このモード１１の場合には、ディザで表現する擬似階調ビット数は４ビットとし、ディザマトリクスとしては図３の（ａ）を使用する。

この場合、表現できる階調数は、本来の画像の階調数８ビットとディザによる擬似階調数４ビットの合計１２ビットになる。

図６中、例えば、ダイナミックレンジが広く、解像度変換が拡大で、かつ、エッジ強調が弱い画像の場合（モード１２）は、２番目に滑らかな画像と判断し、このモード１２の場合には、ディザで表現する擬似階調ビット数は３ビットとし、ディザマトリクスとしては図３の（ｂ）を使用する。

この場合、表現できる階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数３ビットの合計１１ビットになる。

また、図６中、例えば、ダイナミックレンジが狭く、解像度変換処理が縮小で、かつ、エッジ強調が弱い画像の場合（モード１５）は、丁度中間程度に擬似輪郭が発生しやすい。

そこで、このモード１５の場合には、ディザで表現する擬似階調ビット数は２ビットとし、ディザマトリクスとしては図３の（ｃ）を使用する。

この場合、表現できる階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数２ビットの合計１０ビットになる。

また、図６中、例えば、ダイナミックレンジが狭く、解像度変換処理が縮小で、かつ、エッジ強調が強い画像の場合（モード１７）は、２番目に擬似輪郭が発生しにくい。

そこで、このモード１７の場合には、ディザで表現する擬似階調ビット数は１ビットとし、ディザマトリクスとしては図３中（ｅ）を使用する。

この場合、表現できる階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数１ビットの合計９ビットになる。

また、図６中、例えば、ダイナミックレンジが広く、解像度変換が縮小で、かつ、エッジ強調が強い画像の場合（モード１８）は、もっとも擬似輪郭が発生しにくいので、ディザ処理を行わず、四捨五入によって切り捨てることにする。

ただし、四捨五入を行う実現方法として、図３中（ｄ）のように、ディザマトリックスの閾値をすべて８に固定し、１２ビットに拡張された画素信号に加算し、下位４ビットを切り捨てることにより実現しても良い。

この場合、表現できる階調数は、８ビットになる。

図７はエッジ強調の強弱が解像度変換の拡大縮小よりも優先する処理モードの対応テーブルを示しており、ディザによる擬似階調数をより多くして擬似輪郭を防止することを説明するための図である。

図７中、モード２１は図６のモード１１と同じである。同様に、モード２２は図６のモード１２と、モード２７は図６のモード１７と、モード２８は図６のモード１８と同じ処理である。

一方、モード２３は、図６のモード１５とは異なり、ディザ処理における擬似諧調ビット数が増えている。同様に、モード２４は図６のモード１６とは異なり、ディザ処理における擬似諧調ビット数が増えている。モード２５は図６のモード１３とは異なり、ディザ処理における擬似諧調ビット数が減っている。モード２６は図６のモード１４とは異なり、ディザ処理における擬似諧調ビット数が減っている。

図６の処理モードは、解像度変換の拡大又は縮小率が大きい場合に好ましく、図７の処理モードはその逆で解像度変換の拡大又は縮小率が小さい場合に好ましい。

また、図７中、例えば、エッジ強調が弱く、解像度変換処理が縮小でかつ、ダイナミックレンジが広い画像の場合（モード２４）は、丁度中間程度に擬似輪郭が発生しやすい。

そこで、このモード２４の場合には、ディザで表現する擬似階調ビット数は２ビットとし、ディザマトリクスとしては図３の（ｃ）を使用する。

この場合、表現できる階調数は、本来の画像の画素信号の階調数８ビットとディザによる擬似階調数２ビットの合計１０ビットになる。

以上の各実施形態のように画像処理が施された実階調数（擬似階調数は含まない）のデジタル画素信号は、固定画素のマトリックス駆動型のディスプレイの変調駆動回路に入力され、そこで、パルス幅変調、電圧振幅変調或いは電流振幅変調が、更にはパルス幅変調と電圧振幅変調（或いは電流振幅変調）とが組み合わされた変調が施されて、変調出力信号となり各画素に供給される。各画素では変調出力信号に応じた実階調数で輝度を呈することになるが、一画面の画像でみると、ディザ処理により擬似階調分が上乗せされているので、実階調数プラス擬似階調数分の画像を再生表示できる。

本発明が好ましく適用できる固定画素のマトリックス駆動型のディスプレイとしては、ＦＥＤやＳＥＤ（表面伝導型ディスプレイ）などのように、少なくとも１つの電子放出素子と蛍光体とを組み合わせた画素を有する電子線蛍光ディスプレイ、或いは、ＰＤＰ、ＥＬＤ（エレクトロルミネッセンスディスプレイ）などの自発光ディスプレイや、ＬＣＤのようなディスプレイが挙げられる。

本発明の画像処理方法を実現する画像処理装置の構成を示すブロック図である。 ディザ器の構成を示すブロック図である。 ディザ器の閾値マトリクスを示す図である。 本発明の一実施形態による画像処理方法の各処理パラメータの対応関係テーブルを示す図である。 本発明の画像処理方法を実現する別の画像処理装置の構成を示すブロック図である。 本発明の別の実施形態による画像処理方法の各処理パラメータの対応関係テーブルを示す図である。 本発明の別の実施形態による画像処理方法の各処理パラメータの別の対応関係テーブルを示す図である。 エッジ強調器の一例を示すブロック図である。

符号の説明

１、５０１、８０１ 入力端子
３、５０３ 遅延器
５、５０７ エッジ強調器
７、５０９ ディザ器
９、５１１ ダイナミックレンジ検出器
１、５１３、８０９ 制御部
３、５１５、８１３ 出力端子
２３ 閾値マトリックス
２５ 加算器
２７ 割り算器
５０５ 解像度変換器
８００ エッジ強調器
８０３ ハイパスフィルター
８０５ 乗算器
８０７ 加算器
８１１ 四捨五入器

Claims (2)

1. 入力された画像データのダイナミックレンジを検出するダイナミックレンジ検出工程と、
   入力された画像データに階調数の増大を伴うエッジ強調処理処理を施すエッジ強調工程と、
   入力された画像データに１画素あたりの階調数の低下を伴うディザ処理を、複数のディザマトリクスを用いて施すディザ処理工程とからなる画像処理方法において、
   前記ディザ処理工程は、前記エッジ強調が相対的に弱い処理の場合又は前記ダイナミックレンジが相対的に狭い画像の場合には、複数ビットの閾値からなるディザマトリクスを選択することによって、前記ディザ処理における擬似階調数が増大するように処理することを特徴とする画像処理方法。
2. 前記エッジ強調が弱く且つ前記ダイナミックレンジが狭い場合に、前記ディザ処理における擬似階調数が最大となるディザマトリクスを選択することを特徴とする請求項１記載の画像処理方法。

Images