JP4258976B2 - 画像処理装置および処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置および処理方法に関するもので、特に画像の解像度変換における間引き手段に特徴を有する。
【０００２】
【従来の技術】
近年、マルチメディア関連機器を中心に、デジタルスチルカメラ、ＤＶＤといったデジタル画像・映像機器が急速に普及している。また、表示装置においても液晶ディスプレイ、プラズマディスプレイといったドットマトリックスタイプの装置が広がっている。そこで、画像データの画素数と表示装置の画素数が異なる場合、画像データの画素数を表示装置の画素数にあわせる処理、つまり画像データの解像度変換が必要になる。
【０００３】
従来の固有の画素数を所持する表示デバイスに映像信号を表示させる装置において、画素を間引いて映像を表示させる場合には、特開平５−２７６４３６号公報に示されているような方法や画素毎の相関を検出し間引き画素を決定する手法や平均値縮小法などで行われていた。以下、従来の画像処理における間引き法について、図５、図６にそのブロック部を示す。
【０００４】
図５において、遅延回路５１は入力信号に対し遅延を行い画像判別回路５２に前記遅延した画素を入力する。画像判別回路５２において隣り合う注目画素の相関の差をとりその差が小さい画素を間引き画素と決定する。また画素が文字部分であるか自然画部分であるかの判別を行い、相関の濃度差が小さい場合は自然画であると判断して線形補間回路５３に、相関の濃度差が大きい場合は文字部分と判断され適応間引き回路５４に入力され、両処理により間引きされた信号は画像再編成回路５５により画像として再編成され、表示デバイスの各画素に送られ表示される。
【０００５】
また、図６は平均値縮小法を用いたブロック図であり、遅延回路６１は入力信号に対し遅延を行い演算回路６２に前記遅延した画素を入力する。演算回路６２は間引き画素と隣り合う画素を平均し間引きパルスのタイミングで画素の抜き取りを行い、その間引き処理後の信号を画像再編成回路６３に入力する。画像再編成回路６３は間引き処理後の映像信号を画像として再編成し表示デバイスの各画素に対応したタイミングで表示デバイスにデータを入力する。画像再編成回路６３から入力された信号は表示デバイスの各画素に送られ表示される。
【０００６】
図７（Ａ）（Ｂ）は単位情報量（画素）を基準に構成され、８行８列のパターンからなる白と黒で構成された画像が入力した場合であり間引き処理前の８×８の画素（図７（Ａ））と、これを図６のシステムにより間引き処理した後の６×６の画素（図７（Ｂ））を示したものである。８×８画素のｂ、ｃ列とｆ、ｇ列そしてｂ、ｃ行と第ｆ、ｇ行を間引き画素とこれに隣り合う画素の行列とし、間引き画素とこれに隣り合う画素により生成された画素Ｂ、Ｆに平均値縮小を行っている。この図では「Ｈ」と表示されたものが処理後も「Ｈ」と読め、情報の欠落なく処理されているが平均値縮小を行った部分に階調が生じてしまっている。これは単純にｂ、ｃ列とｆ、ｇ列、ｂ、ｃ行とｆ、ｇ行の間引き画素とこれに隣り合う画素を足し合わせその和を２分の１して画素を生成することで間引きによる縮小を行っているためである。
【０００７】
図８（Ａ）（Ｂ）は間引き処理前の４×４の画素（図８（Ａ））を図６の平均値縮小法を用いたシステムにより間引き処理した後の３×３の画素（図８（Ｂ））を示したものである。図８（Ａ）（Ｂ）の場合はｂ、ｃ列とｂ、ｃ行の間引き画素と隣り合う画素はそれぞれ白と黒で構成されており、平均値縮小を行うことで元の黒の線は表現できずに、見難い灰色の線になり原画に比べぼやけた画像が生成される。また後で説明する本発明の図４（Ａ）（Ｂ）の間引き処理後よりもぼやけた線になる。これは一般的なコンピューターの出力画面などで表現されるラインやテキストなどが非常に見難い。
【０００８】
次に、自然画の場合の間引きを従来の手法を用いた場合について説明する。図９（Ａ）（Ｂ）は、図６の平均値縮小法のシステムを用いて入力映像信号が自然画の場合の間引き処理を行ったものである。図９（Ａ）（Ｂ）は、自然画のような階調のある入力映像信号としてａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋと順番に並んだ間引き処理前の信号を、図６の平均値縮小法を用いたシステムにより５画素（図９（Ａ））を４画素（図９（Ｂ））に間引き処理した後のａ、Ｂ、ｄ、ｅ、ｆ、Ｇ、ｉ、ｊ、ｋの信号波形を示したものであり、数値は信号レベルの目安として記載している。図９（Ａ）（Ｂ）においては、間引き画素とこれに隣り合う画素ｂ、ｃにおいて平均値縮小を行うと、（１０＋２０）／２で間引き画素Ｂが信号レベル１５で生成される。これは階段状で小さく輝度変化のある入力信号部分での間引きを行っており、多少の直線性は失われているが、間引き処理後の出力信号において問題になるレベルではない。次に間引き画素とこれに隣り合う画素ｇ、ｈにおいて平均値縮小を行うと、（６０＋４０）／２で間引き画素Ｇが信号レベル５０で生成される。これは階段状の頂点の部分で間引きが行われており、この入力信号の頂点がなくなってしまっている。つまり、間引き処理後の出力波形においてエッジがなくなりぼやけた感じになり、最終の表示画面は見辛い画像になってしまう。これは間引く割合が大きくなればもっと顕著になってくる。ここで水平方向の間引きを例にしているが、垂直方向に対しても間引きの方向が異なるのみで全て同じ動作で処理後の出力信号も同じになる。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の図５で示されている間引き法を用いて、自然画を間引くと画像判別回路５２が誤判断する可能性があり、画像判別回路５２が誤判断を行い文字部分であると判断されると対象物の輪郭の直線や、カーブを描く部分においてガタガタした線になり原画における対象物の輪郭よりもかなり不自然な表示画像となる。そしてパソコンのテキスト画面のように文字等から構成される画像の間引きの場合も自然画の間引きと同様なことがいえる。また文字等を間引く回路構成が複雑な上に、自然画と文字部分の判別により間引き法を変えるなど、間引きに使用する演算量が多いという問題があった。
【００１０】
また、従来の図６の平均値縮小法においても、文字や図形画像などのような連続した線が続いているところに階調部分が生じたりして見辛い表示画像となるという問題があった。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、１画素単位および１ライン単位に画像データを遅延する遅延回路を複数段有し、これら遅延回路を用いて、水平方向および垂直方向に並んだ複数画素からなる画像データを、水平方向の画素に対しては１画素毎に遅延を行い、垂直方向の画素に対しては１ライン毎に遅延を行った複数の画像データを生成する遅延手段と、この遅延手段からの遅延された複数の画像データから、間引くべき画素と、この間引くべき画素に対して水平方向及び垂直方向に隣接する画素との２つの信号レベルの差あるいは濃淡の差を所定の判別基準値と比較して、補間画素データを生成する演算式に用いる係数を決定する係数決定手段と、水平方向への間引きの場合は水平同期信号を基準として、画像の水平方向における縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力し、垂直方向への間引きの場合は垂直同期信号を基準として、画像の垂直方向における縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力する間引き指示手段と、前記遅延手段からの遅延された複数の画像データに対して、水平方向及び垂直方向に所定の画素数の所定のライン数からなる画素ブロックを生成し、この画素ブロックに対して前記間引き指示手段からの間引パルスを用いて、間引き画素と、この間引くべき画素に対して水平方向及び垂直方向に隣接する画素を取り出し、これらの画素データと前記係数決定手段で決定された係数に基づいて、所定の演算式を算出して間引かれた後の画素を補間する補間画素データを生成する演算手段と、を備えたものである。
【００１２】
また本発明の画像処理方法は、遅延手段により、画像データが水平方向および垂直方向に並んだ複数画素からなる各画素ブロック毎に、水平方向の画素に対しては１画素毎に遅延し、垂直方向の画素に対しては１ライン毎に遅延を行った複数の画像データを生成するステップと、間引き指示手段により、水平方向への間引きの場合は水平同期信号を基準として、画像の水平方向における縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力し、垂直方向への間引きの場合は垂直同期信号を基準として、画像の垂直方向における縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力するステップと、係数決定手段により前記間引きパルスで指示される間引くべき画素と、この間引くべき画素に対して水平方向及び垂直方向に隣接する画素との２つの信号レベルの差あるいは濃淡の差を所定の判別基準値と比較するステップと、係数決定手段による比較結果より、補間画素データを生成する演算式に用いる係数を決定するステップと、演算手段により少なくとも、決定された係数、間引くべき画素、および間引くべき画素に隣接する画素に基づき予め定められた演算式を用いて補正画素データを生成するステップと、から構成される。また本発明の画像処理装置は、前記演算手段の演算式は、前記各画素ブロックの水平方向あるいは垂直方向に画素ａ、ｂ、ｃ、ｄの順に並んだ４画素ブロックであり前記各画素の信号レベルをそれぞれＳａ、Ｓｂ、Ｓｃ、Ｓｄとし、前記係数決定手段により決定された前記係数をαとし、水平方向あるいは垂直方向の前記間引くべき画素をｂ、前記間引くべき画素に隣接する画素をｃとし、前記演算手段により生成される画素をＢとし、前記演算式がＢ＝（１＋２α）×（Ｓｂ＋Ｓｃ）／２−Ｓａ×α−Ｓｄ×αであり、前記４画素ブロックを画素ａ、Ｂ、ｄの順に並んだ３画素ブロックに縮小することを特徴とする。
【００１３】
また本発明の画像処理装置は、前記係数決定手段が出力する係数αは、間引くべき画素とこれに隣接する画素の２つの信号レベルの差あるいは濃淡の差を検出して決定され、２画素間の信号レベルの差あるいは濃淡の差が予め判別基準値として設定される値より大きい場合は、予め設定される係数αを出力し、２画素間の信号レベルの差あるいは濃淡の差が予め判別基準値として設定される値より小さい場合は、係数αを０として出力することを特徴としたものである。２値画像の間引き画面作成において、原画に近い鮮明な画像を作成することができる。
【００１４】
また本発明の画像処理装置は、前記係数決定手段が出力する係数αは、間引くべき画素とこれに隣接する画素の２つの信号レベルの差あるいは濃淡の差を検出して決定され、２画素間の信号レベルの差あるいは濃淡の差が予め判別基準値として設定された複数の値でランク付けされることにより、予め設定される係数αを複数の中から決定し出力することを特徴としたものである。自然画の間引き画面作成において、原画に近い鮮明な画像を作成することができる。
【００１５】
また本発明の画像処理装置は、前記間引きパルス発生手段は、入力信号である水平、垂直同期信号および画素クロック信号を基に、画像の水平方向あるいは垂直方向の任意の縮小率に応じた一定間隔で、１画素幅あるいは１ライン幅の間引きパルスを前記演算手段に出力することを特徴としたものである。間引き画面作成において、簡単な構成で間引きパルスを発生し、間引くべき画素を指示して間引き処理を行うため、原画に近い鮮明な画像を作成することができる。
【００１６】
また本発明の画像処理装置は、水平方向に対して１画素毎に遅延する遅延手段と、水平方向の縮小の割合に合わせて間引きパルスを発生する間引きパルス発生手段を有し、前記遅延手段を用いて得られる連続する複数画素より、前記間引きパルス発生手段で指示される間引くべき画素とこれに隣接する画素の相関を検出し、その相関に応じた係数を決定する係数決定手段と、その係数に応じて間引くべき画素とそれに隣接する画素より演算する演算手段とを有し、前記演算手段の予め定められた演算式により画素データを生成して水平方向の画素毎に間引き縮小を行う。続いて垂直方向に対して１ライン毎に遅延する遅延手段と、垂直方向の縮小の割合に合わせて間引パルスを発生する間引きパルス発生手段を有し、前記遅延手段を用いて得られる連続する複数画素より、前記間引きパルス発生手段で指示される間引くべき画素とこれに隣接する画素の相関を検出し、その相関に応じた係数を決定する係数決定手段と、その係数に応じて間引くべき画素とこれに隣接する画素より演算する演算手段とを有し、前記演算手段の予め定められた演算式により画素データを生成して垂直方向の画素毎に間引き縮小を行うことを特徴としたものである。間引き画面作成において、間引き画素とこれに隣り合う画素の相関を検出し、をその相関に応じた係数を間引き画素とこれに隣り合う画素により生成された画素への信号レベル補正に用いて間引きを行うため、原画に近い鮮明な画像を表示することができる画像処理装置を提供できる。
【００１７】
また本発明の画像処理方法は、間引くべき画素を指示するステップと、間引くよう指示された画素と前記間引くよう指示された画素に隣接する画素との相関を検出するステップと、検出された相関に応じて係数を決定するステップと、前記間引くよう指示された画素のデータ、前記間引くよう指示された画素に隣接する画素のデータ、および決定された前記係数に基づいて、所定の演算式を用いて補正画素データを生成するステップとから構成される。２値画面や自然画においても、信号レベルを補正して間引きを行うため、原画に近い鮮明な画像を表示できるものである。
【００１８】
本発明によれば、２値画面や自然画においても、信号レベルを補正して間引きを行うため従来よりも原画に近い鮮明な画像を表示できる画像処理装置を提供できる。
【００１９】
【発明の実施の形態】
図１は本画像処理装置のブロック図を示したもので、水平方向に間引く場合も垂直方向に間引く場合もその構成は同じであり、遅延回路の遅延時間が異なるだけである。図１において１１、１２、１３は遅延回路でありフリップフロップ等から構成され、入力画像データに対して水平方向に間引く場合には１画素毎に遅延し、垂直方向に間引く場合は１ライン毎に遅延を行い、次段の回路へ遅延した信号を送る。画像データＳｄは遅延回路１１へ入力され、遅延回路１１で遅延された信号Ｓｃは遅延回路１２へ入力される。遅延回路１２で遅延された信号Ｓｂは遅延回路１３へ入力され、遅延回路１３からは遅延された信号Ｓａが出力される。
【００２０】
係数決定回路２はレジスタ、セレクタ、コンパレータ等から構成される。係数決定回路２は、遅延回路１２で遅延された信号Ｓｂと、遅延回路１１で遅延された信号Ｓｃを受け取り、間引き画素とこれに隣り合う画素の相関を検出し、その相関の信号レベルの差や濃度差に応じた係数αを決定し演算回路３に供給している。
【００２１】
演算回路３はセレクタ、レジスタ、加算器等から構成される。演算回路３は係数決定回路２から入力される係数αと画像データの原信号Ｓｄと遅延回路１１、１２、１３から供給される信号Ｓｃ、Ｓｂ、Ｓａと、間引きパルス発生回路５から入力される間引きパルスを入力し、補正信号を出力する。すなわち演算回路３は間引き画素とこれに隣り合う画素とに基づき信号レベル補正を行い、間引き処理された信号を画像再編成回路４に供給する。
【００２２】
画像再編成回路４は、画素が間引かれた位置を演算回路３から供給される補正された信号で補間する回路であり、補間された画像データＳｏｕｔは表示デバイスへ送られ表示される。
【００２３】
間引きパルス発生回路５には、水平、垂直同期信号および画素クロック信号が入力される。間引きパルス発生回路５は水平方向への間引きの場合は水平同期信号を基準として、画像の水平方向における任意の縮小率に応じた一定間隔で１画素幅のパルスを出力する。例えば水平方向に間引き処理を用いて画像を４／５に縮小するには、間引きパルス発生回路からは５画素に１回の連続するパルスを出力する。垂直方向への間引きの場合は垂直同期信号を基準として、画像の垂直方向における任意の縮小率に応じた一定間隔で１ライン幅のパルスを出力する。例えば垂直方向に間引き処理を用いて画像を４／５に縮小するには、間引きパルス発生回路からは５ラインに１回の連続するパルスを出力する。
【００２４】
演算回路３では画面の縮小を行う場合、信号レベル補正式Ｓ＝（１＋２α）×（Ｓｂ＋Ｓｃ）／２−Ｓａ×α−Ｓｄ×αの式を用いて信号レベル補正を行う。この信号レベル補正は入力信号の水平方向、垂直方向に画素がａ、ｂ、ｃ、ｄの順番に並んでいる４×４画素をａ、Ｂ、ｄの順番に並ぶ３×３の画素に間引くものである。この例では信号レベル補正式の各値はそれぞれＳａ＝ａ、Ｓｂ＝ｂ、Ｓｃ＝ｃ、Ｓｄ＝ｄ、Ｓ＝Ｂである。ここではｂの画素を間引き画素、ｃの画素を間引き画素ｂに隣り合う画素、そして補正された画素をＢとする場合を説明する。
【００２５】
係数決定回路２は入力信号Ｓｂ、Ｓｃの信号レベルの差や濃淡の差などの相関を検出し、その相関関係から係数αを決定する。演算回路３は、係数αおよび４つの画素ａ、ｂ、ｃ、ｄで上記の信号レベル補正式Ｂ＝（１＋２α）×（ｂ＋ｃ）／２−ａ×α−ｄ×αにより演算する。このようにして間引き画素とこれに隣接する画素により信号レベル補正された画素Ｂの生成を行う。例えば、間引き画素ｂとこれに隣り合う画素ｃの相関の濃淡の差がほぼ等しい場合は、係数αは０となり、信号レベル補正式Ｓは単にＢ＝（ｂ＋ｃ）／２となり、間引きは単純に平均値縮小となる。間引き画素とこれに隣り合う画素の相関の濃淡の差がほぼ等しいということは、その平均値が出力されても画質劣化はほとんどあり得ない。また、間引き画素とこれに隣り合う画素の相関の濃淡の差が等しくないときは、濃度の差の検出を何段階かに分けてその差に応じた係数αを係数決定回路２は出力する。またその相関の濃度差の検出にはある程度幅を持たせてある。
【００２６】
図２（Ａ）〜図４（Ｂ）は、図１のシステムを用いて入力映像信号がパソコンのテキスト画面のように背景が白で文字などが黒で構成されている画像の間引き処理を説明する図である。図２（Ａ）から分かるように間引き処理前の入力映像信号が白と黒の２色の信号しか入力されない。間引き画素とこれに隣り合う画素がそれぞれ同じ色、つまり濃淡差がないかあるいは非常に少ない場合には係数αに０を入力し、間引き画素とこれに隣り合う画素がそれぞれ異なる色、つまり濃淡差が大きい場合には係数αに０．５を入力するように設定して信号レベル補正を行うことにする。また画素が黒色であるときの色信号の値を０とし、白のときを１とする。
【００２７】
図２（Ａ）（Ｂ）の間引き処理は、図１のシステムに単位情報量（画素）を基準に構成され、８行８列のパターンからなる白と黒で構成された画像を処理する例である。具体的には、間引き処理前の８×８の画素が図１のシステムにより間引き処理され、６×６の画素になる例である。この図では「Ｈ」と表示されたものが処理後も「Ｈ」と読め、情報の欠落なく処理されている。このような処理は８×８画素のｂ列とｆ列を間引き列とし、ｃ列とｇ列をそれぞれ間引き列に隣り合う列とし、そしてｂ行とｆ行を間引き行とし、ｃ行とｇ行をそれぞれ間引き行に隣り合う行とし、信号レベル補正を行うことで実現することができる。信号レベル補正式Ｓに間引き画素とこれに隣り合う画素の行列の画素を代入し、生成された画素に信号レベル補正を行っている。また係数決定回路２で間引き画素とこれに隣り合う画素の相関を検出することにより、信号レベル補正で使用する係数αを求めている。図２（Ａ）（Ｂ）の場合、間引き画素とこれに隣り合う画素はそれぞれ白と黒で構成され濃淡差が大きいため、係数αは０．５として計算を行った結果である。また間引き画素と隣り合う画素の濃淡差がない場合は、係数αは０となり単純に平均値縮小を行う。
【００２８】
ここで図２（Ａ）（Ｂ）において例えばｂ行ｃ列の画素を画素ｂｃと呼ぶことにする。間引きを行う場所は図２（Ａ）のｂ列ｃ列ｆ列ｇ列ｂ行ｃ行ｆ行ｇ行である。
【００２９】
まず列に注目する。ａ行の場合には、図１のシステムにａ行の列ａ、ｂ、ｃ、ｄの順番に画素が入力され遅延回路１１、１２、１３で遅延される。すなわちＳａ＝ａａ、Ｓｂ＝ａｂ、Ｓｃ＝ａｃ、Ｓｄ＝ａｄである。遅延回路１２の入力と出力に画素ａｃ、ａｂが現れたとき、間引きパルス発生回路より間引きパルスが発生され演算処理が行われる。このとき、係数決定回路２において画素ａｃ、ａｂ間の相関の濃淡の差が求められ、係数αが決定される。決定された係数αは演算回路３において使用される。図２（Ａ）の画素ａｂは黒、画素ａｃは白であることから画素ａｃ、ａｂの相関の濃淡の差は最大であり、係数αには０．５が設定される。画素が黒色であるときの色信号の値を０とし、白のときを１とするので、α＝０．５、Ｓａ＝１、Ｓｂ＝０、Ｓｃ＝１、Ｓｄ＝１である。演算回路３は信号レベル補正式Ｓにより演算し、Ｓ＝（１＋２×０．５）×（０＋１）／２−１×０．５−１×０．５＝０となる。画像再編成回路４において、画素ａｂ、ａｃが間引かれた位置に演算結果から得られる値が０としてすなわち黒色が補間される。
【００３０】
次にｃ行の場合にはＳａ＝ｃａ、Ｓｂ＝ｃｂ、Ｓｃ＝ｃｃ、Ｓｄ＝ｃｄである。画素ｃｂ、ｃｃは共に黒であることから画素ｃｂ、ｃｃの相関の濃淡は等しく、係数決定回路２において係数αには０が設定される。画素が黒色であるとき色信号の値は０、白の時１であるから、Ｓａ＝１、Ｓｂ＝０、Ｓｃ＝０、Ｓｄ＝０である。演算回路３は信号レベル補正式Ｓにより演算し、（１＋２×０）×（０＋０）／２−１×０−０×０＝０となる。この結果は平均値縮小を行ったときと同じ値である。画像再編成回路４において、画素ｃｂ、ｃｃが間引かれた位置に演算結果から得られる値０すなわち黒色が補間される。ｆ、ｇ列についても同様な処理が行われる。
【００３１】
次に行について注目する。図１のシステムにａ行の列ａ、ｂ、ｃ、ｄ、次にｂ行の列ａ、ｂ、ｃ、ｄ、の順番に画素が入力され、遅延回路１１、１２、１３で１ライン分ずつ遅延される。ｂ列の場合には、Ｓａ＝ａｂ、Ｓｂ＝ｂｂ、Ｓｃ＝ｃｂ、Ｓｄ＝ｄｂである。遅延回路１２の入力と出力に画素ｃｂ、ｂｂが現れたとき、間引きパルス発生回路より間引きパルスが発生され演算処理が行われる。このとき、係数決定回路２において画素ｂｂ、ｃｂ相関の濃淡の差が求められ係数αが決定される。決定された係数αは演算回路３において使用される。図２（Ａ）の画素ｂｂ、ｃｂは共に黒であることから画素ｂｂ、ｃｂの相関の濃淡は等しく、係数αには０が設定される。色信号の値は図２（Ａ）よりａｂ＝０、ｂｂ＝０、ｃｂ＝０、ｄｂ＝０である。演算回路３は信号レベル補正式Ｓにより演算し、（１＋２×０）×（０＋０）／２−０×０−０×０＝０となる。画像再編成回路４において、画素ｂｂ、ｃｂが間引かれた位置には演算結果から得られる値０すなわち黒色が補間される。
【００３２】
次にｃ列の場合にはＳａ＝ａｃ、Ｓｂ＝ｂｃ、Ｓｃ＝ｃｃ、Ｓｄ＝ｄｃである。画素ｂｃは白、画素ｃｃは黒であることから画素ｂｃ、ｃｃの相関の濃淡の差は最大であり、係数αには０．５が設定される。色信号の値は図２（Ａ）よりＳａ＝１、Ｓｂ＝１、Ｓｃ＝０、Ｓｄ＝１である。演算回路３は信号レベル補正式Ｓにより演算し、Ｓ＝（１＋２×０．５）×（１＋０）／２−１×０．５−１×０．５＝０となる。画像再編成回路４において、画素ｂｃ、ｃｃが間引かれた位置には演算結果から得られる値０すなわち黒色が補間される。ｆ、ｇ行についても同様な処理が行われる。以上のように、補間処理され表示デバイスの総画素数と同じ画素数に間引かれた画像再編成回路４の画像データは、表示デバイスにおいて表示される。
【００３３】
図３（Ａ）（Ｂ）は、間引き処理前の４×４の画素と、これを図１のシステムにより間引き処理した後の３×３の画素とを示したものである。図３（Ａ）においては、ｂ列およびｂ行を間引き画素とし、ｃ列およびｃ行を間引き画素に隣り合う画素として信号レベル補正を行う。間引き画素ｂ列とこれに隣り合う画素ｃ列すなわちａｂ、ａｃ、ｂｂ、ｂｃ、ｃｂ、ｃｃ、ｄｂ、ｄｃは共に黒色であり、信号レベル補正に用いる係数はα＝０となり単純に平均値縮小を行っている。演算式Ｓは（１＋２×０）×（０＋０）／２−０×０−０×０＝０であり、間引かれたあとには演算結果から得られる０（黒色）が補間される。また、ｂ、ｃ行に関しては、画素ｂａ、ｃａ、ｂｄ、ｃｄは共に白色であり、画素ｂｂ、ｂｃ、ｃｂ、ｃｃは共に黒色である。信号レベル補正に用いる係数はα＝０となり、単純に平均値縮小を行っている。以上より図３（Ａ）（Ｂ）の例では、間引き処理前の４×４の画素を図６の従来の平均値縮小法を用いた回路に入力しても結果は同じになる。
【００３４】
図４（Ａ）（Ｂ）は間引き処理前の４×４の画素と、これを図１のシステムにより間引き処理した後の３×３の画素とを示したものである。図４（Ａ）においては、ｂ、ｃ列の間引き画素とこれに隣り合う画素はそれぞれ白と黒で構成されており、信号レベル補正に用いる係数をα＝０．５と決定される。演算式Ｓは、（１＋２×０．５）×（１＋０）／２−１×０．５−１×０．５＝０である。したがって黒色が補間される。またｂ、ｃ行の間引き画素と隣り合う画素はそれぞれ同色であるから、演算後も同じ色が補間される。このことより間引き処理後の３×３の画素は図４（Ｂ）のようになり、図３（Ｂ）の間引き処理後と同じ画像になる。なお図４（Ａ）の例では、間引き処理前の４×４の画素を図６の従来の平均値縮小法を用いた回路に入力すれば既に説明したように図８（Ｂ）のようになり結果は異なる。
【００３５】
次に、自然画の場合の間引きを本発明を用いた場合について説明する。図１０（Ａ）（Ｂ）は、図１のシステムを用いて入力映像信号が自然画の場合の間引き処理を行ったものである。図１において、係数決定回路２は、間引き画素とこれに隣り合う画素の間の濃淡差がない、あるいは非常に少ない場合には係数αに０を入力し、間引き画素とこれに隣り合う画素の間の濃淡差が大きい場合には係数αに０．５を入力するように設定して信号レベル補正を行うことにする。図１０（Ａ）（Ｂ）の縦軸は信号レベル、横軸は画素位置を表す。ここでは、仮に図１０（Ａ）（Ｂ）中の信号レベルの数値において間引き画素とこれに隣り合う画素の間で１０以上のレベル差がある場合に、濃淡差が大きいと判別し係数αとして０．５を設定し、間引き画素とこれに隣り合う画素の間で１０未満のレベル差である場合には、濃淡差が小さいと判別し係数αとして０を設定することとする。
【００３６】
図１０（Ａ）（Ｂ）は、自然画のような階調のある入力映像信号としてａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋと順番に並んだ間引き処理前の信号とこれを、図１のシステムにより５画素を４画素に間引き処理した後のａ、Ｂ、ｄ、ｅ、ｆ、Ｇ、ｉ、ｊ、ｋの信号波形とを示したものであり、数値は信号レベルの目安として記載している。図１０（Ａ）（Ｂ）においては、間引き画素ｂとこれに隣り合う画素ｃにおけるレベル差が１０であるので、濃淡差が大きいと判別し信号レベル補正の係数が０．５に設定される。信号レベル補正式ＳはＢ＝（１＋２×０．５）×（Ｓｂ＋Ｓｃ）／２−０．５×Ｓａ−０．５×Ｓｄの計算式になり、各画素の信号レベルを代入するとＳ＝（１＋２×０．５）×（１０＋２０）／２−０．５×０−０．５×３０＝１５となり、間引き画素Ｂが信号レベル１５で生成される。この値は平均値縮小の間引きと同じ結果であり、同様にこの部分では階段状で小さく輝度変化のある入力信号部分での間引きを行っており、多少の直線性は失われているが、間引き処理後の出力信号において問題になるレベルではない。
【００３７】
次に間引き画素ｇとこれに隣り合う画素ｈにおけるレベル差が１０であるので濃淡差が大きいと判別し、信号レベル補正の係数が０．５に設定され、Ｓ＝（１＋２×０．５）×（Ｓｇ＋Ｓｈ）／２−０．５×Ｓｆ−０．５×Ｓｉの計算式になり、各画素の信号レベルを代入するとＧ＝（１＋２×０．５）×（６０＋４０）／２−０．５×５０−０．５×２０＝６５となり、間引き画素Ｇが信号レベル６５で生成される。これは階段状の頂点の部分で間引きが行われても、波形の頂点部分は維持もしくは少しのエッジ強調が行われている。つまり、間引き処理後の出力波形においてもエッジ部分の劣化はなく、くっきりとした感じになり、最終の表示画面で非常に見やすい画像になる。
【００３８】
ここで水平方向の間引きを例にしているが、垂直方向に対しても間引きの方向が異なるのみで全て同じ動作で処理後の出力信号も同じになる。また、間引き画素とこれに隣り合う画素でレベル差があり濃淡差が大きいと判別された信号レベル補正の係数αを、以上の説明では０．５にしているが、この係数αを０．４に設定すると、間引き画素Ｇの信号レベルはＧ＝（１＋２×０．４）×（６０＋４０）／２−０．４×５０−０．４×２０＝６２になり、係数αを０．３に設定すると間引き画素Ｇの信号レベルはＧ＝（１＋２×０．３）×（６０＋４０）／２−０．３×５０−０．３×２０＝５９になる。このように、係数αを間引き画素とこれに隣り合う画素の相関により適当な値を選ぶことによって、間引かれた画質の微妙な調整を行うことは可能である。そして、文字や図面などの映像で微妙な階調のない映像信号の場合は、前述の通り係数αは０．５が最適である。
【００３９】
図１１（Ａ）（Ｂ）と図１２（Ａ）（Ｂ）は、文字や図面のような微妙な階調のない入力映像信号として、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊと順番に並んだ間引き処理前の信号を、図１のシステムにより３画素を２画素に間引き処理した後のａ、Ｂ、ｄ、Ｅ、ｇ、Ｈ、ｊの信号波形を示したものであり、数値は信号レベルの目安として記載している。間引き画素とこれに隣り合う画素は図１１（Ａ）（Ｂ）、図１２（Ａ）（Ｂ）共にｂ、ｃとｅ、ｆとｈ、ｉであり、それぞれの間引き後の画素をＢとＥとＨとしている。Ｂは（１＋２α）×（Ｓｂ＋Ｓｃ）／２−α×Ｓａ−α×Ｓｄで求まり、Ｅは（１＋２α）×（Ｓｅ＋Ｓｆ）／２−α×Ｓｄ−α×Ｓｇで求まり、Ｈは（１＋２α）×（Ｓｈ＋Ｓｉ）／２−α×Ｓｇ−α×Ｓｊで求まる。
【００４０】
図１１（Ａ）（Ｂ）では、図１でのシステムにおいて間引き画素とこれに隣り合う画素の間の濃淡差がない、あるいは非常に少ない場合には係数αに０を入力し、逆に間引き画素とこれに隣り合う画素の間の濃淡差が大きい場合には、係数αに０．５を入力するように設定して信号レベル補正を行うことにする。ここでは仮に図１１（Ａ）（Ｂ）中の数値において、間引き画素とこれに隣り合う画素の間で１０以上のレベル差がある場合に、濃淡差が大きいと判別し、係数αとして０．５を設定し、間引き画素とこれに隣り合う画素の間で１０未満のレベル差である場合には、濃淡差が小さいと判別し、係数αとして０を設定することとする。
【００４１】
図１２（Ａ）（Ｂ）では、図１でのシステムにおいて間引き画素とこれに隣り合う画素の間の相関を無視し、全て係数αを０．５に設定することとした。図１１（Ａ）（Ｂ）に示すように、間引き画素とこれに隣り合う画素の間の濃淡差を検出しその値から係数αを決定した場合は、処理前の信号と処理後の信号で３つの山の高さが同じであり、間引いて信号を縮小したのであるから、各山の間隔と山の幅は変わっているだけである。ところが図１２（Ａ）（Ｂ）に示すように、間引き画素とこれに隣り合う画素の間の濃淡差を無視して係数αを固定にした場合は、処理前の信号と処理後の信号で３つの山の内Ｅの山が信号レベルが２倍になっており、図１１（Ａ）（Ｂ）の処理後の波形とは大きく違っている。この処理後の信号を表示装置で表示すると、図１２（Ａ）（Ｂ）のＥのようなところで輝度ムラが発生し非常に見苦しい映像になってしまう。図１１（Ａ）（Ｂ）のように、間引き画素とこれに隣り合う画素の間の相関を検出し、その相関に応じた係数を決定することによって画質劣化の少ない映像を表示できる。
【００４２】
図１３（Ａ）（Ｂ）と図１４（Ａ）（Ｂ）は文字や図面のような映像信号において、多少の階調を持つ入力映像信号としてａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊと順番に並んだ間引き処理前の信号を、図１のシステムにより３画素を２画素に間引き処理した後のａ、Ｂ、ｄ、Ｅ、ｇ、Ｈ、ｊの信号波形を示したものであり、数値は信号レベルの目安として記載している。間引き画素とこれに隣り合う画素は図１１（Ａ）（Ｂ）、図１２（Ａ）（Ｂ）と同様にｂ、ｃとｅ、ｆとｈ、ｉであり、それぞれの間引き後の画素をＢとＥとＨとしている。Ｂは（１＋２α）×（Ｓｂ＋Ｓｃ）／２−α×Ｓａ−α×Ｓｄで求まり、Ｅは（１＋２α）×（Ｓｅ＋Ｓｆ）／２−α×Ｓｄ−α×Ｓｇで求まり、Ｈは（１＋２α）×（Ｓｈ＋Ｓｉ）／２−α×Ｓｇ−α×Ｓｊで求まる。
【００４３】
図１３（Ａ）（Ｂ）では、図１でのシステムにおいて間引き画素とこれに隣り合う画素の間の濃淡差がない、あるいは非常に少ない場合には、係数αに０を入力し、間引き画素とこれに隣り合う画素の間の濃淡差が中程度の場合には、係数αに０．２を入力し、間引き画素とこれに隣り合う画素の間の濃淡差が大きい場合には、係数αに０．５を入力するように設定して信号レベル補正を行うことにする。ここでは仮に図１３（Ａ）（Ｂ）中の数値において、間引き画素とこれに隣り合う画素の間で３０以上のレベル差がある場合に、濃淡差が大きいと判別し、係数αとして０．５を設定し、間引き画素とこれに隣り合う画素の間で１０以上のレベル差があり３０未満のレベル差である場合に、濃淡差が中程度と判別し、係数αとして０．２を設定し、間引き画素とこれに隣り合う画素の間で１０未満のレベル差である場合には、濃淡差が小さいと判別し、係数αとして０を設定することとする。
【００４４】
図１４（Ａ）（Ｂ）では、図１でのシステムにおいて間引き画素とこれに隣り合う画素の間の濃淡差がない、あるいは非常に少ない場合には、係数αに０を入力し、間引き画素とこれに隣り合う画素の間の濃淡差が大きい場合には、係数αに０．５を入力するように設定して信号レベル補正を行うことにする。ここでは仮に図１４（Ａ）（Ｂ）中の数値において、間引き画素とこれに隣り合う画素の間で１０以上のレベル差がある場合に濃淡差が大きいと判別し、係数αとして０．５を設定し、間引き画素とこれに隣り合う画素の間で１０未満のレベル差である場合には、濃淡差が小さいと判別し、係数αとして０を設定することとする。
【００４５】
図１５（Ａ）（Ｂ）では、図１でのシステムにおいて間引き画素とこれに隣り合う画素の間の濃淡差がない、あるいは非常に少ない場合には係数αに０を入力し、間引き画素とこれに隣り合う画素の間の濃淡差が大きい場合には、係数αに０．２を入力するように設定して信号レベル補正を行うことにする。ここでは仮に図１４（Ａ）（Ｂ）中の数値において間引き画素とこれに隣り合う画素の間で１０以上のレベル差がある場合に、濃淡差が大きいと判別し、係数αとして０．２を設定し、間引き画素とこれに隣り合う画素の間で１０未満のレベル差である場合には、濃淡差が小さいと判別し、係数αとして０を設定することとする。図１４（Ａ）（Ｂ）と図１５（Ａ）（Ｂ）に示すように間引き画素とこれに隣り合う画素の間の濃淡差を検出し、その濃淡差があるかないかの値から係数αを決定した場合は、処理前の信号と処理後の信号で３つの山の高さに少しばらつきがあり、この処理後の信号を表示装置で表示すると輝度ムラが少し発生してしまう。濃淡差がある場合の係数αを最適化することにより、ばらつきを押さえ輝度ムラを減少させることは可能であるが、２値による係数αの設定では限界がある。そこで図１３（Ａ）（Ｂ）のように、間引き画素とこれに隣り合う画素の間の濃淡差レベルを複数にランク付けし、係数αを複数（２つより多く）の値に設定する場合は、処理前の信号と処理後の信号で３つの山の高さがほとんど同じになり、間引いて信号を縮小したために各山の間隔と山の幅が変わっているだけであり、この処理後の信号を表示装置で表示すると輝度ムラがほとんど発生しない。
【００４６】
このように、濃淡差の判別を複数ランクに分けてその結果として得られる係数αを複数（２つより多く）設定することにより、画質性能をより向上させることが可能になる。
【００４７】
なお以上の説明ではハードウェアで画像処理装置を実現する例を述べたが、ソフトウェアで実現することが可能であることはいうまでもない。
【００４８】
【発明の効果】
以上のように、間引き画素とこれに隣り合う画素から生成される画素に対して信号レベル補正を行うことで、テキスト画像や自然画においても情報の欠落や画質の劣化は少なく、また従来の間引き法を用いた回路と比較して演算式が一つしかないため、小さい規模で回路を構成でき、間引き画素とこれに隣り合う画素の相関を検出し、その相関に応じた係数を信号レベル補正に用いるため、原画に近い鮮明な画像を表示することができる。
【００４９】
本発明の画像処理装置を用いて間引きを行うと、２値画像だけでなく自然画においても階調性や文字の先鋭度を失うことを改善でき、簡易な構成で原画に近い鮮明な画像を再現することが可能となる。また、演算量が少なくハードウェア化しやすいものである。
【図面の簡単な説明】
【図１】 本発明の実施の形態における画像処理装置のブロック図
【図２】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置を用いて８×８の画素から６×６の画素への間引きを説明するための図
【図３】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置を用いて４×４の画素から３×３の画素への間引きを説明するための図
【図４】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置を用いて４×４の画素から３×３の画素への間引きを説明するための図
【図５】 従来の間引き法を用いた画像処理装置のブロック図
【図６】 従来の平均値縮小法を用いた画像処理装置のブロック図
【図７】 （Ａ）（Ｂ）は従来の平均値縮小法を用いた画像処理装置での８×８から６×６の画素への間引きを説明するための図
【図８】 （Ａ）（Ｂ）は従来の平均値縮小法を用いた画像処理装置での４×４から３×３の画素への間引きを説明するための図
【図９】 （Ａ）（Ｂ）は従来の平均値縮小法を用いた画像処理装置で階調のある信号入力時に５画素から４画素への間引きを説明するための図
【図１０】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置で階調のある信号入力時に５画素から４画素への間引きを説明するための図
【図１１】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置で文字などの信号入力時に３画素から２画素への間引きを説明するための図
【図１２】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置で相関検出を無視して文字などの信号入力時に３画素から２画素への間引きを説明するための図
【図１３】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置で階調のある文字などの信号入力時に３つの係数を用いた３画素から２画素への間引きを説明するための図
【図１４】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置で階調のある文字などの信号入力時に２つの係数を用いた３画素から２画素への間引きを説明するための図
【図１５】 （Ａ）（Ｂ）は本発明の実施の形態における画像処理装置で階調のある文字などの信号入力時に用いる２つの係数の値を変えた場合の３画素から２画素への間引きを説明するための図
【符号の説明】
２ 係数決定回路
３ 演算回路
４ 画像再編成回路
５ 間引きパルス発生回路
１１、１２、１３ 遅延回路

Claims (7)

1. １画素単位および１ライン単位に画像データを遅延する遅延回路を複数段有し、これら遅延回路を用いて、水平方向および垂直方向に並んだ複数画素からなる画像データを、水平方向の画素に対しては１画素毎に遅延を行い、垂直方向の画素に対しては１ライン毎に遅延を行った複数の画像データを生成する遅延手段と、
   この遅延手段からの遅延された複数の画像データから、間引くべき画素と、この間引くべき画素に対して水平方向及び垂直方向に隣接する画素との２つの信号レベルの差あるいは濃淡の差を所定の判別基準値と比較して、補間画素データを生成する演算式に用いる係数を決定する係数決定手段と、
   水平方向への間引きの場合は水平同期信号を基準として、画像の水平方向における縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力し、垂直方向への間引きの場合は垂直同期信号を基準として、画像の垂直方向における縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力する間引き指示手段と、
   前記遅延手段からの遅延された複数の画像データに対して、水平方向及び垂直方向に所定の画素数の所定のライン数からなる画素ブロックを生成し、この画素ブロックに対して前記間引き指示手段からの間引パルスを用いて、間引き画素と、この間引くべき画素に対して水平方向及び垂直方向に隣接する画素を取り出し、これらの画素データと前記係数決定手段で決定された係数に基づいて、所定の演算式を算出して間引かれた後の画素を補間する補間画素データを生成する演算手段と、を備えた画像処理装置。
2. 前記演算手段の演算式は、前記各画素ブロックの水平方向あるいは垂直方向に画素ａ、ｂ、ｃ、ｄの順に並んだ４画素ブロックであり前記各画素の信号レベルをそれぞれＳａ、Ｓｂ、Ｓｃ、Ｓｄとし、前記係数決定手段により決定された前記係数をαとし、水平方向あるいは垂直方向の前記間引くべき画素をｂ、前記間引くべき画素に隣接する画素をｃとし、前記演算手段により生成される画素をＢとし、前記演算式がＢ＝（１＋２α）×（Ｓｂ＋Ｓｃ）／２−Ｓａ×α−Ｓｄ×αであり、前記４画素ブロックを画素ａ、Ｂ、ｄの順に並んだ３画素ブロックに縮小することを特徴とする請求項１に記載の画像処理装置。
3. 前記演算手段の演算式は、前記各画素ブロックの水平方向あるいは垂直方向に画素ａ、ｂ、ｃ、ｄの順に並んだ内の、水平方向あるいは垂直方向のａ、ｂ、ｃからなる３画素ブロックであり前記各画素の信号レベルをそれぞれＳａ、Ｓｂ、Ｓｃ、Ｓｄとし、前記係数決定手段により決定された前記係数をαとし、水平方向あるいは垂直方向の前記間引くべき画素をｂ、前記間引くべき画素に隣接する画素をｃとし、前記演算手段により生成される画素をＢとし、前記演算式がＢ＝（１＋２α）×（Ｓｂ＋Ｓｃ）／２−Ｓａ×α−Ｓｄ×αであり、前記３画素ブロックを画素ａ、Ｂの順に並んだ２画素ブロックに縮小することを特徴とする請求項１に記載の画像処理装置。
4. 前記遅延手段は、１画素単位および１ライン単位に画像データを遅延する遅延回路を複数段有し、画像データを入力する第１の遅延回路と、前記第１の遅延回路の出力を入力とする第２の遅延回路と、前記第２の遅延回路の出力を入力とする第３の遅延回路とからなり、
   前記係数決定手段は、前記第１の遅延回路の出力と前記第２の遅延回路の出力とを入力し、前記演算手段は、前記画像データ、前記第１の遅延回路の出力、前記第２の遅延回路の出力、前記第３の遅延回路の出力、前記係数決定手段の出力、および前記間引きパルス発生手段の出力とを入力することを特徴とする請求項１に記載の画像処理装置。
5. 前記演算手段の演算式は、前記係数決定手段により決定された前記係数をαとし、前記各画素ブロックの水平方向あるいは垂直方向に画素ａ、ｂ、ｃ、ｄの順に並んだ４画素ブロックにおいて、水平方向あるいは垂直方向の間引くべき画素ｂとそれに隣接する画素ｃにより生成される画素Ｂを（１＋２α）×（ｂ＋ｃ）／２−ａ×α−ｄ×αの式により求め、画素ａ、Ｂ、ｄの順に並んだ３画素ブロックに縮小することを特徴とする請求項１に記載の画像処理装置。
6. 前記係数決定手段において出力する係数αは、間引くべき画素とその間引くべき画素とこれに隣接する画素の２つの信号レベルの差あるいは濃淡の差を検出して決定され、２画素間の信号レベルの差あるいは濃淡の差が予め判別基準値として設定される値より大きい場合は予め設定される係数αを出力し、２画素間の信号レベルの差あるいは濃淡の差が予め判別基準値として設定される値より小さい場合は係数αを０として出力することを特徴とする請求項１に記載の画像処理装置。
7. 遅延手段により、画像データが水平方向および垂直方向に並んだ複数画素からなる各画素ブロック毎に、水平方向の画素に対しては１画素毎に遅延し、垂直方向の画素に対しては１ライン毎に遅延を行った複数の画像データを生成するステップと、
   間引き指示手段により、水平方向への間引きの場合は水平同期信号を基準として、画像の水平方向における前記縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力し、垂直方向への間引きの場合は垂直同期信号を基準として、画像の垂直方向における前記縮小率に応じた一定間隔で前記間引くべき画素を指示するための間引パルスを出力するステップと、
   係数決定手段により前記間引きパルスで指示される間引くべき画素と、この間引くべき画素に対して水平方向及び垂直方向に隣接する画素との２つの信号レベルの差あるいは濃淡の差を所定の判別基準値と比較するステップと、
   係数決定手段による比較結果より、補間画素データを生成する演算式に用いる係数を決定するステップと、
   演算手段により少なくとも、決定された係数、間引くべき画素、および間引くべき画素に隣接する画素に基づき予め定められた演算式を用いて補間画素データを生成するステップと、から構成される画像処理方法。

Images