JP4596066B2 - 画像処理装置、画像処理方法および画像表示装置 - Google Patents

Description

本発明は、デジタル化された画像を部分的に拡大または縮小処理をして表示する画像処理装置、画像処理方法および画像表示装置に関するものであり、特に空間周波数の高い画像が入力された場合に、出力画像にモアレが発生することを防ぐ画像処理装置、画像処理方法および画像表示装置に関する。

リアプロジェクションテレビ等の投射型ディスプレイ装置においては、投射する光源とスクリーンの位置関係、あるいは、光学系が持つ収差などに起因する画像歪が発生する。この歪を補正するため、歪と逆特性の変換を施した画像を投射する手法が従来より知られている。

その方法の一つに、電気的な信号処理によって画像を補正する手法があり、たとえばキーストーン歪を補正するために入力画像中の走査線内の画素数を所定走査線数単位で変化させることにより画像歪を補正している液晶プロジェクタ装置が提案されている。画素数を変化させるための方法としては、入力画像中の走査線内のサンプルの隣接サンプル間を補間処理することにより画素数を変換する方法が用いられている（たとえば、特許文献１参照）。

特開平８−１０２９００号公報（段落００１２、００１４、００２７、００４０、図３、１２、１３）

しかしながら、上記の従来の技術では、市松模様などの高周波成分を含む画像が入力された場合、原画像を変換後の画素位置で再サンプリングすることによる折り返し歪によって出力画像にモアレが発生し、極めて見栄えの悪い画像となる、という問題があった。

本発明は、上記に鑑みてなされたものであって、キーストーン歪補正の様にデジタル化された画像を部分的に拡大または縮小した場合においても良好な表示画像が得られる画像信号を生成可能な画像処理装置、画像処理方法および画像表示装置を得ることを目的とする。

本発明に係る画像処理装置は、入力された入力画像データを領域ごとに拡大または縮小する画像処理装置であって、前記入力画像データの高周波成分を平滑化した高周波成分平滑化画像データを生成するものであって、前記入力画像データの高周波成分を検出して前記入力画像データにおけるどの画素に高周波成分が存在するかを示す高周波成分検出情報を生成する高周波成分検出部、前記入力画像データを平滑化した平滑化画像データを生成する平滑化処理部、前記高周波成分検出情報に基づいて、前記高周波成分が存在する部分では前記平滑化画像データを選択し、前記高周波成分が存在しない部分では前記入力画像データを選択して前記高周波成分平滑化画像データを生成する画像データ選択部を有する高周波成分平滑処理部と、前記入力画像データを領域ごとに拡大または縮小した後の画像データにおける画素位置を指定する部分拡大縮小制御情報を生成する部分拡大縮小制御部と、前記高周波成分平滑化画像データにおける前記部分拡大縮小制御情報によって指定された画素位置の画素データを、該指定された画素位置の周辺の画素データを用いて生成する画素データ生成部と、を備え、前記高周波成分検出部が、前記入力画像データを３値に量子化するための閾値データを注目画素の周辺画素を用いて決定して出力する閾値演算部、前記閾値データに基づいて、前記入力画像データを３値に量子化して３値化された画像データを生成する量子化処理部、３値化された画像データとすべての前記閾値データよりも前記入力画像データが大きい場合の値とすべての前記閾値データよりも前記入力画像データが小さい場合の値が１画素ごとに交互にある予め設定された３値のパターンデータとに基づいてパターンマッチング判定を行って、前記高周波成分検出情報を生成するパターンマッチング判定部を有することを特徴とするものである。

この発明によれば、階調値の異なる高周波成分が存在する場合であっても正しく高周波成分として検出することができ、入力画像データの高周波成分を平滑化し、平滑化された画像を領域毎に拡大または縮小して、モアレを抑制した良好な画像を生成することができ、ノイズ成分による不要な平滑化処理を防止できるという効果を奏する。

以下に、本発明に係る画像処理装置、画像処理方法および画像表示装置の実施の形態を図面に基づいて詳細に説明する。なお、本発明は以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置１０の概略構成を示すブロック図である。実施の形態１に係る画像表示装置１０は、入力端子１、高周波成分前処理部２、部分拡大縮小制御部３、階調演算部４、および表示部５を備える。

入力端子１には、入力画像データＤａが入力され、該入力画像データＤａは高周波成分前処理部２に入力される。高周波成分前処理部２は、入力画像データＤａの高周波成分が含まれる部分を平滑化して高周波成分平滑化画像データＤｂを生成し、出力する高周波成分平滑化処理手段である。部分拡大縮小制御部３は、図示しない制御部からの補正量指示信号に基づいて画像データを領域ごとに拡大、縮小した後の画素位置を指定する部分拡大縮小制御情報Ｓａを階調演算部４に出力する。階調演算部４は、高周波成分平滑化画像データＤｂにおける部分拡大縮小制御情報Ｓａによって指定された位置の画素データを、当該位置の周辺の画素を用いて生成し、部分拡大縮小画像データＤｃを出力する画素データ生成手段である。表示部５は、部分拡大縮小画像データＤｃに対応する輝度で表示動作を行う。

ここで、高周波成分前処理部２の内部構成に関して詳細に説明する。図２は、高周波成分前処理部２の内部構成を示すブロック図である。高周波成分前処理部２は、平滑化処理部１１、高周波成分検出部１２、画像データ選択部１３を備える。高周波成分前処理部２においては、入力画像データＤａは平滑化処理部１１、高周波成分検出部１２、画像データ選択部１３のそれぞれに入力される。平滑化処理部１１は、入力画像データＤａを平滑化して平滑化画像データＤｄを生成し、出力する。

高周波成分検出部１２は、所定の基準により入力画像データＤａの高周波成分を検出して、入力画像データＤａにおけるどの画素に高周波成分が存在するかを示す高周波成分検出情報Ｓｂを生成し、出力する。画像データ選択部１３は、高周波成分検出情報Ｓｂに基づいて、入力画像データＤａと平滑化画像データＤｄとを画素毎に選択し、選択した画像データを高周波成分平滑化画像データＤｂとして出力する。

図３は、平滑化処理部１１の処理を説明するための図であり、図３（ａ）は、入力画像データＤａの一例を示しており、図３（ｂ）は、図３（ａ）の入力画像データＤａを平滑化処理部１１において平滑化した後の平滑化画像データＤｄの一例を示している。図３（ａ）、（ｂ）においては、横軸が画像の水平方向位置、縦軸が階調値を示している。

平滑化処理部１１は、例えば、注目画素周辺の画素データの平均値を出力画素データとする平均値フィルタなどで構成される。図４は、平滑化処理部１１を、水平方向に近接した画素を用いる平均値フィルタで構成した場合の入力画像データＤａと平滑化画像データＤｄとの各画素の階調値の一例を示しており、四角中に記した値は各画素の階調値、ｘは各画素の水平方向の座標である。

図４（ａ）は入力画像データＤａを、図４（ｂ）、図４（ｃ）、図４（ｄ）は、それぞれ２画素参照の平均値フィルタ、４画素参照の平均値フィルタ、８画素参照の平均値フィルタを用いた場合の平滑化画像データＤｄを示している。２画素参照の平均値フィルタは、水平方向に近接した２画素を用いる平均値フィルタであり、４画素参照の平均値フィルタは、水平方向に近接した４画素を用いる平均値フィルタであり、８画素参照の平均値フィルタは、水平方向に近接した８画素を用いる平均値フィルタである。

例えば、図４（ｂ）の座標７の画素は図４（ａ）の座標７、８の画素の平均値、図４（ｃ）の座標７の画素は図４（ａ）の座標６、７、８、９の画素の平均値、図４（ｄ）の座標６の画素は図４（ａ）の座標４、５、６、７、８、９、１０、１１の画素の平均値である。なお、図４では２画素参照の平均値フィルタ、４画素参照の平均値フィルタ、８画素参照の平均値フィルタを用いた例を示したが、平滑化処理として用いられる手段はこの限りではなく、ガウシアンフィルタなど他の平滑化手段を用いることも可能である。

次に、高周波成分検出部１２について詳細に説明する。図５は、高周波成分検出部１２の内部構成を示す図である。高周波成分検出部１２は、閾値演算部２１、量子化処理部２２、パターンマッチング判定部２３を備える。閾値演算部２１は、予め設定された固定値、あるいは入力画像データＤａに基づいて入力画像データＤａを量子化するための閾値データＴａを出力する。量子化処理部２２は、閾値演算部２１から出力される閾値データＴａに基づいて入力画像データＤａを量子化し、量子化画像データＤｅを出力する。

パターンマッチング判定部２３は、量子化画像データＤｅと、入力画像データにおけるどの画素に高周波成分が存在するかを検出するために予め設定された複数値のパターンデータ（ここでは、２値パターンデータ）に基づいてパターンマッチング判定を行い、パターンマッチング判定情報（高周波成分検出情報）Ｓｂを出力する。

図６は、閾値演算部２１と量子化処理部２２の処理の一例を示す図である。図６（ａ）のグラフは、横軸が画像の水平方向位置（画素位置）、縦軸が階調値を表しており、入力画像データＤａと閾値データＴａとの関係を示している。図６（ｂ）は、入力画像データＤａと閾値データＴａとが図６（ａ）に示すような関係の場合の、量子化画像データＤｅを示している。

図６の例では、閾値演算部２１は、予め設定された１つの固定値（階調値）からなる閾値データＴａを量子化処理部２２に出力する。量子化処理部２２は、当該閾値データＴａよりも入力画像データＤａの階調値の方が小さい画素を０に、閾値データＴａよりも入力画像データＤａの階調値の方が大きい画素を１になるように、入力画像データＤａを２値に量子化する。なお、図６の例では、閾値演算部２１が、予め設定された１つの固定値（階調値）からなる閾値データＴａを出力し、量子化処理部２２が当該閾値データＴａに基づいて２値の量子化を行う例を示したが、量子化処理部２２、および閾値演算部２１の動作はこの限りではなく、後に別の例を説明する。

パターンマッチング判定部２３は、量子化画像データＤｅと、予め設定された２値パターンデータに基づいてパターンマッチングを行う。図７は、パターンマッチングに用いられる２値パターンデータの一例を示している。図７の例では、高周波成分を検出するために、１と０が１画素ごとに交互に並んだ２値パターンデータを用いている。図７（ａ）、（ａ）´は２画素参照、図７（ｂ）、（ｂ）´は４画素参照、図７（ｃ）、（ｃ）´は８画素参照によるパターンマッチングを行う場合に用いられる２値パターンデータを示している。

例えば２画素参照のパターンマッチングを行う場合であれば、図７（ａ）、（ａ）´のどちらか一方と量子化画像データＤｅが一致するかどうかの判定を行う。４画素参照、８画素参照についても同様の方法で判定を行い、判定結果をパターンマッチング判定情報（高周波成分検出情報）Ｓｂとして出力する。このように、２値化された画像データと２値パターンデータとを比較することで、入力画像に含まれる高周波成分を検出することができる。

なお、図７に示したパターンマッチングに用いる２値パターンデータはほんの一例であり、高周波成分を検出するための２値パターンデータであれば、どのような２値パターンデータを用いても良く、例えば、図７の例よりも周波数が低い領域の成分を検出する場合は、０と１が２画素ごとに交互に並んだ２値パターンデータを用いるなどしても良い。また、０と１が１画素ごとに交互に並んだ２値パターンデータと、０と１が２画素ごとに交互に並んだ２値パターンデータのいずれかに一致するかどうかの判定を行うなど、複数の異なるパターンを用いて判定を行っても良い。また、参照画素数は、平滑化処理部１１で平滑化に用いた参照画素数と同じ画素数でも良いし、異なる画素数でも良い。また、パターンマッチング判定情報（高周波成分検出情報）Ｓｂは２値データでも良いし、多値データでも良い。

画像データ選択部１３は、パターンマッチング判定情報（高周波成分検出情報）Ｓｂに応じて、入力画像データＤａと平滑化画像データＤｄとを、画素ごとに選択して出力する。パターンマッチング判定情報（高周波成分検出情報）Ｓｂが入力画像データＤａの注目画素周辺に高周波成分を含むことを示す場合、画像データ選択部１３は、平滑化画像データＤｄを選択して出力する。逆に、パターンマッチング判定情報（高周波成分検出情報）Ｓｂが入力画像データＤａの注目画素周辺に高周波成分を含まないことを示す場合、画像データ選択部１３は入力画像データＤａを選択して出力する。

このように、高周波成分を含む画素において平滑化画像データＤｄを出力することによって、入力画像データＤａ中に含まれる高周波成分を除去した高周波成分平滑化画像データＤｂを得ることができる。

また、画像データ選択部１３は、パターンマッチング判定情報（高周波成分検出情報）Ｓｂに応じて、入力画像データＤａと平滑化画像データＤｄのどちらか一方を選択して出力するだけでなく、入力画像データＤａと平滑化画像データＤｄとの加重平均を求めて出力しても良い。この場合、パターンマッチング判定情報（高周波成分検出情報）Ｓｂに応じて加重平均の重み付けを制御して高周波成分平滑化画像データＤｂを求める。

画像データ選択部１３は、パターンマッチング判定情報（高周波成分検出情報）Ｓｂが入力画像データＤａの注目画素周辺に高周波成分を含むことを示す場合は、平滑化画像データＤｄにかかる重み係数を大きくし、入力画像データＤａにかかる重み係数を小さくする。逆に、入力画像データＤａの注目画素周辺に高周波成分を含まないことを示す場合は、入力画像データＤａにかかる重み係数を大きくし、平滑化画像データＤｄにかかる重み係数を小さくするように制御する。

図８は、高周波成分平滑化画像データＤｂを求める際に加重平均を用いた場合の入力画像データＤａ、平滑化画像データＤｄ、高周波成分平滑化画像データＤｂの関係を示すグラフである。図８（ａ）は、入力画像データＤａと平滑化画像データＤｄを、図８（ｂ）は、高周波成分平滑化画像データＤｂを示している。なお、図８（ａ）、（ｂ）のグラフにおいては、ともに横軸が画像の水平方向位置、縦軸が階調値を表している。

例えば図８（ａ）に示す入力画像データＤａについて、パターンマッチング判定部２３が、区間Ｚａには高周波成分が含まれており、区間Ｚｂには高周波成分が含まれていないと判定した場合、画像データ選択部１３は、区間Ｚａでは平滑化画像データＤｄにかかる重み係数を大きくし、区間Ｚｂでは入力画像データＤａにかかる重み係数を大きくするように制御して加重平均計算を行う。図８（ｂ）は、区間Ｚａでの入力画像データＤａと平滑化画像データＤｄの重み係数をそれぞれ、Ｄａ：０．２５、Ｄｄ：０．７５、区間Ｚｂでの入力画像データＤａと平滑化画像データＤｄの重み係数をそれぞれ、Ｄａ：１．０、Ｄｄ：０とした場合の高周波成分平滑化画像データＤｂを表している。このように荷重平均を出力することにより、高周波成分を平滑化することによる画像のなまり（偏り）を抑制することができる。

なお、図８に示す例では、画像データ選択部１３が、パターンマッチング判定情報（高周波成分検出情報）Ｓｂに基づいて、重み係数を２通りから選択して加重平均の計算を行う例を示したが、加重平均の計算方法はこの限りではない。

つぎに、パターンマッチング判定部２３と画像データ選択部１３とにおける、色ごとの処理について説明する。図９は、パターンマッチング判定部２３ａと画像データ選択部１３ａとにおける、色ごとの処理を説明する図である。パターンマッチング判定部２３ａは、赤色（Ｒ）成分パターンマッチング判定部２３ｒ、緑色（Ｇ）成分パターンマッチング判定部２３ｇおよび青色（Ｂ）成分パターンマッチング判定部２３ｂを備える。また、画像データ選択部１３ａは、赤色（Ｒ）成分画像データ選択部１３ｒ、緑色（Ｇ）成分画像データ選択部１３ｇおよび青色（Ｂ）成分画像データ選択部１３ｂを備える。

パターンマッチング判定部２３ａの赤色成分パターンマッチング判定部２３ｒ、緑色成分パターンマッチング判定部２３ｇおよび青色成分パターンマッチング判定部２３ｂは、それぞれ赤、緑、青の各色成分ごとにパターンマッチング判定を行う。

そして、赤色成分パターンマッチング判定部２３ｒ、緑色成分パターンマッチング判定部２３ｇおよび青色成分パターンマッチング判定部２３ｂは、それぞれの色成分の判定結果を、赤色成分パターンマッチング判定情報（高周波成分検出情報）Ｓｂｒ、緑色成分パターンマッチング判定情報（高周波成分検出情報）Ｓｂｇ、青色成分パターンマッチング判定情報（高周波成分検出情報）Ｓｂｂとして生成し、画像データ選択部１３ａの対応する色の選択部に出力する。

画像データ選択部１３ａの赤色成分画像データ選択部１３ｒ、緑色成分画像データ選択部１３ｇおよび青色成分画像データ選択部１３ｂは、対応する色成分のパターンマッチング判定情報に基づいて、それぞれの色成分に関して画像データ選択を行う。これにより、色ごとに入力画像データＤａ中に含まれる高周波成分を除去した高周波成分平滑化画像データＤｂを得ることができるとともに、高周波成分平滑化画像データの色の偏りを抑えることができる。

図１０は、パターンマッチング判定部２３ａと画像データ選択部１３ａとにおける、色ごとの別の処理の一例を示す図である。図１０の例では、赤色成分画像データ選択部１３ｒ、緑色成分画像データ選択部１３ｇおよび青色成分画像データ選択部１３ｂの全てが、緑色成分パターンマッチング判定情報（高周波成分検出情報）Ｓｂｇのみに基づいて画像データの選択を行う。図１０の例では、緑色成分パターンマッチング判定情報に基づいて、全ての色成分の画像データ選択が行われているが、これに限らず、画像データ選択部１３ａは、赤色成分パターンマッチング判定情報（高周波成分検出情報）Ｓｂｒや青色成分パターンマッチング判定情報（高周波成分検出情報）Ｓｂｂに基づいて、全ての色成分の画像データ選択を行ってもよい。

このように、特定の色成分のパターンマッチング判定情報に基づいて全ての色成分の画像データ選択を行うことで、入力画像に特定の色成分の高周波成分が含まれる場合に、特定の色成分のみ平滑化されることによる色づきを抑制することができる。

部分拡大縮小制御部３は、画像データを任意の形状に補正するために、画像データを領域ごとに拡大または縮小するための部分拡大縮小制御情報Ｓａを生成、出力する。部分拡大縮小制御情報Ｓａは、画像データを領域ごとに拡大、縮小した後の画素位置を指定するデータによって構成される。

階調演算部４は、部分拡大縮小制御情報Ｓａが示す画素位置における階調値を求める。部分拡大縮小制御情報Ｓａが示す画素位置が、高周波成分平滑化画像データＤｂの画素が無い位置である場合、階調演算部４は、高周波成分平滑化画像データＤｂの当該画素位置周辺の画素を用いて、当該画素位置における階調値を求める。

上記のように、部分拡大縮小制御部３が、画像データを領域ごとに拡大または縮小した後の画素位置を指定するデータを出力し、階調演算部４が、当該画素位置における階調値を新たに求めることによって、入力画像を部分的に拡大または縮小し、入力画像を任意の形状に補正する。ここで、階調演算部４に入力される高周波成分平滑化画像データＤｂは、高周波成分前処理部２において入力画像データＤａに含まれる高周波成分が除去された画像であるので、階調演算部４において高周波成分を含む入力画像を変換後の画素位置で再サンプリングすることによる折り返し歪に起因するモアレの発生を抑制することができる。

つぎに、量子化処理部２２と閾値演算部２１の別の処理例について説明する。図６では、閾値演算部２１が、予め設定された１つの固定値からなる閾値データＴａを出力し、量子化処理部２２が、該閾値データＴａに基づいて入力画像データＤａを２値に量子化する例を示したが、閾値演算部２１は、入力画像データＤａにおける注目画素周辺の画素の階調値を平均した値を閾値データＴｂとして出力しても良い。

図１１は、この場合の処理の一例を示す図であり、図１１（ａ）のグラフは、横軸が画像の水平方向位置（画素位置）、縦軸が階調値を表しており、入力画像データＤａと閾値データＴｂの値を示している。閾値データＴｂは、入力画像データＤａにおける注目画素周辺の４画素の階調値を平均した値である。また、図１１（ｂ）は、入力画像データＤａと閾値データＴｂが図１１（ａ）に示す場合の量子化画像データＤｅを示している。図１１の例では、量子化処理部２２は、閾値データＴｂに基づいて入力画像データＤａを２値化し、量子化画像データＤｅを出力する。

このように、閾値演算部２１が、入力画像データＤａにおける注目画素周辺の画素の階調値を平均した値を閾値データＴｂとして出力することで、階調値の異なる高周波成分が存在する場合であっても、正しく高周波成分として検出することができる。

比較のため、図１１（ａ）に示すような入力画像データＤａに対して、閾値演算部２１が、図６で説明したような予め設定された１つの固定値からなる閾値データＴａを生成し、量子化処理部２２が、当該閾値データＴａに基づいて入力画像データＤａを２値に量子化した場合の処理を図１２に示す。図１２（ａ）のグラフは、横軸が画像の水平方向位置（画素位置）、縦軸が階調値を表しており、入力画像データＤａと閾値データＴａの値を示している。また、図１２（ｂ）は、入力画像データＤａと閾値データＴａが図１２（ａ）に示す場合の量子化画像データＤｅを示している。

この場合、量子化処理部２２が出力する量子化画像データＤｅは図１２（ｂ）のようになり、階調値の異なる高周波成分が存在する場合に正しく高周波成分として検出することができず、高周波成分を検出することができない部分が存在する。

量子化処理部２２と閾値演算部２１のさらに別の処理例について説明する。図１１の例では、閾値演算部２１が入力画像データＤａにおける注目画素周辺の画素の階調値を平均した値を閾値データＴｂとして出力する例を示したが、閾値演算部２１が、さらに別の閾値データＴｃを出力し、量子化処理部２２は、２つの閾値データＴｂ、Ｔｃに基づいて、入力画像データＤａを３値に量子化しても良い。

図１３は、この場合の処理の一例を示す図であり、図１３（ａ）のグラフは、横軸が画像の水平方向位置（画素位置）、縦軸が階調値を表しており、入力画像データＤａと閾値データＴｂ、Ｔｃの関係を示している。また、図１３（ｂ）は、入力画像データＤａと２つの閾値データＴｂ、Ｔｃが図１３（ａ）に示す場合の量子化画像データＤｅを示している。図１３の例では、量子化処理部２２は、２つの閾値データＴｂ、Ｔｃに基づいて、入力画像データＤａが、Ｄａ＞Ｔｂ＋Ｔｃの場合は１に、Ｄａ＜Ｔｂ−Ｔｃの場合は０に、Ｔｂ＋Ｔｃ≧Ｄａ≧Ｔｂ−Ｔｃの場合は２になるように３値に量子化する。

パターンマッチング判定部２３は、量子化画像データＤｅの０と１が１画素ごとに反転するようなパターンを高周波成分として検出するので、２に量子化された部分は高周波成分として検出されない。

図１３（ａ）に示した入力画像データＤａのように、例えば、本来階調が平坦な部分にノイズが加わることによって入力画像データＤａが微少な高周波成分を持つ場合、閾値データＴｂのみを用いて２値の量子化を行うと、ノイズ成分を画像本来の高周波成分と誤認識し、不必要な平滑化処理を行ってしまう。一方、図１３（ａ）に示したように、量子化処理部２２が、２つの閾値データＴｂ、Ｔｃを用いて３値に量子化することにより、不必要な平滑化処理が行われることを防ぐことができる。

実施の形態２．
実施の形態１では、高周波成分前処理部２が注目画素の水平方向に近接する画素を用いて前処理を行う場合について説明したが、画像データ選択部１３から出力される高周波成分平滑化画像データＤｂを用いて、水平方向に近接する画素に加え、垂直方向に近接する画素を用いて高周波成分前処理を行っても良い。この場合における垂直方向に近接する画素を用いた前処理は、参照する画素が異なるだけで、その他の処理は上述した画像データ選択部１３と同様なので、詳細な説明は省略する。このように、水平方向に近接する画素を参照して前処理を行った後に、垂直方向に近接する画素を参照して前処理を行うことで、水平方向の前処理だけでは検出できない、例えば、水平方向のストライプ状の模様などを検出することができる。

実施の形態２では、このような高周波成分前処理を行う画像データ遅延用メモリを設けた場合について説明する。なお、実施の形態２に係る画像表示装置の高周波成分前処理部以外の構成は、基本的に実施の形態１の場合と同様であるので、実施の形態１の場合と同様の構成については同じ符号を付した。以下、高周波成分前処理部を中心に説明する。

実施の形態２に係る画像表示装置は、実施の形態１における高周波成分前処理部２の代わりに、高周波成分前処理部２ａを備える。図１４は、実施の形態２に係る画像表示装置が有する高周波成分前処理部２ａの内部構成を示すブロック図である。高周波成分前処理部２ａは、図１４に示すように画像データ遅延用メモリ３１と、平滑化処理部１１ａ、高周波成分検出部１２、画像データ選択部１３を備える。

画像データ遅延用メモリ３１は、入力画像データＤａの１ライン分の画像データ、あるいは遅延用に複数ライン分の画像データを保持するメモリによって構成され、複数ラインの画像データを複数ライン画像データＤｆとして出力する。

平滑化処理部１１ａは、垂直方向および水平方向に近接した画素を参照して平滑化処理を行う。なお、水平方向に近接する画素だけでなく、垂直方向に近接する画素も参照して平滑化処理を行うこと以外は実施の形態１と同様であるので詳細な説明は省略する。また、高周波成分検出部１２および画像データ選択部１３の機能についても、実施の形態１と同様であるので説明は省略する。

次に、本実施の形態に係る高周波成分検出部１２について説明する。高周波成分検出部１２の内部ブロック構成は、図５に示した実施の形態１と同様である。閾値演算部２１は、実施の形態１と同様の処理であるので説明を省略する。量子化処理部２２は、垂直方向、水平方向に近接した画素を参照して量子化処理を行う。水平方向に近接する画素だけでなく、垂直方向に近接する画素も参照すること以外は実施の形態１と同様であるので詳細な説明は省略する。

また、本実施の形態では、高周波成分検出部１２のパターンマッチング判定部２３は、垂直方向および水平方向に近接した画素を参照してパターンマッチング判定を行う。図１５に、垂直方向および水平方向において近接する４画素を参照してパターンマッチング判定を行う場合の、２値パターンの一例を示す。図１５の例では、周波数の高い市松模様を検出するために、垂直方向、水平方向ともに１と０が１画素ごとに交互に並んだ２値パターンを用いており、パターンマッチング判定部２３は、図１５（ａ）、（ａ）´のどちらか一方と量子化画像データＤｅが一致するかどうかの判定を行う。なお、図１５では、垂直方向および水平方向において近接する４画素を参照する場合の２値パターンを示したが、参照する画素数はこの限りではない。

図１６は、パターンマッチング判定部２３で用いられる２値パターンの別の例を示している。垂直方向は１と０が１画素ごとに交互に並び、水平方向には全て１、あるいは０が並んでいる。このような２値パターンを用いることで、水平方向のストライプ状の模様を検出することができる。また、図１７には、垂直方向のストライプ状の模様を検出するための２値パターンを示す。水平方向は１と０が１画素ごとに交互に並び、垂直方向は全て１、あるいは０が並んでいる。このような２値パターンを用いることで、垂直方向のストライプ状の模様を検出することができる。

また、図１５に示した周波数の高い市松模様を検出するための２値パターンと、図１６に示した水平方向のストライプ状の模様を検出するための２値パターンと、図１７に示した垂直方向のストライプ状の模様を検出するための２値パターンのいずれかに一致するかどうかの判定を行うなど、複数の異なるパターンを用いて判定を行っても良い。

このように、垂直方向および水平方向において近接する画素を参照してパターンマッチングを行うことで、入力画像が文字などの細かく変化する絵柄を含む場合であっても、文字などを除去すべき高周波成分と誤検出せずに、市松模様などのモアレの原因となる高周波成分のみを検出することができる。

以上のように、本発明に係る画像処理装置は、デジタル化された画像を部分的に拡大または縮小する場合に有用である。

本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。 本発明の実施の形態１に係る画像表示装置の高周波成分前処理部の構成を示すブロック図である。 本発明の実施の形態１に係る画像表示装置における平滑化処理を説明するための図である。 本発明の実施の形態１に係る画像表示装置における平滑化処理の具体的な一例を示す図である。 本発明の実施の形態１に係る画像表示装置における高周波成分検出部の構成を示すブロック図である。 本発明の実施の形態１に係る画像表示装置における量子化処理を説明するための図である。 本発明の実施の形態１に係る画像表示装置においてパターンマッチング判定に用いる２値パターンの一例を示す図である。 本発明の実施の形態１に係る画像表示装置における画像データ選択部の処理を説明するための図である。 本発明の実施の形態１に係る画像表示装置におけるパターンマッチング判定部と画像データ選択部との色ごとの処理を説明するための図である。 本発明の実施の形態１に係る画像表示装置におけるパターンマッチング判定部と画像データ選択部との色ごとの別の処理を説明するための図である。 本発明の実施の形態１に係る画像表示装置における量子化処理を説明するための図である。 従来の量子化処理を説明するための図である。 本発明の実施の形態１に係る画像表示装置における３値の量子化処理を説明するための図である。 本発明の実施の形態２に係る画像表示装置における高周波成分前処理部の構成を示すブロック図である。 本発明の実施の形態２に係る画像表示装置におけるパターンマッチング判定に用いる２値パターンの一例を示す図である。 本発明の実施の形態２に係る画像表示装置におけるパターンマッチング判定に用いる２値パターンの別の例を示す図である。 本発明の実施の形態２に係る画像表示装置におけるパターンマッチング判定に用いる２値パターンの別の例を示す図である。

符号の説明

１ 入力端子
２ 高周波成分前処理部
２ａ 高周波成分前処理部
３ 部分拡大縮小制御部
４ 階調演算部
５ 表示部
１０ 画像表示装置
１１ 平滑化処理部
１１ａ 平滑化処理部
１２ 高周波成分検出部
１３ 画像データ選択部
１３ａ 画像データ選択部
１３ｒ 赤色（Ｒ）成分画像データ選択部
１３ｇ 緑色（Ｇ）成分画像データ選択部
１３ｂ 青色（Ｂ）成分画像データ選択部
２１ 閾値演算部
２２ 量子化処理部
２３ パターンマッチング判定部
２３ａ パターンマッチング判定部
２３ｒ 赤色（Ｒ）成分パターンマッチング判定部
２３ｇ 緑色（Ｇ）成分パターンマッチング判定部
２３ｂ 青色（Ｂ）成分パターンマッチング判定部
３１ 画像データ遅延用メモリ
Ｄａ 入力画像データ
Ｄｂ 高周波成分平滑化画像データ
Ｄｃ 部分拡大縮小画像データ
Ｄｄ 平滑化画像データ
Ｄｅ 量子化画像データ
Ｄｆ 複数ライン画像データ
Ｓａ 部分拡大縮小制御情報
Ｓｂ 高周波成分検出情報
Ｓｂｂ 青色成分パターンマッチング判定情報
Ｓｂｇ 緑色成分パターンマッチング判定情報
Ｓｂｒ 赤色成分パターンマッチング判定情報
Ｔａ 閾値データ
Ｔｂ 閾値データ
Ｔｃ 閾値データ

Claims (5)

1. 入力された入力画像データを領域ごとに拡大または縮小する画像処理装置であって、
   前記入力画像データの高周波成分を平滑化した高周波成分平滑化画像データを生成するものであって、前記入力画像データの高周波成分を検出して前記入力画像データにおけるどの画素に高周波成分が存在するかを示す高周波成分検出情報を生成する高周波成分検出部、前記入力画像データを平滑化した平滑化画像データを生成する平滑化処理部、前記高周波成分検出情報に基づいて、前記高周波成分が存在する部分では前記平滑化画像データを選択し、前記高周波成分が存在しない部分では前記入力画像データを選択して前記高周波成分平滑化画像データを生成する画像データ選択部を有する高周波成分平滑処理部と、
   前記入力画像データを領域ごとに拡大または縮小した後の画像データにおける画素位置を指定する部分拡大縮小制御情報を生成する部分拡大縮小制御部と、
   前記高周波成分平滑化画像データにおける前記部分拡大縮小制御情報によって指定された画素位置の画素データを、該指定された画素位置の周辺の画素データを用いて生成する画素データ生成部と、
   を備え、
   前記高周波成分検出部が、前記入力画像データを３値に量子化するための閾値データを注目画素の周辺画素を用いて決定して出力する閾値演算部、前記閾値データに基づいて、前記入力画像データを３値に量子化して３値化された画像データを生成する量子化処理部、３値化された画像データとすべての前記閾値データよりも前記入力画像データが大きい場合の値とすべての前記閾値データよりも前記入力画像データが小さい場合の値が１画素ごとに交互にある予め設定された３値のパターンデータとに基づいてパターンマッチング判定を行って、前記高周波成分検出情報を生成するパターンマッチング判定部を有することを特徴とする画像処理装置。
2. 前記平滑化処理部が、前記入力画像データにおける注目画素の水平方向での周辺画素を用いて前記入力画像データを平滑化した平滑化画像データを生成し、
   前記閾値演算部が、前記水平方向での周辺画素を用いて前記閾値データを決定し、
   前記パターンマッチング判定部が、３値化された画像データにおける注目画素の水平方向での周辺画素と前記３値のパターンデータを用いてパターンマッチング判定を行って、前記高周波成分検出情報を生成すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記高周波成分平滑処理部が、前記入力画像データの１ライン分の画像データまたは複数ライン分の画像データを保持する画像データメモリをさらに備え、
   前記平滑化処理部が、前記入力画像データにおける注目画素の水平方向と垂直方向のそれぞれの方向における周辺画素を用いて前記入力画像データを平滑化した平滑化画像データを生成し、
   前記閾値演算部が、前記水平方向と垂直方向のそれぞれの方向における周辺画素を用いて前記閾値データを決定し、
   前記パターンマッチング判定部が、３値化された画像データにおける注目画素の水平方向と垂直方向のそれぞれの方向における周辺画素と前記３値のパターンデータを用いてパターンマッチング判定を行って、前記高周波成分検出情報を生成すること、
   を特徴とする請求項１に記載の画像処理装置。
4. 請求項１〜３のいずれか１つに記載の画像処理装置を備えたことを特徴とする画像表示装置。
5. 入力画像データの高周波成分を平滑化した高周波成分平滑化画像データを生成する工程であって、前記入力画像データの高周波成分を検出して前記入力画像データにおけるどの画素に高周波成分が存在するかを示す高周波成分検出情報を生成する高周波成分検出工程、前記入力画像データを平滑化した平滑化画像データを生成する平滑化処理工程、前記高周波成分検出情報に基づいて、前記高周波成分が存在する部分では前記平滑化画像データを選択し、前記高周波成分が存在しない部分では前記入力画像データを選択して前記高周波成分平滑化画像データを生成する画像データ選択工程を有する高周波成分平滑処理工程
   と、
   前記入力画像データを領域ごとに拡大または縮小した後の画像データにおける画素位置を指定する部分拡大縮小制御情報を生成する部分拡大縮小制御工程と、
   前記高周波成分平滑化画像データにおける前記部分拡大縮小制御情報によって指定された画素位置の画素データを、該指定された画素位置の周辺の画素データを用いて生成する画素データ生成工程と、
   を含み、
   前記高周波成分検出工程が、前記入力画像データを３値に量子化するための閾値データを注目画素の周辺画素を用いて決定して出力する閾値演算工程、前記閾値データに基づいて、前記入力画像データを３値に量子化して３値化された画像データを生成する量子化処理工程、３値化された画像データとすべての前記閾値データよりも前記入力画像データが大きい場合の値とすべての前記閾値データよりも前記入力画像データが小さい場合の値が１画素ごとに交互にある予め設定された３値のパターンデータとに基づいてパターンマッチング判定を行って、前記高周波成分検出情報を生成するパターンマッチング判定工程を有することを特徴とする画像処理方法。

Images