JP4994353B2 - 画像処理装置及び方法並びに画像表示装置 - Google Patents

Description

本発明は、入力画像に対し強調処理する画像処理装置及び方法並びにこれらを用いた画像表示装置に関し、例えば入力画像として、元となる画像を拡大した拡大画像が入力された際に、高周波数成分の生成及び加算をすることによって、解像感の高い出力画像を得るよう画像の強調処理を行うものである。

一般に画像を表す画像信号に対し適宜画像処理を施した後、画像を再生表示するということが行われている。

例えば特許文献１に記載された画像処理装置においては、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数をその所望の周波数帯域よりも低い周波数帯域の細部画像の信号に基づいて設定することにより、所望の周波数帯域を強調している。

特開平９−４４６５１号公報

しかしながら、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像によっては強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることができないことがあった。

例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分（折り返し成分）が現れる。したがって単純に高周波数成分を強調すると、この折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。

また、入力画像としてノイズ処理を受けた画像が入力される場合、高周波数成分側の周波数スペクトルはノイズ処理によって失われている。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。

本発明の画像処理装置は、
入力画像の特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
前記入力画像と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
前記第２の中間画像生成手段は、
前記第１の中間画像の画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点と捉えるゼロクロス判定手段と、
前記第１の中間画像を構成する画素のうち、前記ゼロクロス点の近傍にある画素の画素値を１より大きい増幅率で増幅した非線形処理画像を生成する信号増幅手段と、
前記非線形処理画像の高周波数成分のみを取り出した高周波数成分画像を生成する高周波数成分画像生成手段を有し、
前記高周波数成分画像を前記第２の中間画像として出力し、
前記第１の増幅率および前記第２の増幅率は、前記入力画像の画素値が大きい場合、小さくなるよう決定される
ことを特徴とする。

本発明によれば、入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でもオーバーシュートの発生を防止しつつ、十分に画像の強調処理を行うことができる。

実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成例を示す図であり、図示の画像処理装置は例えば画像表示装置の一部として用いることができる。

図示の画像処理装置は、第１の中間画像生成手段１と、第２の中間画像生成手段２と、第１の中間画像処理手段３Ｍと、第２の中間画像処理手段３Ｈと、加算手段４とを有する。
第１の中間画像生成手段１は、入力画像ＤＩＮから特定の周波数帯域の成分(即ち第１の周波数（第１の所定の周波数）から第２の周波数（第２の所定の周波数）までの成分)を取り出した中間画像（第１の中間画像）Ｄ１を生成する。
第２の中間画像生成手段２は、中間画像Ｄ１に後述する処理を行った中間画像(第２の中間画像)Ｄ２を生成する。
第１の中間画像処理手段３Ｍは、中間画像Ｄ１に後述する処理を行った中間画像（第３の中間画像）Ｄ３Ｍを生成する。
第２の中間画像処理手段３Ｈは、中間画像Ｄ２に後述する処理を行った中間画像（第４の中間画像）Ｄ３Ｈを生成する。
加算手段４は、入力画像ＤＩＮと、中間画像Ｄ３Ｍと、中間画像Ｄ３Ｈとを加算する。加算手段４による加算の結果得られる画像が最終的な出力画像ＤＯＵＴとして出力される。

図２は第１の中間画像生成手段１の構成例を示した図であり、図示の第１の中間画像生成手段１は、入力画像ＤＩＮから第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する高周波数成分画像生成手段１Ａと、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する低周波数成分画像生成手段１Ｂとを有する。高周波数成分画像生成手段１Ａと低周波数成分画像生成手段１Ｂとで、特定の周波数帯域の成分を取り出す帯域通過フィルタ手段が構成されている。第１の中間画像生成手段１からは画像Ｄ１Ｂが中間画像Ｄ１として出力される。

図３は第２の中間画像生成手段２の構成例を示した図であり、図示の第２の中間画像生成手段２は、中間画像Ｄ１に対し、後述する非線形処理を行った画像Ｄ２Ａを出力する非線形処理手段２Ａと、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを出力する高周波数成分画像生成手段２Ｂとを有する。第２の中間画像生成手段２からは画像Ｄ２Ｂが中間画像Ｄ２として出力される。

図４は第１の中間画像処理手段３Ｍの構成例を示した図であり、図示の第１の中間画像処理手段３Ｍは、増幅率決定手段３ＭＡと、画素値増幅手段３ＭＢとを有する。増幅率決定手段３ＭＡは、入力画像ＤＩＮの画素値をもとに増幅率Ｄ３ＭＡを決定する。画素値増幅手段３ＭＢは、増幅率決定手段３ＭＡにより決定された増幅率Ｄ３ＭＡで中間画像Ｄ１の画素値を増幅し、その結果を中間画像Ｄ３ＭＢとして出力する。第１の中間画像処理手段３Ｍからは中間画像Ｄ３ＭＢが中間画像Ｄ３Ｍとして出力される。
増幅率決定手段３ＭＡは、水平方向増幅率決定手段３ＭＡｈと、垂直方向増幅率決定手段３ＭＡｖとを有し、画素値増幅手段３ＭＢは、水平方向画素値増幅手段３ＭＢｈと、垂直方向画素値増幅手段３ＭＢｖとを有する。水平方向増幅率決定手段３ＭＡｈと、水平方向画素値増幅手段３ＭＢｈとで、第１の水平方向中間画像処理手段３Ｍｈが構成され、垂直方向増幅率決定手段３ＭＡｖと、垂直方向画素値増幅手段３ＭＢｖとで、第１の垂直方向中間画像処理手段３Ｍｖが構成されている。

図５は第２の中間画像後処理手段３Ｈの構成例を示した図であり、図示の第２の中間画像後処理手段３Ｈは、増幅率決定手段３ＨＡと、画素値増幅手段３ＨＢとを有する。増幅率決定手段３ＨＡは、入力画像ＤＩＮの画素値をもとに増幅率Ｄ３ＨＡを決定する。画素値増幅手段３ＨＢは、増幅率決定手段３ＨＡにより決定された増幅率Ｄ３ＨＡで中間画像Ｄ２の画素値を増幅し、その結果を中間画像Ｄ３ＨＢとして出力する。第１の中間画像後処理手段３Ｈからは中間画像Ｄ３ＨＢが中間画像Ｄ３Ｈとして出力される。
増幅率決定手段３ＨＡは、水平方向増幅率決定手段３ＨＡｈと、垂直方向増幅率決定手段３ＨＡｖとを有し、画素値増幅手段３ＨＢは、水平方向画素値増幅手段３ＨＢｈと、垂直方向画素値増幅手段３ＨＢｖとを有する。水平方向増幅率決定手段３ＨＡｈと、水平方向画素値増幅手段３ＨＢｈとで、第２の水平方向中間画像処理手段３Ｈｈが構成され、垂直方向増幅率決定手段３ＨＡｖと、垂直方向画素値増幅手段３ＨＢｖとで、第２の垂直方向中間画像処理手段３Ｈｖが構成されている。

加算手段４は、入力画像ＤＩＮに対し、中間画像Ｄ３Ｍ及び中間画像Ｄ３Ｈを加算し、最終的な出力画像ＤＯＵＴを生成する。

以下、本発明の実施の形態１による画像処理装置の詳細な動作について説明を行う。
まず、第１の中間画像生成手段１の詳細な動作について説明する。
第１の中間画像生成手段１は、高周波数成分画像生成手段１Ａにおいて、入力画像ＤＩＮの第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段１Ａは、入力画像ＤＩＮに対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ第１の水平方向周波数以上の高周波数成分を取り出した画像Ｄ１Ａｈを生成する水平方向高周波数成分画像生成手段１Ａｈと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第１の垂直方向周波数以上の高周波数成分を取り出した画像Ｄ１Ａｖを生成する垂直方向高周波数成分画像生成手段１Ａｖとを有し、画像Ｄ１Ａは画像Ｄ１Ａｈと画像Ｄ１Ａｖとから成る。

次に、第１の中間画像生成手段１は、低周波数成分画像生成手段１Ｂにおいて、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。低周波数成分の取り出しは水平方向及び垂直方向それぞれについて行う。即ち低周波数成分画像生成手段１Ｂは、画像Ｄ１Ａｈに対し水平方向のローパスフィルタ処理を行って水平方向についてのみ第２の水平方向周波数以下の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する水平方向低周波数成分画像生成手段１Ｂと、画像Ｄ１Ａｖに対し垂直方向のローパスフィルタ処理を行って垂直方向についてのみ第２の垂直方向周波数以下の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する垂直方向低周波数成分画像生成手段１Ｂｖとを有し、画像Ｄ１Ｂは画像Ｄ１Ｂｈと画像Ｄ１Ｂｖとから成る。第１の中間画像生成手段１からは、画像Ｄ１Ｂが中間画像Ｄ１として出力される。なお、中間画像Ｄ１は、画像Ｄ１Ｂｈに相当する画像Ｄ１ｈと、画像Ｄ１Ｂｖに相当する画像Ｄ１ｖとから成る。

次に、第２の中間画像生成手段２の詳細な動作について説明する。
まず、第２の中間画像生成手段２は、非線形処理手段２Ａにおいて、中間画像Ｄ１に対して後述する非線形処理を行った画像Ｄ２Ａを生成する。非線形処理は、水平方向及び垂直方向それぞれについて行う。即ち非線形処理手段２Ａは、画像Ｄ１ｈに対して後述する非線形処理を行って画像Ｄ２Ａｈを生成する水平方向非線形処理手段２Ａｈと、画像Ｄ１ｖに対して後述する非線形処理を行って画像Ｄ２Ａｖを生成する垂直方向非線形処理手段２Ａｖとを有し、画像Ｄ２Ａは画像Ｄ２Ａｈと画像Ｄ２Ａｖとから成る。

非線形処理手段２Ａの動作についてさらに詳しく説明する。非線形処理手段２Ａは互いに同様の構成から成る水平方向非線形処理手段２Ａｈ及び垂直方向非線形処理手段２Ａｖを備える。水平方向非線形処理手段２Ａｈは水平方向の処理を行い、垂直方向非線形処理手段２Ａｖは垂直方向の処理を行う。

図６は水平方向非線形処理手段２Ａｈの構成例を示す図である。図示の水平方向非線形処理手段２Ａｈは、ゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈとを備える。非線形処理手段２Ａｈには、画像Ｄ１ｈが入力画像ＤＩＮ３１１ｈとして入力される。

ゼロクロス判定手段３１１ｈは入力画像ＤＩＮ３１１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｈに伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。ゼロクロス判定手段３１１ｈでは、水平方向非線形処理手段２Ａｈ内のゼロクロス判定手段３１１ｈでは、ゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。

信号増幅手段３１２ｈは信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｈを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
水平方向非線形処理手段２Ａｈからは画像Ｄ２Ａｈとして非線形処理画像Ｄ３１２ｈが出力される。

図７は垂直方向非線形処理手段２Ａｖの構成例を示す図である。図示の垂直方向非線形処理手段２Ａｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖとを備える。非線形処理手段２Ａｖには、画像Ｄ１ｖが入力画像ＤＩＮ３１１ｖとして入力される。

ゼロクロス判定手段３１１ｖは入力画像ＤＩＮ３１１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｖに伝達する。垂直方向非線形処理手段２Ａｖ内のゼロクロス判定手段３１１ｖでは、ゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。

信号増幅手段３１２ｖは信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｖを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
以上が非線形処理手段２Ａの動作である。

次に第２の中間画像生成手段２は、高周波数成分画像生成手段２Ｂにおいて、画像Ｄ２Ａの第３の周波数以上の高周波数成分のみを取り出した画像Ｄ２Ｂを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段２Ｂは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行って水平方向についてのみ第３の水平方向周波数以上の高周波数成分を取り出した画像Ｄ２Ｂｈを生成する水平方向高周波数成分画像生成手段２Ｂｈと、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第３の垂直方向周波数以上の高周波数成分を取り出した画像Ｄ２Ｂｖを生成する垂直方向高周波数成分画像生成手段２Ｂｖとを有し、画像Ｄ２Ｂは画像Ｄ２Ｂｈと画像Ｄ２Ｂｖとから成る。第２の中間画像生成手段２からは、画像Ｄ２Ｂが中間画像Ｄ２として出力される。中間画像Ｄ２は画像Ｄ２Ｂｈに相当する画像Ｄ２ｈと、画像Ｄ２Ｂｖに相当する画像Ｄ２ｖとから成る。

次に、第１の中間画像処理手段３Ｍの詳細な動作について説明する。
第１の中間画像処理手段３Ｍは、増幅率決定手段３ＭＡにおいて入力画像ＤＩＮの画素値をもとに増幅率Ｄ３ＭＡを決定する。先に述べた通り、増幅率Ｄ３ＭＡに基づいて第１の中間画像Ｄ１の画素値が増幅されるが、第１の中間画像Ｄ１は、画像Ｄ１ｈと画像Ｄ１ｖから成るので、増幅率Ｄ３ＭＡとしては、画像Ｄ１ｈに対する増幅率Ｄ３ＭＡｈと画像Ｄ１ｖに対する増幅率Ｄ３ＭＡｖが決定される。即ち、増幅率決定手段３ＭＡは、水平方向増幅率決定手段３ＭＡｈと、垂直方向増幅率決定手段３ＭＡｖとを有し、水平方向増幅率決定手段３ＭＡｈでは入力画像ＤＩＮの画素値をもとに増幅率Ｄ３ＭＡｈが決定され、垂直方向増幅率決定手段３ＭＡｖでは入力画像ＤＩＮの画素値をもとに増幅率Ｄ３ＭＡｖが決定され、増幅率決定手段３ＭＡからは増幅率Ｄ３ＭＡｈ及び増幅率Ｄ３ＭＡｖが増幅率Ｄ３ＭＡとして出力される。

水平方向増幅率決定手段３ＭＡｈ及び垂直方向増幅率決定手段３ＭＡｖの動作についてさらに詳しく説明する。

図８（Ａ）〜（Ｃ）は入力画像ＤＩＮ、並びに画像Ｄ１ｈ及びＤ１ｖを表した図であり、図８（Ａ）が入力画像ＤＩＮを、図８（Ｂ）が画像Ｄ１ｈを、図８（Ｃ）が画像Ｄ１ｖを表している。また、図８（Ａ）〜（Ｃ）では画像の水平方向及び垂直方向に合わせて水平座標、垂直座標及び各座標値が表されている。また、入力画像ＤＩＮについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＤＩＮ（ｘｙ）という記号で表されており、画像Ｄ１ｈについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＤ１ｈ（ｘｙ）という記号で表されており、画像Ｄ１ｖについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＤ１ｖ（ｘｙ）という記号で表されている。

水平方向増幅率決定手段３ＭＡｈは画像Ｄ１ｈの各画素に対する増幅率を入力画像ＤＩＮの同一座標の画素値に基づいて決定する。即ち、画素値Ｄ１ｈ（１１）に対する増幅率は画素値ＤＩＮ（１１）をもとに決定し、画素値Ｄ１ｈ（１２）に対する増幅率は画素値ＤＩＮ（１２）をもとに決定し、一般化すれば、画素値Ｄ１ｈ（ｘｙ）に対する増幅率は画素値ＤＩＮ（ｘｙ）をもとに決定し、という様に入力画像ＤＩＮの同一座標の画素値をもとに増幅率を決定し、その結果を増幅率Ｄ３ＭＡｈとして出力する。
また、垂直方向増幅率決定手段３ＭＡｖは画像Ｄ１ｖの各画素に対する増幅率を入力画像ＤＩＮの同一座標の画素値に基づいて決定する。即ち、画素値Ｄ１ｖ（１１）に対する増幅率は画素値ＤＩＮ（１１）をもとに決定し、画素値Ｄ１ｖ（１２）に対する増幅率は画素値ＤＩＮ（１２）をもとに決定し、一般化すれば、画素値Ｄ１ｖ（ｘｙ）に対する増幅率は画素値ＤＩＮ（ｘｙ）をもとに決定し、という様に入力画像ＤＩＮの同一座標の画素値をもとに増幅率を決定し、その結果を増幅率Ｄ３ＭＡｖとして出力する。

次に、画素値増幅手段３ＭＢは、増幅率Ｄ３ＭＡに基づいて第１の中間画像Ｄ１の画素値を増幅する。第１の中間画像Ｄ１は画像Ｄ１ｈと画像Ｄ１ｖとから成るので、画素値増幅手段３ＭＢは、画像Ｄ１ｈの画素値を増幅するための水平方向画素値増幅手段３ＭＢｈと、画像Ｄ１ｖの画素値を増幅するための垂直方向画素値増幅手段３ＭＢｖとを有する。即ち、水平方向画素値増幅手段３ＭＢｈは、増幅率Ｄ３ＭＡｈに基づいて画像Ｄ１ｈの画素値を増幅した画像Ｄ３ＭＢｈを出力し、垂直方向画素値増幅手段３ＭＢｖは、増幅率Ｄ３ＭＡｖに基づいて画像Ｄ１ｖの画素値を増幅した画像Ｄ３ＭＢｖを出力する。そして画素値増幅手段３ＭＢからは画像Ｄ３ＭＢｈ及び画像Ｄ３ＭＢｖが画像Ｄ３ＭＢとして出力される。

画像Ｄ３ＭＢが中間画像Ｄ３Ｍとして第１の中間画像処理手段３Ｍから出力される。中間画像Ｄ３Ｍは画像Ｄ３ＭＢｈに相当する画像Ｄ３Ｍｈと画像Ｄ３ＭＢｖに相当する画像Ｄ３Ｍｖから成る。
以上が第１の中間画像処理手段３Ｍの動作である。

次に、第２の中間画像処理手段３Ｈの動作について説明する。図４と図５を比較すると、第２の中間画像処理手段は、入力信号が入力画像ＤＩＮ、中間画像Ｄ２となっている以外は第１の中間画像処理手段と同様の構成となっており、
第２の中間画像処理手段３Ｈは、第１の中間画像処理手段３Ｍが中間画像Ｄ１に対して行ったものと同じ処理を、中間画像Ｄ２に対して行って得た中間画像Ｄ３Ｈを出力する。なお、上述した第１の中間画像処理手段３Ｍの詳細な動作の説明から、第２の中間画像処理手段３Ｈの詳細な動作も明らかであるので、第２の中間画像処理手段３Ｈの詳細な動作の説明は省略する。

最後に加算手段４の動作について説明する。加算手段４は、入力画像ＤＩＮと中間画像Ｄ３Ｍと中間画像Ｄ３Ｈとを加算した出力画像ＤＯＵＴを生成する。加算手段４の出力画像ＤＯＵＴが最終的な出力画像として、画像処理装置から出力される。

中間画像Ｄ３Ｍは画像Ｄ３Ｍｈ及び画像Ｄ３Ｍｖから成っており、中間画像Ｄ３Ｈは画像Ｄ３Ｈｈ及び画像Ｄ３Ｈｖから成っているので、入力画像ＤＩＮ、中間画像Ｄ３Ｍ、及び中間画像Ｄ３Ｈを加算するとは、入力画像ＤＩＮに対し、画像Ｄ３Ｍｈ、Ｄ３Ｍｖ、Ｄ３Ｈｈ、及びＤ３Ｈｖの全てを加算することを意味する。

ここで、加算手段４での加算処理は単純加算に限らず重み付け加算を行なっても良い。即ち、画像Ｄ３Ｍｈ、Ｄ３Ｍｖ、Ｄ３Ｈｈ、及びＤ３Ｈｖの各々をそれぞれ異なる増幅率で増幅してから入力画像ＤＩＮに加算してもよい。

以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。以下の説明では特に断らない限り、Ｆｎという記号は入力画像ＤＩＮのナイキスト周波数を表す。

図９は本発明における画像処理装置を利用した画像表示装置を示し、図示の画像表示装置においては、モニタＵ３上に原画ＤＯＲＧに対応した画像が表示される。

画像拡大手段Ｕ１は、原画ＤＯＲＧの画像サイズがモニタＵ３の画像サイズより小さい場合、原画ＤＯＲＧを拡大した画像ＤＵ１を出力する。ここで画像の拡大は例えばハイキュービック法などにより行なうことができる。

本発明における画像処理装置Ｕ２は、画像ＤＵ１に対し、先に説明した処理を行った画像ＤＵ２を出力する。そしてモニタＵ３上には画像ＤＵ２が表示される。

以下、原画ＤＯＲＧは、水平方向及び垂直方向ともにその画素数がモニタＵ３の画素数の半分であるとして、まず画像拡大手段Ｕ１の動作、作用について説明を行う。

図１０は画像拡大手段Ｕ１の構成及び動作を示す図であり、画像拡大手段Ｕ１は、水平方向ゼロ挿入手段Ｕ１Ａと、水平方向低周波数成分通過手段Ｕ１Ｂと、垂直方向ゼロ挿入手段Ｕ１Ｃと、垂直方向低周波数成分通過手段Ｕ１Ｄとを有する。
水平方向ゼロ挿入手段Ｕ１Ａは原画ＤＯＲＧの水平方向に関して画素値０を持つ画素を適宜挿入した（原画ＤＯＲＧの水平方向に隣接する画素列相互間に、画素値０の画素から成る画素列を１列ずつ挿入した）画像ＤＵ１Ａを生成する。
水平方向低周波数成分通過手段Ｕ１Ｂはローパスフィルタ処理により画像ＤＵ１Ａの低周波数成分のみを取り出した画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは画像ＤＵ１Ｂの垂直方向に関して画素値０を持つ画素を適宜挿入した（画像ＤＵ１Ｂの垂直方向に隣接した画素行相互間に、画素値０の画素から成る画素行を１行ずつ挿入した）画像ＤＵ１Ｃを生成する。
垂直方向低周波数成分通過手段ＤＵ１Ｄは画像ＤＵ１Ｃの低周波数成分のみを取り出した画像ＤＵ１Ｄを生成する。
画像ＤＵ１Ｄが原画ＤＯＲＧを水平方向及び垂直方向ともに２倍した画像ＤＵ１として、画像拡大手段Ｕ１から出力される。

図１１（Ａ）〜（Ｅ）は画像拡大手段Ｕ１の動作を詳しく説明するための図であり、図１１（Ａ）は原画ＤＯＲＧを、図１１（Ｂ）は画像ＤＵ１Ａを、図１１（Ｃ）は画像ＤＵ１Ｂを、図１１（Ｄ）は画像ＤＵ１Ｃを、図１１（Ｅ）は画像ＤＵ１Ｄを表す。図１１（Ａ）〜（Ｅ）に関して、四角(升目)は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。

水平方向ゼロ挿入手段Ｕ１Ａは図１１（Ａ）に示す原画ＤＯＲＧに対して、水平方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、原画ＤＯＲＧの水平方向に隣接する画素列相互間に一つの、画素値０の画素から成る画素列を挿入し）、図１１（Ｂ）に示す画像ＤＵ１Ａを生成する。水平方向低周波数成分通過手段Ｕ１Ｂは図１１（Ｂ）に示す画像ＤＵ１Ａに対して、ローパスフィルタ処理を施し、図１１（Ｃ）に示す画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは図１１（Ｃ）に示す画像ＤＵ１Ｂに対して、垂直方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、画像ＤＵ１Ｂの垂直方向に隣接する画素行相互間に一つの、画素値０の画素から成る画素行を挿入し）、図１１（Ｄ）に示す画像ＤＵ１Ｃを生成する。垂直方向低周波数成分通過手段Ｕ１Ｄは図１１（Ｄ）に示す画像ＤＵ１Ｃに対して、ローパスフィルタ処理を施し、図１１（Ｅ）に示す画像ＤＵ１Ｄを生成する。以上の処理により原画ＤＯＲＧを水平方向及び垂直方向ともに２倍に拡大した画像ＤＵ１Ｄが生成される。

図１２（Ａ）〜（Ｄ）は画像拡大手段Ｕ１による処理の作用を周波数空間上で表したものであり、図１２（Ａ）は原画ＤＯＲＧの周波数スペクトル、図１２（Ｂ）は画像ＤＵ１Ａの周波数スペクトル、図１２（Ｃ）は水平方向周波数成分通過手段Ｕ１Ｂの周波数応答、図１２（Ｄ）は画像ＤＵ１Ｂの周波数スペクトルを表している。なお、図１２（Ａ）〜（Ｄ）において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。
原画ＤＯＲＧの画素数は入力画像ＤＩＮの半分であり、言い換えると原画ＤＯＲＧのサンプリング間隔は入力画像ＤＩＮのサンプリング間隔の２倍である。したがって原画ＤＯＲＧのナイキスト周波数は入力画像ＤＩＮのナイキスト周波数の半分即ち、Ｆｎ／２である。

なお、図１２（Ａ）〜（Ｄ）では表記を簡素にするため、１本の周波数軸しか用いていない。しかしながら、通常、画像データは２次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画ＤＯＲＧ等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸１本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸２本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、１本の周波数軸で張られる空間を用いて行う。

まず、原画ＤＯＲＧの周波数スペクトルについて説明する。通常、自然画像が原画ＤＯＲＧとして入力されるが、その場合にはそのスペクトル強度は周波数空間の原点周辺に集中している。したがって原画ＤＯＲＧの周波数スペクトルは図１２（Ａ）のスペクトルＳＰＯのようになる。

次に、画像ＤＵ１Ａのスペクトル強度について説明する。画像ＤＵ１Ａは、原画ＤＯＲＧに対して、水平方向に１画素につき１画素、画素値０を持った画素を挿入することで生成される。このような処理を行うと周波数スペクトルには原画ＤＯＲＧのナイキスト周波数を中心にした折り返しが発生する。即ち周波数±Ｆｎ／２を中心にスペクトルＳＰＯが折り返したスペクトルＳＰＭが発生するので、画像ＤＵ１Ａの周波数スペクトルは図１２（Ｂ）のように表される。

次に、水平方向低周波数成分通過手段Ｕ１Ｂの周波数応答について説明する。水平方向低周波数成分通過手段はローパスフィルタによって実現されるので、その周波数応答は図１２（Ｃ）に示すように周波数が高くなるほど低くなる。

最後に、画像ＤＵ１Ｂの周波数スペクトルについて説明する。図１２（Ｂ）に示す周波数スペクトルを持った画像ＤＵ１Ａに対し、図１２（Ｃ）に示した周波数応答を持ったローパスフィルタ処理を行うことで、図１２（Ｄ）に示す画像ＤＵ１Ｂが得られる。
したがって画像ＤＵ１Ｂの周波数スペクトルは画像ＤＵ１Ｂに示すように、スペクトルＳＰＭの強度がある程度落ちたスペクトルＳＰ２と、スペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１から成る。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルＳＰ１の強度をスペクトルＳＰＯと比較すると、水平方向低周波数成分通過手段Ｕ１Ｂによって、高周波数成分側、即ち周波数が±Ｆｎ／２の近傍でのスペクトル強度が減少したものとなる。

また、画像拡大手段Ｕ１による処理のうち、垂直方向ゼロ挿入手段Ｕ１Ｃ及び垂直方向低周波数成分通過手段Ｕ１Ｄによる処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図１２（Ａ）〜（Ｄ）を参照して説明した内容と同様の作用があることは容易に理解できる。即ち、画像ＤＵ１Ｄの周波数スペクトルは、図１２（Ｄ）に示した周波数スペクトルが２次元上に広がったものとなる。

また、以降の説明ではスペクトルＳＰ２のことを折り返し成分と呼ぶ。この折り返し成分は、画像上では、比較的高い周波数成分を持ったノイズあるいは偽の信号として現れる。そのようなノイズあるいは偽の信号としてオーバーシュートやジャギーあるいはリンギング等が挙げられる。

以下、本発明における画像処理装置の作用、効果について説明する。
図１３（Ａ）〜（Ｅ）は入力画像ＤＩＮ（もしくは画像ＤＵ１）として原画ＤＯＲＧを拡大して得られた画像ＤＵ１Ｄが入力された場合の、入力画像ＤＩＮから中間画像Ｄ１を生成する際の作用、効果を模式的に表した図であり、
図１３（Ａ）は入力画像ＤＩＮの周波数スペクトルを、図１３（Ｂ）は高周波数成分画像生成手段１Ａの周波数応答を、図１３（Ｃ）は低周波数成分画像生成手段１Ｂの周波数応答を、図１３（Ｄ）は第１の中間画像生成手段１の周波数応答を、図１３（Ｅ）は中間画像Ｄ１の周波数スペクトルを表す。なお、図１３（Ａ）〜（Ｅ）においても図１２（Ａ）〜（Ｄ）と同様の理由で周波数軸は１本しか用いていない。

さらに図１３（Ａ）〜（Ｅ）では、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が０以上となる範囲のみを示したもので十分である。

まず、入力画像ＤＩＮの周波数スペクトルについて説明する。画像拡大手段Ｕ１における拡大処理によって生成された画像ＤＵ１Ｄが入力画像ＤＩＮとして入力されるので、入力画像ＤＩＮの周波数スペクトルは図１３（Ａ）に示すように、図１２（Ｄ）で説明したものと同じ形状となり、原画ＤＯＲＧのスペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１と折り返し成分となるスペクトルＳＰ２とから成る。

次に、高周波数成分画像生成手段１Ａの周波数応答について説明する。高周波数成分画像生成手段１Ａはハイパスフィルタにより構成されているので、その周波数応答は図１３（Ｂ）に示すように周波数が低くなるほど低くなる。

次に、低周波数成分画像生成手段１Ｂの周波数応答について説明する。低周波数成分画像生成手段１Ｂはローパスフィルタにより構成されているので、その周波数応答は図１３（Ｃ）に示すように周波数が高くなるほど低くなる。

次に、第１の中間画像生成手段１の周波数応答について説明する。入力画像ＤＩＮが持つ周波数成分のうち、図１３（Ｄ）に示された低周波数成分側の領域（「第１の周波数ＦＬ１」よりも低い周波数の帯域）ＲＬ１の周波数成分については、第１の中間画像生成手段１内の高周波数成分画像生成手段１Ａで弱められる。一方、図１３（Ｄ）に示された高周波数成分側の領域（第２の周波数ＦＬ２よりも高い周波数の帯域）ＲＨ１の周波数成分については、第１の中間画像生成手段１内の低周波数成分画像生成手段１Ｂで弱められる。したがって、第１の中間画像生成手段１の周波数応答は、図１３（Ｄ）に示すように、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域を制限された中間の領域（特定の周波数帯域）ＲＭ１内にピークを持ったものとなる。

次に、中間画像Ｄ１の周波数スペクトルについて説明する。図１３（Ａ）に示す周波数スペクトルを持つ入力画像ＤＩＮが、図１３（Ｄ）に示した周波数応答を持つ第１の中間画像生成手段１を通過することで、図１３(Ｅ)に示す中間画像Ｄ１が得られる。そして第１の中間画像生成手段１の周波数応答は、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域制限された中間の領域ＲＭ１内にピークを持ったものなので、中間画像Ｄ１の周波数スペクトルは、入力画像ＤＩＮの周波数スペクトルのうち、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１に含まれる部分の強度が弱くなったものとなる。従って中間画像Ｄ１は入力画像ＤＩＮの持つ高周波数成分から折り返し成分となるスペクトルＳＰ２を取り除いたものとなる。即ち第１の中間画像生成手段１には、入力画像ＤＩＮのもつ高周波数成分から折り返し成分となるスペクトルＳＰ１を取り除いた中間画像Ｄ１を生成するという効果がある。

図１４（Ａ）〜（Ｃ）は第２の中間画像生成手段２の作用、効果を表した図であり、図１４（Ａ）は非線形処理画像Ｄ２Ａの周波数スペクトルを、図１４（Ｂ）は高周波数成分画像生成手段２Ｂの周波数応答を、図１４（Ｃ）は画像Ｄ２Ｂの周波数スペクトルを表す。なお、図１４（Ａ）〜（Ｃ）では、図１３（Ａ）〜（Ｅ）と同様の理由で、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答を表している。

後述するように非線形処理画像Ｄ２Ａでは、高周波数成分側の領域ＲＨ２に相当する高周波数成分が生成される。図１４（Ａ）はその様子を模式的に表した図である。図１４（Ｃ）に示す画像Ｄ２Ｂは非線形処理画像Ｄ２Ａが高周波数成分画像生成手段２Ｂを通過することで生成される。高周波数成分画像生成手段２Ｂは第３の周波数ＦＬ３以上の成分を通過させるハイパスフィルタで構成されており、その周波数応答は図１４（Ｂ）に示すように周波数が高くなるほど高いものとなる。従って画像Ｄ２Ｂの周波数スペクトルは図１４（Ｃ）に示すように非線形処理画像Ｄ２Ａの周波数スペクトルから低周波数成分側の領域ＲＬ２に相当する成分（第３の周波数ＦＬ３よりも低い周波数成分）を取り除いたものとなる。言い換えると、非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。なお、図示の例では、第３の周波数ＦＬ３は、Ｆｎ／２に略等しい。

上記の作用、効果についてさらに詳しく説明する。
図１５（Ａ）〜（Ｃ）及び図１６（Ａ）〜（Ｃ）はステップエッジをサンプリングした際に得られる信号を表した図である。
図１５（Ａ）はステップエッジとサンプリング間隔Ｓ１を表しており、図１５（Ｂ）はステップエッジをサンプリング間隔Ｓ１でサンプリングした際に得られる信号を表しており、図１５（Ｃ）は図１５（Ｂ）に示される信号の高周波数成分を表している。一方、図１６（Ａ）はステップエッジとサンプリング間隔Ｓ１より間隔の広いサンプリング間隔Ｓ２を表しており、図１６（Ｂ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした際に得られる信号を表しており、図１６（Ｃ）は図１６（Ｂ）に示される信号の高周波数成分を表している。以下の説明ではサンプリング間隔Ｓ２の長さはサンプリング間隔Ｓ１の長さの２倍であるとする。

図１５（Ｃ）及び図１６（Ｃ）に示されるようにステップエッジの中央は高周波数成分を表した信号においてゼロクロス点Ｚとして現れる。また、高周波数成分を表した信号のゼロクロス点Ｚの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Ｚに近づく。

即ち、サンプリング間隔が変わっても、エッジの近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど（あるいは解像度が上がるほど）エッジの近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。

図１７（Ａ）〜（Ｆ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした信号が２倍に拡大された後、本発明における画像処理装置に入力された際の作用、効果を示す図であり、特に第１の中間画像生成手段１及び第２の中間画像生成手段２の作用、効果を表している。なお、先に述べた通り、第１の中間画像生成手段１及び第２の中間画像生成手段２内部の処理は水平方向及び垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図１７（Ａ）〜（Ｆ）では一次元信号を用いて処理の内容を表している。

図１７（Ａ）は、図１６（Ｂ）と同様ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号を示す。図１７（Ｂ）は、図１７（Ａ）に表した信号を２倍に拡大した信号を示す。即ち、原画ＤＯＲＧに図１７（Ａ）に示すようなエッジが含まれる場合、入力画像ＤＩＮとして図１７（Ｂ）に示すような信号が入力される。なお、信号を２倍に拡大するとサンプリング間隔は拡大前の半分になるため、図１７（Ｂ）に表した信号のサンプリング間隔は図１４（Ａ）〜（Ｃ）中のサンプリング間隔Ｓ１と同じになる。また、図１７（Ａ）において座標Ｐ３で表される位置はエッジ信号の低輝度側（低レベル側）の境界部分であり、座標Ｐ４で表される位置はエッジ信号の高輝度側（高レベル側）の境界である。

図１７（Ｃ）は図１７（Ｂ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段１Ａから出力される画像Ｄ１Ａに相当する信号を示す。なお、画像Ｄ１Ａは、入力画像ＤＩＮの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。

図１７（Ｄ）は図１７（Ｃ）に示される信号の低周波数成分を表す信号、即ち低周波数成分画像生成手段１Ｂから出力される画像Ｄ１Ｂに相当する信号を示す。なお先に述べたとおり画像Ｄ１Ｂが中間画像Ｄ１として出力されるので、図１７（Ｄ）は中間画像Ｄ１にも相当する。図１７（Ｄ）に示すとおり、中間画像Ｄ１においてゼロクロス点Ｚの近傍の局所的な最小値は座標Ｐ３に、局所的な最大値は座標Ｐ４に現れ、その様子は図１６（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号から取り出した高周波数成分と一致する。また、画像Ｄ１Ａに含まれていた折り返し成分は、低周波数成分画像生成手段１Ｂで行うローパスフィルタ処理によって取り除かれる。

図１７（Ｅ）は、図１７（Ｄ）に示される信号に対する非線形処理手段２Ａに入力された際の出力信号、即ち、中間画像Ｄ１が入力された場合に非線形処理手段２Ａから出力される画像Ｄ２Ａを表している。非線形処理手段２Ａではゼロクロス点Ｚの前後の（前後において隣接する）座標Ｐ１、Ｐ２の信号値が増幅される。したがって、画像Ｄ２Ａは図１７（Ｅ）に示すように座標Ｐ１、Ｐ２での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Ｚの近傍で、局所的な最小値の現れる位置が座標Ｐ３からよりゼロクロス点Ｚに近い座標Ｐ１に、局所的な最大値の現れる位置が座標Ｐ４からよりゼロクロス点Ｚに近い座標Ｐ２へと変化する。これは非線形処理手段２Ａにおける、ゼロクロス点Ｚの前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。即ち非線形処理手段２Ａには、中間画像Ｄ１には含まれない高周波数成分、すわなち、図１４（Ａ）に示した高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果がある。

図１７（Ｆ）は図１７（Ｅ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段２Ｂから出力される画像Ｄ２Ｂに相当する信号を示す。画像Ｄ２Ｂのより正確な形状については後述するが、図１７（Ｆ）に示すとおり、画像Ｄ２Ｂにおいてゼロクロス点Ｚの近傍の局所的な最小値（負側のピーク）は座標Ｐ１に、最大値（正側のピーク）は座標Ｐ２に現れ、その様子は図１５（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ１でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段２Ａにおいて生成された高周波数成分が高周波数成分画像生成手段２Ｂによって取り出され、画像Ｄ２Ｂとして出力されることを意味する。
また、取り出された画像Ｄ２Ｂはサンプリング間隔Ｓ１に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。

以上が第２の中間画像生成処理手段２の効果であり、まとめると、第２の中間画像生成処理手段２内の非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、第２の中間画像生成処理手段２内の高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。そして画像Ｄ２Ｂが中間画像Ｄ２として出力されるので、第２の中間画像生成手段２は、サンプリング間隔Ｓ１に対応した高周波数成分を持った中間画像Ｄ２を出力することができる。

ここで中間画像Ｄ１及び中間画像Ｄ２を入力画像ＤＩＮに加算することで画像の強調処理を行うことが可能である。
本発明では、第１及び第２の中間画像Ｄ１及びＤ２を入力画像ＤＩＮに加算するわけではないが、以下、仮に第１及び第２の中間画像を加算をした場合に得られる効果について説明し、その後で、第１及び第２の中間画像Ｄ１及びＤ２の代わりに、第３及び第４の中間画像Ｄ３Ｍ及びＤ３Ｈを加算することによる効果について説明する。

まず、中間画像Ｄ１を加算することの効果について述べる。先に述べたとおり中間画像Ｄ１は入力画像ＤＩＮの持つ高周波数成分から折り返し成分を取り除いたものであり、図１３（Ｅ）に示すように原画ＤＯＲＧのナイキスト周波数の近傍の高周波数成分に対応している。図１２（Ｄ）で説明したとおり、原画ＤＯＲＧのナイキスト周波数の近傍のスペクトル強度は画像拡大手段Ｕ１での拡大処理によって弱められているので、中間画像Ｄ１を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。また、中間画像Ｄ１から、折り返し成分は取り除かれているので、オーバーシュートやジャギーあるいはリンギングといった偽の信号を強調することはない。

次に中間画像Ｄ２を加算することの効果について述べる。先に述べたとおり中間画像Ｄ２はサンプリング間隔Ｓ１に対応した高周波数成分である。したがって中間画像Ｄ２を加算することで原画ＤＯＲＧのナイキスト周波数以上の帯域の高周波数成分を与えることができ、従って、画像の解像感を増すことができる。

まとめると中間画像Ｄ１と画像Ｄ２を入力画像ＤＩＮに加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。

ところで、上記の説明の様にして生成した高周波数成分を入力画像に加算することで画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うとかえって画質の低下を招くことがある。

図１８（Ａ）及び（Ｂ）は高周波数成分の加算による画質の低下について説明するための図であり、図１８（Ａ）は高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合を、図１８（Ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。

図１８（Ａ）は、図１７（Ｂ）に示された入力画像ＤＩＮに対して図１７（Ｄ）に示された中間画像Ｄ１及び図１７（Ｆ）に示された中間画像Ｄ２を加算した結果を示す図であり、図１７（Ａ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１８（Ａ）では座標Ｐ１で表される位置へと修正され、図１７（Ａ）において座標Ｐ４で表されたステップエッジの高輝度側の境界部分が、図１８（Ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１７（Ａ）と図１８（Ｂ）を比較すると、図１８（Ａ）の方が図１６（Ａ）に示すステップエッジへと近づいていることがわかる。これは高周波数成分の加算に適度に行うことによって、画像の鮮鋭感が増したことを表す。

一方、図１８（Ｂ）も、図１７（Ｂ）に示された入力画像ＤＩＮに対して図１７（Ｄ）に示された中間画像Ｄ１及び図１７（Ｆ）に示された中間画像Ｄ２を加算した結果を示す図であるが、図１８（Ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１８（Ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）して、画質が低下していることがわかる。

中間画像Ｄ１や中間画像Ｄ２によって加算あるいは減算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、これら画質の低下要因となるアンダーシュートやオーバーシュートが発生しやすくなる。そこで中間画像Ｄ１や中間画像Ｄ２による補正量が必要以上に大きくならないよう調整すればよいと考えられる。

その方法として例えば中間画像Ｄ１や中間画像Ｄ２によって与えられる補正量の局所的な最大値を検出し、検出された最大値が所定の値を超えた場合は、中間画像Ｄ１や中間画像Ｄ２による補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。

ところがこのような方法をとると局所的な最大値を判定するために数画素分のデータを参照しなければならず、回路規模の増加を招く。さらに垂直方向に数画素分のデータを参照しようとするとラインメモリの追加を伴い、コストアップの要因ともなる。

そこで本発明は、入力画像ＤＩＮの画素値に基づいて、中間画像Ｄ１や中間画像Ｄ２にかける増幅率を変更することで、中間画像Ｄ１や中間画像Ｄ２によって加算される補正量が必要以上に大きくならないようにし、特にオーバーシュートの発生を防止することとしたものである。本発明の実施の形態１による画像処理装置では、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈにおいて、中間画像Ｄ１及び中間画像Ｄ２に対して、入力画像ＤＩＮの画素値に応じて適宜異なる増幅率をかけることで、補正量を調節する。

図１９は、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈにおいて、中間画像Ｄ１及び中間画像Ｄ２に対してかけるべき増幅率、あるいは増幅率決定手段３ＭＡにおいて決定されるべき増幅率Ｄ３ＭＡ及び増幅率決定手段３ＨＡにおいて決定されるべき増幅率Ｄ３ＨＡを示す図である。これらの増幅率は入力画像ＤＩＮの画素値が大きくなるほど減少することが望ましい。例えば、入力画像ＤＩＮの画素値が０の場合はある所定の値Ｇｂをとり、画素値が０からある値Ａ１の間は傾きｋ１で減少していき、画素値がＡ１からある値Ａ２の間は傾きｋ２で減少していき、画素値がＡ１以上の場合は傾きｋ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

この関係を、増幅率をＧ、入力画像ＤＩＮの画素値をＬとして表すと

と表される。

上記のような増幅率が適切である理由を以下に述べる。
中間画像Ｄ１は入力画像ＤＩＮに対してハイパスフィルタ処理を行った後、ローパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は入力画像ＤＩＮの各画素値から局所的な平均値を引くことに相当する。したがって入力画像ＤＩＮにおいて注目する画素の画素値が大きいと、その画素に対して与えられるハイパスフィルタ処理後の出力値も大きな正の値となる可能性が高い。

一方、ローパスフィルタ処理は入力されるデータの局所的な平均値を求めることと同じである。したがってハイパスフィルタ処理の出力値が大きな正の値になっているとローパスフィルタ処理の出力値も大きくな正の値となる可能性が高い。

また、中間画像Ｄ２は中間画像Ｄ１に対し、非線形処理手段２Ａで非線形処理を行った後、高周波数成分画像生成手段２Ｂにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段２Ａではゼロクロス点の近傍のみ中間画像Ｄ１を増幅させるので、基本的に中間画像Ｄ１が大きな正の値を持っていると非線形処理手段２Ａの出力する画像Ｄ２Ａも大きな正の値を持っていると考えられる。画像Ｄ２Ａが大きな正の値を持っている場合、画像Ｄ２Ａに対するハイパスフィルタ処理結果である中間画像Ｄ２も大きな正の値をもつ可能性が高い。

以上をまとめると、入力画像ＤＩＮの画素値が大きい場合、中間画像Ｄ１や中間画像Ｄ２の画素値も大きな正の値となる可能性が高い。言い換えると中間画像Ｄ１や中間画像Ｄ２によって補正量が過度に加算され、オーバーシュートが発生しやすくなる。

したがって、入力画像ＤＩＮの画素値が大きくなればなるほど、中間画像Ｄ１や中間画像Ｄ２にかける増幅率を小さくすることで、補正量が過度に大きくならないよう制御できると期待できる。言い換えるとオーバーシュートが発生しにくくなるよう制御できると期待できる。

即ち、図１９あるいは式（１）に示すような、入力画像ＤＩＮの画素値が大きくなるほど増幅率が減少するような単調減少の関数に基づいて、増幅率Ｄ３ＭＡあるいは増幅率Ｄ３ＨＡを決定することで、そのような（オーバーシュートが発生しにくくなるような）処理が可能となる。

以上のように本発明の実施の形態１による画像処理装置では、オーバーシュートの発生を抑えつつ、画像の強調処理を行うことができるという効果を奏する。画像中にオーバーシュートが過度に発生すると画像の一部のみが異様にちらつき、視覚特性上不愉快に感じられるので、本発明の実施の形態１による画像処理装置では、視覚特性上も非常に好ましいものである。

また、本発明の実施の形態１による画像処理装置では、オーバーシュートの発生を抑えるために第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈにおいて、中間画像Ｄ１及び中間画像Ｄ２に対する増幅率を決定しているが、その際必要になる情報は入力画像ＤＩＮの画素値のみである。したがって簡単な回路で増幅率を決定することが可能であり、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈの追加に伴う回路規模の増加も少なくて済む。

さらに、本発明における画像処理装置では、第１の中間画像生成手段１及び第２の中間画像生成手段２において、画像の水平方向に関する処理及び垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず任意の方向に関して上記の効果を得ることができる。

また、本発明における画像処理装置では周波数空間で考えて原点からＦｎに渡る周波数帯域のうち、原画ＤＯＲＧのナイキスト周波数±Ｆｎ／２の近傍（あるいは特定の周波数帯域）に入力画像ＤＩＮが持っている成分をもとに、画像ＤＩＮのナイキスト周波数±Ｆｎの近傍の高周波数成分に対応した画像Ｄ２Ｂを生成している。したがってなんらかの理由で、入力画像ＤＩＮにおいて、ナイキスト周波数±Ｆｎの近傍の周波数成分が失われていたとしても、画像Ｄ２Ｂにより、ナイキスト周波数±Ｆｎの近傍の周波数成分を与えることが可能になる。言い換えると、入力画像ＤＩＮに対し、より高周波数成分側の周波数成分を与えられることになるので、出力画像ＤＯＵＴの解像感を増すことができる。

なお、特定の周波数帯域として用いる箇所は、±Ｆｎ／２の近傍に限定されるものではない。即ち高周波数成分画像生成手段１Ａ及び低周波数成分画像生成手段１Ｂの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。

上記の説明ではナイキスト周波数Ｆｎの近傍の周波数成分が失われる例として画像の拡大処理を挙げたが、入力画像ＤＩＮに対してナイキスト周波数Ｆｎの近傍の周波数成分が失われる原因はそれに限らず、他にもノイズ除去処理等が考えられる。したがって本発明における画像処理装置の用途は画像拡大処理後に限定されるものではない。

また、第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈで決定される増幅率と入力画像ＤＩＮの画素値の関係は本実施の形態で説明したものに留まらず、入力画像ＤＩＮの画素値が大きくなるほど増幅率が減少するものであればよい。

実施の形態２．
図２０は本発明の実施の形態２による画像処理方法のフローを示す図であり、本発明の実施の形態２による画像処理方法は、第１の中間画像生成ステップＳＴ１、第２の中間画像生成ステップＳＴ２、第１の中間画像処理ステップＳＴ３Ｍ、第２の中間画像処理ステップＳＴ３Ｈ、及び加算ステップＳＴ４を含む。

第１の中間画像生成ステップＳＴ１は、図２１に示すように、高周波数成分画像生成ステップＳＴ１Ａ、及び低周波数成分画像生成ステップＳＴ１Ｂを含む。

高周波数成分画像生成ステップＳＴ１Ａは、水平方向高周波数成分画像生成ステップＳＴ１Ａｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１Ａｖを含み、低周波数成分画像生成ステップＳＴ１Ｂは、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈ、及び垂直方向高周波巣成分画像ＳＴ１Ｂｖを含む。

第２の中間画像生成ステップＳＴ２は、図２２に示すように、非線形処理ステップＳＴ２Ａ、及び高周波数成分画像生成ステップＳＴ２Ｂを含む。

非線形処理ステップＳＴ２Ａは、水平方向非線形処理ステップＳＴ２Ａｈ、及び垂直方向非線形処理ステップＳＴ２Ａｖを含み、高周波数成分画像生成ステップＳＴ２Ｂは、水平方向高周波数成分通過ステップＳＴ２Ｂｈ、及び垂直方向高周波数成分通過ステップＳＴ２Ｂｖを含む。

水平方向非線形処理ステップＳＴ２Ａｈは、図２３に示すように、ゼロクロス判定ステップＳＴ３１１ｈ、及び信号増幅ステップＳＴ３１２ｈを含み、垂直方向非線形処理ステップＳＴ２Ａｖは、図２４に示すように、ゼロクロス判定ステップＳＴ３１１ｖ、及び信号増幅ステップＳＴ３１２ｖを含む。

第１の中間画像処理ステップＳＴ３Ｍは、図２５に示すように、増幅率決定ステップＳＴ３ＭＡ、及び画素値変更ステップＳＴ３ＭＢを含む。
第２の中間画像処理ステップＳＴ３Ｈは、図２６に示すように、増幅率決定ステップＳＴ３ＨＡ、及び画素値変更ステップＳＴ３ＨＢを含む。

まず、図２１のフローに従って第１の中間画像生成ステップＳＴ１の動作について説明する。
高周波数成分画像生成ステップＳＴ１Ａでは、図示しない画像入力ステップにて入力された入力画像ＤＩＮに対し、以下のような処理が行われる。
まず、水平方向高周波数成分画像生成ステップＳＴ１Ａｈでは、水平方向のハイパスフィルタ処理によって、入力画像ＤＩＮから水平方向の高周波数成分を取り出した画像Ｄ１Ａｈを生成する。
垂直方向高周波数成分画像ステップＳＴ１Ａｖでは、垂直方向のハイパスフィルタ処理によって、入力画像ＤＩＮから垂直方向の高周波数成分を取り出した画像Ｄ１Ａｖを生成する。
即ち、高周波数成分画像生成ステップＳＴ１Ａは、高周波数成分画像生成手段１Ａと同様の処理を行い、入力画像ＤＩＮから、画像Ｄ１Ａｈ及び画像Ｄ１Ａｖから成る画像Ｄ１Ａを生成する。この動作は高周波数成分画像生成手段１Ａと同等である。

低周波数成分画像生成ステップＳＴ１Ｂでは、画像Ｄ１Ａに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈでは、水平方向のローパスフィルタ処理によって、画像Ｄ１Ａｈから水平方向の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する。
垂直方向低周波数成分画像生成ステップＳＴ１Ｂｖでは、垂直方向のローパスフィルタ処理によって、画像Ｄ１Ａｖから垂直方向の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する。
即ち、低周波数成分画像生成ステップＳＴ１Ｂは、低周波数成分画像生成手段１Ｂと同様の処理を行い、画像Ｄ１Ａから、画像Ｄ１Ｂｈ及び画像Ｄ１Ｂｖから成る画像Ｄ１Ｂを生成する。この動作は低周波数成分画像生成手段１Ｂと同等である。

以上が第１の中間画像生成ステップＳＴ１の動作であり、第１の中間画像生成ステップＳＴ１は画像Ｄ１Ｂｈを画像Ｄ１ｈとし、画像Ｄ１Ｂｖを画像Ｄ１ｖとし、画像Ｄ１ｈ及び画像Ｄ１ｖから成る中間画像Ｄ１を出力する。以上の動作は第１の中間画像生成手段１と同等である。

次に図２２〜図２４のフローに従って第２の中間画像生成ステップＳＴ２の動作について説明する。
まず、非線形処理ステップＳＴ２Ａでは中間画像Ｄ１に対し、以下のような処理を行う。

まず、水平方向非線形処理ステップＳＴ２Ａｈでは、図２３に示すフローに従った処理で画像Ｄ１ｈから画像Ｄ２Ａｈを生成する。図２３に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｈでは、画像Ｄ１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップＳＴ３１２ｈに通知する。信号増幅ステップＳＴ３１２ｈでは画像Ｄ１ｈについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｈとして出力する。即ち、非線形処理ステップＳＴ２Ａｈは、画像Ｄ１ｈに対し、水平方向非線形処理手段２Ａｈと同様の処理を行い、画像Ｄ２Ａｈを生成する。

次に、垂直方向非線形処理ステップＳＴ２Ａｖでは、図２４に示すフローに従った処理で画像Ｄ１ｖから画像Ｄ２Ａｖを生成する。図２４に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｖでは、画像Ｄ１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップＳＴ３１２ｖに通知する。信号増幅ステップＳＴ３１２ｖでは画像Ｄ１ｖについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｖとして出力する。即ち、非線形処理ステップＳＴ２Ａｖは、画像Ｄ１ｖに対し、垂直方向非線形処理手段２Ａｖと同様の処理を行い、画像Ｄ２Ａｖを生成する。

以上が非線形処理ステップＳＴ２Ａの動作であり、非線形処理ステップＳＴ２Ａは画像Ｄ２Ａｈ及び画像Ｄ２Ａｖから成る画像Ｄ２Ａを生成する。その動作は非線形処理手段２Ａと同等である。

次に、高周波数成分画像生成ステップＳＴ２Ｂでは画像Ｄ２Ａに対し、以下の様な処理を行う。
まず、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈでは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｈを生成する。即ち、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈは、水平方向高周波数成分画像生成手段２Ｂｈと同様の処理を行う。

次に、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖでは、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｖを生成する。即ち、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖは、垂直方向高周波数成分画像生成手段２Ｂｖと同様の処理を行う。

以上が高周波数成分画像生成ステップＳＴ２Ｂの動作であり、高周波数成分画像生成ステップＳＴ２Ｂは画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから成る画像Ｄ２Ｂを生成する。その動作は高周波数成分画像生成手段２Ｂと同等である。

以上が第２の中間画像生成ステップＳＴ２の動作であり、第２の中間画像生成ステップＳＴ２は画像Ｄ２Ｂを中間画像Ｄ２として出力する。即ち、画像Ｄ２Ｂｈを画像Ｄ２ｈとし、画像Ｄ２Ｂｖを画像Ｄ２ｖとした中間画像Ｄ２を出力する。この動作は第２の中間画像生成手段２と同等である。

次に図２５のフローに従って第１の中間画像処理ステップＳＴ３Ｍの動作について説明する。
まず、第１の中間画像処理ステップＳＴ３Ｍは、増幅率決定ステップＳＴ３ＭＡにおいて、中間画像Ｄ１の各画素がもつ画素値に対する増幅率を決定する。ここで中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成るので、増幅率の決定は、画像Ｄ１ｈと画像Ｄ１ｖの各画素について行われる。即ち、画像Ｄ１ｈに対しては水平方向増幅率決定ステップＳＴ３ＭＡｈにおいて各画素に対する増幅率が決定され、画像Ｄ１ｖに対しては垂直方向増幅率決定ステップＳＴ３ＭＡｖにおいて各画素に対する増幅率が決定される。ここで水平方向増幅率決定ステップＳＴ３ＭＡｈの動作は水平方向増幅率決定手段３ＭＡｈと、垂直方向増幅率決定ステップＳＴ３ＭＡｖの動作は垂直方向増幅率決定手段３ＭＡｖと同様であるのでその説明は省略する。

次に画素値変更ステップＳＴ３ＭＢでは、増幅率決定ステップＳＴ３ＭＡにおいて決定された増幅率に基づいて中間画像Ｄ１の各画素がもつ画素値を増幅する。ここで中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成るので、画素値の増幅は、画像Ｄ１ｈと画像Ｄ１ｖの各々について行われる。即ち、水平方向増幅率決定ステップＳＴ３ＭＡｈで決定された増幅率に基づいて画像Ｄ１ｈの各画素値が増幅され、画像Ｄ３ＭＢｈが生成される。また、垂直方向増幅率決定ステップＳＴ３ＭＡｖで決定された増幅率に基づいて画像Ｄ１ｖの各画素値が増幅され、画像Ｄ３ＭＢｖが生成される。この動作は画素値変更手段３ＭＢの動作と同じである。

そして画像Ｄ３ＭＢｈに相当する画像Ｄ３Ｍｈと画像Ｄ３ＭＢｖに相当する画像Ｄ３Ｍｖから成る中間画像Ｄ３Ｍが、第１の中間画像処理ステップＳＴ３Ｍによって生成される。以上が第１の中間画像処理ステップＳＴ３Ｍの動作であり、その動作は、第１の中間画像処理手段３Ｍと同じである。

次に図２６のフローに従って第２の中間画像処理ステップＳＴ３Ｈの動作について説明する。
まず、第２の中間画像処理ステップＳＴ３Ｈは、増幅率決定ステップＳＴ３ＨＡにおいて、中間画像Ｄ２の各画素がもつ画素値に対する増幅率を決定する。ここで中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成るので、増幅率の決定は、画像Ｄ２ｈと画像Ｄ２ｖの各画素について行われる。即ち、画像Ｄ２ｈに対しては水平方向増幅率決定ステップＳＴ３ＨＡｈにおいて各画素に対する増幅率が決定され、画像Ｄ２ｖに対しては垂直方向増幅率決定ステップＳＴ３ＨＡｖにおいて各画素に対する増幅率が決定される。ここで水平方向増幅率決定ステップＳＴ３ＨＡｈの動作は水平方向増幅率決定手段３ＨＡｈと、垂直方向増幅率決定ステップＳＴ３ＨＡｖの動作は垂直方向増幅率決定手段３ＨＡｖと同様であるのでその説明は省略する。

次に画素値変更ステップＳＴ３ＨＢでは、増幅率決定ステップＳＴ３ＨＡにおいて決定された増幅率に基づいて中間画像Ｄ２の各画素がもつ画素値を増幅する。ここで中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成るので、画素値の増幅は、画像Ｄ２ｈと画像Ｄ２ｖの各々について行われる。即ち、水平方向増幅率決定ステップＳＴ３ＨＡｈで決定された増幅率に基づいて画像Ｄ２ｈの各画素値が増幅され、画像Ｄ３ＨＢｈが生成される。また、垂直方向増幅率決定ステップＳＴ３ＨＡｖで決定された増幅率に基づいて画像Ｄ２ｖの各画素値が増幅され、画像Ｄ３ＨＢｖが生成される。この動作は画素値変更手段３ＨＢの動作と同じである。

そして画像Ｄ３ＨＢｈに相当する画像Ｄ３Ｈｈと画像Ｄ３ＨＢｖに相当する画像Ｄ３Ｈｖから成る中間画像Ｄ３Ｈが、第２の中間画像処理ステップＳＴ３Ｈによって生成される。以上が第２の中間画像処理ステップＳＴ３Ｈの動作であり、その動作は、第２の中間画像処理手段３Ｈと同じである。

加算ステップＳＴ４は入力画像ＤＩＮ、中間画像Ｄ３Ｍ、及び中間画像Ｄ３Ｈを加算し、出力画像ＤＯＵＴを生成する。中間画像Ｄ３Ｍは画像Ｄ３Ｍｈ及び画像Ｄ３Ｍｖから成り、中間画像Ｄ３Ｈは画像Ｄ３Ｈｈ及び画像Ｄ３Ｈｖから成るので、加算ステップＳＴ４では画像Ｄ３Ｍｈ、Ｄ３Ｈｖ、Ｄ３Ｍｈ、及びＤ３Ｈｖの全てが入力画像ＤＩＮに加算される。この際画像Ｄ３Ｍｈ、Ｄ３Ｈｖ、Ｄ３Ｍｈ、及びＤ３Ｈｖを入力画像ＤＩＮに単純に加算してもよいし、重み付け加算してもよい。出力画像ＤＯＵＴが本発明における画像処理方法の最終出力画像として出力される。以上が加算ステップＳＴ４の動作であり、この動作は加算手段４の動作と同等である。
以上が本発明における画像処理方法の動作である。

本発明における画像処理方法の動作はその説明から明らかなように、本発明の実施の形態１における画像処理装置と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像処理装置と同様の効果を持つ。また、図９に示す画像表示装置において、例えば画像処理装置Ｕ２内部で上記の画像処理方法を実施することで、上記の画像処理方法で処理された画像を、図９に示す画像表示装置で表示することもできる。

本発明の実施の形態１による画像処理装置の構成を示すブロック図である。 図１の第１の中間画像生成手段１の構成例を示すブロック図である。 図１の第２の中間画像生成手段２の構成例を示すブロック図である。 図１の第１の中間画像処理手段３Ｍの構成例を示すブロック図である。 図１の第２の中間画像処理手段３Ｈの構成例を示すブロック図である。 図３の水平方向非線形処理手段２Ａｈの構成例を示すブロック図である。 図３の垂直方向非線形処理手段２Ａｖの構成例を示すブロック図である。 （Ａ）〜（Ｃ）は、入力画像ＤＩＮ、並びに画像Ｄ１ｈ及びＤ１ｖの画素の配置を示す図である。 本発明による画像処理装置を用いた画像表示装置の構成例を示すブロック図である。 図９の画像拡大手段Ｕ１の構成例を示すブロック図である。 （Ａ）〜（Ｅ）は、図１０の画像拡大手段Ｕ１の動作を示す画素配置図である。 （Ａ）〜（Ｄ）は、図１０の画像拡大手段Ｕ１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 （Ａ）〜（Ｅ）は、図１の第１の中間画像生成手段１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 （Ａ）〜（Ｃ）は、図１の第２の中間画像生成手段２の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 （Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ１でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 （Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ２でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 （Ａ）〜（Ｆ）は、図１の第１の中間画像生成手段１及び第２の中間画像生成手段２の動作を説明するための、相連続する画素の信号の値を示す図である。 （Ａ）及び（Ｂ）は、高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合、及び高周波数成分の加算を過度に行った結果、画質の低下を招いた場合の、相連続する画素の信号の値を示す図である。 入力画像ＤＩＮの画素値と第１の中間画像処理手段３Ｍ及び第２の中間画像処理手段３Ｈにおける増幅率の関係を示す図である。 本発明の実施の形態２による画像処理方法における処理を示すフロー図である。 図２０の第１の中間画像生成ステップＳＴ１における処理を示すフロー図である。 図２０の第２の中間画像生成ステップＳＴ２における処理を示すフロー図である。 図２２の水平方向非線形処理ステップＳＴ２Ａｈにおける処理を示すフロー図である。 図２２の垂直方向非線形処理ステップＳＴ２Ａｖにおける処理を示すフロー図である。 図２０の第１の中間画像処理ステップＳＴ３Ｍにおける処理を示すフロー図である。 図２０の第２の中間画像処理ステップＳＴ３Ｈにおける処理を示すフロー図である。

符号の説明

１ 第１の中間画像生成手段、 ２ 第２の中間画像生成手段、 ３Ｍ 第１の中間画像処理手段、 ３Ｈ 第２の中間画像処理手段、 ４ 加算手段、 ＤＩＮ 入力画像、 Ｄ１ 中間画像、 Ｄ２ 中間画像、 Ｄ３Ｍ 中間画像、 Ｄ３Ｈ 中間画像、 ＤＯＵＴ 出力画像。

Claims (7)

1. 入力画像の特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
   前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
   前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理手段と、
   前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理手段と、
   前記入力画像と前記第３の中間画像と前記第４の中間画像を加算する加算手段を有する画像処理装置において、
   前記第２の中間画像生成手段は、
   前記第１の中間画像の画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点と捉えるゼロクロス判定手段と、
   前記第１の中間画像を構成する画素のうち、前記ゼロクロス点の近傍にある画素の画素値を１より大きい増幅率で増幅した非線形処理画像を生成する信号増幅手段と、
   前記非線形処理画像の高周波数成分のみを取り出した高周波数成分画像を生成する高周波数成分画像生成手段を有し、
   前記高周波数成分画像を前記第２の中間画像として出力し、
   前記第１の増幅率および前記第２の増幅率は、前記入力画像の画素値が大きい場合、小さくなるよう決定される
   ことを特徴とする画像処理装置。
2. 前記加算手段は、前記入力画像と前記第３の中間画像と前記第４の中間画像を重み付け加算することを特徴とする請求項１記載の画像処理装置。
3. 前記第１の中間画像生成手段は、
   前記入力画像から第１の水平方向周波数以上の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
   前記第１の水平方向高周波数成分画像から第２の水平方向周波数以下の低周波数成分のみを取り出した第１の水平方向中間画像を生成する水平方向低周波数成分画像生成手段を有し、
   前記第１の中間画像が、前記第１の水平方向中間画像を含み、
   前記ゼロクロス判定手段は、前記第１の水平方向中間画像の画素値が水平方向にそって正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段を有し、
   前記信号増幅手段は、前記第１の水平方向中間画像を構成する画素のうち、前記ゼロクロス点の近傍に存在する画素の画素値を１より大きな増幅率で増幅した水平方向非線形処理画像を生成する水平方向信号増幅手段を有し、
   前記高周波数成分画像生成手段は、前記水平方向非線形処理画像の第３の水平方向周波数以上の高周波数成分のみを取り出した第２の水平方向高周波数成分画像を生成する第２の水平方向高周波数成分画像生成手段を有し、
   前記高周波数成分画像は、前記第２の水平方向高周波数成分画像を含む
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の中間画像生成手段は、
   前記入力画像から第１の垂直方向周波数以上の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段と、
   前記第１の垂直方向高周波数成分画像から第２の垂直方向周波数以下の低周波数成分のみを取り出した第１の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段を有し、
   前記第１の中間画像が、前記第１の垂直方向中間画像を含み、
   前記ゼロクロス判定手段は、前記第１の垂直方向中間画像の画素値が垂直方向にそって正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段を有し、
   前記信号増幅手段は、前記第１の垂直方向中間画像を構成する画素のうち、前記ゼロクロス点の近傍に存在する画素の画素値を１より大きな増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向信号増幅手段を有し、
   前記高周波数成分画像生成手段は、前記垂直方向非線形処理画像の第３の垂直方向周波数以上の高周波数成分のみを取り出した第２の垂直方向高周波数成分画像を生成する第２の垂直方向高周波数成分画像生成手段を有し、
   前記高周波数成分画像は、前記第２の垂直方向高周波数成分画像を含む
   ことを特徴とする請求項１に記載の画像処理装置。
5. 請求項１乃至４のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
6. 入力画像の特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
   前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
   前記第１の中間画像の画素値を第１の増幅率に従って増幅した第３の中間画像を生成する第１の中間画像処理ステップと、
   前記第２の中間画像の画素値を第２の増幅率に従って増幅した第４の中間画像を生成する第２の中間画像処理ステップと、
   前記入力画像と前記第３の中間画像と前記第４の中間画像を加算する加算ステップを有する画像処理方法において、
   前記第２の中間画像生成ステップは、
   前記第１の中間画像の画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点と捉えるゼロクロス判定ステップと、
   前記第１の中間画像を構成する画素のうち、前記ゼロクロス点の近傍にある画素の画素値を１より大きい増幅率で増幅した非線形処理画像を生成する信号増幅ステップと、
   前記非線形処理画像の高周波数成分のみを取り出した高周波数成分画像を生成する高周波数成分画像生成ステップを有し、
   前記高周波数成分画像を前記第２の中間画像として出力し、
   前記第１の増幅率および前記第２の増幅率は、前記入力画像の画素値が大きい場合、小さくなるよう決定される
   ことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
   

Images