WO2010084549A1 - 画像処理装置及び方法並びに画像表示装置 - Google Patents

Abstract

　中間画像生成手段（１）で、入力画像（ＤＩＮ）の特定の周波数帯域の成分を取り出して水平方向中間画像（Ｄ１ｈ）及び垂直方向中間画像（Ｄ１ｖ）を生成し、中間画像処理手段（２）で、中間画像（Ｄ１ｈ、Ｄ１ｖ）に対して非線形処理（２Ａ）及び高周波数成分生成（２Ｂ）を行うことで水平方向画像（Ｄ２Ｂｈ）及び垂直方向画像（Ｄ２Ｂｖ）を生成し、これらの水平方向及び垂直方向の画像を画素ごとに重み付け加算して統合して中間画像（Ｄ２）を得て、入力画像（ＤＩＮ）を加算して（３）、強調処理を施された出力画像（ＤＯＵＴ）を得る。入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でも十分に画像の強調処理を行うことができる。

Description

画像処理装置及び方法並びに画像表示装置

　本発明は、入力画像に対し強調処理する画像処理装置及び方法並びにこれらを用いた画像表示装置に関し、例えば入力画像として、元となる画像を拡大した拡大画像が入力された際に、高周波数成分の生成及び加算をすることによって、解像感の高い出力画像を得るよう画像の強調処理を行うものである。

　一般に画像を表す画像信号に対し適宜画像処理を施した後、画像を再生表示するということが行われている。

　例えば特許文献１に記載された画像処理装置においては、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数をその所望の周波数帯域よりも低い周波数帯域の細部画像の信号に基づいて設定することにより、所望の周波数帯域を強調している。

特開平９－４４６５１号公報（段落番号０００９）

　しかしながら、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像によっては強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることができないことがあった。

　例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分（折り返し成分）が現れる。したがって単純に高周波数成分を強調すると、この折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。

　また、入力画像としてノイズ処理を受けた画像が入力される場合、高周波数成分側の周波数スペクトルはノイズ処理によって失われている。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。

　本発明は、入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でも十分に画像の強調処理を行うことができる画像処理装置及び方法を提供することを目的とするものである。

　本発明の画像処理装置は、
　入力画像の水平方向に関して特定の周波数帯域の成分を取り出した第１の水平方向中間画像と、前記入力画像の垂直方向に関して特定の周波数帯域の成分を取り出した第１の垂直方向中間画像を生成する中間画像生成手段と、
　前記第１の水平方向中間画像及び前記第１の垂直方向中間画像をもとに第２の中間画像を生成する中間画像処理手段と、
　前記入力画像と前記第２の中間画像を加算する第１の加算手段を有し、
　前記中間画像処理手段は、
　前記第１の水平方向中間画像の画素に応じて処理の内容を変化させる水平方向非線形処理手段と、
　前記第１の垂直方向中間画像の画素に応じて処理の内容を変化させる垂直方向非線形処理手段とを含み、
　前記中間画像処理手段は、
　前記第１の水平方向中間画像と、
　前記第１の垂直方向中間画像と、
　前記水平方向非線形処理手段の出力を処理した第２の水平方向中間画像と、
　前記垂直方向非線形処理手段の出力を処理した第２の垂直方向中間画像と
　を加算して、加算結果を前記第２の中間画像として出力する第２の加算手段を有し、
　第２の加算手段は、
　前記第１の水平方向中間画像と前記第１の垂直方向中間画像を重み付け加算して統合する第１の水平垂直統合手段と、
　前記第２の水平方向中間画像と前記第２の垂直方向中間画像を重み付け加算して統合する第２の水平垂直統合手段の少なくとも一方を有することを特徴とする。

　本発明によれば、
　入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でも十分に画像の強調処理を行うことができる。また、回路規模を増大させることなく、入力画像に含まれるエッジの方向に依存して生じる強調処理のアーティファクトを防ぐことができる。

本発明の実施の形態１による画像処理装置の構成を示すブロック図である。 図１の水平方向非線形処理手段２Ａｈの構成例を示すブロック図である。 図１の垂直方向非線形処理手段２Ａｖの構成例を示すブロック図である。 図１の加算手段２Ｃの構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、画像Ｄ１ｈ、Ｄ１ｖの絶対値の差（ｄＨ－ｄＶ）と重み係数Ｄ５１２ｈ、Ｄ５１２ｖの関係を示す線図である。 本発明による画像処理装置を用いた画像表示装置の構成例を示すブロック図である。 図６の画像拡大手段Ｕ１の構成例を示すブロック図である。 （Ａ）～（Ｅ）は、図６の画像拡大手段Ｕ１の動作を示す画素配置図である。 （Ａ）～（Ｄ）は、図６の画像拡大手段Ｕ１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 （Ａ）～（Ｅ）は、図１の中間画像生成手段１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 （Ａ）～（Ｃ）は、図１の中間画像処理手段２の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 （Ａ）～（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ１でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 （Ａ）～（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ２でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 （Ａ）～（Ｆ）は、図１の中間画像生成手段１及び中間画像処理手段２の動作を説明するための、相連続する画素の信号の値を示す図である。 （Ａ）は水平方向のエッジを示す図、（Ｂ）～（Ｅ）は、エッジの方向が（Ａ）のごとく水平方向であるときに得られる画像信号を示す図である。 （Ａ）は斜め方向のエッジを示す図、（Ｂ）～（Ｅ）は、エッジの方向が（Ａ）のごとく斜めであるときに得られる画像信号を示す図である。 （Ａ）は垂直方向のエッジを示す図、（Ｂ）～（Ｅ）は、エッジの方向が（Ａ）のごとく垂直方向であるときに得られる画像信号を示す図である。 本発明の実施の形態２による画像処理装置で用いられる加算手段２Ｃの構成例を示すブロック図である。 本発明の実施の形態３による画像処理方法における処理を示すフロー図である。 図１９の中間画像生成ステップＳＴ１における処理を示すフロー図である。 図１９の中間画像処理ステップＳＴ２における処理を示すフロー図である。 図２１の水平方向非線形処理ステップＳＴ２Ａｈにおける処理を示すフロー図である。 図２１の垂直方向非線形処理ステップＳＴ２Ａｖにおける処理を示すフロー図である。 図１９の加算ステップＳＴ２Ｃにおける処理を示すフロー図である。 本発明の実施の形態４における加算ステップＳＴ２Ｃにおける処理を示すフロー図である。

実施の形態１．
　図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、図示の画像処理装置は例えば画像表示装置の一部として用いることができる。

　図示の画像処理装置は、中間画像生成手段１と、中間画像処理手段２と、加算手段３とを有する。
　中間画像生成手段１は、入力画像ＤＩＮから特定の周波数帯域の成分(即ち第１の周波数（第１の所定の周波数）から第２の周波数（第２の所定の周波数）までの成分)を取り出した中間画像（第１の中間画像）Ｄ１を生成する。
　中間画像処理手段２は、画像Ｄ１に後述する処理を行った中間画像(第２の中間画像)Ｄ２を生成する。
　加算手段３は、入力画像ＤＩＮと中間画像Ｄ２を加算する。加算手段３による加算結果が出力画像ＤＯＵＴとして出力される。

　中間画像生成手段１は、入力画像ＤＩＮから第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する高周波数成分画像生成手段１Ａと、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する低周波数成分画像生成手段１Ｂとを有する第２の周波数は第１の周波数よりも高く、高周波数成分画像生成手段１Ａと低周波数成分画像生成手段１Ｂとで、特定の周波数帯域の成分を取り出す帯域通過フィルタ手段が構成されている。中間画像生成手段１からは画像Ｄ１Ｂが中間画像Ｄ１として出力される。

　中間画像処理手段２は、中間画像Ｄ１に対し、後述する非線形処理を行った画像Ｄ２Ａを出力する非線形処理手段２Ａと、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを出力する高周波数成分画像生成手段２Ｂと、中間画像Ｄ１と画像Ｄ２Ｂを加算した画像Ｄ２Ｃを出力する加算手段２Ｃとを有する。中間画像処理手段２からは画像Ｄ２Ｃが中間画像Ｄ２として出力される。

　以下、本発明の実施の形態１による画像処理装置の詳細な動作について説明を行う。
　まず、中間画像生成手段１の詳細な動作について説明する。
　まず、中間画像生成手段１は、高周波数成分画像生成手段１Ａにおいて、入力画像ＤＩＮの第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段１Ａは、入力画像ＤＩＮに対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ第１の水平方向周波数以上の高周波数成分を取り出した画像Ｄ１Ａｈを生成する水平方向高周波数成分画像生成手段１Ａｈと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第１の垂直方向周波数以上の高周波数成分を取り出した画像Ｄ１Ａｖを生成する垂直方向高周波数成分画像生成手段１Ａｖとを有し、画像Ｄ１Ａは画像Ｄ１Ａｈと画像Ｄ１Ａｖから成る。

　なお、入力画像ＤＩＮを構成する各画素の信号は、各画面内の複数の水平ライン（行）を上から下へ、各水平ライン内の複数の画素を左から右へと言う順に供給されるものであり、垂直方向高周波成分画像生成手段１Ａｖの入力側には、このような入力画像の互いに隣接する複数のラインの信号を蓄積して、処理対象画素を中心にして複数ライン上から複数ライン下までの画素の信号を、垂直方向に上から下へという順に供給するための並べ替え手段が設けられているが、その図示を省略する。

　次に、中間画像生成手段１は、低周波数成分画像生成手段１Ｂにおいて、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。低周波数成分の取り出しは水平方向及び垂直方向それぞれについて行う。即ち低周波数成分画像生成手段１Ｂは、画像Ｄ１Ａｈに対し水平方向のローパスフィルタ処理を行って水平方向についてのみ第２の水平方向周波数以下の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する水平方向低周波数成分画像生成手段１Ｂと、画像Ｄ１Ａｖに対し垂直方向のローパスフィルタ処理を行って垂直方向についてのみ第２の垂直方向周波数以下の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する垂直方向低周波数成分画像生成手段１Ｂｖとを有し、画像Ｄ１Ｂは画像Ｄ１Ｂｈと画像Ｄ１Ｂｖとから成る。中間画像生成手段１からは、画像Ｄ１Ｂが中間画像Ｄ１として出力される。なお、中間画像Ｄ１は、画像Ｄ１Ｂｈに相当する画像（第１の水平方向中間画像）Ｄ１ｈと、画像Ｄ１Ｂｖに相当する画像（第１の垂直方向中間画像）Ｄ１ｖとから成る。

　次に、中間画像処理手段２の詳細な動作について説明する。
　まず、中間画像処理手段２は、非線形処理手段２Ａにおいて、中間画像Ｄ１に対して後述する非線形処理を行った画像Ｄ２Ａを生成する。非線形処理は、水平方向及び垂直方向それぞれについて行う。即ち非線形処理手段２Ａは、画像Ｄ１Ｂｈに対して後述する非線形処理を行って画像Ｄ２Ａｈを生成する水平方向非線形処理手段２Ａｈと、画像Ｄ１Ｂｖに対して後述する非線形処理を行って画像Ｄ２Ａｖを生成する垂直方向非線形処理手段２Ａｖとを有し、画像Ｄ２Ａは画像Ｄ２Ａｈと画像Ｄ２Ａｖから成る。

　非線形処理手段２Ａの動作についてさらに詳しく説明する。非線形処理手段２Ａは互いに同様の構成から成る水平方向非線形処理手段２Ａｈ及び垂直方向非線形処理手段２Ａｖを備える。水平方向非線形処理手段２Ａｈは水平方向の処理を行い、垂直方向非線形処理手段２Ａｖは垂直方向の処理を行う。

　図２は水平方向非線形処理手段２Ａｈの構成例を表す図である。図示の水平方向非線形処理手段２Ａｈはゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈとを備える。非線形処理手段２Ａｈには、画像Ｄ１ｈが入力画像ＤＩＮ３１１ｈとして入力される。

　ゼロクロス判定手段３１１ｈは入力画像ＤＩＮ３１１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｈに伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。ゼロクロス判定手段３１１ｈでは、水平方向非線形処理手段２Ａｈ内のゼロクロス判定手段３１１ｈでは、例えばゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。

　信号増幅手段３１２ｈは信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｈを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
　水平方向非線形処理手段２Ａｈからは画像Ｄ２Ａｈとして非線形処理画像Ｄ３１２ｈが出力される。

　図３は垂直方向非線形処理手段２Ａｖの構成例を表す図である。図示の垂直方向非線形処理手段２Ａｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖとを備える。非線形処理手段２Ａｖには、画像Ｄ１ｖが入力画像ＤＩＮ３１１ｖとして入力される。

　ゼロクロス判定手段３１１ｖは入力画像ＤＩＮ３１１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｖに伝達する。垂直方向非線形処理手段２Ａｖ内のゼロクロス判定手段３１１ｖでは、例えばゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。

　信号増幅手段３１２ｖは信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｖを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
　垂直方向非線形処理手段２Ａｖからは画像Ｄ２Ａｖとして非線形処理画像Ｄ３１２ｖが出力される。
　以上が非線形処理手段２Ａの動作である。

　次に、中間画像処理手段２は、高周波数成分画像生成手段２Ｂにおいて、画像Ｄ２Ａの第３の周波数以上の高周波数成分のみを取り出した画像Ｄ２Ｂを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段２Ｂは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行って水平方向についてのみ第３の水平方向周波数以上の高周波数成分を取り出した画像Ｄ２Ｂｈを生成する水平方向高周波数成分画像生成手段２Ｂｈと、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第３の垂直方向周波数以上の高周波数成分を取り出した画像Ｄ２Ｂｖを生成する垂直方向高周波数成分画像生成手段２Ｂｖとを有し、画像Ｄ２Ｂは画像Ｄ２Ｂｈと画像Ｄ２Ｂｖから成る。

　次に、加算手段２Ｃは、中間画像Ｄ１と画像Ｄ２Ｂを加算して画像Ｄ２Ｃを生成する。中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成っており、画像Ｄ２Ｂは画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから成っているので、中間画像Ｄ１と画像Ｄ２Ｂを加算するとは、上記画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２Ｂｈ、及びＤ２Ｂｖの全てを加算することを意味する。以下、加算手段２Ｃの動作について詳しく説明する。
　なお、加算手段２Ｃで加算されるのは、画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２Ｂｈ、及びＤ２Ｂｖの、互いに同じ画素についての値であり、入力画像ＤＩＮの供給から加算手段２Ｃの入力側までの間に画像が受ける処理に要する時間が異なる場合（水平方向の処理と垂直方向の処理とで処理に要する時間が異なる場合など）には、加算手段２Ｃの入力側にタイミングを合わせるための遅延手段などが設けられているが、その図示を省略する。

　図４は加算手段２Ｃの構成例を表す図である。図示の加算手段２Ｃは、重み係数生成手段４０１と、第１の水平垂直統合手段４１１と、第２の水平垂直統合手段４１２とを有する。
　重み係数生成手段４０１は、画像Ｄ１ｈと画像Ｄ１ｖから、後述する演算により水平方向成分に対する重み係数Ｄ５１２ｈと垂直方向成分に対する重み係数Ｄ５１２ｖを求める。重み係数Ｄ５１２ｈと重み係数Ｄ５１２ｖの和は常に一定、例えば「１」である。
　第１の水平垂直統合手段４１１は、重み係数生成手段４０１で求められた重み係数Ｄ５１２ｈ及びＤ５１２ｖにしたがって画像Ｄ１ｈと画像Ｄ１ｖを重み付け加算し、水平方向成分と垂直方向成分が統合された画像Ｄ１ｈｖを出力する。
　第２の水平垂直統合手段４１２は、同じく重み係数生成手段４０１で求められた重み係数Ｄ５１２ｈ及びＤ５１２ｖにしたがって画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを重み付け加算し、水平方向成分と垂直方向成分が統合された画像Ｄ２Ｂｈｖを出力する。
　中間画像加算手段４２は、画像Ｄ１ｈｖと画像Ｄ２Ｂｈｖを加算して画像Ｄ２Ｃを出力する。

　重み係数生成手段４０１の動作についてさらに詳しく説明する。重み係数生成手段４０１は、エッジ方向推定手段５１１と、重み係数決定手段５１２とを有する。
　エッジ方向推定手段５１１は、画像Ｄ１ｈと画像Ｄ１ｖの二つの信号からエッジ方向（角度）に対応する量としてのエッジ方向推定量Ｄ５１１を算出する。例えば、画像Ｄ１ｈの絶対値をｄＨ、画像Ｄ１ｖの絶対値をｄＶとしたとき、これら二つの値の差分ｄＨ－ｄＶを、エッジ方向推定量Ｄ５１１として出力する。

　重み係数決定手段５１２は、エッジ方向推定量Ｄ５１１に基づき、水平方向成分に対する重み係数Ｄ５１２ｈ、及び垂直方向成分に対する重み係数Ｄ５１２ｖを決定する。図５（Ａ）及び（Ｂ）は、前述した差分ｄＨ－ｄＶに対する、重み係数Ｄ５１２ｈ及びＤ５１２ｖの決め方の一例を表す図である。図５（Ａ）及び（Ｂ）に示した例では、重み係数Ｄ５１２ｈは、
　Ｄ５１２ｈ＝０．５＋Ｋα（ｄＨ－ｄＶ）　　　…（１ａ）
重み係数Ｄ５１２ｖは、
　Ｄ５１２ｖ＝１－Ｄ５１２ｈ＝０．５－Ｋα（ｄＨ－ｄＶ）　　　…（１ｂ）
　により算出している。ただし、Ｋαは図５（Ａ）及び（Ｂ）における直線の傾き（従って（ｄｈ－ｄＶ）の増加に対するＤ５１２ｈ，Ｄ５１２ｖの変化の割合）を表す正の定数とし、上記計算結果が「０」を下回る場合は「０」となり、「１」を上回る場合は「１」となるようにする。
　上記のように定められる重み係数Ｄ５１２ｈ及びＤ５１２ｖは、両者の和が常に１である。
　以上が、重み係数生成手段４０１の動作である。

　第１の水平垂直統合手段４１１は、第１及び第２の乗算手段４１１ａ及び４１１ｂと加算手段４１１ｃとを有する。水平垂直統合手段４１１は、第１の乗算手段４１１ａで画像Ｄ１ｈに対して重み係数Ｄ５１２ｈを乗算し、第２の乗算手段４１１ｂで画像Ｄ１ｖに対して重み係数Ｄ５１２ｖを乗算する。さらに、これらの乗算結果を加算手段４１１ｃで加算して画像Ｄ１ｈｖを出力する。

　第２の水平垂直統合手段４１２は、第１及び第２の乗算手段４１２ａ及び４１２ｂと加算手段４１２ｃとを有する。水平垂直統合手段４１２は、第１の乗算手段４１２ａで画像Ｄ２Ｂｈに対して重み係数Ｄ５１２ｈを乗算し、第２の乗算手段４１２ｂで画像Ｄ２Ｂｖに対して重み係数Ｄ５１２ｖを乗算し、これらの乗算結果を加算手段４１２ｃで加算して画像Ｄ２Ｂｈｖを出力する。

　なお、重み係数Ｄ５１２ｈ及びＤ５１２ｖは画像Ｄ１ｈ及びＤ１ｖの画素ごとに算出されるものであり、このことは、加算手段２Ｃの出力画像Ｄ２Ｃにおける水平方向成分及び垂直方向成分の混合割合を画素位置によって変化させることを意味する。このような重み付けを行う効果については後述する。

　次に、中間画像加算手段４２において、画像Ｄ１ｈｖと画像Ｄ２Ｂｈｖを加算し、画像Ｄ２Ｃを出力する。ここで、中間画像加算手段４２での加算処理は単純加算に限らず重み付け加算を用いてもよい。即ち、画像Ｄ１ｈｖ及びＤ２Ｂｈｖの各々をそれぞれ異なる増幅率で増幅してから加算してもよい。
　以上が加算手段２Ｃの動作である。

　最後に加算手段３の動作について説明する。加算手段３は入力画像ＤＩＮと中間画像Ｄ２を加算した出力画像ＤＯＵＴを生成する。出力画像ＤＯＵＴが最終的な出力画像として、画像処理装置から出力される。
　なお、加算手段３で加算されるのは、入力画像ＤＩＮ及び中間画像Ｄ２の、互いに同じ画素についての値であり、入力画像ＤＩＮの供給から加算手段３の入力側までの間に画像が受ける処理に要する時間が互いに異なる場合には、加算手段３の入力側にタイミングを合わせるための遅延手段などが設けられているが、その図示を省略する。

　以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。なお、以下の説明では特に断らない限り、Ｆｎという記号は入力画像ＤＩＮのナイキスト周波数を表す。

　図６は本発明における画像処理装置を利用した画像表示装置であり、図示の画像表示装置においては、モニタＵ３上に原画ＤＯＲＧに対応した画像が表示される。

　画像拡大手段Ｕ１は、原画ＤＯＲＧの画像サイズがモニタＵ３の画像サイズより小さい場合、原画ＤＯＲＧを拡大した画像ＤＵ１を出力する。ここで画像の拡大は例えばバイキュービック法などを用いることができる。

　本発明における画像処理装置Ｕ２は、画像ＤＵ１に対し、先に説明した処理を行った画像ＤＵ２を出力する。そしてモニタＵ８上には画像ＤＵ２が表示される。

　以下、原画ＤＯＲＧは、水平方向及び垂直方向ともその画素数がモニタＵ３の画素数の半分であるとして、まず画像拡大手段Ｕ１の動作、作用について説明を行う。

　図７は画像拡大手段Ｕ１の構成及び動作を示す図であり、図示の画像拡大手段Ｕ１は水平方向ゼロ挿入手段Ｕ１Ａと、水平方向低周波数成分通過手段Ｕ１Ｂと、垂直方向ゼロ挿入手段Ｕ１Ｃと、垂直方向低周波数成分通過手段Ｕ１Ｄとを有する。
　水平方向ゼロ挿入手段Ｕ１Ａは原画ＤＯＲＧの水平方向に関して画素値０を持つ画素を適宜挿入した（原画ＤＯＲＧの水平方向に隣接する画素列相互間に、画素値０の画素から成る画素列を１列ずつ挿入した）画像ＤＵ１Ａを生成する。
　水平方向低周波数成分通過手段Ｕ１Ｂはローパスフィルタ処理により画像ＤＵ１Ａの低周波数成分のみを取り出した画像ＤＵ１Ｂを生成する。
　垂直方向ゼロ挿入手段Ｕ１Ｃは画像ＤＵ１Ｂの垂直方向に関して画素値０を持つ画素を適宜挿入した（画像ＤＵ１Ｂの垂直方向に隣接した画素行相互間に、画素値０の画素から成る画素行を１行ずつ挿入した）画像ＤＵ１Ｃを生成する。
　垂直方向低周波数成分通過手段ＤＵ１Ｄは画像ＤＵ１Ｃの低周波数成分のみを取り出した画像ＤＵ１Ｄを生成する。
　画像ＤＵ１Ｄが原画ＤＯＲＧが、水平方向及び垂直方向ともに２倍した画像ＤＵ１として、画像拡大手段Ｕ１から出力される。

　図８（Ａ）～（Ｅ）は画像拡大手段Ｕ１の動作を詳しく説明するための図であり、図８（Ａ）は原画ＤＯＲＧを、図８（Ｂ）は画像ＤＵ１Ａを、図８（Ｃ）は画像ＤＵ１Ｂを、図８（Ｄ）は画像ＤＵ１Ｃを、図８（Ｅ）は画像ＤＵ１Ｄを表す。図８（Ａ）～（Ｅ）に関して、四角(升目)は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。

　水平方向ゼロ挿入手段Ｕ１Ａは図８（Ａ）に示す原画ＤＯＲＧに対して、水平方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、原画ＤＯＲＧの水平方向に隣接する画素列相互間に一つの、画素値０の画素から成る画素列を挿入し）、図８（Ｂ）に示す画像ＤＵ１Ａを生成する。水平方向低周波数成分通過手段Ｕ１Ｂは図８（Ｂ）に示す画像ＤＵ１Ａに対して、ローパスフィルタ処理を施し、図８（Ｃ）に示す画像ＤＵ１Ｂを生成する。
　垂直方向ゼロ挿入手段Ｕ１Ｃは図８（Ｃ）に示す画像ＤＵ１Ｂに対して、垂直方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、画像ＤＵ１Ｂの垂直方向に隣接する画素行相互間に一つの、画素値０の画素から成る画素行を挿入し）、図８（Ｄ）に示す画像ＤＵ１Ｃを生成する。垂直方向低周波数成分通過手段Ｕ１Ｄは図８（Ｄ）に示す画像ＤＵ１Ｃに対して、ローパスフィルタ処理を施し、図８（Ｅ）に示す画像ＤＵ１Ｄを生成する。
　以上の処理により原画ＤＯＲＧを水平方向及び垂直方向ともに２倍に拡大した画像ＤＵ１Ｄが生成される。

　図９（Ａ）～（Ｄ）は画像拡大手段Ｕ１による処理の作用を周波数空間上で表したものであり、図９（Ａ）は原画ＤＯＲＧの周波数スペクトル、図９（Ｂ）は画像ＤＵ１Ａの周波数スペクトル、図９（Ｃ）は水平方向周波数成分通過手段Ｕ１Ｂの周波数応答、図９（Ｄ）は画像ＤＵ１Ｂの周波数スペクトルを表している。なお、図９（Ａ）～（Ｄ）において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。
　原画ＤＯＲＧの画素数は入力画像ＤＩＮの半分であり、言い換えると原画ＤＯＲＧのサンプリング間隔は入力画像ＤＩＮのサンプリング間隔の２倍である。したがって原画ＤＯＲＧのナイキスト周波数は入力画像ＤＩＮのナイキスト周波数の半分即ち、Ｆｎ／２である。

　なお、図９（Ａ）～（Ｄ）では表記を簡単にするため、１本の周波数軸しか用いていない。しかしながら、通常、画像データは２次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画ＤＯＲＧ等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸１本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸２本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、１本の周波数軸で張られる空間を用いて行う。

　まず、原画ＤＯＲＧの周波数スペクトルについて説明する。通常、自然画像が原画ＤＯＲＧとして入力されるが、その場合にはそのスペクトル強度は周波数空間の原点周辺に集中している。したがって原画ＤＯＲＧの周波数スペクトルは図９（Ａ）のスペクトルＳＰＯのようになる。

　次に、画像ＤＵ１Ａのスペクトル強度について説明する。画像ＤＵ１Ａは、原画ＤＯＲＧに対して、水平方向に１画素につき１画素、画素値０を持った画素を挿入することで生成される。このような処理を行うと周波数スペクトルには原画ＤＯＲＧのナイキスト周波数を中心にした折り返しが発生する。即ち周波数±Ｆｎ／２を中心にスペクトルＳＰＯが折り返したスペクトルＳＰＭが発生するので、画像ＤＵ１Ａの周波数スペクトルは図９（Ｂ）のように表される。

　次に、水平方向低周波数成分通過手段Ｕ１Ｂの周波数応答について説明する。水平方向低周波数成分通過手段はローパスフィルタによって実現されるので、その周波数応答は図９（Ｃ）に示すように周波数が高くなるほど低くなる。

　最後に、画像ＤＵ１Ｂの周波数スペクトルについて説明する。図９（Ｂ）に示す周波数スペクトルを持った画像ＤＵ１Ａに対し、図９（Ｃ）に示した周波数応答を持ったローパスフィルタ処理を行うことで、図９（Ｄ）に示す画像ＤＵ１Ｂが得られる。したがって画像ＤＵ１Ｂの周波数スペクトルは画像ＤＵ１Ｂに示すように、スペクトルＳＰＭの強度がある程度落ちたスペクトルＳＰ２と、スペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１から成る。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルＳＰ１の強度をスペクトルＳＰＯと比較すると、水平方向低周波数成分通過手段Ｕ１Ｂによって、高周波数成分側、即ち周波数が±Ｆｎ／２の近傍でのスペクトル強度が減少したものとなる。

　また、画像拡大手段Ｕ１による処理のうち、垂直方向ゼロ挿入手段Ｕ１Ｃ及び垂直方向低周波数成分通過手段Ｕ１Ｄによる処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図９（Ａ）～（Ｄ）を用いて説明した内容と同様の作用があることは容易に理解できる。即ち、画像ＤＵ１Ｄの周波数スペクトルは、図９（Ｄ）に示した周波数スペクトルが２次元上に広がったものとなる。

　また、以降の説明ではスペクトルＳＰ２のことを折り返し成分と呼ぶ。この折り返し成分は、画像上では、比較的高い周波数成分を持ったノイズあるいは偽の信号として現れる。そのようなノイズあるいは偽の信号としてオーバーシュートやジャギーあるいはリンギング等が挙げられる。

　以下、本発明における画像処理装置の作用、効果について説明する。
　図１０（Ａ）～（Ｅ）は入力画像ＤＩＮ（もしくは画像ＤＵ１）として原画ＤＯＲＧを拡大して得られた画像ＤＵ１Ｄが入力された場合の、入力画像ＤＩＮから中間画像Ｄ１を生成する際の作用、効果を模式的に表した図であり、
図１０（Ａ）は入力画像ＤＩＮの周波数スペクトルを、図１０（Ｂ）は高周波数成分画像生成手段１Ａの周波数応答を、図１０（Ｃ）は低周波数成分画像生成手段１Ｂの周波数応答を、図１０（Ｄ）は中間画像生成手段１の周波数応答を、図１０（Ｅ）は中間画像Ｄ１の周波数スペクトルを表す。なお、図１０（Ａ）～（Ｅ）においても図９（Ａ）～（Ｄ）と同様の理由で周波数軸は１本しか用いていない。

　さらに図１０（Ａ）～（Ｅ）では、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が０以上となる範囲のみを示したもので十分である。

　まず、入力画像ＤＩＮの周波数スペクトルについて説明する。画像拡大手段Ｕ１における拡大処理によって生成された画像ＤＵ１Ｄが入力画像ＤＩＮとして入力されるので、入力画像ＤＩＮの周波数スペクトルは図１０（Ａ）に示すように、図９（Ｄ）で説明したものと同じ形状となり、原画ＤＯＲＧのスペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１と折り返し成分となるスペクトルＳＰ２から成る。

　次に、高周波数成分画像生成手段１Ａの周波数応答について説明する。高周波数成分画像生成手段１Ａはハイパスフィルタにより構成されているので、その周波数応答は図１０（Ｂ）に示すように周波数が低くなるほど低くなる。

　次に、低周波数成分画像生成手段１Ｂの周波数応答について説明する。低周波数成分画像生成手段１Ｂはローパスフィルタにより構成されているので、その周波数応答は図１０（Ｃ）に示すように周波数が高くなるほど低くなる。

　次に、中間画像生成手段１の周波数応答について説明する。入力画像ＤＩＮが持つ周波数成分のうち、図１０（Ｄ）に示された低周波数成分側の領域（第１の周波数ＦＬ１よりも低い周波数の帯域）ＲＬ１の周波数成分については、中間画像生成手段１内の高周波数成分画像生成手段１Ａで弱められる。一方、図１０（Ｄ）に示された高周波数成分側の領域（第２の周波数ＦＬ２よりも高い周波数の帯域）ＲＨ１の周波数成分については、中間画像生成手段１内の低周波数成分画像生成手段１Ｂで弱められる。したがって、中間画像生成手段１の周波数応答は、図１０（Ｄ）に示すように、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域を制限された中間の領域（特定の周波数帯域）ＲＭ１内にピークを持ったものとなる。

　次に、中間画像Ｄ１の周波数スペクトルについて説明する。図１０（Ａ）に示す周波数スペクトルを持つ入力画像ＤＩＮが、図１０（Ｄ）に示した周波数応答を持つ中間画像生成手段１を通過することで、図１０（Ｅ）に示す中間画像Ｄ１が得られる。そして中間画像生成手段１の周波数応答は、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域制限された中間の領域ＲＭ１内にピークを持ったものなので、中間画像Ｄ１の周波数スペクトルは、入力画像ＤＩＮの周波数スペクトルのうち、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１に含まれる部分の強度が弱くなったものとなる。従って中間画像Ｄ１は入力画像ＤＩＮの持つ高周波数成分から折り返し成分となるスペクトルＳＰ１を取り除いたものとなる。即ち中間画像生成手段１には、入力画像ＤＩＮのもつ高周波数成分から折り返し成分となるスペクトルＳＰ１を取り除いた中間画像Ｄ１を生成するという効果がある。

　図１１（Ａ）～（Ｃ）は中間画像処理手段２の作用、効果を表した図であり、図１１（Ａ）は非線形処理画像Ｄ２Ａの周波数スペクトルを、図１１（Ｂ）は高周波数成分画像生成手段２Ｂの周波数応答を、図１１（Ｃ）は画像Ｄ２Ｂの周波数スペクトルを表す。なお、図１１（Ａ）～（Ｃ）では、図１０（Ａ）～（Ｅ）と同様の理由で、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表している。

　後述するように非線形処理画像Ｄ２Ａでは、高周波数成分側の領域ＲＨ２に相当する高周波数成分が生成される。図１１（Ａ）はその様子を模式的に表した図である。図１１（Ｃ）に示す画像Ｄ２Ｂは非線形処理画像Ｄ２Ａが高周波数成分画像生成手段２Ｂを通過することで生成される。高周波数成分画像生成手段２Ｂは第３の周波数ＦＬ３以上の成分を通過させるハイパスフィルタで構成されており、その周波数応答は図１１（Ｂ）に示すように周波数が高くなるほど高いものとなる。従って画像Ｄ２Ｂの周波数スペクトルは図１１（Ｃ）に示すように非線形処理画像Ｄ２Ａの周波数スペクトルから低周波数成分側の領域ＲＬ２に相当する成分（第３の周波数ＦＬ３よりも低い周波数成分）を取り除いたものとなる。言い換えると、非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。なお、図示の例では、第３の周波数ＦＬ３は、Ｆｎ／２に略等しい。

　上記の作用、効果についてさらに詳しく説明する。
　図１２（Ａ）～（Ｃ）及び図１３（Ａ）～（Ｃ）はステップエッジをサンプリングした際に得られる信号について表した図である。
　図１２（Ａ）はステップエッジとサンプリング間隔Ｓ１を表しており、図１２（Ｂ）はステップエッジをサンプリング間隔Ｓ１でサンプリングした際に得られる信号を表しており、図１２（Ｃ）は図１２（Ｂ）に表された信号の高周波数成分を表している。一方、図１３（Ａ）はステップエッジとサンプリング間隔Ｓ１より間隔の広いサンプリング間隔Ｓ２を表しており、図１３（Ｂ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした際に得られる信号を表しており、図１３（Ｃ）は図１３（Ｂ）に表された信号の高周波数成分を表している。以下の説明ではサンプリング間隔Ｓ２の長さはサンプリング間隔Ｓ１の長さの半分であるとする。

　図１２（Ｃ）及び図１３（Ｃ）に表されるようにステップエッジの中央は高周波数成分を表した信号においてゼロクロス点Ｚとして現れる。また、高周波数成分を表した信号のゼロクロス点Ｚの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Ｚに近づく。

　即ち、サンプリング間隔が変わっても、エッジの近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど（あるいは解像度が上がるほど）エッジの近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。

　図１４（Ａ）～（Ｆ）はステップエッジをサンプリング間隔Ｓ１でサンプリングした信号が２倍に拡大された後、本発明における画像処理装置に入力された際の作用、効果を表す図であり、特に中間画像生成手段１及び中間画像処理手段２の作用、効果を表している。なお、先に述べた通り、中間画像生成手段１及び中間画像処理手段２内部の処理は水平方向及び垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図１４（Ａ）～（Ｆ）では一次元信号を用いて処理の内容を表している。

　図１４（Ａ）は、図１３（Ｂ）と同様ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号を示す。図１４（Ｂ）は、図１４（Ａ）に表した信号を２倍に拡大した信号を示す。即ち、原画ＤＯＲＧに図１４（Ａ）に示すようなエッジが含まれる場合、入力画像ＤＩＮとして図１４（Ｂ）に示すような信号が入力される。なお、信号を２倍に拡大するとサンプリング間隔は拡大前の半分になるため、図１４（Ｂ）に表した信号のサンプリング間隔は図１２（Ａ）～（Ｃ）中のサンプリング間隔Ｓ１と同じになる。また、図１４（Ａ）において座標Ｐ３で表される位置はステップエッジの低輝度側（エッジ信号の低レベル側）の境界部分であり、座標Ｐ４で表される位置はステップエッジの高輝度側（エッジ信号の高レベル側）の境界である。

　図１４（Ｃ）は図１４（Ｂ）に表した信号の高周波数成分を表した信号、即ち高周波数成分画像生成手段１Ａから出力される画像Ｄ１Ａに相当する信号を示す。なお、画像Ｄ１Ａは、入力画像ＤＩＮの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。

　図１４（Ｄ）は図１４（Ｃ）に示される信号の低周波数成分を表す信号、即ち低周波数成分画像生成手段１Ｂから出力される画像Ｄ１Ｂに相当する信号を示す。なお先に述べたとおり画像Ｄ１Ｂが中間画像Ｄ１として出力されるので、図１４（Ｄ）は中間画像Ｄ１を示すものとも言える。図１４（Ｄ）に示すとおり、中間画像Ｄ１においてゼロクロス点Ｚの近傍の局所的な最小値は座標Ｐ３に、局所的な最大値は座標Ｐ４に現れ、その様子は図１３（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号から取り出した高周波数成分と一致する。また、画像Ｄ１Ａに含まれていた折り返し成分は、低周波数成分画像生成手段１Ｂで行うローパスフィルタ処理によって取り除かれる。

　図１４（Ｅ）は、図１４（Ｄ）に示される信号に対する非線形処理手段２Ａに入力された際の出力信号、即ち、中間画像Ｄ１が入力された場合に非線形処理手段２Ａから出力される画像Ｄ２Ａを表している。非線形処理手段２Ａではゼロクロス点Ｚの前後の（前後において隣接する）座標Ｐ１、Ｐ２の信号値が増幅される。したがって、画像Ｄ２Ａは図１４（Ｅ）に示すように座標Ｐ１、Ｐ２での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Ｚの近傍で、局所的な最小値の現れる位置が座標Ｐ３からよりゼロクロス点Ｚに近い座標Ｐ１に、局所的な最大値の現れる位置が座標Ｐ４からよりゼロクロス点Ｚに近い座標Ｐ２へと変化する。これは非線形処理手段２Ａにおける、ゼロクロス点Ｚの前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。即ち非線形処理手段２Ａには、中間画像Ｄ１には含まれない高周波数成分、すわなち、図１１（Ａ）に示した高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果がある。

　図１４（Ｆ）は図１４（Ｅ）に表した信号の高周波数成分を表した信号、即ち高周波数成分画像生成手段２Ｂから出力される画像Ｄ２Ｂに相当する信号を示す。図１４（Ｆ）に示すとおり、画像Ｄ２Ｂにおいてゼロクロス点Ｚの近傍の局所的な最小値（負側のピーク）は座標Ｐ１に、最大値（正側のピーク）は座標Ｐ２に現れ、その様子は図１２（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ１でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段２Ａにおいて生成された高周波数成分が高周波数成分画像生成手段２Ｂによって取り出され、画像Ｄ２Ｂとして出力されることを意味する。
　また、取り出された画像Ｄ２Ｂはサンプリング間隔Ｓ１に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。

　加算手段２Ｃでは、水平方向に関する処理画像Ｄ１ｈと、垂直方向に関する処理画像Ｄ１ｖを統合して統合後の中間画像Ｄ１ｈｖを生成し、水平方向に関する処理画像Ｄ２Ｂｈと、垂直方向に関する処理画像Ｄ２Ｂｖを統合して統合後の画像Ｄ２Ｂｈｖを生成し、さらに統合後の中間画像Ｄ１ｈｖと統合後の画像Ｄ２Ｂｈｖを加算して画像Ｄ２Ｃを生成する。

　上記した、図１４（Ｄ）の中間画像Ｄ１及び図１４（Ｆ）の画像Ｄ２Ｂを入力画像ＤＩＮに加算すれば、画像の強調処理を行うことが可能である。本発明では、第１及び第２の中間画像Ｄ１及び画像Ｄ２Ｂをそのまま入力画像ＤＩＮに加算するわけではないが、以下、仮に第１中間画像Ｄ１及び画像Ｄ２Ｂを加算をした場合に得られる効果について説明し、その後で、第１の中間画像Ｄ１及び画像Ｄ２Ｂを加算手段２Ｃ内で処理することで得られる、中間画像Ｄ２Ｃを加算することによる効果（言い換えれば、統合後の第１の中間画像Ｄ１ｈｖ及び統合後の画像Ｄ２Ｂｈｖを加算することによる効果）について説明する。

　まず、中間画像Ｄ１を加算することの効果について述べる。先に述べたとおり中間画像Ｄ１は入力画像ＤＩＮの持つ高周波数成分から折り返し成分を取り除いたものであり、図１０（Ｅ）に示すように原画ＤＯＲＧのナイキスト周波数の近傍の高周波数成分に対応している。図９（Ｄ）で説明したとおり、原画ＤＯＲＧのナイキスト周波数の近傍のスペクトル強度は画像拡大手段Ｕ１での拡大処理によって弱められているので、中間画像Ｄ１を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。また、中間画像Ｄ１から、折り返し成分は取り除かれているので、オーバーシュートやジャギーあるいはリンギングといった偽の信号を強調することはない。

　次に中間画像Ｄ２Ｂを加算することの効果について述べる。先に述べたとおり画像Ｄ２Ｂはサンプリング間隔Ｓ１に対応した高周波数成分である。したがって画像Ｄ２Ｂを加算することで原画ＤＯＲＧのナイキスト周波数以上の帯域の高周波数成分を与えることができ、このため、画像の解像感を増すことができる。
　したがって中間画像Ｄ１と画像Ｄ２Ｂを加算した画像Ｄ２Ｃを入力画像ＤＩＮに加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。

　しかしながら、水平方向に関する処理画像と、垂直方向に関する処理画像とを統合する際に、これらを単純加算してしまうと、入力画像に含まれるエッジの方向によって補正量が均一でなくなり、処理後の画像にアーティファクトが生じる。

　図１５（Ａ）～（Ｅ）、図１６（Ａ）～（Ｅ）及び図１７（Ａ）～（Ｅ）は、上記アーティファクトが生じる原因と、加算手段２Ｃの効果を説明するための模式図である。図１５（Ａ）、図１６（Ａ）及び図１７（Ａ）に示すように、入力画像として
（イ）水平方向のエッジが含まれている場合（図１５（Ａ））、
（ロ）斜め方向のエッジが含まれている場合（図１６（Ａ））、
（ハ）垂直方向のエッジが含まれている場合（図１７（Ａ））
を考える。それぞれの場合において、画素の信号を水平方向に左から右へという順に供給されたときの信号（水平方向高周波成分画像生成手段１Ａｈで処理の対象となる信号（ここでは符号「ＤＩＮｈ」で表わす）の強度を図１５（Ｂ）、図１６（Ｂ）、及び図１７（Ｂ）に示し、画素の信号を垂直方向に上から下へという順に供給されたときの信号（垂直方向高周波成分画像生成手段１Ａｖで処理の対象となる信号（ここでは符号「ＤＩＮｖ」で表わす））の強度を図１５（Ｃ）、図１６（Ｃ）、及び図１７（Ｃ）に示す。
　それぞれの場合におけるエッジを水平成分及び垂直成分に分解して考えると、（イ）、（ハ）では水平成分及び垂直成分のどちらか一方のみの成分でステップエッジが構成されているのに対し、（ロ）では水平成分と垂直成分の両方でステップエッジが構成されている。

　図１５（Ｄ）、図１６（Ｄ）、及び図１７（Ｄ）は、図１５（Ｂ）、図１６（Ｂ）及び図１７（Ｂ）に示す入力画像（ＤＩＮｈ）に対して水平方向に処理された水平方向中間画像Ｄ１ｈの信号強度を表し、図１５（Ｅ）、図１６（Ｅ）、及び図１７（Ｅ）は、図１５（Ｃ）、図１６（Ｃ）及び図１７（Ｃ）に示す入力画像（ＤＩＮｖ）に対して垂直方向に処理された垂直方向中間画像Ｄ１ｖの信号強度を表す。

　エッジの近傍の中間画像Ｄ１の信号強度の絶対値は、（イ）では水平成分において大きく、垂直成分はゼロ、（ロ）では水平成分、垂直成分ともに大きく、（ハ）では、垂直成分において大きく、水平成分はゼロとなる。

　したがって、画像Ｄ１ｈと画像Ｄ１ｖを単純加算してしまうと、水平方向及び垂直方向のエッジに比べて、斜め方向のエッジに対する補正量が約２倍程度に大きくなってしまう。その結果、エッジの方向によって補正強度が不均一になり、斜め方向のエッジでオーバーシュートが大きくなるなどの問題が生じる。

　そこで、加算手段２Ｃでは、画像Ｄ１ｈと画像Ｄ１ｖを単純加算とはせず、これらの画像に対して、エッジの方向に応じた重み係数を乗算してから加算する。先に述べたように、加算手段２Ｃでは、重み係数生成手段４０１が備えるエッジ方向推定手段５１１において、画像Ｄ１ｈと画像Ｄ１ｖの絶対値の差分ｄＨ－ｄＶを計算している。この差分ｄＨ－ｄＶはエッジの方向に対応した量であり、水平方向のエッジの近傍ではｄＨ－ｄＶが正の値で、比較的大きな値となり、斜め方向のエッジの近傍ではｄＨ－ｄＶが０に近い値となり、垂直方向のエッジの近傍ではｄＨ－ｄＶが負の値で、その絶対値が比較的大きな値となる。

　このように、エッジ方向推定手段５１１において、差分ｄＨ－ｄＶからエッジの方向を推定することにより、エッジの方向を検出するための２次元フィルタなどの手段を別途設ける必要がないため、回路規模の増大を防ぐことができる。

　重み係数決定手段５１２では、この差分ｄＨ－ｄＶにしたがって、図５（Ａ）及び（Ｂ）に示した関係から、水平方向成分に対する重み係数Ｄ５１２ｈと、垂直方向成分に対する重み係数Ｄ５１２ｖを決定する。
　具体的には、ｄＨ－ｄＶが大きな値であるほど画像Ｄ１ｈに対する重みをより大きくし、Ｄ１ｖに対する重みをより小さくする。一方、ｄＨ－ｄＶが負の値で、その絶対値が大きな値であるほど、画像Ｄ１ｈに対する重みをより大きくし、画像Ｄ１ｖに対する重みをより小さくする。さらに、ｄＨ－ｄＶが０に近づくほど、重みが１／２に近づくようにしている。このようにすることで、上記の解像感を高める効果を損なうことなく、かつアーティファクトを目立たせない高画質な補正を実現することができる。即ち、画像Ｄ１、Ｄ２Ｂをそのまま加算する場合に比べて、その問題点を解消することができ、かつ画像Ｄ１、Ｄ２Ｂを加算することによって得られる、先に述べた効果と同様の効果が得られる。

　なお、重み係数決定手段５１２における重み係数の決め方は、上記の目的を果たすものであれば図５（Ａ）、（Ｂ）に示される関係に限らず、例えば、滑らかな曲線で定義される関係を用いてもよい。また、そのような曲線を折れ線で近似しても良い。一般化すれば、水平方向成分に対する重み係数を差分ｄＨ－ｄＶに対して単調増加する特性により決定し、垂直方向成分に対する重み係数を差分ｄＨ－ｄＶに対して単調減少する特性により決定し、水平方向成分に対する重み係数と垂直方向成分に対する重み係数の和がつねに一定となる関係を満たすように決定すれば良い。

　さらに、エッジ方向推定手段５１１は、エッジ方向推定量Ｄ５１１として前述の差分ｄＨ－ｄＶを算出するものとしたが、エッジの方向に相関する量であれば、他の種々の関係式のいずれかにより算出される量を用いてもよい。その場合は、重み係数決定手段５１２も、エッジ方向推定量Ｄ５１１に応じて上記の目的を果たすように変更して実施する。

　以上の説明は、中間画像Ｄ１の水平成分Ｄ１ｈ、垂直成分Ｄ１ｖを加算する場合について行ったが、中間画像Ｄ２Ｂの水平成分Ｄ２Ｂｈ、垂直成分Ｄ２Ｂｖを加算する場合にも同様のことがいえる。図４に示す例では、中間画像Ｄ２Ｂの水平成分Ｄ２Ｂｈ、垂直成分Ｄ２Ｂｖを加算する場合にも、重み係数生成手段４０１で決定した重み係数Ｄ５１２ｈ、Ｄ５１２ｖを用いている。

　加算手段３では画像Ｄ２Ｃが中間画像Ｄ２として入力画像ＤＩＮに加算される。したがって、折り返し成分に起因するオーバーシュートやジャギーあるいはリンギング等の増加を抑えつつ高周波数成分を加算し、画像の解像感を高めることができる。

　さらに、本発明における画像処理装置では、中間画像生成手段１及び中間画像処理手段２において、画像の水平方向に関する処理及び垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず、これらを統合して任意の方向に関して上記の効果を得ることができる。

　また、本発明における画像処理装置では周波数空間で考えて原点からＦｎに渡る周波数帯域のうち、原画ＤＯＲＧのナイキスト周波数±Ｆｎ／２の近傍（あるいは特定の周波数帯域）に入力画像ＤＩＮが持っている成分をもとに、ナイキスト周波数±Ｆｎの近傍の高周波数成分に対応した画像Ｄ２Ｂを生成している。したがってなんらかの理由で、入力画像ＤＩＮにおいて、ナイキスト周波数±Ｆｎの近傍の周波数成分が失われていたとしても、画像Ｄ２Ｂにより、ナイキスト周波数±Ｆｎの近傍の周波数成分を与えることが可能になる。

　なお、特定の周波数帯域として用いる箇所は、±Ｆｎ／２の近傍に限定されるものではない。即ち高周波数成分画像生成手段１Ａ及び低周波数成分画像生成手段１Ｂの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。

　上記の説明ではナイキスト周波数Ｆｎの近傍の周波数成分が失われる例として画像の拡大処理を挙げたが、入力画像ＤＩＮに対してナイキスト周波数Ｆｎの近傍の周波数成分が失われる原因はそれに限らず、他にもノイズ除去処理等が考えられる。したがって本発明における画像処理装置の用途は画像拡大処理後に限定されるものではない。

実施の形態２．
　実施の形態２による画像処理装置は、加算手段２Ｃの内部構成のみが実施の形態１と異なり、加算手段２Ｃにおいて、画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを統合する際に用いる重み係数を、画像Ｄ２Ｂｈ及びＤ２Ｂｖから求めるよう構成したものである。

　図１８は本発明の実施の形態２による画像処理装置の加算手段２Ｃの構成例を示す。図示の加算手段２Ｃは、概して図４の加算手段２Ｃと同じであるが、重み出力手段４１２が付加されており、水平垂直統合手段４１２における加算が重み出力手段４１２から出力される重み係数Ｄ５２２ｈ及びＤ５２２ｖを用いて行なわれる点で異なる。

　重み係数生成手段（第１の重み係数生成手段）４０１は、図４の場合と同様、画像Ｄ１ｈ及びＤ１ｖから、画像Ｄ１ｈに対する重み係数Ｄ５１２ｈと、画像Ｄ１ｖに対する重み係数Ｄ５１２ｖを求める。
　水平垂直統合手段（第１の水平垂直統合手段）４１１は、重み係数生成手段４０１で求められた重み係数Ｄ５１２ｈ及びＤ５１２ｖにしたがって画像Ｄ１ｈと画像Ｄ１ｖを重み付け加算し、水平方向成分と垂直方向成分が統合された画像Ｄ１ｈｖを得る。
　上記の処理と並行して、重み係数生成手段（第２の重み係数生成手段）４０２は、画像Ｄ２Ｂｈ及びＤ２Ｂｖから、画像Ｄ２Ｂｈに対する重み係数Ｄ５２２ｈと、画像Ｄ２Ｂｖに対する重み係数Ｄ５２２ｖを求める。重み係数Ｄ５２２ｈ及びＤ５２２ｖの求め方は重み係数生成手段４０１における重み係数Ｄ５１２ｈ及びＤ５１２ｖの求め方と同様に、例えば、図５（Ａ）及び（Ｂ）と同様の関係（但し、横軸は画像Ｄ２Ｂｈの絶対値ｄＨ’と画像Ｄ２Ｂｖの絶対値ｄＶ’の差（ｄＨ’－ｄＶ’）を表し、縦軸は重み係数Ｄ５２２ｈ、Ｄ５２２ｖを表すものとする）を持つように用いて重み係数Ｄ５２２ｈ及びＤ５２２ｖを求めることができる。この場合、ｄＨ’－ｄＶ’に対するＤ５２２ｈ及びＤ５２２ｖの関係を、ｄＨ－ｄＶに対するＤ５１２ｈ及びＤ５１２ｖの関係と全く同じにしても良く、互いに異なるものとしても良い。
　水平垂直統合手段（第２の水平垂直統合手段）４１２は、重み係数生成手段４０２で求められた重み係数Ｄ５２２ｈ及びＤ５２２ｖにしたがって画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを重み付け加算し、水平方向成分と垂直方向成分が統合された画像Ｄ２Ｂｈｖを得る。
　中間画像加算手段４２は、画像Ｄ１ｈｖと画像Ｄ２Ｂｈｖを加算して画像Ｄ２Ｃを出力する。

　本実施の形態２における加算手段２Ｃは、図４に示した実施の形態１における加算手段２Ｃの構成に対して、画像Ｄ２Ｂｈ及びＤ２Ｂｖに対する重み係数を求めるための重み係数生成手段４０２を追加し、水平垂直統合手段４１２が重み係数生成手段４０２で求められた重み係数を用いて画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを重み付け加算する構成としたものである。重み係数生成手段４０１、水平垂直統合手段４１１、及び中間画像加算手段４２の構成、動作は実施の形態１と同様である。さらに、重み係数生成手段４０２は、エッジ方向推定手段５２１及び重み係数決定手段５２２から成り、これらの動作は重み係数生成手段４０１のエッジ方向推定手段５１１、及び重み係数決定手段５１２の動作と同様である。

　本発明の実施の形態２による画像処理装置は、本発明の実施の形態１における画像処理装置と同様の効果を持つ。さらに、加算手段２Ｃに重み係数生成手段４０２を付加したことにより、非線形処理手段２Ａによる処理を経た後の画像である画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを統合するための重み係数をより適切に求めることができ、処理後の画像をより高画質にすることができる。

実施の形態３．
　図１９は本発明の実施の形態３による画像処理方法のフローを表す図であり、本発明の実施の形態３による画像処理方法は、中間画像生成ステップＳＴ１、中間画像処理ステップＳＴ２、及び加算ステップＳＴ３を含む。

　中間画像生成ステップＳＴ１は、図２０に示すように、高周波数成分画像生成ステップＳＴ１Ａ、及び低周波数成分画像生成ステップＳＴ１Ｂを含む。

　高周波数成分画像生成ステップＳＴ１Ａは、水平方向高周波数成分画像生成ステップＳＴ１Ａｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１Ａｖを含み、低周波数成分画像生成ステップＳＴ１Ｂは、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈ、及び垂直方向高周波巣成分画像ＳＴ１Ｂｖを含む。

　中間画像処理ステップＳＴ２は、図２１に示すように、非線形処理ステップＳＴ２Ａ、高周波数成分画像生成ステップＳＴ２Ｂ、及び加算ステップＳＴ２Ｃを含む。

　非線形処理ステップＳＴ２Ａは、水平方向非線形処理ステップＳＴ２Ａｈ、及び垂直方向非線形処理ステップＳＴ２Ａｖを含み、高周波数成分画像生成ステップＳＴ２Ｂは、水平方向高周波数成分通過ステップＳＴ２Ｂｈ、及び垂直方向高周波数成分通過ステップＳＴ２Ｂｖを含む。

　水平方向非線形処理ステップＳＴ２Ａｈは、図２２に示すように、ゼロクロス判定ステップＳＴ３１１ｈ、及び信号増幅ステップＳＴ３１２ｈを含み、垂直方向非線形処理ステップＳＴ２Ａｖは、図２３に示すように、ゼロクロス判定ステップＳＴ３１１ｖ、及び信号増幅ステップＳＴ３１２ｖを含む。

　まず、図２０のフローに従って中間画像生成ステップＳＴ１の動作について説明する。
　高周波数成分画像生成ステップＳＴ１Ａでは、図示しない画像入力ステップにて入力された入力画像ＤＩＮに対し、以下のような処理が行われる。
　まず、水平方向高周波数成分画像生成ステップＳＴ１Ａｈでは、水平方向のハイパスフィルタ処理によって、入力画像ＤＩＮから水平方向の高周波数成分を取り出した画像Ｄ１Ａｈを生成する。
　垂直方向高周波数成分画像ステップＳＴ１Ａｖでは、垂直方向のハイパスフィルタ処理によって、入力画像ＤＩＮから垂直方向の高周波数成分を取り出した画像Ｄ１Ａｖを生成する。
　このように、高周波数成分画像生成ステップＳＴ１Ａは、入力画像ＤＩＮから、画像Ｄ１Ａｈ及び画像Ｄ１Ａｖから成る画像Ｄ１Ａを生成する。この動作は高周波数成分画像生成手段１Ａと同等である。

　低周波数成分画像生成ステップＳＴ１Ｂでは、画像Ｄ１Ａに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈでは、水平方向のローパスフィルタ処理によって、画像Ｄ１Ａｈから水平方向の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する。
　垂直方向低周波数成分画像生成ステップＳＴ１Ｂｖでは、垂直方向のローパスフィルタ処理によって、画像Ｄ１Ａｖから垂直方向の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する。
　このように、低周波数成分画像生成ステップＳＴ１Ｂは、画像Ｄ１Ａから、画像Ｄ１Ｂｈ及び画像Ｄ１Ｂｖから成る画像Ｄ１Ｂを生成する。この動作は低周波数成分画像生成手段１Ｂと同等である。

　以上が中間画像生成ステップＳＴ１の動作であり、中間画像生成ステップＳＴ１は画像Ｄ１Ｂｈを画像Ｄ１ｈとし、画像Ｄ１Ｂｖを画像Ｄ１ｖとし、画像Ｄ１ｈ及び画像Ｄ１ｖから成る中間画像Ｄ１を出力する。以上の動作は中間画像生成手段１と同等である。

　次に図２１～２４のフローに従って中間画像処理ステップＳＴ２の動作について説明する。
　まず、非線形処理ステップＳＴ２Ａでは中間画像Ｄ１に対し、以下のような処理を行う。

　まず、水平方向非線形処理ステップＳＴ２Ａｈでは、図２２に示すフローに従った処理で画像Ｄ１ｈから画像Ｄ２Ａｈを生成する。図２２に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｈでは、画像Ｄ１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップＳＴ３１２ｈに通知する。信号増幅ステップＳＴ３１２ｈでは画像Ｄ１ｈについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｈとして出力する。即ち、非線形処理ステップＳＴ２Ａｈは、画像Ｄ１ｈに対し、水平方向非線形処理手段２Ａｈと同様の処理を行い、画像Ｄ２Ａｈを生成する。

　次に、垂直方向非線形処理ステップＳＴ２Ａｖでは、図２３に示すフローに従った処理で画像Ｄ１ｖから画像Ｄ２Ａｖを生成する。図２３に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｖでは、画像Ｄ１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップＳＴ３１２ｖに通知する。信号増幅ステップＳＴ３１２ｖでは画像Ｄ１ｖについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｖとして出力する。即ち、非線形処理ステップＳＴ２Ａｖは、画像Ｄ１ｖに対し、垂直方向非線形処理手段２Ａｖと同様の処理を行い、画像Ｄ２Ａｖを生成する。

　以上が非線形処理ステップＳＴ２Ａの動作であり、非線形処理ステップＳＴ２Ａは画像Ｄ２Ａｈ及び画像Ｄ２Ａｖから成る画像Ｄ２Ａを生成する。その動作は非線形処理手段２Ａと同等である。

　次に、高周波数成分画像生成ステップＳＴ２Ｂでは画像Ｄ２Ａに対し、以下の様な処理を行う。
　まず、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈでは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｈを生成する。即ち、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈは、水平方向高周波数成分画像生成手段２Ｂｈと同様の処理を行う。

　次に、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖでは、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｖを生成する。即ち、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖは、垂直方向高周波数成分画像生成手段２Ｂｖと同様の処理を行う。

　以上が高周波数成分画像生成ステップＳＴ２Ｂの動作であり、高周波数成分画像生成ステップＳＴ２Ｂは画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから成る画像Ｄ２Ｂを生成する。その動作は高周波数成分画像生成手段２Ｂと同等である。

　次に、加算ステップＳＴ２Ｃでは、図２４に示すフローに従った処理で、画像Ｄ１ｈ、画像Ｄ１ｖ、画像Ｄ２Ｂｈ、及び画像Ｄ２Ｂｖを加算して画像Ｄ２Ｃを生成する。加算ステップＳＴ２Ｃの処理は以下の通りである。

　まず、重み係数生成ステップＳＴ４０１では、水平方向成分に対する重み係数Ｄ５１２ｈと垂直方向成分に対する重み係数Ｄ５１２ｖを求める。重み係数生成ステップＳＴ４０１は、エッジ方向推定ステップＳＴ５１１、及び重み係数決定ステップＳＴ５１２を含み、これらの動作は、重み係数生成手段４０１のエッジ方向推定手段５１１、及び重み係数決定手段５１２の動作と同等である。

　次に、水平垂直統合ステップＳＴ４１１では、重み係数生成ステップＳＴ４０１で求められた重み係数Ｄ５１２ｈ及びＤ５１２ｖを用いて画像Ｄ１ｈと画像Ｄ１ｖを画素ごとに重み付け加算して統合し、画像Ｄ１ｈｖを生成する。また、水平垂直統合ステップＳＴ４１２では、同じく重み係数Ｄ５１２ｈ及びＤ５１２ｖを用いて画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを画素ごとに重み付け加算して統合し、画像Ｄ２Ｂｈｖを生成する。

　次に、中間画像加算ステップＳＴ４２では、画像Ｄ１ｈｖと画像Ｄ２Ｂｈｖを加算する。この際、画像Ｄ１ｈｖと画像Ｄ２Ｂｈｖの加算は重み付け加算でもよい。
　以上の加算ステップＳＴ２Ｃの動作は、加算手段２Ｃの動作と同等である。

　以上が中間画像処理ステップＳＴ２の動作であり、中間画像処理ステップＳＴ２は画像Ｄ２Ｃを中間画像Ｄ２として出力する。この動作は中間画像処理手段２と同等である。

　加算ステップＳＴ３は入力画像ＤＩＮと中間画像Ｄ２を加算し、出力画像ＤＯＵＴを生成する。出力画像ＤＯＵＴが本発明における画像処理方法の最終出力画像として出力される。即ち、加算ステップＳＴ３の動作は加算手段３の動作と同等である。
　以上が本発明の実施の形態３における画像処理方法の動作である。

　本発明の実施の形態３における画像処理方法の動作はその説明から明らかなように、本発明の実施の形態１における画像処理装置と同等である。したがって実施の形態３における画像処理方法は、実施の形態１における画像処理装置と同様の効果を持つ。また、図６に示す画像表示装置において、例えば画像処理装置Ｕ２内部で上記の画像処理方法を実施することで、上記の画像処理方法で処理された画像を、図６に示す画像表示装置Ｕ３で表示することもできる。

実施の形態４．
　実施の形態４による画像処理方法は、実施の形態３における画像処理方法の加算ステップＳＴ２Ｃにおいて、画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを統合する際に用いる重み係数を、画像Ｄ２Ｂｈ及びＤ２Ｂｖから求めるものである。

　図２５は本発明の実施の形態４による画像処理方法の加算ステップＳＴ２Ｃのフローを示す。まず、重み係数生成ステップＳＴ４０１では、画像Ｄ１ｈ及び画像Ｄ１ｖから、画像Ｄ１ｈに対する重み係数Ｄ５１２ｈと、画像Ｄ１ｖに対する重み係数Ｄ５１２ｖとを求める。重み係数生成ステップＳＴ４０１は、エッジ方向推定ステップＳＴ５１１、及び重み係数決定ステップＳＴ５１２を含み、これらの動作は、重み係数生成手段４０１のエッジ方向推定手段５１１、及び重み係数決定手段５１２の動作と同等である。
　次に、水平垂直統合ステップＳＴ４１１では、重み係数生成ステップＳＴ４０１で求められた重み係数Ｄ５１２ｈ及びＤ５１２ｖを用いて画像Ｄ１ｈと画像Ｄ１ｖを重み付け加算し、水平方向成分と垂直方向成分が統合された画像Ｄ１ｈｖを得る。

　また、重み係数生成ステップＳＴ４０２では、画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから、画像Ｄ２Ｂｈに対する重み係数Ｄ５２２ｈと、画像Ｄ２Ｂｖに対する重み係数Ｄ５２２ｖとを求める。重み係数生成ステップＳＴ４０２は、エッジ方向推定ステップＳＴ５２１、及び重み係数決定ステップＳＴ５２２を含み、これらの動作は、実施の形態２における重み係数生成手段４０２のエッジ方向推定手段５２１、及び重み係数決定手段５２２の動作と同等である。
　次に、水平垂直統合ステップＳＴ４１２において、重み係数生成ステップＳＴ４０２で求められた重み係数Ｄ５２２ｈ及びＤ５２２ｖにしたがって画像Ｄ２Ｂｈと画像Ｄ２Ｂｖを重み付け加算し、水平方向成分と垂直方向成分が統合された画像Ｄ２Ｂｈｖを得る。

　次に、中間画像加算ステップＳＴ４２において、画像Ｄ１ｈｖと画像Ｄ２Ｂｈｖを加算して画像Ｄ２Ｃを出力する。

　以上の加算ステップＳＴ２Ｃの動作は、実施の形態２における加算手段２Ｃの動作と同等である。さらに、本発明の実施の形態４における画像処理方法の動作は、本発明の実施の形態２における画像処理装置と同等である。したがって実施の形態４における画像処理方法は、実施の形態２における画像処理装置と同様の効果を持つ。また、図６に示す画像表示装置において、例えば画像処理装置Ｕ２内部で上記の画像処理方法を実施することで、上記の画像処理方法で処理された画像を、図６に示す画像表示装置Ｕ３で表示することもできる。

　１　中間画像生成手段、　１Ａ　高周波数成分画像生成手段、　１Ｂ　低周波数成分画像生成手段、　２　中間画像処理手段、　２Ａ　非線形処理手段、　２Ｂ　高周波数成分画像生成手段、　２Ｃ　加算手段、　３　加算手段、　４０１、４０２　重み係数生成手段、　４１１　第１の水平垂直統合手段、　４１２　第２の水平垂直統合手段、　ＤＩＮ　入力画像、　Ｄ１　第１の中間画像、　Ｄ１ｈ　第１の水平方向中間画像、　Ｄ１ｖ　第１の垂直方向中間画像、　Ｄ２　第２の中間画像、　Ｄ２Ｂｈ　第２の水平方向中間画像、　Ｄ２Ｂｖ　第１の垂直方向中間画像、　ＤＯＵＴ　出力画像。

Claims (15)

1. 　入力画像の水平方向に関して特定の周波数帯域の成分を取り出した第１の水平方向中間画像と、前記入力画像の垂直方向に関して特定の周波数帯域の成分を取り出した第１の垂直方向中間画像を生成する中間画像生成手段と、
   　前記第１の水平方向中間画像及び前記第１の垂直方向中間画像をもとに第２の中間画像を生成する中間画像処理手段と、
   　前記入力画像と前記第２の中間画像を加算する第１の加算手段を有し、
   　前記中間画像処理手段は、
   　前記第１の水平方向中間画像の画素に応じて処理の内容を変化させる水平方向非線形処理手段と、
   　前記第１の垂直方向中間画像の画素に応じて処理の内容を変化させる垂直方向非線形処理手段とを含み、
   　前記中間画像処理手段は、
   　前記第１の水平方向中間画像と、
   　前記第１の垂直方向中間画像と、
   　前記水平方向非線形処理手段の出力を処理した第２の水平方向中間画像と、
   　前記垂直方向非線形処理手段の出力を処理した第２の垂直方向中間画像と
   　を加算して、加算結果を前記第２の中間画像として出力する第２の加算手段を有し、
   　第２の加算手段は、
   　前記第１の水平方向中間画像と前記第１の垂直方向中間画像を重み付け加算して統合する第１の水平垂直統合手段と、
   　前記第２の水平方向中間画像と前記第２の垂直方向中間画像を重み付け加算して統合する第２の水平垂直統合手段の少なくとも一方を有することを特徴とする画像処理装置。
2. 　前記第２の加算手段は、
   　前記第１の水平方向中間画像と前記第１の垂直方向中間画像をもとに第１の重み係数を求める第１の重み係数生成手段をさらに有し、
   　前記第１の水平垂直統合手段及び前記第２の水平垂直統合手段の少なくとも一方は、
   　前記第１の重み係数をもとに前記重み付け加算を行うことを特徴とする請求項１に記載の画像処理装置。
3. 　前記第１の重み係数生成手段は、
   　前記第１の水平方向中間画像と前記第１の垂直方向中間画像をもとに前記入力画像のエッジの方向に対応するエッジ方向推定量を求める第１のエッジ方向推定手段と、
   　前記第１のエッジ方向推定量をもとに前記第１の重み係数を決定する第１の重み係数決定手段とを有する
   　ことを特徴とする請求項２に記載の画像処理装置。
4. 　前記第１のエッジ方向推定手段は、
   　前記第１の水平方向中間画像と前記第１の垂直方向中間画像の各画素の絶対値の差分を前記第１のエッジ方向推定量として出力する
   　ことを特徴とする請求項３に記載の画像処理装置。
5. 　前記第１の重み係数決定手段は、
   　前記第１の水平方向中間画像に対する重み係数を前記第１のエッジ方向推定量に対して単調増加する特性により決定し、
   　前記第１の垂直方向中間画像に対する重み係数を前記第１のエッジ方向推定量に対して単調減少する特性により決定し、
   　前記第１の水平方向中間画像に対する重み係数と前記第１の垂直方向中間画像に対する重み係数の和はつねに一定となる関係を満たすことを特徴とする請求項４に記載の画像処理装置。
6. 　前記第２の加算手段は、
   　前記第２の水平方向中間画像と前記第２の垂直方向中間画像をもとに第２の重み係数を求める第２の重み係数生成手段をさらに有し、
   　前記第１の水平垂直統合手段は前記第１の重み係数をもとに前記重み付け加算を行い、
   　前記第２の水平垂直統合手段は前記第２の重み係数をもとに前記重み付け加算を行う、
   ことを特徴とする請求項２乃至５のいずれかに記載の画像処理装置。
7. 　前記第２の重み係数生成手段は、
   　前記第２の水平方向中間画像と前記第２の垂直方向中間画像をもとに前記入力画像のエッジの方向に対応するエッジ方向推定量を求める第２のエッジ方向推定手段と、
   　前記第２のエッジ方向推定量をもとに前記第２の重み係数を決定する第２の重み係数決定手段とを有する
   　ことを特徴とする請求項６に記載の画像処理装置。
8. 　前記第２のエッジ方向推定手段は、
   　第２の水平方向中間画像と第２の垂直方向中間画像の各画素の絶対値の差分を前記第２のエッジ方向推定量として出力する
   　ことを特徴とする請求項７に記載の画像処理装置。
9. 　前記第２の重み係数決定手段は、
   　第２の水平方向中間画像に対する重み係数を前記第２のエッジ方向推定量に対して単調増加する特性により決定し、
   　第２の垂直方向中間画像に対する重み係数を前記第２のエッジ方向推定量に対して単調減少する特性により決定し、
   　前記第２の水平方向中間画像に対する重み係数と前記第２の垂直方向中間画像に対する重み係数の和はつねに一定となる関係を満たす
   　ことを特徴とする請求項８に記載の画像処理装置。
10. 　前記中間画像生成手段は、
    　前記入力画像の各画素の水平方向の近傍に存在する画素を用いて第１の所定の水平方向周波数以上の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
    　前記入力画像の各画素の垂直方向の近傍に存在する画素を用いて第１の所定の垂直方向周波数以上の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段と、
    　前記第１の水平方向高周波数成分画像の第２の所定の水平方向周波数以下の低周波数成分のみを取り出して前記第１の水平方向中間画像を生成する水平方向低周波数成分画像生成手段と、
    　前記第１の垂直方向高周波数成分画像の第２の所定の垂直方向方向周波数以下の低周波数成分のみを取り出して前記第１の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段を有する
    　ことを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 　前記水平方向非線形処理手段は、前記第１の水平方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した水平方向非線形処理画像を生成し、
    　前記水平方向非線形処理手段は、前記第１の垂直方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した垂直方向非線形処理画像を生成し、
    　前記中間画像処理手段は、
    　前記水平方向非線形処理画像の各画素の水平方向の近傍に存在する画素を用いて第３の所定の水平方向周波数以上の高周波数成分のみを取り出して前記第２の水平方向中間画像を生成する第２の水平方向高周波数成分画像生成手段と、
    　前記垂直方向非線形処理画像の各画素の垂直方向の近傍に存在する画素を用いて第３の所定の垂直方向周波数以上の高周波数成分のみを取り出して前記第２の垂直方向中間画像を生成する第２の垂直方向高周波数成分画像生成手段をさらに有する
    　ことを特徴とする請求項１０に記載の画像処理装置。
12. 　前記水平方向非線形処理手段は、
    　前記第１の水平方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス点判定手段と、
    　前記水平方向ゼロクロス点判定手段の判定結果に応じて前記第１の水平方向中間画像の各画素に対する増幅率を決定する水平方向信号増幅手段を有し、
    　前記垂直方向非線形処理手段は、
    　前記第１の垂直方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス点判定手段と
    　前記垂直方向ゼロクロス点判定手段の判定結果に応じて前記第１の垂直方向中間画像の各画素に対する増幅率を決定する垂直方向信号増幅手段を有する
    　ことを特徴とする請求項１１に記載の画像処理装置。
13. 　請求項１乃至１２のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
14. 　入力画像の水平方向に関して特定の周波数帯域の成分を取り出した第１の水平方向中間画像と、前記入力画像の垂直方向に関して特定の周波数帯域の成分を取り出した第１の垂直方向中間画像を生成する中間画像生成ステップと、
    　前記第１の水平方向中間画像及び前記第１の垂直方向中間画像をもとに第２の中間画像を生成する中間画像処理ステップと、
    　前記入力画像と前記第２の中間画像を加算する第１の加算ステップを有し、
    　前記中間画像処理ステップは、
    　前記第１の水平方向中間画像の画素に応じて処理の内容を変化させる水平方向非線形処理ステップと、
    　前記第１の垂直方向中間画像の画素に応じて処理の内容を変化させる垂直方向非線形処理ステップと
    　を含み、
    　前記中間画像処理ステップは、
    　前記第１の水平方向中間画像と、
    　前記第１の垂直方向中間画像と、
    　前記水平方向非線形処理ステップの出力を処理した第２の水平方向中間画像と、
    　前記垂直方向非線形処理ステップの出力を処理した第２の垂直方向中間画像と
    　を加算して、加算結果を前記第２の中間画像として出力する第２の加算ステップを有し、
    　第２の加算ステップは、
    　前記第１の水平方向中間画像と前記第１の垂直方向中間画像を重み付け加算して統合する第１の水平垂直統合ステップと、
    　前記第２の水平方向中間画像と前記第２の垂直方向中間画像を重み付け加算して統合する第２の水平垂直統合ステップの少なくとも一方を有することを特徴とする画像処理方法。
15. 　請求項１４に記載の画像処理方法により処理された画像を表示する画像表示装置。

Images