WO2009110328A1 - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents

Abstract

　入力画像（Ｄｉｎ）を拡大した第１の拡大画像（Ｄ２Ａ）を出力する第１の画像拡大手段（２Ａ）と、入力画像（Ｄｉｎ）の高周波数成分を取り出した第１の高周波数成分画像（Ｄ１）を生成する高周波数成分画像生成手段（１）と、第１の高周波数成分画像（Ｄ１）を拡大した第２の拡大画像（Ｄ２Ｂ）を出力する第２の画像拡大手段（２Ｂ）と、第２の拡大画像（Ｄ２Ｂ）を処理した第２の高周波数成分画像（Ｄ３）を生成する高周波数成分画像処理手段（３）と、第１の拡大画像（Ｄ２Ａ）と第２の高周波数成分画像（Ｄ３）を加算して出力する手段（４）を有する。拡大画像に対して高周波数成分を十分に与え、拡大画像の解像感を得ることができる。

Description

画像処理装置及び方法、並びに画像表示装置及び方法

　本発明は、デジタル化された画像を拡大する画像処理装置及び方法、並びに画像表示装置及び方法に関するものであり、画像を拡大する際に、高周波数成分を生成することによって、解像感の高い拡大画像を得るものである。

　一般に画像処理装置は、出力画像の画素数が入力画像の画素数より多い場合、画像を拡大処理しなければならない。従来の画像処理装置では注目する画素近傍の画素がもつ画素値を重み付け加算して画像を拡大していた。
　例えば特許文献１に記載された画像処理装置においては、各シフトレジスタからそれぞれ出力される主走査方向の隣り合った５個の画素データに所定の重み付け定数を乗算し、各画素データにおける乗算結果を加算するための演算回路を備え、画像データの拡大処理を行う場合に、演算回路での演算結果をこれらの画素データの中央の画素データとしてセレクタにて選択して出力している。
特開平６－３１１３４６号公報（図１）

　注目する画素近傍の画素がもつ画素値を重み付け加算することは入力画像の低周波数成分のみを通過させるローパスフィルタ処理となる。したがって、上記の従来の技術では、拡大画像に対して高周波数成分を十分に与えることが出来ないため、拡大画像の解像感が失われるという問題があった。

　本発明は上述のような課題を解消するためになされたもので、本発明の画像処理装置は、
　入力画像を拡大する画像処理装置において、
　前記入力画像を拡大して第１の拡大画像を出力する第１の画像拡大手段と、
　前記入力画像の高周波数成分を取り出して第１の高周波数成分画像を生成する高周波数成分画像生成手段と、
　前記第１の高周波数成分画像を拡大して第２の拡大画像を出力する第２の画像拡大手段と、
　前記第２の拡大画像の高周波数成分を取り出して第２の高周波数成分画像を生成する高周波数成分画像処理手段と、
　前記第１の拡大画像と前記第２の高周波数成分画像を加算して、出力画像を生成する手段を有する
　ことを特徴とする。

　本発明によれば、拡大画像に対して高周波数成分を十分に与えることができ、解像感のある拡大画像を得ることができる。

本発明の実施の形態１の画像処理装置の構成図である。 本発明の実施の形態１の画像処理装置のより詳細な構成図である。 本発明の実施の形態１の画像処理装置のさらに詳細な構成図である。 （ａ）～（ｄ）は、画像拡大手段２Ａの動作説明図である。 画像拡大手段２Ａの構成図である。 画像拡大手段２Ｂの構成図である。 水平方向非線形処理手段３１ｈの構成図である。 垂直方向非線形処理手段３１ｖの構成図である。 （ａ）～（ｄ）は、拡大画像Ｄ２Ａの周波数スペクトルの説明図である。 （ａ）～（ｆ）は中間画像Ｄ３２Ａの周波数スペクトルの説明図である。 （ａ）～（ｃ）は、中間画像Ｄ３２Ｂの周波数スペクトルの説明図である。 （ａ）～（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の説明図である。 （ａ）～（ｆ）は、非線形処理手段３１と高周波数成分通過手段３２Ｂの動作説明図である。 拡大画像Ｄｏｕｔの周波数スペクトルの説明図である。 （ａ）～（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の説明図である。 （ａ）～（ｆ）は、非線形処理手段３１と高周波数成分通過手段３２Ｂあるいは非線形処理ステップＳＴ３１と高周波数成分通過手段３２Ｂの動作説明図である。 本発明の実施の形態２の画像処理装置の構成図である。 本発明による画像処理方法のフロー図である。 高周波数成分画像生成ステップＳＴ１のフロー図である。 画像拡大ステップＳＴ２Ｂのフロー図である。 高周波数成分画像処理ステップＳＴ３のフロー図である。 水平方向非線形処理ステップＳＴ３１ｈのフロー図である。 垂直方向非線形処理ステップＳＴ３１ｖのフロー図である。 本発明の画像処理装置を組み込んだ画像表示装置の一例を示すブロック図である。

符号の説明

　１　高周波数成分画像生成手段、　２Ａ　画像拡大手段、　２Ｂ　画像拡大手段、　３　高周波数成分画像処理手段、　４　加算手段、　Ｄｉｎ　入力画像、　Ｄ１　高周波数成分画像、　Ｄ２Ａ　拡大画像、　Ｄ２Ｂ　拡大画像、　Ｄ３　高周波数成分画像、　Ｄｏｕｔ　出力画像。

実施の形態１．
　図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、例えば図２４に示す画像表示装置内の画像処理装置Ｕ１として用いることができる。なお、図２４に示す画像表示装置は画像処理装置Ｕ１と表示部９から成り、表示部９によって画像表示が行われる。

　実施の形態１による画像処理装置は、画像拡大手段２Ａと、高周波数成分画像生成手段１と、画像拡大手段２Ｂと、高周波数成分画像処理手段３と、加算手段４とを備える。
　画像拡大手段２Ａは、入力画像Ｄｉｎを拡大して拡大画像Ｄ２Ａを生成する。高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分のみを取り出して高周波数成分画像Ｄ１を生成する。画像拡大手段２Ｂは、高周波数成分画像生成手段１から出力される高周波数成分画像Ｄ１を拡大して拡大画像Ｄ２Ｂを生成する。高周波数成分画像処理手段３は、画像拡大手段２Ｂから出力される拡大画像Ｄ２Ｂの高周波数成分を取り出して高周波数成分画像Ｄ３を生成する。加算手段４は、拡大手段２Ａから出力される拡大画像Ｄ２Ａに、高周波数成分画像処理手段３から出力される高周波数成分画像Ｄ３を加算して、その結果を最終的な拡大画像、即ち出力画像Ｄｏｕｔとして出力する。加算手段４の出力は、図２４に示す画像表示装置内の表示部９に供給され、表示部９による画像表示に用いられる。
　なお、本明細書において、拡大、高周波数生成、高周波数成分処理などの処理は「画像」に対して行なわれる旨記載されるが、具体的には、画像を表すデジタルデータに対して行われる。また、「画像」との記載も具体的には「画像データ」を意味する場合がある。

　画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、高周波数成分画像処理手段３の詳細な動作については後述するが、高周波数成分画像Ｄ３のもつ周波数成分は拡大画像Ｄ２Ａがもつ周波数成分より高い周波数帯域のものとなる。したがって加算手段４において拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算することで、高周波数成分を多く含んだ拡大画像Ｄｏｕｔを得ることができる。

　画像拡大手段２Ａは、水平方向及び垂直方向の少なくとも一方に画像を拡大するものであり、例えば、水平方向及び垂直方向に同じ倍率で拡大を行なうが、代わりに、水平方向及び垂直方向に異なる倍率で拡大を行なうものであっても良い。また、水平方向及び垂直方向の一方にのみ拡大を行なうものであっても良く、例えば入力画像に対して表示画面が横長である場合に水平方向にのみ拡大を行なうことがある。

　以下に画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、高周波数成分画像処理手段３の動作をより詳細に説明する。この説明を通じて本発明の作用、効果もより明らかなものとなるであろう。

　図２は図１に示した本発明の実施の形態１による画像処理装置の構成の詳細を表す図であり、特に高周波数成分画像処理手段３の構成が詳細に記されている。

　高周波数成分画像処理手段３は、高周波数成分通過手段３２Ａと、非線形処理手段３１と、高周波数成分通過手段３２Ｂと、加算手段５を備えている。

　高周波数成分通過手段３２Ａは、拡大画像Ｄ２Ｂに含まれる高周波数成分のみを取り出した中間画像Ｄ３２Ａを生成する。非線形処理手段３１は、拡大画像Ｄ２Ｂに対して後述するエッジの鮮鋭化のための非線形処理を行った非線形処理画像Ｄ３１を生成し、高周波数成分通過手段３２Ｂは非線形処理画像Ｄ３１に含まれる高周波数成分のみを取り出した中間画像Ｄ３２Ｂを出力する。そして中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算手段５で加算した結果が高周波数成分画像Ｄ３として出力される。

　図３は本発明の実施の形態１による画像処理装置の構成のさらなる詳細を表す図であり、特に高周波数成分画像生成手段１、画像拡大手段２Ｂ、高周波数成分通過手段３２Ａ、非線形処理手段３１、及び高周波数成分通過手段３２Ｂの構成が詳細に記されている。以下、図３に示された画像処理装置の構成要素の動作について説明を行う。

　高周波数成分画像生成手段１は、後述の方法でそれぞれ水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖを生成する水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖを備える。水平方向高周波数成分画像Ｄ１ｈと垂直方向高周波数成分画像Ｄ１ｖとで高周波数成分画像Ｄ１が構成されている。

　画像拡大手段２Ｂは、水平方向高周波数成分画像Ｄ１ｈを拡大した拡大画像Ｄ２Ｂｈを生成する画像拡大手段２Ｂｈ及び垂直方向高周波数成分画像Ｄ１ｖを拡大した拡大画像Ｄ２Ｂｖを生成する画像拡大手段２Ｂｖを備える。拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖとで拡大画像Ｄ２Ｂが構成されている。

　画像拡大手段２Ａが水平方向及び垂直方向の両方向に拡大を行なう場合、画像拡大手段２Ｂｈは、水平方向高周波数成分画像Ｄ１ｈを水平方向及び垂直方向の両方向に拡大し、画像拡大手段２Ｂｖは、垂直方向高周波数成分画像Ｄ１ｖを水平方向及び垂直方向の両方向に拡大する。画像拡大手段２Ｂｈ及び２Ｂｖによる、水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖの拡大は、画像拡大手段２Ａによる拡大と水平方向及び垂直方向の各々について同じ倍率で行なわれる。

　高周波数成分通過手段３２Ａは、拡大画像Ｄ２Ｂｈに含まれる水平方向の高周波数成分のみを取り出した中間画像Ｄ３２Ａｈを生成する水平方向高周波数成分通過手段３２Ａｈと、拡大画像Ｄ２Ｂｖの垂直方向の高周波数成分のみを取り出した中間画像Ｄ３２Ａｖを生成する垂直方向高周波数成分通過手段３２Ａｖと、中間画像Ｄ３２Ａｈと中間画像Ｄ３２Ａｖを加算する加算手段６Ａとを備え、加算手段６Ａで中間画像Ｄ３２Ａｈと中間画像Ｄ３２Ａｖを加算した結果が、中間画像Ｄ３２Ａとして出力される。

　非線形処理手段３１は、拡大画像Ｄ２Ｂｈを後述する方法で水平方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化のための非線形処理した非線形処理画像Ｄ３１ｈを生成する水平方向非線形処理手段３１ｈと、拡大画像Ｄ２Ｂｖを後述する方法で垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化のための非線形処理した非線形処理画像Ｄ３１ｖを生成する垂直方向非線形処理手段３１ｖを備える。非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖとで非線形処理画像Ｄ３１が構成されている。

　高周波数成分通過手段３２Ｂは、非線形処理画像Ｄ３１ｈに含まれる高周波数成分のみを取り出した中間画像Ｄ３２Ｂｈを生成する水平方向高周波数成分通過手段３２Ｂｈと、非線形処理画像Ｄ３１ｖに含まれる高周波数成分のみを取り出した中間画像Ｄ３２Ｂｖを生成する垂直方向高周波数成分通過手段３２Ｂｖと、中間画像Ｄ３２Ｂｈと中間画像Ｄ３２Ｂｖを加算する加算手段６Ｂを備え、加算手段６Ｂで中間画像Ｄ３２Ｂｈと中間画像Ｄ３２Ｂｖを加算した結果が、中間画像Ｄ３２Ｂとして出力される。

　以下、入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄｏｕｔを生成する場合を例にして、図３に記載した画像処理装置の各構成要素の動作をさらに詳細に説明する。

　まず、画像拡大手段２Ａの動作について説明する。画像拡大手段２Ａは入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄ２Ａを生成する。図４（ａ）～図４（ｄ）は画像拡大手段２Ａにおける拡大画像Ｄ２Ａの生成手順の一例を模式的に示した図であり、図５は画像拡大手段２Ａの一例を示した図である。

　画像拡大手段２Ａは、ゼロ挿入手段２１Ａと、低周波成分通過手段２２Ａを備える。以下、図４（ａ）～（ｄ）を用いてゼロ挿入手段２１Ａ及び低周波成分通過手段２２Ａの動作を説明する。図４（ａ）は入力画像Ｄｉｎ（特に画像の一部を構成する画素の配列）を、図４（ｂ）はゼロ挿入手段２１Ａで生成されるゼロ挿入画像Ｄ２１Ａを、図４（ｃ）は低周波成分通過手段２２Ａにおいて拡大画像Ｄ２Ａを生成する際使用されるフィルタ係数を、図４（ｄ）は低周波数成分通過手段２２Ａで生成された拡大画像Ｄ２Ａを表す。図４（ｂ）、（ｄ）には画素の位置に対応させて水平座標Ｘ、垂直座標Ｙを記載している。

　ゼロ挿入手段２１Ａでは入力画像Ｄｉｎに対して画素値０をもつ画素を水平方向には（入力画像Ｄｉｎの）１画素につき１個（隣り合う２つの画素相互間に１個）、垂直方向には（入力画像Ｄｉｎの）１ラインにつき１本（隣り合う２本のライン相互間に１本）を挿入したゼロ挿入画像Ｄ２１Ａを生成する。
　「ＰＸＹ」が入力画素Ｄｉｎにおける、座標（Ｘ，Ｙ）の画素を表し、「Ｐ’ＸＹ」がゼロ挿入画像Ｄ２１Ａにおける座標（Ｘ，Ｙ）を表すとすれば、上記のゼロ挿入を行なう結果、入力画像Ｄｉｎに含まれる画素ＰＸＹは、ゼロ挿入画像Ｄ２１Ａにおいて、Ｐ’（２Ｘ－１）（２Ｙ－１）となる。

　低周波数通過手段２２Ａではゼロ挿入画像Ｄ２１Ａに対し、図４（ｃ）に示されたフィルタ係数で表されたフィルタ演算を行うことで、図４（ｄ）に示される拡大画像Ｄ２Ａを生成する。
　例えば、拡大画像Ｄ２Ａに含まれる、座標（Ｘ，Ｙ）の画素の画素値ＱＸＹは下記の式（１）のように計算される。

ＱＸＹ＝（４／１６）×
｛Ｐ’（Ｘ－１）（Ｙ－１）＋２Ｐ’Ｘ（Ｙ－１）＋Ｐ’（Ｘ＋１）（Ｙ－１）
＋２Ｐ’（Ｘ－１）Ｙ＋４Ｐ’ＸＹ＋２Ｐ’（Ｘ＋１）Ｙ
＋Ｐ’（Ｘ－１）（Ｙ＋１）＋２Ｐ’Ｘ（Ｙ＋１）＋Ｐ’（Ｘ＋１）（Ｙ＋１）｝
　　…（１）

　なお、図４（ｃ）で表されるフィルタ係数はローパスフィルタを表すので、式（１）で表される低周波数成分通過手段２２Ａにおける処理はゼロ挿入画像Ｄ２１Ａの低周波数成分を取り出すことに対応する。

　次に水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖの動作について説明する。水平方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその水平方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて水平方向高周波数成分画像Ｄ１ｈを生成する。
　一方、垂直方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその垂直方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて垂直方向高周波数成分画像Ｄ１ｖを生成する。
　水平方向高周波数成分画像Ｄ１ｈには、入力画像Ｄｉｎの水平方向の高周波数成分が含まれ、垂直方向高周波数成分画像Ｄ１ｖには、入力画像Ｄｉｎの垂直方向の高周波数成分が含まれる。

　水平方向高周波数成分画像生成手段１ｈで行なわれるハイパフィルタをかける処理としては、例えば、該手段１ｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
　同様に、垂直方向高周波数成分画像生成手段１ｖで行なわれるハイパフィルタをかける処理としては、例えば、該手段１ｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

　次に画像拡大手段２Ｂｈ及び２Ｂｖの動作について説明する。画像拡大手段２Ｂｈは水平方向高周波数成分画像Ｄ１ｈを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｈを生成し、画像拡大手段２Ｂｖは垂直方向高周波数成分画像Ｄ１ｖを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｖを生成する。

　画像拡大手段２Ｂｈ及び画像拡大手段２Ｂｖの各々は、図５を参照して説明した画像拡大手段２Ａと同様に構成することができる。従って、画像拡大手段２Ｂｈと画像拡大手段２Ｂｖとで構成される画像拡大手段２Ｂは図６のように示すことができる。
　画像拡大手段２Ｂｈの入力は水平方向高周波数成分画像Ｄ１ｈであり、出力が拡大画像Ｄ２Ｂｈとなる。画像拡大手段２Ｂｖの入力は垂直方向高周波数成分画像Ｄ１ｖであり、出力が拡大画像Ｄ２Ｂｖである。

　画像拡大手段２Ｂｈは、ゼロ挿入手段２１Ｂｈと、低周波数成分通過手段２２Ｂｈとを備え、画像拡大手段２Ｂｖは、ゼロ挿入手段２１Ｂｖと、低周波数成分通過手段２２Ｂｖとを備える。
　ゼロ挿入手段２１Ｂｈ及びゼロ挿入手段２１Ｂｖの各々は、図５のゼロ挿入手段２１Ａと同様のものであり、低周波数成分通過手段２２Ｂｈ及び低周波数成分通過手段２２Ｂｖの各々は、図５の低周波数成分通過手段２２Ａと同様のものである。

　ゼロ挿入手段２１Ｂｈから出力されるゼロ挿入画像Ｄ２１Ｂｈとゼロ挿入手段２１Ｂｖから出力されるゼロ挿入画像Ｄ２１Ｂｖとで、ゼロ挿入手段２１Ｂの出力としてのゼロ挿入画像Ｄ２１Ｂが構成される。
　低周波数成分通過手段２２Ｂｈから出力される拡大画像Ｄ２Ｂｈと低周波数成分通過手段２２Ｂｖから出力される拡大画像Ｄ２Ｂｖとで、低周波数成分通過手段２２Ｂの出力としての拡大画像Ｄ２Ｂが構成される。

　次に高周波数成分通過手段３２Ａの動作について説明する。高周波数成分通過手段３２Ａは、水平方向高周波数成分通過手段３２Ａｈと、垂直方向高周波数成分通過手段３２Ａｖと、加算手段６Ａを備える。
　水平方向高周波数成分通過手段３２Ａｈは、拡大画像Ｄ２Ｂｈに水平方向のハイパスフィルタをかけ、中間画像Ｄ３２Ａｈを生成する。
　一方、垂直方向高周波数成分通過手段３２Ａｖは、拡大画像Ｄ２Ｂｖに垂直方向のハイパスフィルタをかけ、中間画像Ｄ３２Ａｖを生成する。
　そして加算手段６Ａは、中間画像Ｄ３２Ａｈと中間画像Ｄ３２Ａｖを加算することで中間画像Ｄ３２Ａを生成する。このようにして生成された中間画像Ｄ３２Ａが高周波数成分通過手段３２Ａから出力される。

　水平方向高周波数成分通過手段３２Ａｈで行なわれるハイパフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分通過手段３２Ａｖで行なわれるハイパフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
　即ち、水平方向高周波数成分通過手段３２Ａｈで行なわれるハイパフィルタをかける処理としては、水平方向高周波数成分画像生成手段１ｈのける処理と同様に、例えば、該手段３２Ａｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
　同様に、垂直方向高周波数成分通過手段３２Ａｖで行なわれるハイパフィルタをかける処理としては、例えば、該手段３２Ａｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

　次に非線形処理手段３１の動作について説明する。非線形処理手段３１は、水平方向非線形処理手段３１ｈと、垂直方向非線形処理３１ｖを備える。水平方向非線形処理手段３１ｈと垂直方向非線形処理手段３１ｖとは互いに同様に構成されている。但し、水平方向非線形処理手段３１ｈは水平方向の処理を行ない、垂直方向非線形処理手段３１ｖは垂直方向の処理を行なう。

　図７は水平方向非線形処理手段３１ｈの内部構成を表す図である。水平方向非線形処理手段３１ｈは、ゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｖを備える。

　ゼロクロス判定手段３１１ｈは、入力される拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｈに伝達する。
　なお、水平方向非線形処理手段３１ｈではゼロクロス点の左右に位置する画素がゼロクロス点の前後にある画素として認識される。
　信号増幅手段３１２ｈは、信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｈを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
　このような処理により、水平方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。

　図８は垂直方向非線形処理手段３１ｖの内部構成を表す図である。垂直方向非線形処理手段３１ｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖを備える。

　ゼロクロス判定手段３１１ｖは、入力される拡大画像Ｄ２Ｂｈにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｖに伝達する。
　なお、垂直方向非線形処理手段３１ｖではゼロクロス点の上下に位置する画素がゼロクロス点の前後にある画素として認識される。
　信号増幅手段３１２ｖは、信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｖを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
　このような処理により、垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。

　次に高周波数成分通過手段３２Ｂの動作について説明する。高周波数成分通過手段３２Ｂは、水平方向高周波数成分通過手段３２Ｂｈと、垂直方向高周波数成分通過手段３２Ｂｖと、加算手段６Ｂを備える。
　水平方向高周波数成分通過手段３２Ｂｈは、非線形処理画像Ｄ３１ｈに水平方向のハイパスフィルタをかけ、中間画像Ｄ３２Ｂｈを生成する。一方、垂直方向高周波数成分通過手段３２Ｂｖは、非線形処理画像Ｄ３１ｖに垂直方向のハイパスフィルタをかけ、中間画像Ｄ３２Ｂｖを生成する。そして加算手段６Ｂは中間画像Ｄ３２Ｂｈと中間画像Ｄ３２Ｂｖを加算することで中間画像Ｄ３２Ｂを生成する。このようにして生成された中間画像Ｄ３２Ｂが高周波数成分通過手段３２Ｂから出力される。

　水平方向高周波数成分通過手段３２Ｂｈで行なわれるハイパフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分通過手段３２Ｂｖで行なわれるハイパフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
　即ち、水平方向高周波数成分通過手段３２Ｂｈで行なわれるハイパフィルタをかける処理としては、例えば、該手段３２Ｂｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
　同様に、垂直方向高周波数成分通過手段３２Ｂｖで行なわれるハイパフィルタをかける処理としては、例えば、該手段３２Ｂｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

　次に加算手段５の動作について説明する。加算手段５は、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算した結果を高周波数成分画像Ｄ３として出力する。

　最後に加算手段４の動作について説明する。加算手段４は、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算する。そして加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算した結果得られた画像が、最終的な拡大画像Ｄｏｕｔとして画像処理装置から出力される。

　なお、加算手段４における加算処理は、単純加算に限らず、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３とに対して異なる重みを付けて加算する処理であっても良い。高周波数成分画像処理手段３内の加算手段５についても同様である。

　以下、本発明における画像処理装置の作用、効果について説明する。
　本発明における画像処理装置では、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算して最終的な拡大画像（出力画像）Ｄｏｕｔを生成する。拡大画像Ｄ２Ａは、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を含み、高周波数成分画像Ｄ３は入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含む。したがって、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算して生成される拡大画像Ｄｏｕｔは画像拡大後のナイキスト周波数に至る全ての周波数領域にわたって周波数成分を持つことになる。

　まず、拡大画像Ｄ２Ａが入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことについて説明する。

　図９（ａ）～（ｄ）は入力画像Ｄｉｎから拡大画像Ｄ２Ａを生成する際の作用を模式的に表した図であり、図９（ａ）は入力画像Ｄｉｎの周波数スペクトルを、図９（ｂ）はゼロ挿入画像Ｄ２１Ａの周波数スペクトルを、図９（ｃ）は低周波数成分通過手段２２Ａの周波数応答を、図９（ｄ）は拡大画像Ｄ２Ａの周波数スペクトルを表している。

　入力画像Ｄｉｎの周波数スペクトルについて説明する。入力画像Ｄｉｎからは通常、自然画などが入力されるが、これらの画像のスペクトル強度は周波数空間の原点周辺に集中している。従って入力画像Ｄｉｎの周波数スペクトルは図９（ａ）のように表すことが出来る。ここで図９（ａ）の縦軸はスペクトル強度を、横軸は空間周波数を、Ｆｎは入力画像Ｄｉｎのナイキスト周波数を表している。

　なお、通常入力画像Ｄｉｎは２次元の画像のため、その周波数スペクトルも２次元の周波数空間で表されるが、その形状は図９（ａ）に示した周波数スペクトルが原点を中心に等方的に広がったものとなる。従って周波数スペクトルについて説明するためには最低限、１次元分の形状を示せばよく、今後、特に断らない限り、周波数空間の形状は１次元分のみ示して説明を行う。

　次にゼロ挿入画像Ｄ２１Ａの周波数スペクトルについて説明する。入力画像Ｄｉｎに対してゼロ挿入手段２１Ａで（入力画像Ｄｉｎの）１画素につき１画素、画素値０を持った画素を挿入することで周波数空間上では周波数Ｆｎを中心にした折り返しが発生する。その結果、ゼロ挿入画像Ｄ２１Ａの周波数スペクトルは図９（ｂ）のようになる。

　次に低周波数成分通過手段２２Ａの周波数応答について説明する。先に述べたように低周波数通過手段２２Ａにおける演算はローパスフィルタとなっているので、図９（ｃ）に示すように低周波数成分通過手段２２Ａの周波数応答は、周波数が高くなるほど低くなる。

　最後に拡大画像Ｄ２Ａの周波数スペクトルについて説明する。図９（ｂ）に示した周波数スペクトルを持つゼロ挿入画像Ｄ２１Ａが図９（ｃ）に示した周波数応答を持った低周波数成分通過手段２２Ａを通ることで拡大画像Ｄ２Ａが生成される。したがって拡大画像Ｄ２Ａの周波数スペクトルはＤ２１Ａの周波数スペクトルから、斜線で示した高周波数側の領域Ｒ２ＡＨが除かれたものとなる。

　したがって、拡大画像Ｄ２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことになる。

　次に高周波数成分画像Ｄ３が主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を持つことについて説明する。高周波数成分画像Ｄ３は中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して得られるが、中間画像Ｄ３２Ａは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分を持ち、中間画像Ｄ３２Ｂは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分を持ち、高周波数成分画像Ｄ３では中間画像Ｄ３２Ａ、Ｄ３２Ｂがもつ周波数成分が加算されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を持つことになる。

　まず、中間画像Ｄ３２Ａの周波数スペクトルについて説明する。
　図１０（ａ）～（ｆ）は中間画像Ｄ３２Ａを生成する際の作用を模式的に表した図であり、図１０（ａ）は高周波数成分画像生成手段１の周波数応答を、図１０（ｂ）は高周波数成分画像Ｄ１（又はＤ１ｈ若しくはＤ１ｖ）の周波数スペクトルを、図１０（ｃ）は拡大手段２Ｂ内のゼロ挿入手段２１Ｂによって生成されるゼロ挿入画像Ｄ２１Ｂ（又はＤ２１Ｂｈ若しくはＤ２１Ｂｖ）の周波数スペクトルを、図１０（ｄ）は拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）の周波数スペクトルを、図１０（ｅ）は高周波数成分通過手段３２Ａ（又は３２Ａｈ若しくは３２Ａｖ）の周波数応答を、図１０（ｆ）は高周波数成分通過手段３２Ａから出力される中間画像Ｄ３２Ａ（又はＤ３２Ａｈ若しくはＤ３２Ａｖ）の周波数スペクトルを表している。

　まず、高周波数成分画像生成手段１の周波数応答及び高周波数成分画像Ｄ１の周波数スペクトルについて説明する。高周波数成分画像生成手段１はハイパスフィルタを用いて高周波数成分画像Ｄ１を生成するので、図１０（ａ）に示すように高周波数成分画像生成手段１の周波数応答は、周波数が高くなるほど高くなる。図９（ａ）に示した周波数スペクトルを持つ入力画像Ｄｉｎが図１０（ａ）に示す周波数応答をもつハイパスフィルタを通過することで高周波数成分画像Ｄ１が得られるので、高周波数成分画像Ｄ１の周波数スペクトルは図１０（ｂ）に示すように周波数が低い領域では小さくなり、周波数が高い領域でのみある程度の強度をもつことになる。

　次に拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルについて説明する。先に画像拡大手段２Ａのゼロ挿入手段２１Ａについて説明したのと同様に、ゼロ挿入手段２１Ｂによって折り返しが発生するので、拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルは図１０（ｃ）のようになる。

　次に拡大画像Ｄ２Ｂの周波数応答について説明する。拡大画像Ｄ２Ｂを生成する際、ゼロ挿入画像Ｄ２１Ｂの高周波数成分側の周波数スペクトルが、低周波数成分通過手段２２Ｂによって取り除かれるので、拡大画像Ｄ２Ｂの周波数スペクトルは図１０（ｄ）に示すように高周波数側の領域Ｒ３２ＡＨが取り除かれたものとなる。

　最後に高周波数成分通過手段３２Ａの周波数応答及び中間画像Ｄ３２Ａの周波数スペクトルについて説明する。高周波数成分通過手段３２Ａはハイパスフィルタとなっているのでその周波数応答は図１０（ｅ）に示すように周波数が高くなるほど高くなる。中間画像Ｄ３２Ａは、図１０（ｄ）に示した周波数スペクトルをもつ拡大画像Ｄ２Ｂが、図１０（ｅ）に示した周波数応答をもつハイパスフィルタを通過することで生成される。したがって中間画像Ｄ３２Ａの周波数応答は図１０（ｆ）に示すように、図１０（ｄ）に示した拡大画像Ｄ２Ｂの周波数スペクトルからさらに低周波数側の領域Ｒ３２ＡＬが取り除かれたものとなる。

　したがって中間画像Ｄ３２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分を持つことになる。

　次に中間画像Ｄ３２Ｂの周波数スペクトルについて説明する。
　図１１（ａ）～（ｃ）は中間画像Ｄ３２Ｂを生成する際の作用を模式的に表した図であり、図１１（ａ）は非線形手段３１（又は３１ｈ若しくは３１ｖ）により高周波数成分が生成される様子を、図１１（ｂ）は高周波数成分通過手段３２Ｂの周波数応答を、図１１（ｃ）は中間画像Ｄ３２Ｂの周波数スペクトルを表している。

　後述するように、非線形処理画像Ｄ３１には入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する高周波数成分が生成される。図１１（ａ）はその様子を模式的に表した図である。中間画像Ｄ３２Ｂは非線形処理画像Ｄ３１が高周波数成分通過手段３２Ｂを通過することで生成される。高周波数成分通過手段３２Ｂはハイパスフィルタでありその周波数応答は図１１（ｂ）に示すように、周波数が高くなるほど高くなっている。したがって中間画像Ｄ３２Ｂの周波数スペクトルは図１１（ｃ）に示すように、非線形処理画像Ｄ３１の周波数スペクトルから低周波数側の領域Ｒ３２ＢＬが取り除かれたものとなるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当するものとなる。

　図１２（ａ）～（ｅ）、図１３（ａ）～（ｆ）を用いて中間画像Ｄ３２Ｂの周波数スペクトルについて、より詳しく説明を行う。

　図１２（ａ）～（ｅ）は、輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）を表すステップエッジ信号と、該ステップエッジ信号を互いに異なるサンプリング周波数でサンプリングした際に得られる信号及びその高周波数成分信号を表している。図１２（ａ）はステップエッジ信号を表す。

　図１２（ｂ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１２（ｃ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図１２（ｄ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる信号、図１２（ｅ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表す。
　なお、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２より短くなっており、サンプリング間隔を短くすることは画像を拡大することと同じである。

　図１２（ｂ）、（ｃ）及び図１２（ｄ）、（ｅ）に示されるようにエッジの中央は高周波数成分信号（図１２（ｃ）、（ｅ））においてゼロクロス点Ｚとして現れる。また、図１２（ｂ）、（ｃ）と図１２（ｄ）、（ｅ）を比較すると明らかなように、ゼロクロス点Ｚの前後での高周波数成分信号の傾きはサンプリング間隔を短くするにつれて（あるいは画像を拡大させるのに応じて）急になり、かつゼロクロス点Ｚの近傍で高周波数成分の局所的な最大値、最小値を与える点の位置もゼロクロス点Ｚに近づく。

　従って画像を拡大する際、入力画像Ｄｉｎの高周波数成分を取り出し、その変化をゼロクロス近傍で急峻にし、かつゼロクロス近傍で局所的な最大値、最小値を与える点をゼロクロス点に近づけることで入力画像Ｄｉｎの解像度には含まれない（あるいは入力画像Ｄｉｎのナイキスト周波数より高い）高周波数成分を生成し、これによりエッジの鮮鋭化が可能となる。

　図１３（ａ）～（ｆ）は、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分通過手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１３（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図１３（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１３（ｃ）は高周波数成分画像Ｄ１、図１３（ｄ）は拡大画像Ｄ２Ｂ、図１３（ｅ）は非線形処理画像Ｄ３１、図１３（ｆ）は中間画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として記載した。

　ステップ画像に対応した入力画像Ｄｉｎ、高周波数成分画像Ｄ１については図１２（ａ）～（ｅ）で説明した通りであり、その説明は省略し、まず拡大画像Ｄ１の説明を行う。

　拡大画像Ｄ１（又はＤ１ｈ若しくはＤ１ｖ）はゼロ挿入手段２１Ｂで高周波数成分画像Ｄ１に対して（画像Ｄ１の）１画素につき１画素、画素値０をもった画素を挿入した後、低周波数成分通過手段２２Ｂでその低周波数成分を取り出すことで得られる。低周波数成分を取り出すことは高周波数成分画像Ｄ１（図１３（ｃ））について局所領域における平均的な画素値を求めることと同じであり、拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）は、図１３（ｄ）に示したように、高周波数成分画像Ｄ１とほぼ同じ形をした、サンプリング数の増えた信号となる。

　次に非線形処理画像Ｄ３１の説明を行う。非線形処理画像Ｄ３１は、非線形処理手段３１が拡大画像Ｄ１中のゼロクロス点Ｚを検出し、そのゼロクロス点Ｚの前後の画素の画素値を増幅した結果として出力される。したがって非線形処理画像Ｄ３１（又はＤ３１ｈ若しくはＤ３１ｖ）は図１３（ｅ）に示したような信号となる。

　最後に中間画像Ｄ３２Ｂの説明を行う。中間画像Ｄ３２Ｂ（図１３（ｆ））は非線形処理画像Ｄ３１（図１３(ｅ)）のもつ高周波数成分が高周波数成分通過手段３２Ｂにて取り出されたものである。高周波数成分は、入力信号から入力信号の低周波数成分（もしくは局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで取り出すことができる。

　非線形処理画像Ｄ３１（図１３（ｅ））ではゼロクロス点Ｚの前後の画素の画素値については、その値が信号増幅手段３１２ｈ、３１２ｖにて増幅されているため、局所領域における平均的な画素値からの差は大きくなる。一方、ゼロクロス点近傍のその他の画素の画素値については、その値が増幅されることはないので、局所領域における平均的な画素値からの差は小さな値となる。従って拡大画像Ｄ２Ｂ（図１３（ｄ））と比較すると中間画像Ｄ３２Ｂ（図１３（ｆ））では、ゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点はよりゼロクロス点Ｚへと近づく。また、局所的な最大値、最小値を与える点がゼロクロス点Ｚへと近づいた分、ゼロクロス点近傍での信号の変化も急になる。

　先に説明したようにこれは中間画像Ｄ３２Ｂに、入力画像Ｄｉｎの解像度には含まれない高周波数成分が含まることを意味する。言い換えると非線形処理手段３１において、拡大画像Ｄ２Ｂのゼロクロス点前後の画素値を増幅することで、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成したことになる。

　また、中間画像Ｄ３２Ｂは非線形処理手段３１において生成した高周波数成分を高周波数成分通過手段３２Ｂで取り出すことで生成されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分をもつ画像となる。

　高周波数成分画像Ｄ３は中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して得られるので、高周波数成分画像Ｄ３には、中間画像Ｄ３２Ａが持つ周波数成分と中間画像Ｄ３２Ｂが持つ周波数成分の双方が含まれている。中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分が含まれているので、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分が含まれることになる。すなわち、高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を画像拡大手段２Ｂで拡大し、さらに高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分をもつ高周波数成分画像Ｄ３を得ることができる。

　拡大画像Ｄ２Ａ、高周波数成分画像Ｄ３が持つ周波数成分を足し合わせて図示すると図１４のようになる。拡大画像Ｄ２Ａには主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域ＲＬに対応した周波数成分が含まれている。一方、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する領域ＲＭに対応した周波数成分及び入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する領域ＲＨに対応した周波数成分が含まれており、言い換えると、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分が含まれている。

　以上に説明したように、高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を拡大手段２Ｂで拡大した画像拡大手段２Ｂを、高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含んだ高周波数成分画像Ｄ３を得ることができる。そして、加算手段４において、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域の周波数成分を含む拡大画像Ｄ２Ａと入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する領域の周波数成分を含む高周波数成分画像Ｄ３を加算して拡大画像Ｄｏｕｔを生成することとしているので、拡大画像Ｄｏｕｔに対して高周波数成分を十分に与えることができ、解像感のある拡大画像Ｄｏｕｔを得ることができる。

　また、高周波数成分画像生成手段１において、水平方向の高周波数成分を取り出した水平方向高周波数成分画像Ｄ１ｈと垂直方向の高周波数成分を取り出した垂直方向高周波数成分画像Ｄ１ｖを生成することで、画像の水平方向、垂直方向のうちの任意の方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当した周波数成分を生成することが可能となる。すなわち、水平方向高周波数成分画像Ｄ１ｈを画像拡大手段２Ｂｈで拡大した拡大画像Ｄ２Ｂｈに対し、水平方向高周波数成分通過手段３２Ａｈで水平方向のハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｈが生成され、垂直方向高周波数成分画像Ｄ１ｖを画像拡大手段２Ｂｖで拡大した拡大画像Ｄ２Ｂｖに対し、垂直方向高周波数成分通過手段３２Ａｖで垂直方向のハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｖが生成され、中間画像Ｄ３２Ａｈと中間画像Ｄ３２Ａｖを加算手段６Ａで加算して中間画像Ｄ３２Ａを生成することで、水平方向及び垂直方向の両方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａが生成される。
　また、水平方向及び垂直方向について異なる特性のハイパスフィルタをかけることで、水平方向と垂直方向とで水平方向と垂直方向とでナイキスト周波数Ｆｎに近い周波数に相当した周波数成分を異なる程度に含む中間画像を生成することもできる。

　また、拡大画像Ｄ２Ｂｈに対し水平方向非線形処理手段３１ｈで非線形処理を行って生成した非線形処理画像Ｄ３１ｈに対して、水平方向高周波数成分通過手段３２Ｂｈでハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｈが生成され、拡大画像Ｄ２Ｂｖに対し垂直方向非線形処理手段３１ｖで非線形処理を行って生成した非線形処理画像Ｄ３１ｖに対して、垂直方向高周波数成分通過手段３２Ｂｖでハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｖが生成され、中間画像Ｄ３２Ｂｈと中間画像Ｄ３２Ｂｖを加算手段６Ｂで加算して中間画像Ｄ３２Ｂを生成することで、水平方向及び垂直方向の両方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂが生成される。
　また、水平方向及び垂直方向について異なる特性の非線形処理及びハイパスフィルタリングを行なうことで、水平方向と垂直方向とでナイキスト周波数Ｆｎより高い周波数に相当した周波数成分を異なる程度に含む中間画像を生成することもできる。
　そして中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算手段５で加算して高周波数成分画像Ｄ３を得ることで、任意の方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当した周波数成分を持った高周波数成分画像Ｄ３を得ることできる。

　なお、入力画像Ｄｉｎから拡大画像Ｄｏｕｔを生成する場合の拡大率を水平方向、垂直方向とも２倍として説明を行ったが拡大率は２倍に限定されるものではない。すなわち、画像拡大手段２Ａにおいて入力画像Ｄｉｎを水平方向、垂直方向ともに所望の倍率に拡大した拡大画像Ｄ２Ａを生成し、高周波数成分生成手段１において入力画像Ｄｉｎをもとに高周波数成分画像Ｄ１を生成し、画像拡大手段２Ｂにおいて、高周波数成分画像Ｄ１を水平方向、垂直方向ともに所望の倍率に拡大した拡大画像Ｄ２Ｂを生成し、高周波数成分画像処理手段３において拡大画像Ｄ２Ｂをもとに高周波数成分画像Ｄ３を生成し、加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算し、最終的な拡大画像Ｄｏｕｔを得ればよい。
　さらに、先にも述べたように、水平方向の拡大率と垂直方向の拡大率とは同じでなくても良く、また水平方向、垂直方向の一方についてのみ拡大を行なっても良い。

　また、図２に示す例では、高周波数成分画像生成手段１が水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖを有し、画像拡大手段２Ｂが画像拡大手段２Ｂｈ及び画像拡大手段２Ｂｖを有し、高周波数成分通過手段３２Ａが水平方向高周波数成分通過手段３２Ａｈ及び垂直方向高周波数成分通過手段３２Ａｖを有し、非線形処理手段３１が水平方向非線形処理手段３１ｈ及び垂直方向非線形処理手段３１ｖを有し、高周波数成分通過手段３２Ｂが水平方向高周波数成分通過手段３２Ｂｈ及び垂直方向高周波数成分通過手段３２Ｂｖを有するが、このような構成の代わりに、高周波数成分画像生成手段１が水平方向高周波数成分画像生成手段１ｈのみを有し、画像拡大手段２Ｂが画像拡大手段２Ｂｈのみを有し、高周波数成分通過手段３２Ａが水平方向高周波数成分通過手段３２Ａｈのみを有し、非線形処理手段３１が水平方向非線形処理手段３１ｈのみを有し、高周波数成分通過手段３２Ｂが水平方向高周波数成分通過手段３２Ｂｈのみを有する構成であっても良く、高周波数成分画像生成手段１が垂直方向高周波数成分画像生成手段１ｖのみを有し、画像拡大手段２Ｂが画像拡大手段２Ｂｖのみを有し、高周波数成分通過手段３２Ａが垂直方向高周波数成分通過手段３２Ａｖのみを有し、非線形処理手段３１が垂直方向非線形処理手段３１ｖのみを有し、高周波数成分通過手段３２Ｂが垂直方向高周波数成分通過手段３２Ｂｖのみを有する構成であっても良い。

　また、上記の説明では水平方向、垂直方向ともにゼロクロス点の前後１画素についてのみ増幅率を大きくするとしたが、増幅率の制御の例はこの限りではなく、例えば拡大率に応じて適宜変化させることも出来る。以下、この点につき図１５（ａ）～（ｅ）及び図１６（ａ）～（ｆ）を参照して説明する。

　図１５（ａ）にステップエッジ信号、図１５（ｂ）にステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１５（ｃ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号（図１５（ｂ）に示される信号）の高周波数成分を表し、図１５（ｄ）はステップエッジ信号を間隔Ｓ１の３倍の間隔Ｓ３でサンプリングして得られる信号、図１５（ｅ）はステップエッジ信号を間隔Ｓ３でサンプリングして得られる信号の高周波数成分を表す。なお、図１５（ａ）～（ｅ）において画素の位置ＰＬ１、ＰＲ１はステップエッジ信号の境界（輝度の変化が開始する点及び終了する点）を表す。通常、ステップエッジ信号をサンプリングした画像の高周波数成分を表す信号において、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置は、ステップエッジ信号の境界の位置とほぼ一致する。

　図１６（ａ）～（ｆ）は、拡大率が３倍の場合の、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分通過手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１６（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図１６（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１６（ｃ）は高周波数成分画像Ｄ１、図１６（ｄ）は拡大画像Ｄ２Ｂ、図１６（ｅ）は非線形処理画像Ｄ３１、図１６（ｆ）は中間画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として記載した。

　図１６（ｄ）に示すように、拡大画像Ｄ２Ｂにおいてゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置ＰＬ１、ＰＲ１は、拡大画像Ｄ２Ｂにおいてもステップエッジ信号の境界の位置とほぼ一致する。通常、実施の形態１および２の説明で用いた拡大方法（ゼロ挿入画像に対してローパスフィルタをかける拡大方法）ではこのＰＬ１、ＰＲ１の位置は変化せず、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数が多くなる。また、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂを生成する際の拡大率を大きくすれば（あるいはサンプリング間隔を短くすれば）多くなる。
　一方、ステップエッジ信号を短いサンプリング間隔でサンプリングした画像の高周波数成分を表す信号では、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置はよりゼロクロス点Ｚに近づき、ゼロクロス点にＺより近い画素ほど高周波数成分を表す信号の振幅が大きくなる。

　したがって、ゼロクロス点Ｚ前後の信号のみ増幅して非線形処理画像Ｄ３１を生成する際に、ＰＬ１およびＰＲ１よりゼロクロス点Ｚにより近い画素になるほど振幅が大きくなるよう処理することが好ましく、例えば位置ＰＬ１、ＰＲ１よりゼロクロス点Ｚに近い画素ではゼロクロス点Ｚにより近い画素ほど大きな増幅率で、ＰＬ１、ＰＲ１よりゼロクロス点Ｚから遠い画素については増幅率１で拡大画像Ｄ２Ｂの画素値を増幅することで、図１６（ｅ）に示すような、ゼロクロス点Ｚにより近い画素ほど大きな振幅をもった非線形処理画像Ｄ３１を生成することができる。但し、本発明はこれには限定されず、ゼロクロス点Ｚを含む所定の領域内に存在する画素に対する増幅率が１より大きな値一定の値であっても良い。
　そしてこのようにして生成した拡大画像Ｄ２Ｂからハイパスフィルタ処理によって高周波数成分のみを取り出すことで図１６（ｆ）に示すようなサンプリング間隔Ｓ１に対応した中間画像Ｄ３２Ｂを生成できる。

　以上をまとめると、ゼロクロス点Ｚを含む所定の領域内に存在する画素に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とすれば良く、位置ＰＬ１、ＰＲ１とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂ生成時の拡大率によって異なるので、拡大画像Ｄ２Ｂから非線形処理画像Ｄ３１を生成する際にゼロクロス点Ｚ前後において増幅率を１より大きくする画素の数（上記所定の領域内に存在する画素の数）及び／又は増幅率自体を画像の拡大率に応じて変えてもよい。また、これらの画素に対する増幅率もゼロクロス点Ｚからの距離に応じて変えてもよい。たとえば、ゼロクロス点Ｚに近い画素ほど増幅率を大きくしてもよい。さらに水平方向非線形処理手段３１ｈと垂直方向非線形処理手段３１ｖとで、上記の領域の大きさや増幅率が異なっていても良い。

実施の形態２．
　実施の形態１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより実現することも可能である。その場合の処理を図１７、並びに図１８～図２３を参照して説明する。
　図１７は、実施の形態２の画像処理装置を示す。図示の画像処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、インターフェース１５と、これらを接続するバス１４を有し、例えば図２４に示す画像表示装置内の画像処理部Ｕ１として用いることができる。
　ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。処理の結果生成される拡大画像Ｄｏｕｔは、インターフェース１５を介して図２４に示す画像表示装置内の表示部９に供給され、表示部９による表示に用いられる。
　以下、ＣＰＵ１１により行なわれる処理を図１８～図２３を参照して説明する。

　図１８は、図１７の画像処理装置で実施される画像処理方法のフローを表す図であり、図１８に示される画像処理方法は、画像拡大ステップＳＴ２Ａ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３、及び加算ステップＳＴ４を有する。

　画像拡大ステップＳＴ２Ａは図示しない画像入力ステップにて入力された入力画像Ｄｉｎを、図１、図２、図３の画像拡大手段２Ａと同様の処理で拡大した拡大画像Ｄ２Ａを生成する。

　高周波数成分画像生成ステップＳＴ１は、図１９に示すように、水平方向高周波数成分画像生成ステップＳＴ１ｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１ｖを有する。水平方向高周波数成分画像生成ステップＳＴ１ｈでは入力画像Ｄｉｎに対し、図３の水平方向高周波数成分画像生成手段１ｈと同様の処理を行い、水平方向高周波数成分画像Ｄ１ｈを生成する。一方、垂直方向高周波数成分画像生成ステップＳＴ１ｖでは入力画像Ｄｉｎに対し、図３の垂直方向高周波数成分画像生成手段１ｖと同様の処理を行い、垂直方向高周波数成分画像Ｄ１ｖを生成する。

　画像拡大ステップＳＴ２Ｂは、図２０に示すように、画像拡大ステップＳＴ２Ｂｈ、及び画像拡大ステップＳＴ２Ｂｖを有する。
　画像拡大ステップＳＴ２Ｂｈでは、水平方向高周波数成分画像生成ステップＳＴ１ｈで生成した水平方向高周波数成分画像Ｄ１ｈに対し、図３の画像拡大手段２Ｂｈと同様の処理を行い、拡大画像Ｄ２Ｂｈを生成する。
　画像拡大ステップＳＴ２Ｂｖでは、垂直方向高周波数成分画像生成ステップＳＴ１ｖで生成した垂直方向高周波数成分画像Ｄ１ｖに対し、図３の画像拡大手段２Ｂｖと同様の処理を行い、拡大画像Ｄ２Ｂｖを生成する。

　高周波数成分画像処理ステップＳＴ３は、図２１に示すように、高周波数成分通過ステップＳＴ３２Ａ、非線形処理ステップＳＴ３１、高周波数成分通過ステップＳＴ３２Ｂ、及び加算ステップＳＴ５を有する。
　高周波数成分通過ステップＳＴ３２Ａは、水平方向高周波数成分通過ステップＳＴ３２Ａｈ、垂直方向高周波数成分通過ステップＳＴ３２Ａｖ、及び加算ステップＳＴ６Ａを有する。
　非線形処理ステップＳＴ３１は、水平方向非線形処理ステップＳＴ３１ｈ、及び垂直方向非線形処理ステップＳＴ３１ｖを有する。
　高周波数成分通過ステップＳＴ３２Ｂは、水平方向高周波数成分通過ステップＳＴ３２Ｂｈ、垂直方向高周波数成分通過ステップＳＴ３２Ｂｖ、及び加算ステップＳＴ６Ｂを有する。

　水平方向高周波数成分通過ステップＳＴ３２Ａｈでは、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈに対し、図３の水平方向高周波数成分通過手段３２Ａｈと同様の処理を行い、中間画像Ｄ３２Ａｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ａｖでは、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖに対し、図３の垂直方向高周波数成分通過手段３２Ａｖと同様の処理を行い、中間画像Ｄ３２Ａｖを生成する。加算ステップＳＴ６Ａでは、水平方向高周波数成分通過ステップＳＴ３２Ａｈで生成した中間画像Ｄ３２Ａｈと垂直方向高周波数成分通過ステップＳＴ３２Ａｖで生成した中間画像Ｄ３２Ａｖを加算し、中間画像Ｄ３２Ａを生成する。
　このように、高周波数成分通過ステップＳＴ３２Ａでは、図２、図３の高周波数成分通過手段３２Ａと同様の動作が行われる。

　水平方向非線形処理ステップＳＴ３１ｈは、図２２に示すようにゼロクロス判定ステップＳＴ３１１ｈと信号増幅ステップＳＴ３１２ｈを有する。
　水平方向非線形処理ステップＳＴ３１ｈの動作は以下のごとくである。
　まず、ゼロクロス判定ステップＳＴ３１１ｈで、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を特定する。信号増幅ステップＳＴ３１２ｈでは、拡大画像Ｄ２Ｂｈのうち、ゼロクロス判定ステップＳＴ３１１ｈで特定されたゼロクロス点の左右に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｈとして生成する。

　垂直方向非線形処理ステップＳＴ３１ｖは、図２３に示すようにゼロクロス判定ステップＳＴ３１１ｖと信号増幅ステップＳＴ３１２ｖを有する。
　垂直方向非線形処理ステップＳＴ３１ｖの動作は以下のごとくである。
　まず、ゼロクロス判定ステップＳＴ３１１ｖで、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を特定する。信号増幅ステップＳＴ３１２ｖでは、拡大画像Ｄ２Ｂｖのうち、ゼロクロス判定ステップＳＴ３１１ｖで特定されたゼロクロス点の上下に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｖとして生成する。
　このように、非線形処理ステップＳＴ３１では、図２、図３の非線形処理手段３１と同様の動作が行われる。

　図２１の水平方向高周波数成分通過ステップＳＴ３２Ｂｈは、水平方向非線形処理ステップＳＴ３１ｈで生成した非線形処理画像Ｄ３１ｈにハイパスフィルタをかけ、中間画像Ｄ３２Ｂｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ｂｖは、垂直方向非線形処理ステップＳＴ３１ｖで生成した非線形処理画像Ｄ３１ｖにハイパスフィルタをかけ、中間画像Ｄ３２Ｂｖを生成する。加算ステップＳＴ６Ｂは中間画像Ｄ３２Ｂｈと中間画像Ｄ３２Ｂｖを加算し、中間画像Ｄ３２Ｂを生成する。すなわち、高周波数成分通過ステップＳＴ３２Ｂでは、図２、図３の高周波数成分通過手段３２Ｂと同様の動作が行われる。

　加算ステップＳＴ５は、高周波数成分通過ステップＳＴ３２Ａで生成した中間画像Ｄ３２Ａと高周波数成分通過ステップＳＴ３２Ｂで生成して中間画像Ｄ３２Ｂを加算し、高周波数成分画像Ｄ３を得る。このように、ステップＳＴ５では、図２、図３の加算手段５と同様の動作が行われる。
　以上のように、高周波数成分画像処理ステップＳＴ３では、図１、図２、図３の高周波数成分画像処理手段３と同様の動作が行われる。

　加算ステップＳＴ４は、画像拡大ステップＳＴ２Ａで生成した拡大画像Ｄ２Ａと高周波数成分画像処理ステップＳＴ３で生成した高周波数成分画像Ｄ３を加算した画像Ｄｏｕｔを生成する。そして生成された画像Ｄｏｕｔが図示しないステップによって、最終的な拡大画像として出力される。

　以上説明した実施の形態２でも実施の形態１で説明した画像処理装置と同様の処理で画像を拡大できるため、実施の形態１で説明した画像処理装置と同様の効果が得られる。

　また、実施の形態２による画像処理装置は実施の形態１で説明した画像処理装置と同様画像表示装置の一部として用いることができるため、実施の形態２による画像処理装置で生成された画像Ｄｏｕｔを表示する画像表示装置も、実施の形態１で説明した画像処理装置と同様の効果が得られる。さらに、実施の形態１及び実施の形態２の画像処理装置を用いて実施される画像処理方法、及びこれを用いた画像表示方法も同様の効果が得られる。

　また、実施の形態１で説明した種々の変形を、実施の形態２による画像処理装置及び画像処理方法に適用することも可能である。

　また、実施の形態１又は２で説明した画像処理装置を用いた画像表示装置の構成は図２４に示す限りではない。

Claims (16)

1. 　入力画像を拡大する画像処理装置において、
   　前記入力画像を拡大して第１の拡大画像を出力する第１の画像拡大手段と、
   　前記入力画像の高周波数成分を取り出して第１の高周波数成分画像を生成する高周波数成分画像生成手段と、
   　前記第１の高周波数成分画像を拡大して第２の拡大画像を出力する第２の画像拡大手段と、
   　前記第２の拡大画像の高周波数成分を取り出して第２の高周波数成分画像を生成する高周波数成分画像処理手段と、
   　前記第１の拡大画像と前記第２の高周波数成分画像を加算して、出力画像を生成する手段を有する
   　ことを特徴とする画像処理装置。
2. 　前記高周波数成分画像処理手段は、
   　前記第２の拡大画像の高周波数成分のみを取り出す第１の高周波数成分通過手段と、
   　前記第２の拡大画像の画素値を画像のエッジ部分でより大きな増幅率で増幅させる増幅させる非線形処理によって処理する非線形処理手段と、
   　前記非線形処理手段が出力する画像の高周波数成分のみを取り出す第２の高周波数成分通過手段を有する
   　ことを特徴とする請求項１に記載の画像処理装置。
3. 　前記高周波数成分画像生成手段は、
   　前記入力画像内の各画素について水平方向近傍に存在する画素の画素値を用いて水平方向高周波数成分画像を生成する水平方向高周波数成分画像生成手段を有し、
   　前記第２の画像拡大手段は、
   　前記水平方向高周波数成分画像を拡大して、第３の拡大画像を出力する第３の画像拡大手段を有し、
   　前記第１の高周波数成分通過手段は、
   　前記第３の拡大画像の高周波数成分のみを取り出す第１の水平方向高周波数成分通過手段を有し、
   　前記非線形処理手段は、
   　前記第３の拡大画像の画素値を、画像の水平方向に並んだ画素の信号値のステップ状の変化を含むエッジ部分でより大きな増幅率で増幅させる非線形処理によって処理し、水平方向非線形処理画像を出力する水平方向非線形処理手段を有し、
   　前記第２の高周波数成分通過手段は、
   　前記水平方向非線形処理画像の高周波数成分のみを取り出す第２の水平方向高周波数成分通過手段を有する
   　ことを特徴とする請求項２に記載の画像処理装置。
4. 　前記高周波数成分画像生成手段は、
   　前記入力画像内の各画素について垂直方向近傍に存在する画素の画素値を用いて垂直方向高周波数成分画像を生成する垂直方向高周波数成分画像生成手段を有し、
   　前記第２の画像拡大手段は、
   　前記垂直方向高周波数成分画像を拡大して、第４の拡大画像を出力する第４の画像拡大手段を有し、
   　前記第１の高周波数成分通過手段は、
   　前記第４の拡大画像の高周波数成分のみを取り出す第１の垂直方向高周波数成分通過手段を有し、
   　前記非線形処理手段は、
   　前記第４の拡大画像の画素値を、画像の垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジ部分でより大きな増幅率で増幅させる非線形処理によって処理し、垂直方向非線形処理画像を出力する垂直方向非線形処理手段を有し、
   　前記第２の高周波数成分通過手段は、
   　前記垂直方向非線形処理画像の高周波数成分のみを取り出す第２の垂直方向高周波数成分通過手段を有する
   　ことを特徴とする請求項２に記載の画像処理装置。
5. 　前記高周波数成分画像生成手段は、
   　前記入力画像内の各画素について水平方向近傍に存在する画素の画素値を用いて水平方向高周波数成分画像を生成する水平方向高周波数成分画像生成手段と、
   　前記入力画像内の各画素について垂直方向近傍に存在する画素の画素値を用いて垂直方向高周波数成分画像を生成する垂直方向高周波数成分画像生成手段を有し、
   　前記第２の画像拡大手段は、
   　前記水平方向高周波数成分画像を拡大して、第３の拡大画像を出力する第３の画像拡大手段と、
   　前記垂直方向高周波数成分画像を拡大して、第４の拡大画像を出力する第４の画像拡大手段を有し、
   　前記第１の高周波数成分通過手段は、
   　前記第３の拡大画像の高周波数成分のみを取り出す第１の水平方向高周波数成分通過手段と、
   　前記第４の拡大画像の高周波数成分のみを取り出す第１の垂直方向高周波数成分通過手段を有し、
   　前記非線形処理手段は、
   　前記第３の拡大画像の画素値を、画像の水平方向に並んだ画素の信号値のステップ状の変化を含むエッジ部分でより大きな増幅率で増幅させる非線形処理によって処理し、水平方向非線形処理画像を出力する水平方向非線形処理手段と、
   　前記第４の拡大画像の画素値を、画像の垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジ部分でより大きな増幅率で増幅させる非線形処理によって処理し、垂直方向非線形処理画像を出力する垂直方向非線形処理手段を有し、
   　前記第２の高周波数成分通過手段は、
   　前記水平方向非線形処理画像の高周波数成分のみを取り出す第２の水平方向高周波数成分通過手段と、
   　前記垂直方向非線形処理画像の高周波数成分のみを取り出す第２の垂直方向高周波数成分通過手段を有する
   　ことを特徴とする請求項２に記載の画像処理装置。
6. 　前記水平方向非線形処理手段は、
   　前記第３の拡大画像の画素値が正から負の値もしくは負から正の値に変化する箇所をゼロクロス点として判定する第１のゼロクロス判定手段と、
   　前記第１のゼロクロス判定手段の判定結果に応じて決定された増幅率で前記第３の拡大画像の画素値に対する増幅を行なう第１の信号増幅手段を有し、
   　前記垂直方向非線形処理手段は、
   　前記第４の拡大画像の画素値が正から負の値もしくは負から正の値に変化する箇所をゼロクロス点として判定する第２のゼロクロス判定手段と、
   　前記第２のゼロクロス判定手段の判定結果に応じて決定された増幅率で前記第４の拡大画像の画素値に対する増幅を行なう第２の信号増幅手段を有する
   　ことを特徴とする請求項３乃至５のいずれかに記載の画像処理装置。
7. 　前記第１の信号増幅手段は、
   　前記第１のゼロクロス判定手段で判定されたゼロクロス点を含む第１の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とし、
   　前記第２の信号増幅手段は、
   　前記第２のゼロクロス判定手段で判定されたゼロクロス点を含む第２の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
   　ことを特徴とする請求項６に記載の画像処理装置。
8. 　前記第１の領域及び前記第２の領域の少なくとも一方は前記第２の拡大手段における拡大率に応じて変化する
   　ことを特徴とする請求項７に記載の画像処理装置。
9. 　前記第１の領域に存在する画素に対する増幅率及び前記第２の領域に存在する画素に対する増幅率の少なくとも一方は画素に応じて変化する
   　ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 　前記第１の画像拡大手段は、
    　前記入力画像に対して画素値０を持つ画素を、水平方向及び垂直方向の少なくとも一方に挿入した画像を出力するゼロ挿入手段と、
    　前記ゼロ挿入手段が出力する画像の低周波数成分を取り出して、前記第１の拡大画像を出力する低周波数成分通過手段を有する
    　ことを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 　前記第３の画像拡大手段は、
    　前記水平方向高周波数成分画像に対して画素値０を持つ画素を、水平方向及び垂直方向の少なくとも一方に挿入した画像を出力するゼロ挿入手段と、
    　前記ゼロ挿入手段が出力する画像の低周波数成分を取り出して、前記第３の拡大画像を出力する低周波数成分通過手段を有する
    　ことを特徴とする請求項３乃至６のいずれかに記載の画像処理装置。
12. 　前記第４の画像拡大手段は、
    　前記垂直方向高周波数成分画像に対して画素値０を持つ画素を、水平方向及び垂直方向の少なくとも一方に挿入した画像を出力するゼロ挿入手段と、
    　前記ゼロ挿入手段が出力する画像の低周波数成分を取り出して、前記第４の拡大画像を出力する低周波数成分通過手段を有する
    　ことを特徴とする請求項３乃至６のいずれかに記載の画像処理装置。
13. 　前記第２の水平方向高周波数成分通過手段は、
    　前記高周波数成分のみを取り出す処理として、
    　前記水平方向非線形処理画像の各画素について、各画素の画素値と、各画素の水平方向の近傍に存在する画素の画素値の単純平均値あるいは加重平均値との差を求め、
    　前記第２の垂直方向高周波数成分通過手段は、
    　前記高周波数成分のみを取り出す処理として、
    　前記垂直方向非線形処理画像の各画素について、各画素の画素値と、各画素の垂直方向の近傍に存在する画素の画素値の単純平均値あるいは加重平均値との差を求める
    　ことを特徴とする請求項３乃至９のいずれかに記載の画像処理装置。
14. 　請求項１乃至１３のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
15. 　入力画像を拡大する画像処理方法において、
    　前記入力画像を拡大して第１の拡大画像を出力する第１の画像拡大ステップと、
    　前記入力画像の高周波数成分を取り出して第１の高周波数成分画像を生成する高周波数成分画像生成ステップと、
    　前記第１の高周波数成分画像を拡大して第２の拡大画像を出力する第２の画像拡大ステップと、
    　前記第２の拡大画像の高周波数成分を取り出して第２の高周波数成分画像を生成する高周波数成分画像処理ステップと、
    　前記第１の拡大画像と前記第２の高周波数成分画像を加算して、出力画像を生成するステップを有する
    ことを特徴とする画像処理方法。
16. 　請求項１５に記載の画像処理方法を備えたことを特徴とする画像表示方法。

Images