JP5247633B2 - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents

Description

本発明は、デジタル化された画像を拡大する画像処理装置及び方法、並びに画像表示装置及び方法に関するものであり、画像を拡大する際に、高周波数成分を生成することによって、解像感の高い拡大画像を得るものである。

一般に画像処理装置は、出力画像の画素数が入力画像の画素数より多い場合、画像を拡大処理しなければならない。従来の画像処理装置では注目する画素近傍の画素がもつ画素値を重み付け加算して画像を拡大していた。

例えば特許文献１に記載された画像処理装置においては、各シフトレジスタからそれぞれ出力される主走査方向の隣り合った５個の画素データに所定の重み付け定数を乗算し、各画素データにおける乗算結果を加算するための演算回路を備え、画像データの拡大処理を行う場合に、演算回路での演算結果をこれらの画素データの中央の画素データとしてセレクタにて選択して出力している。

特開平６−３１１３４６号公報（図１）

注目する画素近傍の画素がもつ画素値を重み付け加算することは入力画像の低周波数成分のみを通過させるローパスフィルタ処理となる。従って、上記の従来の技術では、拡大画像に対して高周波数成分を十分に与えることが出来ないため、拡大画像の解像感が失われるという問題があった。

本発明は上述のような課題を解消するためになされたもので、本発明の画像処理装置は、
入力画像を拡大する画像処理装置において、
前記入力画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記第２の拡大画像から第２の高周波数成分画像を生成する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段を有する画像処理装置において、
第１の高周波数成分画像生成手段は、
前記入力画像の水平方向の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
前記入力画像の垂直方向の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段とを備え、
前記第２の拡大画像は、
前記第１の水平方向高周波数成分画像を拡大した第３の拡大画像と
前記第１の垂直方向高周波数成分画像を拡大した第４の拡大画像から成り、
前記高周波数成分画像処理手段は、
前記第３の拡大画像の高周波数成分を取り出した第１の水平方向中間画像を生成する第２の水平方向高周波数成分画像生成手段と
前記第４の拡大画像の高周波数成分を取り出した第１の垂直方向中間画像を生成する第２の垂直方向高周波数成分画像生成手段と、
前記第３の拡大画像に非線形処理を行った第２の水平方向中間画像を生成する水平方向非線形処理画像生成手段と、
前記第４の拡大画像に非線形処理を行った第２の垂直方向中間画像を生成する垂直方向非線形処理画像生成手段と、
前記第１の水平方向中間画像と前記第１の垂直方向中間画像を加重加算した第３の中間画像を生成する第１の加重加算手段と、
前記第２の水平方向中間画像と前記第２の垂直方向中間画像を加重加算した第４の中間画像を生成する第２の加重加算手段と、
前記第３の中間画像と前記第４の中間画像を加算する第２の加算手段を含む
ことを特徴とする。

本発明によれば、画像のエッジの向きによらず高周波数成分を均一に与えることができ、解像感のある拡大画像を得ることができる。

本発明の実施の形態１の画像処理装置の構成を示すブロック図である。 実施の形態１の画像処理装置を用いた画像表示装置の構成例を示すブロック図である。 （ａ）〜（ｄ）は、画像拡大手段２Ａの動作を示す画素配置図である。 画像拡大手段２Ａの構成例を示すブロック図である。 画像拡大手段２Ｂの構成例を示すブロック図である。 水平方向非線形処理手段３１ｈの構成例を示すブロック図である。 垂直方向非線形処理手段３１ｖの構成例を示すブロック図である。 図１の加算比率決定手段３３Ｃの構成例を示すブロック図である。 図８の重み係数決定手段３３Ｃ２による、エッジ方向推定量Ｄ３３Ｃ１に対する、重み係数Ｄ３３Ｃの決め方の一例を表す図である。 （ａ）〜（ｄ）は、拡大画像Ｄ２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。 （ａ）〜（ｆ）は、中間画像Ｄ３２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。 （ａ）〜（ｃ）は、中間画像Ｄ３２Ｂを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。 （ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。 （ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための、信号強度を示すである。 拡大画像Ｄｏｕｔの周波数スペクトルの説明図である。 （ａ）〜（ｄ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果を説明するための、信号強度を示す図である。 （ａ）〜（ｋ）は、入力画像のエッジの方向を示す図、及び入力画像のエッジの方向が図１７（ａ）に示すように水平である場合の、動作を説明するための、信号強度を示す図である。 （ａ）〜（ｋ）は、入力画像のエッジの方向を示す図、及び入力画像のエッジの方向が図１８（ａ）に示すように垂直である場合の、動作を説明するための、信号強度を示す図である。 （ａ）〜（ｋ）は、入力画像のエッジの方向を示す図、及び入力画像のエッジの方向が図１９（ａ）に示すように斜めである場合の、動作を説明するための、信号強度を示す図である。 エッジの方向と各信号の値との関係を説明する図である。 実施の形態１の画像処理装置の一つの変形例の構成を示すブロック図である。 実施の形態１の画像処理装置の他の変形例の構成を示すブロック図である。 （ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。 （ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための信号の強度を示す図である。 本発明の実施の形態２の画像処理装置の構成を示すブロック図である。 実施の形態２の画像処理方法を示すフロー図である。 高周波数成分画像生成ステップＳＴ１を示すフロー図である。 画像拡大ステップＳＴ２Ｂを示すフロー図である。 高周波数成分画像処理ステップＳＴ３を示すフロー図である。 水平方向非線形処理ステップＳＴ３１ｈを示すフロー図である。 垂直方向非線形処理ステップＳＴ３１ｖを示すフロー図である。 加算比率決定ステップＳＴ３３を示すフロー図である。 本発明の実施の形態３の画像処理装置の構成を示すブロック図である。 図３３の加算比率決定手段３３ＣＡの構成例を示すブロック図である。 図３４の重み係数決定手段３３ＣＡ２による、エッジ方向推定量Ｄ３３ＣＡ１に対する、重み係数Ｄ３３ＣＡの決め方の一例を表す図である。 図３３の加算比率決定手段３３ＣＢの構成例を示すブロック図である。 図３６の重み係数決定手段３３ＣＢ２による、エッジ方向推定量Ｄ３３ＣＢ１に対する、重み係数Ｄ３３ＣＢの決め方の一例を表す図である。 本発明の実施の形態４の画像処理方法における高周波数成分画像処理ステップＳＴ３を示すフロー図である。 図３８の加算比率決定ステップＳＴ３３ＣＡを示すフロー図である。 図３８の加算比率決定ステップＳＴ３３ＣＢを示すフロー図である。

実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、例えば図２に示す画像表示装置の一部として用いることができる。ここで図２に示す画像表示装置は図１に示す画像処理装置を内部に含む画像処理装置Ｕ１及び表示部９を備えており、画像処理装置Ｕ１において画像ＤＯＲＧに対する出力として得られた画像ＤＵ１が表示部９に表示される。

実施の形態１による画像処理装置は、画像拡大手段２Ａと、高周波数成分画像生成手段１と、画像拡大手段２Ｂと、高周波数成分画像処理手段３と、加算手段４とを備える。
画像拡大手段２Ａは、入力画像Ｄｉｎを拡大して拡大画像Ｄ２Ａを生成する。
高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分のみを取り出して高周波数成分画像Ｄ１を生成する。

画像拡大手段２Ｂは、高周波数成分画像生成手段１から出力される高周波数成分画像Ｄ１を拡大して拡大画像（高周波数成分拡大画像）Ｄ２Ｂを生成する。
高周波数成分画像処理手段３は、画像拡大手段２Ｂから出力される拡大画像Ｄ２Ｂに対して後述の処理を行い、高周波数成分画像（高周波数成分処理画像）Ｄ３を生成する。

加算手段４は、画像拡大手段２Ａから出力される拡大画像Ｄ２Ａに、高周波数成分画像処理手段３から出力される高周波数成分画像Ｄ３を加算して、その結果を最終的な拡大画像、即ち出力画像Ｄｏｕｔとして出力する。加算手段４の出力は、例えば図２に示す画像表示装置の表示部９に画像ＤＵ１として供給され、表示部９による画像表示に用いられる。

なお、本明細書において、拡大、高周波数成分生成、高周波数成分処理などの処理は「画像」に対して行なわれる旨記載されるが、具体的には、画像を表すデジタルデータに対して行われる。また、「画像」との記載も具体的には「画像データ」を意味する場合がある。

画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の詳細な動作については後述するが、高周波数成分画像Ｄ３のもつ周波数成分は拡大画像Ｄ２Ａがもつ周波数成分より高い周波数帯域のものとなる。従って加算手段４において拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算することで、高周波数成分を多く含んだ拡大画像Ｄｏｕｔを得ることができる。

画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の構成をより詳細に説明する。

画像拡大手段２Ａは、水平方向及び垂直方向の少なくとも一方に画像を拡大するものであり、例えば、水平方向及び垂直方向に同じ倍率で拡大を行なうが、代わりに、水平方向及び垂直方向に異なる倍率で拡大を行なうものであっても良い。また、水平方向及び垂直方向の一方にのみ拡大を行なうものであっても良く、例えば入力画像に対して表示画面が横長である場合に水平方向にのみ拡大を行なうことがある。

高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分（所定の周波数Ｆｂよりも高い成分）を取り出して、高周波数成分画像Ｄ１を生成するものであり、後述の方法でそれぞれ水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖを生成する水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖを備える。水平方向高周波数成分画像Ｄ１ｈと垂直方向高周波数成分画像Ｄ１ｖとで高周波数成分画像Ｄ１が構成されている。

画像拡大手段２Ｂは、水平方向高周波数成分画像Ｄ１ｈを拡大した拡大画像Ｄ２Ｂｈを生成する画像拡大手段２Ｂｈ及び垂直方向高周波数成分画像Ｄ１ｖを拡大した拡大画像Ｄ２Ｂｖを生成する画像拡大手段２Ｂｖを備える。拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖとで拡大画像Ｄ２Ｂが構成されている。

画像拡大手段２Ａが水平方向及び垂直方向の両方向に拡大を行なう場合、画像拡大手段２Ｂｈは、水平方向高周波数成分画像Ｄ１ｈを水平方向及び垂直方向の両方向に拡大し、画像拡大手段２Ｂｖは、垂直方向高周波数成分画像Ｄ１ｖを水平方向及び垂直方向の両方向に拡大する。画像拡大手段２Ｂｈ及び２Ｂｖによる、水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖの拡大は、画像拡大手段２Ａによる拡大と水平方向及び垂直方向の各々について同じ倍率で行なわれる。

高周波数成分画像処理手段３は、高周波数成分画像生成手段３２Ａと、非線形処理画像生成手段３０と、加算手段３４とを備えている。

高周波数成分画像生成手段３２Ａは、拡大画像Ｄ２Ｂの高周波数成分（所定の周波数Ｆｄよりも高い成分）を取り出して中間画像（高周波数成分画像）Ｄ３２Ａを出力するものであり、拡大画像Ｄ２Ｂｈに含まれる水平方向の高周波数成分のみを取り出した水平方向中間画像Ｄ３２Ａｈを生成する水平方向高周波数成分画像生成手段３２Ａｈと、拡大画像Ｄ２Ｂｖの垂直方向の高周波数成分のみを取り出した垂直方向中間画像Ｄ３２Ａｖを生成する垂直方向高周波数成分画像生成手段３２Ａｖを備え、高周波数成分画像生成手段３２Ａからは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが出力される。

非線形処理画像生成手段（エッジ鮮鋭化画像生成手段）３０は、拡大画像Ｄ２Ｂに対して非線形処理を含む処理を行った中間画像（エッジ鮮鋭化画像）Ｄ３２Ｂを出力するものであり、非線形処理手段３１、及び高周波数成分画像生成手段３２Ｂを備える。
非線形処理手段３１は、拡大画像Ｄ２Ｂに対して後述するエッジの鮮鋭化のための非線形処理を行った非線形処理画像Ｄ３１を生成する。
高周波数成分画像生成手段３２Ｂは非線形処理画像Ｄ３１に含まれる高周波数成分（所定の周波数Ｆｆよりも高い成分）を取り出した中間画像Ｄ３２Ｂを出力する。

非線形処理手段３１は、拡大画像Ｄ２Ｂｈに対して非線形処理した非線形処理画像Ｄ３１ｈを生成する水平方向非線形処理手段３１ｈと、拡大画像Ｄ２Ｂｖに対して非線形処理した非線形処理画像Ｄ３１ｖを生成する垂直方向非線形処理手段３１ｖを備えており、非線形処理画像Ｄ３１は非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る。

高周波数成分画像生成手段３２Ｂは、非線形処理画像Ｄ３１ｈから高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する水平方向高周波数成分画像生成手段３２Ｂｈと、非線形処理画像Ｄ３１ｖから高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する垂直方向高周波数成分画像生成手段３２Ｂｖを備え、中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る。

なお、水平方向非線形処理手段３１ｈと水平方向高周波数成分画像生成手段３２Ｂｈで水平方向非線形処理画像生成手段が構成され、垂直方向非線形処理手段３１ｖと垂直方向高周波数成分画像生成手段３２Ｂｖで垂直方向非線形処理画像生成手段が構成される。

加算手段３４は、水平垂直加算手段３３Ａ、３３Ｂ、加算比率決定手段３３Ｃ、及び加算手段３３Ｄを備える。

加算比率決定手段３３Ｃは、後述の処理により重み係数Ｄ３３Ｃを決定し出力する。
水平垂直加算手段３３Ａは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖを後述の処理により加重加算した中間画像（補正画像）Ｄ３３Ａを出力する。
水平垂直加算手段３３Ｂは、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを後述の処理により加重加算した中間画像（補正画像）Ｄ３３Ｂを出力する。
加算手段３３Ｄは、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を出力する。

以下、入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄｏｕｔを生成する場合を例にし、各構成要素の動作をさらに詳細に説明する。この説明を通じて本発明の作用、効果もより明らかなものとなるであろう。

まず、画像拡大手段２Ａの動作について説明する。画像拡大手段２Ａは入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄ２Ａを生成する。図３（ａ）〜（ｄ）は画像拡大手段２Ａにおける拡大画像Ｄ２Ａの生成手順の一例を模式的に示した図であり、図４は画像拡大手段２Ａの一例を示した図である。

画像拡大手段２Ａは、ゼロ挿入手段２１Ａと、低周波数成分通過手段２２Ａを備える。以下、図３（ａ）〜（ｄ）を用いてゼロ挿入手段２１Ａ及び低周波数成分通過手段２２Ａの動作を説明する。図３（ａ）は入力画像Ｄｉｎ（特に画像の一部を構成する画素の配列）を、図３（ｂ）はゼロ挿入手段２１Ａで生成されるゼロ挿入画像Ｄ２１Ａを、図３（ｃ）は低周波数成分通過手段２２Ａにおいて拡大画像Ｄ２Ａを生成する際使用されるフィルタ係数を、図３（ｄ）は低周波数成分通過手段２２Ａで生成された拡大画像Ｄ２Ａを表す。図３（ａ）、（ｂ）、（ｄ）には画素の位置に対応させて水平座標Ｘ、垂直座標Ｙを記載している。

ゼロ挿入手段２１Ａでは入力画像Ｄｉｎに対して画素値０をもつ画素を水平方向には（入力画像Ｄｉｎの）１画素につき１個（隣り合う２つの画素相互間に１個）、垂直方向には（入力画像Ｄｉｎの）１ラインにつき１本（隣り合う２本のライン相互間に１本）を挿入したゼロ挿入画像Ｄ２１Ａを生成する。
「ＰＸＹ」が入力画像Ｄｉｎの座標（Ｘ，Ｙ）における画素の画素値を表し、「Ｐ’ＸＹ」がゼロ挿入画像Ｄ２１Ａの座標（Ｘ，Ｙ）の画素の画素値を表すとすると、ゼロ挿入画像Ｄ２１Ａの、Ｐ’（２Ｘ−１）（２Ｙ−１）で表わされる画素値は、入力画像ＤｉｎのＰＸＹに等しく、Ｐ’（２Ｘ−１）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ−１）で表わされる画素値は、ゼロに等しい。

低周波数成分通過手段２２Ａではゼロ挿入画像Ｄ２１Ａに対し、図３（ｃ）に示されたフィルタ係数で表されたフィルタ演算を行うことで、図３（ｄ）に示される拡大画像Ｄ２Ａを生成する。
例えば、拡大画像Ｄ２Ａに含まれる、座標（Ｘ，Ｙ）の画素の画素値ＱＸＹは下記の式（１）のように計算される。

ＱＸＹ＝（４／１６）×
｛Ｐ’（Ｘ−１）（Ｙ−１）＋２Ｐ’Ｘ（Ｙ−１）＋Ｐ’（Ｘ＋１）（Ｙ−１）
＋２Ｐ’（Ｘ−１）Ｙ＋４Ｐ’ＸＹ＋２Ｐ’（Ｘ＋１）Ｙ
＋Ｐ’（Ｘ−１）（Ｙ＋１）＋２Ｐ’Ｘ（Ｙ＋１）＋Ｐ’（Ｘ＋１）（Ｙ＋１）｝
…（１）

なお、図３（ｃ）で表されるフィルタ係数はローパスフィルタを表すので、式（１）で表される低周波数成分通過手段２２Ａにおける処理はゼロ挿入画像Ｄ２１Ａの低周波数成分（所定の周波数Ｆａ以下の成分）を取り出すことに対応する。

また、式（１）において
Ｐ’（Ｘ−１）（Ｙ−１）、２Ｐ’Ｘ（Ｙ−１）、Ｐ’（Ｘ＋１）（Ｙ−１）、２Ｐ’（Ｘ−１）Ｙ、Ｐ’ＸＹ、２Ｐ’（Ｘ＋１）Ｙ、Ｐ’（Ｘ−１）（Ｙ＋１）、Ｐ’Ｘ（Ｙ＋１）、Ｐ’（Ｘ＋１）（Ｙ＋１）
のうちいくつかはその値が０であり、それ以外は入力画像Ｄｉｎの画素値そのものになる。従って拡大処理は入力画像Ｄｉｎにおいて注目する画素の近傍の画素値を適宜加重加算する処理と同じである。

次に水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖの動作について説明する。
水平方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその水平方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて水平方向高周波数成分画像Ｄ１ｈを生成する。
一方、垂直方向高周波数成分画像生成手段１ｖは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその垂直方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて垂直方向高周波数成分画像Ｄ１ｖを生成する。

ハイパスフィルタをかけることは高周波数成分を取り出すことに対応し、水平方向高周波数成分画像Ｄ１ｈには、入力画像Ｄｉｎの水平方向の高周波数成分（所定の水平周波数よりも高い成分から成る）が含まれ、垂直方向高周波数成分画像Ｄ１ｖには、入力画像Ｄｉｎの垂直方向の高周波数成分（所定の垂直方向周波数よりも高い成分から成る）が含まれる。

水平方向高周波数成分画像生成手段１ｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
同様に、垂直方向高周波数成分画像生成手段１ｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

次に画像拡大手段２Ｂｈ及び２Ｂｖの動作について説明する。画像拡大手段２Ｂｈは水平方向高周波数成分画像Ｄ１ｈを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｈを生成し、画像拡大手段２Ｂｖは垂直方向高周波数成分画像Ｄ１ｖを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｖを生成する。

画像拡大手段２Ｂｈ及び画像拡大手段２Ｂｖの各々は、図４を参照して説明した画像拡大手段２Ａと同様に構成することができる。従って、画像拡大手段２Ｂｈと画像拡大手段２Ｂｖとで構成される画像拡大手段２Ｂは図５のように示すことができる。
画像拡大手段２Ｂｈの入力は水平方向高周波数成分画像Ｄ１ｈであり、出力が拡大画像Ｄ２Ｂｈとなる。画像拡大手段２Ｂｖの入力は垂直方向高周波数成分画像Ｄ１ｖであり、出力が拡大画像Ｄ２Ｂｖである。

画像拡大手段２Ｂｈは、ゼロ挿入手段２１Ｂｈと、低周波数成分通過手段２２Ｂｈとを備え、画像拡大手段２Ｂｖは、ゼロ挿入手段２１Ｂｖと、低周波数成分通過手段２２Ｂｖとを備える。
ゼロ挿入手段２１Ｂｈ及びゼロ挿入手段２１Ｂｖの各々は、図４のゼロ挿入手段２１Ａと同様のものであり、低周波数成分通過手段２２Ｂｈ及び低周波数成分通過手段２２Ｂｖの各々は、図４の低周波数成分通過手段２２Ａと同様のものである。

ゼロ挿入手段２１Ｂｈから出力されるゼロ挿入画像Ｄ２１Ｂｈとゼロ挿入手段２１Ｂｖから出力されるゼロ挿入画像Ｄ２１Ｂｖとで、ゼロ挿入手段２１Ｂの出力としてのゼロ挿入画像Ｄ２１Ｂが構成される。
低周波数成分通過手段２２Ｂｈから出力される拡大画像Ｄ２Ｂｈと低周波数成分通過手段２２Ｂｖから出力される拡大画像Ｄ２Ｂｖとで、低周波数成分通過手段２２Ｂの出力としての拡大画像Ｄ２Ｂが構成される。低周波数成分通過手段２２Ｂの出力は、ゼロ挿入画像Ｄ２１Ｂの低周波数成分（Ｆｃ以下の成分）を取り出したものである。

次に高周波数成分画像生成手段３２Ａの動作について説明する。
水平方向高周波数成分画像生成手段３２Ａｈは、拡大画像Ｄ２Ｂｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ａｈを生成する。
一方、垂直方向高周波数成分画像生成手段３２Ａｖは、拡大画像Ｄ２Ｂｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが高周波数成分画像生成手段３２Ａから出力される。

水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理としては、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に、例えば、該手段３２Ａｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

同様に、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ａｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

次に非線形処理手段３１の動作について説明する。非線形処理手段３１は、水平方向非線形処理手段３１ｈと、垂直方向非線形処理手段３１ｖを備える。水平方向非線形処理手段３１ｈと垂直方向非線形処理手段３１ｖとは互いに同様に構成されている。但し、水平方向非線形処理手段３１ｈは水平方向の処理を行ない、垂直方向非線形処理手段３１ｖは垂直方向の処理を行なう。

図６は水平方向非線形処理手段３１ｈの内部構成を表す図である。図示の水平方向非線形処理手段３１ｈは、ゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈを備える。

ゼロクロス判定手段３１１ｈは、入力される拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｈに伝達する。
なお、水平方向非線形処理手段３１ｈではゼロクロス点の左右に位置する画素がゼロクロス点の前後にある画素として認識される。

水平方向信号増幅手段３１２ｈは、水平方向ゼロクロス判定手段３１１ｈの判定結果に応じて決められる増幅率で第３の拡大画像Ｄ２Ｂｈの画素値を増幅する。具体的には、信号増幅手段３１２ｈは、信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｈを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、水平方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。

図７は垂直方向非線形処理手段３１ｖの内部構成を表す図である。図示の垂直方向非線形処理手段３１ｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖを備える。

ゼロクロス判定手段３１１ｖは、入力される拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｖに伝達する。
なお、垂直方向非線形処理手段３１ｖではゼロクロス点の上下に位置する画素がゼロクロス点の前後にある画素として認識される。

垂直方向信号増幅手段３１２ｖは、垂直方向ゼロクロス判定手段３１１ｖの判定結果に応じて決められる増幅率で第４の拡大画像Ｄ２Ｂｖの画素値を増幅する。具体的には、信号増幅手段３１２ｖは、信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｖを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。

なお、図示の例では、ゼロクロス点の直前及び直後の各々１個ずつの画素についてのみ、画素値を増幅させているが、ゼロクロス点の前及び後の所定数の画素、言い換えると、ゼロクロス点を含む所定の領域内に存在する画素について、画素値を増幅させることとしても良い。また上記「所定の領域」の大きさ（所定の領域に含まれる画素の数）を画像拡大手段２Ｂにおける画像の拡大率に応じて変える（拡大率に対して適切な値に定める）こととしても良い。

次に高周波数成分画像生成手段３２Ｂの動作について説明する。
水平方向高周波数成分画像生成手段３２Ｂｈは、非線形処理画像Ｄ３１ｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する。一方、垂直方向高周波数成分画像生成手段３２Ｂｖは、非線形処理画像Ｄ３１ｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する。このようにして生成された水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが高周波数成分画像生成手段３２Ｂから出力される。

水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

同様に、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

次に加算手段３４の動作について説明する。加算手段３４は加算比率決定手段３３Ｃ、水平垂直加算手段３３Ａ、３３Ｂ、及び加算手段３３Ｄを備える。

まず、図８及び図９を用いて加算比率決定手段３３Ｃの動作について説明する。
図８は図１の加算比率決定手段３３Ｃの構成例を表す図であり、加算比率決定手段はエッジ方向推定手段３３Ｃ１、及び重み係数決定手段３３Ｃ２を備える。

エッジ方向推定手段３３Ｃ１は、拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖの二つの信号からエッジ方向（角度）に対応する量としてのエッジ方向推定量Ｄ３３Ｃ１を算出する。例えば、拡大画像Ｄ２Ｂｈの各画素値の絶対値をｄＨ、拡大画像Ｄ２Ｂｖの各画素値の絶対値をｄＶとしたとき、これら二つの値の差分ｄＨ−ｄＶを、エッジ方向推定量Ｄ３３Ｃ１として出力する。

重み係数決定手段３３Ｃ２は、エッジ方向推定量Ｄ３３Ｃ１に基づき、重み係数Ｄ３３Ｃを決定する。図９は、エッジ方向推定量Ｄ３３Ｃ１に対する、重み係数Ｄ３３Ｃの決め方の一例を表す図である。図９に示した例では、重み係数Ｄ３３Ｃは、

により算出している。ただし、Ｋαは図９における直線の傾き（従って（ｄＨ−ｄＶ）の増加に対するＤ３３Ｃの変化の割合）を表す正の定数である。
以上が、加重比率決定手段３３Ｃの動作である。

次に水平垂直加算手段３３Ａの動作について説明する。水平垂直加算手段３３Ａは水平方向中間画像Ｄ３２Ａｈ、垂直方向中間画像Ｄ３２Ａｖの加重加算を行い、その結果を中間画像Ｄ３３Ａとして出力する。なお、加重加算の割合として重み係数Ｄ３３Ｃが利用される。すなわち、水平垂直加算手段３３Ａで行われる加重加算は

と表される。

次に水平垂直加算手段３３Ｂの動作について説明する。水平垂直加算手段３３Ｂは水平方向中間画像Ｄ３２Ｂｈ、垂直方向中間画像Ｄ３２Ｂｖの加重加算を行い、その結果を中間画像Ｄ３３Ｂとして出力する。なお、加重加算の割合として重み係数Ｄ３３Ｃが利用される。すなわち、水平垂直加算手段３３Ｂで行われる加重加算は

と表される。

次に加算手段３３Ｄの動作について説明する。加算手段３３Ｄは、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算する。そしてその結果が高周波数成分画像Ｄ３として加算手段３４から出力される。なおここでの加算処理は、単純加算に限らず、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂに個別の利得をかけてから加算する処理であっても良い。
以上が加算手段３４の動作である。

最後に加算手段４の動作について説明する。加算手段４は、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算する。そして加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算した結果得られた画像が、最終的な拡大画像Ｄｏｕｔとして画像処理装置から出力される。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。

以下、本発明における画像処理装置の作用、効果について説明する。
本発明の実施の形態では、中間画像Ｄ３３Ａ及びＤ３３Ｂを生成する際、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖを単純に加算、あるいは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを単純に加算しているわけではないが、以下、仮に単純に加算した場合に得られる効果について説明し、その後で、単純に加算する代わりに、加重加算することによる効果について説明する。

拡大画像Ｄ２Ａは、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を含み、高周波数成分画像Ｄ３は入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含む。従って、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算して生成される拡大画像Ｄｏｕｔは画像拡大後のナイキスト周波数に至る全ての周波数領域にわたって周波数成分を持つことになる。

まず、拡大画像Ｄ２Ａが入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことについて説明する。

図１０（ａ）〜（ｄ）は入力画像Ｄｉｎから拡大画像Ｄ２Ａを生成する際の作用を模式的に表した図であり、図１０（ａ）は入力画像Ｄｉｎの周波数スペクトルを、図１０（ｂ）はゼロ挿入画像Ｄ２１Ａの周波数スペクトルを、図１０（ｃ）は低周波数成分通過手段２２Ａの周波数応答を、図１０（ｄ）は拡大画像Ｄ２Ａの周波数スペクトルを表している。

入力画像Ｄｉｎの周波数スペクトルについて説明する。入力画像Ｄｉｎからは通常、自然画などが入力されるが、これらの画像のスペクトル強度は周波数空間の原点周辺に集中している。従って入力画像Ｄｉｎの周波数スペクトルは図１０（ａ）のように表すことが出来る。ここで図１０（ａ）の縦軸はスペクトル強度を、横軸は空間周波数を、Ｆｎは入力画像Ｄｉｎのナイキスト周波数を表している。

なお、通常入力画像Ｄｉｎは２次元の画像のため、その周波数スペクトルも２次元の周波数空間で表されるが、その形状は図１０（ａ）に示した周波数スペクトルが原点を中心に等方的に広がったものとなる。従って周波数スペクトルについて説明するためには最低限、１次元分の形状を示せばよく、今後、特に断らない限り、周波数空間の形状は１次元分のみ示して説明を行う。

次にゼロ挿入画像Ｄ２１Ａの周波数スペクトルについて説明する。入力画像Ｄｉｎに対してゼロ挿入手段２１Ａで（入力画像Ｄｉｎの）１画素につき１画素、画素値０を持った画素を挿入することで周波数空間上では周波数Ｆｎを中心にした折り返しが発生する。その結果、ゼロ挿入画像Ｄ２１Ａの周波数スペクトルは図１０（ｂ）のようになる。

次に低周波数成分通過手段２２Ａの周波数応答について説明する。先に述べたように低周波数成分通過手段２２Ａにおける演算はローパスフィルタとなっているので、図１０（ｃ）に示すように低周波数成分通過手段２２Ａの周波数応答は、周波数が高くなるほど低くなる。
図示の例では、低周波数成分通過手段２２Ａが主に第１の周波数Ｆａ（＝Ｆｎ）以下の周波数成分を通過させるものとしている。

最後に拡大画像Ｄ２Ａの周波数スペクトルについて説明する。図１０（ｂ）に示した周波数スペクトルを持つゼロ挿入画像Ｄ２１Ａが図１０（ｃ）に示した周波数応答を持った低周波数成分通過手段２２Ａを通ることで拡大画像Ｄ２Ａが生成される。従って拡大画像Ｄ２Ａの周波数スペクトルはゼロ挿入画像Ｄ２１Ａの周波数スペクトルから、斜線で示した高周波数側の領域Ｒ２ＡＨが除かれたものとなる。

従って、拡大画像Ｄ２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことになる。

次に高周波数成分画像Ｄ３が主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を持つことについて説明する。高周波数成分画像Ｄ３は中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して得られるが、中間画像Ｄ３２Ａは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分を持ち、中間画像Ｄ３２Ｂは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分を持ち、高周波数成分画像Ｄ３では中間画像Ｄ３２Ａ、Ｄ３２Ｂがもつ周波数成分が加算されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を持つことになる。

まず、中間画像Ｄ３２Ａの周波数スペクトルについて説明する。
図１１（ａ）〜（ｆ）は中間画像Ｄ３２Ａを生成する際の作用を模式的に表した図であり、図１１（ａ）は高周波数成分画像生成手段１の周波数応答を、図１１（ｂ）は高周波数成分画像Ｄ１（又はＤ１ｈ若しくはＤ１ｖ）の周波数スペクトルを、図１１（ｃ）は画像拡大手段２Ｂ内のゼロ挿入手段２１Ｂによって生成されるゼロ挿入画像Ｄ２１Ｂ（又はＤ２１Ｂｈ若しくはＤ２１Ｂｖ）の周波数スペクトルを、図１１（ｄ）は拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）の周波数スペクトルを、図１１（ｅ）は高周波数成分画像生成手段３２Ａ（又は３２Ａｈ若しくは３２Ａｖ）の周波数応答を、図１１（ｆ）は高周波数成分画像生成手段３２Ａから出力される中間画像Ｄ３２Ａ（又はＤ３２Ａｈ若しくはＤ３２Ａｖ）の周波数スペクトルを表している。

まず、高周波数成分画像生成手段１の周波数応答及び高周波数成分画像Ｄ１の周波数スペクトルについて説明する。高周波数成分画像生成手段１は入力画像Ｄｉｎのうち、主に所定の周波数Ｆｂ以上の成分を通過させるハイパスフィルタを用いて高周波数成分画像Ｄ１を生成するので、図１１（ａ）に示すように高周波数成分画像生成手段１の周波数応答は、周波数が高くなるほど高くなる。図１０（ａ）に示した周波数スペクトルを持つ入力画像Ｄｉｎが図１１（ａ）に示す周波数応答をもつハイパスフィルタを通過することで高周波数成分画像Ｄ１が得られる。図示の例では、高周波数成分画像Ｄ１の周波数スペクトルは図１１（ｂ）に示すように周波数が低い領域（周波数Ｆｂよりも低い領域）では小さくなり、周波数が高い領域（周波数Ｆｂ以上の領域）でのみある程度の強度をもつことになる。

次に画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルについて説明する。先に画像拡大手段２Ａのゼロ挿入手段２１Ａについて説明したのと同様に、ゼロ挿入手段２１Ｂによって折り返しが発生するので、画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルは図１１（ｃ）のようになる。

次に拡大画像Ｄ２Ｂの周波数スペクトルについて説明する。
拡大画像Ｄ２Ｂを生成する際、ゼロ挿入画像Ｄ２１Ｂの高周波数成分側の周波数スペクトル（例えば所定の周波数Ｆｃよりも高い領域の成分）が、低周波数成分通過手段２２Ｂによって取り除かれるので、拡大画像Ｄ２Ｂの周波数スペクトルは図１１（ｄ）に示すように高周波数側の領域（周波数Ｆｃよりも高い領域）Ｒ３２ＡＨが取り除かれたものとなる。

最後に高周波数成分画像生成手段３２Ａの周波数応答及び中間画像Ｄ３２Ａの周波数スペクトルについて説明する。高周波数成分画像生成手段３２Ａは主に所定の周波数Ｆｄ以上の成分を通過させるハイパスフィルタとなっているのでその周波数応答は図１１（ｅ）に示すように周波数が高くなるほど高くなる。中間画像Ｄ３２Ａは、図１１（ｄ）に示した周波数スペクトルをもつ拡大画像Ｄ２Ｂが、図１１（ｅ）に示した周波数応答をもつハイパスフィルタを通過することで生成される。従って中間画像Ｄ３２Ａの周波数応答は図１１（ｆ）に示すように、図１１（ｄ）に示した拡大画像Ｄ２Ｂの周波数スペクトルからさらに低周波数側の領域（周波数Ｆｄよりも低い領域）Ｒ３２ＡＬが取り除かれたものとなる。

従って中間画像Ｄ３２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分 (周波数Ｆｄから周波数Ｆｃまでの周波数成分)を持つことになる。

次に中間画像Ｄ３２Ｂの周波数スペクトルについて説明する。
図１２（ａ）〜（ｃ）は中間画像Ｄ３２Ｂを生成する際の作用を模式的に表した図であり、図１２（ａ）は非線形処理手段３１（又は３１ｈ若しくは３１ｖ）により高周波数成分が生成される様子を、図１２（ｂ）は高周波数成分画像生成手段３２Ｂの周波数応答を、図１２（ｃ）は中間画像Ｄ３２Ｂの周波数スペクトルを表している。

後述するように、非線形処理画像Ｄ３１には入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する高周波数成分が生成される。図１２（ａ）はその様子を模式的に表した図である。図示の例では、周波数Ｆｅ以上の成分が生成されている。中間画像Ｄ３２Ｂは非線形処理画像Ｄ３１が高周波数成分画像生成手段３２Ｂを通過することで生成される。高周波数成分画像生成手段３２Ｂは主に周波数Ｆｆ以上の成分を通過させるハイパスフィルタでありその周波数応答は図１２（ｂ）に示すように、周波数が高くなるほど高くなっている。従って中間画像Ｄ３２Ｂの周波数スペクトルは図１２（ｃ）に示すように、非線形処理画像Ｄ３１の周波数スペクトルから低周波数側の領域Ｒ３２ＢＬが取り除かれたものとなるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当するものとなる。

図１３（ａ）〜（ｅ）、図１４（ａ）〜（ｆ）を用いて中間画像Ｄ３２Ｂの周波数スペクトルについてより詳しく説明を行う。なお、説明を簡単にするため各々１次元信号として記載した。

図１３（ａ）〜（ｅ）は、輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）を表すステップエッジ信号と、該ステップエッジ信号を互いに異なるサンプリング周波数でサンプリングした際に得られる信号及びその高周波数成分信号の信号強度を表している。図１３（ａ）はステップエッジ信号を表す。

図１３（ｂ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１３（ｃ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図１３（ｄ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる信号、図１３（ｅ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表す。
なお、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２より短くなっており、サンプリング間隔を短くすることは画像を拡大することと同じである。
なお、図１３を用いて説明する、ステップエッジ信号に対するサンプリング間隔Ｓ１、Ｓ２と高周波数成分の関係は特定のサンプリング間隔の組み合わせに依存する話ではないが、以下、サンプリング間隔Ｓ２は入力画像Ｄｉｎのサンプリング間隔と同じであり、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２の半分であるとする。

図１３（ｂ）、（ｃ）及び図１３（ｄ）、（ｅ）に示されるようにエッジの中央は高周波数成分信号（図１３（ｃ）、（ｅ））においてゼロクロス点Ｚとして現れる。また、図１３（ｂ）、（ｃ）と図１３（ｄ）、（ｅ）を比較すると明らかなように、ゼロクロス点Ｚの前後での高周波数成分信号の傾きはサンプリング間隔を短くするにつれて（あるいは画像を拡大させるのに応じて）急になり、かつゼロクロス点Ｚの近傍で高周波数成分の局所的な最大値、最小値を与える点の位置もゼロクロス点Ｚに近づく。

従って画像を拡大する際、入力画像Ｄｉｎの高周波数成分を取り出し、その変化をゼロクロス近傍で急峻にし、かつゼロクロス近傍で局所的な最大値、最小値を与える点をゼロクロス点に近づけることで入力画像Ｄｉｎの解像度には含まれない（あるいは入力画像Ｄｉｎのナイキスト周波数より高い）高周波数成分を生成し、これによりエッジの鮮鋭化が可能となる。

図１４（ａ）〜（ｆ）は、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１４（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図１４（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１４（ｃ）は高周波数成分画像Ｄ１、図１４（ｄ）は拡大画像Ｄ２Ｂ、図１４（ｅ）は非線形処理画像Ｄ３１、図１４（ｆ）は中間画像Ｄ３２Ｂを表す。

また、図１４（ａ）〜（ｆ）において座標Ｐ３はエッジ近傍において信号強度が低い値をとる領域（低レベル側）の境界に相当する画素であり、座標Ｐ４は高い値をとる領域（高レベル側）の境界に相当する画素である。

ステップ画像に対応した入力画像Ｄｉｎ、高周波数成分画像Ｄ１については図１３（ａ）〜（ｅ）で説明した通りであり、その説明は省略し、まず拡大画像Ｄ２Ｂの説明を行う。
なお、高周波数成分画像Ｄ１においてゼロクロス点Ｚ近傍での局所的な最大値は、高レベル側の境界に現われるので座標Ｐ４で表される画素に局所的な最大値が現われ、逆に局所的な最小値は、低レベル側の境界に現われるので座標Ｐ３で表される画素に局所的な最小値が現われる。

拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）はゼロ挿入手段２１Ｂで高周波数成分画像Ｄ１に対して（画像Ｄ１の）１画素につき１画素、画素値０をもった画素を挿入した後、低周波数成分通過手段２２Ｂでその低周波数成分を取り出すことで得られる。低周波数成分を取り出すことは高周波数成分画像Ｄ１（図１４（ｃ））について局所領域における平均的な画素値を求めることと同じであり、拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）は、図１４（ｄ）に示したように、高周波数成分画像Ｄ１とほぼ同じ形をした、サンプリング数の増えた信号となる。

なお、画像が拡大されるのでゼロクロス点Ｚと座標Ｐ３で表される画素の間に新たに座標Ｐ１で表される画素が、ゼロクロス点Ｚと座標Ｐ４で表される画素の間に新たに座標Ｐ２で表される画素が現われる。また、拡大画像Ｄ２Ｂにおいてもゼロクロス点Ｚ近傍での局所的な最大値は座標Ｐ４で表される画素に、局所的な最小値は座標Ｐ３で表される画素に現われる。

次に非線形処理画像Ｄ３１の説明を行う。非線形処理画像Ｄ３１は、非線形処理手段３１が拡大画像Ｄ１中のゼロクロス点Ｚを検出し、そのゼロクロス点Ｚの前後の画素の画素値を増幅した結果として出力される。従って非線形処理画像Ｄ３１（又はＤ３１ｈ若しくはＤ３１ｖ）では、座標Ｐ１、Ｐ２で表される画素の画素値が増幅されることになり、非線形処理画像Ｄ３１は図１４（ｅ）に示したような信号となる。

最後に中間画像Ｄ３２Ｂの説明を行う。中間画像Ｄ３２Ｂ（図１４（ｆ））は非線形処理画像Ｄ３１（図１４(ｅ)）のもつ高周波数成分が高周波数成分画像生成手段３２Ｂにて取り出されたものである。高周波数成分は、入力信号から入力信号の低周波数成分（もしくは局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで取り出すことができる。

非線形処理画像Ｄ３１（図１４（ｅ））ではゼロクロス点Ｚの前後の画素（座標Ｐ１、Ｐ２で表される画素）については、その画素値が信号増幅手段３１２ｈ、３１２ｖにて増幅されているため、局所領域における平均的な画素値からの差は大きくなる。一方、ゼロクロス点近傍のその他の画素については、その画素値が増幅されることはないので、局所領域における平均的な画素値からの差は小さな値となる。従って拡大画像Ｄ２Ｂ（図１４（ｄ））と比較すると中間画像Ｄ３２Ｂ（図１４（ｆ））では、ゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点はそれぞれ座標Ｐ２、Ｐ１で表される画素となり、よりゼロクロス点Ｚへと近づく。また、局所的な最大値、最小値を与える点がゼロクロス点Ｚへと近づいた分、ゼロクロス点近傍での信号の変化も急になる。

先に説明したようにこれは中間画像Ｄ３２Ｂに、入力画像Ｄｉｎの解像度には含まれない高周波数成分が含まれることを意味する。言い換えると非線形処理手段３１において、拡大画像Ｄ２Ｂのゼロクロス点前後の画素値を増幅することで、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成したことになる。

また、中間画像Ｄ３２Ｂは非線形処理手段３１において生成した高周波数成分を高周波数成分画像生成手段３２Ｂで取り出すことで生成されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分をもつ画像となる。

拡大画像Ｄ２Ａ、中間画像Ｄ３２Ａ、中間画像Ｄ３２Ｂが持つ周波数成分を図示すると図１５のようになる。拡大画像Ｄ２Ａには主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域ＲＬに対応した周波数成分が含まれている。一方、中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する領域ＲＭに対応した周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する領域ＲＨに対応した周波数成分が含まれている。

中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して高周波数成分画像Ｄ３を生成すれば、高周波数成分画像Ｄ３には、中間画像Ｄ３２Ａが持つ周波数成分と中間画像Ｄ３２Ｂが持つ周波数成分の双方が含まれることになる。中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分が含まれているので、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分が含まれることになる。そして、拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算し出力画像Ｄｏｕｔを得ることで、出力画像Ｄｏｕｔに対して入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を与えることが可能になり、出力画像Ｄｏｕｔの解像感を増すことが出来る。

図１６（ａ）〜（ｄ）は上記の効果を別の観点から説明するための図である。図１６（ａ）はステップエッジ信号を表している。図１６（ａ）に示すエッジではエッジ中央より左側の方が右側より輝度が低くなっている。すなわち、エッジ中央より左側が低レベル側、右側が高レベル側になる。図１６（ｂ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる入力画像Ｄｉｎを表している。

図１６（ｃ）は図１６（ｂ）に示す入力画像Ｄｉｎに対して得られる拡大画像Ｄ２Ａを表している。拡大画像Ｄ２Ａは、入力画像Ｄｉｎに対して補間演算を行って得られるので、サンプリング間隔はＳ２の半分のＳ１になるが、エッジ近傍の信号の変化はなだらかなままであり、低レベル側の境界は座標Ｐ３で表される画素であり、高レベル側の境界は座標Ｐ４で表される画素のままである。

図１６（ｄ）はサンプリング間隔Ｓ１でステップエッジ信号をサンプリングした画像(図１６（ｂ）の画像と同じく符号Ｄｉｎで示す)を表している。低レベル側の境界は座標Ｐ１で表される画素であり、高レベル側の境界は座標Ｐ２で表される画素であり、拡大画像Ｄ２Ａと比較し、エッジ近傍での信号の変化が急になっている。

中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算することで、拡大画像Ｄ２のエッジ近傍での信号の傾きが補正され、図１６（ｄ）に示すステップエッジ信号をサンプリング間隔Ｓ１でサンプリングした画像に近い画像が得られ、画像の解像感を高めることが出来る。

上記の説明の様に、中間画像Ｄ３２Ａ、Ｄ３２Ｂ（あるいは高周波数成分）を拡大画像Ｄ２Ａに加算することで画像の鮮鋭感を増し、画質を向上することが可能である。また、本発明の画像処理装置では、画像の水平方向、垂直方向のそれぞれについて、高周波数成分の加算処理を行っているので任意の方向のエッジについて鮮鋭感を増すことが可能である。すなわち、画像の水平方向については水平方向中間画像Ｄ３２Ａｈ、Ｄ３３Ｂｈによって、垂直方向については垂直方向中間画像Ｄ３２Ａｖ、Ｄ３２Ｂｖによって鮮鋭感を増すことが可能である。

しかしながら、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖあるいは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを単純に加算してしまうと、入力画像に含まれるエッジの方向によって補正量が均一でなくなり、処理後の画像にアーティファクトが生じる。

図１７（ａ）〜（ｋ）〜図２０は、上記アーティファクトが生じる原因と、加算手段２Ｃの効果を説明するための模式図である。図１７（ａ）、図１８（ａ）及び図１９（ａ）に示すように、入力画像として
（イ）水平方向のエッジが含まれている場合（図１７（ａ））、
（ロ）垂直方向のエッジが含まれている場合（図１８（ａ））、
（ハ）斜め方向のエッジが含まれている場合（図１９（ａ））、
を考える。それぞれの場合において、画素の信号を水平方向に左から右へという順に供給されたときの信号（水平方向高周波数成分画像生成手段１ｈで処理の対象となる信号）の強度を図１７（ｂ）、図１８（ｂ）、図１９（ｂ）に示し、画素の信号を垂直方向に上から下へという順に供給されたときの信号（垂直方向高周波数成分画像生成手段１ｖで処理の対象となる信号）の強度を図１７（ｃ）、図１８（ｃ）、図１９（ｃ）に示す。
それぞれの場合におけるエッジを水平成分及び垂直成分に分解して考えると、（イ）、（ロ）では水平成分及び垂直成分のどちらか一方のみの成分でステップエッジが構成されているのに対し、（ハ）では水平成分と垂直成分の両方でステップエッジが構成されている。

図１７（ｄ）、図１８（ｄ）、図１９（ｄ）は、図１７（ｂ）、図１８（ｂ）、図１９（ｂ）に示す入力画像に対して水平方向に処理された水平方向高周波数成分画像Ｄ１ｈの信号強度を表し、図１７（ｅ）、図１８（ｅ）、図１９（ｅ）は、図１７（ｃ）、図１８（ｃ）、図１９（ｃ）に示す入力画像に対して垂直方向に処理された垂直方向高周波数成分画像Ｄ１ｖの信号強度を表す。

エッジの近傍において、水平方向高周波数成分画像Ｄ１ｈの信号強度の絶対値は、（イ）、（ハ）では大きく、（ロ）ではゼロとなる。また、エッジの近傍において、垂直方向高周波数成分画像Ｄ１ｖの信号強度の絶対値は、（イ）ではゼロ、（ロ）、（ハ）では大きくなる。

図１７（ｆ）、図１８（ｆ）、図１９（ｆ）は、図１７（ｄ）、図１８（ｄ）、図１９（ｄ）に示す水平方向高周波数成分画像Ｄ１ｈに対して得られる拡大画像Ｄ２Ｂｈの信号強度を表し、図１７（ｇ）、図１８（ｇ）、図１９（ｇ）は、図１７（ｅ）、図１８（ｅ）、図１９（ｅ）に示す垂直方向高周波数成分画像Ｄ１ｖに対して得られる拡大画像Ｄ２Ｂｖの信号強度を表す。

エッジの近傍において、拡大画像Ｄ２Ｂｈの信号強度の絶対値の特徴は、水平方向高周波数成分画像Ｄ１ｈと、拡大画像Ｄ２Ｂｖの信号強度の絶対値の特徴は、垂直方向高周波数成分画像Ｄ１ｖとそれぞれ同様である。

図１７（ｈ）、図１８（ｈ）、図１９（ｈ）は、図１７（ｆ）、図１８（ｆ）、図１９（ｆ）に示す拡大画像Ｄ２Ｂｈに対して得られる水平方向中間画像Ｄ３２Ａｈの信号強度を表し、図１７（ｉ）、図１８（ｉ）、図１９（ｉ）は、図１７（ｇ）、図１８（ｇ）、図１９（ｇ）に示す拡大画像Ｄ２Ｂｖに対して得られる垂直方向中間画像Ｄ３２Ａｖの信号強度を表す。

図１７（ｆ）、図１８（ｇ）、図１９（ｆ）、（ｇ）に示すような形状の信号が入力信号の際、入力信号にハイパスフィルタをかけて得られる信号の形状は入力信号と略同一になる。また、図１７（ｇ）、図１８（ｆ）に示すように、入力信号の値がぼぼゼロで一定の場合、ハイパスフィルタの出力値もほぼゼロとなり、その形状は入力信号と略同一になる。
従ってエッジの近傍において、水平方向中間画像Ｄ３２Ａｈの信号強度の絶対値の特徴は、水平方向高周波数成分画像Ｄ１ｈと、垂直方向中間画像Ｄ３２Ａｖの信号強度の絶対値の特徴は、垂直方向高周波数成分画像Ｄ１ｖとそれぞれ同様である。

図１７（ｊ）、図１８（ｊ）、図１９（ｊ）は、図１７（ｆ）、図１８（ｆ）、図１９（ｆ）に示す拡大画像Ｄ２Ｂｈに対して得られる水平方向中間画像Ｄ３２Ｂｈの信号強度を表し、図１７（ｋ）、図１８（ｋ）、図１９（ｋ）は、図１７（ｇ）、図１８（ｇ）、図１９（ｇ）に示す拡大画像Ｄ２Ｂｖに対して得られる垂直方向中間画像Ｄ３２Ｂｖの信号強度を表す。

図１７（ｆ）、図１８（ｇ）、図１９（ｆ）、（ｇ）に示すような形状の信号が拡大画像Ｄ２Ｂとして入力された際に得られる中間画像Ｄ３２Ｂについては図１４（ａ）〜（ｆ）で説明したごとくである。また、図１７（ｇ）、図１８（ｆ）に示すように、拡大画像Ｄ２Ｂの画素値がぼぼゼロで一定の場合、中間画像Ｄ３２Ｂの画素値もほぼゼロとなる。結局、エッジの近傍において、水平方向中間画像Ｄ３２Ｂｈの信号強度の絶対値の特徴は、水平方向高周波数成分画像Ｄ１ｈと、垂直方向中間画像Ｄ３２Ｂｖの信号強度の絶対値の特徴は、垂直方向高周波数成分画像Ｄ１ｖとそれぞれ同様である。

以上の関係から、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖを単純加算してしまうと、水平方向及び垂直方向のエッジに比べて、斜め方向のエッジに対する補正量が約２倍程度に大きくなってしまうことがわかる。また、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを単純加算してしまうと、水平方向及び垂直方向のエッジに比べて、斜め方向のエッジに対する補正量が約２倍程度に大きくなってしまうことがわかる。その結果、エッジの方向によって補正強度が不均一になり、斜め方向のエッジでオーバーシュートが大きくなるなどの問題が生じる。

そこで、本発明では、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖあるいは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを単純加算とはせず、これらの画像に対して、エッジの方向に応じた重み係数を乗算してから加算する。先に述べたように、加算手段３４では、加算比率決定手段３３Ｃが備えるエッジ方向推定手段３３Ｃ１において、拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖの絶対値の差分をエッジ方向推定量Ｄ３３Ｃ１として計算している。図２０に、エッジの方向ごとにこれらの関係をまとめた表を示す。図から明らかなようにエッジ方向推定量Ｄ３３Ｃ１はエッジの方向に対応した量であり、水平方向のエッジの近傍では正の値で比較的大きな値となり、斜め方向のエッジの近傍では０に近い値となり、垂直方向のエッジの近傍では負の値であり、その絶対値は比較的大きな値をとる。

なお、エッジ方向推定手段３３Ｃ１において、拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖの絶対値の差分からエッジの方向を推定することにより、エッジの方向を検出するための２次元フィルタなどの手段を別途設ける必要がないため、回路規模の増大を防ぐことができる。

重み係数決定手段３３Ｃ２では、この差分に従って、図９あるいは式（２）に示した関係から、重み係数Ｄ３３Ｃを決定し、式（３）に従って中間画像Ｄ３３Ａを計算している。

具体的には、上記の差分が大きな値であるほど（エッジの方向が水平である場合）重み係数Ｄ３３Ｃを大きくしている。式（３）を見れば、この場合、中間画像Ｄ３３Ａの計算において、水平方向中間画像Ｄ３２Ａｈの寄与が大きくなっていることがわかる。逆に差分の絶対値が大きな負の値であるほど（エッジの方向が垂直である場合）重み係数Ｄ３３Ｃを小さくしている。この場合、中間画像Ｄ３３Ａの計算において、垂直方向中間画像Ｄ３２Ａｖの寄与が大きくなっていることがわかる。
さらに上記の差分が０に近づくほど（エッジの方向が斜めである場合）、重み係数Ｄ３３Ｃはとりうる範囲の中間の値に近づくようにしている。この場合、中間画像Ｄ３３Ａの計算において、水平方向中間画像Ｄ３２Ａｈの寄与はエッジの方向が水平であったときの略半分なるとともに垂直方向中間画像Ｄ３２Ａｖの寄与もエッジの方向が垂直であったときの略半分になっている。従って水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖを単純に加算した時のように斜め方向のエッジにおいて、高周波数成分を加算する強度が倍になるようなことがない。

また、同様の議論は中間画像Ｄ３３Ｂの計算に対しても成り立つため、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを単純に加算した時のように斜め方向のエッジにおいて、高周波数成分を加算する強度が倍になるようなことがない。図１に示す例では、中間画像Ｄ２Ｂの水平方向中間画像Ｄ３２Ｂｈ、垂直方向中間画像Ｄ２Ｂｖを加算する場合にも、加算比率決定手段３３Ｃで決定した重み係数Ｄ３３Ｃを用いている。

なお、重み係数決定手段３３Ｃ２における重み係数Ｄ３３Ｃの決め方は、上記の目的を果たすものであれば図９あるいは式（２）に示される関係に限らず、例えば、滑らかな曲線で定義される関係を用いてもよい。また、そのような曲線を折れ線で近似しても良い。一般化すれば、水平方向成分に対する重み係数Ｄ３３Ｃをエッジ方向推定量Ｄ３３Ｃ１に対して単調増加する特性により決定すれば良い。

さらに、エッジ方向推定手段３３Ｃ１は、エッジ方向推定量Ｄ３３Ｃ１として上記の差分を算出するものとしたが、エッジの方向に相関する量であれば、他の種々の関係式のいずれかにより算出される量を用いてもよい。その場合は、重み係数決定手段３３Ｃ２も、エッジ方向推定量Ｄ３３Ｃ１に応じて上記の目的を果たすように変更して実施する。

まとめると水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖをエッジの方向に応じて決定される重み係数に従って加重加算した中間画像Ｄ３３Ａを生成すればよく、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖをエッジの方向に応じて決定される重み係数Ｄ３３Ｃに従って加重加算した中間画像Ｄ３３Ｂを生成すればよい。

このようにして、実施の形態１による画像処理装置では、エッジの方向に依存したアーティファクトの発生を抑えつつ、解像感の高い出力画像Ｄｏｕｔを得ることとしている。

図２１、図２２に実施の形態１の変形例を示す。図２１に示した変形例では加算比率決定手段３３Ｃが、水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖを用いて重み係数Ｄ３３Ｃを計算する。図２２に示した変形例では加算比率決定手段３３Ｃが、水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖを用いて重み係数Ｄ３３Ｃを計算する。

図１７（ａ）〜図１９（ｋ）によると、エッジの方向と拡大画像Ｄ２Ｂｈ、水平方向中間画像Ｄ３２Ａｈ、水平方向中間画像Ｄ３２Ｂｈの大小関係及びエッジの方向と拡大画像Ｄ２Ｂｖ、垂直方向中間画像Ｄ３２Ａｖ、垂直方向中間画像Ｄ３２Ｂｖの大小関係は略同一である。従って加算比率決定手段３３Ｃ内のエッジ方向推定手段３３Ｃ１が、拡大画像Ｄ２Ｂｈ、Ｄ２Ｂｖの代わりに水平方向中間画像Ｄ３２Ａｈ、垂直方向中間画像Ｄ３２Ａｖあるいは水平方向中間画像Ｄ３２Ｂｈ、垂直方向中間画像Ｄ３２Ｂｖを用いてエッジ方向推定量Ｄ３３Ｃ１を計算することも可能である。すなわち、水平方向中間画像Ｄ３２Ａｈあるいは水平方向中間画像Ｄ３２Ｂｈの各画素の絶対値をｄＨ、垂直方向中間画像Ｄ３２Ａｖあるいは垂直方向中間画像Ｄ３２Ｂｖの各画素値の絶対値をｄＶとし、その差ｄＨ−ｄＶをエッジ方向推定量Ｄ３３Ｃ１とすることができる。また、このとき、重み係数決定手段３３Ｃ２の動作は特に変更しなくてもよい。

以上に説明したように、高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を画像拡大手段２Ｂで拡大した画像拡大手段２Ｂを、高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含んだ高周波数成分画像Ｄ３を得ることができる。そして、加算手段４において、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域の周波数成分を含む拡大画像Ｄ２Ａと入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する領域の周波数成分を含む高周波数成分画像Ｄ３を加算して拡大画像Ｄｏｕｔを生成することとしているので、拡大画像Ｄｏｕｔに対して高周波数成分を十分に与えることができ、解像感のある拡大画像Ｄｏｕｔを得ることができる。

また、高周波数成分画像生成手段１において、水平方向の高周波数成分を取り出した水平方向高周波数成分画像Ｄ１ｈと垂直方向の高周波数成分を取り出した垂直方向高周波数成分画像Ｄ１ｖを生成することで、画像の水平方向、垂直方向のうちの任意の方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当した周波数成分を生成することが可能となる。すなわち、水平方向高周波数成分画像Ｄ１ｈを画像拡大手段２Ｂｈで拡大した拡大画像Ｄ２Ｂｈに対し、水平方向高周波数成分画像生成手段３２Ａｈで水平方向のハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｈが生成され、垂直方向高周波数成分画像Ｄ１ｖを画像拡大手段２Ｂｖで拡大した拡大画像Ｄ２Ｂｖに対し、垂直方向高周波数成分画像生成手段３２Ａｖで垂直方向のハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｖが生成される。
また、水平方向及び垂直方向について異なる特性のハイパスフィルタをかけることで、水平方向と垂直方向とで水平方向と垂直方向とでナイキスト周波数Ｆｎに近い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。

また、拡大画像Ｄ２Ｂｈに対し水平方向非線形処理手段３１ｈで非線形処理を行って生成した非線形処理画像Ｄ３１ｈに対して、水平方向高周波数成分画像生成手段３２Ｂｈでハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｈが生成され、拡大画像Ｄ２Ｂｖに対し垂直方向非線形処理手段３１ｖで非線形処理を行って生成した非線形処理画像Ｄ３１ｖに対して、垂直方向高周波数成分画像生成手段３２Ｂｖでハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｖが生成される。
また、水平方向及び垂直方向について異なる特性の非線形処理及びハイパスフィルタリングを行なうことで、水平方向と垂直方向とでナイキスト周波数Ｆｎより高い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。

そして水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖをエッジの方向に応じて加重加算した中間画像Ｄ３３Ａを生成することでエッジの方向に依存したアーティファクトの発生を抑えている。

また、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖをエッジの方向に応じて加重加算した中間画像Ｄ３３Ｂを生成することでエッジの方向に依存したアーティファクトの発生を抑えている。

なお、入力画像Ｄｉｎから拡大画像Ｄｏｕｔを生成する場合の拡大率を水平方向、垂直方向とも２倍として説明を行ったが拡大率は２倍に限定されるものではない。すなわち、画像拡大手段２Ａにおいて入力画像Ｄｉｎを水平方向、垂直方向ともに所望の倍率に拡大した拡大画像Ｄ２Ａを生成し、高周波数成分生成手段１において入力画像Ｄｉｎをもとに高周波数成分画像Ｄ１を生成し、画像拡大手段２Ｂにおいて、高周波数成分画像Ｄ１を水平方向、垂直方向ともに所望の倍率（画像拡大手段２Ａにおける拡大倍率と同じ倍率）に拡大した拡大画像Ｄ２Ｂを生成し、高周波数成分画像処理手段３において拡大画像Ｄ２Ｂをもとに高周波数成分画像Ｄ３を生成し、加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算し、最終的な拡大画像Ｄｏｕｔを得ればよい。
さらに、先にも述べたように、水平方向の拡大率と垂直方向の拡大率とは同じでなくても良く、また水平方向、垂直方向の一方についてのみ拡大を行なっても良い。

また、上記の説明では水平方向、垂直方向ともゼロクロス点の前後１画素についてのみ増幅率を大きくするとしたが、増幅率の制御の例はこの限りではなく、例えば拡大率に応じて適宜変化させる（拡大率に応じた値に設定する）ことも出来る。

以下、拡大率が上記の例とは異なる場合について、図２３（ａ）〜（ｅ）及び図２４（ａ）〜（ｆ）を参照して説明する。

図２３（ａ）にステップエッジ信号、図２３（ｂ）にステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図２３（ｃ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図２３（ｄ）はステップエッジ信号を間隔Ｓ１の３倍の間隔Ｓ３でサンプリングして得られる信号、図２３（ｅ）はステップエッジ信号を間隔Ｓ３でサンプリングして得られる信号の高周波数成分を表す。なお、図２３（ａ）〜（ｅ）において画素の位置ＰＬ１、ＰＲ１はステップエッジ信号の境界（輝度の明暗が変化する地点）を表す。通常、ステップエッジ信号をサンプリングした画像の高周波数成分を表す信号において、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置は、ステップエッジ信号の境界の位置とほぼ一致する。

図２４（ａ）〜（ｆ）は、拡大率が３倍の場合の、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図２４（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図２４（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図２４（ｃ）は高周波数成分画像Ｄ１、図２４（ｄ）は拡大画像Ｄ２Ｂ、図２４（ｅ）は非線形処理画像Ｄ３１、図２４（ｆ）は中間画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として記載した。

図２４（ｄ）に示すように、拡大画像Ｄ２Ｂにおいてゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置ＰＬ１、ＰＲ１は、拡大画像Ｄ２Ｂにおいてもステップエッジ信号の境界の位置とほぼ一致する。通常、本実施の形態の説明で用いた拡大方法ではこのＰＬ１、ＰＲ１の位置は変化せず、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数が多くなる。また、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂを生成する際の拡大率を大きくすれば（あるいはサンプリング間隔を短くすれば）多くなる。
一方、ステップエッジ信号を短いサンプリング間隔でサンプリングした画像の高周波数成分を表す信号では、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置はよりゼロクロス点Ｚに近づき、ゼロクロス点にＺより近い画素ほど高周波数成分を表す信号の振幅が大きくなる。

従って、ゼロクロス点Ｚ前後の信号のみ増幅して非線形処理画像Ｄ３１を生成する際に、ＰＬ１及びＰＲ１よりゼロクロス点Ｚにより近い画素になるほど振幅が大きくなるよう処理してやることが好ましく、例えば位置ＰＬ１、ＰＲ１よりゼロクロス点Ｚに近い画素ではゼロクロス点Ｚにより近い画素ほど大きな増幅率で、ＰＬ１、ＰＲ１よりゼロクロス点Ｚから遠い画素については増幅率１で拡大画像Ｄ２Ｂの画素値を増幅することで、図２４（ｅ）に示すような、ゼロクロス点Ｚにより近い画素ほど大きな振幅をもった非線形処理画像Ｄ３１を生成することができる。
そしてこのようにして生成した拡大画像Ｄ２Ｂからハイパスフィルタ処理によって高周波数成分のみを取り出すことで図２４（ｆ）に示すようなサンプリング間隔Ｓ１に対応した中間画像Ｄ３２Ｂを生成できる。

以上をまとめると、位置ＰＬ１、ＰＲ１とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂ生成時の拡大率によって異なるので、拡大画像Ｄ２Ｂから非線形処理画像Ｄ３１を生成する際にゼロクロス点Ｚ前後において増幅率を１より大きくする画素の数を画像の拡大率に応じて変えてもよい。また、これらの画素に対する増幅率も画素に応じて、例えば、ゼロクロス点Ｚからの距離に応じて変えてもよい。たとえば、ゼロクロス点Ｚに近い画素ほど増幅率を大きくしてもよい。

また、拡大画像Ｄ２Ａに中間画像Ｄ３３Ｂを加算するだけでも、ナイキスト周波数Ｆｎより高い領域の高周波数成分を与えてやることが出来るので、画像の解像感を増すことは可能である。すなわち、高周波数成分画像処理手段３が高周波数成分画像生成手段３２Ａを含まず、非線形処理画像生成手段３０を含み、加算手段３４が水平垂直加算手段３３Ａ及び加算手段３３Ｄを含まず、加算比率決定手段３３Ｃ、水平垂直加算手段３３Ｂを含む構成であっても良い。
この場合、水平垂直加算手段３３Ｂの出力する中間画像Ｄ３３Ｂが高周波数成分画像Ｄ３として出力される。

また、水平垂直加算手段３３Ａ、３３Ｂの両方を備えることでその効果は最大となるが、一方のみを備える構成でもよい。例えば加算手段３４において水平垂直加算手段３３Ａを備えない構成とする場合、加算手段３３Ｄには水平方向中間画像Ｄ３２Ａｈ、垂直方向中間画像Ｄ３２Ａｖ、中間画像Ｄ３３Ｂが入力される。そして加算手段３３Ｄでは水平方向中間画像Ｄ３２Ａｈ、垂直方向中間画像Ｄ３２Ａｖ、中間画像Ｄ３３Ｂが加算される。逆に水平垂直加算手段３３Ｂを含まない構成も可能であり、その場合、加算手段３３Ｄでは中間画像Ｄ３３Ａ、水平方向中間画像Ｄ３２Ｂｈ、垂直方向中間画像Ｄ３２Ｂｖが加算される。

実施の形態２．
実施の形態１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能である。その場合の処理を図２５、並びに図２６〜図３３を参照して説明する。

図２５は、実施の形態２の画像処理装置を示す。図示の画像処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、これらを接続するバス１４を有する。
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。処理の結果生成される拡大画像Ｄｏｕｔは、インターフェース１５を介して表示部９に供給され、表示部９による表示に用いられる。
以下、ＣＰＵ１１により行なわれる処理を図２６〜図３３を参照して説明する。

図２６は、図２５の画像処理装置で実施される画像処理方法のフローを表す図であり、図２６に示される画像処理方法は、画像拡大ステップＳＴ２Ａ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３、及び加算ステップＳＴ４を有する。

画像拡大ステップＳＴ２Ａは図示しない画像入力ステップにて入力された入力画像Ｄｉｎを、図１の画像拡大手段２Ａと同様の処理で拡大した拡大画像Ｄ２Ａを生成する。

高周波数成分画像生成ステップＳＴ１は、図２７に示すように、水平方向高周波数成分画像生成ステップＳＴ１ｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１ｖを有する。水平方向高周波数成分画像生成ステップＳＴ１ｈでは入力画像Ｄｉｎに対し、図１の水平方向高周波数成分画像生成手段１ｈと同様の処理を行い、水平方向高周波数成分画像Ｄ１ｈを生成する。一方、垂直方向高周波数成分画像生成ステップＳＴ１ｖでは入力画像Ｄｉｎに対し、図１の垂直方向高周波数成分画像生成手段１ｖと同様の処理を行い、垂直方向高周波数成分画像Ｄ１ｖを生成する。

画像拡大ステップＳＴ２Ｂは、図２８に示すように、画像拡大ステップＳＴ２Ｂｈ、及び画像拡大ステップＳＴ２Ｂｖを有する。
画像拡大ステップＳＴ２Ｂｈでは、水平方向高周波数成分画像生成ステップＳＴ１ｈで生成した水平方向高周波数成分画像Ｄ１ｈに対し、図１の画像拡大手段２Ｂｈと同様の処理を行い、拡大画像Ｄ２Ｂｈを生成する。
画像拡大ステップＳＴ２Ｂｖでは、垂直方向高周波数成分画像生成ステップＳＴ１ｖで生成した垂直方向高周波数成分画像Ｄ１ｖに対し、図１の画像拡大手段２Ｂｖと同様の処理を行い、拡大画像Ｄ２Ｂｖを生成する。

次に高周波数成分画像処理ステップＳＴ３の動作を説明する。
高周波数成分画像処理ステップＳＴ３は、図２９に示すように、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ａ、高周波数成分画像補正ステップＳＴ３３Ｂ、及び加算ステップＳＴ３４を有する。
高周波数成分通過ステップＳＴ３２Ａは、水平方向高周波数成分画像生成ステップＳＴ３２Ａｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ａｖを有する。

非線形処理画像生成ステップＳＴ３０は、非線形処理ステップＳＴ３１、高周波数成分画像生成ステップＳＴ３２Ｂを有する。
非線形処理ステップＳＴ３１は水平方向非線形処理ステップＳＴ３１ｈ、及び垂直方向非線形処理ステップＳＴ３１ｖを有する。
高周波数成分画像生成ステップＳＴ３２Ｂは、水平方向高周波数成分画像生成ステップＳＴ３２Ｂｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ｂｖを有する。

加算ステップＳＴ３４は加算比率決定ステップＳＴ３３Ｃ、水平垂直加算ステップＳＴ３３Ａ、ＳＴ３３Ｂ、及び加算ステップＳＴ３３Ｄを有する。

水平方向高周波数成分通過ステップＳＴ３２Ａｈでは、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈに対し、図１の水平方向高周波数成分画像生成手段３２Ａｈと同様の処理を行い、水平方向中間画像Ｄ３２Ａｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ａｖでは、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖに対し、図１の垂直方向高周波数成分画像生成手段３２Ａｖと同様の処理を行い、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして高周波数成分画像生成ステップＳＴ３２Ａでは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが生成される。
このように、高周波数成分通過ステップＳＴ３２Ａでは、図１の高周波数成分画像生成手段３２Ａと同様の動作が行われる。

水平方向非線形処理ステップＳＴ３１ｈは、図３０に示すようにゼロクロス判定ステップＳＴ３１１ｈと信号増幅ステップＳＴ３１２ｈを有する。
水平方向非線形処理ステップＳＴ３１ｈの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｈで、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を特定する。信号増幅ステップＳＴ３１２ｈでは、拡大画像Ｄ２Ｂｈのうち、ゼロクロス判定ステップＳＴ３１１ｈで特定されたゼロクロス点の左右に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｈとして生成する。

垂直方向非線形処理ステップＳＴ３１ｖは、図３１に示すようにゼロクロス判定ステップＳＴ３１１ｖと信号増幅ステップＳＴ３１２ｖを有する。
垂直方向非線形処理ステップＳＴ３１ｖの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｖで、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を特定する。信号増幅ステップＳＴ３１２ｖでは、拡大画像Ｄ２Ｂｖのうち、ゼロクロス判定ステップＳＴ３１１ｖで特定されたゼロクロス点の上下に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｖとして生成する。

そして高周波数成分画像生成ステップＳＴ３１では垂直方向非線形処理画像Ｄ３１ｖから成る非線形処理画像Ｄ３１が生成される。
このように、非線形処理ステップＳＴ３１では、図１の非線形処理手段３１と同様の動作が行われる。

水平方向高周波数成分通過ステップＳＴ３２Ｂｈは、水平方向非線形処理ステップＳＴ３１ｈで生成した水平方向非線形処理画像Ｄ３１ｈにハイパスフィルタをかけ、水平方向中間画像Ｄ３２Ｂｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ｂｖは、垂直方向非線形処理ステップＳＴ３１ｖで生成した垂直方向非線形処理画像Ｄ３１ｖにハイパスフィルタをかけ、垂直方向中間画像Ｄ３２Ｂｖを生成する。
そして高周波数成分画像生成ステップＳＴ３２Ｂでは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが生成される。
このように、高周波数成分通過ステップＳＴ３２Ｂでは、図１の高周波数成分画像生成手段３２Ｂと同様の動作が行われる。

なお、水平方向非線形処理ステップＳＴ３１ｈと水平方向高周波数成分画像生成ステップＳＴ３２Ｂｈで水平方向非線形処理画像生成ステップが構成され、垂直方向非線形処理ステップＳＴ３１ｈと垂直方向高周波数成分画像生成ステップＳＴ３２Ｂｖで垂直方向非線形処理画像生成ステップが構成される。

次に、加算ステップＳＴ３４の詳細な動作について説明する。
まず加算ステップＳＴ３４の、加算比率決定ステップＳＴ３３Ｃにおいて、重み係数Ｄ３３Ｃを求める。ここで加算比率決定ステップＳＴ３３Ｃは図３２に示すようにエッジ方向推定ステップＳＴ３３Ｃ１、重み決定ステップＳＴ３３Ｃ２を含む。
エッジ方向推定ステップＳＴ３３Ｃ１は拡大画像Ｄ２Ｂｈの各画素の絶対値をｄＨ、拡大画像Ｄ２Ｂｖの各画素の絶対値をｄＶで表したとき、この二つの値の差分ｄＨ−ｄＶをエッジ方向推定量Ｄ３３Ｃ１として出力する。この動作は図８のエッジ方向推定手段３３Ｃ１と同じである。
重み決定ステップＤＴ３３Ｃ２は式（２）に従って重み係数Ｄ３３Ｃを計算する。この動作は図８の重み決定手段３３Ｃ２と同じである。

次に水平垂直加算ステップＳＴ３３Ａにおいて水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖを加重加算した中間画像Ｄ３３Ａを求める。この動作の詳細は図１の水平垂直加算手段３３Ａと同様なのでその説明は省略する。

次に水平垂直加算ステップＳＴ３３Ｂにおいて水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを加重加算した中間画像Ｄ３３Ｂを求める。この動作の詳細は図１の水平垂直加算手段３３Ｂと同様なのでその説明は省略する。

最後に加算ステップＳＴ３３Ｄは中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算した高周波数成分画像Ｄ３を生成する。この動作は図１の加算手段３３Ｄと同様にすることができるので詳細な説明は省略する。

以上が加算ステップＳＴ３４の動作であり、その動作は図１の加算手段３４の動作と同等である。

加算ステップＳＴ４は、画像拡大ステップＳＴ２Ａで生成した拡大画像Ｄ２Ａと高周波数成分画像処理ステップＳＴ３で生成した高周波数成分画像Ｄ３を加算した画像Ｄｏｕｔを生成する。そして生成された画像Ｄｏｕｔが図示しないステップによって、最終的な拡大画像として出力される。
この動作は、図１の加算手段４と同じである。

以上が実施の形態２による画像処理方法の動作である。上記の説明から明らかなように実施の形態２による画像処理方法でも実施の形態１による画像処理装置と同様の処理で画像を拡大できるため、実施の形態１による画像処理装置と同様の効果が得られる。また、実施の形態２による画像処理方法にも、実施の形態１による画像処理装置と同様の変形を行うことができ、その場合に得られる効果も実施の形態１による画像処理装置と同様である。例えば、エッジ方向推定ステップＳＴ３３Ｃ１において水平方向中間画像Ｄ３２Ａｈの各画素の絶対値をｄＨ、垂直方向中間画像Ｄ３２Ａｈの各画素の絶対値をｄＶで表したとき、この二つの値の差分ｄＨ−ｄＶをエッジ方向推定量Ｄ３３Ｃ１として出力してもよい。

他にも、高周波数成分画像処理ステップＳＴ３において高周波数成分画像生成ステップＳＴ３２Ａ、水平垂直加算ステップＳＴ３３Ａ、加算ステップＳＴ３３Ｄを除いた構成とすることも可能である。この場合、加算ステップＳＴ３４からは、水平垂直加算ステップＳＴ３３Ｂで生成される中間画像Ｄ３３Ｂが高周波数成分画像Ｄ３として出力される。

上記の例以外にも実施の形態１に加えられる変形は実施の形態２による画像処理方法に加えることが出来る。その場合、実施の形態２による画像処理方法の各構成要素をどのように変形するかは実施の形態１との対比から明らかである。例えば拡大率に応じて非線形処理画像生成ステップＳＴ３０の動作を定めることも可能である。

また、実施の形態２による画像処理装置は実施の形態１で説明した画像処理装置と同様画像表示装置の一部として用いることができるため、実施の形態２による画像処理装置で生成された画像Ｄｏｕｔを表示する画像表示装置も、実施の形態１で説明した画像処理装置と同様の効果が得られる。さらに、実施の形態１及び実施の形態２の画像処理装置を用いて実施される画像処理方法、及びこれを用いた画像表示方法も同様の効果が得られる。

実施の形態３．
図３３は本発明の実施の形態３による画像処理装置の構成を表す図である。実施の形態３による画像処理装置も実施の形態１による画像処理装置と同様、図２に示す画像表示装置の一部として利用可能である。また、実施の形態３による画像処理装置と実施の形態１による画像処理装置と比較した場合、加算手段３４の構成、動作が異なる。従って以下の説明では加算手段３４の構成、動作を中心に説明する。

図３３の画像処理装置の加算手段３４は加算比率計算手段３３ＣＡ、３３ＣＢ、水平垂直加算手段３３Ａ、水平垂直加算手段３３Ｂ、及び加算手段３３Ｃを備える。

図３４及び図３６は加算比率計算手段３３ＣＡ、３３ＣＢの構成を示し、図３５及び図３７は加算比率計算手段３３ＣＡ、３３ＣＢの動作を示す。

まず、図３４及び図３５を用いて加算比率決定手段３３ＣＡの構成及び動作について説明する。
図３４は加算比率決定手段３３ＣＡの構成例を表す図であり、加算比率決定手段はエッジ方向推定手段３３ＣＡ１、及び重み係数決定手段３３ＣＡ２を備える。

エッジ方向推定手段３３ＣＡ１は、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖの二つの信号からエッジ方向（角度）に対応する量としてのエッジ方向推定量Ｄ３３ＣＡ１を算出する。例えば、水平方向中間画像Ｄ３２Ａｈの各画素値の絶対値をｄＨ、垂直方向中間画像Ｄ３２Ａｖの各画素値の絶対値をｄＶとしたとき、これら二つの値の差分ｄＨ−ｄＶを、エッジ方向推定量Ｄ３３ＣＡ１として出力する。

重み係数決定手段３３ＣＡ２は、エッジ方向推定量Ｄ３３ＣＡ１に基づき、重み係数Ｄ３３ＣＡを決定する。図３５は、エッジ方向推定量Ｄ３３ＣＡ１に対する、重み係数Ｄ３３ＣＡの決め方の一例を表す図である。図３５に示した例では、重み係数Ｄ３３ＣＡは、

により算出している。ただし、Ｋβは図３５における直線の傾き（従って（ｄＨ−ｄＶ）の増加に対するＤ３３ＣＡの変化の割合）を表す正の定数である。
以上が、加重比率決定手段３３ＣＡの動作である。

次に、図３６及び図３７を用いて加算比率決定手段３３ＣＢの構成及び動作について説明する。
図３６は加算比率決定手段３３ＣＢの構成を表す図であり、加算比率決定手段はエッジ方向推定手段３３ＣＢ１、及び重み係数決定手段３３ＣＢ２を備える。

エッジ方向推定手段３３ＣＢ１は、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖの二つの信号からエッジ方向（角度）に対応する量としてのエッジ方向推定量Ｄ３３ＣＢ１を算出する。例えば、水平方向中間画像Ｄ３２Ｂｈの各画素値の絶対値をｄＨ、垂直方向中間画像Ｄ３２Ｂｖの各画素値の絶対値をｄＶとしたとき、これら二つの値の差分ｄＨ−ｄＶを、エッジ方向推定量Ｄ３３ＣＢ１として出力する。

重み係数決定手段３３ＣＢ２は、エッジ方向推定量Ｄ３３ＣＢ１に基づき、重み係数Ｄ３３ＣＢを決定する。図３７は、エッジ方向推定量Ｄ３３ＣＢ１に対する、重み係数Ｄ３３ＣＢの決め方の一例を表す図である。図３７に示した例では、重み係数Ｄ３３ＣＢは、

により算出している。ただし、Ｋγは図３５における直線の傾き（従って（ｄＨ−ｄＶ）の増加に対するＤ３３ＣＢの変化の割合）を表す正の定数である。
以上が、加重比率決定手段３３ＣＢの動作である。

次に水平垂直加算手段３３Ａの動作について説明する。水平垂直加算手段３３Ａは水平方向中間画像Ｄ３２Ａｈ、垂直方向中間画像Ｄ３２Ａｖの加重加算を行い、その結果を中間画像Ｄ３３Ａとして出力する。なお、加重加算の割合として重み係数Ｄ３３ＣＡが利用される。すなわち、水平垂直加算手段３３Ａで行われる加重加算は

と表される。

次に水平垂直加算手段３３Ｂの動作について説明する。水平垂直加算手段３３Ｂは水平方向中間画像Ｄ３２Ｂｈ、垂直方向中間画像Ｄ３２Ｂｖの加重加算を行い、その結果を中間画像Ｄ３３Ｂとして出力する。なお、加重加算の割合として重み係数Ｄ３３ＣＢが利用される。すなわち、水平垂直加算手段３３Ｂで行われる加重加算は

と表される。

加算手段３３Ｄの動作は実施の形態１と同様なので説明を省略する。

以上が実施の形態３による画像処理装置の動作である。

加算比率決定手段３３ＣＡ、３３ＣＢの動作は実施の形態１において説明した変形例における加算比率決定手段３３Ｃの動作と同じであるので、実施の形態３における加算手段３４でも実施の形態１における加算手段３４と同様の効果をもつことは明らかである。よって実施の形態３による画像処理装置でも実施の形態１による画像処理装置と同様の効果を得ることが出来る。

さらに、実施の形態１について説明した変形例の説明は実施の形態３にも当てはまる。

実施の形態４．
図３８、図３９及び図４０は本発明の実施の形態４による画像処理方法の一部を表す図である。実施の形態４による画像処理方法は実施の形態２による画像処理方法とほぼ同様のフローに従って動作する。すなわち実施の形態４による画像処理方法は、図２６、図２７、図２８及び図３８、図３９及び図４０に従って動作する。ここで図２６、図２７、図２８に示す動作は実施の形態２と同様なのでその説明は省略する。

図３８を用いて実施の形態４による画像処理方法の、高周波数成分画像処理ステップＳＴ３の動作について説明する。高周波数成分画像処理ステップＳＴ３は、図３８に示すように、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、及び加算ステップＳＴ３４を有する。ここで高周波数成分通過ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０の動作は実施の形態２と同様なのでその説明は省略し、加算ステップＳＴ３４の動作について説明する。

加算ステップＳＴ３４は加算比率決定ステップＳＴ３３ＣＡ、ＳＴ３３ＣＢ、水平垂直加算ステップＳＴ３３Ａ、ＳＴ３３Ｂ、及び加算ステップＳＴ３３Ｄを有する。

まず加算ステップＳＴ３４の加算比率決定ステップＳＴ３３ＣＡにおいて、重み係数Ｄ３３ＣＡを求める。ここで加算比率決定ステップＳＴ３３ＣＡは図３９に示すようにエッジ方向推定ステップＳＴ３３ＣＡ１、及び重み決定ステップＳＴ３３ＣＡ２を含む。
エッジ方向推定ステップＳＴ３３ＣＡ１は水平方向中間画像Ｄ３２Ａｈの各画素の絶対値をｄＨ、垂直方向中間画像Ｄ３２Ａｖの各画素の絶対値をｄＶで表したとき、この二つの値の差分ｄＨ−ｄＶをエッジ方向推定量Ｄ３３ＣＡ１として出力する。この動作は図３４のエッジ方向推定手段３３ＣＡ１と同じである。
重み決定ステップＤＴ３３ＣＡ２は式（５）に従って重み係数Ｄ３３ＣＡを計算する。この動作は図３４の重み決定手段３３ＣＡ２と同じである。

次に加算比率決定ステップＳＴ３３ＣＢにおいて、重み係数Ｄ３３ＣＢを求める。ここで加算比率決定ステップＳＴ３３ＣＢは図４０に示すようにエッジ方向推定ステップＳＴ３３ＣＢ１、及び重み決定ステップＳＴ３３ＣＢ２を含む。
エッジ方向推定ステップＳＴ３３ＣＢ１は水平方向中間画像Ｄ３２Ｂｈの各画素の絶対値をｄＨ、垂直方向中間画像Ｄ３２Ｂｖの各画素の絶対値をｄＶで表したとき、この二つの値の差分ｄＨ−ｄＶをエッジ方向推定量Ｄ３３ＣＢ１として出力する。この動作は図３６のエッジ方向推定手段３３ＣＢ１と同じである。
重み決定ステップＤＴ３３ＣＢ２は式（６）に従って重み係数Ｄ３３ＣＢを計算する。この動作は図３６の重み決定手段３３ＣＢ２と同じである。

次に水平垂直加算ステップＳＴ３３Ａにおいて水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖを加重加算した中間画像Ｄ３３Ａを求める。この動作の詳細は図３３の水平垂直加算手段３３Ａと同様なのでその説明は省略する。

次に水平垂直加算ステップＳＴ３３Ｂにおいて水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖを加重加算した中間画像Ｄ３３Ｂを求める。この動作の詳細は図３３の水平垂直加算手段３３Ｂと同様なのでその説明は省略する。

最後に加算ステップＳＴ３３Ｄは中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算した高周波数成分画像Ｄ３を生成する。この動作は図３３の加算手段３３Ｄと同様にすることができるので詳細な説明は省略する。

以上が加算ステップＳＴ３４の動作であり、その動作は図３３の加算手段３４の動作と同等である。

実施の形態４による画像処理方法の動作は実施の形態３による画像処理装置と同様であるので、実施の形態３による画像処理装置と同様の効果を得ることが出来る。
さらに、実施の形態２について説明した変形例の説明は実施の形態４にも当てはまる。

１ 高周波数成分画像生成手段、 ２Ａ 画像拡大手段、 ２Ｂ 画像拡大手段、 ３ 高周波数成分画像処理手段、 ４ 加算手段、 ３２Ａ 高周波数成分画像生成手段、 ３０ 非線形画像生成手段、 ３３Ａ 高周波数成分画像補正手段、 ３３Ｂ 高周波数成分画像補正手段、 ３４ 加算手段、 Ｄｉｎ 入力画像、 Ｄ１ 高周波数成分画像、 Ｄ２Ａ 拡大画像、 Ｄ２Ｂ 拡大画像、 Ｄ３３Ｃ 重み係数、 Ｄ３２Ａ 中間画像、 Ｄ３２Ｂ 中間画像、 Ｄ３３Ａ 中間画像、 Ｄ３３Ｂ 中間画像、 Ｄ３ 高周波数成分画像、 Ｄｏｕｔ 出力画像。

Claims (23)

1. 入力画像を拡大する画像処理装置において、
   前記入力画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
   前記入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
   前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
   前記第２の拡大画像から第２の高周波数成分画像を生成する高周波数成分画像処理手段と、
   前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段を有する画像処理装置において、
   第１の高周波数成分画像生成手段は、
   前記入力画像の水平方向の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
   前記入力画像の垂直方向の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段とを備え、
   前記第２の拡大画像は、
   前記第１の水平方向高周波数成分画像を拡大した第３の拡大画像と
   前記第１の垂直方向高周波数成分画像を拡大した第４の拡大画像から成り、
   前記高周波数成分画像処理手段は、
   前記第３の拡大画像の高周波数成分を取り出した第１の水平方向中間画像を生成する第２の水平方向高周波数成分画像生成手段と
   前記第４の拡大画像の高周波数成分を取り出した第１の垂直方向中間画像を生成する第２の垂直方向高周波数成分画像生成手段と、
   前記第３の拡大画像に非線形処理を行った第２の水平方向中間画像を生成する水平方向非線形処理画像生成手段と、
   前記第４の拡大画像に非線形処理を行った第２の垂直方向中間画像を生成する垂直方向非線形処理画像生成手段と、
   前記第１の水平方向中間画像と前記第１の垂直方向中間画像を加重加算した第３の中間画像を生成する第１の加重加算手段と、
   前記第２の水平方向中間画像と前記第２の垂直方向中間画像を加重加算した第４の中間画像を生成する第２の加重加算手段と、
   前記第３の中間画像と前記第４の中間画像を加算する第２の加算手段を含む
   ことを特徴とする画像処理装置。
2. 入力画像を拡大する画像処理装置において、
   前記入力画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
   前記入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
   前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
   前記第２の拡大画像から第２の高周波数成分画像を生成する高周波数成分画像処理手段と、
   前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段を有する画像処理装置において、
   第１の高周波数成分画像生成手段は、
   前記入力画像の水平方向の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
   前記入力画像の垂直方向の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段とを備え、
   前記第２の拡大画像は、
   前記第１の水平方向高周波数成分画像を拡大した第３の拡大画像と
   前記第１の垂直方向高周波数成分画像を拡大した第４の拡大画像から成り、
   前記高周波数成分画像処理手段は、
   前記第３の拡大画像に非線形処理を行った第２の水平方向中間画像を生成する水平方向非線形処理画像生成手段と、
   前記第４の拡大画像に非線形処理を行った第２の垂直方向中間画像を生成する垂直方向非線形処理画像生成手段と、
   前記第２の水平方向中間画像と前記第２の垂直方向中間画像を加重加算した第４の中間画像を生成する第２の加重加算手段を含む
   ことを特徴とする画像処理装置。
3. 前記高周波数成分画像処理手段は、前記第１の拡大画像に含まれるエッジの角度に応じて重み係数を求める加算比率決定手段をさらに含み、
   前記第１の加重加算手段及び前記第２の加重加算手段の各々は、前記重み係数に基づいて前記加重加算を行う
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記高周波数成分画像処理手段は、前記第１の拡大画像に含まれるエッジの角度に応じて重み係数を求める加算比率決定手段をさらに含み、
   前記第２の加重加算手段は前記重み係数に基づいて前記加重加算を行う
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記加算比率決定手段は、
   前記第３の拡大画像と前記第４の拡大画像から前記第１の拡大画像に含まれるエッジの角度を求めることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記加算比率決定手段は、
   前記第１の水平方向中間画像と前記第１の垂直方向中間画像から前記第１の拡大画像に含まれるエッジの角度を求めることを特徴とする請求項３に記載の画像処理装置。
7. 前記加算比率決定手段は、
   前記第２の水平方向中間画像と前記第２の垂直方向中間画像から前記第１の拡大画像に含まれるエッジの角度を求めることを特徴とする請求項４に記載の画像処理装置。
8. 前記水平方向非線形処理画像生成手段は、
   前記第３の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する水平方向非線形処理手段を含み、
   前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の水平方向中間画像とする
   ことを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記水平方向非線形処理手段において、前記第３の拡大画像の画素値を画素に応じて変化する増幅率で増幅することを特徴とする請求項８に記載の画像処理装置。
10. 前記水平方向非線形処理手段は、
    前記第３の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
    前記水平方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第３の拡大画像の画素値を増幅する水平方向信号増幅手段を有する
    ことを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記水平方向信号増幅手段は、
    前記水平方向ゼロクロス判定手段で判定されたゼロクロス点を含む第１の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の領域は前記第２の画像拡大手段における拡大率に応じて定められることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１の領域に存在する画素に対する増幅率は画素に応じて定められることを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記垂直方向非線形処理画像生成手段は、
    前記第４の拡大画像に対して非線形処理を行った第２の非線形処理画像を生成する垂直方向非線形処理手段を含み、
    前記第２の非線形処理画像から高周波数成分を取り出し、前記第２の垂直方向中間画像とする
    ことを特徴とする請求項１乃至１３のいずれかに記載の画像処理装置。
15. 前記垂直方向非線形処理手段において、前記第４の拡大画像の画素値を画素に応じて変化する増幅率で増幅することを特徴とする請求項１４に記載の画像処理装置。
16. 前記垂直方向非線形処理手段は、
    前記第４の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
    前記垂直方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第４の拡大画像の画素値を増幅する垂直方向信号増幅手段を有する
    ことを特徴とする請求項１４又は１５に記載の画像処理装置。
17. 前記垂直方向信号増幅手段は、
    前記垂直方向ゼロクロス判定手段で判定されたゼロクロス点を含む第２の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記第２の領域は前記第２の画像拡大手段における拡大率に応じて定められることを特徴とする請求項１７に記載の画像処理装置。
19. 前記第２の領域に存在する画素に対する増幅率は画素に応じて定められることを特徴とする請求項１７又は１８に記載の画像処理装置。
20. 請求項１乃至１９のいずれかに記載の画像処理装置を備える画像表示装置。
21. 入力画像を拡大する画像処理方法において、
    前記入力画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
    前記入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
    前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
    前記第２の拡大画像から第２の高周波数成分画像を生成する高周波数成分画像処理ステップと、
    前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップを有する画像処理方法において、
    第１の高周波数成分画像生成ステップは、
    前記入力画像の水平方向の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成ステップと、
    前記入力画像の垂直方向の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成ステップとを備え、
    前記第２の拡大画像は、
    前記第１の水平方向高周波数成分画像を拡大した第３の拡大画像と
    前記第１の垂直方向高周波数成分画像を拡大した第４の拡大画像から成り、
    前記高周波数成分画像処理ステップは、
    前記第３の拡大画像の高周波数成分を取り出した第１の水平方向中間画像を生成する第２の水平方向高周波数成分画像生成ステップと、
    前記第４の拡大画像の高周波数成分を取り出した第１の垂直方向中間画像を生成する第２の垂直方向高周波数成分画像生成ステップと、
    前記第３の拡大画像に非線形処理を行った第２の水平方向中間画像を生成する水平方向非線形処理画像生成ステップと、
    前記第４の拡大画像に非線形処理を行った第２の垂直方向中間画像を生成する垂直方向非線形処理画像生成ステップと、
    前記第１の水平方向中間画像と前記第１の垂直方向中間画像を加重加算した第３の中間画像を生成する第１の加重加算ステップと、
    前記第２の水平方向中間画像と前記第２の垂直方向中間画像を加重加算した第４の中間画像を生成する第２の加重加算ステップと、
    前記第３の中間画像と前記第４の中間画像を加算する第２の加算ステップを含む
    ことを特徴とする画像処理方法。
22. 入力画像を拡大する画像処理方法において、
    前記入力画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
    前記入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
    前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
    前記第２の拡大画像から第２の高周波数成分画像を生成する高周波数成分画像処理ステップと、
    前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップを有する画像処理方法において、
    第１の高周波数成分画像生成ステップは、
    前記入力画像の水平方向の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成ステップと、
    前記入力画像の垂直方向の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成ステップ手段とを備え、
    前記第２の拡大画像は、
    前記第１の水平方向高周波数成分画像を拡大した第３の拡大画像と、
    前記第１の垂直方向高周波数成分画像を拡大した第４の拡大画像から成り、
    前記高周波数成分画像処理ステップは、
    前記第３の拡大画像に非線形処理を行った第２の水平方向中間画像を生成する水平方向非線形処理画像生成手段と、
    前記第４の拡大画像に非線形処理を行った第２の垂直方向中間画像を生成する垂直方向非線形処理画像生成ステップと、
    前記第２の水平方向中間画像と前記第２の垂直方向中間画像を加重加算した第４の中間画像を生成する第２の加重加算ステップを含む
    ことを特徴とする画像処理方法。
23. 請求項２１又は２２に記載の画像処理方法で生成された画像を表示することを特徴とする画像表示装置。

Images