JP5383385B2 - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents

Description

本発明は、デジタル化された画像を拡大する画像処理装置及び方法、並びに画像表示装置及び方法に関するものであり、画像を拡大する際に、高周波数成分を生成することによって、解像感の高い拡大画像を得るものである。

一般に画像処理装置は、出力画像の画素数が入力画像の画素数より多い場合、画像を拡大処理しなければならない。従来の画像処理装置では注目する画素近傍の画素がもつ画素値を重み付け加算して画像を拡大していた。また、カラー画像に対する処理では輝度信号に画像強調処理を行っている。

例えば特許文献１に記載された画像処理装置においては、各シフトレジスタからそれぞれ出力される主走査方向の隣り合った５個の画素データに所定の重み付け定数を乗算し、各画素データにおける乗算結果を加算するための演算回路を備え、画像データの拡大処理を行う場合に、演算回路での演算結果をこれらの画素データの中央の画素データとしてセレクタにて選択して出力している。

さらに特許文献２に記載された鮮鋭度強調回路においては、入力した映像信号の輝度成分に対して、その輝度成分の最も高い高域の成分が含まれる周波数帯を中心として強調する第１の強調回路と、第１の強調回路よりも低い中心周波数で映像信号の輝度成分を強調する第２の強調回路を備えている。

特開平６−３１１３４６号公報 特開２０００−１１５５８２号公報

注目する画素近傍の画素がもつ画素値を重み付け加算することは入力画像の低周波数成分のみを通過させるローパスフィルタ処理となる。従って、上記の従来の技術では、拡大画像に対して高周波数成分を十分に与えることが出来ないため、拡大画像の解像感が失われるという問題があった。

また、入力した映像信号の輝度成分に対して、強調処理を行う場合、有彩色のエッジ付近で色が白く（あるいは薄く）なったり、エッジ付近が黒くなったりすることがある。

本発明は上述のような課題を解消するためになされたもので、本発明の画像処理装置は、
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する色差画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第１の補正成分生成手段が、前記第１の中間画像の各画素値を前記輝度色差加算画像の画素値と前記第１の中間画像の画素値の符号に応じて求められる第１の増幅率によって増幅した第３の中間画像を出力する第１の高周波数成分画像補正手段をさらに備え、
前記第３の中間画像が前記第１の補正成分生成手段の出力として用いられる
ことを特徴とする。

本発明によれば、カラー画像において有彩色のエッジ付近で色が白く（あるいは薄く）なったり、エッジ付近が黒くなったりすることなく、解像感のある拡大画像を得ることができる。

本発明の実施の形態１の画像処理装置の構成を示すブロック図である。 実施の形態１の画像処理装置を用いた画像表示装置の構成例を示すブロック図である。 図１の輝度画像拡大手段６の構成をより詳細に示すブロック図である。 （ａ）〜（ｄ）は、画像拡大手段２Ａの動作を示す画素配置図である。 画像拡大手段２Ａの構成例を示すブロック図である。 画像拡大手段２Ｂの構成例を示すブロック図である。 水平方向非線形処理手段３１ｈの構成例を示すブロック図である。 垂直方向非線形処理手段３１ｖの構成例を示すブロック図である。 高周波数成分画像補正手段３３Ａの構成例を示すブロック図である。 （ａ）〜（ｄ）は、高周波数成分画像補正手段３３Ａにおける画素値と増幅率の関係の一例を示す図である。 高周波数成分画像補正手段３３Ｂの構成例を示すブロック図である。 （ａ）〜（ｄ）は、高周波数成分画像補正手段３３Ｂにおける画素値と増幅率の関係の一例を示す図である。 （ａ）〜（ｄ）は、拡大画像Ｄ２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。 （ａ）〜（ｆ）は、中間画像Ｄ３２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。 （ａ）〜（ｃ）は、中間画像Ｄ３２Ｂを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。 （ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。 （ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための、信号強度を示す図である。 （ａ）〜（ｄ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果を説明するための、信号強度を示す図である。 （ａ）及び（ｂ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果及び不具合の説明するための信号強度を示す図である。 拡大画像Ｄｏｕｔの周波数スペクトルの説明図である。 （ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。 （ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための信号の強度を示す図である。 本発明の実施の形態２の画像処理装置の構成を示すブロック図である。 実施の形態２の画像処理方法を示すフロー図である。 高周波数成分画像生成ステップＳＴ１を示すフロー図である。 画像拡大ステップＳＴ２Ｂを示すフロー図である。 高周波数成分画像処理ステップＳＴ３を示すフロー図である。 水平方向非線形処理ステップＳＴ３１ｈを示すフロー図である。 垂直方向非線形処理ステップＳＴ３１ｖを示すフロー図である。 高周波数成分画像補正ステップＳＴ３３Ａを示すフロー図である。 高周波数成分画像補正ステップＳＴ３３Ｂを示すフロー図である。 本発明の実施の形態３の画像処理装置の構成を示すブロック図である。 本発明の実施の形態４による高周波数成分画像処理ステップＳＴ３を示すフロー図である。

実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、例えば図２に示す画像表示装置の一部として用いることができる。ここで図２に示す画像表示装置は図１に示す画像処理装置を内部に含む画像処理装置Ｕ１及び表示部９を備えており、画像処理装置Ｕ１において画像ＤＯＲＧに対する出力として得られた画像ＤＵ１が表示部９に表示される。

画像ＤＵ１は輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）に分かれている（以下、ＹＣｂＣｒ形式と呼ぶこともある）ので、通常、表示部９において表示される前に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号（以下ＲＧＢ形式と呼ぶこともある）に変換される。ＹＣｂＣｒ形式とＲＧＢ形式の間の変換は例えば国際電気通信連合による勧告ＩＴＵ−Ｒ．ＢＴ６０１等に記載されており、ＲＧＢ形式からＹＣｂＣｒ形式への変換は
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
…（１）
により行なわれ、ＹＣｂＣｒ形式からＲＧＢ形式への変換は
Ｒ＝１．０００Ｙ＋１．４０２Ｃｒ＋０．０００Ｃｂ
Ｇ＝１．０００Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ
Ｂ＝１．０００Ｙ＋０．０００Ｃｒ＋１．７７２Ｃｂ
…（２）
により行なわれる。なお、式（１）、式（２）に示した式は一例であって、ＹＣｂＣｒ形式とＲＧＢ形式の間の変換方法はこれに限定されない。また、入力画像が８ビットデータの場合、Ｃｒ、Ｃｂの値は通常−１２８以上１２７以下の範囲に、Ｒ、Ｇ、Ｂの値は０以上２５５以下の範囲に、それぞれ丸め込まれる。

実施の形態１による画像処理装置は、入力カラー画像ＩＭＧＩＮを入力とし、出力カラー画像ＩＭＧＯＵＴを出力とする。入力カラー画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力カラー画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。

図示の画像処理装置は、輝度画像拡大手段６、ＣＢ画像拡大手段（第１の色差画像拡大手段）２Ｃ、ＣＲ画像拡大手段（第２の色差画像拡大手段）２Ｄ、及び輝度色差加算手段５を有する。

ＣＢ画像拡大手段２Ｃは入力ＣＢ画像ＣＢＩＮを拡大した画像（ＣＢ拡大画像）Ｄ２Ｃを出力する。

ＣＲ画像拡大手段２Ｄは入力ＣＲ画像ＣＲＩＮを拡大した画像（ＣＲ拡大画像）Ｄ２Ｄを出力する。

そして、ＣＢ拡大画像Ｄ２Ｃが出力ＣＢ画像ＣＢＯＵＴとして出力され、ＣＲ拡大画像Ｄ２Ｄが出力ＣＲ画像ＣＲＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力カラー画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。

なお、ＣＢ画像拡大手段２Ｃ及びＣＲ画像拡大手段２Ｄの動作、構成は例えば後述する画像拡大手段２Ａの動作、構成と同じにすることができる。

輝度色差加算手段５は各画素について後述する処理にて生成される拡大画像Ｄ２Ａの画素値と、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値と、ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値とを加重加算し、輝度色差加算画像Ｄ５を生成する。即ち、拡大画像Ｄ２Ａ、ＣＢ拡大画像Ｄ２Ｃ、及びＣＲ拡大画像Ｄ２Ｄを用いて以下に式により、輝度色差加算画像Ｄ５を求める。
Ｄ５＝Ｋｙ・Ｄ２Ａ＋Ｋｃｒ・｜Ｄ２Ｃ｜＋Ｋｃｂ・｜Ｄ２Ｄ｜ …（３）
ここでＫｙ、Ｋｃｒ、Ｋｃｂは重み付けのための係数である。

輝度画像拡大手段６は、画像拡大手段２Ａと、高周波数成分画像生成手段１と、画像拡大手段２Ｂと、高周波数成分画像処理手段３と、加算手段４とを備え、画像Ｄ４と拡大画像Ｄ２Ａを出力する。

なお、特別の理由がない限り、輝度画像拡大手段６、ＣＢ画像拡大手段２Ｃ、及びＣＲ画像拡大手段２Ｄでの拡大率は同じである。

図３は輝度画像拡大手段６の構成の詳細を表す図であり、入力輝度画像ＹＩＮが入力画像Ｄｉｎとして、出力輝度画像ＹＯＵＴが出力画像Ｄｏｕｔとして表されている。以下、画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の構成をより詳細に説明する。

画像拡大手段２Ａは、入力画像Ｄｉｎを拡大して拡大画像Ｄ２Ａを生成する。
高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分のみを取り出して高周波数成分画像Ｄ１を生成する。

画像拡大手段２Ｂは、高周波数成分画像生成手段１から出力される高周波数成分画像Ｄ１を拡大して拡大画像（高周波数成分拡大画像）Ｄ２Ｂを生成する。
高周波数成分画像処理手段３は、画像拡大手段２Ｂから出力される拡大画像Ｄ２Ｂに対して後述の処理を行い、高周波数成分画像（高周波数成分処理画像）Ｄ３を生成する。

加算手段４は、画像拡大手段２Ａから出力される拡大画像Ｄ２Ａに、高周波数成分画像処理手段３から出力される高周波数成分画像Ｄ３を加算して画像Ｄ４とし、画像Ｄ４を最終的な輝度拡大画像、即ち出力画像Ｄｏｕｔとして出力する。加算手段４の出力は、出力ＣＢ画像ＣＢＯＵＴ及び出力ＣＲ画像ＣＲＯＵＴとともに、例えば図２に示す画像表示装置の表示部９に画像ＤＵ１として供給され、表示部９による画像表示に用いられる。

なお、本明細書において、拡大、高周波数成分生成、高周波数成分処理などの処理は「画像」に対して行なわれる旨記載されるが、具体的には、画像を表すデジタルデータに対して行われる。また、「画像」との記載も具体的には「画像データ」を意味する場合がある。

画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の詳細な動作については後述するが、高周波数成分画像Ｄ３のもつ周波数成分は拡大画像Ｄ２Ａがもつ周波数成分より高い周波数帯域のものとなる。従って加算手段４において拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算することで、高周波数成分を多く含んだ拡大画像Ｄｏｕｔを得ることができる。

画像拡大手段２Ａは、水平方向及び垂直方向の少なくとも一方に画像を拡大するものであり、例えば、水平方向及び垂直方向に同じ倍率で拡大を行なうが、代わりに、水平方向及び垂直方向に異なる倍率で拡大を行なうものであっても良い。また、水平方向及び垂直方向の一方にのみ拡大を行なうものであっても良く、例えば入力画像に対して表示画面が横長である場合に水平方向にのみ拡大を行なうことがある。

高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分（所定の周波数Ｆｂよりも高い成分）を取り出して、高周波数成分画像Ｄ１を生成するものであり、後述の方法でそれぞれ水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖを生成する水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖを備える。水平方向高周波数成分画像Ｄ１ｈと垂直方向高周波数成分画像Ｄ１ｖとで高周波数成分画像Ｄ１が構成されている。

画像拡大手段２Ｂは、水平方向高周波数成分画像Ｄ１ｈを拡大した拡大画像Ｄ２Ｂｈを生成する画像拡大手段２Ｂｈ及び垂直方向高周波数成分画像Ｄ１ｖを拡大した拡大画像Ｄ２Ｂｖを生成する画像拡大手段２Ｂｖを備える。拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖとで拡大画像Ｄ２Ｂが構成されている。

画像拡大手段２Ａが水平方向及び垂直方向の両方向に拡大を行なう場合、画像拡大手段２Ｂｈは、水平方向高周波数成分画像Ｄ１ｈを水平方向及び垂直方向の両方向に拡大し、画像拡大手段２Ｂｖは、垂直方向高周波数成分画像Ｄ１ｖを水平方向及び垂直方向の両方向に拡大する。画像拡大手段２Ｂｈ及び２Ｂｖによる、水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖの拡大は、画像拡大手段２Ａによる拡大と水平方向及び垂直方向の各々について同じ倍率で行なわれる。

高周波数成分画像処理手段３は、第１の補正成分生成手段３Ａと、第２の補正成分生成手段３Ｂと、加算手段３４を備えている。第１の補正成分生成手段３Ａは、高周波数成分画像生成手段３２Ａと、高周波数成分画像補正手段３３Ａとを備え、第２の補正成分生成手段３Ｂは、非線形処理画像生成手段３０と、高周波数成分画像補正手段３３Ｂとを備える。

高周波数成分画像生成手段３２Ａは、拡大画像Ｄ２Ｂの高周波数成分（所定の周波数Ｆｄよりも高い成分）を取り出して中間画像（高周波数成分画像）Ｄ３２Ａを出力するものであり、拡大画像Ｄ２Ｂｈに含まれる水平方向の高周波数成分のみを取り出した水平方向中間画像Ｄ３２Ａｈを生成する水平方向高周波数成分画像生成手段３２Ａｈと、拡大画像Ｄ２Ｂｖの垂直方向の高周波数成分のみを取り出した垂直方向中間画像Ｄ３２Ａｖを生成する垂直方向高周波数成分画像生成手段３２Ａｖを備え、高周波数成分画像生成手段３２Ａからは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが出力される。

非線形処理画像生成手段（エッジ鮮鋭化画像生成手段）３０は、拡大画像Ｄ２Ｂに対して非線形処理を含む処理を行った中間画像（エッジ鮮鋭化画像）Ｄ３２Ｂを出力するものであり、非線形処理手段３１、及び高周波数成分画像生成手段３２Ｂを備える。
非線形処理手段３１は、拡大画像Ｄ２Ｂに対して後述するエッジの鮮鋭化のための非線形処理を行った非線形処理画像Ｄ３１を生成する。
高周波数成分画像生成手段３２Ｂは非線形処理画像Ｄ３１に含まれる高周波数成分（所定の周波数Ｆｆよりも高い成分）を取り出した中間画像Ｄ３２Ｂを出力する。

非線形処理手段３１は、拡大画像Ｄ２Ｂｈに対して非線形処理した非線形処理画像Ｄ３１ｈを生成する水平方向非線形処理手段３１ｈと、拡大画像Ｄ２Ｂｖに対して非線形処理した非線形処理画像Ｄ３１ｖを生成する垂直方向非線形処理手段３１ｖを備えており、非線形処理画像Ｄ３１は非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る。

高周波数成分画像生成手段３２Ｂは、非線形処理画像Ｄ３１ｈから高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する水平方向高周波数成分画像生成手段３２Ｂｈと、非線形処理画像Ｄ３１ｖから高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する垂直方向高周波数成分画像生成手段３２Ｂｖを備え、中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る。

高周波数成分画像補正手段３３Ａは、輝度色差加算画像Ｄ５と中間画像Ｄ３２Ａとを入力とし、中間画像Ｄ３２Ａを輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号に応じて求められる増幅率によって増幅した中間画像（補正画像）Ｄ３３Ａを出力するものであり、水平方向中間画像Ｄ３２Ａｈに対して補正処理を行って、水平方向中間画像Ｄ３３Ａｈを生成する水平方向高周波数成分画像補正手段３３Ａｈと、垂直方向中間画像Ｄ３２Ａｖに対して補正処理を行って、垂直方向中間画像Ｄ３３Ａｖを生成する垂直方向高周波数成分画像補正手段３３Ａｖを備える。水平方向中間画像Ｄ３３Ａｈと垂直方向中間画像Ｄ３３Ａｖとで中間画像Ｄ３３が構成される。

高周波数成分画像補正手段３３Ｂは、輝度色差加算画像Ｄ５と中間画像Ｄ３２Ｂとを入力とし、中間画像Ｄ３２Ｂを輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号に応じて求められる増幅率によって増幅した中間画像（補正画像）Ｄ３３Ｂを出力するものであり、水平方向中間画像３２Ｂｈに対して補正処理を行って、水平方向中間画像Ｄ３３Ｂｈを生成する水平方向高周波数成分画像補正手段３３Ｂｈと、垂直方向中間画像３２Ｂｖに対して補正処理を行って垂直方向中間画像Ｄ３３Ｂｖを生成する垂直方向高周波数成分画像補正手段３３Ｂｖを備える。水平方向中間画像Ｄ３３Ｂｈと垂直方向中間画像Ｄ３３Ｂｖとで中間画像Ｄ３３Ｂが構成される。

加算手段３４は、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を出力する。

以下、輝度画像拡大手段６において、入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄｏｕｔを生成する場合を例にし、各構成要素の動作をさらに詳細に説明する。

まず、画像拡大手段２Ａの動作について説明する。画像拡大手段２Ａは入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄ２Ａを生成する。図４（ａ）〜（ｄ）は画像拡大手段２Ａにおける拡大画像Ｄ２Ａの生成手順の一例を模式的に示した図であり、図５は画像拡大手段２Ａの一例を示した図である。

画像拡大手段２Ａは、ゼロ挿入手段２１Ａと、低周波数成分通過手段２２Ａを備える。以下、図４（ａ）〜（ｄ）を用いてゼロ挿入手段２１Ａ及び低周波数成分通過手段２２Ａの動作を説明する。図４（ａ）は入力画像Ｄｉｎ（特に画像の一部を構成する画素の配列）を、図４（ｂ）はゼロ挿入手段２１Ａで生成されるゼロ挿入画像Ｄ２１Ａを、図４（ｃ）は低周波数成分通過手段２２Ａにおいて拡大画像Ｄ２Ａを生成する際使用されるフィルタ係数を、図４（ｄ）は低周波数成分通過手段２２Ａで生成された拡大画像Ｄ２Ａを表す。図４（ａ）、（ｂ）、（ｄ）には画素の位置に対応させて水平座標Ｘ、垂直座標Ｙを記載している。

ゼロ挿入手段２１Ａでは入力画像Ｄｉｎに対して画素値０をもつ画素を水平方向には（入力画像Ｄｉｎの）１画素につき１個（隣り合う２つの画素相互間に１個）、垂直方向には（入力画像Ｄｉｎの）１ラインにつき１本（隣り合う２本のライン相互間に１本）を挿入したゼロ挿入画像Ｄ２１Ａを生成する。
「ＰＸＹ」が入力画像Ｄｉｎの座標（Ｘ，Ｙ）における画素の画素値を表し、「Ｐ’ＸＹ」がゼロ挿入画像Ｄ２１Ａの座標（Ｘ，Ｙ）の画素の画素値を表すとすると、ゼロ挿入画像Ｄ２１Ａの、Ｐ’（２Ｘ−１）（２Ｙ−１）で表わされる画素値は、入力画像ＤｉｎのＰＸＹに等しく、Ｐ’（２Ｘ−１）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ−１）で表わされる画素値は、ゼロに等しい。

低周波数成分通過手段２２Ａではゼロ挿入画像Ｄ２１Ａに対し、図４（ｃ）に示されたフィルタ係数で表されたフィルタ演算を行うことで、図４（ｄ）に示される拡大画像Ｄ２Ａを生成する。
例えば、拡大画像Ｄ２Ａに含まれる、座標（Ｘ，Ｙ）の画素の画素値ＱＸＹは下記の式（４）のように計算される。

ＱＸＹ＝（４／１６）×
｛Ｐ’（Ｘ−１）（Ｙ−１）＋２Ｐ’Ｘ（Ｙ−１）＋Ｐ’（Ｘ＋１）（Ｙ−１）
＋２Ｐ’（Ｘ−１）Ｙ＋４Ｐ’ＸＹ＋２Ｐ’（Ｘ＋１）Ｙ
＋Ｐ’（Ｘ−１）（Ｙ＋１）＋２Ｐ’Ｘ（Ｙ＋１）＋Ｐ’（Ｘ＋１）（Ｙ＋１）｝
…（４）

なお、図４（ｃ）で表されるフィルタ係数はローパスフィルタを表すので、式（４）で表される低周波数成分通過手段２２Ａにおける処理はゼロ挿入画像Ｄ２１Ａの低周波数成分（所定の周波数Ｆａ以下の成分）を取り出すことに対応する。

また、式（４）において
Ｐ’（Ｘ−１）（Ｙ−１）、２Ｐ’Ｘ（Ｙ−１）、Ｐ’（Ｘ＋１）（Ｙ−１）、２Ｐ’（Ｘ−１）Ｙ、Ｐ’ＸＹ、２Ｐ’（Ｘ＋１）Ｙ、Ｐ’（Ｘ−１）（Ｙ＋１）、Ｐ’Ｘ（Ｙ＋１）、Ｐ’（Ｘ＋１）（Ｙ＋１）
のうちいくつかはその値が０であり、それ以外は入力画像Ｄｉｎの画素値そのものになる。従って拡大処理は入力画像Ｄｉｎにおいて注目する画素の近傍の画素値を加重加算する処理と同じである。

次に水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖの動作について説明する。
水平方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその水平方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて水平方向高周波数成分画像Ｄ１ｈを生成する。
一方、垂直方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその垂直方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて垂直方向高周波数成分画像Ｄ１ｖを生成する。

ハイパスフィルタをかけることは高周波数成分を取り出すことに対応し、水平方向高周波数成分画像Ｄ１ｈには、入力画像Ｄｉｎの水平方向の高周波数成分（所定の水平周波数よりも高い成分から成る）が含まれ、垂直方向高周波数成分画像Ｄ１ｖには、入力画像Ｄｉｎの垂直方向の高周波数成分（所定の垂直方向周波数よりも高い成分から成る）が含まれる。

水平方向高周波数成分画像生成手段１ｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
同様に、垂直方向高周波数成分画像生成手段１ｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

次に画像拡大手段２Ｂｈ及び２Ｂｖの動作について説明する。画像拡大手段２Ｂｈは水平方向高周波数成分画像Ｄ１ｈを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｈを生成し、画像拡大手段２Ｂｖは垂直方向高周波数成分画像Ｄ１ｖを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｖを生成する。

画像拡大手段２Ｂｈ及び画像拡大手段２Ｂｖの各々は、図５を参照して説明した画像拡大手段２Ａと同様に構成することができる。従って、画像拡大手段２Ｂｈと画像拡大手段２Ｂｖとで構成される画像拡大手段２Ｂは図６のように示すことができる。
画像拡大手段２Ｂｈの入力は水平方向高周波数成分画像Ｄ１ｈであり、出力が拡大画像Ｄ２Ｂｈとなる。画像拡大手段２Ｂｖの入力は垂直方向高周波数成分画像Ｄ１ｖであり、出力が拡大画像Ｄ２Ｂｖである。

画像拡大手段２Ｂｈは、ゼロ挿入手段２１Ｂｈと、低周波数成分通過手段２２Ｂｈとを備え、画像拡大手段２Ｂｖは、ゼロ挿入手段２１Ｂｖと、低周波数成分通過手段２２Ｂｖとを備える。
ゼロ挿入手段２１Ｂｈ及びゼロ挿入手段２１Ｂｖの各々は、図５のゼロ挿入手段２１Ａと同様のものであり、低周波数成分通過手段２２Ｂｈ及び低周波数成分通過手段２２Ｂｖの各々は、図５の低周波数成分通過手段２２Ａと同様のものである。

ゼロ挿入手段２１Ｂｈから出力されるゼロ挿入画像Ｄ２１Ｂｈとゼロ挿入手段２１Ｂｖから出力されるゼロ挿入画像Ｄ２１Ｂｖとで、ゼロ挿入手段２１Ｂの出力としてのゼロ挿入画像Ｄ２１Ｂが構成される。
低周波数成分通過手段２２Ｂｈから出力される拡大画像Ｄ２Ｂｈと低周波数成分通過手段２２Ｂｖから出力される拡大画像Ｄ２Ｂｖとで、低周波数成分通過手段２２Ｂの出力としての拡大画像Ｄ２Ｂが構成される。低周波数成分通過手段２２Ｂの出力は、ゼロ挿入画像Ｄ２１Ｂの低周波数成分（Ｆｃ以下の成分）を取り出したものである。

次に高周波数成分画像生成手段３２Ａの動作について説明する。
水平方向高周波数成分画像生成手段３２Ａｈは、拡大画像Ｄ２Ｂｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ａｈを生成する。
一方、垂直方向高周波数成分画像生成手段３２Ａｖは、拡大画像Ｄ２Ｂｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが高周波数成分画像生成手段３２Ａから出力される。

水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理としては、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に、例えば、該手段３２Ａｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

同様に、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ａｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

次に非線形処理手段３１の動作について説明する。非線形処理手段３１は、水平方向非線形処理手段３１ｈと、垂直方向非線形処理手段３１ｖを備える。水平方向非線形処理手段３１ｈと垂直方向非線形処理手段３１ｖとは互いに同様に構成されている。但し、水平方向非線形処理手段３１ｈは水平方向の処理を行ない、垂直方向非線形処理手段３１ｖは垂直方向の処理を行なう。

図７は水平方向非線形処理手段３１ｈの内部構成を表す図である。図示の水平方向非線形処理手段３１ｈは、ゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈを備える。

ゼロクロス判定手段３１１ｈは、入力される拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｈに伝達する。
なお、水平方向非線形処理手段３１ｈではゼロクロス点の左右に位置する画素がゼロクロス点の前後にある画素として認識される。

水平方向信号増幅手段３１２ｈは、水平方向ゼロクロス判定手段３１１ｈの判定結果に応じて決められる増幅率で拡大画像Ｄ２Ｂｈの画素値を増幅する。具体的には、信号増幅手段３１２ｈは、信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｈを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、水平方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。

図８は垂直方向非線形処理手段３１ｖの内部構成を表す図である。図示の垂直方向非線形処理手段３１ｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖを備える。

ゼロクロス判定手段３１１ｖは、入力される拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｖに伝達する。
なお、垂直方向非線形処理手段３１ｖではゼロクロス点の上下に位置する画素がゼロクロス点の前後にある画素として認識される。

垂直方向信号増幅手段３１２ｖは、垂直方向ゼロクロス判定手段３１１ｖの判定結果に応じて決められる増幅率で拡大画像Ｄ２Ｂｖの画素値を増幅する。具体的には、信号増幅手段３１２ｖは、信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｖを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。

なお、図示の例では、ゼロクロス点の直前及び直後の各々１個ずつの画素についてのみ、画素値を増幅させているが、ゼロクロス点の前及び後の所定数の画素、言い換えると、ゼロクロス点を含む所定の領域内に存在する画素について、画素値を増幅させることとしても良い。また上記「所定の領域」の大きさ（所定の領域に含まれる画素の数）を画像拡大手段２Ｂにおける画像の拡大率に応じて変える（拡大率に対して適切な値に定める）こととしても良い。

次に高周波数成分画像生成手段３２Ｂの動作について説明する。
水平方向高周波数成分画像生成手段３２Ｂｈは、非線形処理画像Ｄ３１ｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する。一方、垂直方向高周波数成分画像生成手段３２Ｂｖは、非線形処理画像Ｄ３１ｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する。このようにして生成された水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが高周波数成分画像生成手段３２Ｂから出力される。

水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

同様に、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。

次に、高周波数成分画像補正手段３３Ａの詳細な動作について説明する。
図９は高周波数成分画像補正手段３３Ａの内部構成を表す図であり、図示の高周波数成分画像補正手段３３Ａは、増幅率計算手段３ＭＡと、画素値増幅手段３ＭＢとを有する。

増幅率計算手段３ＭＡは、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号をもとに増幅率Ｄ３ＭＡを決定する。
画素値増幅手段３ＭＢは、増幅率計算手段３ＭＡにより決定された増幅率Ｄ３ＭＡで中間画像Ｄ３２Ａの画素値を増幅し、その結果を中間画像Ｄ３ＭＢとして出力する。高周波数成分画像補正手段３３Ａからは中間画像Ｄ３ＭＢが中間画像Ｄ３３Ａとして出力される。
以上のように増幅率Ｄ３ＭＡによって中間画像Ｄ３２Ａの画素値が増幅されるが、この動作は画素ごとに行われる。すわなち、増幅率計算手段３ＭＡは増幅率Ｄ３ＭＡを中間画像Ｄ３２Ａの各画素値に対して計算する。すなわち、中間画像Ｄ３２Ａにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅される。

先に述べた通り、増幅率Ｄ３ＭＡに基づいて中間画像Ｄ３２Ａの画素値が増幅されるが、中間画像Ｄ３２Ａは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成るので、増幅率Ｄ３ＭＡとしては、水平方向中間画像Ｄ３２Ａｈに対する増幅率Ｄ３ＭＡｈと垂直方向中間画像Ｄ３２Ａｖに対する増幅率Ｄ３ＭＡｖが決定される。即ち、増幅率計算手段３ＭＡ内の水平方向増幅率計算手段３ＭＡｈでは輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａｈの画素値の符号をもとに増幅率Ｄ３ＭＡｈが決定され、垂直方向増幅率計算手段３ＭＡｖでは輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａｖの画素値の符号をもとに増幅率Ｄ３ＭＡｖが決定され、増幅率計算手段３ＭＡからは増幅率Ｄ３ＭＡｈ及び増幅率Ｄ３ＭＡｖが増幅率Ｄ３ＭＡとして出力される。

図１０（ａ）〜（ｄ）を用いて増幅率計算手段３ＭＡの動作についてさらに詳しく説明する。図１０（ａ）〜（ｄ）は増幅率計算手段３ＭＡにおいて計算される増幅率Ｄ３ＭＡの一例を表しており、図１０（ａ）、（ｂ）は水平方向増幅率計算手段３ＭＡｈで計算される増幅率Ｄ３ＭＡｈを、図１０（ｃ）、（ｄ）は垂直方向増幅率計算手段３ＭＡｖで計算される増幅率Ｄ３ＭＡｖを表す。

増幅率Ｄ３ＭＡｈは、中間画像Ｄ３２Ａｈの画素値の符号が正であれば、図１０（ａ）に示すように、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＭｈ１、ｋＭｈ２、ｋＭｈ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＭｈｂをとり、画素値が０からある値ＡＭｈ１の間は傾きｋＭｈ１で減少していき、画素値がＡＭｈ１からある値ＡＭｈ２の間は傾きｋＭｈ２で減少していき、画素値がＡＭｈ２以上の場合は傾きｋＭｈ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

一方、増幅率Ｄ３ＭＡｈは、中間画像Ｄ３２Ａｈの画素値の符号が負であれば、図１０（ｂ）に示すように、輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値をとる。一例として、傾きｋＭｈ１、ｋＭｈ２、ｋＭｈ３がすべて正の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＭｈｂをとり、画素値が０からある値ＡＭｈ１の間は傾きｋＭｈ１で増加していき、画素値がＡＭｈ１からある値ＡＭｈ２の間は傾きｋＭｈ２で増加していき、画素値がＡＭｈ２以上の場合は傾きｋＭｈ３で増加していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

この関係を、増幅率Ｄ３ＭＡｈをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと

と表される。ここで、傾きｋＭｈ１、ｋＭｈ２、ｋＭｈ３は中間画像Ｄ３２Ａｈの画素値の符号が正であれば負の値を、負であれば正の値をとるものとする。

なお、増幅率Ｄ３ＭＡｈは、中間画像Ｄ３２Ａｈの画素値の符号が正で
輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御し、中間画像Ｄ３２Ａｈの画素値の符号が負で輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値となるよう制御することが目的であるので、傾きｋＭｈ１、ｋＭｈ２、ｋＭｈ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＭＡｈと、輝度色差加算画像Ｄ５の画素値及び中間画像Ｄ３２Ａの画素値の符号が上記のよう制御することができるのであれば式（５）における各係数のとる値は自由である。また、増幅率Ｄ３ＭＡｈの求め方も式（５）に制限されるものではない。
また、所定の値ＧＭｈｂは中間画像Ｄ３２Ａｈの画素値の符号が正の場合と負の場合で異なる値にしてもよい。

増幅率Ｄ３ＭＡｖは中間画像Ｄ３２Ａｖの画素値の符号が正であれば、図１０（ｃ）に示すように、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＭｖ１、ｋＭｖ２、ｋＭｖ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＭｖｂをとり、画素値が０からある値ＡＭｖ１の間は傾きｋＭｖ１で減少していき、画素値がＡＭｖ１からある値ＡＭｖ２の間は傾きｋＭｖ２で減少していき、画素値がＡＭｖ２以上の場合は傾きｋＭｖ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

一方、増幅率Ｄ３ＭＡｖは中間画像Ｄ３２Ａｖの画素値の符号が負であれば、図１０（ｄ）に示すように、輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値をとる。一例として、傾きｋＭｖ１、ｋＭｖ２、ｋＭｖ３がすべて正の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＭｖｂをとり、画素値が０からある値ＡＭｖ１の間は傾きｋＭｖ１で増加していき、画素値がＡＭｖ１からある値ＡＭｖ２の間は傾きｋＭｖ２で増加していき、画素値がＡＭｖ２以上の場合は傾きｋＭｖ３で増加していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

この関係を、増幅率Ｄ３ＭＡｖをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと

と表される。ここで、傾きｋＭｖ１、ｋＭｖ２、ｋＭｖ３は中間画像Ｄ３２Ａｖの画素値の符号が正であれば負の値を、負であれば正の値をとるものとする。

なお、増幅率Ｄ３ＭＡｖは中間画像Ｄ３２Ａｖの画素値の符号が正で輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御し、中間画像Ｄ３２Ａｖの画素値の符号が負で輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値となるよう制御することが目的であるので、傾きｋＭｖ１、ｋＭｖ２、ｋＭｖ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＭＡｖと、輝度色差加算画像Ｄ５の画素値及び中間画像Ｄ３２Ａｖの画素値の符号に応じて上記のよう制御することができるのであれば式（６）における各係数のとる値は自由である。また、増幅率Ｄ３ＭＡｖの求め方も式（６）に制限されるものではない。
また、所定の値ＧＭｖｂは中間画像Ｄ３２Ａｖの画素値の符号が正の場合と負の場合で異なる値にしてもよい。
以上が増幅率計算手段３ＭＡの動作である。

次に画素値増幅手段３ＭＢは、増幅率Ｄ３ＭＡに基づいて中間画像Ｄ３２Ａの画素値を増幅する。中間画像Ｄ３２Ａは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖとから成るので、画素値増幅手段３ＭＢは、水平方向中間画像Ｄ３２Ａｈの画素値を増幅するための水平方向画素値増幅手段３ＭＢｈと、垂直方向中間画像Ｄ３２Ａｖの画素値を増幅するための垂直方向画素値増幅手段３ＭＢｖとを有する。

水平方向画素値増幅手段３ＭＢｈは、増幅率Ｄ３ＭＡｈに基づいて水平方向中間画像Ｄ３２Ａｈの画素値を増幅した画像Ｄ３ＭＢｈを出力し、垂直方向画素値増幅手段３ＭＢｖは、増幅率Ｄ３ＭＡｖに基づいて垂直方向中間画像Ｄ３２Ａｖの画素値を増幅した画像Ｄ３ＭＢｖを出力する。先にも述べたようにこの動作は画素ごとに行われる。すなわち、水平方向中間画像Ｄ３２Ａｈにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡｈでもって増幅され、垂直方向中間画像Ｄ３２Ａｖにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡｖでもって増幅される。そして画素値増幅手段３ＭＢからは画像Ｄ３ＭＢｈ及び画像Ｄ３ＭＢｖが画像Ｄ３ＭＢとして出力される。

そして画像Ｄ３ＭＢが中間画像Ｄ３３Ａとして高周波数成分画像補正手段３３Ａから出力される。中間画像Ｄ３３Ａは画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ａｈと画像Ｄ３ＭＢｖに相当する垂直方向中間画像Ｄ３３Ａｖから成る。
以上が画素値増幅率手段３ＭＢの動作である。

以上が高周波数成分補正手段３３Ａの動作であり、高周波数成分画像補正手段３３Ａでは、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号に応じて決められる増幅率（あるいはゲイン、利得）によって、中間画像Ｄ３２Ａに補正が加えられる。
なお、水平方向増幅率計算手段３ＭＡｈと水平方向画素値増幅手段３ＭＢｈで水平方向高周波数成分画像補正手段３３Ａｈを構成し、垂直方向増幅率計算手段３ＭＡｖと垂直方向画素値増幅手段３ＭＢｖで垂直方向高周波数成分画像補正手段３３Ａｖを構成している。

次に、高周波数成分画像補正手段３３Ｂの詳細な動作について説明する。
図１１は高周波数成分画像補正手段３３Ｂの内部構成を表す図であり、図示の高周波数成分画像補正手段３３Ｂは、増幅率計算手段３ＨＡと、画素値増幅手段３ＨＢとを有する。

増幅率計算手段３ＨＡは、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号をもとに増幅率Ｄ３ＨＡを決定する。
画素値増幅手段３ＨＢは、増幅率計算手段３ＨＡにより決定された増幅率Ｄ３ＨＡで中間画像Ｄ３２Ｂの画素値を増幅し、その結果を中間画像Ｄ３ＨＢとして出力する。高周波数成分画像補正手段３３Ｂからは中間画像Ｄ３ＨＢが中間画像Ｄ３３Ｂとして出力される。
以上のように増幅率Ｄ３ＨＡによって中間画像Ｄ３２Ｂの画素値が増幅されるが、この動作は画素ごとに行われる。すわなち、増幅率計算手段３ＨＡは増幅率Ｄ３ＨＡを中間画像Ｄ３２Ｂの各画素値に対して計算する。すなわち、中間画像Ｄ３２Ｂにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅される。

先に述べた通り、増幅率Ｄ３ＨＡに基づいて中間画像Ｄ３２Ｂの画素値が増幅されるが、中間画像Ｄ３２Ｂは、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成るので、増幅率Ｄ３ＨＡとしては、水平方向中間画像Ｄ３２Ｂｈに対する増幅率Ｄ３ＨＡｈと垂直方向中間画像Ｄ３２Ｂｖに対する増幅率Ｄ３ＨＡｖが決定される。即ち、増幅率計算手段３ＨＡ内の水平方向増幅率計算手段３ＨＡｈでは輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａｈの画素値の符号をもとに増幅率Ｄ３ＨＡｈが決定され、垂直方向増幅率計算手段３ＨＡｖでは輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａｖの画素値の符号をもとに増幅率Ｄ３ＨＡｖが決定され、増幅率計算手段３ＨＡからは増幅率Ｄ３ＨＡｈ及び増幅率Ｄ３ＨＡｖが増幅率Ｄ３ＨＡとして出力される。

図１２（ａ）〜（ｄ）を用いて増幅率計算手段３ＨＡの動作についてさらに詳しく説明する。図１２（ａ）〜（ｄ）は増幅率計算手段３ＨＡにおいて計算される増幅率Ｄ３ＨＡの一例を表しており、図１２（ａ）、（ｂ）は水平方向増幅率計算手段３ＨＡｈで計算される増幅率Ｄ３ＨＡｈを、図１２（ｃ）、（ｄ）は垂直方向増幅率計算手段３ＨＡｖで計算される増幅率Ｄ３ＨＡｖを表す。

増幅率Ｄ３ＨＡｈは、中間画像Ｄ３２Ｂｈの画素値の符号が正であれば、図１２（ａ）に示すように、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＨｈ１、ｋＨｈ２、ｋＨｈ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＨｈｂをとり、画素値が０からある値ＡＨｈ１の間は傾きｋＨｈ１で減少していき、画素値がＡＨｈ１からある値ＡＨｈ２の間は傾きｋＨｈ２で減少していき、画素値がＡＨｈ２以上の場合は傾きｋＨｈ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

一方、増幅率Ｄ３ＨＡｈは、中間画像Ｄ３２Ｂｈの画素値の符号が負であれば、図１２（ｂ）に示すように、輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値をとる。一例として、傾きｋＨｈ１、ｋＨｈ２、ｋＨｈ３がすべて正の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＨｈｂをとり、画素値が０からある値ＡＨｈ１の間は傾きｋＨｈ１で増加していき、画素値がＡＨｈ１からある値ＡＨｈ２の間は傾きｋＨｈ２で増加していき、画素値がＡＨｈ２以上の場合は傾きｋＨｈ３で増加していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

この関係を、増幅率Ｄ３ＨＡｈをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと

と表される。ここで、傾きｋＨｈ１、ｋＨｈ２、ｋＨｈ３は中間画像Ｄ３２Ｂｈの画素値の符号が正であれば負の値を、負であれば正の値をとるものとする。

なお、増幅率Ｄ３ＨＡｈは中間画像Ｄ３２Ｂｈの画素値の符号が正で輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御し、中間画像Ｄ３２Ｂｈの画素値の符号が負で輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値となるよう制御することが目的であるので、傾きｋＨｈ１、ｋＨｈ２、ｋＨｈ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＨＡｈと、輝度色差加算画像Ｄ５の画素値及び中間画像Ｄ３２Ｂの画素値の符号が上記のよう制御することができるのであれば式（７）における各係数のとる値は自由である。また、増幅率Ｄ３ＭＡｈの求め方も式（７）に制限されるものではない。
また、所定の値ＧＨｈｂは中間画像Ｄ３２Ｂｈの画素値の符号が正の場合と負の場合で異なる値にしてもよい。

増幅率Ｄ３ＨＡｖは中間画像Ｄ３２Ｂｖの画素値の符号が正であれば、図１２（ｃ）に示すように、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＨｖ１、ｋＨｖ２、ｋＨｖ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＨｖｂをとり、画素値が０からある値ＡＨｖ１の間は傾きｋＨｖ１で減少していき、画素値がＡＨｖ１からある値ＡＨｖ２の間は傾きｋＨｖ２で減少していき、画素値がＡＨｖ２以上の場合は傾きｋＨｖ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

一方、増幅率Ｄ３ＨＡｖは中間画像Ｄ３２Ｂの画素値の符号が負であれば、図１２（ｄ）に示すように、輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値をとる。一例として、傾きｋＨｖ１、ｋＨｖ２、ｋＨｖ３がすべて正の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＨｖｂをとり、画素値が０からある値ＡＨｖ１の間は傾きｋＨｖ１で増加していき、画素値がＡＨｖ１からある値ＡＨｖ２の間は傾きｋＨｖ２で増加していき、画素値がＡＨｖ２以上の場合は傾きｋＨｖ３で増加していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。

この関係を、増幅率Ｄ３ＨＡｖをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと

と表される。ここで、傾きｋＨｖ１、ｋＨｖ２、ｋＨｖ３は中間画像Ｄ３２Ｂｖの画素値の符号が正であれば負の値を、負であれば正の値をとるものとする。

なお、増幅率Ｄ３ＨＡｖは中間画像Ｄ３２Ｂｖの画素値の符号が正で輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御し、中間画像Ｄ３２Ｂｖの画素値の符号が負で輝度色差加算画像Ｄ５の画素値が小さい場合、小さな値となるよう制御することが目的であるので、傾きｋＨｖ１、ｋＨｖ２、ｋＨｖ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＨＡｖと、輝度色差加算画像Ｄ５の画素値及び中間画像Ｄ３２Ｂｖの画素値の符号も応じて上記のよう制御することができるのであれば式（８）における各係数のとる値は自由である。また、増幅率Ｄ３ＭＡｖの求め方も式（８）に制限されるものではない。
また、所定の値ＧＨｖｂは中間画像Ｄ３２Ｂｖの画素値の符号が正の場合と負の場合で異なる値にしてもよい。
以上が増幅率計算手段３ＨＡの動作である。

次に画素値増幅手段３ＨＢは、増幅率Ｄ３ＨＡに基づいて中間画像Ｄ３２Ｂの画素値を増幅する。中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖとから成るので、画素値増幅手段３ＨＢは、水平方向中間画像Ｄ３２Ｂｈの画素値を増幅するための水平方向画素値増幅手段３ＨＢｈと、垂直方向中間画像Ｄ３２Ｂｖの画素値を増幅するための垂直方向画素値増幅手段３ＨＢｖとを有する。

水平方向画素値増幅手段３ＨＢｈは、増幅率Ｄ３ＨＡｈに基づいて水平方向中間画像Ｄ３２Ｂｈの画素値を増幅した画像Ｄ３ＨＢｈを出力し、垂直方向画素値増幅手段３ＨＢｖは、増幅率Ｄ３ＨＡｖに基づいて垂直方向中間画像Ｄ３２Ｂｖの画素値を増幅した画像Ｄ３ＨＢｖを出力する。先にも述べたようにこの動作は画素ごとに行われる。すなわち、水平方向中間画像Ｄ３２Ｂｈにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡｈでもって増幅され、垂直方向中間画像Ｄ３２Ｂｖにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡｖでもって増幅される。そして画素値増幅手段３ＨＢからは画像Ｄ３ＨＢｈ及び画像Ｄ３ＨＢｖが画像Ｄ３ＨＢとして出力される。

そして画像Ｄ３ＨＢが中間画像Ｄ３３Ｂとして高周波数成分画像処理手段３３Ｂから出力される。中間画像Ｄ３３Ｂは画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ｂｈと画像Ｄ３ＨＢｖに相当する垂直方向中間画像Ｄ３３Ｂｖから成る。
以上が画素値増幅率手段３ＨＢの動作である。
なお、水平方向増幅率計算手段３ＨＡｈと水平方向画素値増幅手段３ＨＢｈで水平方向高周波数成分画像補正手段３３Ｂｈを構成し、垂直方向増幅率計算手段３ＨＡｖと垂直方向画素値増幅手段３ＨＢｖで垂直方向高周波数成分画像補正手段３３Ｂｖを構成している。

以上が高周波数成分補正手段３３Ｂの動作であり、高周波数成分画像補正手段３３Ｂでは、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号に応じて決められる増幅率（あるいはゲイン、利得）によって、中間画像Ｄ３２Ｂに補正が加えられる。

次に加算手段３４の動作について説明する。加算手段３４は、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算した結果を高周波数成分画像Ｄ３として出力する。

ここで中間画像Ｄ３３Ａは水平方向中間画像Ｄ３３Ａｈ及び垂直方向中間画像Ｄ３３Ａｖから成り、中間画像Ｄ３３Ｂは水平方向中間画像Ｄ３３Ｂｈ及び垂直方向中間画像Ｄ３３Ｂｖから成るので、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算するとは、水平方向中間画像Ｄ３３Ａｈ、垂直方向中間画像Ｄ３３Ａｖ、水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算することを意味する。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。

最後に加算手段４の動作について説明する。加算手段４は、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算する。そして加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算した結果得られた画像が、最終的な拡大画像Ｄｏｕｔとして輝度画像拡大手段６から出力される。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。

以下、本発明における画像処理装置の作用、効果について説明する。
まず、輝度画像拡大手段６の作用、効果から説明する。
本発明の実施の形態では、中間画像Ｄ３２Ａ及びＤ３２Ｂをそのまま加算して高周波数成分画像Ｄ３を生成して拡大画像Ｄ２Ａに加算するわけではなく、中間画像Ｄ３２Ａ及びＤ３２Ｂを高周波数成分画像補正手段３３Ａ及び３３Ｂで補正した後に加算して高周波数成分画像Ｄ３を生成して、拡大画像Ｄ２Ａに加算しているが、以下、仮に中間画像Ｄ３２Ａ及びＤ３２Ｂをそのまま加算して高周波数成分画像Ｄ３を生成して、拡大画像Ｄ２Ａに加算した場合に得られる効果について説明し、その後で、中間画像Ｄ３２Ａ及びＤ３２Ｂの代わりに、中間画像Ｄ３３Ａ及びＤ３３Ｂを加算することによる効果について説明する。

拡大画像Ｄ２Ａは、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を含み、高周波数成分画像Ｄ３は入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含む。従って、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算して生成される拡大画像Ｄｏｕｔは画像拡大後のナイキスト周波数に至る全ての周波数領域にわたって周波数成分を持つことになる。

まず、拡大画像Ｄ２Ａが入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことについて説明する。

図１３（ａ）〜（ｄ）は入力画像Ｄｉｎから拡大画像Ｄ２Ａを生成する際の作用を模式的に表した図であり、図１３（ａ）は入力画像Ｄｉｎの周波数スペクトルを、図１３（ｂ）はゼロ挿入画像Ｄ２１Ａの周波数スペクトルを、図１３（ｃ）は低周波数成分通過手段２２Ａの周波数応答を、図１３（ｄ）は拡大画像Ｄ２Ａの周波数スペクトルを表している。

入力画像Ｄｉｎの周波数スペクトルについて説明する。入力画像Ｄｉｎからは通常、自然画などが入力されるが、これらの画像のスペクトル強度は周波数空間の原点周辺に集中している。従って入力画像Ｄｉｎの周波数スペクトルは図１３（ａ）のように表すことが出来る。ここで図１３（ａ）の縦軸はスペクトル強度を、横軸は空間周波数を、Ｆｎは入力画像Ｄｉｎのナイキスト周波数を表している。

なお、通常入力画像Ｄｉｎは２次元の画像のため、その周波数スペクトルも２次元の周波数空間で表されるが、その形状は図１３（ａ）に示した周波数スペクトルが原点を中心に等方的に広がったものとなる。従って周波数スペクトルについて説明するためには最低限、１次元分の形状を示せばよく、今後、特に断らない限り、周波数空間の形状は１次元分のみ示して説明を行う。

次にゼロ挿入画像Ｄ２１Ａの周波数スペクトルについて説明する。入力画像Ｄｉｎに対してゼロ挿入手段２１Ａで（入力画像Ｄｉｎの）１画素につき１画素、画素値０を持った画素を挿入することで周波数空間上では周波数Ｆｎを中心にした折り返しが発生する。その結果、ゼロ挿入画像Ｄ２１Ａの周波数スペクトルは図１３（ｂ）のようになる。

次に低周波数成分通過手段２２Ａの周波数応答について説明する。先に述べたように低周波数成分通過手段２２Ａにおける演算はローパスフィルタ処理となっているので、図１３（ｃ）に示すように低周波数成分通過手段２２Ａの周波数応答は、周波数が高くなるほど低くなる。図示の例では、低周波数成分通過手段２２Ａが主に第１の周波数Ｆａ（＝Ｆｎ）以下の周波数成分を通過させるものとしている。

最後に拡大画像Ｄ２Ａの周波数スペクトルについて説明する。図１３（ｂ）に示した周波数スペクトルを持つゼロ挿入画像Ｄ２１Ａが図１３（ｃ）に示した周波数応答を持った低周波数成分通過手段２２Ａを通ることで拡大画像Ｄ２Ａが生成される。従って拡大画像Ｄ２Ａの周波数スペクトルはゼロ挿入画像Ｄ２１Ａの周波数スペクトルから、斜線で示した高周波数側の領域Ｒ２ＡＨが除かれたものとなる。

従って、拡大画像Ｄ２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことになる。

次に高周波数成分画像Ｄ３が主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を持つことについて説明する。仮に高周波数成分画像補正手段３３Ａ及び３３Ｂによる補正を行わないとすれば、高周波数成分画像Ｄ３は中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して得られるが、中間画像Ｄ３２Ａは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分を持ち、中間画像Ｄ３２Ｂは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分を持ち、高周波数成分画像Ｄ３では中間画像Ｄ３２Ａ、Ｄ３２Ｂがもつ周波数成分が加算されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を持つことになる。

まず、中間画像Ｄ３２Ａの周波数スペクトルについて説明する。
図１４（ａ）〜（ｆ）は中間画像Ｄ３２Ａを生成する際の作用を模式的に表した図であり、図１４（ａ）は高周波数成分画像生成手段１の周波数応答を、図１４（ｂ）は高周波数成分画像Ｄ１（又はＤ１ｈ若しくはＤ１ｖ）の周波数スペクトルを、図１４（ｃ）は画像拡大手段２Ｂ内のゼロ挿入手段２１Ｂによって生成されるゼロ挿入画像Ｄ２１Ｂ（又はＤ２１Ｂｈ若しくはＤ２１Ｂｖ）の周波数スペクトルを、図１４（ｄ）は拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）の周波数スペクトルを、図１４（ｅ）は高周波数成分画像生成手段３２Ａ（又は３２Ａｈ若しくは３２Ａｖ）の周波数応答を、図１４（ｆ）は高周波数成分画像生成手段３２Ａから出力される中間画像Ｄ３２Ａ（又はＤ３２Ａｈ若しくはＤ３２Ａｖ）の周波数スペクトルを表している。

まず、高周波数成分画像生成手段１の周波数応答及び高周波数成分画像Ｄ１の周波数スペクトルについて説明する。高周波数成分画像生成手段１は入力画像Ｄｉｎのうち、主に所定の周波数Ｆｂ以上の成分を通過させるハイパスフィルタを用いて高周波数成分画像Ｄ１を生成するので、図１４（ａ）に示すように高周波数成分画像生成手段１の周波数応答は、周波数が高くなるほど高くなる。図１３（ａ）に示した周波数スペクトルを持つ入力画像Ｄｉｎが図１４（ａ）に示す周波数応答をもつハイパスフィルタを通過することで高周波数成分画像Ｄ１が得られる。図示の例では、高周波数成分画像Ｄ１の周波数スペクトルは図１４（ｂ）に示すように周波数が低い領域（周波数Ｆｂよりも低い領域）では小さくなり、周波数が高い領域（周波数Ｆｂ以上の領域）でのみある程度の強度をもつことになる。

次に画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルについて説明する。先に画像拡大手段２Ａのゼロ挿入手段２１Ａについて説明したのと同様に、ゼロ挿入手段２１Ｂによって折り返しが発生するので、画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルは図１４（ｃ）のようになる。

次に拡大画像Ｄ２Ｂの周波数スペクトルについて説明する。
拡大画像Ｄ２Ｂを生成する際、ゼロ挿入画像Ｄ２１Ｂの高周波数成分側の周波数スペクトル（例えば所定の周波数Ｆｃよりも高い領域の成分）が、低周波数成分通過手段２２Ｂによって取り除かれるので、拡大画像Ｄ２Ｂの周波数スペクトルは図１４（ｄ）に示すように高周波数側の領域（周波数Ｆｃよりも高い領域）Ｒ３２ＡＨが取り除かれたものとなる。

最後に高周波数成分画像生成手段３２Ａの周波数応答及び中間画像Ｄ３２Ａの周波数スペクトルについて説明する。高周波数成分画像生成手段３２Ａは主に所定の周波数Ｆｄ以上の成分を通過させるハイパスフィルタとなっているのでその周波数応答は図１４（ｅ）に示すように周波数が高くなるほど高くなる。中間画像Ｄ３２Ａは、図１４（ｄ）に示した周波数スペクトルをもつ拡大画像Ｄ２Ｂが、図１４（ｅ）に示した周波数応答をもつハイパスフィルタを通過することで生成される。従って中間画像Ｄ３２Ａの周波数応答は図１４（ｆ）に示すように、図１４（ｄ）に示した拡大画像Ｄ２Ｂの周波数スペクトルからさらに低周波数側の領域（周波数Ｆｄよりも低い領域）Ｒ３２ＡＬが取り除かれたものとなる。

従って中間画像Ｄ３２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分(周波数Ｆｄから周波数Ｆｃまでの周波数成分)を持つことになる。

次に中間画像Ｄ３２Ｂの周波数スペクトルについて説明する。
図１５（ａ）〜（ｃ）は中間画像Ｄ３２Ｂを生成する際の作用を模式的に表した図であり、図１５（ａ）は非線形処理手段３１（又は３１ｈ若しくは３１ｖ）により高周波数成分が生成される様子を、図１５（ｂ）は高周波数成分画像生成手段３２Ｂの周波数応答を、図１５（ｃ）は中間画像Ｄ３２Ｂの周波数スペクトルを表している。

後述するように、非線形処理画像Ｄ３１には入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する高周波数成分が生成される。図１５（ａ）はその様子を模式的に表した図である。図示の例では、周波数Ｆｅ以上の成分が生成されている。中間画像Ｄ３２Ｂは非線形処理画像Ｄ３１が高周波数成分画像生成手段３２Ｂを通過することで生成される。高周波数成分画像生成手段３２Ｂは主に周波数Ｆｆ以上の成分を通過させるハイパスフィルタでありその周波数応答は図１５（ｂ）に示すように、周波数が高くなるほど高くなっている。従って中間画像Ｄ３２Ｂの周波数スペクトルは図１５（ｃ）に示すように、非線形処理画像Ｄ３１の周波数スペクトルから低周波数側の領域Ｒ３２ＢＬが取り除かれたものとなるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当するものとなる。

図１６（ａ）〜（ｅ）、図１７（ａ）〜（ｆ）を用いて中間画像Ｄ３２Ｂの周波数スペクトルについてより詳しく説明を行う。なお、説明を簡単にするため各々１次元信号として記載した。

図１６（ａ）〜（ｅ）は、輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）を表すステップエッジ信号と、該ステップエッジ信号を互いに異なるサンプリング周波数でサンプリングした際に得られる信号及びその高周波数成分信号の信号強度を表している。図１６（ａ）はステップエッジ信号を表す。

図１６（ｂ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１６（ｃ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図１６（ｄ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる信号、図１６（ｅ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表す。
なお、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２より短くなっており、サンプリング間隔を短くすることは画像を拡大することと同じである。
なお、図１６を用いて説明する、ステップエッジ信号に対するサンプリング間隔Ｓ１、Ｓ２と高周波数成分の関係は特定のサンプリング間隔の組み合わせに依存する話ではないが、以下、サンプリング間隔Ｓ２は入力画像Ｄｉｎのサンプリング間隔と同じであり、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２の半分であるとする。

図１６（ｂ）、（ｃ）及び図１６（ｄ）、（ｅ）に示されるようにエッジの中央は高周波数成分信号（図１６（ｃ）、（ｅ））においてゼロクロス点Ｚとして現れる。また、図１６（ｂ）、（ｃ）と図１６（ｄ）、（ｅ）を比較すると明らかなように、ゼロクロス点Ｚの前後での高周波数成分信号の傾きはサンプリング間隔を短くするにつれて（あるいは画像を拡大させるのに応じて）急になり、かつゼロクロス点Ｚの近傍で高周波数成分の局所的な最大値、最小値を与える点の位置もゼロクロス点Ｚに近づく。

従って画像を拡大する際、入力画像Ｄｉｎの高周波数成分を取り出し、その変化をゼロクロス近傍で急峻にし、かつゼロクロス近傍で局所的な最大値、最小値を与える点をゼロクロス点に近づけることで入力画像Ｄｉｎの解像度には含まれない（あるいは入力画像Ｄｉｎのナイキスト周波数より高い）高周波数成分を生成し、これによりエッジの鮮鋭化が可能となる。

図１７（ａ）〜（ｆ）は、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１７（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図１７（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１７（ｃ）は高周波数成分画像Ｄ１、図１７（ｄ）は拡大画像Ｄ２Ｂ、図１７（ｅ）は非線形処理画像Ｄ３１、図１７（ｆ）は中間画像Ｄ３２Ｂを表す。

また、図１７（ａ）〜（ｆ）において座標Ｐ３はエッジ近傍において信号強度が低い値をとる領域（低レベル側）の境界に相当する画素であり、座標Ｐ４は高い値をとる領域（高レベル側）の境界に相当する画素である。

ステップ画像に対応した入力画像Ｄｉｎ、高周波数成分画像Ｄ１については図１６（ａ）〜（ｅ）で説明した通りであり、その説明は省略し、まず拡大画像Ｄ２Ｂの説明を行う。

なお、高周波数成分画像Ｄ１においてゼロクロス点Ｚ近傍での局所的な最大値は、高レベル側の境界に現われるので座標Ｐ４で表される画素に局所的な最大値が現われ、逆に局所的な最小値は、低レベル側の境界に現われるので座標Ｐ３で表される画素に局所的な最小値が現われる。

拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）はゼロ挿入手段２１Ｂで高周波数成分画像Ｄ１に対して（画像Ｄ１の）１画素につき１画素、画素値０をもった画素を挿入した後、低周波数成分通過手段２２Ｂでその低周波数成分を取り出すことで得られる。低周波数成分を取り出すことは高周波数成分画像Ｄ１（図１７（ｃ））について局所領域における平均的な画素値を求めることと同じであり、拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）は、図１７（ｄ）に示したように、高周波数成分画像Ｄ１とほぼ同じ形をした、サンプリング数の増えた信号となる。

なお、画像が拡大されるのでゼロクロス点Ｚと座標Ｐ３で表される画素の間に新たに座標Ｐ１で表される画素が、ゼロクロス点Ｚと座標Ｐ４で表される画素の間に新たに座標Ｐ２で表される画素が現われる。また、拡大画像Ｄ２Ｂにおいてもゼロクロス点Ｚ近傍での局所的な最大値は座標Ｐ４で表される画素に、局所的な最小値は座標Ｐ３で表される画素に現われる。

次に非線形処理画像Ｄ３１の説明を行う。非線形処理画像Ｄ３１は、非線形処理手段３１が拡大画像Ｄ１中のゼロクロス点Ｚを検出し、そのゼロクロス点Ｚの前後の画素の画素値を増幅した結果として出力される。従って非線形処理画像Ｄ３１（又はＤ３１ｈ若しくはＤ３１ｖ）では、座標Ｐ１、Ｐ２で表される画素の画素値が増幅されることになり、非線形処理画像Ｄ３１は図１７（ｅ）に示したような信号となる。

最後に中間画像Ｄ３２Ｂの説明を行う。中間画像Ｄ３２Ｂ（図１７（ｆ））は非線形処理画像Ｄ３１（図１７(ｅ)）のもつ高周波数成分が高周波数成分画像生成手段３２Ｂにて取り出されたものである。高周波数成分は、入力信号から入力信号の低周波数成分（もしくは局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで取り出すことができる。

非線形処理画像Ｄ３１（図１７（ｅ））ではゼロクロス点Ｚの前後の画素（座標Ｐ１、Ｐ２で表される画素）については、その画素値が信号増幅手段３１２ｈ、３１２ｖにて増幅されているため、局所領域における平均的な画素値からの差は大きくなる。一方、ゼロクロス点近傍のその他の画素については、その画素値が増幅されることはないので、局所領域における平均的な画素値からの差は小さな値となる。従って拡大画像Ｄ２Ｂ（図１７（ｄ））と比較すると中間画像Ｄ３２Ｂ（図１７（ｆ））では、ゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点はそれぞれ座標Ｐ２、Ｐ１で表される画素となり、よりゼロクロス点Ｚへと近づく。また、局所的な最大値、最小値を与える点がゼロクロス点Ｚへと近づいた分、ゼロクロス点近傍での信号の変化も急になる。

先に説明したようにこれは中間画像Ｄ３２Ｂに、入力画像Ｄｉｎの解像度には含まれない高周波数成分が含まれることを意味する。言い換えると非線形処理手段３１において、拡大画像Ｄ２Ｂのゼロクロス点前後の画素値を増幅することで、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成したことになる。

別の観点から説明すれば、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来る。

また、中間画像Ｄ３２Ｂは非線形処理手段３１において生成した高周波数成分を高周波数成分画像生成手段３２Ｂで取り出すことで生成されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分をもつ画像となる。

拡大画像Ｄ２Ａ、中間画像Ｄ３２Ａ、中間画像Ｄ３２Ｂが持つ周波数成分を図示すると図２０のようになる。拡大画像Ｄ２Ａには主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域ＲＬに対応した周波数成分が含まれている。一方、中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する領域ＲＭに対応した周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する領域ＲＨに対応した周波数成分が含まれている。

中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して高周波数成分画像Ｄ３を生成すれば、高周波数成分画像Ｄ３には、中間画像Ｄ３２Ａが持つ周波数成分と中間画像Ｄ３２Ｂが持つ周波数成分の双方が含まれることになる。中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分が含まれているので、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分が含まれることになる。そして、拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算し出力画像Ｄｏｕｔを得ることで、出力画像Ｄｏｕｔに対して入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を与えることが可能になり、出力画像Ｄｏｕｔの解像感を増すことが出来る。

図１８（ａ）〜（ｄ）は上記の効果を別の観点から説明するための図である。図１８（ａ）はステップエッジ信号を表している。図１８（ａ）に示すエッジではエッジ中央より左側の方が右側より輝度が低くなっている。すなわち、エッジ中央より左側が低レベル側、右側が高レベル側になる。図１８（ｂ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる入力画像Ｄｉｎを表している。

図１８（ｃ）は図１８（ｂ）に示す入力画像Ｄｉｎに対して得られる拡大画像Ｄ２Ａを表している。拡大画像Ｄ２Ａは、入力画像Ｄｉｎに対して補間演算を行って得られるので、サンプリング間隔はＳ２の半分のＳ１になるが、エッジ近傍の信号の変化はなだらかなままであり、低レベル側の境界は座標Ｐ３で表される画素であり、高レベル側の境界は座標Ｐ４で表される画素のままである。

図１８（ｄ）はサンプリング間隔Ｓ１でステップエッジ信号をサンプリングした画像(図１８（ｂ）の画像と同じく符号Ｄｉｎで示す)を表している。低レベル側の境界は座標Ｐ１で表される画素であり、高レベル側の境界は座標Ｐ２で表される画素であり、拡大画像Ｄ２Ａと比較し、エッジ近傍での信号の変化が急になっている。

中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算することで、拡大画像Ｄ２のエッジ近傍での信号の傾きが補正され、図１８（ｄ）に示すステップエッジ信号をサンプリング間隔Ｓ１でサンプリングした画像に近い画像が得られ、出力輝度画像ＹＯＵＴの解像感を高めることが出来る。

人間の目はカラー画像の解像感においては輝度成分の与える情報が支配的であるので、上記の説明の様に、中間画像Ｄ３２Ａ、Ｄ３２Ｂ（あるいは高周波数成分）を拡大画像Ｄ２Ａに加算し、出力輝度画像ＹＯＵＴの解像感を増すことで出力カラー画像ＩＭＧＯＵＴにおいても画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うと画質低下を招くことがある。

図１９（ａ）及び（ｂ）は高周波数成分の加算による画質低下について説明するための図である。
図１９（ａ）は高周波数成分の加算を適度に行うことによって、画像の鮮鋭感を増した場合を、図１９（ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。

図１９（ａ）は、図１８（ｃ）に示された拡大画像Ｄ２Ａに対してこのとき得られる中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂを加算した結果を示す図であり、図１８（ｃ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１９（ａ）では座標Ｐ１で表される位置へと修正され、図１８（ｃ）において座標Ｐ４で表されたステップエッジの高輝度側の境界部分が、図１９（ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１８（ｃ）と図１９（ａ）を比較すると、図１９（ａ）の方が図１６（ｂ）に示すステップエッジをサンプリング間隔Ｓ１でサンプリングした信号へと近づいていることがわかる。これは高周波数成分の加算を適度に行うことによって、画像の鮮鋭感が増したことを表す。

一方、図１９（ｂ）も、図１８（ｃ）に示された拡大画像Ｄ２Ａに対して中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂを加算した結果を示す図であるが、図１９（ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１９（ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）している。
オーバーシュートが発生するのは中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が正の場合であり、アンダーシュートが発生するのは中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が負の場合である。

以下、オーバーシュートが発生した場合の不具合、アンダーシュートが発生した場合の不具合を個別に考えるとともに、本発明によってそれを如何に防止するかについて述べる。

まず、オーバーシュートに関して述べる。
出力輝度画像ＹＯＵＴにおいてオーバーシュートが発生すると輝度信号が必要以上に大きくなる。式（２）から、輝度信号（Ｙ）の値が大きくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が大きくなるので、結果的にＲ、Ｇ、Ｂともに大きな値になることがわかる。

Ｒ、Ｇ、Ｂともに大きな値になるということは白色に近づくことを意味する。白色に近づくとは言い換えれば色が薄くなるということである。もともと無彩色に近い部分で色が薄くなっても相対的に目立たないが、有彩色のエッジ付近で色が薄くなると、エッジの周りのみ色が薄くなり、不自然な感じを与える。

言い換えると、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が正の場合、
有彩色の部分に中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって加算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、これら画質の低下が発生しやすくなると考えられる。そこで有彩色の部分において補正量が必要以上に大きくならないよう調整すればよいと考えられる。

その方法として例えば中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が正の場合、有彩色かつ中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなる部分を検出し、検出された箇所では、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによる補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。

有彩色であるかどうかは彩度（Ｃｒ、Ｃｂの２乗和の平方根で表すことができる）で判定することができる。即ち、有彩色では彩度は大きな値となる。またＣｒ、Ｃｂの２乗和の平方根はＣｒ、Ｃｂの絶対値の和で近似することが出来る。ＣｒあるいはＣｂの絶対値が大きくなればＣｒ、Ｃｂの２乗和の平方根も大きくなるからである。なお、本実施の形態１ではＣＢ拡大画像Ｄ２ＣがＣｂに対応し、ＣＲ拡大画像Ｄ２ＤがＣｒに対応している。従ってＣＢ拡大画像Ｄ２Ｃの画素値の絶対値あるいはＣＲ拡大画像Ｄ２Ｄの画素値の絶対値が大きい場合、有彩色であると判断できる。また、有彩色であるか否か判断するために、Ｃｒ、Ｃｂの２乗和の平方根を計算するより、絶対値の和を計算する方が簡単であり、回路規模も小さくて済む。

中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなるかどうかは拡大画像Ｄ２Ａの画素値に基づいてある程度判断することが可能である。理由を以下に述べる。

中間画像Ｄ３２Ａは拡大画像Ｄ２Ｂに対してハイパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は拡大画像Ｄ２Ｂの各画素値から局所的な平均値を引くことに相当する。従って拡大画像Ｄ２Ｂにおいて画素値が大きな正の値である画素は、その画素に対して与えられるハイパスフィルタ処理後の出力値、すなわち中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高い。

一方、拡大画像Ｄ２Ｂは高周波数成分画像Ｄ１を拡大することで生成される。拡大処理は注目する画素近傍の画素値を加重加算することに相当する。
従って拡大画像Ｄ２Ｂの画素値を算出する際、高周波数成分画像Ｄ１内の画素値が大きな正の値である画素を用いる箇所では、拡大画像Ｄ２Ｂの画素値として大きな正の値が得られる可能性が高い。

高周波数成分画像Ｄ１は入力画像Ｄｉｎにハイパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は各画素値から局所的な平均値を引くことに相当するので、入力画像Ｄｉｎにおいて画素値が大きな正の値である画素は、高周波数成分画像Ｄ１の画素値も大きな正の値になる可能性が高い。

以上の話を逆から述べると、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、高周波数成分画像Ｄ１中で同画素に対応する画素の画素値は大きな正の値になる可能性が高い。また、高周波数成分画像Ｄ１において、画素値が大きな正の値である画素があった場合、同画素値をもちいて算出される拡大画像Ｄ２Ｂの画素値も大きな正の値となる可能性が高いので、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、拡大画像Ｄ２Ｂ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。さらに、拡大画像Ｄ２Ｂにおいて、画素値が大きな正の値である画素は、その画素に対して与えられるハイパスフィルタ処理後の出力値、すなわち中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高いので、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。

一方、拡大画像Ｄ２Ａは入力画像Ｄｉｎに拡大処理を行うことで生成される。拡大処理は注目する画素近傍の画素値を加重加算することに相当する。従って拡大画像Ｄ２Ａの画素値を算出する際、入力画像Ｄｉｎ内の画素値が大きいな正の値である画素を用いる箇所では、拡大画像Ｄ２Ａの画素値が大きな正の値になる可能性が高い。また、先に述べた様に、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。従って入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａにおいても、拡大画像Ｄ２Ａにおいても、同画素に対応する位置にある画素は大きな正の値を持つ可能性が高い。

従って、拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高く、言い換えると中間画像Ｄ３２Ａによって補正量が過度に加算され、オーバーシュートが発生する可能性が高くなる。

また、中間画像Ｄ３２Ｂは拡大画像Ｄ２Ｂに対し、非線形処理手段２Ａで非線形処理を行った後、高周波数成分画像生成手段３２Ｂにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段２Ａではゼロクロス点の近傍のみ中間画像Ｄ３２Ａを増幅させるので、基本的に拡大画像Ｄ２Ｂが大きな正の値を持っていると非線形処理手段３１の出力する非線形処理画像Ｄ３１も大きな正の値を持っていると考えられる。非線形処理画像Ｄ３１が大きな正の値を持っている場合、非線形処理画像Ｄ３１に対するハイパスフィルタ処理結果である中間画像Ｄ３２Ｂも大きな正の値をもつ可能性が高い。

以上をまとめると、拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値も大きな正の値となる可能性が高い。言い換えると拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなるとある程度判断することが可能である。

上記の理由から拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値のいずれかが大きい画素では、有彩色の部分で補正量が大きくなり、ＲＧＢ形式に直した場合に色が薄くなるという不具合が起きうると考えられる。

また、拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値のいずれかが大きい場合、その加重加算値も大きな値となる。

そこで本発明は、式（３）により拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値を加重加算し、輝度色差加算画像Ｄ５を生成し、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が正の場合、図１０（ａ）、（ｃ）や図１２（ａ）、（ｃ）に示すように輝度色差加算画像Ｄ５の画素値が大きくなるほど中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂにかける増幅率を小さくすることで、有彩色のエッジ付近で色が薄くなるという不具合を回避することとしたものである。

次に、アンダーシュートに関して述べる。
出力輝度画像ＹＯＵＴにアンダーシュートが発生すると輝度信号が必要以上に小さくなる。式（３）から、輝度信号（Ｙ）の値が小さくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が小さくなるので、結果的にＲ、Ｇ、Ｂともに小さな値になることがわかる。

Ｒ、Ｇ、Ｂともに小さな値になるということは黒色に近づくことを意味する。エッジ付近で色が黒くなると、エッジを縁取るような黒い偽の輪郭が現れ、不自然な感じを与える。

言い換えると、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が負の場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって減算される輝度の大きさ（以下、補正量）が必要以上に大きな値になると、これら画質の低下が発生しやすくなると考えられる。そこで中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が負の場合、補正量が必要以上に大きくならないよう調整すればよいと考えられる。

その方法として例えば中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が負の場合、補正量が大きくなる部分を検出し、検出された箇所では、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによる補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。

オーバーシュートに関する考察を行った時と逆の議論を行えば、中間画像Ｄ３２Ａの画素値の符号が負でかつ、拡大画像Ｄ２Ａの画素値が小さい場合、中間画像Ｄ３２Ａによって与えられる補正量が絶対値の大きな負の値になり、中間画像Ｄ３２Ｂの画素値の符号が負でかつ、拡大画像Ｄ２Ａの画素値が小さい場合、中間画像Ｄ３２Ｂによって与えられる補正量が絶対値の大きな負の値になることがわかる。

従って、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が負の場合、拡大画像Ｄ２Ａの画素値が小さくなるほど中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂにかける増幅率を小さくすることで、エッジ付近に偽の輪郭が現れるという不具合を回避すると考えられる。

本発明では、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値の符号が負の場合、図１０（ｂ）、（ｄ）や図１２（ｂ）、（ｄ）に示すように拡大画像Ｄ２Ａの画素値の代わりに輝度色差加算画像Ｄ５の画素値が小さくなるほど中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂにかける増幅率を小さくすることで、エッジ付近に偽の輪郭が現れるという不具合を回避することとしたものである。以下、拡大画像Ｄ２Ａの代わりに輝度色差加算画像Ｄ５を使っても良い理由について述べる。

無彩色のエッジ付近では、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値はゼロに近いため、輝度色差加算画像Ｄ５の画素値の大小関係はそのまま拡大画像Ｄ２Ａの画素値の大小関係を表していると考えられる。従って無彩色のエッジ付近では拡大画像Ｄ２Ａの代わりに輝度色差加算画像Ｄ５を使うことに問題はないと考えられる。

一方、有彩色のエッジ付近では、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値は大きな値を取り得るため、必ずしも輝度色差加算画像Ｄ５の画素値の大小関係がそのまま拡大画像Ｄ２Ａの画素値の大小関係を表しているとは限らない。例えば拡大画像Ｄ２Ａの画素値が小さくてもＣＢ拡大画像Ｄ２Ｃの画素値の絶対値あるいはＣＲ拡大画像Ｄ２Ｄの画素値の絶対値が大きいと、拡大画像Ｄ２Ａの画素値は小さな値なのに輝度色差加算画像Ｄ５の画素値は大きな値となる。

しかしながら、自然画像では輝度が小さい場合、色差の絶対値も小さい場合が多いので、拡大画像Ｄ２Ａの画素値が小さくかつＣＢ拡大画像Ｄ２Ｃの画素値の絶対値あるいはＣＲ拡大画像Ｄ２Ｄの画素値の絶対値が大きくなる場合は稀である。従って、上述のように拡大画像Ｄ２Ａの代わりに輝度色差加算画像Ｄ５の画素値を用いて中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂに対する増幅率を制御することに事実用上問題は少ないと考えられる。

そこで本発明は、輝度色差加算画像Ｄ５の画素値が小さくなるほど増幅率が小さくなるよう、増幅率Ｄ３ＭＡあるいは増幅率Ｄ３ＨＡを決定することで、エッジ付近で色が黒色に近づくという不具合を防止することとしている。

以上のように実施の形態１による画像処理装置では、エッジ付近で色が薄くなるあるいは黒色に近づくという不具合の発生を抑えつつ、画像の強調処理を行うことができる。エッジ付近で色が薄くなるあるいは黒色に近づくと視覚特性上不自然に感じられるので、実施の形態１による画像処理装置では、視覚特性上も非常に好ましいものである。

また、実施の形態１による画像処理装置では、高周波数成分画像補正手段３３Ａ及び高周波数成分画像補正手段３３Ｂにおいて、中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂに対する増幅率を決定しているが、その際必要になる情報は拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及び入力ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値の加重加算値及び中間画像Ｄ３２Ａもしくは中間画像Ｄ３２Ｂの画素値の符号のみである。従って簡単な回路で増幅率を決定することが可能であり、回路規模の増加も少なくて済む。

なお、上記の実施の形態では、高周波数成分画像補正手段３３Ａにおいて、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号に基づいて増幅率Ｄ３ＭＡを決定するとともに、高周波数成分画像補正手段３３Ｂにおいて、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号に基づいて増幅率Ｄ３ＨＡを決定することとしているが、高周波数成分画像補正手段３３Ａ及び高周波数成分画像補正手段３３Ｂの一方においてのみ、上記の方法で増幅率を決定することとし、他方においては他の方法で増幅率を決定することとしても良い。

また、上記の実施の形態では、高周波数成分画像処理手段３が、高周波数成分画像補正手段３３Ａ及び３３Ｂの双方を備えているが、一方のみでも良い。例えば、第２の補正成分生成手段３Ｂが、高周波数成分画像補正手段３３Ｂを備えず、非線形処理画像生成手段３０が出力する中間画像Ｄ３２Ｂを第２の補正成分生成手段３Ｂの出力として用いても良く、第１の補正成分生成手段３Ａが、高周波数成分画像補正手段３３Ａを備えず、高周波数成分画像生成手段３２Ａが出力する中間画像Ｄ３２Ａを第１の補正成分生成手段３Ａの出力として用いても良い。

以上に説明したように、輝度成分については高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を画像拡大手段２Ｂで拡大した画像拡大手段２Ｂを、高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎ（あるいは入力輝度画像ＹＩＮ）のナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含んだ高周波数成分画像Ｄ３を得ることができる。そして、加算手段４において、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域の周波数成分を含む拡大画像Ｄ２Ａと入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する領域の周波数成分を含む高周波数成分画像Ｄ３を加算して拡大画像Ｄｏｕｔを生成することとしているので、拡大画像Ｄｏｕｔに対して高周波数成分を十分に与えることができ、解像感のある拡大画像Ｄｏｕｔ（あるいは出力輝度画像ＹＯＵＴ）を得ることができる。

また、高周波数成分画像生成手段１において、水平方向の高周波数成分を取り出した水平方向高周波数成分画像Ｄ１ｈと垂直方向の高周波数成分を取り出した垂直方向高周波数成分画像Ｄ１ｖを生成することで、画像の水平方向、垂直方向のうちの任意の方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当した周波数成分を生成することが可能となる。すなわち、水平方向高周波数成分画像Ｄ１ｈを画像拡大手段２Ｂｈで拡大した拡大画像Ｄ２Ｂｈに対し、水平方向高周波数成分画像生成手段３２Ａｈで水平方向のハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｈが生成され、垂直方向高周波数成分画像Ｄ１ｖを画像拡大手段２Ｂｖで拡大した拡大画像Ｄ２Ｂｖに対し、垂直方向高周波数成分画像生成手段３２Ａｖで垂直方向のハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｖが生成される。

また、水平方向及び垂直方向について異なる特性のハイパスフィルタをかけることで、水平方向と垂直方向とで水平方向と垂直方向とでナイキスト周波数Ｆｎに近い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。

また、拡大画像Ｄ２Ｂｈに対し水平方向非線形処理手段３１ｈで非線形処理を行って生成した非線形処理画像Ｄ３１ｈに対して、水平方向高周波数成分画像生成手段３２Ｂｈでハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｈが生成され、拡大画像Ｄ２Ｂｖに対し垂直方向非線形処理手段３１ｖで非線形処理を行って生成した非線形処理画像Ｄ３１ｖに対して、垂直方向高周波数成分画像生成手段３２Ｂｖでハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｖが生成される。

また、水平方向及び垂直方向について異なる特性の非線形処理及びハイパスフィルタリングを行なうことで、水平方向と垂直方向とでナイキスト周波数Ｆｎより高い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。

また、中間画像Ｄ３２Ａに対しては、高周波数成分画像補正手段３３Ａにおいて輝度色差加算画像Ｄ５の画素値及び中間画像Ｄ３２Ａの画素値の符号に応じて補正をかけた中間画像Ｄ３３Ａを生成し、加算手段３４を介して拡大画像Ｄ２Ａに加算することで、エッジ近傍で色の濃淡が変化する（あるいは色が薄くなったり黒色に近づいたりする）のを防止することができる。

また、中間画像Ｄ３２Ｂに対しては、高周波数成分画像補正手段３３Ｂにおいて輝度色差加算画像Ｄ５の画素値及び中間画像Ｄ３２Ｂの画素値の符号に応じて補正をかけた中間画像Ｄ３３Ｂを生成し、加算手段３４を介して拡大画像Ｄ２Ａに加算することで、エッジ近傍で色の濃淡が変化するのを防止することができる。

なお、輝度画像拡大手段６において、入力画像Ｄｉｎから拡大画像Ｄｏｕｔを生成する場合の拡大率を水平方向、垂直方向とも２倍として説明を行ったが拡大率は２倍に限定されるものではない。すなわち、画像拡大手段２Ａにおいて入力画像Ｄｉｎを水平方向、垂直方向ともに所望の倍率に拡大した拡大画像Ｄ２Ａを生成し、高周波数成分生成手段１において入力画像Ｄｉｎをもとに高周波数成分画像Ｄ１を生成し、画像拡大手段２Ｂにおいて、高周波数成分画像Ｄ１を水平方向、垂直方向ともに所望の倍率（画像拡大手段２Ａにおける拡大倍率と同じ倍率）に拡大した拡大画像Ｄ２Ｂを生成し、高周波数成分画像処理手段３において拡大画像Ｄ２Ｂをもとに高周波数成分画像Ｄ３を生成し、加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算し、最終的な拡大画像Ｄｏｕｔを得ればよい。
さらに、先にも述べたように、水平方向の拡大率と垂直方向の拡大率とは同じでなくても良く、また水平方向、垂直方向の一方についてのみ拡大を行なっても良い。

また、上記の説明では水平方向、垂直方向ともゼロクロス点の前後１画素についてのみ増幅率を大きくするとしたが、増幅率の制御の例はこの限りではなく、例えば拡大率に応じて適宜変化させる（拡大率に応じた値に設定する）ことも出来る。

以下、拡大率が上記の例とは異なる場合について、図２１（ａ）〜（ｅ）及び図２２（ａ）〜（ｆ）を参照して説明する。

図２１（ａ）にステップエッジ信号、図２１（ｂ）にステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図２１（ｃ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図２１（ｄ）はステップエッジ信号を間隔Ｓ１の３倍の間隔Ｓ３でサンプリングして得られる信号、図２１（ｅ）はステップエッジ信号を間隔Ｓ３でサンプリングして得られる信号の高周波数成分を表す。なお、図２１（ｄ）及び（ｅ）において画素の位置ＰＬ１、ＰＲ１はステップエッジ信号の境界（輝度の明暗が変化する地点）を表す。通常、ステップエッジ信号をサンプリングした画像の高周波数成分を表す信号において、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置は、ステップエッジ信号の境界の位置とほぼ一致する。

図２２（ａ）〜（ｆ）は、拡大率が３倍の場合の、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図２２（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図２２（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図２２（ｃ）は高周波数成分画像Ｄ１、図２２（ｄ）は拡大画像Ｄ２Ｂ、図２２（ｅ）は非線形処理画像Ｄ３１、図２２（ｆ）は中間画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として記載した。

図２２（ｄ）に示すように、拡大画像Ｄ２Ｂにおいてゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置ＰＬ１、ＰＲ１は、拡大画像Ｄ２Ｂにおいてもステップエッジ信号の境界の位置とほぼ一致する。通常、本実施の形態の説明で用いた拡大方法ではこのＰＬ１、ＰＲ１の位置は変化せず、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数が多くなる。また、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂを生成する際の拡大率を大きくすれば（あるいはサンプリング間隔を短くすれば）多くなる。
一方、ステップエッジ信号を短いサンプリング間隔でサンプリングした画像の高周波数成分を表す信号では、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置はよりゼロクロス点Ｚに近づき、ゼロクロス点にＺより近い画素ほど高周波数成分を表す信号の振幅が大きくなる。

従って、ゼロクロス点Ｚ前後の信号のみ増幅して非線形処理画像Ｄ３１を生成する際に、ＰＬ１及びＰＲ１よりゼロクロス点Ｚにより近い画素になるほど振幅が大きくなるよう処理してやることが好ましく、例えば位置ＰＬ１、ＰＲ１よりゼロクロス点Ｚに近い画素ではゼロクロス点Ｚにより近い画素ほど大きな増幅率で、ＰＬ１、ＰＲ１よりゼロクロス点Ｚから遠い画素については増幅率１で拡大画像Ｄ２Ｂの画素値を増幅することで、図２２（ｅ）に示すような、ゼロクロス点Ｚにより近い画素ほど大きな振幅をもった非線形処理画像Ｄ３１を生成することができる。そしてこのようにして生成した拡大画像Ｄ２Ｂからハイパスフィルタ処理によって高周波数成分のみを取り出すことで図２２（ｆ）に示すようなサンプリング間隔Ｓ１に対応した中間画像Ｄ３２Ｂを生成できる。

以上をまとめると、位置ＰＬ１、ＰＲ１とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂ生成時の拡大率によって異なるので、拡大画像Ｄ２Ｂから非線形処理画像Ｄ３１を生成する際にゼロクロス点Ｚ前後において増幅率を１より大きくする画素の数を画像の拡大率に応じて変えてもよい。また、これらの画素に対する増幅率も画素に応じて、例えば、ゼロクロス点Ｚからの距離に応じて変えてもよい。たとえば、ゼロクロス点Ｚに近い画素ほど増幅率を大きくしてもよい。

また、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを比較した場合、中間画像Ｄ３２Ｂの方がより高い周波数成分を有しており、図１に記載の高周波数成分画像処理手段３から、高周波数成分画像生成手段３２Ａ、高周波数成分画像補正手段３３Ａを取り除いた構成としても、拡大画像Ｄ２Ａに対して入力輝度画像ＹＩＮのナイキスト周波数Ｆｎ以上の成分を与え、解像感を高めることが出来る。
この場合、例えば、高周波数成分画像処理手段３が非線形処理画像生成手段３０、高周波数成分画像補正手段３３Ｂ、加算手段３４を備え、加算手段３４が水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算した結果を高周波数成分画像Ｄ３として出力する構成とすればよい。

また、先に説明したように、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来るので、要するに、高周波数成分画像処理手段３内部で拡大画像Ｄ２Ｂに対して非線形処理を行えればよい。

実施の形態２．
実施の形態１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能である。その場合の処理を図２３、並びに図２４〜図３１を参照して説明する。

図２３は、実施の形態２の画像処理装置を示す。図示の画像処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、これらを接続するバス１４を有する。
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。処理の結果生成される拡大画像Ｄｏｕｔは、インターフェース１５を介して表示部９に供給され、表示部９による表示に用いられる。
以下、ＣＰＵ１１により行なわれる処理を図２４〜図３１を参照して説明する。

実施の形態２による画像処理方法は図２３の画像処理装置で実施され、入力カラー画像ＩＭＧＩＮを入力とし、出力カラー画像ＩＭＧＯＵＴを出力とする。入力カラー画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力カラー画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。

図２４は図２３の画像処理装置で実施される画像処理方法のフローを表す図であり、図２４に示される画像処理方法は画像拡大ステップＳＴ２Ａ、ＣＢ画像拡大ステップＳＴ２Ｃ、ＣＲ画像拡大ステップＳＴ２Ｄ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３、及び加算ステップＳＴ４を有する。

画像拡大ステップＳＴ２Ａは入力輝度画像ＹＩＮを、図１、図３の画像拡大手段２Ａと同様の処理で拡大した拡大画像Ｄ２Ａを生成する。

ＣＢ画像拡大ステップＳＴ２Ｃは入力ＣＢ画像ＣＢＩＮを拡大したＣＢ拡大画像Ｄ２Ｃを出力する。

ＣＲ画像拡大ステップＳＴ２Ｄは入力ＣＲ画像ＣＲＩＮを拡大したＣＲ拡大画像Ｄ２Ｄを出力する。

ＣＢ拡大画像Ｄ２Ｃが出力ＣＲ画像ＣＲＯＵＴとして出力され、ＣＲ拡大画像Ｄ２Ｄが出力ＣＢ画像ＣＢＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力カラー画像ＩＭＧＯＵＴの一部として出力される。

なお、特別の理由がない限り、画像拡大ステップＳＴ２Ａ、ＣＢ画像拡大ステップＳＴ２Ｃ、及びＣＲ画像拡大ステップＳＴ２Ｄでの拡大率は同じである。
また、ＣＢ画像拡大ステップＳＴ２Ｃ、ＣＲ画像拡大ステップＳＴ２Ｄの動作は画像拡大ステップＳＴ２Ａと同様にすればよい。

輝度色差加算ステップＳＴ５では拡大画像Ｄ２Ａの画素値及びＣＢ拡大画像Ｄ２Ｃ、ＣＲ拡大画像Ｄ２Ｄの各画素値の絶対値を式（３）に従って加重加算し、その結果を輝度色差加算画像Ｄ５として出力する。この動作は実施の形態１における輝度色差加算手段５と同じである。

高周波数成分画像生成ステップＳＴ１は、図２５に示すように、水平方向高周波数成分画像生成ステップＳＴ１ｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１ｖを有する。水平方向高周波数成分画像生成ステップＳＴ１ｈでは入力輝度画像ＹＩＮに対し、図３の水平方向高周波数成分画像生成手段１ｈと同様の処理を行い、水平方向高周波数成分画像Ｄ１ｈを生成する。一方、垂直方向高周波数成分画像生成ステップＳＴ１ｖでは入力輝度画像ＹＩＮに対し、図３の垂直方向高周波数成分画像生成手段１ｖと同様の処理を行い、垂直方向高周波数成分画像Ｄ１ｖを生成する。

画像拡大ステップＳＴ２Ｂは、図２６に示すように、画像拡大ステップＳＴ２Ｂｈ、及び画像拡大ステップＳＴ２Ｂｖを有する。
画像拡大ステップＳＴ２Ｂｈでは、水平方向高周波数成分画像生成ステップＳＴ１ｈで生成した水平方向高周波数成分画像Ｄ１ｈに対し、図３の画像拡大手段２Ｂｈと同様の処理を行い、拡大画像Ｄ２Ｂｈを生成する。
画像拡大ステップＳＴ２Ｂｖでは、垂直方向高周波数成分画像生成ステップＳＴ１ｖで生成した垂直方向高周波数成分画像Ｄ１ｖに対し、図３の画像拡大手段２Ｂｖと同様の処理を行い、拡大画像Ｄ２Ｂｖを生成する。

なお、特別の理由がない限り、画像拡大ステップＳＴ２Ｂと画像拡大ステップＳＴ２Ａでの拡大率は同じである。

次に高周波数成分画像処理ステップＳＴ３の動作を説明する。
高周波数成分画像処理ステップＳＴ３は、図２７に示すように、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ａ、高周波数成分画像補正ステップＳＴ３３Ｂ、及び加算ステップＳＴ３４を有する。
高周波数成分通過ステップＳＴ３２Ａは、水平方向高周波数成分画像生成ステップＳＴ３２Ａｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ａｖを有する。

非線形処理画像生成ステップＳＴ３０は、非線形処理ステップＳＴ３１、及び高周波数成分画像生成ステップＳＴ３２Ｂを有する。
非線形処理ステップＳＴ３１は水平方向非線形処理ステップＳＴ３１ｈ、及び垂直方向非線形処理ステップＳＴ３１ｖを有する。
高周波数成分画像生成ステップＳＴ３２Ｂは、水平方向高周波数成分画像生成ステップＳＴ３２Ｂｈ、及び垂直方向高周波数成分画像生成ステップＳＴ３２Ｂｖを有する。

水平方向高周波数成分通過ステップＳＴ３２Ａｈでは、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈに対し、図３の水平方向高周波数成分画像生成手段３２Ａｈと同様の処理を行い、水平方向中間画像Ｄ３２Ａｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ａｖでは、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖに対し、図３の垂直方向高周波数成分画像生成手段３２Ａｖと同様の処理を行い、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして高周波数成分画像生成ステップＳＴ３２Ａでは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが生成される。
このように、高周波数成分通過ステップＳＴ３２Ａでは、図３の高周波数成分画像生成手段３２Ａと同様の動作が行われる。

水平方向非線形処理ステップＳＴ３１ｈは、図２８に示すようにゼロクロス判定ステップＳＴ３１１ｈと信号増幅ステップＳＴ３１２ｈを有する。
水平方向非線形処理ステップＳＴ３１ｈの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｈで、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を特定する。信号増幅ステップＳＴ３１２ｈでは、拡大画像Ｄ２Ｂｈのうち、ゼロクロス判定ステップＳＴ３１１ｈで特定されたゼロクロス点の左右に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｈとして生成する。

垂直方向非線形処理ステップＳＴ３１ｖは、図２９に示すようにゼロクロス判定ステップＳＴ３１１ｖと信号増幅ステップＳＴ３１２ｖを有する。
垂直方向非線形処理ステップＳＴ３１ｖの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｖで、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を特定する。信号増幅ステップＳＴ３１２ｖでは、拡大画像Ｄ２Ｂｖのうち、ゼロクロス判定ステップＳＴ３１１ｖで特定されたゼロクロス点の上下に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｖとして生成する。

そして高周波数成分画像生成ステップＳＴ３１では非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る非線形処理画像Ｄ３１が生成される。
このように、非線形処理ステップＳＴ３１では、図３の非線形処理手段３１と同様の動作が行われる。

水平方向高周波数成分通過ステップＳＴ３２Ｂｈは、水平方向非線形処理ステップＳＴ３１ｈで生成した非線形処理画像Ｄ３１ｈにハイパスフィルタをかけ、水平方向中間画像Ｄ３２Ｂｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ｂｖは、垂直方向非線形処理ステップＳＴ３１ｖで生成した非線形処理画像Ｄ３１ｖにハイパスフィルタをかけ、垂直方向中間画像Ｄ３２Ｂｖを生成する。

そして高周波数成分画像生成ステップＳＴ３２Ｂでは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが生成される。
このように、高周波数成分通過ステップＳＴ３２Ｂでは、図３の高周波数成分画像生成手段３２Ｂと同様の動作が行われる。

次に、高周波数成分画像補正ステップＳＴ３３Ａの詳細な動作について説明する。
高周波数成分画像補正ステップＳＴ３３Ａは、図３０に示すように増幅率計算ステップＳＴ３ＭＡと画素値増幅ステップＳＴ３ＭＢを含み、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号に応じて求められる増幅率を使って、中間画像Ｄ３２Ａの各画素値を補正する。なおここで言う補正とは、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号に応じて求められる増幅率を、中間画像Ｄ３２Ａの各画素値に掛け合わせる（あるいは輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ａの画素値の符号に応じて求められる増幅率によって画素値を増幅する）ことを意味する。

ここで中間画像Ｄ３２Ａは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖとから成るので、増幅率の計算は水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖの各々について行われる。すなわち、水平方向中間画像Ｄ３２Ａｈに関しては水平方向増幅率計算ステップＳＴ３ＭＡｈにおいて各画素に対する増幅率が決定され、垂直方向中間画像Ｄ３２Ａｖに関しては垂直方向増幅率計算ステップＳＴ３ＭＡｖにおいて各画素に対する増幅率が決定される。

ここで水平方向増幅率計算ステップＳＴ３ＭＡｈの動作は水平方向増幅率計算手段３ＭＡｈと同様であり、垂直方向増幅率計算ステップＳＴ３ＭＡｖの動作は垂直方向増幅率計算手段３ＭＡｖと同様であるのでその説明は省略する。

次に画素値増幅ステップＳＴ３ＭＢでは、増幅率計算ステップＳＴ３ＭＡにおいて決定された増幅率に基づいて中間画像Ｄ３２Ａの各画素がもつ画素値を増幅する。ここで中間画像Ｄ３２Ａは水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖから成るので、画素値の増幅は、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖの各々について行われる。

即ち、水平方向画素値増幅ステップＳＴ３ＭＢｈでは、水平方向増幅率計算ステップＳＴ３ＭＡｈで決定された増幅率に基づいて水平方向中間画像Ｄ３２Ａｈの各画素値が増幅した画像Ｄ３ＭＢｈが生成される。また、垂直方向画素値増幅ステップＳＴ３ＭＢｖでは、垂直方向増幅率計算ステップＳＴ３ＭＡｖで決定された増幅率に基づいて垂直方向中間画像Ｄ３２Ａｖの各画素値が増幅した画像Ｄ３ＭＢｖが生成される。この動作は画素値増幅手段３ＭＢの動作と同じである。

そして画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ａｈと画像Ｄ３ＭＢｖに相当する垂直方向中間画像Ｄ３３Ａｖから成る中間画像Ｄ３３Ａが、高周波数成分画像補正ステップＳＴ３３Ａによって生成される。

以上が高周波数成分画像補正ステップＳＴ３３Ａの動作であり、その動作は図９の高周波数成分補正手段３３Ａの動作と同等である。

次に、高周波数成分画像補正ステップＳＴ３３Ｂの詳細な動作について説明する。
高周波数成分画像補正ステップＳＴ３３Ｂは、図３１に示すように増幅率計算ステップＳＴ３ＨＡと画素値増幅ステップＳＴ３ＨＢを含み、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号に応じて求められる増幅率を使って、中間画像Ｄ３２Ｂの各画素値を補正する。なおここで言う補正とは、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号に応じて求められる増幅率を、中間画像Ｄ３２Ｂの各画素値に掛け合わせる（あるいは輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３２Ｂの画素値の符号に応じて求められる増幅率によって画素値を増幅する）ことを意味する。

ここで中間画像Ｄ３２Ｂは、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖとから成るので、増幅率の計算は水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖの各々について行われる。すなわち、水平方向中間画像Ｄ３２Ｂｈに関しては水平方向増幅率計算ステップＳＴ３ＨＡｈにおいて各画素に対する増幅率が決定され、垂直方向中間画像Ｄ３２Ｂｖに関しては垂直方向増幅率計算ステップＳＴ３ＨＡｖにおいて各画素に対する増幅率が決定される。
ここで水平方向増幅率計算ステップＳＴ３ＨＡｈの動作は水平方向増幅率計算手段３ＨＡｈと、垂直方向増幅率計算ステップＳＴ３ＨＡｖの動作は垂直方向増幅率計算手段３ＨＡｖと同様であるのでその説明は省略する。

次に画素値増幅ステップＳＴ３ＨＢでは、増幅率計算ステップＳＴ３ＨＡにおいて決定された増幅率に基づいて中間画像Ｄ３２Ｂの各画素がもつ画素値を増幅する。ここで中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖから成るので、画素値の増幅は、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖの各々について行われる。

即ち、水平方向画素値増幅ステップＳＴ３ＨＢｈでは、水平方向増幅率計算ステップＳＴ３ＨＡｈで決定された増幅率に基づいて水平方向中間画像Ｄ３２Ｂｈの各画素値を増幅した画像Ｄ３ＨＢｈが生成される。また、垂直方向画素値増幅ステップＳＴ３ＨＢｖでは、垂直方向増幅率計算ステップＳＴ３ＨＢｖで決定された増幅率に基づいて垂直方向中間画像Ｄ３２Ｂｖの各画素値が増幅した画像Ｄ３ＨＢｖが生成される。この動作は画素値増幅手段３ＨＢの動作と同じである。

そして画像Ｄ３ＨＢｈに相当する水平方向中間画像Ｄ３３Ｂｈと画像Ｄ３ＨＢｖに相当する垂直方向中間画像Ｄ３３Ｂｖから成る中間画像Ｄ３３Ｂが、高周波数成分画像補正ステップＳＴ３３Ｂによって生成される。

以上が高周波数成分画像補正ステップＳＴ３３Ｂの動作であり、その動作は図１１の高周波数成分補正手段３３Ｂの動作と同等である。

高周波数成分画像生成ステップＳＴ３２Ａと高周波数成分画像補正ステップＳＴ３３Ａの組み合わせが、第１の補正成分生成手段３Ａの動作に対応し、非線形処理画像生成ステップＳＴ３０と高周波数成分画像補正ステップＳＴ３３Ｂの組み合わせが、第２の補正成分生成手段３Ｂの動作に対応する。

加算ステップＳＴ３４は、高周波数成分画像補正ステップＳＴ３３Ａで生成した中間画像Ｄ３３Ａと高周波数成分画像補正ステップＳＴ３３Ｂで生成した中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を得る。このように、ステップＳＴ３４では、図３の加算手段３４と同様の動作が行われる。
なお、ここでの加算は加算手段３４と同様、加重加算でもよい。

以上が、高周波数成分画像処理ステップＳＴ３の動作であり、この動作は、図１、図３の高周波数成分画像処理手段３と同じである。

加算ステップＳＴ４は、画像拡大ステップＳＴ２Ａで生成した拡大画像Ｄ２Ａと高周波数成分画像処理ステップＳＴ３で生成した高周波数成分画像Ｄ３を加算した画像Ｄｏｕｔを生成する。そして生成された画像Ｄｏｕｔが出力輝度画像ＹＯＵＴとなり、最終的な出力カラー画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
この動作は、図１、図３の加算手段４と同じである。

なお、上記の説明から明らかなように、画像拡大ステップＳＴ２Ａ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３によって図１あるいは図３に記載の輝度画像拡大手段６と同様の処理がなされる。

以上が実施の形態２による画像処理方法の動作である。上記の説明から明らかなように実施の形態２による画像処理方法でも実施の形態１による画像処理装置と同様の処理で画像を拡大できるため、実施の形態１による画像処理装置と同様の効果が得られる。また、実施の形態２による画像処理方法にも、実施の形態１による画像処理装置と同様の変形を行うことができ、その場合に得られる効果も実施の形態１による画像処理装置と同様である。

例えば、高周波数成分画像処理ステップＳＴ３が非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ｂ、加算ステップＳＴ３４を備え、加算ステップＳＴ３４が水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算した結果を高周波数成分画像Ｄ３として出力する構成としてもよい。この場合でも、非線形処理画像生成ステップＳＴ３０によってナイキスト周波数Ｆｎより高い周波数成分が生成されるので、解像感を増す効果が得られる。

なお、実施の形態１で説明した変形例は上記以外のものも適用可能であり、その場合、実施の形態２による画像処理方法の構成要素をどう変形すべきかは実施の形態１との対比から明らかである。

また、実施の形態２による画像処理装置は実施の形態１で説明した画像処理装置と同様画像表示装置の一部として用いることができるため、実施の形態２による画像処理装置で生成された画像Ｄｏｕｔを表示する画像表示装置も、実施の形態１で説明した画像処理装置と同様の効果が得られる。さらに、実施の形態１及び実施の形態２の画像処理装置を用いて実施される画像処理方法、及びこれを用いた画像表示方法も同様の効果が得られる。

実施の形態３．
図３２は本発明の実施の形態３による画像処理装置の構成を表す図である。実施の形態３による画像処理装置も実施の形態１による画像処理装置と同様、図２に示す画像表示装置の一部として利用可能である。

実施の形態３による画像処理装置は、実施の形態１による画像処理装置と比較した場合、輝度画像拡大手段６内の高周波数成分画像処理手段３の構成が若干異なる。従って高周波数成分画像処理手段３以外の説明は省略する。

高周波数成分画像処理手段３は、高周波数成分画像生成手段３２Ａ、非線形処理画像生成手段３０、加算手段３４Ｂ、及び高周波数成分画像補正手段３３Ｃを備える。高周波数成分画像生成手段３２Ａ、及び非線形処理画像生成手段３０の動作は実施の形態１で説明したものと同様なのでその説明は省略する。

加算手段３４Ｂは、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算する。そして得られた画像が中間画像Ｄ３４Ａとして出力される。なお、ここでの加算は加算手段３４と同様加重加算でもよい。

高周波数成分画像補正手段３３Ｃは中間画像Ｄ３４Ａの各画素値を、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３４Ａの画素値の符号に応じて求められる増幅率で増幅し、その結果を高周波数成分画像Ｄ３として出力する。

なお、高周波数成分画像補正手段３３Ｃの詳細な動作は、実施の形態１による画像処理装置において、例えば、高周波数成分画像補正手段３３Ａが水平方向中間画像Ｄ３２Ａｈに対して行っていた動作や高周波数成分画像補正手段３３Ｂが垂直方向中間画像Ｄ３２Ｂｖに対して行っていた動作と同様にすることが出来るのでその説明は省略する。また、高周波数成分画像補正手段３３Ｃの詳細な構成についても同様に省略する。

実施の形態３による画像処理装置でも実施の形態１による画像処理装置と同様、高周波数成分画像処理手段３において、入力輝度画像ＹＩＮのナイキスト周波数以上の高周波数成分を与えることで出力カラー画像ＩＭＧＯＵＴの解像感を増すことが可能である。

また、高周波数成分画像補正手段３３Ｃが中間画像Ｄ３４Ａに対して行なう動作は実施の形態１による画像処理装置において、高周波数成分画像補正手段３３Ａが中間画像Ｄ３２Ａに対して行っていた動作あるいは高周波数成分画像補正手段３３Ｂが中間画像Ｄ３２Ｂに対して行っていた動作と同様である。従って、高周波数成分（高周波数成分画像Ｄ３）による補正が過度に行われ、有彩色のエッジ付近で色が薄くなったり濃くなったりするという画質上の問題が発生するのを防ぐことが出来る。

さらに、実施の形態１による画像処理装置と比較した場合、高周波数成分画像補正手段の数が少ないので実施の形態１より少ない回路規模で構成可能である。

また、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを比較した場合、中間画像Ｄ３２Ｂの方がより高い周波数成分を有しており、図３２に記載の高周波数成分画像処理手段３から、高周波数成分画像生成手段３２Ａ、及び加算手段３４Ｂを取り除き、非線形処理画像生成手段３０から出力される中間画像Ｄ３２Ｂを高周波数成分画像補正手段３３Ｃに入力する構成、言い換えれば、図３２に記載の高周波数成分画像処理手段３を、非線形処理手段３０、高周波数成分画像補正手段３３Ｃを含む構成とし、非線形処理手段３０から出力される中間画像Ｄ３２Ｂを高周波数成分画像補正手段３３Ｃへ入力する構成としても、拡大画像Ｄ２Ａに対して入力輝度画像ＹＩＮのナイキスト周波数Ｆｎ以上の成分を与え、解像感を高めることが出来る。
なお、中間画像Ｄ３２Ｂが水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖからなる場合、水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖを加算した後、高周波数成分画像補正手段３３Ｃへ入力することとしてもよい。

また、先に説明したように、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来るので、要するに、高周波数成分画像処理手段３内部で拡大画像Ｄ２Ｂに対して非線形処理を行えればよい。
なお、実施の形態１に対して考えられる変形例及びその効果は実施の形態３に対しても有効である。

実施の形態４．
本発明の実施の形態４による画像処理方法も実施の形態２による画像処理方法と同様、図２３に示す画像表示装置の一部として利用可能である。また、そのフローは実施の形態２と同様、図２４のように構成することが出来るのでその説明は省略する。

実施の形態４による画像処理方法は実施の形態２による画像処理方法と概して同じであるが、高周波数成分画像処理ステップＳＴ３の動作、構成が異なる。図３３は実施の形態４による画像処理方法での高周波数成分画像処理ステップＳＴ３のフローを示す図である。

実施の形態４による画像処理方法での高周波数成分画像処理ステップＳＴ３は、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、加算ステップＳＴ３４Ｂ、及び高周波数成分画像補正ステップＳＴ３３Ｃを含む。

ここで、高周波数成分画像生成ステップＳＴ３２Ａ、及び非線形処理画像生成ステップＳＴ３０の動作は実施の形態２による画像処理方法と同様であるのでその説明は省略する。

加算ステップＳＴ３４Ｂは、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算し、中間画像Ｄ３４Ｂを出力する。この動作は実施の形態３による画像処理装置における加算手段３４Ｂと同じである。

高周波数成分画像補正ステップＳＴ３３Ｃは中間画像Ｄ３４Ｂの各画素値を、輝度色差加算画像Ｄ５の画素値と中間画像Ｄ３４Ｂの画素値の符号に応じて求められる増幅率で増幅し、高周波数成分画像Ｄ３を出力する。なお、高周波数成分画像補正ステップＳＴ３３Ｃの詳細な動作は、実施の形態２による画像処理方法において、例えば、高周波数成分画像補正ステップＳＴ３３Ａが水平方向中間画像Ｄ３２Ａｈに対して行っていた動作や高周波数成分画像補正ステップＳＴ３３Ｂが垂直方向中間画像Ｄ３２Ｂｖに対して行っていた動作と同様にすることが出来るのでその説明は省略する。また、高周波数成分画像補正ステップＳＴ３３Ｃの詳細な構成についても同様である。この動作は実施の形態３による画像処理装置における高周波数成分画像補正手段３３Ｃと同じである。
なお、中間画像Ｄ３２Ｂが水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖからなる場合、水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖを加算した画像を、高周波数成分画像補正ステップＳＴ３３Ｃで補正することとしてもよい。

実施の形態４による画像処理方法の動作は実施の形態３による画像処理装置と同様であるので、実施の形態３による画像処理装置と同様の効果を得ることが出来る。また、実施の形態３による画像処理装置と同様の変形例を考えることも出来る上、その場合に得られる効果についても同様である。

１ 高周波数成分画像生成手段、 ２Ａ 画像拡大手段、 ２Ｂ 画像拡大手段、 ２Ｃ ＣＢ画像拡大手段、 ２Ｄ ＣＲ画像拡大手段、 ３ 高周波数成分画像処理手段、 ４ 加算手段、 ５ 輝度色差加算手段、 ６ 輝度画像拡大手段、 ３０ 非線形画像生成手段、 ３２Ａ 高周波数成分画像生成手段、 ３２Ｂ 高周波数成分画像生成手段、 ３３Ａ 高周波数成分画像補正手段、 ３３Ｂ 高周波数成分画像補正手段、 ３３Ｃ 高周波数成分画像補正手段、 ３４ 加算手段、 ３４Ｂ 加算手段、 ＤＩＲＧＢ 入力カラー画像、 ＤＯＲＧＢ 出力カラー画像。

Claims (22)

1. カラー画像を拡大する画像処理装置において、
   前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
   前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
   前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
   前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する色差画像拡大手段と、
   前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
   前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
   前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
   を有する画像処理装置において、
   前記高周波数成分画像処理手段は、
   前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
   前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
   前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
   前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
   前記第１の補正成分生成手段が、前記第１の中間画像の各画素値を前記輝度色差加算画像の画素値と前記第１の中間画像の画素値の符号に応じて求められる第１の増幅率によって増幅した第３の中間画像を出力する第１の高周波数成分画像補正手段をさらに備え、
   前記第３の中間画像が前記第１の補正成分生成手段の出力として用いられる
   ことを特徴とする画像処理装置。
2. カラー画像を拡大する画像処理装置において、
   前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
   前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
   前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
   前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する色差画像拡大手段と、
   前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
   前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
   前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
   を有する画像処理装置において、
   前記高周波数成分画像処理手段は、
   前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
   前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含む第２の補正成分生成手段と、
   前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
   前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
   前記第２の補正成分生成手段が、前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値と前記第２の中間画像の画素値の符号に応じて求められる第２の増幅率によって増幅した第４の中間画像を出力する第２の高周波数成分画像補正手段をさらに備え、
   前記第４の中間画像が前記第２の補正成分生成手段の出力として用いられる
   ことを特徴とする画像処理装置。
3. 前記第２の補正成分生成手段が、前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値と前記第２の中間画像の画素値の符号に応じて求められる第２の増幅率によって増幅した第４の中間画像を出力する第２の高周波数成分画像補正手段をさらに備え、
   前記第４の中間画像が前記第２の補正成分生成手段の出力として用いられる
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の高周波数成分画像補正手段は、
   前記第１の増幅率を決定する第１の増幅率計算手段と、
   前記第１の増幅率で前記第１の中間画像の各画素値を増幅する第１の画素値増幅手段を含む
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の高周波数成分画像補正手段は、
   前記第２の増幅率を決定する第２の増幅率計算手段と、
   前記第２の増幅率で前記第２の中間画像の各画素値を増幅する第２の画素値増幅手段を含む
   ことを特徴とする請求項２に記載の画像処理装置。
6. カラー画像を拡大する画像処理装置において、
   前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
   前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
   前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
   前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する色差画像拡大手段と、
   前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
   前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
   前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
   を有する画像処理装置において、
   前記高周波数成分画像処理手段は、
   前記第２の拡大画像に対して非線形処理を含む処理を行う非線形処理画像生成手段を含み、さらに、
   前記非線形処理画像生成手段による非線形処理の結果得られる画像の各画素値を、当該画像の各画素値の符号と前記輝度色差加算画像の画素値に応じて求められる第３の増幅率によって増幅する第３の高周波数成分画像補正手段を含み、
   前記第３の高周波数成分画像補正手段による増幅の結果得られる画像が前記前記第２の高周波数成分画像として用いられる
   ことを特徴とする画像処理装置。
7. 前記非線形処理画像生成手段は、
   前記第２の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する非線形処理手段と、
   前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の中間画像とする第３の高周波数成分画像生成手段を含む
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記非線形処理画像生成手段は、
   前記第２の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する非線形処理手段と
   前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の中間画像とする第３の高周波数成分画像生成手段を含む
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記第１の高周波数成分画像生成手段は、
   前記入力画像の各画素について水平方向近傍に存在する画素の画素値を用いて水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段を有し、
   前記第２の画像拡大手段は、
   前記第１の水平方向高周波数成分画像を拡大し、第３の拡大画像を出力する第３の画像拡大手段を有し、
   前記第２の拡大画像は、前記第３の拡大画像を含み、
   前記第２の高周波数成分画像生成手段は、
   前記第３の拡大画像の高周波数成分のみを取り出し、第１の水平方向中間画像を出力する第２の水平方向高周波数成分画像生成手段を有し、
   前記非線形処理手段は、
   前記第３の拡大画像に対して非線形処理を行った第２の非線形処理画像を出力する水平方向非線形処理手段を有し、
   前記第３の高周波数成分画像生成手段は、
   前記第２の非線形処理画像から高周波数成分を取り出し、第２の水平方向中間画像を出力する第３の水平方向高周波数成分画像生成手段を有し、
   前記第１の中間画像は前記第１の水平方向中間画像を含み、
   前記第２の中間画像は前記第２の水平方向中間画像を含み、
   前記第１の増幅率計算手段は、第１の水平方向増幅率を計算する第１の水平方向増幅率計算手段を有し、
   前記第１の画素値増幅手段は、前記第１の水平方向増幅率で前記第１の水平方向中間画像の各画素値を増幅した第３の水平方向中間画像を出力する第１の水平方向画素値増幅手段を有し、
   前記第２の増幅率計算手段は、第２の水平方向増幅率を計算する第２の水平方向増幅率計算手段を有し、
   前記第２の画素値増幅手段は、前記第２の水平方向増幅率で前記第２の水平方向中間画像の各画素値を増幅した第４の水平方向中間画像を出力する第２の水平方向画素値増幅手段を有し、
   前記第３の中間画像は前記第３の水平方向中間画像を含み、
   前記第４の中間画像は前記第４の水平方向中間画像を含む
   ことを特徴とする請求項７に記載の画像処理装置。
10. 前記水平方向非線形処理手段は、
    前記第３の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
    前記水平方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第３の拡大画像の画素値を増幅する水平方向信号増幅手段とを有し、
    前記第３の高周波数成分画像生成手段は、前記水平方向信号増幅手段の出力する画像から高周波数成分を取り出す第３の水平方向高周波数成分画像生成手段を有する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記水平方向信号増幅手段は、
    前記水平方向ゼロクロス判定手段で判定されたゼロクロス点を含む第１の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の領域は前記第２の画像拡大手段における拡大率に応じて定められることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１の領域に存在する画素に対する増幅率は画素に応じて定められる
    ことを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記第１の高周波数成分画像生成手段は、
    前記入力画像の各画素について垂直方向近傍に存在する画素の画素値を用いて垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
    前記第２の画像拡大手段は、
    前記第１の垂直方向高周波数成分画像を拡大し、第４の拡大画像を出力する第４の画像拡大手段を有し、
    前記第２の拡大画像は、前記第４の拡大画像を含み、
    前記第２の高周波数成分画像生成手段は、
    前記第４の拡大画像の高周波数成分のみを取り出し、第１の垂直方向中間画像を出力する第２の垂直方向高周波数成分画像生成手段を有し、
    前記非線形処理手段は、
    前記第４の拡大画像に対して非線形処理を行った第３の非線形処理画像を出力する垂直方向非線形処理手段を有し、
    前記第３の高周波数成分画像生成手段は、
    前記第３の非線形処理画像から高周波数成分を取り出し、第２の垂直方向中間画像を出力する第３の垂直方向高周波数成分画像生成手段を有し、
    前記第１の中間画像は前記第１の垂直方向中間画像を含み、
    前記第２の中間画像は前記第２の垂直方向中間画像を含み、
    前記第１の増幅率計算手段は、第１の垂直方向増幅率を計算する第１の垂直方向増幅率計算手段を有し、
    前記第１の画素値増幅手段は、前記第１の垂直方向増幅率で前記第１の垂直方向中間画像の各画素値を増幅した第３の垂直方向中間画像を出力する第１の垂直方向画素値増幅手段を有し、
    前記第２の増幅率計算手段は、第２の垂直方向増幅率を計算する第２の垂直方向増幅率計算手段を有し、
    前記第２の画素値増幅手段は、前記第２の垂直方向増幅率で前記第２の垂直方向中間画像の各画素値を増幅した第４の垂直方向中間画像を出力する第２の垂直方向画素値増幅手段を有し、
    前記第３の中間画像は前記第３の垂直方向中間画像を含み、
    前記第４の中間画像は前記第４の垂直方向中間画像を含む
    ことを特徴とする請求項７、９乃至１３のいずれかに記載の画像処理装置。
15. 前記垂直方向非線形処理手段は、
    前記第４の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
    前記垂直方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第４の拡大画像の画素値を増幅する垂直方向信号増幅手段とを有し、
    前記第３の高周波数成分画像生成手段は、前記垂直方向信号増幅手段の出力する画像から高周波数成分を取り出す第３の垂直方向高周波数成分画像生成手段を有する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記垂直方向信号増幅手段は、
    前記垂直方向ゼロクロス判定手段で判定されたゼロクロス点を含む第２の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記第２の領域は前記第２の画像拡大手段における拡大率に応じて定められることを特徴とする請求項１６に記載の画像処理装置。
18. 前記第２の領域に存在する画素に対する増幅率は画素に応じて定められることを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 請求項１乃至１８のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
20. カラー画像を拡大する画像処理方法において、
    前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
    前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
    前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
    前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する色差画像拡大ステップと、
    前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算ステップと、
    前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理ステップと、
    前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップとを有する画像処理方法において、
    前記高周波数成分画像処理ステップは、
    前記第２の拡大画像の高周波数成分を取り出す第２の高周波数成分画像生成ステップと、
    前記第２の拡大画像に対して非線形処理を含む処理を行う非線形処理画像生成ステップと、
    前記第２の高周波数成分画像生成ステップにより得られる画像及び前記非線形処理画像生成ステップにより得られる画像を加算する第２の加算ステップとを含み、
    前記第２の高周波数成分画像生成ステップにより得られる画像、及び前記非線形処理画像生成ステップにより得られる画像の少なくとも一つに対し、前記第２の加算ステップによる加算の前に、当該画像の画素値の符号と、前記輝度色差加算画像の画素値とに応じて求められる増幅率によって増幅する高周波数成分画像補正ステップをさらに有する
    ことを特徴とする画像処理方法。
21. カラー画像を拡大する画像処理方法において、
    前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
    前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
    前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
    前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する色差画像拡大ステップと、
    前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算ステップと、
    前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理ステップと、
    前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップとを有する画像処理方法において、
    前記高周波数成分画像処理ステップは、
    前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成ステップを含み、さらに、
    前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値と前記第２の中間画像の画素値の符号に応じて求められる増幅率によって増幅する第２の高周波数成分画像補正ステップを含み、
    前記第２の高周波数成分画像補正ステップによる増幅の結果生成される画像を前記第２の高周波数成分画像として出力する
    ことを特徴とする画像処理方法。
22. 請求項２０又は２１に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。

Images