WO2015025521A1

WO2015025521A1 - 画像処理装置、画像処理方法

Info

Publication number: WO2015025521A1
Application number: PCT/JP2014/004268
Authority: WO
Inventors: 合志　清一; 仁小笠原; 晋一郎中村
Original assignee: 株式会社計測技術研究所
Priority date: 2013-08-20
Filing date: 2014-08-20
Publication date: 2015-02-26
Also published as: US20160205342A1; US9848163B2; JP2015041813A; EP3038341B1; EP3038341A4; EP3038341A1; JP5629902B1

Abstract

　入力画像をアップコンバートして画像の画素数を増大させるとともに、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する際に、乗算器の個数を減らし、大幅な機器の小型化とコストの削減を実現する。　入力画像信号をアップコンバートする基本画像側の経路と、入力画像信号について非線形演算処理を行う鮮鋭化処理側の経路とを有し、前記鮮鋭化処理側の経路において、少なくとも一つのフィルタの後段にアップコンバータを設け、その後に前記非線形演算処理を行う。なお、前記少なくとも一つのフィルタは、ノイズ除去用の２次元低域通過フィルタであっても、入力信号の周波数成分の少なくとも直流成分を除去する高域通過フィルタであってもよい。

Description

画像処理装置、画像処理方法

関連出願へのクロスリファレンス

　本出願は、日本国特許出願２０１３－１７０７５６号（２０１３年８月２０日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

　本発明は、画像を鮮鋭化して画質を改善するための画像処理装置及び画像処理方法に関し、特に、元の画像信号を拡大表示した動画の鮮鋭化に好適な画像処理装置及び画像処理方法に関する。

　フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このため、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急峻にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。

　しかしながら、従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

　以下、画像の拡大、強調処理による周波数成分の変化を図１４により説明する。図１４（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図１４（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｂｓ＝２・ｆｓ）。ここで、図１４（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。

　図１４（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示のとおり、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

　これに対して、非線形演算処理によりナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理が提案された（特許文献１）。これは、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を非線形関数により処理することにより、元の入力画像信号に存在しない新たな周波数成分を生成するものである。この処理により、例えば図１４（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成することができる。

　しかしながら、このような鮮鋭化処理を２次元画像に適用したとき、すなわち、画像の水平方向及び垂直方向の高周波成分に鮮鋭化処理を施すことにより、鮮鋭化処理後の画像において斜め線がギラギラして見える現象が発生するという問題が生じた。

　図１５は、ナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理を垂直方向及び水平方向に連続して行う構成を示す図であり、図１６は各段階における信号の周波数成分を示す図である。図１６（ａ）は水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓ_inの周波数成分を示す。デジタル画像のナイキスト周波数は、水平方向がｆｈ／２、垂直方向がｆｖ／２となり、図示のとおり、ナイキスト周波数を超える範囲に周波数成分は存在しない。入力画像信号Ｓ_inの垂直方向に鮮鋭化処理を施すと、図１６（ｂ）のとおり、鮮鋭化処理後の信号Ｓ１において、垂直方向のナイキスト周波数ｆｖ／２を越える広域に周波数成分が生成される。この信号Ｓ１にさらに水平方向の鮮鋭化処理を施すと、図１６（ｃ）のとおり、鮮鋭化処理後の出力画像信号Ｓ_outにおいて水平方向のナイキスト周波数ｆｈ／２を越える広域に周波数成分が生成される。図示のとおり、出力画像信号Ｓ_outの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域は、水平方向及び垂直方向の鮮鋭化処理が重複して行われ、画像のギラギラ感が強調されてしまう。

　かかるギラギラ感の解消のため、水平方向及び垂直方向の鮮鋭化処理の前段に２次元フィルタを配置する技術が提案されている（特許文献２）。

　特許文献２は、図１７のように、水平方向及び垂直方向の鮮鋭化処理の前段に２次元フィルタを配置している。図１８は、２次元フィルタの周波数特性の一例を示す図である。図示のとおり、２次元フィルタは入力画像信号Ｓ_inの水平及び垂直方向の高周波成分を減衰させる特性を持つ。

　図１７の回路により生成される出力画像信号Ｓ_outは、図１６（ｃ）の信号よりは悪化の程度が少ないものの、水平方向及び垂直方向がいずれも高周波数となる領域において、水平方向で高調波が生成された信号に対してさらに垂直方向で高調波が生成されるため、依然としてギラギラ／チラチラした画像になりやすいという問題がある。またここで、ギラギラ/チラチラ感を取り除くために２次元フィルタでの通過領域を狭く設定すると、鮮鋭化に供する信号成分が少なくなるため、効果的な鮮鋭化ができないという問題もある。

　そこで、本発明者らは、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能な画像処理装置及び画像処理方法を既に提案した。

　すなわち、本発明者らによる、先行する特許出願である特願２０１３－０３５１８６号において、図１９及び図２０に示すような、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタ（又は２次元フィルタ）と、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部ＦＥｈと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタ（又は２次元フィルタ）と、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部ＦＥｖと、を備え、前記水平鮮鋭化処理部ＦＥｈの前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部ＦＥｖの前段に前記水平フィルタが配置された垂直方向処理部とが、直列（図１９）又は並列（図２０）に接続され入力画像を鮮鋭化することを提案した。

　さらに、図２１に示すとおり、並列に接続された前記水平方向処理部及び前記垂直方向処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器（ただし、増幅率βについて、０≦β≦１）を備えることも提案した。

　また、図２１の画像処理装置のバリエーションとして、図２２に示すとおり、前記水平鮮鋭化処理部ＦＥｈの前段に２次元ＬＰＦ（水平用）が配置された水平方向処理部と、前記垂直鮮鋭化処理部ＦＥｖの前段に２次元ＬＰＦ（垂直用）が配置された垂直方向処理部とを並列に接続し、前記水平鮮鋭化処理部ＦＥｈ及び前記垂直鮮鋭化処理部ＦＥｖのいずれか一方の後段と、いずれか他方の前段（他方の鮮鋭化処理部と２次元ＬＰＦとの間）との間に前記増幅器（ただし、増幅率βについて、０≦β≦１）を接続しても良い。

　なお、２次元ＬＰＦ（水平用）及び２次元ＬＰＦ（垂直用）は、それぞれ図２３（ａ）及び（ｂ）に示すような周波数特性を有しており、（ａ）の２次元ＬＰＦ（水平用）は「少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去するフィルタ」であって垂直ＬＰＦの特性に近く、また、２次元ＬＰＦ（垂直用）は「少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタ」であって水平ＬＰＦの特性に近いものである。

国際公開第２０１０／１４０２８１号国際公開第２０１２／０４３４０７号

　このような画像の鮮鋭化処理を、元の画像信号を拡大表示した画像に対して行う場合、一般的には、入力画像に対してアップコンバート（補間技術等を用いて画素数を拡大する処理）を行って画素数を増大させた後、画像信号処理装置（フィルタと鮮鋭化処理部とを含む装置）により原信号に含まれない高周波成分を付加する鮮鋭化処理を施すことが、従来から行われている（特許文献２参照）。

　例えば、拡大された画像に対して上記の図２２の鮮鋭化処理を行うために、図２４のように、入力信号に対して直ちにアップコンバートをすることが検討された。この回路はアップコンバータ（アップコンバート処理を行う演算部）が１個で済み、回路図的には単純である。しかしながら、現実の回路設計においては、アップコンバータやフィルタの設計には、乗算器等の演算素子を多数使用するが、演算処理が複雑になるほど回路規模が大きくなる。例えば、図２４の場合、水平及び垂直方向のアップコンバートを行うアップコンバータ１個に乗算器４個（水平、垂直方向の処理に、それぞれ２個の乗算器）、アップコンバートされた画像に対する２個の２次元ＬＰＦ（１５×１５ｔａｐ）に、それぞれ乗算器が６４個必要であり、鮮鋭化処理前のフィルタ処理の段階で、１３２個（６４個×２＋４個）の多数の乗算器が必要であり、回路規模が大型化してしまう。

　これまでは、アップコンバータによる画像の拡大処理を、どの段階で行うのが全体の演算処理として適切であるのか、回路設計の観点から検討されたことはなかった。

　従って、上記のような問題点に鑑みてなされた本発明の目的は、アップコンバータやフィルタを適切に配置することにより、回路規模が小さく、コストも低減され、小型で高性能な画像処理装置及び画像処理方法を提供することにある。

　上記課題を解決するために本発明に係る画像処理装置は、入力画像をアップコンバートするとともに画像を鮮鋭化した出力画像を生成する画像処理装置であって、前記入力画像を表す入力画像信号をアップコンバートして画素数が増大した第１信号を生成する基本画像側の経路と、前記入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成する非線形演算部を含む鮮鋭化処理部により、前記入力画像を鮮鋭化する第２信号を生成する鮮鋭化処理側の経路と、前記第１信号と前記第２信号とを加算して、前記出力画像を表す出力画像信号を生成する加算器と、を備え、前記鮮鋭化処理側の経路において、少なくとも一つのフィルタの後段にアップコンバータを設け、その後に前記非線形演算部を設けたことを基本的な特徴とする。

　さらに、前記鮮鋭化処理部は、前記鮮鋭化処理部への入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１高周波信号を生成するフィルタ部と、前記第１高周波信号に対して前記第１高周波信号の正負で非対称となる非線形演算処理を行い第２高周波信号を生成する非線形演算部であって、前記第１高周波信号に対して、正の領域に適用する非線形演算処理と負の領域に適用する非線形演算処理とが原点を通る連続関数として表され、且つ、非線形演算処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形演算処理を行う非線形演算部と、前記第２高周波信号を調整して鮮鋭化処理部出力信号を生成するリミッタと、を含む、第１構成鮮鋭化処理部、又は、前記鮮鋭化処理部への入力信号に非線形演算処理を行い第３高周波信号を生成する非線形演算部であって、前記入力信号に対して前記第３高周波信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形演算処理を行う非線形演算部と、前記第３高周波信号に含まれる周波数成分の少なくとも直流成分を除去することにより第４高周波信号を生成するフィルタ部と、前記第４高周波信号を調整して鮮鋭化処理部出力信号を生成するリミッタと、を含む、第２構成鮮鋭化処理部、の少なくとも一方を備えることを特徴とする。

　上記の基本的な特徴、又は、前記鮮鋭化処理部の特徴を備えた画像処理装置に対して、さらに以下の構成を加えることができる。

　前記基本画像側の経路は、第１のアップコンバータを備え、前記鮮鋭化処理側の経路は、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、前記垂直フィルタの出力をアップコンバートする第２のアップコンバータと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、前記水平フィルタの出力をアップコンバートする第３のアップコンバータと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記垂直フィルタ、前記第２のアップコンバータ、前記水平鮮鋭化処理部の順に配置された水平方向処理部と、前記水平フィルタ、前記第３のアップコンバータ、前記垂直鮮鋭化処理部の順に配置された垂直方向処理部とが、並列に接続されることが望ましい。

　また、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備えることが望ましい。

　また、前記増幅器の増幅率βは０≦β≦１であることが望ましい。

　また、前記基本画像側の経路は、第１のアップコンバータを備え、前記鮮鋭化処理側の経路は、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去する２次元フィルタと、前記２次元フィルタの出力をアップコンバートする第２のアップコンバータと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記２次元フィルタ、前記第２のアップコンバータ、前記水平鮮鋭化処理部と前記垂直鮮鋭化処理部との並列回路の順に接続されることが望ましい。

　また、前記基本画像側の経路は、第１のアップコンバータを備え、前記鮮鋭化処理側の経路は、水平方向の周波数成分の少なくとも直流成分を除去する水平高域通過フィルタと、前記水平高域通過フィルタの出力をアップコンバートする第２のアップコンバータと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する第１の非線形演算部と、垂直方向の周波数成分の少なくとも直流成分を除去する垂直高域通過フィルタと、前記垂直高域通過フィルタの出力をアップコンバートする第３のアップコンバータと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する第２の非線形演算部と、を備え、前記水平高域通過フィルタ、前記第２のアップコンバータ、前記第１の非線形演算部をこの順に含む水平方向鮮鋭化処理部と、前記垂直高域通過フィルタ、前記第３のアップコンバータ、前記第２の非線形演算部をこの順に含む垂直方向鮮鋭化処理部とが、並列に接続されることが望ましい。

　また、前記水平方向鮮鋭化処理部は、前記第１の非線形演算部の後段にリミッタをさらに含み、前記垂直方向鮮鋭化処理部は、前記第２の非線形演算部の後段にリミッタをさらに含むことが望ましい。

　また、前記鮮鋭化処理側の経路は、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、をさらに備え、前記水平方向鮮鋭化処理部の前段に、前記垂直フィルタを配置し、前記垂直方向鮮鋭化処理部の前段に、前記水平フィルタを配置することが望ましい。

　また、前記鮮鋭化処理側の経路は、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去する２次元フィルタと、をさらに備え、前記２次元フィルタの後段に、前記水平方向鮮鋭化処理部と前記垂直方向鮮鋭化処理部とが並列に接続されることが望ましい。

　また、前記基本画像側の経路は、第１のアップコンバータを備え、前記鮮鋭化処理側の経路は、水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する２次元高域通過フィルタと、前記２次元高域通過フィルタの出力をアップコンバートする第２のアップコンバータと、入力画像信号に含まれる水平方向及び垂直方向の周波数成分より高い周波数成分を含む水平方向及び垂直方向の高調波を同時に生成する非線形演算部と、を少なくとも備え、前記２次元高域通過フィルタ、前記第２のアップコンバータ、前記非線形演算部の順に接続されることが望ましい。

　また、前記鮮鋭化処理側の経路は、前記非線形演算部の後段にリミッタをさらに含むことが望ましい。

　また、前記鮮鋭化処理側の経路は、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去する２次元低域通過フィルタを、前記２次元高域通過フィルタの前段にさらに含むことが望ましい。

　上記課題を解決するために本発明に係る画像処理方法は、入力画像をアップコンバートするとともに画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、前記入力画像を表す入力画像信号をアップコンバートして画素数が増大した第１信号を生成するステップと、前記入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成する非線形演算処理を含む鮮鋭化処理を行い、前記入力画像を鮮鋭化する第２信号を生成するステップと、前記第１信号と前記第２信号とを加算して、前記出力画像を表す出力画像信号を生成するステップと、を備え、前記第２信号を生成するステップにおいて、少なくとも一つのフィルタ処理の後に、アップコンバートを行い、その後に前記非線形演算処理を行うことを基本的な特徴とする。

　さらに、前記鮮鋭化処理は、鮮鋭化処理部への入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１高周波信号を生成するステップと、前記第１高周波信号に対して前記第１高周波信号の正負で非対称となる非線形演算処理を行い第２高周波信号を生成する非線形演算処理ステップであって、前記第１高周波信号に対して、正の領域に適用する非線形演算処理と負の領域に適用する非線形演算処理とが原点を通る連続関数として表され、且つ、非線形演算処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形演算処理を行う非線形演算処理ステップと、前記第２高周波信号を調整して鮮鋭化処理部出力信号を生成する調整ステップと、を含む第１構成鮮鋭化処理、又は、鮮鋭化処理部への入力信号に非線形演算処理を行い第３高周波信号を生成する非線形演算処理ステップであって、前記入力信号に対して前記第３高周波信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形演算処理を行う非線形演算処理ステップと、前記第３高周波信号に含まれる周波数成分の少なくとも直流成分を除去することにより第４高周波信号を生成するステップと、前記第４高周波信号を調整して鮮鋭化処理部出力信号を生成するステップと、を含む第２構成鮮鋭化処理、の少なくとも一方を行うことを特徴とする。

　上記の基本的な特徴、又は、前記鮮鋭化処理の特徴を備えた画像処理方法に対して、さらに以下の構成を加えることができる。

　前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、前記第２信号を生成するステップは、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理を行う水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、次いで第３のアップコンバートを行い、その後、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理を行う垂直方向処理ステップと、を含み、前記水平方向処理ステップと、前記垂直方向処理ステップとを、並列に実行することが望ましい。

　また、前記水平鮮鋭化処理及び前記垂直鮮鋭化処理を、直列に実行するか並列に実行するかを増幅率βにより切り替えるステップを含むことが望ましい。

　また、前記増幅率βは０≦β≦１であることが望ましい。

　また、前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、前記第２信号を生成するステップは、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理と、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理とを、並列に実行することが望ましい。

　また、前記増幅率βは０≦β≦１であることが望ましい。

　また、前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、前記第２信号を生成するステップは、水平方向の周波数成分の少なくとも直流成分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する第１の非線形演算処理を行う水平方向鮮鋭化処理ステップと、垂直方向の周波数成分の少なくとも直流成分を除去し、次いで第３のアップコンバートを行い、その後、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する第２の非線形演算処理を行う垂直方向鮮鋭化処理ステップと、を含み、前記水平方向鮮鋭化処理ステップと、前記垂直方向鮮鋭化処理ステップとを、並列に実行することが望ましい。

　また、前記水平方向鮮鋭化処理ステップは、前記第１の非線形演算処理の後にリミッタ処理をさらに含み、前記垂直方向鮮鋭化処理ステップは、前記第２の非線形演算処理の後にリミッタ処理をさらに含むことが望ましい。

　また、前記第２信号を生成するステップは、前記水平方向鮮鋭化処理ステップの前に、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去するステップをさらに含み、前記垂直方向鮮鋭化処理ステップの前に、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去するステップをさらに含むことが望ましい。

　また、前記第２信号を生成するステップは、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するステップをさらに含み、その後に、前記水平方向鮮鋭化処理ステップと前記垂直方向鮮鋭化処理ステップとを並列に実行することが望ましい。

　また、前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、前記第２信号を生成するステップは、水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向及び垂直方向の周波数成分より高い周波数成分を含む水平方向及び垂直方向の高調波を同時に生成する非線形演算処理を行うことが望ましい。

　また、前記第２信号を生成するステップは、前記非線形演算処理の後にリミッタ処理をさらに含むことが望ましい。

　また、前記第２信号を生成するステップは、水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する前に、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するステップをさらに含むことが望ましい。

　本発明に係る画像処理装置及び画像処理方法によれば、入力画像のアップコンバート後のフィルタ処理に比べて、フィルタ処理を行った後に画像をアップコンバートすることにより、フィルタに用いる乗算器の数を大幅に減少させることができ、フィルタ回路規模を小さくすることができる。さらに、本発明により、画像処理回路全体として、回路規模を小さくでき、コストも低減され、小型で高性能な画像処理装置が実現できる。

　本発明に係る画像処理装置及び画像処理方法によれば、ナイキスト周波数を越える高周波域の補償が可能であることから、高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合や、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合に、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。

本発明に係る鮮鋭化処理部の第１の構成を示す図である。鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。高域通過フィルタの構成の一例を示す図である。低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。本発明に係る鮮鋭化処理部の第２の構成を示す図である。本発明の第１実施例に係る画像処理装置の構成を示す図である。本発明の第２実施例に係る画像処理装置の構成を示す図である。本発明の第３実施例に係る画像処理装置の構成を示す図である。本発明の第４実施例に係る画像処理装置の構成を示す図である。本発明の第５実施例に係る画像処理装置の構成を示す図である。本発明の第５実施例における鮮鋭化処理の周波数特性を示す図である。本発明の第６実施例に係る画像処理装置の構成を示す図である。本発明の第７実施例に係る画像処理装置の構成を示す図である。画像の拡大、強調処理による周波数成分の変化を示す図である。従来の画像の水平方向及び垂直方向の鮮鋭化処理を示す図である。従来の鮮鋭化処理による周波数成分の変化を示す図である。２次元フィルタを用いた従来の鮮鋭化処理を示す図である。従来の２次元フィルタの周波数特性を示す図である。提案済みの画像鮮鋭化に好適な画像処理装置（直列型）を示す図である。提案済みの画像鮮鋭化に好適な画像処理装置（並列型）を示す図である。提案済みの画像鮮鋭化に好適な画像処理装置（切替型）を示す図である。提案済みの画像鮮鋭化に好適な画像処理装置（切替型）の変形例を示す図である。２次元フィルタ（水平用）と２次元フィルタ（垂直用）の周波数特性を示す図である。画像処理装置（切替型）の前段にアップコンバータを加えた構成を示す図である。

　以下、諸図面を参照しながら、本発明の実施の態様を詳細に説明する。

　各実施形態に係る画像処理装置（集積回路）は、概略的に言えば、入力画像信号に対するフィルタ処理を行った後に、アップコンバート処理を行い、その後に画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分に対して、画像を鮮鋭化するための鮮鋭化処理を施す装置である。

　画像処理装置が施す鮮鋭化処理とは、入力画像を表す信号（以下、入力画像信号と表記する）に対して非線形演算処理を施すことによって、入力画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がり及び立ち下がりを高度に急峻にする（エンハンスする）処理である。本発明の画像処理装置が施す鮮鋭化処理は、従来の増幅処理等の線形演算を用いる鮮鋭化処理では利用することができない高周波数成分を画像信号に付加することができるため、画像を高度に（強く）鮮鋭化することができる。

　まず、後述する各実施形態における画像処理装置の主要な構成要素である鮮鋭化処理部の概要について説明する。なお、鮮鋭化処理部は、後述する水平鮮鋭化処理部及び垂直鮮鋭化処理部のいずれであってもよい。本明細書では、水平鮮鋭化処理部及び垂直鮮鋭化処理部を区別しないとき、単に、「鮮鋭化処理部」と表記する。

　（鮮鋭化処理部の第１の構成例）
　まず、本発明で用いられる鮮鋭化処理部について説明する。図１は、本発明の鮮鋭化処理部ＦＥの第１の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、画像を表すデジタル信号として外部から入力される入力画像信号Ｓ_inに対し、その入力画像信号Ｓ_inの表す画像を鮮鋭化するための処理を施す装置であって、ＨＰＦ（High-pass Filter：高域通過フィルタ）１０と、非線形演算部２０（非線形関数）と、リミッタ３０とを備えている。

　入力画像信号Ｓ_inの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓ_inが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）又は高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。本発明においては、特に、アップコンバートされた入力画像信号Ｓ_inが対象となる。

　以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。

　図２（Ａ）は、入力画像信号Ｓ_inの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。入力画像信号Ｓ_inの解像度は、出力画像信号Ｓ_outの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓ_inは、元の入力画像の解像度を出力画像信号Ｓ_outの解像度にアップコンバートしたものである。例えば、画像処理装置によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓ_inは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。

　ＨＰＦ１０は、入力画像信号Ｓ_inに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_inの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓ_inから、図２（Ｂ）の第１信号Ｓ１を抽出する。

　図３は、このＨＰＦ１０の構成を示すブロック図である。図３のとおり、ＨＰＦ１０は、ｍ－１個の単位遅延素子１１１～１１（ｍ－１）と、ｍ個の乗算器１２１～１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１～ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝－１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。図４のとおり、低域通過フィルタ（Low-pass Filter、以下「ＬＰＦ」という）１０１と減算器１０２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。

　非線形演算部２０は、第１信号Ｓ１に対して、第２信号Ｓ２が原点を通る連続した非線形関数で表されるような非線形演算処理を行うことにより第２信号Ｓ２を生成する。なお、この非線形演算処理は、原点に対して点対称となる非線形関数を用いることもできるが、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形演算処理を行うことにより第２信号Ｓ２を生成するようにすると、人間の視覚特性に対応した鮮鋭化処理が可能となる。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。

　ここで、正負で非対称となる非線形関数について説明する。第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となる。両方向について同じ（対称的な）非線形演算処理を適用するよりも、異なる（非対称となる）非線形演算処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形演算部２０として、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形演算処理を行うことができる。これ以降、第１信号Ｓ１の正負で非対称となる非線形演算処理を、特に、「非対称非線形演算処理」と称するものとする。本発明においては、非線形演算処理として、非対称非線形演算処理に限定するものではないが、原点対称な非線形関数による処理よりも、非対称非線形演算処理の方が、視覚的に自然な鮮鋭化処理が可能である。

　非線形演算部２０としての非対称非線形演算処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形演算処理と負の領域に適用する非線形演算処理との値が連続している限り、あらゆる非線形演算処理を組み合わせることができる。本実施形態において、非線形演算部２０は、例えば、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１³）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝－Ｓ１²）ものとする。図２（Ｃ）は、非線形演算部２０による非対称非線形演算処理による第２信号Ｓ２の波形を示す図である。図示のとおり、第２信号Ｓ２は、正の波形が大きく増幅されることになる。また、後述するとおり、第１信号Ｓ１の正負で非対称となる非線形演算処理を行うことにより、第１信号Ｓ１の正負で非対称となる周波数成分を生成することが可能となる。

　非線形演算部２０が第１信号Ｓ１の正負で非対称となる非線形演算処理を行うことにより、人間の知覚特性に合った画像鮮鋭化処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭（輝度変化）は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形演算部２０は、信号レベル（輝度）が低い領域に対して第１信号Ｓ１の負領域で増幅が小さい非線形演算部２０の処理を適用することにより、第１信号Ｓ１におけるエッジ成分を適切に強調して輪郭を知覚させることが可能となり、同時に輝度が低い領域でのノイズを抑制できる。また、非線形演算部２０は、輝度が高い領域の輪郭がより鮮鋭化されるように正の波形が大きく増幅されるため、処理前のエッジ成分が微小であっても、輝度の高い領域において輪郭がより知覚されやすくすることができる。また、いずれの領域においても、非線形演算処理により高周波の周波数成分を生成することが可能となる。

　なお、非線形演算部２０による非対称非線形演算処理は、２乗演算及び３乗演算の組み合わせに限定されず、他の非線形演算処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形演算処理は、式（１）により表現することができる。各演算部による非線形演算処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗演算処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗演算処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗演算処理後の値の符号は負に維持される（例えば、Ｓ２＝－Ｓ１²）。

　さらに、非線形演算部２０は、非対称非線形演算処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１^1/2）など、種々の非線形関数を適宜組み合わせて利用することができる。

　また、非線形演算部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形演算処理を行うことも可能である。

　リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓ_outを生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となるゲインαを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行ったりする。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓ_outとして出力する。

　図示していない加算器により、図２（Ｃ）に示す出力画像信号Ｓ_outを画像の鮮鋭化のための補償用信号として図２（Ａ）に示す入力画像信号Ｓ_inに加算することにより、図２（Ｄ）に示す信号が生成される。この信号（Ｓ_in+Ｓ_out）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_inのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_inよりも鮮鋭な画像を得ることができる。

　（鮮鋭化処理部の第２の構成例）
　図５は、本発明の鮮鋭化処理部の第２の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、非線形演算部４０（非線形関数）と、ＨＰＦ１０と、リミッタ３０とを備えている。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。

　非線形演算部４０は、入力画像信号Ｓ_inに対して、第１信号Ｓ１が連続した非線形関数で表されるような非線形演算処理を行うことにより第１信号Ｓ１を生成する。非線形演算部４０による非線形演算処理は、画像の輪郭を鮮鋭化することを目的とするものであり、例えば、入力画像信号Ｓ_inを、信号レベルにおいてエッジの立ち上がり変化が急な第１信号Ｓ１にする処理を行うものである。

　入力画像を表す入力画像信号Ｓ_inには直流成分が含まれており、これは画像の輝度レベルに相当する。非線形演算部４０は、直流成分を含んだ入力画像信号Ｓ_inに対して非線形関数を割り当てるものであり、入力画像信号Ｓ_inに無い周波数成分となる高調波の発生と、入力画像信号Ｓ_inの輝度レベルに応じた高調波の強度制御を同時に実現できる。

　入力画像信号Ｓ_inの直流成分は、人間の目には画像の「明るさ」として認識され、この直流成分を含んだ入力画像信号Ｓ_inを非線形演算処理した場合、直流成分によって高調波の発生度合いが異なることから、画像の「明るさ」に対応して、画質改善のための周波数成分を生成することができ、人間の視覚特性に応じた画像強調処理を行なうことができる。

　非線形演算部４０による入力画像信号Ｓ_inから第１信号Ｓ１を生成する処理は、式（２）により一般化することができる。非線形演算部４０による非線形演算処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。

　例えば、非線形演算部４０は、入力画像信号Ｓ_inの冪乗を第１信号Ｓ１として生成する。非線形演算部４０が入力画像信号Ｓ_inをｎ乗して第１信号Ｓ１を生成する場合、Ｓ１＝Ｓ_in ⁿとなる。入力画像信号Ｓ_inはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_inを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１ⁿ，Ｘ２ⁿ，Ｘ３ⁿ，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

　例えば、入力画像信号Ｓ_inが８ビットのデジタル信号であれる場合、各画素の信号レベルは０～２５５の値をとる。このとき、非線形演算部４０が、入力画像信号Ｓ_inを２乗すると、エッジ部の立ち上がり変化が急になるため、画像の輪郭がより強調されることになる。

　また、例えば、非線形演算部４０は、入力画像信号Ｓ_inの冪乗根を第１信号Ｓ１として生成する。非線形演算部４０が入力画像信号Ｓ_inのｎ乗根を第１信号Ｓ１として生成する場合、Ｓ１＝Ｓ_in ^1/nとなる。入力画像信号Ｓ_inはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_inを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１^1/n，Ｘ２^1/n，Ｘ３^1/n，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

　入力画像信号Ｓ_inの冪乗根を第１信号Ｓ１として生成する非線形演算処理は、人間の知覚特性に基づく輪郭抽出に適している。例えば、輝度が低い領域の微小なエッジ成分を強調して輪郭を知覚させるため、非線形演算部４０は、例えばガンマ補正関数（例えば、Ｓ１＝Ｓ_in ^1/2）により、輝度が高い画素より、輝度が低い画素をより引き上げる非線形演算処理を行う。

　この場合、非線形演算部４０は、式（３）により、ｍビットのデジタル信号の画素値Ｘを正規化した値であるＸ’を算出すると良い。式（３）による正規化後のＸ’の値は０～１の間の値となる。

　ここで、非線形演算部４０は、正規化後のＸ’に式（４）示すガンマ補正関数を適用し、非線形演算処理後の値Ｙを算出する。

　式（４）により、Ｘ’の値が小さい場合、非線形演算処理後のＹの値がＸ’に比べて高く引き上げられることになる。すなわち、輝度が高い画素より、輝度が低い画素がより引き上げられる。これにより、エッジの鮮鋭化において、特に輝度が低い領域のエッジ強調成分が大きくなるため、特に輝度の低い領域の画像の輪郭がより強調されることになる。

　ＨＰＦ１０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_inを非線形演算処理して得られた画像の輪郭成分を含む高周波成分を抽出する処理として、第１信号Ｓ１から第２信号Ｓ２を抽出する。

　この鮮鋭化処理部では、直流まで含む入力画像信号Ｓ_inに対して非線形演算処理を行うことから、高調波を生みだす信号の非線形演算処理の動作中心点が輝度レベルによって変化するため、輝度レベルに応じて高調波の発生度合いが変わる。また、非線形演算処理の動作中心点から見た非線形カーブが高輝度側と低輝度側で異なるため、非線形演算処理後にＨＰＦ１０を通した高調波信号は正負で非対称となる。よって、人間の視覚特性に応じた適切な鮮鋭化処理が可能となる。

　リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓ_outを生成する。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓ_outとして出力する。

　図示していない加算器により、出力画像信号Ｓ_outを画像の鮮鋭化のための補償用信号として入力画像信号Ｓ_inに加算することにより、鮮鋭化処理の行われた画像信号が生成される。この信号（Ｓ_in+Ｓ_out）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_inのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_inよりも鮮鋭な画像を得ることができる。

　これ以降、画像をアップコンバートするとともに、上述した鮮鋭化処理部ＦＥを備え、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分を鮮鋭化する画像処理装置について詳述する。各実施形態における入力画像信号Ｓ_inは、水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖとし、ナイキスト周波数は水平方向がｆｈ／２、垂直方向がｆｖ／２であるものとする。

　（第１の実施の形態）
　第１の実施の形態は、ノイズ除去用のＬＰＦと鮮鋭化処理部との間にアップコンバータを挿入するものである。なお、本発明において、アップコンバータは、水平方向と垂直方向にアップコンバートを行う２次元アップコンバータを用いている。

　図６は、本発明の第１実施例に係る画像処理装置１の構成を示す図である。画像処理装置１は、ノイズ除去用の第１の２次元ＬＰＦ（水平用）１１及び第２の２次元ＬＰＦ（垂直用）１２と、３個のアップコンバータ２１，２２，２３と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、増幅器３１（切替器）と、第１加算器３２、第２加算器３３及び第３加算器３４とを備える。画像処理装置１は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、第１の２次元ＬＰＦ１１の後段にアップコンバータ２２を配置し、その後段に水平鮮鋭化処理部ＦＥｈが配置された構成を水平方向処理部とし、第２の２次元ＬＰＦ１２の後段にアップコンバータ２３を配置し、その後段に垂直鮮鋭化処理部ＦＥｖが配置された構成を垂直方向処理部とする。そして、水平鮮鋭化処理部ＦＥｈの出力端と垂直鮮鋭化処理部ＦＥｖの入力端とに接続された切替器として機能する増幅器３１を備え、増幅器３１の設定（増幅率β）により、水平方向処理部と垂直方向処理部の並列接続（β＝０）及び直列接続（β＝１）を切り替えるものである。なお、増幅器３１の増幅率βは０≦β≦１の範囲の値となるため、増幅率βが０＜β＜１の場合には、増幅器３１は並列接続及び直列接続のいずれか一方に厳密に切り替えるものではなく、並列接続及び直列接続をそれぞれ含む回路構成とすることができる。

　ここで、第１の２次元ＬＰＦ（水平用）１１及び第２の２次元ＬＰＦ（垂直用）１２は、入力画像信号Ｓinの２次元周波数スペクトルにおける四隅のナイキスト周波数限界付近のほぼノイズのような信号成分に対して、後段の鮮鋭化処理で不要な高調波を発生させないような特性を有する。第１の２次元ＬＰＦ（水平用）１１は、少なくとも入力画像信号Ｓ_inに含まれる水平方向の高周波部分において、入力画像信号Ｓ_inの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_inの垂直方向成分の高域を部分的に減衰させる垂直ＬＰＦとして機能するものである（図２３（ａ）参照）。また、第２の２次元ＬＰＦ（垂直用）１２は、少なくとも入力画像信号Ｓ_inに含まれる垂直方向の高周波部分において、入力画像信号Ｓ_inの水平方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_inの水平方向成分の高域を部分的に減衰させる水平ＬＰＦとして機能するものである（図２３（ｂ）参照）。なお、ここで言う高周波部分とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、２次元ＬＰＦ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。

　例えば２Ｋ画像からなる入力画像信号Ｓ_inは、アップコンバータ２１に入力され、例えば４Ｋ画像にアップコンバートされた第１信号Ｓ１となって、第３加算器３４に出力される。この経路が、本発明における、入力画像を表す入力画像信号をアップコンバートして画素数が増大した第１信号を生成する基本画像側の経路に相当し、以下の実施例においても同様である。

　第１の２次元ＬＰＦ１１は、入力画像信号Ｓ_inの垂直方向成分の高域を部分的に減衰させて、第２信号Ｓ２をアップコンバータ２２に出力する。

　アップコンバータ２２は、第２信号Ｓ２を、例えば４Ｋ画像にアップコンバートされた第３信号Ｓ３に変換して、水平鮮鋭化処理部ＦＥｈに出力する。

　水平鮮鋭化処理部ＦＥｈは、入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、アップコンバータ２２からの第３信号Ｓ３で表される画像の水平方向について鮮鋭化処理を施し、第４信号Ｓ４を増幅器３１（切替器）に出力する。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。

　第２の２次元フィルタ１２は、入力画像信号Ｓ_inの水平方向成分の高域を部分的に減衰させて、第５信号Ｓ５をアップコンバータ２３に出力する。

　アップコンバータ２３は、第５信号Ｓ５を、例えば４Ｋ画像にアップコンバートされた第６信号Ｓ６に変換して、第１加算器３２に出力する。

　第１加算器３２は、アップコンバータ２３からの第６信号Ｓ６と、水平鮮鋭化処理部ＦＥｈからの第４信号Ｓ４を増幅器３１（切替器）の増幅率βで増幅した信号とを、加算して第７信号Ｓ７を生成する。

　垂直鮮鋭化処理部ＦＥｖは、入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第１加算器３２からの第７信号Ｓ７で表される画像の垂直方向について鮮鋭化処理を施し、第８信号Ｓ８を第２加算器３３に出力する。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。

　第２加算器３３は、水平鮮鋭化処理部ＦＥｈからの第４信号Ｓ４と、垂直鮮鋭化処理部ＦＥｖからの第８信号Ｓ８とを加算して第９信号Ｓ９を生成する。

　第３加算器３４は、アップコンバータ２１からの第１信号Ｓ１と、第２加算器３３からの第９信号Ｓ９とを加算して出力画像信号Ｓ_outを生成する。

　なお、入力端から、入力画像信号Ｓ_inを鮮鋭化処理（非線形演算処理）し、第３加算器３４に出力するまでの経路が、本発明における、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成する非線形演算部を含む鮮鋭化処理部により、前記入力画像を鮮鋭化する信号を生成する鮮鋭化処理側の経路に相当する。以下の実施例においても同様である。

　第１実施例の画像処理装置１は、鮮鋭化処理前のフィルタ処理の段階で、入力画像信号Ｓ_inに対する２個の２次元ＬＰＦ（７×７ｔａｐ）に、それぞれ乗算器が１６個必要であり、３個のアップコンバータにそれぞれ乗算器４個を用い、したがって、４４個（１６個×２＋４個×３）の乗算器で構成できる。したがって、鮮鋭化処理の経路の前段階でアップコンバートする図２４の画像処理装置（乗算器計１３２個）と比較すると、アップコンバータは３個必要となるが、乗算器の個数で比較した場合、大幅に乗算器の個数を減らすことができる。したがって、大幅な機器の小型化とコストの削減が実現できる。

　本実施例によれば、上記の回路規模の縮小という効果に加えて、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの前段に２次元ＬＰＦが配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタが個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、くっきりした画像に鮮鋭化できる。

　また、画像処理装置１において、切替器である増幅器３１は、水平方向処理部及び垂直方向処理部の直列接続及び並列接続を切り替えることができる。これにより、増幅率を０として並列接続とした場合には、水平方向及び垂直方向の鮮鋭化処理それぞれで生成された高周波成分の和が画像の鮮鋭化に働くため、人工的なギラギラ感の発生を防ぐことができる。また、増幅率を１として直列接続とした場合には、入力画像信号Ｓ_inがすでに斜め成分を除去されたようなボケた感じでも、水平方向及び垂直方向で２次元的に高周波成分の生成が行われるため、鮮鋭化により入力画像を華やかな感じに仕立てることが可能になる。

　また、画像処理装置１において、増幅器３１を直列接続及び並列接続の切替器としているため、入力画像信号Ｓ_inの特性に合わせて増幅率βを設定することにより、直列処理及び並列処理による周波数成分を組み合わせ、より適切な鮮鋭化処理を行うことが可能になる。

　また、切替器は増幅器３１のみに限られず、スイッチ回路などを適宜用いることができるものである。

　また、各加算器（３２，３３，３４）は各経路から入力された同一フレームの画像信号を加算するものであるから、タイミングを調整するための遅延素子を必要に応じて備えるものである。

　本実施例は、ナイキスト周波数を越える高周波域の補償も可能であることから、高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合や、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合に、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。

　なお、画像処理装置１において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。すなわち、水平方向の鮮鋭化処理に係る構成（２次元ＬＰＦ１１、水平鮮鋭化処理部ＦＥｈ）と、垂直方向の鮮鋭化処理に係る構成（２次元ＬＰＦ１２、垂直鮮鋭化処理部ＦＥｖ）との配置を入れ替えて入力画像信号Ｓ_inを処理することができる。

　また、２次元ＬＰＦの代わりに、垂直ＬＰＦ及び水平ＬＰＦを用いても良い。この場合、水平鮮鋭化処理部ＦＥｈの前段には、垂直ＬＰＦを用い、また、垂直鮮鋭化処理部ＦＥｖの前段には水平ＬＰＦを用いることが好ましい。

　また、第３加算器３４の後段にさらに２次元ＬＰＦを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元ＬＰＦは、出力画像信号Ｓ_outの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。

（フィルタ構成と乗算器の関係）
　ここで、本発明において、必要な乗算器の算出の前提となるフィルタ構成と乗算器の関係について、補足説明する。本発明では２次元のフィルタ処理を行う際に、アップコンバート前の画像処理においては、水平垂直共に処理対象とする画素の前後それぞれ３画素の画像情報を参照する。すなわち、対象とする画素Ｘ_ijについて、Ｘ_kl（ｋ＝i-3，i-2，i-1，i，i+1，i+2，i+3、ｌ＝j-3，j-2，j-1，j，j+1，j+2，j+3）による７×７の画素情報を処理する。また、アップコンバート後の画像処理においては、必要な（画像拡大前と同等な）特性を得るためには多くの画素情報が必要となるため、水平垂直共に処理対象とする画素の前後それぞれ１５画素の画像情報を参照する。すなわち、対象とする画素Ｘ_ijについて、Ｘ_kl（ｋ＝i-7～i-1，i，i+1～i+7、ｌ＝j-7～j-1，j，j+1～j+7）による１５×１５の画素情報を処理している。

　７×７の画素情報を処理する場合に、２次元フィルタの各フィルタ係数Ａ_klに何らの相関も無ければ、フィルタ処理結果の値ΣＡ_klＸ_klを計算するために、７×７＝４９の乗算器が必要となる。しかし、通常の画像フィルタ特性は左右対称・上下対称であるため（例えば、図２３参照）、係数列も左右対称・上下対称となっている。この性質を利用して、フィルタ係数ＡをＡ_kl（ｋ＝１～４、ｌ＝１～４）の１６要素で代表させることができ、乗算器を１６個に圧縮できる。

　また更に、２次元フィルタが、水平処理にも垂直処理にも共通で用いられる「共通２次元フィルタ」であれば、上下方向と左右方向に同じ係数がならぶことから（例えば、図１８の対角線を軸とした対称性を参照）、上記の７×７のフィルタ係数Ａを（Ａ₁₁，Ａ₁₂，Ａ₁₃，Ａ₁₄，Ａ₂₂，Ａ₂₃，Ａ₂₄，Ａ₃₃，Ａ₃₄，Ａ₄₄）の１０要素で代表させることができ、乗算器を１０個に圧縮できる。

　同様に、アップコンバート後に使用される１５×１５ｔａｐの２次元フィルタは、対称性を利用して、通常の２次元フィルタであれば、６４個の乗算器で実現でき、さらに「共通２次元フィルタ」であれば、３６個の乗算器で実現できる。一次元フィルタについても同様に、フィルタ係数の対称性を利用して設計している。

　なお、アップコンバータは、４タップの垂直補間と４タップの水平補間が縦接続されたものを使用し、垂直・水平で各２個（計４個）の乗算器を使用する。

　本発明では、このような前提に基づいて、乗算器の必要個数で各実施例の回路規模を評価している。

　第２実施例は、第１実施例において、それぞれ別々に設けていた水平用の２次元ＬＰＦと垂直用の２次元ＬＰＦとを、共通化した回路に関するものである。

　図７（ａ）は、本発明の第２実施例に係る画像処理装置２の構成を示す図である。画像処理装置２は、ノイズ除去用の２次元ＬＰＦ（共通）１３と、２個のアップコンバータ２１，２２と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、増幅器３１（切替器）と、第１加算器３２、第２加算器３３及び第３加算器３４とを備える。画像処理装置２は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、２次元ＬＰＦ１３の後段にアップコンバータ２２を配置し、その後段に水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖを配置する。そして、水平鮮鋭化処理部ＦＥｈの出力端と垂直鮮鋭化処理部ＦＥｖの入力端とに接続された切替器として機能する増幅器３１を備え、増幅器３１の設定（増幅率β）により、水平方向処理部と垂直方向処理部の並列接続（β＝０）及び直列接続（β＝１）を切り替えるものである。なお、増幅器３１の増幅率βは０≦β≦１の範囲の値となるため、増幅率βが０＜β＜１の場合には、増幅器３１は並列接続及び直列接続のいずれか一方に厳密に切り替えるものではなく、並列接続及び直列接続をそれぞれを含む回路構成とすることができる。

　ここで、２次元ＬＰＦ１３は、入力画像信号Ｓinの２次元周波数スペクトルにおける四隅のナイキスト周波数限界付近の信号成分に対しても鮮鋭化処理によって適切な高調波を発生させることが可能な特性を有し、且つ、後段の鮮鋭化処理で不要な高調波を発生させないように、少なくとも入力画像信号Ｓ_inに含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するものである。すなわち、ノイズ除去用のフィルタである。なお、ここで言う高周波部分とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、２次元ＬＰＦ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。

　例えば２Ｋ画像からなる入力画像信号Ｓ_inは、アップコンバータ２１に入力され、例えば４Ｋ画像にアップコンバートされた第１信号Ｓ１となって、第３加算器３４に出力される。

　２次元ＬＰＦ１３は、入力画像信号Ｓ_inの垂直方向成分及び水平方向成分の高域を部分的に減衰させて、第２信号Ｓ２をアップコンバータ２２に出力する。

　アップコンバータ２２は、第２信号Ｓ２を、例えば４Ｋ画像にアップコンバートされた第３信号Ｓ３に変換して、水平鮮鋭化処理部ＦＥｈ及び第１加算器３２に出力する。

　第１加算器３２は、アップコンバータ２２からの第３信号Ｓ３と、水平鮮鋭化処理部ＦＥｈからの第４信号Ｓ４を増幅器３１（切替器）の増幅率βで増幅した信号とを加算して、第５信号Ｓ５を生成する。

　垂直鮮鋭化処理部ＦＥｖは、入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第１加算器３２からの第５信号Ｓ５で表される画像の垂直方向について鮮鋭化処理を施し、第６信号Ｓ６を第２加算器３３に出力する。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。

　第２加算器３３は、水平鮮鋭化処理部ＦＥｈからの第４信号Ｓ４と、垂直鮮鋭化処理部ＦＥｖからの第６信号Ｓ６とを加算して第７信号Ｓ７を生成する。

　第３加算器３４は、アップコンバータ２１からの第１信号Ｓ１と、第２加算器３３からの第７信号Ｓ７とを加算して出力画像信号Ｓ_outを生成する。

　第２実施例の画像処理装置２は、鮮鋭化処理前のフィルタ処理の段階で、入力画像信号Ｓ_inに対する１個の２次元ＬＰＦ（７×７ｔａｐ）に乗算器が１０個必要であり、２個のアップコンバータにそれぞれ乗算器４個、したがって、１８個（１０個＋４個×２）の乗算器で鮮鋭化処理前のフィルタ処理及びアップコンバートが実現できる。

　比較のために、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）アップコンバートする図７（ｂ）の画像処理装置と対比する。図７（ｂ）は、第２実施例に対応する回路構成を有し、従来のように最初にアップコンバートを行う画像処理装置の構成を示す図である。画像処理装置は、１個のアップコンバータ２１と、ノイズ除去用の２次元ＬＰＦ１３と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、増幅器３１（切替器）と、第１加算器３２、第２加算器３３及び第３加算器３４とを備える。画像処理装置の回路構成は、第２実施例のものと基本的に同じであるが、２次元ＬＰＦはアップコンバートされた画像を処理するため、１５×１５ｔａｐのものを使用する。

　比較のための画像処理装置は、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）、アップコンバータ２１によりアップコンバートし、２次元ＬＰＦ１３と第３加算器に出力する。２次元ＬＰＦ１３はアップコンバートされた画像信号の垂直方向成分及び水平方向成分の高域を部分的に減衰させるフィルタ処理をする。その後、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖは、それぞれ水平方向、垂直方向の鮮鋭化処理を行う。なお、水平鮮鋭化処理部ＦＥｈの出力端には切替器として機能する増幅器３１が配置されており、増幅器３１の設定（増幅率β）により、水平鮮鋭化処理部ＦＥｈの出力をβ倍した信号を、２次元ＬＰＦからの信号に加えて垂直鮮鋭化処理部ＦＥｖの処理を行う。

　この場合は、１個のアップコンバータに４個、２次元ＬＰＦ（１５×１５ｔａｐ）に３６個の乗算器が必要であり、したがって、鮮鋭化処理前の段階で、４０個の乗算器が必要となる。したがって、図７（ａ）の第２実施例は、図７（ｂ）の画像処理装置と比較して、大幅に乗算器の個数を減らすことができる。

　また、本実施例によれば、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの前段に２次元ＬＰＦが配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。

　なお、画像処理装置２において、水平方向及び垂直方向の鮮鋭化処理の順番（配置）を入れ替えても良い。

　（第２の実施の形態）
　第２の実施の形態は、鮮鋭化処理部の内部のＨＰＦと非線形演算部との間にアップコンバータを挿入するものである。すなわち、ノイズ除去用の２次元ＬＰＦと、鮮鋭化処理部の水平ＨＰＦ及び垂直ＨＰＦの全てのフィルタ処理を、アップコンバート処理の前に行う。なお、ここでは、鮮鋭化処理部として、前述の第１の構成例を用いる。

　図８は、図２０で説明した、水平鮮鋭化処理部ＦＥｈの前段に垂直フィルタが配置された水平方向処理部と、垂直鮮鋭化処理部ＦＥｖの前段に水平フィルタが配置された垂直方向処理部とが、並列に接続され入力画像を鮮鋭化する画像処理装置に対して、アップコンバートを行うものである。

　図８（ａ）は、本発明の第３実施例に係る画像処理装置３の構成を示す図である。画像処理装置３は、ノイズ除去用の第１の２次元ＬＰＦ（水平用）１１及び第２の２次元ＬＰＦ（垂直用）１２と、水平鮮鋭化処理部ＦＥｈを構成する水平ＨＰＦ１４、非線形演算部２０及びリミッタ３０と、垂直鮮鋭化処理部ＦＥｖを構成する垂直ＨＰＦ１５、非線形演算部２０及びリミッタ３０と、３個のアップコンバータ２１，２２，２３と、第１加算器３２及び第２加算器３３とを備える。画像処理装置３は、水平鮮鋭化処理部ＦＥｈの前段に第１の２次元ＬＰＦ１１が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に第２の２次元ＬＰＦ１２が配置された構成を垂直方向処理部とすると、水平方向処理部と垂直方向処理部とが並列に接続された構成となる。画像処理装置３は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、水平鮮鋭化処理部ＦＥｈ内において、水平ＨＰＦ１４と非線形演算部２０の間にアップコンバータ２２を配置し、垂直鮮鋭化処理部ＦＥｖ内において、垂直ＨＰＦ１５と非線形演算部２０の間にアップコンバータ２３を配置する。

　例えば２Ｋ画像からなる入力画像信号Ｓ_inは、アップコンバータ２１に入力され、例えば４Ｋ画像にアップコンバートされた第１信号Ｓ１となって、第２加算器３３に出力される。

　第１の２次元ＬＰＦ（水平用）１１は、入力画像信号Ｓ_inの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_inの垂直方向成分の高域を部分的に減衰させ、第２信号Ｓ２を水平鮮鋭化処理部ＦＥｈに出力する。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の水平鮮鋭化処理部ＦＥｈの鮮鋭化特性を考慮して当業者が適宜設定できるものである。

　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_inに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、第１の２次元ＬＰＦ１１からの第２信号Ｓ２で表される画像の水平方向について鮮鋭化処理を施す。なお、本実施例では、水平鮮鋭化処理部ＦＥｈの内部でアップコンバートを行う。

　水平鮮鋭化処理部ＦＥｈの内部において、水平ＨＰＦ１４は、第２信号Ｓ２に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第３信号Ｓ３を生成する。アップコンバータ２２は、第３信号Ｓ３を、例えば４Ｋ画像にアップコンバートされた第４信号Ｓ４に変換して、非線形演算部２０に出力する。非線形演算部２０は、第３信号Ｓ３に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第５信号Ｓ５を生成する。この非線形演算処理により、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。リミッタ３０は、第５信号Ｓ５の振幅（信号レベル）の調整器として機能するものであり、第５信号Ｓ５を調整して第６信号Ｓ６を生成し、第１加算器３２に出力する。

　第２の２次元ＬＰＦ（垂直用）１２は、入力画像信号Ｓ_inの水平方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓ_inの水平方向成分の高域を部分的に減衰させ、第７信号Ｓ７を垂直鮮鋭化処理部ＦＥｖに出力する。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の垂直鮮鋭化処理部ＦＥｖの鮮鋭化特性を考慮して当業者が適宜設定できるものである。

　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_inに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第２の２次元ＬＰＦ１２からの第７信号Ｓ７で表される画像の垂直方向について鮮鋭化処理を施す。なお、本実施例では、垂直鮮鋭化処理部ＦＥｖの内部でアップコンバートを行う。

　垂直鮮鋭化処理部ＦＥｖの内部において、垂直ＨＰＦ１５は、第７信号Ｓ７に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第８信号Ｓ８を生成する。アップコンバータ２３は、第８信号Ｓ８を、例えば４Ｋ画像にアップコンバートされた第９信号Ｓ９に変換して、非線形演算部２０に出力する。非線形演算部２０は、第９信号Ｓ９に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第１０信号Ｓ１０を生成する。この非線形演算処理により、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。リミッタ３０は、第１０信号Ｓ１０の振幅（信号レベル）の調整器として機能するものであり、第１０信号Ｓ１０を調整して第１１信号Ｓ１１を生成し、第１加算器３２に出力する。

　第１加算器３２は、水平鮮鋭化処理部ＦＥｈからの第６信号Ｓ６と、垂直鮮鋭化処理部ＦＥｖからの第１１信号Ｓ１１とを加算して第１２信号Ｓ１２を生成する。

　第２加算器３３は、アップコンバータ２１からの第１信号Ｓ１と、第１加算器３２からの第１２信号Ｓ１２とを加算して出力画像信号Ｓ_outを生成する。

　第３実施例の画像処理装置３は、非線形演算部前の段階で、入力画像信号Ｓ_inに対する２個の２次元ＬＰＦ（７×７ｔａｐ）に乗算器がそれぞれ１６個用いられ、水平ＨＰＦ（７ｔａｐ）及び垂直ＨＰＦ（７ｔａｐ）それぞれに乗算器が４個用いられ、３個のアップコンバータにそれぞれ乗算器４個が用いられ、したがって、全体で５２個（１６個×２＋４個×５）の乗算器で非線形演算処理前のフィルタ処理及びアップコンバートが実現できる。

　比較のために、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）アップコンバートする図８（ｂ）の画像処理装置と対比する。図８（ｂ）は、第３実施例に対応する回路構成を有し、従来のように最初にアップコンバートを行う画像処理装置の構成を示す図である。画像処理装置は、１個のアップコンバータ２１と、ノイズ除去用の第１の２次元ＬＰＦ（水平用）１１及び第２の２次元ＬＰＦ（垂直用）１２と、水平鮮鋭化処理部ＦＥｈを構成する水平ＨＰＦ１４、非線形演算部２０及びリミッタ３０と、垂直鮮鋭化処理部ＦＥｖを構成する垂直ＨＰＦ１５、非線形演算部２０及びリミッタ３０と、第１加算器３２及び第２加算器３３とを備える。画像処理装置の回路構成は、第３実施例のものと基本的に同じであるが、２次元ＬＰＦはアップコンバートされた画像を処理するため、１５×１５ｔａｐのものを使用し、水平ＨＰＦ及び垂直ＨＰＦはそれぞれ１５ｔａｐのものを使用する。

　比較のための画像処理装置は、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）、アップコンバータ２１によりアップコンバートし、２次元ＬＰＦ１１，１２に出力する。第１の２次元ＬＰＦ１１はアップコンバートされた画像信号の垂直方向成分の高域を部分的に減衰させるフィルタ処理をし、第２の２次元ＬＰＦ１２はアップコンバートされた画像信号の水平方向成分の高域を部分的に減衰させるフィルタ処理をする。その後、水平鮮鋭化処理部ＦＥｈ（水平ＨＰＦ１４、非線形演算部２０、及びリミッタ３０）及び垂直鮮鋭化処理部ＦＥｖ（垂直ＨＰＦ１５、非線形演算部２０、及びリミッタ３０）は、それぞれ水平方向、垂直方向の鮮鋭化処理を行う。その後、第１加算器３２と第２加算器３３により、鮮鋭化処理された信号と入力画像信号Ｓ_inをアップコンバートした信号とを加算する。

　この場合は、１個のアップコンバータに４個、２次元ＬＰＦ（１５×１５ｔａｐ）に６４個、水平ＨＰＦ（１５ｔａｐ）及び垂直ＨＰＦ（１５ｔａｐ）にそれぞれ８個の乗算器が必要であり、したがって、非線形演算部前の段階で、１４８個（４個＋６４個×２＋８個×２）の乗算器が必要となる。したがって、図８（ａ）の第３実施例は、図８（ｂ）の画像処理装置と比較して、大幅に乗算器の個数を減らすことができる。

　また、本実施例によれば、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの前段にそれぞれ２次元ＬＰＦが配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタが個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、くっきりした画像に鮮鋭化できる。

　また、第２加算器３３の後段にさらに２次元ＬＰＦを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元ＬＰＦは、出力画像信号Ｓ_outの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。

　第４実施例は、第３実施例において、それぞれ別々に設けていた水平用の２次元ＬＰＦと垂直用の２次元ＬＰＦとを、共通化した回路に関するものである。

　図９（ａ）は、本発明の第４実施例に係る画像処理装置４の構成を示す図である。画像処理装置４は、ノイズ除去用の２次元ＬＰＦ１３と、水平鮮鋭化処理部ＦＥｈを構成する水平ＨＰＦ１４、非線形演算部２０及びリミッタ３０と、垂直鮮鋭化処理部ＦＥｖを構成する垂直ＨＰＦ１５、非線形演算部２０及びリミッタ３０と、３個のアップコンバータ２１，２２，２３と、第１加算器３２及び第２加算器３３とを備える。画像処理装置４は、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの前段に、共通の２次元ＬＰＦ１３が配置されている。画像処理装置４は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、水平鮮鋭化処理部ＦＥｈ内において、水平ＨＰＦ１４と非線形演算部２０の間にアップコンバータ２２を配置し、垂直鮮鋭化処理部ＦＥｖ内において、垂直ＨＰＦ１５と非線形演算部２０の間にアップコンバータ２３を配置する。

　２次元ＬＰＦ１３は、入力画像信号Ｓinの２次元周波数スペクトルにおける四隅のナイキスト周波数限界付近の信号成分に対しても鮮鋭化処理によって適切な高調波を発生させることが可能な特性を有し、且つ、後段の鮮鋭化処理で不要な高調波を発生させないように、少なくとも入力画像信号Ｓ_inに含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するものである。すなわち、ノイズ除去用のフィルタである。なお、ここで言う高周波部分とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、２次元ＬＰＦ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。２次元ＬＰＦ１３は、入力画像信号Ｓ_inの垂直方向成分及び水平方向成分の高域を部分的に減衰させて、第２信号Ｓ２を水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖに出力する。

　水平鮮鋭化処理部ＦＥｈは、入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、２次元ＬＰＦ１３からの第２信号Ｓ２で表される画像の水平方向について鮮鋭化処理を施す。なお、本実施例では、水平鮮鋭化処理部ＦＥｈの内部でアップコンバートを行う。

　水平鮮鋭化処理部ＦＥｈの内部において、水平ＨＰＦ１４は、第２信号Ｓ２に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第３信号Ｓ３を生成する。アップコンバータ２２は、第３信号Ｓ３を、例えば４Ｋ画像にアップコンバートされた第４信号Ｓ４に変換して、非線形演算部２０に出力する。非線形演算部２０は、第４信号Ｓ４に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第５信号Ｓ５を生成する。この非線形演算処理により、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。リミッタ３０は、第５信号Ｓ５の振幅（信号レベル）の調整器として機能するものであり、第５信号Ｓ５を調整して第６信号Ｓ６を生成し、第１加算器３２に出力する。

　垂直鮮鋭化処理部ＦＥｖは、入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、２次元ＬＰＦ１３からの第２信号Ｓ２で表される画像の垂直方向について鮮鋭化処理を施す。なお、本実施例では、垂直鮮鋭化処理部ＦＥｖの内部でアップコンバートを行う。

　垂直鮮鋭化処理部ＦＥｖの内部において、垂直ＨＰＦ１５は、第２信号Ｓ２に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第７信号Ｓ７を生成する。アップコンバータ２３は、第７信号Ｓ７を、例えば４Ｋ画像にアップコンバートされた第８信号Ｓ８に変換して、非線形演算部２０に出力する。非線形演算部２０は、第８信号Ｓ８に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第９信号Ｓ９を生成する。この非線形演算処理により、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。リミッタ３０は、第９信号Ｓ９の振幅（信号レベル）の調整器として機能するものであり、第９信号Ｓ９を調整して第１０信号Ｓ１０を生成し、第１加算器３２に出力する。

　第１加算器３２は、水平鮮鋭化処理部ＦＥｈからの第６信号Ｓ６と、垂直鮮鋭化処理部ＦＥｖからの第１０信号Ｓ１０とを加算して第１１信号Ｓ１１を生成する。

　第２加算器３３は、アップコンバータ２１からの第１信号Ｓ１と、第１加算器３２からの第１１信号Ｓ１１とを加算して出力画像信号Ｓ_outを生成する。

　第４実施例の画像処理装置４は、非線形演算部前の段階で、入力画像信号Ｓ_inに対する２次元ＬＰＦ（７×７ｔａｐ）に乗算器が１０個用いられ、水平ＨＰＦ（７ｔａｐ）及び垂直ＨＰＦ（７ｔａｐ）それぞれに乗算器が４個用いられ、３個のアップコンバータにそれぞれ乗算器４個が用いられ、したがって、全体で３０個（１０個×２＋４個×５）の乗算器で非線形演算処理前のフィルタ処理及びアップコンバートが実現できる。

　比較のために、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）アップコンバートする図９（ｂ）の画像処理装置と対比する。図９（ｂ）は、第４実施例に対応する回路構成を有し、従来のように最初にアップコンバートを行う画像処理装置の構成を示す図である。画像処理装置は、１個のアップコンバータ２１と、ノイズ除去用の２次元ＬＰＦ１３と、水平鮮鋭化処理部ＦＥｈを構成する水平ＨＰＦ１４、非線形演算部２０及びリミッタ３０と、垂直鮮鋭化処理部ＦＥｖを構成する垂直ＨＰＦ１５、非線形演算部２０及びリミッタ３０と、第１加算器３２及び第２加算器３３とを備える。画像処理装置の回路構成は、第４実施例のものと基本的に同じであるが、２次元ＬＰＦはアップコンバートされた画像を処理するため、１５×１５ｔａｐのものを使用し、水平ＨＰＦ及び垂直ＨＰＦはそれぞれ１５ｔａｐのものを使用する。

　比較のための画像処理装置は、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）、アップコンバータ２１によりアップコンバートし、２次元ＬＰＦ１３に出力する。２次元ＬＰＦ１３はアップコンバートされた画像信号の垂直方向成分及び水平方向成分の高域を部分的に減衰させるフィルタ処理をする。その後、水平鮮鋭化処理部ＦＥｈ（水平ＨＰＦ１４、非線形演算部２０、及びリミッタ３０）及び垂直鮮鋭化処理部ＦＥｖ（垂直ＨＰＦ１５、非線形演算部２０、及びリミッタ３０）は、それぞれ水平方向、垂直方向の鮮鋭化処理を行う。その後、第１加算器３２と第２加算器３３により、鮮鋭化処理された信号と入力画像信号Ｓ_inをアップコンバートした信号とを加算する。

　この場合は、１個のアップコンバータに４個、２次元ＬＰＦ（１５×１５ｔａｐ）に３６個、水平ＨＰＦ（１５ｔａｐ）及び垂直ＨＰＦ（１５ｔａｐ）にそれぞれ８個の乗算器が必要であり、したがって、非線形演算部前の段階で、５６個（４個＋３６個＋８個×２）の乗算器が必要となる。したがって、図９（ａ）の第４実施例は、図９（ｂ）の画像処理装置と比較して、大幅に乗算器の個数を減らすことができる。

　第５実施例は、第４実施例において、それぞれ別々に設けていた水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖとを、２次元ＨＰＦを用いて、共通化した回路に関するものである。

　図１０は、本発明の第５実施例に係る画像処理装置５の構成を示す図である。画像処理装置５は、ノイズ除去用の２次元ＬＰＦ１３と、鮮鋭化処理部ＦＥを構成する２次元ＨＰＦ１６、非線形演算部２０及びリミッタ３０と、２個のアップコンバータ２１，２２と、第１加算器３２とを備える。画像処理装置５は、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの機能が１つの鮮鋭化処理部ＦＥで実現され、その前段に、２次元ＬＰＦ１３が配置されている。画像処理装置５は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、鮮鋭化処理部ＦＥ内において、２次元ＨＰＦ１６と非線形演算部２０の間にアップコンバータ２２を配置する。

　例えば２Ｋ画像からなる入力画像信号Ｓ_inは、アップコンバータ２１に入力され、例えば４Ｋ画像にアップコンバートされた第１信号Ｓ１となって、第１加算器３２に出力される。

　２次元ＬＰＦ１３は、第４実施例で用いた２次元ＬＰＦ１３と同じであり、入力画像信号Ｓinの２次元周波数スペクトルにおける四隅のナイキスト周波数限界付近の信号成分に対しても鮮鋭化処理によって適切な高調波を発生させることが可能な特性を有し、且つ、後段の鮮鋭化処理で不要な高調波を発生させないように、少なくとも入力画像信号Ｓ_inに含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するものである。すなわち、ノイズ除去用のフィルタである。なお、ここで言う高周波部分とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、２次元ＬＰＦ後段の鮮鋭化処理部（ＦＥ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。２次元ＬＰＦ１３は、入力画像信号Ｓ_inの垂直方向成分及び水平方向成分の高域を部分的に減衰させて、第２信号Ｓ２を鮮鋭化処理部ＦＥに出力する。

　鮮鋭化処理部ＦＥは、入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波と、垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を１回の非線形演算処理で同時に生成するものであり、２次元ＬＰＦ１３からの第２信号Ｓ２で表される画像の２次元的な鮮鋭化処理を施す。なお、本実施例では、鮮鋭化処理部ＦＥの内部でアップコンバートを行う。

　鮮鋭化処理部ＦＥの内部において、２次元ＨＰＦ１６は、第２信号Ｓ２に含まれる水平及び垂直の周波数成分の少なくとも直流成分（低周波部分）を除去することにより高周波信号である第３信号Ｓ３を生成する。アップコンバータ２２は、第３信号Ｓ３を、例えば４Ｋ画像にアップコンバートされた第４信号Ｓ４に変換して、非線形演算部２０に出力する。非線形演算部２０は、第３信号Ｓ３に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第５信号Ｓ５を生成する。この非線形演算処理により、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含む高調波が生成される。リミッタ３０は、第５信号Ｓ５の振幅（信号レベル）の調整器として機能するものであり、第５信号Ｓ５を調整して第６信号Ｓ６を生成し、第１加算器３２に出力する。

　第１加算器３２は、鮮鋭化処理部ＦＥからの第６信号Ｓ６と、アップコンバータ２１からの第１信号Ｓ１と、を加算して出力画像信号Ｓ_outを生成する。

　図１１に２次元ＨＰＦを利用して鮮鋭化を行ったときの各段階における信号の周波数成分を示す。図１１（ａ）は水平方向のサンプリング周波数がｆｈ、水平方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓ_inの周波数成分を示す。図でハッチングの部分が、周波数成分の存在する領域である。デジタル画像のナイキスト周波数は、水平方向がｆｈ／２、垂直方向がｆｖ／２となり、図示のとおり、ナイキスト周波数を超える範囲に周波数成分は存在しない。図１１（ｂ）は、入力画像信号Ｓ_inに２次元ＨＰＦ処理を施した後の信号Ｓ０である。鮮鋭化処理部ＦＥに用いられる２次元ＨＰＦ１６は、少なくとも直流成分を含む水平周波数及び垂直周波数の低周波数領域（０Ｈｚ周辺）に遮断領域を有するフィルタ特性を示す。したがって、２次元ＨＰＦ処理を施した後の画像信号Ｓ０は、０Ｈｚ周辺の低周波数成分が除去される。この画像信号Ｓ０に対して、非線形演算部２０で非線形関数による鮮鋭化処理を施すと、図１１（ｃ）のとおり、鮮鋭化処理後の出力画像信号Ｓ_outにおいて、垂直方向のナイキスト周波数ｆｖ／２を越える広域及び水平方向のナイキスト周波数ｆｈ／２を越える広域に周波数成分が生成される。図示のとおり、出力画像信号Ｓ_outの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域も、一度の非線形演算処理で生成されるため、演算処理の効率が高まると共に、従来のように水平方向及び垂直方向の鮮鋭化処理が重複して行われ、画像のギラギラ感が強調されてしまう現象は生じない。

　第５実施例の画像処理装置５は、非線形演算部前の段階で、入力画像信号Ｓ_inに対する２次元ＬＰＦ（７×７ｔａｐ）に乗算器が１０個用いられ、２次元ＨＰＦ（７×７ｔａｐ）に乗算器が１０個用いられ、２個のアップコンバータにそれぞれ乗算器４個が用いられ、したがって、全体で２８個（１０個×２＋４個×２）の乗算器で非線形演算処理前のフィルタ処理及びアップコンバートが実現できる。これは、図９（ｂ）に示す従来の画像処理装置（乗算器を５６個使用）と比較して、大きな乗算器の減少である。さらに、本実施例は、図９の画像処理装置で２系統必要であった非線形演算部を１系統にすることができる。一般に、非線形関数上の前後４個の代表点からの補間処理を行う方式では、１系統の非線形演算部に２７個の乗算器が必要となるが、これを１系統省略できることは、図９（ｂ）に示す従来の画像処理装置と比較して、大幅に乗算器の個数を減らすことができる。

　また、本実施例によれば、鮮鋭化処理部ＦＥの前段に２次元ＬＰＦが配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。

　また、本実施例によれば、鮮鋭化処理を水平方向と垂直方向の２系統用意する代わりに、２次元で処理を行う鮮鋭化処理部ＦＥの１系統に、まとめることができるため、非線形演算処理の演算回数と減らすことができ、その結果、回路量とともに消費電力も低減することができる。

　また、第１加算器３２の後段にさらに２次元ＬＰＦを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元ＬＰＦは、出力画像信号Ｓ_outの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。

　これまでは、鮮鋭化処理部ＦＥの前段に２次元ＬＰＦが配置された画像処理装置について説明してきたが、フィルタ処理をアップコンバータの前で行う本発明の特徴は、ノイズ除去用の２次元ＬＰＦを有していない画像処理装置にも適用できる。

　第６実施例は、第３実施例及び第４実施例において、ノイズ除去用の２次元ＬＰＦを省略した回路に関するものである。

　図１２（ａ）は、本発明の第６実施例に係る画像処理装置６の構成を示す図である。画像処理装置６は、水平鮮鋭化処理部ＦＥｈを構成する水平ＨＰＦ１４、非線形演算部２０及びリミッタ３０と、垂直鮮鋭化処理部ＦＥｖを構成する垂直ＨＰＦ１５、非線形演算部２０及びリミッタ３０と、３個のアップコンバータ２１，２２，２３と、第１加算器３２及び第２加算器３３とを備える。画像処理装置６は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、水平鮮鋭化処理部ＦＥｈ内において、水平ＨＰＦ１４と非線形演算部２０の間にアップコンバータ２２を配置し、垂直鮮鋭化処理部ＦＥｖ内において、垂直ＨＰＦ１５と非線形演算部２０の間にアップコンバータ２３を配置する。

　水平鮮鋭化処理部ＦＥｈは、入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、入力画像信号Ｓ_inの水平方向について鮮鋭化処理を施す。なお、本実施例では、水平鮮鋭化処理部ＦＥｈの内部でアップコンバートを行う。

　水平鮮鋭化処理部ＦＥｈの内部において、水平ＨＰＦ１４は、入力画像信号Ｓ_inに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。アップコンバータ２２は、第２信号Ｓ２を、例えば４Ｋ画像にアップコンバートされた第３信号Ｓ３に変換して、非線形演算部２０に出力する。非線形演算部２０は、第３信号Ｓ３に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第４信号Ｓ４を生成する。この非線形演算処理により、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。リミッタ３０は、第４信号Ｓ４の振幅（信号レベル）の調整器として機能するものであり、第４信号Ｓ４を調整して第５信号Ｓ５を生成し、第１加算器３２に出力する。

　垂直鮮鋭化処理部ＦＥｖは、入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、入力画像信号Ｓ_inの垂直方向について鮮鋭化処理を施す。なお、本実施例では、垂直鮮鋭化処理部ＦＥｖの内部でアップコンバートを行う。

　垂直鮮鋭化処理部ＦＥｖの内部において、垂直ＨＰＦ１５は、入力画像信号Ｓ_inに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第６信号Ｓ６を生成する。アップコンバータ２３は、第６信号Ｓ６を、例えば４Ｋ画像にアップコンバートされた第７信号Ｓ７に変換して、非線形演算部２０に出力する。非線形演算部２０は、第７信号Ｓ７に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第８信号Ｓ８を生成する。この非線形演算処理により、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。リミッタ３０は、第８信号Ｓ８の振幅（信号レベル）の調整器として機能するものであり、第８信号Ｓ８を調整して第９信号Ｓ９を生成し、第１加算器３２に出力する。

　第１加算器３２は、水平鮮鋭化処理部ＦＥｈからの第５信号Ｓ５と、垂直鮮鋭化処理部ＦＥｖからの第９信号Ｓ９とを加算して第１０信号Ｓ１０を生成する。

　第２加算器３３は、アップコンバータ２１からの第１信号Ｓ１と、第１加算器３２からの第１０信号Ｓ１０とを加算して出力画像信号Ｓ_outを生成する。

　第６実施例の画像処理装置６は、非線形演算部前の段階で、水平ＨＰＦ（７ｔａｐ）及び垂直ＨＰＦ（７ｔａｐ）それぞれに乗算器が４個用いられ、３個のアップコンバータにそれぞれ乗算器４個が用いられ、したがって、全体で２０個（４個×５）の乗算器で非線形演算処理前のフィルタ処理及びアップコンバートが実現できる。

　参考までに、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）アップコンバートする図１２（ｂ）の画像処理装置と対比する。図１２（ｂ）は、第６実施例に対応する回路構成を有し、従来のように最初にアップコンバートを行う画像処理装置の構成を示す図である。画像処理装置は、１個のアップコンバータ２１と、水平鮮鋭化処理部ＦＥｈを構成する水平ＨＰＦ１４、非線形演算部２０及びリミッタ３０と、垂直鮮鋭化処理部ＦＥｖを構成する垂直ＨＰＦ１５、非線形演算部２０及びリミッタ３０と、第１加算器３２及び第２加算器３３とを備える。画像処理装置の回路構成は、第６実施例のものと基本的に同じであるが、アップコンバートされた画像を処理するため、水平ＨＰＦ及び垂直ＨＰＦはそれぞれ１５ｔａｐのものを使用する。

　比較のための画像処理装置は、入力画像信号Ｓ_inを直ちに（鮮鋭化処理の経路の前に）、アップコンバータ２１によりアップコンバートし、その後、水平鮮鋭化処理部ＦＥｈ（水平ＨＰＦ１４、非線形演算部２０、及びリミッタ３０）及び垂直鮮鋭化処理部ＦＥｖ（垂直ＨＰＦ１５、非線形演算部２０、及びリミッタ３０）は、それぞれ水平方向、垂直方向の鮮鋭化処理を行う。その後、第１加算器３２と第２加算器３３により、鮮鋭化処理された信号と入力画像信号Ｓ_inをアップコンバートした信号とを加算する。

　この場合は、１個のアップコンバータに４個、水平ＨＰＦ（１５ｔａｐ）及び垂直ＨＰＦ（１５ｔａｐ）にそれぞれ８個の乗算器が必要であり、したがって、非線形演算部前の段階で、２０個（４個＋８個×２）の乗算器が必要となる。図１２（ａ）の第６実施例は、図１２（ｂ）の画像処理装置と比較して、全体の乗算器の個数としては変わらないが、アップコンバータの前に配置することにより、水平ＨＰＦ及び垂直ＨＰＦの回路規模を小型化できるとともに処理速度を低くして省電力化ができ、経済性が高い。すなわち、アップコンバータの後の回路はアップコンバータの前に比べて画素処理レートが４倍となっているため、アップコンバータの後の回路が多いほど電力消費が大きい。さらに、もし、４倍の画素処理レートで乗算器が動作できず、２倍の画素処理レートで動作させざるを得ない場合は、同じ回路を２個用いて並列に動作させることになり、回路が増加する。つまり、同じ機能となる回路がアップコンバータの前にある方が、小型で省電力という観点で優れていると言える。

　第７実施例もノイズ除去用の２次元ＬＰＦを有していない画像処理装置に本発明を適用したものであり、第７実施例は、第６実施例において、それぞれ別々に設けていた水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖとを、２次元ＨＰＦを用いて、共通化した回路に関するものである。

　図１３は、本発明の第７実施例に係る画像処理装置７の構成を示す図である。画像処理装置７は、鮮鋭化処理部ＦＥを構成する２次元ＨＰＦ１６、非線形演算部２０及びリミッタ３０と、２個のアップコンバータ２１，２２と、第１加算器３２とを備える。画像処理装置７は、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの機能が１つの鮮鋭化処理部ＦＥで実現されている。画像処理装置７は、基本画像信号の経路となる入力と出力の間にアップコンバータ２１を配置する。また、鮮鋭化処理部ＦＥ内において、２次元ＨＰＦ１６と非線形演算部２０の間にアップコンバータ２２を配置する。

　鮮鋭化処理部ＦＥは、入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波と、垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を１回の非線形演算処理で同時に生成するものであり、入力画像信号Ｓ_inの２次元的な鮮鋭化処理を施す。なお、本実施例では、鮮鋭化処理部ＦＥの内部でアップコンバートを行う。

　鮮鋭化処理部ＦＥの内部において、２次元ＨＰＦ１６は、入力画像信号Ｓ_inに含まれる水平及び垂直の周波数成分の少なくとも直流成分（低周波部分）を除去することにより高周波信号である第２信号Ｓ２を生成する。アップコンバータ２２は、第２信号Ｓ２を、例えば４Ｋ画像にアップコンバートされた第３信号Ｓ３に変換して、非線形演算部２０に出力する。非線形演算部２０は、第３信号Ｓ３に対して、原点を通り正負で非対称となる連続した非線形関数で表されるような非線形演算処理を行うことにより、第４信号Ｓ４を生成する。この非線形演算処理により、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含む高調波が同時に生成される。なお、この高調波が生成される過程は、図１１に説明したとおりである。リミッタ３０は、第４信号Ｓ４の振幅（信号レベル）の調整器として機能するものであり、第４信号Ｓ４を調整して第５信号Ｓ５を生成し、第１加算器３２に出力する。

　第７実施例の画像処理装置７は、非線形演算部前の段階で、入力画像信号Ｓ_inに対する２次元ＨＰＦ（７×７ｔａｐ）に乗算器が１０個用いられ、２個のアップコンバータにそれぞれ乗算器４個が用いられ、したがって、全体で１８個（１０個＋４個×２）の乗算器で非線形演算処理前のフィルタ処理及びアップコンバートが実現できる。したがって、図１２（ｂ）に示す従来の画像処理装置（乗算器を２０個使用）と比較して、乗算器の個数を減らすことができる。さらに、本実施例は、図１２の画像処理装置で２系統必要であった非線形演算部を１系統にすることができる。一般に、非線形関数上の前後４個の代表点からの補間処理を行う方式では、１系統の非線形演算部に２７個の乗算器が必要となるが、これを１系統省略できることは、図１２（ｂ）に示す従来の画像処理装置と比較して、大幅に乗算器の個数を減らすことができる。

　また、本実施例によれば、出力画像信号Ｓ_outの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域も、一度の非線形演算処理で生成されるため、演算処理の効率が高まると共に、従来のように水平方向及び垂直方向の鮮鋭化処理が重複して行われ、画像のギラギラ感が強調されてしまう現象は生じない。

　（非線形演算処理による高周波成分生成の説明）
　以下、参考のため、図１及び図５鮮鋭化処理部ＦＥにおいて、サンプリング周波数がｆｓである入力画像のナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について説明する。

　いま、入力画像信号Ｓ_inが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓ_inの基本角周波数をωとすると、このｆ(ｘ)は式（５）のようなフーリエ級数で表現することができる。

　ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
　　Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。

　例えば、非線形演算部（２０、４０）が、入力画像信号Ｓ_inを２乗することにより、第１信号Ｓ１を生成する場合、第１信号Ｓ１における各項は下記式（６ａ）～（６ｃ）のいずれかで表現される。

　（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）

　三角関数に関する公式を用いると、上記式（６ａ）～（６ｃ）は、下記の式（７ａ）～（７ｃ）にそれぞれ書き直すことができる。

　上記式より（ｆ(ｘ)）²は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第１信号Ｓ１も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。

　また、例えば、非線形演算部（２０、４０）が、正の第１信号Ｓ１を３乗することにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（８ａ）～（８ｄ）のいずれかで表現される。

（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ；ｋ＝±１，±２，…，±Ｎ）

　いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（８ａ）（８ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。

　また、例えばｉ＝ｊ＝ｋ＝－Ｎの項のうち上記式（８ａ）（８ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。

　上記式（９ａ）（９ｄ）（１０ａ）（１０ｄ）より、（ｇ(ｘ)）³は、基本角周波数ωの３Ｎ倍の周波数成分や－３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）³における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）³は、基本角周波数ωの－３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。

　上記のとおり、非線形演算部（２０、４０）による非線形演算処理により、鮮鋭化処理部ＦＥにおいて、サンプリング周波数がｆｓである入力画像のナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる。また、非対称型非線形関数を用いる非線形演算部２０は、ハイパスフィルタ処理後の信号の正負で非対称となる非線形演算処理を行うことにより、正負で非対称となる周波数成分を生成することが可能となる。

　本発明は、画像を鮮鋭化して画質を改善するための画像処理装置に適用されるものであり、例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合や、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合に、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化するための画像処理装置に適用することができる。

　また、本発明は、監視カメラの画像鮮鋭化処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。

　さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、画像を拡大して輪郭を鮮鋭化する画像処理が可能になる。

　さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を鮮鋭化する画像処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ－ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。

　さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。

　さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツを拡大画像とし、さらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。

　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

　１、２、３、４、５、６、７　画像処理装置
　１０　ＨＰＦ
　１１１～１１（ｍ－１）　単位遅延素子
　１２１～１２ｍ　乗算器
　１３１　加算器
　１０１　ＬＰＦ
　１０２　減算器
　１１　２次元ＬＰＦ（水平用）
　１２　２次元ＬＰＦ（垂直用）
　１３　２次元ＬＰＦ
　１４　水平ＨＰＦ
　１５　垂直ＨＰＦ
　２０、４０　非線形演算部
　２１、２２、２３　アップコンバータ
　３０　リミッタ
　３１　増幅器（切替器）
　３２　第１加算器
　３３　第２加算器
　３４　第３加算器

Claims

　入力画像をアップコンバートするとともに画像を鮮鋭化した出力画像を生成する画像処理装置であって、
　前記入力画像を表す入力画像信号をアップコンバートして画素数が増大した第１信号を生成する基本画像側の経路と、
　前記入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成する非線形演算部を含む鮮鋭化処理部により、前記入力画像を鮮鋭化する第２信号を生成する鮮鋭化処理側の経路と、
　前記第１信号と前記第２信号とを加算して、前記出力画像を表す出力画像信号を生成する加算器と、を備え、
　前記鮮鋭化処理側の経路において、少なくとも一つのフィルタの後段にアップコンバータを設け、その後に前記非線形演算部を設けた画像処理装置において、
　前記鮮鋭化処理部は、
　前記鮮鋭化処理部への入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１高周波信号を生成するフィルタ部と、前記第１高周波信号に対して前記第１高周波信号の正負で非対称となる非線形演算処理を行い第２高周波信号を生成する非線形演算部であって、前記第１高周波信号に対して、正の領域に適用する非線形演算処理と負の領域に適用する非線形演算処理とが原点を通る連続関数として表され、且つ、非線形演算処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形演算処理を行う非線形演算部と、前記第２高周波信号を調整して鮮鋭化処理部出力信号を生成するリミッタと、を含む、第１構成鮮鋭化処理部、又は、
　前記鮮鋭化処理部への入力信号に非線形演算処理を行い第３高周波信号を生成する非線形演算部であって、前記入力信号に対して前記第３高周波信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形演算処理を行う非線形演算部と、前記第３高周波信号に含まれる周波数成分の少なくとも直流成分を除去することにより第４高周波信号を生成するフィルタ部と、前記第４高周波信号を調整して鮮鋭化処理部出力信号を生成するリミッタと、を含む、第２構成鮮鋭化処理部、
の少なくとも一方を備えることを特徴とする画像処理装置。
　請求項１に記載の画像処理装置において、
　前記基本画像側の経路は、第１のアップコンバータを備え、
　前記鮮鋭化処理側の経路は、
　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、
　前記垂直フィルタの出力をアップコンバートする第２のアップコンバータと、
　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、
　前記水平フィルタの出力をアップコンバートする第３のアップコンバータと、
　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、
　前記垂直フィルタ、前記第２のアップコンバータ、前記水平鮮鋭化処理部の順に配置された水平方向処理部と、
　前記水平フィルタ、前記第３のアップコンバータ、前記垂直鮮鋭化処理部の順に配置された垂直方向処理部とが、並列に接続される画像処理装置。
　請求項２に記載の画像処理装置において、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備える画像処理装置。
　請求項３に記載の画像処理装置において、前記増幅器の増幅率βは０≦β≦１である画像処理装置。
　請求項１に記載の画像処理装置において、
　前記基本画像側の経路は、第１のアップコンバータを備え、
　前記鮮鋭化処理側の経路は、
　少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去する２次元フィルタと、
　前記２次元フィルタの出力をアップコンバートする第２のアップコンバータと、
　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、
　前記２次元フィルタ、前記第２のアップコンバータ、前記水平鮮鋭化処理部と前記垂直鮮鋭化処理部との並列回路の順に接続される画像処理装置。
　請求項５に記載の画像処理装置において、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備える画像処理装置。
　請求項６に記載の画像処理装置において、前記増幅器の増幅率βは０≦β≦１である画像処理装置。
　請求項１に記載の画像処理装置において、
　前記基本画像側の経路は、第１のアップコンバータを備え、
　前記鮮鋭化処理側の経路は、
　水平方向の周波数成分の少なくとも直流成分を除去する水平高域通過フィルタと、
　前記水平高域通過フィルタの出力をアップコンバートする第２のアップコンバータと、
　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する第１の非線形演算部と、
　垂直方向の周波数成分の少なくとも直流成分を除去する垂直高域通過フィルタと、
　前記垂直高域通過フィルタの出力をアップコンバートする第３のアップコンバータと、
　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する第２の非線形演算部と、を備え、
　前記水平高域通過フィルタ、前記第２のアップコンバータ、前記第１の非線形演算部をこの順に含む水平方向鮮鋭化処理部と、
　前記垂直高域通過フィルタ、前記第３のアップコンバータ、前記第２の非線形演算部をこの順に含む垂直方向鮮鋭化処理部とが、並列に接続される画像処理装置。
　請求項８に記載の画像処理装置において、
　前記水平方向鮮鋭化処理部は、前記第１の非線形演算部の後段にリミッタをさらに含み、
　前記垂直方向鮮鋭化処理部は、前記第２の非線形演算部の後段にリミッタをさらに含む、画像処理装置。
　請求項８に記載の画像処理装置において、
　前記鮮鋭化処理側の経路は、
　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、
　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、をさらに備え、
　前記水平方向鮮鋭化処理部の前段に、前記垂直フィルタを配置し、
　前記垂直方向鮮鋭化処理部の前段に、前記水平フィルタを配置した、画像処理装置。
　請求項８に記載の画像処理装置において、
　前記鮮鋭化処理側の経路は、
　少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去する２次元フィルタと、をさらに備え、
　前記２次元フィルタの後段に、前記水平方向鮮鋭化処理部と前記垂直方向鮮鋭化処理部とが並列に接続された画像処理装置。
　請求項１に記載の画像処理装置において、
　前記基本画像側の経路は、第１のアップコンバータを備え、
　前記鮮鋭化処理側の経路は、
　水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する２次元高域通過フィルタと、
　前記２次元高域通過フィルタの出力をアップコンバートする第２のアップコンバータと、
　入力画像信号に含まれる水平方向及び垂直方向の周波数成分より高い周波数成分を含む水平方向及び垂直方向の高調波を同時に生成する非線形演算部と、を少なくとも備え、
　前記２次元高域通過フィルタ、前記第２のアップコンバータ、前記非線形演算部の順に接続される画像処理装置。
　請求項１２に記載の画像処理装置において、
　前記鮮鋭化処理側の経路は、
　前記非線形演算部の後段にリミッタをさらに含む、画像処理装置。
　請求項１２に記載の画像処理装置において、
　前記鮮鋭化処理側の経路は、
　少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去する２次元低域通過フィルタを、前記２次元高域通過フィルタの前段にさらに含む、画像処理装置。
　入力画像をアップコンバートするとともに画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、
　前記入力画像を表す入力画像信号をアップコンバートして画素数が増大した第１信号を生成するステップと、
　前記入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成する非線形演算処理を含む鮮鋭化処理を行い、前記入力画像を鮮鋭化する第２信号を生成するステップと、
　前記第１信号と前記第２信号とを加算して、前記出力画像を表す出力画像信号を生成するステップと、を備え、
　前記第２信号を生成するステップにおいて、少なくとも一つのフィルタ処理の後に、アップコンバートを行い、その後に前記非線形演算処理を行う画像処理方法において、
　前記鮮鋭化処理は、
　鮮鋭化処理部への入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１高周波信号を生成するステップと、前記第１高周波信号に対して前記第１高周波信号の正負で非対称となる非線形演算処理を行い第２高周波信号を生成する非線形演算処理ステップであって、前記第１高周波信号に対して、正の領域に適用する非線形演算処理と負の領域に適用する非線形演算処理とが原点を通る連続関数として表され、且つ、非線形演算処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形演算処理を行う非線形演算処理ステップと、前記第２高周波信号を調整して鮮鋭化処理部出力信号を生成する調整ステップと、を含む第１構成鮮鋭化処理、又は、
　鮮鋭化処理部への入力信号に非線形演算処理を行い第３高周波信号を生成する非線形演算処理ステップであって、前記入力信号に対して前記第３高周波信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形演算処理を行う非線形演算処理ステップと、前記第３高周波信号に含まれる周波数成分の少なくとも直流成分を除去することにより第４高周波信号を生成するステップと、前記第４高周波信号を調整して鮮鋭化処理部出力信号を生成するステップと、を含む第２構成鮮鋭化処理、
の少なくとも一方を行うことを特徴とする画像処理方法。
　請求項１５に記載の画像処理方法において、
　前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、
　前記第２信号を生成するステップは、
　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向鮮鋭化処理を行う水平方向処理ステップと、
　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、次いで第３のアップコンバートを行い、その後、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向鮮鋭化処理を行う垂直方向処理ステップと、を含み、
　前記水平方向処理ステップと、前記垂直方向処理ステップとを、並列に実行する画像処理方法。
　請求項１６に記載の画像処理方法において、前記水平鮮鋭化処理及び前記垂直鮮鋭化処理を、直列に実行するか並列に実行するかを増幅率βにより切り替えるステップを含む、画像処理方法。
　請求項１７に記載の画像処理方法において、前記増幅率βは０≦β≦１である画像処理方法。
　請求項１５に記載の画像処理方法において、
　前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、
　前記第２信号を生成するステップは、
　少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理と、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理とを、並列に実行する画像処理方法。
　請求項１９に記載の画像処理方法において、前記水平鮮鋭化処理及び前記垂直鮮鋭化処理を、直列に実行するか並列に実行するかを増幅率βにより切り替えるステップを含む、画像処理方法。
　請求項２０に記載の画像処理方法において、前記増幅率βは０≦β≦１である画像処理方法。
　請求項１５に記載の画像処理方法において、
　前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、
　前記第２信号を生成するステップは、
　水平方向の周波数成分の少なくとも直流成分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する第１の非線形演算処理を行う水平方向鮮鋭化処理ステップと、
　垂直方向の周波数成分の少なくとも直流成分を除去し、次いで第３のアップコンバートを行い、その後、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する第２の非線形演算処理を行う垂直方向鮮鋭化処理ステップと、を含み、
　前記水平方向鮮鋭化処理ステップと、前記垂直方向鮮鋭化処理ステップとを、並列に実行する画像処理方法。
　請求項２２に記載の画像処理方法において、
　前記水平方向鮮鋭化処理ステップは、前記第１の非線形演算処理の後にリミッタ処理をさらに含み、
　前記垂直方向鮮鋭化処理ステップは、前記第２の非線形演算処理の後にリミッタ処理をさらに含む、画像処理方法。
　請求項２２に記載の画像処理方法において、
　前記第２信号を生成するステップは、
　前記水平方向鮮鋭化処理ステップの前に、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去するステップをさらに含み、
　前記垂直方向鮮鋭化処理ステップの前に、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去するステップをさらに含む、画像処理方法。
　請求項２２に記載の画像処理方法において、
　前記第２信号を生成するステップは、
　少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するステップをさらに含み、その後に、前記水平方向鮮鋭化処理ステップと前記垂直方向鮮鋭化処理ステップとを並列に実行する画像処理方法。
　請求項１５に記載の画像処理方法において、
　前記第１信号を生成するステップは、第１のアップコンバートを行うステップを含み、
　前記第２信号を生成するステップは、
　水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去し、次いで第２のアップコンバートを行い、その後、入力画像信号に含まれる水平方向及び垂直方向の周波数成分より高い周波数成分を含む水平方向及び垂直方向の高調波を同時に生成する非線形演算処理を行う画像処理方法。
　請求項２６に記載の画像処理方法において、
　前記第２信号を生成するステップは、
　前記非線形演算処理の後にリミッタ処理をさらに含む、画像処理方法。
　請求項２６に記載の画像処理方法において、
　前記第２信号を生成するステップは、
　水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する前に、少なくとも入力画像信号に含まれる水平方向及び垂直方向の周波数成分の高周波部分を除去するステップをさらに含む、画像処理方法。