WO2015029450A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

　ナイキスト周波数を超える周波数成分により画像を鮮鋭化する。　本発明に係る画像処理装置１００は、入力画像を鮮鋭化した出力画像を生成する画像処理装置１００であって、入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成する第１非線形処理部１０１と、第１信号に鮮鋭化処理を行い、第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロック１０２と、第２信号を入力画像信号に加算して出力画像を表す出力画像信号を生成する加算器１０３とを備える。

Description

画像処理装置及び画像処理方法 関連出願へのクロスリファレンス

　本出願は、日本国特許出願２０１３－１８０３５９号（２０１３年８月３０日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

　本発明は、画像を鮮鋭化して画質を改善するための画像処理装置及び画像処理方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像処理装置及び画像処理方法に関する。

　画像を鮮鋭化して画質を改善するための画像強調処理は、従来から広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。図１９は、従来の画像強調処理による画像の信号レベルの波形変化を示す図である。図１９（Ａ）は、入力画像信号の水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。図１９（Ｂ）は、入力画像信号から抽出された高周波成分であり、この高周波成分を増幅して入力画像信号に加算することにより、図１９（Ｃ）に示すエッジの立ち上がり変化が急となった出力画像信号を得ることができる。

　また、近年、特に入力画像をより高解像度の出力画像にアップコンバートし、当該アップコンバートした画像の強調処理を行う超解像と呼ばれる技術も提案されている（例えば、非特許文献１参照）。

S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multi-frame Super-resolution", IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004.

　従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

　例えば、フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このように画像がぼやける原因は、拡大処理後の画像信号には、拡大前の元画像のナイキスト周波数までの周波数成分しか含まれておらず、拡大後の画像のナイキスト周波数近傍の周波数成分が含まれていないためである。

　以下、画像の拡大、強調処理による周波数成分の変化を図２０により説明する。図２０（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図２０（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｂｓ＝２・ｆｓ）。ここで、図２０（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。

　図２０（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示の通り、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。そのため、従来の線形デジタル信号処理による画像強調処理では、例えば図２０（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

　また、従来の画像強調処理においては、輪郭補償を行う際に、入力画像信号そのものから高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算するという処理を行っていたが、例えば、入力画像信号が暗い画像であったり、コントラストが低い画像であったりした場合には、画像強調効果が小さくなってしまう場合があった。

　そこで本発明は、入力画像信号が暗い画像やコントラストが低い画像である場合にも、ナイキスト周波数を超える周波数成分を生成、利用して、画像を効果的に鮮鋭化することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

　上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、前記入力画像を表す入力画像信号に、上に凸の非線形関数により非線形処理を行い、第１信号を生成する第１非線形処理部と、前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロックと、前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器とを備えるものである。

　また、本発明に係る画像処理装置において、前記鮮鋭化処理ブロックは、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部とを備え、前記水平鮮鋭化処理部と前記垂直鮮鋭化処理部とが、直列又は並列に接続されることが好ましい。

　また、本発明に係る画像処理装置において、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去するフィルタ部と、前記フィルタ部の出力信号に対して前記フィルタ部の出力信号の正負で非対称となる非線形処理を行う非線形演算部であって、前記フィルタ部の出力信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形演算部と、前記非線形演算部の出力信号を調整するリミッタとを含むことが好ましい。

　また、本発明に係る画像処理装置において、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に非線形処理を行う非線形演算部であって、前記入力信号に対して当該非線形演算部の出力信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形演算部と、前記非線形演算部の出力信号に含まれる周波数成分の少なくとも直流成分を除去するフィルタ部と、前記フィルタ部の出力信号を調整するリミッタとを含むことが好ましい。

　また、本発明に係る画像処理装置において、並列に接続された前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備えることが好ましい。

　また、本発明に係る画像処理装置において、前記増幅器の増幅率βは０≦β≦１であることが好ましい。

　また、上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成する第１非線形処理部と、前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロックと、前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器とを備え、前記鮮鋭化処理ブロックは、入力画像信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する２次元ＨＰＦと、前記２次元ＨＰＦの出力信号に対して前記２次元ＨＰＦの出力信号の正負で非対称となる非線形処理を行う非線形演算部であって、前記２次元ＨＰＦの出力信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形演算部と、前記非線形演算部の出力信号を調整するリミッタとを含むものである。

　また、上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成する第１非線形処理部と、前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロックと、前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器とを備え、前記鮮鋭化処理ブロックは、入力画像信号に非線形処理を行う非線形演算部であって、前記入力画像信号に対して当該非線形演算部の出力信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形演算部と、前記非線形演算部の出力信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する２次元ＨＰＦと、前記２次元ＨＰＦの出力信号を調整するリミッタとを含むものである。

　また、本発明に係る画像処理装置において、さらに、前記入力画像を表す入力画像信号に非線形処理を行う第２非線形処理部を備え、前記加算器は、前記第２信号を前記第２非線形処理部によって処理された信号に加算して前記出力画像を表す出力画像信号を生成することが好ましい。

　また、本発明に係る画像処理装置において、さらに、前記第１非線形処理部の前段又は後段に２次元ＬＰＦを備えることが好ましい。

　また、上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、入力信号に、上に凸の非線形関数により非線形処理を行う第１非線形処理部と、その後段に配置され入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、前記水平鮮鋭化処理部の前段に配置された前記第１非線形処理部への入力信号と前記水平鮮鋭化処理部の出力信号とを加算する第１加算器とを含む水平方向処理部と、入力信号に、上に凸の非線形関数により非線形処理を行う第１非線形処理部と、その後段に配置され入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、前記垂直鮮鋭化処理部の前段に配置された前記第１非線形処理部への入力信号と前記垂直鮮鋭化処理部の出力信号とを加算する第２加算器とを含む垂直方向処理部とを備え、前記水平方向処理部と前記垂直方向処理部とを直列に接続して入力画像信号を処理するものである。

　また、上述した諸課題を解決すべく、本発明に係る画像処理方法は、入力画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、（ａ）前記入力画像を表す入力画像信号に、上に凸の非線形関数により非線形処理を行い、第１信号を生成するステップと、（ｂ）前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成するステップと、（ｃ）前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップとを含むものである。

　また、本発明に係る画像処理方法において、前記ステップ（ｂ）は、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップとを含み、前記水平方向処理ステップと前記垂直方向処理ステップを、直列又は並列に実行することが好ましい。

　また、本発明に係る画像処理方法において、前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより信号を生成する直流成分除去ステップと、前記直流成分除去ステップで生成された信号に対して前記直流成分除去ステップで生成された信号の正負で非対称となる非線形処理を行って信号を生成する非線形処理ステップであって、前記直流成分除去ステップで生成された信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記非線形処理ステップで生成された信号を調整して信号を生成する調整ステップと、を含むことが好ましい。

　また、本発明に係る画像処理方法において、前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に非線形処理を行い信号を生成する非線形処理ステップであって、前記入力信号に対して当該非線形処理ステップで生成された信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記非線形処理ステップで生成された信号に含まれる周波数成分の少なくとも直流成分を除去することにより信号を生成する直流成分除去ステップと、前記直流成分除去ステップで生成された信号を調整して信号を生成するステップとを含むことが好ましい。

　また、本発明に係る画像処理方法において、前記水平方向処理ステップ及び前記垂直方向処理ステップを直列に実行するか並列に実行するかの割合を増幅率βにより調整するステップを含むことが好ましい。

　また、本発明に係る画像処理方法において、前記増幅率βは０≦β≦１であることが好ましい。

　また、上述した諸課題を解決すべく、本発明に係る画像処理方法は、入力画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、（ａ）前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成するステップと、（ｂ）前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成するステップと、（ｃ）前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップとを含み、前記ステップ（ｂ）は、入力画像信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する直流成分除去ステップと、前記直流成分除去ステップで生成された信号に対して前記直流成分除去ステップで生成された信号の正負で非対称となる非線形処理を行って信号を生成する非線形処理ステップであって、前記直流成分除去ステップで生成された信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記非線形処理ステップで生成された信号を調整して信号を生成する調整ステップと、を含むものである。

　また、上述した諸課題を解決すべく、本発明に係る画像処理方法は、入力画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、（ａ）前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成するステップと、（ｂ）前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成するステップと、（ｃ）前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップとを含み、前記ステップ（ｂ）は、入力画像信号に非線形処理を行い信号を生成する非線形処理ステップであって、前記入力画像信号に対して当該非線形処理ステップで生成された信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記非線形処理ステップで生成された信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去することにより信号を生成する直流成分除去ステップと、前記直流成分除去ステップで生成された信号を調整して信号を生成するステップとを含むものである。

　また、本発明に係る画像処理方法において、さらに、（ｄ）前記入力画像を表す入力画像信号に非線形処理を行うステップを含み、前記ステップ（ｃ）は、前記第２信号を、前記ステップ（ｄ）で生成された信号に加算して前記出力画像を表す出力画像信号を生成することが好ましい。

　また、本発明に係る画像処理方法において、前記ステップ（ａ）は、２次元ＬＰＦに前記入力画像信号を通過させてから非線形処理を行うことが好ましい。

　本発明に係る画像処理装置及び画像処理方法によれば、入力画像信号が暗い画像やコントラストが低い画像である場合にも、ナイキスト周波数を超える周波数成分を生成、利用して、画像を効果的に鮮鋭化することが可能となる。

本発明に係る鮮鋭化処理部の第１の構成を示す図である。 鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。 高域通過フィルタの構成の一例を示す図である。 低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。 非対称非線形処理の一例を示す図である。 本発明に係る鮮鋭化処理部の第２の構成を示す図である。 鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。 本発明の第１実施形態に係る画像処理装置の構成を示す図である。 本発明に係る非線形処理部による非線形処理の一例を示す図である。 ２次元ＬＰＦの周波数特性の一例を示す図である。 鮮鋭化処理による周波数成分の変化を示す図である。 本発明の第１実施形態の変形例に係る画像処理装置の構成を示す図である。 本発明の第２実施形態に係る画像処理装置の構成を示す図である。 本発明の第３実施形態に係る画像処理装置の構成を示す図である。 本発明の第４実施形態に係る画像処理装置の構成を示す図である。 本発明に係る２次元ＨＰＦを用いた鮮鋭化処理部の構成を示す図である。 ２次元ＨＰＦを用いた場合の鮮鋭化処理による周波数成分の変化を示す図である。 本発明の第５実施形態に係る画像処理装置の構成を示す図である。 従来の画像強調処理による画像の信号レベルの波形変化を示す図である。 画像の拡大、強調処理による周波数成分の変化を示す図である。

　以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

　各実施形態に係る画像処理装置（集積回路）は、概略的に言えば、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分に対して、画像を鮮鋭化するための鮮鋭化処理を施す装置である。

　画像処理装置が施す鮮鋭化処理とは、入力画像を表す信号（以下、「入力画像信号」と表記する）に対して非線形演算を施すことによって、入力画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がり及び立ち下がりを高度に急峻にする（エンハンスする）処理である。本発明の画像処理装置が施す鮮鋭化処理は、従来の増幅処理等の線形演算を用いる鮮鋭化処理では利用することができない高周波数成分を画像信号に付加することができるため、画像を高度に（強く）鮮鋭化することができる。

　まず、後述する各実施形態における画像処理装置の主要な構成要素である鮮鋭化処理部の概要について説明する。なお、鮮鋭化処理部は、後述する水平鮮鋭化処理部及び垂直鮮鋭化処理部のいずれであってもよい。本明細書では、水平鮮鋭化処理部及び垂直鮮鋭化処理部を区別しないとき、単に、「鮮鋭化処理部」と表記する。

（鮮鋭化処理部の第１の構成例）
　図１は、本発明の鮮鋭化処理部ＦＥの第１の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、画像を表すデジタル信号として外部から入力される入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に対し、その入力画像信号Ｓ_inの表す画像を鮮鋭化するための処理を施す装置であって、ＨＰＦ１０（高域通過フィルタ）と、非線形演算部２０（非対称型非線形関数）と、リミッタ３０とを備えている。

　入力画像信号Ｓ_inの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓ_inが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）又は高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。

　以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。

　図２（Ａ）は、入力画像信号Ｓ_inの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓ_inの解像度は、出力画像信号Ｓ_outの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓ_inは、元の入力画像の解像度を出力画像信号Ｓ_outの解像度にアップコンバートしたものである。例えば、画像処理装置によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓ_inは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。

　ＨＰＦ１０は、入力画像信号Ｓ_inに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_inの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓ_inから、図２（Ｂ）の第１信号Ｓ１を抽出する。

　図３は、このＨＰＦ１０の構成を示すブロック図である。図３の通り、ＨＰＦ１０は、ｍ－１個の単位遅延素子１１１～１１（ｍ－１）と、ｍ個の乗算器１２１～１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１～ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝－１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）１１と減算器１２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。

　非線形演算部２０は、第１信号Ｓ１に対して、第２信号Ｓ２が原点を通る連続した非線形関数で表されるような非線形処理を行うことにより第２信号Ｓ２を生成する。なお、この非線形処理は、原点に対して点対称となる非線形関数を用いることもできるが、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより第２信号Ｓ２を生成するようにすると、人間の視覚特性に対応した鮮鋭化処理が可能となる。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。

　ここで、正負で非対称となる非線形関数について説明する。第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となる。両方向について同じ（対称的な）非線形処理を適用するよりも、異なる（非対称となる）非線形処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形演算部２０として、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形処理を行うことができる。これ以降、第１信号Ｓ１の正負で非対称となる非線形処理を、特に、「非対称非線形処理」と称するものとする。本発明においては、非線形処理として、非対称非線形処理に限定するものではないが、原点対称な非線形関数による処理よりも、非対称非線形処理の方が、視覚的に自然な鮮鋭化処理が可能である。

　非線形演算部２０による非対称非線形処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形処理と負の領域に適用する非線形処理との値が連続している限り、あらゆる非線形処理を組み合わせることができる。本実施形態において、非線形演算部２０は、例えば図５に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１³）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝－Ｓ１²）ものとする。図２（Ｃ）は、非線形演算部２０による非対称非線形処理による第２信号Ｓ２の波形を示す図である。図示の通り、第２信号Ｓ２は、正の波形が大きく増幅されることになる。また、後述する通り、正負で非対称となる非線形処理を行うことにより、正負で非対称となる周波数成分を生成することが可能となる。

　非線形演算部２０が第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより、人間の知覚特性に合った画像鮮鋭化処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭（輝度変化）は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形演算部２０は、信号レベル（輝度）が低い領域に対して第１信号Ｓ１の負領域で増幅が小さい非線形演算部２０の処理を適用することにより、第１信号Ｓ１におけるエッジ成分を適切に強調して輪郭を知覚させることが可能となり、同時に輝度が低い領域でのノイズを抑制できる。また、非線形演算部２０は、輝度が高い領域の輪郭がより鮮鋭化されるように正の波形が大きく増幅されるため、処理前のエッジ成分が微小であっても、輝度の高い領域において輪郭がより知覚されやすくすることができる。また、いずれの領域においても、非線形処理により高周波の周波数成分を生成することが可能となる。

　なお、非線形演算部２０による非対称非線形処理は、２乗処理及び３乗処理の組み合わせに限定されず、他の非線形処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形処理は、式（１）により表現することができる。各処理部による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗処理後の値の符号は負に維持される（例えば、Ｓ２＝－Ｓ１²）。

　さらに、非線形演算部２０は、非対称非線形処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１^1/2）など、種々の非線形関数を適宜組み合わせて利用することができる。

　また、非線形演算部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形処理を行うことも可能である。

　リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓ_outを生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となるゲインαを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行ったりする。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓ_outとして出力する。

　図示していない加算器により、図２（Ｃ）に示す出力画像信号Ｓ_outを画像の鮮鋭化のための補償用信号として図２（Ａ）に示す入力画像信号Ｓ_inに加算することにより、図２（Ｄ）に示す信号が生成される。この信号（Ｓ_in+Ｓ_out）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_inのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_inよりも鮮鋭な画像を得ることができる。

（鮮鋭化処理部の第２の構成例）
　図６は、本発明の鮮鋭化処理部の第２の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、非線形演算部４０（非線形関数）と、ＨＰＦ１０と、リミッタ３０とを備えている。以下、図７に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。

　図７（Ａ）は、入力画像信号Ｓ_inの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。

　非線形演算部４０は、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に対して、第１信号Ｓ１が連続した非線形関数で表されるような非線形処理を行うことにより第１信号Ｓ１を生成する。非線形演算部４０による非線形処理は、画像の輪郭を鮮鋭化することを目的とするものであり、具体的には、図７（Ａ）に示す入力画像信号Ｓ_inを図７（Ｂ）のような第１信号Ｓ１とし、信号レベルにおいてエッジの立ち上がり変化を急にする処理を行うものである。

　入力画像を表す入力画像信号Ｓ_inには直流成分が含まれており、これは画像の輝度レベルに相当する。非線形演算部４０は、直流成分を含んだ入力画像信号Ｓ_inに対して非線形関数を割り当てるものであり、入力画像信号Ｓ_inに無い周波数成分となる高調波の発生と、入力画像信号Ｓ_inの輝度レベルに応じた高調波の強度制御を同時に実現できる。

　入力画像信号Ｓ_inの直流成分は、人間の目には画像の「明るさ」として認識され、この直流成分を含んだ入力画像信号Ｓ_inを非線形処理した場合、直流成分によって高調波の発生度合いが異なることから、画像の「明るさ」に対応して、画質改善のための周波数成分を生成することができ、人間の視覚特性に応じた画像強調処理を行なうことができる。

　非線形演算部４０による入力画像信号Ｓ_inから第１信号Ｓ１を生成する処理は、式（２）により一般化することができる。非線形演算部４０による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。

　例えば、非線形演算部４０は、入力画像信号Ｓ_inの冪乗を第１信号Ｓ１として生成する。非線形演算部４０が入力画像信号Ｓ_inをｎ乗して第１信号Ｓ１を生成する場合、Ｓ１＝Ｓ_in ⁿとなる。入力画像信号Ｓ_inはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_inを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１ⁿ，Ｘ２ⁿ，Ｘ３ⁿ，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

　例えば、入力画像信号Ｓ_inが８ビットのデジタル信号であれる場合、各画素の信号レベルは０～２５５の値をとる。このとき、非線形演算部４０が、入力画像信号Ｓ_inを２乗すると、図７（Ｂ）に例示するように、エッジ部の立ち上がり変化が急になるため、画像の輪郭がより強調されることになる。

　また、例えば、非線形演算部４０は、入力画像信号Ｓ_inの冪乗根を第１信号Ｓ１として生成する。非線形演算部４０が入力画像信号Ｓ_inのｎ乗根を第１信号Ｓ１として生成する場合、Ｓ１＝Ｓ_in ^1/nとなる。入力画像信号Ｓ_inはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_inを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１^1/n，Ｘ２^1/n，Ｘ３^1/n，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

　入力画像信号Ｓ_inの冪乗根を第１信号Ｓ１として生成する非線形処理は、人間の知覚特性に基づく輪郭抽出に適している。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、輝度が低い領域の微小なエッジ成分を強調して輪郭を知覚させるため、非線形演算部４０は、例えばガンマ補正関数（例えば、Ｓ１＝Ｓ_in ^1/2）により、輝度が高い画素より、輝度が低い画素をより引き上げる非線形処理を行う。

　この場合、非線形演算部４０は、式（３）により、ｍビットのデジタル信号の画素値Ｘを正規化した値であるＸ'を算出する。式（３）による正規化後のＸ'の値は０～１の間の値となる。

　ここで、非線形演算部４０は、正規化後のＸ'に式（４）示すガンマ補正関数を適用し、非線形処理後の値Ｙを算出する。

　式（４）により、Ｘ'の値が小さい場合、非線形処理後のＹの値がＸ'に比べて高く引き上げられることになる。すなわち、輝度が高い画素より、輝度が低い画素がより引き上げられる。これにより、例えば図７（Ｂ）に例示するエッジの鮮鋭化において、特に輝度が低い領域のエッジ強調成分が大きくなるため、特に輝度の低い領域の画像の輪郭がより強調されることになる。

　ＨＰＦ１０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓ_inを非線形処理して得られた画像の輪郭成分を含む高周波成分を抽出する処理として、図７（Ｂ）の第１信号Ｓ１から、図７（Ｃ）の第２信号Ｓ２を抽出する。

　この鮮鋭化処理部では、直流まで含む入力画像信号Ｓ_inに対して非線形処理を行うことから、高調波を生みだす信号の非線形処理の動作中心点が輝度レベルによって変化するため、輝度レベルに応じて高調波の発生度合いが変わる。また、非線形処理の動作中心点から見た非線形カーブが高輝度側と低輝度側で異なるため、非線形処理後にＨＰＦ１０を通した高調波信号は正負で非対称となる。よって、人間の視覚特性に応じた適切な鮮鋭化処理が可能となる。

　リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓ_outを生成する。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓ_outとして出力する。

　図示していない加算器により、図７（Ｃ）に示す出力画像信号Ｓ_outを画像の鮮鋭化のための補償用信号として図７（Ａ）に示す入力画像信号Ｓ_inに加算することにより、図７（Ｄ）に示す信号が生成される。この信号（Ｓ_in+Ｓ_out）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_inのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_inよりも鮮鋭な画像を得ることができる。

　これ以降、上述した鮮鋭化処理部ＦＥを備え、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分を鮮鋭化する画像処理装置について詳述する。各実施形態における入力画像信号Ｓ_inは、水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖとし、ナイキスト周波数は水平方向がｆｈ／２、垂直方向がｆｖ／２であるものとする。

（第１実施形態）
　図８は、本発明の第１実施形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、入力画像信号Ｓ_inに非線形処理を行って第１信号Ｓ１を生成する第１非線形処理部１０１と、第１信号Ｓ１に水平方向及び垂直方向への鮮鋭化処理を行って第２信号Ｓ２を生成する鮮鋭化処理ブロック１０２と、入力画像信号Ｓ_inに第２信号Ｓ２を加算して出力画像信号Ｓ_outを生成する第１加算器１０３とを備える。鮮鋭化処理ブロック１０２は、水平鮮鋭化処理部ＦＥｈ、垂直鮮鋭化処理部ＦＥｖ、第２加算器１０４及び第３加算器１０５を備え、水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖとが直列に接続される構成となっている。

　第１非線形処理部１０１は、前述の非線形演算部４０と同等の回路構成を有し、例えば、上に凸で原点を通過する非線形関数によって、入力画像信号Ｓ_inに非線形処理を行う。図９に、上に凸の非線形関数の一例として、y=x^0.2を示す。鮮鋭化処理ブロック１０２による鮮鋭化処理の前に、このような上に凸の非線形関数で処理を行うことにより、例えば、コントラストの低い画像又は映像が入力されてきた場合に、第１非線形処理部１０１でコントラストをはっきりさせることができるため、後段の鮮鋭化処理ブロック１０２による画像鮮鋭化を、より効果的なものにすることができる。また、上に凸の非線形関数を用いることにより、暗部の微細信号を強調することができる。

　なお、第１非線形処理部１０１は、上に凸の非線形関数に限るものではなく、下に凸の非線形関数であってもよい。例えば、ノイズの多い画像又は映像が入力されてきた場合は、第１非線形処理部１０１を下に凸の非線形関数とすることにより、ノイズを抑圧することができる。

　上述のように、鮮鋭化処理ブロック１０２の前段で第１非線形処理部１０１による非線形処理を行うことにより、入力画像信号Ｓ_inの輝度値に応じて、鮮鋭化の度合いを調整することができる。第１非線形処理部１０１をどのような非線形関数にするかは、入力画像信号Ｓ_inの特性に応じて、当業者が適宜設定できるものである。

　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものである。水平鮮鋭化処理部ＦＥｈは、第１非線形処理部１０１からの第１信号Ｓ１に鮮鋭化処理を施し、第２加算器１０４及び第３加算器１０５に出力する。

　第３加算器１０５は、第１非線形処理部１０１からの信号と水平鮮鋭化処理部ＦＥｈからの信号とを加算し、垂直鮮鋭化処理部ＦＥｖに出力する。

　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものである。垂直鮮鋭化処理部ＦＥｖは、第３加算器１０５から入力された画像の垂直方向について鮮鋭化処理を施し、第２加算器１０４に出力する。

　第２加算器１０４は、水平鮮鋭化処理部ＦＥｈからの信号と垂直鮮鋭化処理部ＦＥｖからの信号とを加算し、第１加算器１０３に出力する。

　第１加算器１０３は、入力画像信号Ｓ_inと第２加算器１０４からの信号とを加算し、出力画像信号Ｓ_outを生成する。

　このように、本実施形態によれば、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖによって、水平方向と垂直方向の両方向において、それぞれ、ナイキスト周波数ｆｈ／２及びナイキスト周波数ｆｖ／２を超える広帯域に周波数成分を生成することができ、画像を鮮鋭化することができる。

　また、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの前段に第１非線形処理部１０１が配置され、鮮鋭化処理の前に、入力画像信号Ｓ_inに非線形処理を施すことにより、入力画像信号Ｓ_inの輝度値に応じて、鮮鋭化の度合いを調整し、入力画像信号が暗い画像やコントラストが低い画像である場合にも、より効果的に画像鮮鋭化を実現することができる。

　また、図８に示す簡単な構成で本実施形態に係る画像処理装置１００を実現できるので、この画像処理装置１００を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。

　また本実施形態は、ナイキスト周波数を越える高周波域の補償が可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。

　なお、画像処理装置１００において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えてもよい。すなわち、水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖの順序を入れ替えて入力画像信号Ｓ_inを処理してもよい。

　また、画像処理装置１００において、第１非線形処理部１０１を鮮鋭化処理ブロック１０２の前段に配置する代わりに、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの直前に、それぞれ非線形処理部を配置してもよい。

（第１実施形態の変形例）
　図８に示した第１実施形態に係る画像処理装置１００において、第１非線形処理部１０１の前に、２次元ＬＰＦを配置してもよい。図１０は、２次元ＬＰＦの周波数特性の一例を示す図である。図示の通り、２次元ＬＰＦは入力画像信号Ｓ_inの水平及び垂直方向の高周波成分を減衰させる特性を持つ。以下に説明する画像のギラギラ感の抑圧を効果的に行うためには、２次元ＬＰＦは、図１０（Ａ）に示すように、水平方向の高周波かつ垂直方向の高周波の成分を減衰させることが好ましい。また、後述する２次元ＨＰＦを使用する場合に組み合わせるには、図１０（Ｂ）に示すような全方向に対して等価な高域遮断特性を持つ２次元ＬＰＦであることが好ましい。ただし、直線状又はその他の高域遮断形状であってもギラギラ感の抑圧効果は有する。

　第１実施形態のような、ナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理を水平方向及び垂直方向に連続して行う構成の場合、水平方向及び垂直方向がいずれも高周波数となる領域において鮮鋭化処理が重複して行われるため、例えば画像内の斜め線などがギラギラする場合がある。以下、図１１を用いて、その様子を説明する。

　図１１（Ａ）は水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓ_inの周波数成分を示す。入力画像信号Ｓ_inの水平方向に鮮鋭化処理を施すと、図１１（Ｂ）の斜線部に示すように、水平方向のナイキスト周波数ｆｈ／２を越える領域に周波数成分が生成される。この信号にさらに垂直方向の鮮鋭化処理を施すと、図１１（Ｃ）の斜線部に示すように、鮮鋭化処理後の出力画像信号Ｓ_outにおいて垂直方向のナイキスト周波数ｆｖ／２を越える領域にも周波数成分が生成される。この際、水平方向及び垂直方向がいずれも高周波数となる領域においては、鮮鋭化処理が重複して行われるため、画像のギラギラ感が強調される。

　２次元ＬＰＦを第１非線形処理部１０１の前に配置すると、水平方向及び垂直方向がいずれも高周波数であり２重に鮮鋭化処理が行われる周波数領域を減衰させることができるため、鮮鋭化処理が重複して行われることによる画像のギラギラ感を抑えることができる。

　また、２次元ＬＰＦは、ノイズ成分を低減することから、第１非線形処理部１０１の前に、２次元ＬＰＦを配置することは、ノイズ成分に鮮鋭化処理を施さないようにすることができるという効果もある。

　また、入力画像信号Ｓ_inが第１加算器１０３に直接入力される本線系統において、入力画像信号Ｓ_inを第１加算器１０３に直接入力させる代わりに、第１加算器１０３の前段に非線形処理部を配置して、入力画像信号Ｓ_inに非線形処理を施してから、第１加算器１０３に入力させてもよい。

　この場合、本線系統は直流を最後まで保持するので、第２非線形処理部１０７は、入力画像信号Ｓ_in内の暗部を明るくするような非線形処理であることが好ましい。例えば、ｙ＝ｘ^0.1からｙ＝ｘ^0.99のような上に凸で原点を通過する関数であることが好ましい。第２非線形処理部１０７は、第１非線形処理部１０１と同じ非線形関数でもよいが、最適な出力画像特性が得られるよう、それぞれ異なる非線形関数として独立に調整してもよい。

　このように、第１加算器１０３の前段に第２非線形処理部１０７を配置することにより、暗部の微細信号を強調し、また、コントラストをはっきりさせることができる。

　図１２に、本発明の第１実施形態に係る画像処理装置１００に、第１非線形処理部１０１前段の２次元ＬＰＦ１０６と、本線系統への第２非線形処理部１０７とを追加した第１実施形態の変形例に係る画像処理装置１５０の構成を示す。

　なお、２次元ＬＰＦ１０６を、第１非線形処理部１０１の後段に配置してもよい。また、２次元ＬＰＦ１０６の代わりに、水平方向のＬＰＦ（水平ＬＰＦ）及び垂直方向のＬＰＦ（垂直ＬＰＦ）を用いてもよい。この場合、水平鮮鋭化処理部ＦＥｈの直前に垂直ＬＰＦを配置し、垂直鮮鋭化処理部ＦＥｖの直前に水平鮮鋭化処理部を配置すると、画像のギラギラ感をより効果的に抑えることができる。

　また、図１２では、第１非線形処理部１０１と第２非線形処理部１０７とを別々の非線形処理部としているが、これを共通の非線形処理部とし、共通の非線形処理部の出力が鮮鋭化処理ブロック１０２及び第１加算器１０３に出力されるようにしてもよい。この場合、共通の非線形処理部の前に、２次元ＬＰＦ１０６を配置してもよいし、入力画像信号Ｓ_inが、直接共通の非線形処理部に入力されるようにしてもよい。あるいは、入力画像信号Ｓ_inが、直接共通の非線形処理部に入力され、共通の非線形処理部から鮮鋭化処理ブロック１０２へ接続される途中に、２次元ＬＰＦ１０６を配置してもよい。

（第２実施形態）
　図１３は、本発明の第２実施形態に係る画像処理装置２００の構成を示す図である。画像処理装置２００は、入力画像信号Ｓ_inに非線形処理を行って第１信号Ｓ１を生成する第１非線形処理部２０１と、第１信号Ｓ１に水平方向及び垂直方向への鮮鋭化処理を行って第２信号Ｓ２を生成する鮮鋭化処理ブロック２０２と、入力画像信号Ｓ_inに第２信号Ｓ２を加算して出力画像信号Ｓ_outを生成する第１加算器２０３とを備える。鮮鋭化処理ブロック２０２は、水平鮮鋭化処理部ＦＥｈ、垂直鮮鋭化処理部ＦＥｖ及び第２加算器１０４を備え、水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖとが並列に接続される構成となっている。以下、各機能ブロックについて、第１実施形態と同等の内容については重複する説明を省略する。

　第１非線形処理部２０１は、例えば、上に凸で原点を通過する非線形関数により、入力画像信号Ｓ_inに非線形処理を行う。

　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものである。水平鮮鋭化処理部ＦＥｈは、第１非線形処理部２０１からの第１信号Ｓ１に鮮鋭化処理を施し、第２加算器２０４に出力する。

　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものである。垂直鮮鋭化処理部ＦＥｖは、第１非線形処理部２０１からの第１信号Ｓ１に鮮鋭化処理を施し、第２加算器２０４に出力する。

　第２加算器２０４は、水平鮮鋭化処理部ＦＥｈからの信号と垂直鮮鋭化処理部ＦＥｖからの信号とを加算し、第１加算器２０３に出力する。

　第１加算器２０３は、入力画像信号Ｓ_inと第２加算器２０４からの信号とを加算し、出力画像信号Ｓ_outを生成する。

　なお、画像処理装置２００において、第１非線形処理部２０１を鮮鋭化処理ブロック２０２の前段に配置する代わりに、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの直前に、それぞれ非線形処理部を配置してもよい。

　また、画像処理装置２００において、第１非線形処理部２０１の前段又は後段に、２次元ＬＰＦを配置してもよい。あるいは、２次元ＬＰＦを配置する代わりに、水平方向のＬＰＦ（水平ＬＰＦ）及び垂直方向のＬＰＦ（垂直ＬＰＦ）を配置してもよい。

　また、画像処理装置２００において、入力画像信号Ｓ_inが第１加算器２０３に直接入力される本線系統において、入力画像信号Ｓ_inを第１加算器２０３に直接入力させる代わりに、第１加算器２０３の前段に非線形処理部（前述の第２非線形処理部１０７）を配置して、入力画像信号Ｓ_inに非線形処理を施してから、第１加算器２０３に入力させてもよい。

（第３実施形態）
　図１４は、本発明の第３実施形態に係る画像処理装置３００の構成を示す図である。画像処理装置３００は、入力画像信号Ｓ_inに非線形処理を行って第１信号Ｓ１を生成する第１非線形処理部３０１と、第１信号Ｓ１に水平方向及び垂直方向への鮮鋭化処理を行って第２信号Ｓ２を生成する鮮鋭化処理ブロック３０２と、入力画像信号Ｓ_inに第２信号Ｓ２を加算して出力画像信号Ｓ_outを生成する第１加算器３０３とを備える。鮮鋭化処理ブロック３０２は、水平鮮鋭化処理部ＦＥｈ、垂直鮮鋭化処理部ＦＥｖ、第２加算器３０４、第３加算器３０５及び増幅器３０８を備える。鮮鋭化処理ブロック３０２は、水平鮮鋭化処理部ＦＥｈの後段と垂直鮮鋭化処理部ＦＥｖの前段とに接続された切替器（増幅器３０８）を備え、切替器である増幅器３０８の増幅率βの設定により、水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖの並列接続及び直列接続を切り替えるものである。以下、各機能ブロックについて、第１実施形態と同等の内容については重複する説明を省略する。

　第１非線形処理部３０１は、例えば、上に凸で原点を通過する非線形関数により、入力画像信号Ｓ_inに非線形処理を行う。

　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものである。水平鮮鋭化処理部ＦＥｈは、第１非線形処理部３０１からの第１信号Ｓ１に鮮鋭化処理を施し、第２加算器３０４及び増幅器３０８に出力する。

　増幅器３０８は、水平鮮鋭化処理部ＦＥｈからの信号を増幅率βで増幅して、第３加算器３０５に出力する。増幅率βが０の場合、画像処理装置３００の構成は水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖが並列する構成となり、増幅率βが１の場合、画像処理装置３００の構成は水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖが直列する構成となる。増幅率βが０＜β＜１の場合、直列処理による周波数成分と並列処理による周波数成分とが生成されるため、入力画像信号Ｓ_inの特性に合わせて増幅率βを設定することにより、直列処理及び並列処理による周波数成分を組み合わせ、より適切な鮮鋭化処理を行うことが可能になる。

　第３加算器３０５は、第１非線形処理部３０１からの第１信号Ｓ１と増幅器３０８からの信号とを加算し、垂直鮮鋭化処理部ＦＥｖに出力する。

　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものである。垂直鮮鋭化処理部ＦＥｖは、第３加算器３０５から入力された画像の垂直方向について鮮鋭化処理を施し、第２加算器３０４に出力する。

　第２加算器３０４は、水平鮮鋭化処理部ＦＥｈからの信号と垂直鮮鋭化処理部ＦＥｖからの信号とを加算し、第１加算器３０３に出力する。

　第１加算器３０３は、入力画像信号Ｓ_inと第２加算器３０４からの信号とを加算し、出力画像信号Ｓ_outを生成する。

　なお、画像処理装置３００において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えてもよい。

　また、画像処理装置３００において、第１非線形処理部３０１を鮮鋭化処理ブロック３０２の前段に配置する代わりに、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの直前に、それぞれ非線形処理部を配置してもよい。

　また、画像処理装置３００において、第１非線形処理部３０１の前段又は後段に、２次元ＬＰＦを配置してもよい。あるいは、２次元ＬＰＦを配置する代わりに、水平方向のＬＰＦ（水平ＬＰＦ）及び垂直方向のＬＰＦ（垂直ＬＰＦ）を配置してもよい。

　また、画像処理装置３００において、入力画像信号Ｓ_inが第１加算器３０３に直接入力される本線系統において、入力画像信号Ｓ_inを第１加算器３０３に直接入力させる代わりに、第１加算器３０３の前段に非線形処理部（前述の第２非線形処理部１０７）を配置して、入力画像信号Ｓ_inに非線形処理を施してから、第１加算器３０３に入力させてもよい。

（第４実施形態）
　図１５は、本発明の第４実施形態に係る画像処理装置４００の構成を示す図である。画像処理装置４００は、入力画像信号Ｓ_inに非線形処理を行って第１信号Ｓ１を生成する第１非線形処理部４０１と、第１信号Ｓ１に水平方向及び垂直方向への鮮鋭化処理を行って第２信号Ｓ２を生成する鮮鋭化処理ブロック４０２と、入力画像信号Ｓ_inに第２信号Ｓ２を加算して出力画像信号Ｓ_outを生成する第１加算器４０３を備える。鮮鋭化処理ブロック４０２は、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの代わりに１つの２次元鮮鋭化処理部ＦＥ２ｄを備えた構成となっている。以下、各機能ブロックについて、第１実施形態と同等の内容については重複する説明を省略する。

　第１非線形処理部４０１は、例えば、上に凸で原点を通過する非線形関数により、入力画像信号Ｓ_inに非線形処理を行う。

　２次元鮮鋭化処理部ＦＥ２ｄは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波、及び、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものである。２次元鮮鋭化処理部ＦＥ２ｄは、第１非線形処理部４０１からの第１信号Ｓ１に鮮鋭化処理を施し、第１加算器４０３に出力する。２次元鮮鋭化処理部ＦＥ２ｄの詳細については後述する。

　第１加算器４０３は、入力画像信号Ｓ_inと２次元鮮鋭化処理部ＦＥ２ｄからの信号とを加算し、出力画像信号Ｓ_outを生成する。

　図１６は、２次元鮮鋭化処理部ＦＥ２ｄの構成例を示すブロック図である。２次元鮮鋭化処理部ＦＥ２ｄは、入力画像信号Ｓ_in（または、非線形処理等がなされた入力信号）に対し、その入力画像信号Ｓ_inの表す画像を鮮鋭化するための処理を施す装置であって、２次元ＨＰＦ５０と、非線形演算部２０と、リミッタ３０とを備えている。各構成ブロックの順番は、図１に示した鮮鋭化処理部ＦＥのように、２次元ＨＰＦ５０、非線形演算部２０、リミッタ３０の順でもよいし、図６に示した鮮鋭化処理部ＦＥのように、非線形演算部２０、２次元ＨＰＦ５０、リミッタ３０の順でもよい。

　図１７に、非線形演算部の前に２次元ＨＰＦを配置した場合の鮮鋭化処理による周波数成分の変化の一例を示す。

　図１７（Ａ）は、水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓ_inが、２次元ＨＰＦ５０を通過した後の第１信号Ｓ１の周波数成分を示す。斜線で示す領域が、２次元ＨＰＦ５０を通過した周波数成分であり、低周波の部分は通過していないことを示している。

　図１７（Ｂ）は、非線形演算部２０を通過した後の第２信号Ｓ２の周波数成分を示す。図１７（Ｂ）の斜線部に示すように、水平方向のナイキスト周波数ｆｈ／２及び垂直方向のナイキスト周波数ｆｖ／２を越える領域に周波数成分が生成されている。このように２次元鮮鋭化処理部ＦＥ２ｄは、１回の鮮鋭化処理で、水平方向のナイキスト周波数ｆｈ／２及び垂直方向のナイキスト周波数ｆｖ／２を越える領域に周波数成分を生成することができるため、重複した鮮鋭化処理に起因する画像のギラギラ感を抑えることができる。

　また、本実施形態は、鮮鋭化処理を水平方向と垂直方向の２系統用意する代わりに、２次元鮮鋭化処理部ＦＥ２ｄの１系統にまとめることができるため、非線形演算の回数を減らすことができ、その結果、回路量を低減することができる。

　なお、画像処理装置４００において、第１非線形処理部４０１の前段又は後段に、２次元ＬＰＦを配置してもよい。

　また、画像処理装置４００において、入力画像信号Ｓ_inが第１加算器４０３に直接入力される本線系統において、入力画像信号Ｓ_inを第１加算器４０３に直接入力させる代わりに、第１加算器４０３の前段に非線形処理部（前述の第２非線形処理部１０７）を配置して、入力画像信号Ｓ_inに非線形処理を施してから、第１加算器４０３に入力させてもよい。

（第５実施形態）
　図１８は、本発明の第５実施形態に係る画像処理装置５００の構成を示す図である。画像処理装置５００は、第１非線形処理部５０１及び５０２と、水平鮮鋭化処理部ＦＥｈと、垂直鮮鋭化処理部ＦＥｖと、第１加算器５０３と、第２加算器５０４とを備える。画像処理装置５００は、水平鮮鋭化処理部ＦＥｈと垂直鮮鋭化処理部ＦＥｖとが直列に接続される構成となっている。以下、各機能ブロックについて、第１実施形態と同等の内容については重複する説明を省略する。

　第１非線形処理部５０１は、例えば、上に凸で原点を通過する非線形関数により、入力画像信号Ｓ_inに非線形処理を行う。

　水平鮮鋭化処理部ＦＥｈは、入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものである。水平鮮鋭化処理部ＦＥｈは、第１非線形処理部５０１からの信号に鮮鋭化処理を施し、第１加算器５０３に出力する。

　第１加算器５０３は、入力画像信号Ｓ_inと水平鮮鋭化処理部ＦＥｈからの信号とを加算し、第２加算器５０４及び第１非線形処理部５０２に出力する。

　第１非線形処理部５０２は、第１加算器５０３からの信号に非線形処理を行い、垂直鮮鋭化処理部ＦＥｖに出力する。

　垂直鮮鋭化処理部ＦＥｖは、入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものである。垂直鮮鋭化処理部ＦＥｖは、第１非線形処理部５０２からの信号に鮮鋭化処理を施し、第２加算器５０４に出力する。

　第２加算器５０４は、第１加算器５０３からの信号と垂直鮮鋭化処理部ＦＥｖからの信号とを加算し、出力画像信号Ｓ_outを生成する。

　なお、画像処理装置５００において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えてもよい。

　また、画像処理装置５００において、第１非線形処理部５０１及び５０２の前段又は後段に、それぞれ、２次元ＬＰＦを配置してもよい。あるいは、２次元ＬＰＦを配置する代わりに、水平方向のＬＰＦ（水平ＬＰＦ）及び垂直方向のＬＰＦ（垂直ＬＰＦ）を配置してもよい。

　また、画像処理装置５００において、水平鮮鋭化処理部ＦＥｈの前段の第１非線形処理部５０１の前に垂直ＬＰＦを配置し、垂直鮮鋭化処理部ＦＥｖの前段の第１非線形処理部５０２の前に水平ＬＰＦを配置してもよい。

　本発明は、画像を鮮鋭化して画質を改善するための画像処理装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機で、リアルタイムで表示される動画を鮮鋭化するための画像処理装置に適用することができる。

　また、本発明は、監視カメラの画像鮮鋭化処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより鮮鋭化する画像処理が可能になる。

　さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を鮮鋭化する画像処理が可能になる。

　さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を鮮鋭化する画像処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ－ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。

　さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。

　さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。

　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

　１００、１５０、２００、３００、４００、５００　画像処理装置
　１０　ＨＰＦ
　１１１～１１（ｍ－１）　単位遅延素子
　１２１～１２ｍ　乗算器
　１３１　加算器
　１１　ＬＰＦ
　１２　減算器
　２０、４０　非線形演算部
　３０　リミッタ
　５０　２次元ＨＰＦ
　１０１、２０１、３０１、４０１、５０１、５０２　第１非線形処理部
　１０２、２０２、３０２、４０２　鮮鋭化処理ブロック
　１０３、２０３、３０３、４０３、５０３　第１加算器
　１０４、２０４、３０４、５０４　第２加算器
　１０５、３０５　第３加算器
　１０６　２次元ＬＰＦ
　１０７　第２非線形処理部
　３０８　増幅器
　ＦＥｈ　水平鮮鋭化処理部
　ＦＥｖ　垂直鮮鋭化処理部
　ＦＥ２ｄ　２次元鮮鋭化処理部

Claims (21)

1. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、
   　前記入力画像を表す入力画像信号に、上に凸の非線形関数により非線形処理を行い、第１信号を生成する第１非線形処理部と、
   　前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロックと、
   　前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器とを備える画像処理装置。
2. 　前記鮮鋭化処理ブロックは、
   　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
   　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部とを備え、
   　前記水平鮮鋭化処理部と前記垂直鮮鋭化処理部とが、直列又は並列に接続される、請求項１に記載の画像処理装置。
3. 　前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、
   　入力信号に含まれる周波数成分の少なくとも直流成分を除去するフィルタ部と、
   　前記フィルタ部の出力信号に対して前記フィルタ部の出力信号の正負で非対称となる非線形処理を行う非線形演算部であって、前記フィルタ部の出力信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形演算部と、
   　前記非線形演算部の出力信号を調整するリミッタとを含む、請求項２に記載の画像処理装置。
4. 　前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、
   　入力信号に非線形処理を行う非線形演算部であって、前記入力信号に対して当該非線形演算部の出力信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形演算部と、
   　前記非線形演算部の出力信号に含まれる周波数成分の少なくとも直流成分を除去するフィルタ部と、
   　前記フィルタ部の出力信号を調整するリミッタとを含む、請求項２に記載の画像処理装置。
5. 　並列に接続された前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備える、請求項２に記載の画像処理装置。
6. 　前記増幅器の増幅率βは０≦β≦１である、請求項５に記載の画像処理装置。
7. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、
   　前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成する第１非線形処理部と、
   　前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロックと、
   　前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器とを備え、
   　前記鮮鋭化処理ブロックは、
   　入力画像信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する２次元ＨＰＦと、
   　前記２次元ＨＰＦの出力信号に対して前記２次元ＨＰＦの出力信号の正負で非対称となる非線形処理を行う非線形演算部であって、前記２次元ＨＰＦの出力信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形演算部と、
   　前記非線形演算部の出力信号を調整するリミッタとを含む、画像処理装置。
8. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、
   　前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成する第１非線形処理部と、
   　前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成する鮮鋭化処理ブロックと、
   　前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器とを備え、
   　前記鮮鋭化処理ブロックは、
   　入力画像信号に非線形処理を行う非線形演算部であって、前記入力画像信号に対して当該非線形演算部の出力信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形演算部と、
   　前記非線形演算部の出力信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する２次元ＨＰＦと、
   　前記２次元ＨＰＦの出力信号を調整するリミッタとを含む、画像処理装置。
9. 　さらに、前記入力画像を表す入力画像信号に非線形処理を行う第２非線形処理部を備え、前記加算器は、前記第２信号を、前記第２非線形処理部によって処理された信号に加算して前記出力画像を表す出力画像信号を生成する、請求項１に記載の画像処理装置。
10. 　さらに、前記第１非線形処理部の前段又は後段に２次元ＬＰＦを備える、請求項１に記載の画像処理装置。
11. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置であって、
    　入力信号に、上に凸の非線形関数により非線形処理を行う第１非線形処理部と、その後段に配置され入力信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、前記水平鮮鋭化処理部の前段に配置された前記第１非線形処理部への入力信号と前記水平鮮鋭化処理部の出力信号とを加算する第１加算器とを含む水平方向処理部と、
    　入力信号に、上に凸の非線形関数により非線形処理を行う第１非線形処理部と、その後段に配置され入力信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、前記垂直鮮鋭化処理部の前段に配置された前記第１非線形処理部への入力信号と前記垂直鮮鋭化処理部の出力信号とを加算する第２加算器とを含む垂直方向処理部とを備え、
    　前記水平方向処理部と前記垂直方向処理部とを直列に接続して入力画像信号を処理する画像処理装置。
12. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、
    　前記画像処理装置における処理手順が、
    　（ａ）前記入力画像を表す入力画像信号に、上に凸の非線形関数により非線形処理を行い、第１信号を生成するステップと、
    　（ｂ）前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成するステップと、
    　（ｃ）前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップとを含む画像処理方法。
13. 　前記ステップ（ｂ）は、
    　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、
    　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップとを含み、
    　前記水平方向処理ステップと前記垂直方向処理ステップを、直列又は並列に実行する、請求項１２に記載の画像処理方法。
14. 　前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、
    　入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより信号を生成する直流成分除去ステップと、
    　前記直流成分除去ステップで生成された信号に対して前記直流成分除去ステップで生成された信号の正負で非対称となる非線形処理を行って信号を生成する非線形処理ステップであって、前記直流成分除去ステップで生成された信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、
    　前記非線形処理ステップで生成された信号を調整して信号を生成する調整ステップと、を含む、請求項１３に記載の画像処理方法。
15. 　前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、
    　入力信号に非線形処理を行い信号を生成する非線形処理ステップであって、前記入力信号に対して当該非線形処理ステップで生成された信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、
    　前記非線形処理ステップで生成された信号に含まれる周波数成分の少なくとも直流成分を除去することにより信号を生成する直流成分除去ステップと、
    　前記直流成分除去ステップで生成された信号を調整して信号を生成するステップとを含む、請求項１３に記載の画像処理方法。
16. 　前記水平方向処理ステップ及び前記垂直方向処理ステップを直列に実行するか並列に実行するかの割合を増幅率βにより調整するステップを含む、請求項１３に記載の画像処理方法。
17. 　前記増幅率βは０≦β≦１である、請求項１６に記載の画像処理方法。
18. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、
    　前記画像処理装置における処理手順が、
    　（ａ）前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成するステップと、
    　（ｂ）前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成するステップと、
    　（ｃ）前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップとを含み、
    　前記ステップ（ｂ）は、
    　入力画像信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去する直流成分除去ステップと、
    　前記直流成分除去ステップで生成された信号に対して前記直流成分除去ステップで生成された信号の正負で非対称となる非線形処理を行って信号を生成する非線形処理ステップであって、前記直流成分除去ステップで生成された信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、
    　前記非線形処理ステップで生成された信号を調整して信号を生成する調整ステップと、を含む、画像処理方法。
19. 　入力画像を鮮鋭化した出力画像を生成する画像処理装置における画像処理方法であって、
    　前記画像処理装置における処理手順が、
    　（ａ）前記入力画像を表す入力画像信号に非線形処理を行い、第１信号を生成するステップと、
    　（ｂ）前記第１信号に鮮鋭化処理を行い、前記第１信号に含まれる周波数成分より高い周波数成分を含む第２信号を生成するステップと、
    　（ｃ）前記第２信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップとを含み、
    　前記ステップ（ｂ）は、
    　入力画像信号に非線形処理を行い信号を生成する非線形処理ステップであって、前記入力画像信号に対して当該非線形処理ステップで生成された信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、
    　前記非線形処理ステップで生成された信号に含まれる水平方向及び垂直方向の周波数成分の少なくとも直流成分を除去することにより信号を生成する直流成分除去ステップと、
    　前記直流成分除去ステップで生成された信号を調整して信号を生成するステップとを含む、画像処理方法。
20. 　さらに、
    　（ｄ）前記入力画像を表す入力画像信号に非線形処理を行うステップを含み、
    　前記ステップ（ｃ）は、前記第２信号を、前記ステップ（ｄ）で生成された信号に加算して前記出力画像を表す出力画像信号を生成する、請求項１２に記載の画像処理方法。
21. 　前記ステップ（ａ）は、２次元ＬＰＦに前記入力画像信号を通過させてから非線形処理を行う、請求項１２に記載の画像処理方法。

Images