WO2010140281A1

WO2010140281A1 - 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2010140281A1
Application number: PCT/JP2010/000299
Authority: WO
Inventors: 合志清一
Original assignee: シャープ株式会社
Priority date: 2009-06-04
Filing date: 2010-01-20
Publication date: 2010-12-09
Also published as: US20120070098A1; US8655101B2

Abstract

　信号処理装置（５００）は、画像を表す入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解部（２００）と、上記分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成部（１０１）と、上記生成された高調波と、上記分解された周波数成分のうち高調波が生成されていない周波数成分とを合成し、鮮鋭化させた画像を表す出力信号を生成する信号再構成部（３００）とを備えるとともに、高調波生成部（１０１）は、高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理部（１０２）を備え、該周波数成分に非線形処理信号を加算して高調波を生成する。

Description

信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体

　本発明は、画像を鮮鋭化することにより画質を向上させる信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

　従来、画像処理装置等にて、画像の画質を改善するために、画像を鮮鋭化する処理（以下、鮮鋭化処理）が行なわれている。例えば、従来のテレビジョン受像機では、自機に表示する画像の輪郭部に相当する画像信号の立ち上がりおよび立ち下がりを急峻にする輪郭補償が行なわれている。この輪郭補償は、テレビジョン受像機のディスプレイに入力された画像信号（輝度信号）の高周波成分を抽出し、該抽出した高周波成分を増幅したものを、上記入力された画像信号に加算することによって行なわれる。これにより、テレビジョン受像機内の各回路で行なれる処理によって劣化する画像信号の周波数特性を改善し、見かけ上の画質を向上させている。

　図１９を参照しながら、上述した輪郭補償を行なう従来技術により鮮鋭化処理を施した画像信号の周波数スペクトルの一例について説明する。図１９の（ａ）は、サンプリング周波数ｆｓの画像信号の周波数スペクトルを示す模式図である。そして、図１９の（ｂ）は、図１９の（ａ）で示される周波数スペクトルを有する画像信号に対して、上述した輪郭補償を行なう従来技術によって鮮鋭化処理を施した画像信号の周波数スペクトルを示す模式図である。

　上述したように、従来技術により鮮鋭化処理を施した後の画像信号には高周波成分が加算されるので、図１９の（ｂ）に示すように、サンプリング周波数ｆｓの１／２の周波数であるナイキスト周波数ｆｓ／２の近傍の周波数成分が増大する。

　ところで、上述した従来技術による鮮鋭化処理は、通常、画像信号に対して線形演算を施す処理である。そのため、従来技術による鮮鋭化処理では、ナイキスト周波数よりも高い周波数成分（処理対象となる画像信号に含まれない高周波数成分）を利用することができないため、特に、画像を拡大処理する場合には、画質を改善することができない。

　例えば、高精細テレビジョン（ＨＤＴＶ：High Definition Television）（１０８０×１９２０画素のフルハイビジョン）のテレビジョン受像機におけるディスプレイに、解像度がフルハイビジョンの半分の画像を拡大処理して表示する場合について、説明する。ここで、当該拡大処理は、図１９の（ａ）に示した周波数スペクトルを有する画像信号をアップコンバートすることによって、画素数を横方向に２倍に拡大する処理であるとすると、当該拡大処理後の画像信号のサンプリング周波数（Ｆｂｓとする）は、サンプリング周波数ｆｓの２倍となる（Ｆｂｓ＝２ｆｓ）。

　上記拡大処理後の画像信号の周波数スペクトルについて、図２０を参照しながら説明する。図２０は、上記拡大処理後の画像信号の周波数スペクトルを示す模式図である。同図に示すように、サンプリング周波数ｆｓに対するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対するナイキスト周波数Ｆｂｓ／２（＝ｆｓ）との間には、周波数成分が存在しない。Ｆｂｓ／２と３ｆｓ／２との間も同様である。

　したがって、上記拡大処理後の画像信号に対して、従来技術を用いた鮮鋭化処理を施しても、上記拡大処理後の画像信号における高周波成分である、ナイキスト周波数Ｆｂｓ／２の近傍の周波数成分を抽出することはできない。

　その結果、従来技術を用いた鮮鋭化処理を施しても、拡大処理後の画像は、ぼやけて表示されることになる。

　これに対し、フレーム間またはフレーム内での自己相関等を利用することにより、画像を拡大処理する場合にも画像を高解像度化する技術が、非特許文献１および特許文献３に開示されている。

　また、画像に含まれるエッジの接線方向とエッジの垂直方向とで、程度の異なる平滑化処理を行なう非等方拡散フィルタを利用することにより、画像を高解像度化する技術が、非特許文献２に開示されている。

　また、高周波成分を強調して画質を改善するために、画像信号に加算すべき信号のコアリング量、クリッピング量、エンハンス量、およびリミット量等のそれぞれを調整するための非線形回路を用いた画像処理装置が、特許文献１に開示されている。

　また、映像の品位を低下させずに、高域信号を補償することを目的として、画像信号におけるパルス波形およびステップ波形のエッジ部のリンギング発生を抑制するための非線形変換回路を用いた画質補償回路が、特許文献２に開示されている。

日本国公開特許公報「特開２００６－３０４３５２号公報（公開日：２００６年１１月２日）」日本国公開特許公報「特開平７－３１２７０４号公報（公開日：１９９５年１１月２８日）」日本国公開特許公報「特開２００７－３１０８３７号公報（公開日：２００７年１１月２９日）」

松本信幸，井田孝，「フレーム内再構成型超過解像の領域適応処理による高画質化の検討」，電子情報通信学会技術研究報告，社団法人電子情報通信学会，２００８年４月，第１０８巻，第４号，ＩＥ２００８－６，ｐ．３１－３６ Luminita A. Vese and Stanley J.Osher，"Modeling textures with total variation minimization and oscillating patterns in image processing"Jornal of Scientific Computing，Vol.19，Nos.1-3，December 2003

　しかしながら、非特許文献１に開示された技術を実現するためには、大規模なＬＳＩ（large-scale integration）を必要とすることから、コストが大きくなるという問題がある。

　また、非特許文献２に開示された技術は、画質補償回路での処理が複雑でありリアルタイム処理には適さないことから、例えば、テレビジョン受像機等において表示される動画像には適用することができないという問題がある。

　また、特許文献１および特許文献２に開示された技術では、画像信号に加算すべき信号のクリッピングや、高域信号の補償によるリンギング発生の抑制という限られた処理に非線形処理を用いているため、拡大処理が施された画像を十分に鮮鋭化することはできないという問題がある。

　また、特許文献３に開示された技術は、原画像によって改善度に差が生じるという問題がある。すなわち、画像によって、大きな改善が見られる場合と、大きな改善が見られない場合とがある。そのため、画像の領域によって改善度が変わったり、映像の場合は時間によって改善度が変わるという問題がある。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡易な構成により、静止画像および動画像を高度に鮮鋭化することができる信号処理装置等を提供することにある。

　上記課題を解決するために、本発明に係る信号処理装置は、画像を表す入力信号に対して上記画像を鮮鋭化する処理を施し、該鮮鋭化させた画像を表す出力信号を出力する信号処理装置であって、上記入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解手段と、上記周波数成分分解手段によって分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成手段と、上記高調波生成手段によって生成された高調波と、上記周波数成分分解手段によって分解された周波数成分のうち、上記高調波生成手段によって高調波が生成されていない周波数成分とを合成して、上記出力信号を生成する出力信号生成手段とを備えるとともに、上記高調波生成手段は、高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、該周波数成分に上記非線形処理信号を加算することによって、高調波を生成する加算手段とを備えることを特徴としている。

　また、上記課題を解決するために、本発明に係る信号処理装置の制御方法は、画像を表す入力信号に対して上記画像を鮮鋭化する処理を施し、該鮮鋭化させた画像を表す出力信号を出力する信号処理装置の制御方法であって、上記入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解ステップと、上記周波数成分分解ステップによって分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成ステップと、上記高調波生成ステップによって生成された高調波と、上記周波数成分分解ステップによって分解された周波数成分のうち、上記高調波生成ステップによって高調波が生成されていない周波数成分とを合成して、上記出力信号を生成する出力信号生成ステップとを含むとともに、上記高調波生成ステップは、高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、該周波数成分に上記非線形処理信号を加算することによって、高調波を生成する加算ステップとを含むことを特徴としている。

　上記の構成によれば、画像を表す入力信号を複数の異なる周波数帯域の周波数成分に分解する。そして、上記分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する。そして、上記生成された高調波と、上記分解された周波数成分のうち、高調波が生成されていない周波数成分とを合成して、鮮鋭化させた画像を表す出力信号を生成する。さらに、上記生成される高調波は、高調波を生成する対象となる周波数成分と、該周波数成分の符号の正負が維持され、かつ、少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号とを加算したものである。

　よって、画像を表す入力信号に含まれる、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成するとともに、該生成した高調波、および高調波が生成されていない周波数成分を合成した出力信号を生成することができる。ここで、上記生成される高調波は、例えば、高調波を生成する対象となる周波数成分と、該周波数成分を２乗する等の非線形処理を施した非線形処理信号とを加算することにより生成される。ただし、高調波の符号の正負は、該高調波を生成する対象となる周波数成分の符号の正負を維持する。

　このような非線形処理を施すことにより生成される高調波には、元の周波数成分には含まれない高い周波数成分が含まれる。その結果、上記生成された高調波を用いて合成した出力信号は、入力信号を離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。

　これに対して、従来技術のように、入力信号に対して線形演算を施す処理では、ナイキスト周波数を超える高周波域を補償することができない。

　したがって、本発明に係る信号処理装置は、入力信号に対して線形演算を施す処理と比べて、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができる。その結果、画像をより鮮鋭化することができ、画質を大幅に改善することができるという効果を奏する。

　特に、拡大処理を施した画像を表す画像信号を入力信号とする場合、入力信号に対して線形演算を施す処理では、拡大処理後の画像信号のサンプリング周波数の１／２の周波数であるナイキスト周波数より高い周波数成分を抽出することができない。これに対し、本発明に係る信号処理装置は、拡大処理後の画像信号のナイキスト周波数よりも高い周波数成分を、拡大処理後の画像信号に付加することができるので、拡大処理を施した画像についても、画質を大幅に改善することができるという効果を奏する。

　本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

本発明の一実施形態に係る信号処理装置の構成を示すブロック図である。図１に示した信号処理装置に含まれる周波数成分分解部および信号再構成部の構成を示すブロック図である。図１に示した信号処理装置に含まれる周波数成分分解部および信号再構成部の他の構成を示すブロック図である。図１に示した信号処理装置に含まれる高調波生成部の構成を示すブロック図である。図５の（ａ）は、図４に示した高調波生成部に入力される信号の波形を模式的に示す図である。図５の（ｂ）は、図４に示した高調波生成部にて生成される非線形処理対象信号の波形を模式的に示す図である。図５の（ｃ）は、図４に示した高調波生成部にて生成される非線形信号の波形を模式的に示す図である。図５の（ｄ）は、図４に示した高調波生成部にて生成される符号変換信号の波形を模式的に示す図である。図５の（ｅ）は、図４に示した高調波生成部にて生成される高調波の波形を模式的に示す図である。図６の（ａ）は、図４に示した高調波生成部に入力される信号の波形を模式的に示す図である。図６の（ｂ）は、図６の（ａ）に示した信号を、従来技術によりエンハンスした波形を模式的に示す図である。図１に示した信号処理装置に含まれる高調波生成部の他の構成を示すブロック図である。図７に示した高調波生成部に含まれる微分部の構成を示すブロック図である。図９の（ａ）は、図７に示した高調波生成部に入力される信号の波形を模式的に示す図である。図９の（ｂ）は、図７に示した高調波生成部にて生成される非線形処理対象信号の波形を模式的に示す図である。図９の（ｃ）は、図７に示した高調波生成部にて生成される非線形信号の波形を模式的に示す図である。図９の（ｄ）は、図７に示した高調波生成部にて生成される微分信号の波形を模式的に示す図である。図９の（ｅ）は、図７に示した高調波生成部にて生成される符号変換信号の波形を模式的に示す図である。図９の（ｆ）は、図７に示した高調波生成部にて生成される高調波の波形を模式的に示す図である。図１に示した信号処理装置に含まれる高調波生成部のさらなる他の構成を示すブロック図である。図１１の（ａ）は、図１０に示した高調波生成部に入力される信号の波形を模式的に示す図である。図１１の（ｂ）は、図１０に示した高調波生成部にて生成される非線形処理対象信号の波形を模式的に示す図である。図１１の（ｃ）は、図１０に示した高調波生成部にて生成される非線形信号の波形を模式的に示す図である。図１１の（ｄ）は、図１０に示した高調波生成部にて生成される高調波の波形を模式的に示す図である。図１９の（ａ）に示した周波数スペクトルを有する画像信号に対して、図１に示した信号処理装置にて鮮鋭化処理を施した後の画像信号の周波数スペクトルを示す模式図である。鮮鋭化処理を施す対象となる画像を含む画像を示す図である。図１４の（ａ）は、図１３に示した元画像の右上の領域を、縦横それぞれ２倍に拡大した画像である。図１４の（ｂ）は、図１４の（ａ）で示される画像に、従来技術による鮮鋭化処理を施した後の画像を示す図である。図１４の（ｃ）は、図１に示した信号処理装置にて図１４の（ａ）で示される画像の鮮鋭化処理を施した後の画像を示す図である。図１５の（ａ）は、ウェーブレット変換およびウェーブレット逆変換において対にして用いられる低域通過フィルタおよび高域通過フィルタの一般的な周波数特性を示す模式図である。図１５の（ｂ）は、図３に示した周波数成分分解部および信号再構成部にて用いるウェーブレット変換および逆変換において、対にして用いられる低域通過フィルタおよび高域通過フィルタの周波数特性を示す模式図である。図１に示した信号処理装置に含まれる周波数成分分解部および信号再構成部のさらなる他の構成を示すブロック図である。図１に示した信号処理装置に含まれる高調波生成部のさらなる他の構成を示すブロック図である。図１に示した信号処理装置に含まれる高調波生成部のさらなる他の構成を示すブロック図である。図１９の（ａ）は、サンプリング周波数ｆｓの画像信号の周波数スペクトルを示す模式図である。図１９の（ｂ）は、図１９の（ａ）で示される周波数スペクトルを有する画像信号に対して、従来技術により鮮鋭化処理を施した画像信号の周波数スペクトルを示す模式図である。図２０は、図１９の（ａ）に示した周波数スペクトルを有する画像信号をアップコンバートすることによって、画素数を横方向に２倍に拡大した後の画像信号の周波数スペクトルを示す模式図である。

　本発明の一実施形態について図１から図１８に基づいて説明すると以下の通りである。

　（１．信号処理装置の概要）
　本実施の形態に係る信号処理装置５００は、外部から入力される、画像を表すデジタル信号（以下、画像信号とも称する）に対して、上記画像を鮮鋭化するための鮮鋭化処理を施し、該鮮鋭化された画像信号を出力する装置である。ここで、鮮鋭化処理とは、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりを急峻にする（エンハンスする）処理を指すものとする。

　以下では、信号処理装置５００に入力される画像信号を、入力信号Ｓｉｎと表記する。また、信号処理装置５００から出力される画像信号を、出力信号Ｓｏｕｔと表記する。

　なお、後述するように、信号処理装置５００は、入力信号Ｓｉｎに含まれない高周波成分（具体的には、入力信号Ｓｉｎを離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数より高い周波数成分）を、出力信号Ｓｏｕｔに含ませることができる。そのため、信号処理装置５００にて鮮鋭化処理を行なうと、従来技術のように線形演算を用いて鮮鋭化処理を行なう場合に比べて、画像に含まれるエッジに相当する信号の立ち上がりおよび立ち下がりを、より急峻にすることが可能となる。

　なお、入力信号Ｓｉｎで表される画像は、静止画像であってもよいし、動画像であってもよい。さらに、動画像は、例えば、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機等にて、リアルタイムに表示されるものであってもよい。

　また、入力信号Ｓｉｎは、画像の横方向（水平方向、主走査方向）に隣接して並ぶ画素の画素値から成るデータ列（画素値の系列）によって構成されているものとして説明するが、画像の縦方向（垂直方向、副走査方向）に隣接して並ぶ画素の画素値から成るデータ列によって構成されていてもよい。

　（２．信号処理装置の構成）
　図１を参照しながら、信号処理装置５００の構成について説明する。図１は、信号処理装置５００の構成を示すブロック図である。

　同図に示すように、信号処理装置５００は、周波数成分分解部（周波数成分分解手段）２００と、高調波群生成部１００と、信号再構成部（出力信号生成手段）３００とを備えている。さらに、高調波群生成部１００は、１または複数の高調波生成部（高調波生成手段）１０１を備えている。さらに、高調波生成部１０１は、少なくとも非線形処理部（非線形処理手段）１０２を備えている。

　なお、後述する周波数成分分解部２００ａ～２００ｃを区別しないときは、単に「周波数成分分解部２００」と表記するものとする。また、後述する信号再構成部３００ａ～３００ｃを区別しないときは、単に「信号再構成部３００」と表記するものとする。また、後述する高調波生成部１０１ａ～１０１ｅを区別しないときは、単に「高調波生成部１０１」と表記するものとする。また、後述する非線形処理部１０２ａ～１０２ｅを区別しないときは、単に「非線形処理部１０２」と表記するものとする。

　信号処理装置５００は、外部から入力信号Ｓｉｎが入力されると、下記（１）～（３）に示す処理を行なうことによって、出力信号Ｓｏｕｔを出力する。

　（１）まず、信号処理装置５００は、周波数成分分解部２００によって、入力信号Ｓｉｎを複数の異なる周波数帯域の周波数成分ＳＦ_ｉ（ｉ＝１、２、…、ｍ；ｍは２以上の正の整数を示す）に分解する（アナライズ）。周波数成分分解部２００の構成については後述する。

　なお、入力信号Ｓｉｎを複数の異なる周波数帯域の周波数成分に分解する方法は、どのような方法であってもよい。例えば、入力信号Ｓｉｎに対して、いわゆる多重解像度解析を行なうことにより、入力信号Ｓｉｎを複数の異なる周波数帯域の周波数成分に分解することが考えられる。多重解像度解析とは、入力信号を、高周波成分と低周波成分とに分解する処理を逐次的に行なうことによって、複数の異なる周波数帯域の周波数成分に分解することである。多重解像度解析は公知であるので、ここではその説明を省略する。

　また、多重解像度解析を行なう場合、どのような方法を用いて多重解像度解析を実現してもよい。例えば、ラプラシアンピラミッド（Laplacian Pyramid）アルゴリズムを用いてもよいし、ウェーブレット変換（Wavelet Transform）を用いてもよい。

　（２）次に、信号処理装置５００は、周波数成分分解部２００が分解した周波数成分のうち最も低い周波数成分を除いた周波数成分の一部または全部（ＳＦ_ｎ～ＳＦ_ｍ；ｎはｍ以下の正の整数を示す）のそれぞれに対して、高調波群生成部１００が備える高調波生成部１０１により非線形処理を施し、入力信号Ｓｉｎに含まれない高周波成分（すなわち、ナイキスト周波数より高い周波数成分）を有する高調波ＨＷ_ｐ（ｐ＝ｎ、…、ｍ）を生成する。周波数成分分解部２００が分解した周波数成分のうち、高調波を生成する対象とする周波数成分をいずれにするかについては特に限定されず、任意の周波数成分が対象となる。

　なお、高調波生成部１０１は、周波数成分分解部２００が分解した周波数成分のうち、高調波を生成する対象とする周波数成分毎に設けられる。そして、高調波生成部１０１は、後述するように、非線形処理部１０２により、高調波生成部１０１に入力される周波数成分に対して、非線形関数等を用いた非線形処理を施す。その結果、高調波生成部１０１は、高調波生成部１０１に入力される信号を離散化する場合のサンプリング周波数ｆｓの１／２の周波数であるナイキスト周波数ｆｓ／２より高い周波数成分を含む高調波を生成する。高調波生成部１０１の構成については後述する。

　（３）次に、信号処理装置５００は、高調波群生成部１００によって生成された高調波（ＨＷ_ｎ～ＨＷ_ｍ）と、周波数成分分解部２００によって分解された周波数成分のうち上記非線形処理を施していない周波数成分（ＳＦ_１～ＳＦ_ｎ－１）とに基づいて、信号再構成部３００にて信号の再構成を行なうことにより、出力信号Ｓｏｕｔを生成する。

　なお、信号再構成部３００は、周波数成分分解部２００が行なう分解と逆の処理（合成、シンセサイズ）を行なうことにより、信号を再構成（復元）する。例えば、周波数成分分解部２００がウェーブレット変換を用いた多重解像度解析を行なう場合、信号再構成部３００はウェーブレット逆変換を用いて信号を再構成する。信号再構成部３００の構成については後述する。

　なお、図１では、周波数成分分解部２００によって分解された周波数成分のうち、最も低い周波数成分を除いた周波数成分の一部に対して高調波生成部１０１を設ける構成を示している。最も低い周波数成分を除いた周波数成分の一部について高調波を生成させることにより、出力信号Ｓｏｕｔで表される画像は、入力信号Ｓｉｎで表される画像よりも鮮鋭な画像となる。

　また、図１では、周波数成分ＳＦ_ｎ～ＳＦ_ｍのそれぞれに対して高調波生成部１０１により高調波を生成しているが、周波数成分ＳＦ_ｎ～ＳＦ_ｍの少なくとも１つ以上に対して高調波生成部１０１により高調波を生成してもよい。この場合も、高調波を生成する対象とする周波数成分をいずれにするかについては特に限定されず、任意の周波数成分が対象となる。

　（３．周波数成分分解部および信号再構成部の構成）
　次に、図２および図３を参照しながら、周波数成分分解部２００および信号再構成部３００の構成例について説明する。なお、ここでは、高調波生成部１０１の構成については説明しないが、高調波生成部１０１の構成は、後述する構成例のいずれであってもよい。

　（３－１．周波数成分分解部および信号再構成部の構成例１）
　まず、図２を参照しながら、ラプラシアンピラミッドアルゴリズムを用いた多重解像度解析を行なう周波数成分分解部２００ａ、およびラプラシアンピラミッドアルゴリズムを用いた信号の再構成を行なう信号再構成部３００ａの構成例について説明する。図２は、周波数成分分解部２００ａおよび信号再構成部３００ａの構成を示すブロック図である。

　なお、ここでは、説明の便宜上、３つのステージ（ＳＴ１～ＳＴ３）にて、入力信号Ｓｉｎを４つの周波数帯域に分解する場合について説明するが、ステージ数および分解後の周波数帯域の数は、入力信号Ｓｉｎで表される画像の画素数等に応じて適宜決まるものである。

　また、図２では、３つのステージで周波数成分を分解する例を示しているが、ステージ数が多いほど、より低い周波数成分を、画像の高解像度化に利用することが可能となる。ここで、信号のサンプリング周波数を２ｆｓ、ナイキスト周波数をｆｓとし、周波数成分ＳＦ_２の帯域をｆｓ／３～ｆｓ／２、周波数成分ＳＦ_３の帯域をｆｓ／２～２ｆｓ／３、周波数成分ＳＦ_４の帯域を２ｆｓ／３～ｆｓと仮定する。この場合、図２に示す例では、ｆｓ／３～ｆｓの周波数成分を有する信号が高解像度化に利用されることになる。ステージ数を増やすことにより、周波数別に細かい制御が可能となる。例えば、ｆｓ／３～ｆｓ／２の信号は大きく増幅するとともに、２ｆｓ／３～ｆｓの信号はノイズと区別し難いので弱めに増幅するといった制御が可能となる。一般に、ステージ数を増やした方が、低域の信号を高解像度化に用いることが可能となる。なお、ステージ数を増やせば、カスケードにつながるフィルタの数が多くなるため、低域の信号まで検出することが可能となる。

　なお、ステージ数を少なくした場合でも、フィルタのタップ長を長くすれば、低域の信号まで高解像度化に利用することが可能である。しかしながら、広い帯域を同じ増幅度で制御する方法は、画作りの上で必ずしも望ましいものではない。このような方法を用いると、高精細度成分とノイズとを同時に増幅することがあるためである。

　周波数成分分解部２００ａは、ラプラシアンピラミッドアルゴリズムを用いた多重解像度解析を行ない、入力信号Ｓｉｎを４つの周波数帯域の周波数成分ＳＦ_１～ＳＦ_４に分解する。周波数成分分解部２００ａは、まず、１つ目のステージＳＴ１にて、入力信号Ｓｉｎを入力として、低域成分の周波数成分Ｓ９１および高域成分の周波数成分ＳＦ_４を得る。周波数成分Ｓ９１は、入力信号Ｓｉｎを、低域通過フィルタ（以下、ＬＰＦと表記する）２０１によってフィルタリングし、ダウンサンプラ２０２によってダウンサンプリング（間引き）することによって得る。一方、周波数成分ＳＦ_４は、周波数成分Ｓ９１をアップサンプラ２０３によってアップサンプリング（補間）し、ＬＰＦ２０４によってフィルタリングした結果を、減算部２０５にて入力信号Ｓｉｎから減算することによって得る。

　同様に、周波数成分分解部２００ａは、２つ目のステージＳＴ２にて、周波数成分Ｓ９１を入力として、ＬＰＦ２１１、ダウンサンプラ２１２、アップサンプラ２１３、ＬＰＦ２１４、および減算部２１５によって、低域成分の周波数成分Ｓ９２および高域成分の周波数成分ＳＦ_３を得る。また、同様に、３つ目のステージＳＴ３にて、周波数成分Ｓ９２を入力として、ＬＰＦ２２１、ダウンサンプラ２２２、アップサンプラ２２３、ＬＰＦ２２４、および減算部２２５によって、低域成分の周波数成分ＳＦ_１および高域成分の周波数成分ＳＦ_２を得る。

　以上のように、周波数成分分解部２００ａは、ラプラシアンピラミッドアルゴリズムを用いた多重解像度解析を行ない、入力信号Ｓｉｎを周波数成分ＳＦ_１～ＳＦ_４に分解する。

　なお、上記分解された周波数成分のうち、最も低い周波数成分である周波数成分ＳＦ_１を除くＳＦ_２～ＳＦ_４のそれぞれについて、高調波生成部１０１にて非線形処理を施し、高調波ＨＷ_２～ＨＷ_４を生成する。ただし、上述したように、必ずしも周波数成分ＳＦ_２～ＳＦ_４のそれぞれについて高調波生成部１０１にて非線形処理を施す必要はなく、周波数成分ＳＦ_２～ＳＦ_４の少なくとも１つについて高調波生成部１０１にて非線形処理を施せばよい。なお、いずれを選択するかは特に限定されるものではなく、任意の周波数成分が選択可能である。

　次に、信号再構成部３００ａは、周波数成分ＳＦ_１、および、高調波生成部１０１にて生成された高調波ＨＷ_２～ＨＷ_４を用いて、ラプラシアンピラミッドにより、信号の再構成を行なう。

　具体的には、まず、周波数成分ＳＦ_１をアップサンプラ３０１によりアップサンプリングし、ＬＰＦ３１１によってフィルタリングする。そして、加算部３２２により、該フィルタリングした結果を高調波ＨＷ_２に加算する。続いて、上記加算した結果を、アップサンプラ３０２によりアップサンプリングし、ＬＰＦ３１２によってフィルタリングする。そして、加算部３２３により、該フィルタリングした結果を高調波ＨＷ_３に加算する。さらに続いて、上記加算した結果を、アップサンプラ３０３によりアップサンプリングし、ＬＰＦ３１３によってフィルタリングする。そして、加算部３２４により、該フィルタリングした結果を高調波ＨＷ_４に加算する。これにより、出力信号Ｓｏｕｔを得る。

　以上のように、信号再構成部３００ａは、ラプラシアンピラミッドを用いて、信号の再構成を行なう。

　なお、周波数成分分解部２００ａおよび信号再構成部３００ａが備えるＬＰＦ、ダウンサンプラ、およびアップサンプラは、公知のものを用いればよいため、それらの構成については、ここでは説明を省略する。

　（３－２．周波数成分分解部および信号再構成部の構成例２）
　次に、図３を参照しながら、ウェーブレット変換を用いた多重解像度解析を行なう周波数成分分解部２００、およびウェーブレット逆変換を用いた信号の再構成を行なう信号再構成部３００の構成例について説明する。図３は、周波数成分分解部２００ｂおよび信号再構成部３００ｂの構成を示すブロック図である。

　なお、ここでは、説明の便宜上、４つの周波数帯域に分解する場合について説明するが、分解の数は、入力信号Ｓｉｎで表される画像の画素数等に応じて適宜決まるものである。図３では、高解像度化に利用する（つまり、高調波群生成部１００に入力する）信号の数が３つである（３レベルである）場合を例示しているが、レベル数が多いほど、低い周波数成分まで高解像度化に利用することになる。信号のサンプリング周波数を２ｆｓとし、ナイキスト周波数をｆｓとすると、１レベル（高調波群生成部１００に入力する信号の数が１つ）であれば、ｆｓ／２～ｆｓの信号が高解像度化に用いられることになる。また、２レベルであればｆｓ／４～ｆｓの信号が高解像度化に用いられることになる。また、３レベルであればｆｓ／８～ｆｓの信号が高解像度化に用いられることになる。

　周波数成分分解部２００ｂは、ウェーブレット変換を用いて多重解像度解析を行ない、入力信号Ｓｉｎを４つの周波数帯域（ＬＬ、ＬＨ、ＨＬ、ＨＨ）の周波数成分ＳＦ_１～ＳＦ_４に分解する。同図に示すように、周波数成分分解部２００ｂは、まず、ＬＰＦ２５１に入力信号Ｓｉｎを入力し、ダウンサンプラ２５２によりダウンサンプリングすることによって、低域成分（Ｌ）の周波数帯域の周波数成分Ｓ９３を得る。同様に、ＨＰＦ２５３に入力信号Ｓｉｎを入力し、ダウンサンプラ２５４によりダウンサンプリングすることよって、高域成分（Ｈ）の周波数帯域の周波数成分Ｓ９４を得る。

　続いて、上記得られた周波数成分Ｓ９３をＬＰＦ２６１に入力し、ダウンサンプラ２６２によりダウンサンプリングすることによって、低域成分のうちの低域成分（ＬＬ）の周波数帯域の周波数成分ＳＦ_１（直流成分）を得る。また、上記得られた周波数成分Ｓ９３をＨＰＦ２６３に入力し、ダウンサンプラ２６４によりダウンサンプリングすることによって、低域成分のうちの高域成分（ＬＨ）の周波数帯域の周波数成分ＳＦ_２を得る。

　一方、上記得られた周波数成分Ｓ９４をＬＰＦ２７１に入力し、ダウンサンプラ２７２によりダウンサンプリングすることによって、高域成分のうちの低域成分（ＨＬ）の周波数帯域の周波数成分ＳＦ_３を得る。同様に、上記得られた周波数成分Ｓ９４をＨＰＦ２７３に入力し、ダウンサンプラ２７４によりダウンサンプリングすることによって、高域成分のうちの高域成分（ＨＨ）の周波数帯域の周波数成分ＳＦ_４を得る。

　以上のように、周波数成分分解部２００ｂは、ウェーブレット変換を用いた多重解像度解析を行ない、入力信号Ｓｉｎを周波数成分ＳＦ_１～ＳＦ_４に分解する。

　なお、上記分解された周波数成分のうち、最も低い周波数成分である周波数成分ＳＦ_１を除くＳＦ_２～ＳＦ_４のそれぞれについて、高調波生成部１０１にて非線形処理を施し、高調波ＨＷ_２～ＨＷ_４を生成する。ただし、必ずしもＳＦ_２～ＳＦ_４のそれぞれについて高調波生成部１０１にて非線形処理を施す必要はなく、ＳＦ_２～ＳＦ_４の少なくとも１つについて高調波生成部１０１にて非線形処理を施せばよい。

　次に、信号再構成部３００ｂは、周波数成分ＳＦ_１、および、高調波生成部１０１にて生成された高調波ＨＷ_２～ＨＷ_４に基づいて、ウェーブレット逆変換を用いて、信号の再構成を行なう。

　具体的には、まず、周波数成分ＳＦ_１をアップサンプラ３３１によりアップサンプリングした結果をＬＰＦ３３２に入力し、また、高調波ＨＷ_２をアップサンプラ３３３によりアップサンプリングした結果をＨＰＦ３３４に入力するとともに、ＬＰＦ３３２およびＨＰＦ３３４の出力を加算部３３５により加算して、低域成分（Ｌ）の周波数帯域の周波数成分Ｓ９５を得る。

　また、高調波ＨＷ_３をアップサンプラ３４１によりアップサンプリングした結果をＬＰＦ３４２に入力し、また、高調波ＨＷ_４をアップサンプラ３４３によりアップサンプリングした結果をＨＰＦ３４４に入力するとともに、ＬＰＦ３４２およびＨＰＦ３４４の出力を加算部３４５により加算して、高域成分（Ｈ）の周波数帯域の周波数成分Ｓ９６を得る。

　そして、上記得られた周波数成分Ｓ９５をアップサンプラ３５１によりアップサンプリングした結果をＬＰＦ３５２に入力し、また、上記得られた周波数成分Ｓ９６をアップサンプラ３５３によりアップサンプリングした結果をＨＰＦ３５４に入力するとともに、ＬＰＦ３５２およびＨＰＦ３５４の出力を加算部３５５により加算し、出力信号Ｓｏｕｔを得る。

　以上のように、信号再構成部３００ｂは、ウェーブレット逆変換を用いて、信号の再構成を行なう。

　なお、周波数成分分解部２００ｂおよび信号再構成部３００ｂが備えるＬＰＦ、ＨＰＦ、ダウンサンプラ、およびアップサンプラは、公知のものを用いればよいため、それらの構成については、ここでは説明を省略する。

　（４．高調波生成部の構成例）
　次に、高調波生成部１０１の構成例について説明する。ここでは、周波数成分分解部２００および信号再構成部３００の構成については説明しないが、周波数成分分解部２００および信号再構成部３００の構成は、上述した構成例のいずれであってもよい。

　なお、以下では、周波数成分ＳＦ_ｎ～ＳＦ_ｍを区別しないときは、単に「周波数成分ＳＦ」と表記するものとする。また、高調波ＨＷ_ｎ～ＨＷ_ｍを区別しないときは、単に「高調波ＨＷ」と表記するものとする。

　（４－１．高調波生成部の構成例１）
　図４は、高調波生成部１０１ａの構成を示すブロック図である。同図に示すとおり、高調波生成部１０１ａは、低レベル信号除去部（ノイズ除去手段）１１、非線形処理部１０２ａ、および加算部（加算手段）１５を備えている。

　まず、低レベル信号除去部１１について説明する。低レベル信号除去部１１は、後段の非線形処理部１０２ａにてノイズを増幅させないために備えられるものであり、周波数成分ＳＦに含まれるノイズとみなせる低レベル信号を除去することにより、非線形処理対象信号Ｓ１１を生成する。具体的には、周波数成分ＳＦの信号値のうち、絶対値が所定閾値（ＳＶとする）以下の信号値を“０”に変更する。

　例えば、閾値ＳＶを“３”とすると、周波数成分ＳＦの信号値のうち、絶対値が“３”以下の信号値を全てノイズとみなして“０”に変更する。なお、閾値ＳＶは、ノイズの量に応じて適宜設定可能であることが望ましい。

　なお、周波数成分ＳＦに含まれるノイズ等の低レベル信号が非常に少ない等のように、周波数成分ＳＦの低レベル信号を除去する必要がない場合、高調波生成部１０１ａは、低レベル信号除去部１１を備える必要はなく、非線形処理部１０２ａおよび加算部１５のみを備える構成としてもよい。なお、高調波生成部１０１ａが非線形処理部１０２ａおよび加算部１５のみを備える構成である場合、周波数成分ＳＦを、そのまま非線形処理対象信号Ｓ１１とする。

　次に、非線形処理部１０２ａについて説明する。非線形処理部１０２ａは、図４に示すように、非線形演算部（偶数冪乗演算手段）２１、符号変換部（符号変換手段）４１、およびリミッタ（振幅調整手段）５１を備えている。

　非線形演算部２１は、非線形処理対象信号Ｓ１１に対して非線形演算を施し、非線形信号Ｓ２１を生成する。

　ここで、非線形演算部２１にて行なう非線形演算について説明する。以下では、非線形演算部２１への入力信号値をｘとし、非線形演算部２１からの出力信号値をｙとし、非線形演算部２１にて行なう非線形演算を、ｙ＝ｆ（ｘ）という関数で表す。

　ここで、関数ｆ（ｘ）は、正負対称（原点対称）に単調増加する非線形関数であるものとする。なお、単調増加とは広義の単調増加を意味するものとする。ただし、関数ｆ（ｘ）は、少なくともｘ＝“０”の近傍で単調増加するものであればよい。また、関数ｆ（ｘ）は、少なくともｘ＝“０”の近傍で、｜ｆ（ｘ）｜＞｜ｘ｜であることが好ましい。

　このような関数ｆ（ｘ）として、例えば、下記数式（１）～（３）で示されるものが挙げられる。なお、下記数式（２）および（３）で示される関数ｆ（ｘ）を用いる場合、当該関数ｆ（ｘ）は、０≦ｘ≦１の区間での値の増加が大きいため、当該区間で用いることが好ましい。

　関数ｆ（ｘ）として上記数式（１）を用いる場合、非線形演算部２１は、２以上の偶数を冪指数として非線形処理対象信号Ｓ１１を冪乗することにより非線形信号Ｓ２１（偶数冪乗信号）を生成する。例えば、上記数式（１）においてｎ＝１の場合（つまり、ｆ（ｘ）＝ｘ^２である場合）、非線形演算部２１は、非線形処理対象信号Ｓ１１を２乗することにより、非線形信号Ｓ２１を生成する。この場合、非線形処理対象信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、非線形処理対象信号Ｓ１１を２乗した非線形信号Ｓ２１は、データ列Ｘ１^２，Ｘ２^２，Ｘ３^２、…で構成されるデジタル信号となる。

　ところで、非線形処理対象信号Ｓ１１の信号値が、－２５５～２５５のいずれかの整数値である場合、関数ｆ（ｘ）を用いるにあたり、ｘを２５５で正規化してもよい。例えば、上記数式（２）を用いる代わりに、上記数式（２）で示される関数ｆ（ｘ）の右辺のｘを、ｘ／２５５で正規化するとともに、右辺に２５５を乗算した下記数式（４）を用いてもよい。なお、下記数式（４）は、ｆ（ｘ）＞ｘという条件を満たす。

　上記数式（４）では、上記数式（２）で示される関数ｆ（ｘ）の右辺のｘを、２５５で正規化するとともに、右辺に２５５を乗算したが、右辺に乗算する数値は正規化するための値（この例では２５５）と同じ値である必要はなく、｜ｆ（ｘ）｜＞｜ｘ｜という条件を満たすものであればよい。例えば、２５５の代わりに右辺に１００を乗算した下記数式（５）を用いてもよい。

　また、関数ｆ（ｘ）は、下記数式（６）に示す三角関数を用いたものであってもよい。

　次に、符号変換部４１は、非線形処理対象信号Ｓ１１の符号ビット情報に基づき、非線形信号Ｓ２１に非線形処理対象信号Ｓ１１の符号を反映させたものを、符号変換信号Ｓ４１として生成する。すなわち、符号変換部４１は、非線形信号Ｓ２１のうち、符号が、非線形処理対象信号Ｓ１１と同じ部分については、符号をそのまま維持する。一方、非線形信号Ｓ２１のうち、符号が、非線形処理対象信号Ｓ１１と異なる部分については、符号の正負を反転させる。

　次に、リミッタ５１は、符号変換部４１が生成する符号変換信号Ｓ４１の振幅（信号レベル、強度）を調整する処理（以下、振幅調整処理とも表記する）を行なうことにより、非線形処理信号Ｓ１２を生成する。具体的には、リミッタ５１は、符号変換信号Ｓ４１に、所定の倍率値（αとする）（｜α｜＜１）を乗算することにより、符号変換信号Ｓ４１の振幅を調整する。

　なお、倍率値αは、映像の動きやノイズの量に応じて適宜設定可能であることが望ましい。固定値にする場合は、例えば、絶対値が０．５以下の値とすることが望ましい。

　さらに、リミッタ５１は、既に十分なエネルギーを有する信号をさらに増幅させないために、非線形処理信号Ｓ１２の信号値が所定の上限値（ＵＶとする）以下となるように、非線形処理信号Ｓ１２の信号のうち、絶対値が上限値ＵＶよりも大きい部分について、絶対値を当該上限値ＵＶ以下に変更する処理（以下、クリップ処理とも表記する）を行なう。例えば、非線形処理信号Ｓ１２の信号値の絶対値が“６４”を超える部分について、当該部分の信号値を、符号に応じて“６４”または“－６４”に変更する。または、“０”に変更してもよい。

　なお、上限値ＵＶは、映像の動きやノイズの量に応じて適宜設定可能であることが望ましい。固定値にする場合は、例えば、８ビット信号で表される画像に対しては、上限値ＵＶは６４以下の値とすることが望ましい。

　なお、非線形処理部１０２ａは、リミッタ５１を備えず、符号変換信号Ｓ４１の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部４１が生成する符号変換信号Ｓ４１が、非線形処理信号Ｓ１２として非線形処理部１０２ａから出力される。

　最後に、加算部１５について説明する。加算部１５は、非線形処理信号Ｓ１２を補償用信号として、周波数成分ＳＦに加算することにより、高調波ＨＷを生成するものである。なお、加算部１５には、周波数成分ＳＦと非線形処理信号Ｓ１２との間のタイミングを調整するための遅延素子が適宜含まれているものとする。

　（４－２．信号の波形）
　次に、図５の（ａ）～（ｅ）を参照しながら、高調波生成部１０１ａの各部にて生成される信号の波形について説明する。図５の（ａ）～（ｅ）は、高調波生成部１０１ａの各部にて生成される信号の波形を模式的に示す図である。ここでは、周波数成分ＳＦとして、図５の（ａ）に示す信号が、高調波生成部１０１ａに入力されるものとする。

　まず、周波数成分ＳＦが低レベル信号除去部１１に入力されると、ノイズ等の低レベル信号が除去され、図５の（ｂ）に示される非線形処理対象信号Ｓ１１が生成される。

　続いて、非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^２である場合、非線形処理対象信号Ｓ１１を２乗した非線形信号Ｓ２１が、非線形演算部２１にて生成される（図５の（ｃ）参照）。

　続いて、非線形信号Ｓ２１が符号変換部４１に入力されると、図５の（ｄ）に示される符号変換信号Ｓ４１が生成される。同図に示すとおり、符号変換信号Ｓ４１は、図５の（ｂ）に示される非線形処理対象信号Ｓ１１の符号の正負が維持されている。

　続いて、符号変換信号Ｓ４１がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。その後、加算部１５によって、非線形処理信号Ｓ１２が周波数成分ＳＦに加算されると、高調波ＨＷが生成される（図５の（ｅ）参照）。図５の（ａ）に示す信号と図５の（ｅ）に示す高調波とを比較すると、図５の（ｅ）に示す高調波ではエッジの立ち上がりが急峻になっており、解像度が向上したことがわかる。

　なお、図５の（ｅ）に示した高調波ＨＷにおける信号の立ち上がりおよび立ち下がりは、従来技術のように線形演算を用いて周波数成分ＳＦをエンハンスした場合における信号の立ち上がりおよび立ち下がりよりも、急峻となるので、図６を参照しながら説明する。

　図６の（ａ）に示す信号は、図５の（ａ）に示した周波数成分ＳＦの信号と同じものである。そして、図６の（ａ）に示す周波数成分ＳＦをエンハンスする場合、線形演算を用いた従来の鮮鋭化処理では、図６の（ａ）に示す周波数成分ＳＦから高域信号を抽出し、該抽出した高域信号に周波数成分ＳＦを加算するという方法が用いられる。したがって、線形演算を用いた従来の鮮鋭化処理では、周波数成分ＳＦに含まれていないナイキスト周波数を超えた信号成分が付加されることはない。

　そのため、線形演算を用いた従来の鮮鋭化処理では、図６の（ｂ）で示される信号が生成される。図６の（ｂ）で示される信号における立ち上がりおよび立ち下がりは、図６の（ａ）に示す周波数成分ＳＦにおける信号の立ち上がりおよび立ち下がりよりも急峻となるものの、高調波生成部１０１ａにて生成される高調波ＨＷ（図５の（ｅ））における信号の立ち上がりおよび立ち下がりの方が、より急峻となる。

　図６の（ａ）に示す信号と図６の（ｂ）に示す信号とを比較すると、エッジの立ち上がり角度はほぼ同一である。そして、図６の（ｂ）に示す信号では、エッジの立ち上がり前に谷が追加されており、また、エッジの立ち上がり後に山が追加されている。よって、図６の（ｂ）に示す信号で表される画像の絵柄は、縁取りされたように見える。このように、ナイキスト周波数を超える信号成分を用いない従来の鮮鋭化処理は、縁取りにより解像感を向上することしかできず、本発明のように解像度そのものを向上することはできない。

　（４－３．高調波生成部の構成例２）
　上述した高調波生成部１０１ａの非線形処理部１０２ａにおいて、非線形演算部２１にて生成される非線形信号Ｓ２１を微分する構成としてもよい。非線形信号Ｓ２１を微分することによって、非線形信号Ｓ２１に含まれる直流成分を除去することができるからである。

　そこで、図７を参照しながら、高調波生成部１０１ｂの構成例について説明する。図７は、高調波生成部１０１ｂの構成を示すブロック図である。

　同図に示すとおり、高調波生成部１０１ｂは、低レベル信号除去部１１、非線形処理部１０２ｂ、および加算部１５を備えている。そして、非線形処理部１０２ｂは、図４に示した非線形処理部１０２ａの構成に加え、非線形演算部２１と符号変換部４１との間に、微分部（微分手段）３１を備えている。低レベル信号除去部１１、非線形処理部１０２ｂの微分部３１以外の部材、および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　なお、周波数成分ＳＦに含まれるノイズ等の低レベル信号が非常に少ない等のように、周波数成分ＳＦの低レベル信号を除去する必要がない場合、高調波生成部１０１ｂは、低レベル信号除去部１１を備える必要はなく、非線形処理部１０２ｂおよび加算部１５のみを備える構成としてもよい。高調波生成部１０１ｂが非線形処理部１０２ｂおよび加算部１５のみを備える構成である場合、周波数成分ＳＦを、そのまま非線形処理対象信号Ｓ１１とする。

　微分部３１は、非線形演算部２１にて生成される非線形信号Ｓ２１を微分することにより、微分信号Ｓ３１を生成するものである。

　図８を参照しながら、微分部３１の構成について説明する。図８は、微分部３１の構成を示すブロック図である。同図に示すように、微分部３１は、単位遅延素子３１１１と減算部３１１２とから構成されており、微分部３１に入力される信号に対して後退差分を算出するものである。

　そして、微分部３１が生成した微分信号Ｓ３１に対して、符号変換部４１は、非線形処理対象信号Ｓ１１の符号ビット情報に基づき、非線形信号Ｓ２１に非線形処理対象信号Ｓ１１の符号を反映させたものを、符号変換信号Ｓ４２として生成する。すなわち、符号変換部４１は、微分信号Ｓ３１のうち、符号が、非線形処理対象信号Ｓ１１と同じ部分については、符号をそのまま維持する。一方、非線形信号Ｓ２１のうち、符号が、非線形処理対象信号Ｓ１１と異なる部分については、符号の正負を反転させる。

　そして、リミッタ５１は、符号変換部４１にて生成される符号変換信号Ｓ４２に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号Ｓ１２を生成する。振幅調整処理では、符号変換信号Ｓ４２に、所定の倍率値αを乗算することにより、符号変換信号Ｓ４２の振幅を調整する。

　なお、非線形処理部１０２ｂは、リミッタ５１を備えず、符号変換信号Ｓ４２の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部４１が生成する符号変換信号Ｓ４２が、非線形処理信号Ｓ１２として非線形処理部１０２ｂから出力される。

　（４－４．信号の波形）
　次に、図９の（ａ）～（ｆ）を参照しながら、高調波生成部１０１ｂの各部にて生成される信号の波形について説明する。図９の（ａ）～（ｆ）は、高調波生成部１０１ｂの各部にて生成される信号の波形を模式的に示す図である。

　ここでは、周波数成分ＳＦとして、図９の（ａ）に示す信号が、高調波生成部１０１ｂに入力されるものとする。なお、図９の（ａ）に示す信号は、図５の（ａ）に示す信号と同じである。

　まず、周波数成分ＳＦが低レベル信号除去部１１に入力されると、ノイズ等の低レベル信号が除去され、図９の（ｂ）に示される非線形処理対象信号Ｓ１１が生成される。

　続いて、非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^２である場合、非線形処理対象信号Ｓ１１を２乗した非線形信号Ｓ２１が、非線形演算部２１にて生成される（図９の（ｃ）参照）。

　続いて、非線形信号Ｓ２１が微分部３１に入力されると、図９の（ｄ）に示される微分信号Ｓ３１が生成される。なお、微分信号Ｓ３１では、非線形信号Ｓ２１に含まれていた直流成分が除去されている。

　続いて、微分信号Ｓ３１が符号変換部４１に入力されると、図９の（ｅ）に示される符号変換信号Ｓ４２が生成される。同図に示すとおり、符号変換信号Ｓ４２は、図９の（ｂ）に示される非線形処理対象信号Ｓ１１の符号の正負が維持されている。

　続いて、符号変換信号Ｓ４１がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。その後、加算部１５によって、非線形処理信号Ｓ１２が周波数成分ＳＦに加算されると、高調波ＨＷが生成される（図９の（ｆ）参照）。

　なお、図９の（ｆ）に示される高調波ＨＷにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となる。

　（４－５．高調波生成部の構成例３）
　上述した高調波生成部１０１ａおよび高調波生成部１０１ｂの構成では、符号変換部４１を備える構成としたが、非線形処理対象信号Ｓ１１に対して施す非線形演算が、非線形処理対象信号Ｓ１１の符号の正負を維持するものであれば、符号変換部４１を備える必要はない。

　そこで、図１０を参照しながら、符号変換部４１を備えない高調波生成部１０１ｃの構成例について説明する。図１０は、高調波生成部１０１ｃの構成を示すブロック図である。

　同図に示すとおり、高調波生成部１０１ｃは、低レベル信号除去部１１、非線形処理部１０２ｃ、および加算部１５を備えている。そして、非線形処理部１０２ｃは、非線形演算部（奇数冪乗演算手段）２２、およびリミッタ５１を備えている。低レベル信号除去部１１、リミッタ５１、および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　なお、周波数成分ＳＦに含まれるノイズ等の低レベル信号が非常に少ない等のように、周波数成分ＳＦの低レベル信号を除去する必要がない場合、高調波生成部１０１ｃは、低レベル信号除去部１１を備える必要はなく、非線形処理部１０２ｃおよび加算部１５のみを備える構成としてもよい。なお、高調波生成部１０１ｃが非線形処理部１０２ｃおよび加算部１５のみを備える構成である場合、周波数成分ＳＦを、そのまま非線形処理対象信号Ｓ１１とする。

　非線形演算部２２は、非線形処理対象信号Ｓ１１に対して非線形演算を施し、非線形信号Ｓ２２を生成する。

　ここで、非線形演算部２２にて行なう非線形演算について説明する。以下では、非線形演算部２２への入力信号値をｘとし、非線形演算部２２からの出力信号値をｙとし、非線形演算部２２にて行なう非線形演算を、ｙ＝ｇ（ｘ）という関数で表す。

　ここで、関数ｇ（ｘ）は、正負対称（原点対称）に単調増加する非線形関数であるものとする。なお、単調増加とは、広義の単調増加を意味するものとする。ただし、関数ｇ（ｘ）は、少なくともｘ＝“０”の近傍で単調増加するものであればよい。また、関数ｇ（ｘ）は、少なくともｘ＝“０”の近傍で、｜ｇ（ｘ）｜＞｜ｘ｜であることが好ましい。

　このような関数ｇ（ｘ）として、例えば、下記数式（７）が挙げられる。

　関数ｇ（ｘ）として上記数式（７）を用いる場合、非線形演算部２２は、３以上の奇数を冪指数として非線形処理対象信号Ｓ１１を冪乗することにより非線形信号Ｓ２２を生成する。例えば、上記数式（７）においてｎ＝１の場合（つまり、ｇ（ｘ）＝ｘ^３である場合）、非線形演算部２２は、非線形処理対象信号Ｓ１１を３乗することにより、非線形信号Ｓ２２を生成する。この場合、非線形処理対象信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、非線形処理対象信号Ｓ１１を３乗した非線形信号Ｓ２２は、データ列Ｘ１^３，Ｘ２^３，Ｘ３^３、…で構成されるデジタル信号となる。

　そして、リミッタ５１は、非線形演算部２２にて生成される非線形信号Ｓ２２に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号Ｓ１２を生成する。

　なお、非線形処理部１０２ｃは、リミッタ５１を備えず、非線形信号Ｓ２２の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、非線形演算部２２が生成する非線形信号Ｓ２２が、非線形処理信号Ｓ１２として非線形処理部１０２ｃから出力される。

　（４－６．信号の波形）
　次に、図１１の（ａ）～（ｄ）を参照しながら、高調波生成部１０１ｃの各部にて生成される信号の波形について説明する。図１１の（ａ）～（ｄ）は、高調波生成部１０１ｃの各部にて生成される信号の波形を模式的に示す図である。

　ここでは、周波数成分ＳＦとして、図１１の（ａ）に示す信号が、高調波生成部１０１ｃに入力されるものとする。なお、図１１の（ａ）に示す信号は、図５の（ａ）に示す信号と同じである。

　まず、周波数成分ＳＦが低レベル信号除去部１１に入力されると、ノイズ等の低レベル信号が除去され、図１１の（ｂ）に示される非線形処理対象信号Ｓ１１が生成される。

　続いて、非線形演算部２２にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^３である場合、非線形処理対象信号Ｓ１１を３乗した非線形信号Ｓ２２が、非線形演算部２２にて生成される（図１１の（ｃ）参照）。

　続いて、非線形信号Ｓ２２がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。その後、加算部１５によって、非線形処理信号Ｓ１２が周波数成分ＳＦに加算されると、高調波ＨＷが生成される（図１１の（ｄ）参照）。

　なお、図１１の（ｄ）に示される高調波ＨＷにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となっている。

　（４－７．ナイキスト周波数を超える周波数が生成される理由）
　次に、高調波生成部１０１が生成する高調波ＨＷが、入力信号Ｓｉｎが有する高調波成分等のナイキスト周波数ｆｓ／２を超える高周波成分を含む理由について説明する。

　ここでは、入力信号Ｓｉｎが、（画像の横方向の）位置をｘとした関数Ｆ（ｘ）で表現されるものとする。そして、入力信号Ｓｉｎの基本角周波数をωとすると、関数Ｆ（ｘ）は、下記数式（８）のようにフーリエ級数で表現することができる。

　ここで、Ｎは、サンプリング周波数ｆｓに対するナイキスト周波数ｆｓ／２を超えない最高周波数の高調波の次数である。すなわち、下記数式（９）が満たされる。

　次に、関数Ｆ（ｘ）で表される入力信号Ｓｉｎの直流成分ａ_０以外の信号をＧ（ｘ）と表記すると、Ｇ（ｘ）は下記数式（１０）で表される。

　ここで、高調波生成部１０１に入力される周波数成分ＳＦは、信号Ｇ（ｘ）または信号Ｇ（ｘ）の高周波成分を含む。

　そして、例えば、非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^２である場合、非線形演算部２１にて生成される非線形信号Ｓ２１は、非線形処理対象信号Ｓ１１を２乗することにより得られる信号である。ここで、上記数式（１０）により、（Ｇ（ｘ））^２の各項は、下記数式（１１）～（１３）のいずれかで表される（ｉ＝±１、±２、…、±Ｎ；ｊ＝±１、±２、…、±Ｎ）。

　ここで、三角関数に関する公式を用いることにより、上記数式（１１）～（１３）は、それぞれ、下記数式（１４）～（１６）に書き直すことができる。

　上記数式（１４）～（１６）から分かるように、（Ｇ（ｘ））^２は、（Ｎ＋１）ω、（Ｎ＋２）ω、…、２Ｎω等の角周波数成分を含む。

　よって、（Ｇ（ｘ））^２は、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。つまり、非線形演算部２１にて生成される非線形信号Ｓ２１は、周波数２Ｎω／（２π）といった高調波成分等のように、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。

　同様に、例えば、非線形演算部２２にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^３である場合、非線形演算部２２にて生成される非線形信号Ｓ２２は、非線形処理対象信号Ｓ１１を３乗することにより得られる信号である。ここで、上記数式（１０）により、（Ｇ（ｘ））^３の各項は、下記数式（１７）～（２０）のいずれかで表される（ｉ＝±１、±２、…、±Ｎ；ｊ＝±１、±２、…、±Ｎ；ｋ＝±１、±２、…、±Ｎ）。

　ここで、例えば、ｉ＝ｊ＝ｋ＝Ｎである項のうち、上記数式（１７）および（２０）で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式（２１）および（２２）に書き直すことができる。

　また、例えば、ｉ＝ｊ＝ｋ＝－Ｎである項のうち、上記数式（１７）および（２０）で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式（２３）および（２４）に書き直すことができる。

　上記数式（２１）～（２４）から分かるように、（Ｇ（ｘ））^３は、基本角周波数ωの３Ｎ倍の周波数成分、および、－３Ｎ倍の周波数成分を含む。（Ｇ（ｘ））^３の他の項についても三角関数の公式によって書き直すことにより、（Ｇ（ｘ））^３は、基本角周波数ωの－３Ｎ倍から３Ｎ倍までの様々な周波数成分を含むことが分かる。

　よって、（Ｇ（ｘ））^３は、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。つまり、非線形演算部２２にて生成される非線形信号Ｓ２２は、周波数３Ｎω／（２π）といった高調波成分等のように、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。

　したがって、高調波生成部１０１にて生成される高調波ＨＷは、周波数成分ＳＦに含まれない高周波成分、すなわちナイキスト周波数より高い周波数成分を含むこととなる。

　そのため、高調波生成部１０１にて生成される高調波ＨＷを用いて、信号再構成部３００が再構成した出力信号Ｓｏｕｔは、入力信号Ｓｉｎに含まれない高周波成分、すなわちナイキスト周波数より高い周波数成分を含むこととなる。

　（５．拡大処理後の画像の鮮鋭化）
　背景技術の欄にて説明したように、図１９の（ａ）に示した周波数スペクトルを有する画像信号をアップコンバートすることによって画素数を横方向に２倍にする拡大処理が施された後の画像信号の周波数スペクトルには、図２０に示したように、サンプリング周波数ｆｓに対するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対するナイキスト周波数Ｆｂｓ／２（＝ｆｓ）との間には、周波数成分が存在しない。そのため、上記拡大処理後の画像信号に対して、従来技術のように線形演算を用いる鮮鋭化処理を施した場合、ナイキスト周波数Ｆｂｓ／２の近傍の周波数成分が加算されることはない。

　これに対して、信号処理装置５００では、上述したように、鮮鋭化処理を施した後の画像信号に、ナイキスト周波数より高い周波数成分を含めることが可能である。そのため、図１９の（ａ）に示した周波数スペクトルを有する画像信号に対して、信号処理装置５００にて鮮鋭化処理を施した後の画像信号の周波数スペクトルは、例えば、図１２に示すようになる。同図に示すように、当該周波数スペクトルには、ナイキスト周波数ｆｓ／２よりも高い周波数成分が付加されている。つまり、原信号に含まれない高周波数成分が付加されている。

　このように、信号処理装置５００は、従来技術のように線形演算を用いる鮮鋭化処理では利用することができない高周波数成分を付加することができるので、拡大処理後の画像信号で表される画像をより鮮鋭化することが可能となる。

　（６．効果）
　上述したように、高調波生成部１０１が生成する高調波ＨＷは、高調波生成部１０１に入力される周波数成分ＳＦに含まれるノイズ等の低レベル信号を除去した非線形処理対象信号Ｓ１１に対して、非線形処理が施された信号である。つまり、非線形処理対象信号Ｓ１１に対して非線形処理を行なうこと、および、非線形処理対象信号Ｓ１１の符号を保存することによって、高調波ＨＷを生成する。

　また、高調波ＨＷの符号は、非線形処理対象信号Ｓ１１と同じである。なお、周波数成分ＳＦに含まれるノイズ等の低レベル信号を除去しない場合は、高調波生成部１０１が生成する高調波ＨＷは、高調波生成部１０１に入力される周波数成分ＳＦに対して、非線形処理が施された信号であり、また、高調波ＨＷの符号は、周波数成分ＳＦと同じである。つまり、周波数成分ＳＦに対して非線形処理を行なうこと、および、周波数成分ＳＦの符号を保存することによって、高調波ＨＷを生成する。

　そして、非線形処理を行なった結果、高調波ＨＷは、周波数成分ＳＦのサンプリング周波数ｆｓに対するナイキスト周波数ｆｓ／２より高い周波数成分を含んでいる。そのため、高調波生成部１０１が生成する高調波ＨＷを用いて、信号再構成部３００が再構成した出力信号Ｓｏｕｔは、入力信号Ｓｉｎには含まれない高周波成分を含むこととなる。

　よって、出力信号Ｓｏｕｔにおける信号の立ち上がりおよび立ち下がりは、入力信号Ｓｉｎを、従来技術のように線形演算を用いて鮮鋭化する場合における信号の立ち上がりおよび立ち下がりよりも、急峻となる。

　したがって、信号処理装置５００で行なう鮮鋭化処理は、線形演算を用いる鮮鋭化処理と比べて、画像をより高度に鮮鋭化することができ、画質を大幅に改善することが可能となる。

　なお、図１、２、３、４、７および１０を用いて説明したように、信号処理装置５００は、簡単な構成で実現することができる。そのため、テレビジョン受像機等に信号処理装置５００を備えることが容易に実現できる。したがって、静止画像のみならず、リアルタイムに表示される動画像についても、大きなコストを発生させることなく、画質を改善させることが可能となる。

　さらに、拡大処理された後の画像信号を信号処理装置５００に入力する場合であっても、信号処理装置５００は、ナイキスト周波数ｆｓ／２を超える高周波を生成することができるので、拡大処理後の画像を鮮鋭化することができ、画質を大幅に改善することが可能となる。例えば、高精細テレビジョン（ＨＤＴＶ）の受像機のディスプレイに、標準画質テレビジョン（ＳＤＴＶ）の画像信号に拡大処理を施した画像を表示する場合、上記高精細テレビジョンの受像機のディスプレイに信号処理装置５００を備えることにより、上記拡大処理を施した画像の画質を改善した状態で、表示させることができる。

　また、ＨＤＴＶの画素数よりも多い、４０００×２０００程度の画素数のディスプレイ（４Ｋディスプレイ）に、ＨＤＴＶ用の画像信号をアップコンバートして表示する場合にも、該アップコンバート後の画像信号で表される画像の画質を改善した状態で、表示させることができる。

　（７．実画像による検証）
　図１３および図１４を参照しながら、線形演算を用いて鮮鋭化処理を行なう従来技術と、信号処理装置５００とのそれぞれにて、実画像に鮮鋭化処理を施した様子について説明する。

　まず、図１３は、鮮鋭化処理を施す対象となる画像を含む画像（以下、元画像と表記する）を示す図である。なお、図１３に示した元画像は、紙面の都合上、実際のサイズより縮小したものである。

　次に、図１４の（ａ）は、図１３に示した元画像の右上の領域を、縦横それぞれ２倍に拡大した画像である。ここでは、図１４の（ａ）で示される画像を、鮮鋭化処理の対象とし、対象画像Ｐと表記する。なお、対象画像Ｐは、上述したように、拡大処理後のサンプリング周波数Ｆｂｓ（＝２ｆｓ）に対するナイキスト周波数Ｆｂｓ／２（＝ｆｓ）の近傍の周波数成分を有さない。

　次に、図１４の（ｂ）は、対象画像Ｐに、線形演算を用いる従来技術による鮮鋭化処理を施した後の画像を示す図である。この場合、対象画像Ｐは、ナイキスト周波数Ｆｂ／２（＝ｆｓ）の近傍の周波数成分を有していないため、画質があまり向上されない。そのため、図１４の（ａ）に示す画像と図１４の（ｂ）に示す画像との間には、鮮鋭度および解像度の差異は、あまり認められない。

　次に、図１４の（ｃ）は、信号処理装置５００にて対象画像Ｐの鮮鋭化処理を施した後の画像を示す図である。図１４の（ｃ）に示す画像では、図１４の（ｂ）に示す画像に比べて、人物の目の輝き、鼻筋、スカーフの模様、および、いすの背もたれ等の鮮鋭度および解像度が向上していることがわかる。

　このように、本実施の形態に係る信号処理装置５００では、線形演算を用いて鮮鋭化処理を行なう従来技術よりも、特に、拡大処理後の画像を鮮鋭化することができ、画質を向上させることができる。

　（８．リミッタにて乗算する倍率値α）
　上述したように、高調波生成部１０１は、周波数成分分解部２００によって分解された周波数成分のうち、最も低い周波数成分を除いた周波数成分の一部または全部（ＳＦ_ｎ～ＳＦ_ｍ）に対して非線形処理を施し、高調波（ＨＷ_ｎ～ＨＷ_ｍ）を生成する。

　ここで、一般的に知られているように、高い周波数帯域の周波数成分であるほど、そのエネルギーは小さい。したがって、周波数成分分解部２００によって分解された周波数成分ＳＦ_ｎ～ＳＦ_ｍのうち、高い周波数帯域の周波数成分ほどエネルギーが小さい。

　一方、高調波ＨＷ_ｎ～ＨＷ_ｍのうち、周波数帯域が高いものほど、信号再構成部３００により再構成される出力信号Ｓｏｕｔで表される画像の輪郭部分の強調に寄与するものであり、当該画像の鮮鋭化に寄与するものである。したがって、高調波ＨＷ_ｎ～ＨＷ_ｍのうち、周波数帯域が高いものほど、少しでもエネルギーを大きくしておくことが好ましい。

　そこで、高調波生成部１０１にて生成する高調波ＨＷ_ｎ～ＨＷ_ｍのうち、周波数帯域が高いものほどエネルギーを大きくするために、高調波生成部１０１のリミッタ５１が行なう振幅調整処理において乗算する倍率値αの値を、高調波生成部１０１に入力される周波数成分毎に設定する。具体的には、周波数成分ＳＦ_ｎ～ＳＦ_ｍのうち、より高い周波数成分が入力される高調波生成部１０１のリミッタ５１で用いる倍率値αの値を、より高く設定することが好ましい。

　例えば、図３を用いて説明した周波数成分分解部２００ａが、ウェーブレット変換を用いて多重解像度解析を行ない、入力信号Ｓｉｎを４つの周波数帯域の周波数成分ＳＦ_１～ＳＦ_４に分解する場合を例に挙げて説明する。なお、ここでは、周波数成分ＳＦ_２～ＳＦ_４が、高調波生成部１０１ａに入力されるものとする。

　ここで、ウェーブレット変換を用いて多重解像度解析を行なっているため、周波数成分ＳＦ_３は周波数成分ＳＦ_２より２倍高い周波数帯域の周波数成分であり、また、周波数成分ＳＦ_４は周波数成分ＳＦ_３より２倍高い周波数帯域の周波数成分である。

　そこで、この場合、周波数成分ＳＦ_３が入力される高調波生成部１０１ａが備えるリミッタ５１で用いる倍率値αは、周波数成分ＳＦ_２が入力される高調波生成部１０１ａが備えるリミッタ５１で用いる倍率値αの２倍に設定するとともに、周波数成分ＳＦ_４が入力される高調波生成部１０１ａが備えるリミッタ５１で用いる倍率値αは、周波数成分ＳＦ_３が入力される高調波生成部１０１ａが備えるリミッタ５１で用いる倍率値αの２倍に設定する。

　このように各リミッタ５１で用いる倍率値αを、入力される周波数成分ＳＦ_ｎ～ＳＦ_ｍに応じてそれぞれ設定することにより、すべてのリミッタ５１で用いる倍率値αを同じ値に設定する場合に比べて、高調波ＨＷ_ｎ～ＨＷ_ｍのうち周波数帯域が高いものほどエネルギーを大きくする。

　このように設定することにより、すべてのリミッタ５１で用いる倍率値αを同じ値に設定する場合に比べて、出力信号Ｓｏｕｔで表される画像をより鮮鋭にすることができる。

　（９．ウェーブレット変換を用いた多重解像度解析にて使用するＨＰＦの周波数特性）
　ウェーブレット変換を用いた多重解像度解析では、高周波成分と低周波成分とに分解する際、図３を用いて説明したように、ＬＰＦとＨＰＦとが対にして用いられる。同様に、ウェーブレット逆変換を用いた信号の再構成において高周波成分と低周波成分とを合成する際、ＬＰＦとＨＰＦとが対にして用いられる。これら対にして用いられるＬＰＦとＨＰＦとは、いわゆる、Quadrature Mirror Filterと称される。

　例えば、同図に示すように、入力信号Ｓｉｎから周波数成分Ｓ９３および周波数成分Ｓ９４を得るために、ＬＰＦ２５１とＨＰＦ２５３とが対にして用いられる。また、周波数成分Ｓ９５を得るために、ＬＰＦ３３２とＨＰＦ３３４とが対にして用いられる。

　ここで、ウェーブレット変換および逆変換を用いた多重解像度解析では、いわゆる完全再構成が可能であることが知られている。すなわち、ウェーブレット変換により分解した周波数成分のそれぞれを用いて、ウェーブレット逆変換により元の信号を復元することが可能である。そして、完全再構成とするために、対として用いられるＬＰＦおよびＨＰＦの周波数特性は、通常、対称な関係にある。

　図１５の（ａ）を参照しながら、ウェーブレット変換および逆変換において、対にして用いられるＬＰＦおよびＨＰＦの一般的な周波数特性について説明する。図１５の（ａ）は、ウェーブレット変換およびウェーブレット逆変換において対にして用いられるＬＰＦおよびＨＰＦの一般的な周波数特性を示す模式図である。

　同図に示すように、低い周波数成分を通しやすいＬＰＦの周波数特性ＬＡは、周波数が高いほど小さい。一方、高い周波数成分を通しやすいＨＰＦの周波数特性ＨＡは、周波数が高いほど大きい。そして、周波数特性ＬＡと周波数特性ＨＡとは、同図に示すように、通常、対称な関係にある。

　一方、信号処理装置５００では、入力信号Ｓｉｎで表される画像を鮮鋭化するための処理を施した出力信号Ｓｏｕｔを得るものであるため、信号処理装置５００で行なわれるウェーブレット変換および逆変換においては、必ずしも完全再構成が実現されなくてもよい。そのため、周波数成分分解部２００および信号再構成部３００にて対にして用いられるＬＰＦおよびＨＰＦの周波数特性は、非対称な関係であってもよい。

　さらに、信号処理装置５００では、高周波成分を抽出することを目的としてＨＰＦを用いるので、ＨＰＦを通過する周波数成分が多いほど好ましい。例えば、周波数成分分解部２００におけるＨＰＦを通過する周波数成分が多いほど、高調波生成部１０１にて非線形処理を施す対象が多くなり、その結果、出力信号Ｓｏｕｔで表される画像がより鮮鋭化するためである。

　図１５の（ｂ）を参照しながら、本実施の形態において行なうウェーブレット変換および逆変換において、対にして用いられるＬＰＦおよびＨＰＦの周波数特性について説明する。図１５の（ｂ）は、周波数成分分解部２００ｂにて用いるウェーブレット変換、および信号再構成部３００ｂにて用いるウェーブレット逆変換において、対にして用いられるＬＰＦおよびＨＰＦの周波数特性を示す模式図である。同図に示すように、周波数特性ＬＡと周波数特性ＨＡとは非対称な関係であってもよい。

　特に、上述したように、通過させる周波数成分を多くするために、本実施の形態において行なうウェーブレット変換および逆変換において用いるＨＰＦは、同図に示すように、通常よりも低い周波数成分が通りやすいものであることが好ましい。

　（１０．変形例）
　（１０－１．縦方向および時間方向の鮮鋭化処理）
　上述では、入力信号Ｓｉｎが、画像の横方向（水平方向、主走査方向）に隣接して並ぶ画素の画素値から成るデータ列（画素値の系列）によって構成されるものとして説明した。この場合、上述した信号処理装置５００は、入力信号Ｓｉｎで表される画像の縦方向の輪郭部分を強調することにより、該画像の鮮鋭化を行なうものである。

　しかしながら、入力信号Ｓｉｎで表される画像の縦方向（垂直方向、副走査方向）について鮮鋭化処理を施してもよい。

　この場合、周波数成分分解部２００は、入力信号Ｓｉｎを異なる周波数帯域の周波数成分に分解する前に、入力信号Ｓｉｎを、入力信号Ｓｉｎで表される画像の縦方向に隣接して並ぶ画素の画素値から成るデータ列（画素値の系列）に構成し直せばよい。その後、当該構成し直した入力信号Ｓｉｎを、異なる周波数帯域の周波数成分に分解すればよい。そして、信号再構成部３００は、信号を再構成した後、入力信号Ｓｉｎを、画像の横方向に隣接して並ぶ画素の画素値から成るデータ列に構成し直せばよい。

　なお、信号処理装置５００の外部装置によって、入力信号Ｓｉｎが、画像の縦方向の画素値から成るデータ列（画素値の系列）によって構成されるものとして生成される場合は、周波数成分分解部２００は、当該入力信号Ｓｉｎをそのまま、異なる周波数帯域の周波数成分に分解すればよい。

　なお、入力信号Ｓｉｎで表される画像の横方向および縦方向のいずれか一方だけではなく、両方向についてそれぞれ鮮鋭化処理を施すことがより好ましい。これにより、画像の横方向の輪郭部分および縦方向の輪郭部分をそれぞれ鮮鋭化することができる。

　さらに、テレビジョン受像機等で表示される動画像に対して、信号処理装置５００にて鮮鋭化処理を施す場合、画素値は時間に従って変化するものであるため、画像の横方向および縦方向に加えて、時間方向についても鮮鋭化処理を施すことが好ましい。

　この場合、周波数成分分解部２００は、入力信号Ｓｉｎを異なる周波数帯域の周波数成分に分解する前に、入力信号Ｓｉｎを、入力信号Ｓｉｎで表される動画像における各画素のそれぞれについての時間方向に隣接して並ぶ画素の画素値から成るデータ列（画素値の系列）に構成し直せばよい。そして、当該構成し直した入力信号Ｓｉｎに対して、多重解像度解析を行なえばよい。

　これにより、動画像を時間方向に鮮鋭化することができるので、例えば、残像の発生を抑制する等が可能となる。

　（１０－２．周波数成分分解部および信号再構成部の他の構成例）
　図３を用いて説明した周波数成分分解部２００ｂの構成例は、一般的なウェーブレット変換を用いた多重解像度解析を行なう場合の構成であるが、高調波生成部１０１を含む構成に拡張することが可能である。同様に、図３を用いて説明した信号再構成部３００ｂの構成例は、一般的なウェーブレット逆変換を用いた信号の再構成を行なう場合の構成例であるが、高調波生成部１０１を含む構成に拡張することが可能である。

　そこで、図１６を参照しながら、周波数成分分解部２００および信号再構成部３００の他の構成例について説明する。なお、ここでは、高調波生成部１０１の構成については説明しないが、高調波生成部１０１の構成は、上述した構成例および後述する構成例のいずれであってもよい。

　図１６は、周波数成分分解部２００ｃおよび信号再構成部３００ｃの構成を示すブロック図である。同図に示すように、周波数成分分解部２００ｃは、図３に示した周波数成分分解部２００ｂが備える構成に加えて、ＨＰＦ２５３とダウンサンプラ２５４との間に、高調波生成部１０１を備えている。

　このように、ＨＰＦの後段に高調波生成部１０１を備える構成とすることにより、入力信号Ｓｉｎに対して多重解像度解析を行なう過程で生成される高周波成分を、周波数成分分解部２００ｃの内部でエンハンスさせることができる。つまり、高調波群生成部１００に入力する周波数成分を予めエンハンスさせることができる。

　したがって、周波数成分分解部２００ｃの高調波群生成部１００にて生成した高調波ＨＷ_３およびＨＷ_４は、周波数成分分解部２００ｂの高調波群生成部１００にて生成した高調波ＨＷ_３およびＨＷ_４よりも、さらに信号の立ち上がりおよび立ち下がりが急峻になる。

　なお、周波数成分分解部２００ｃでは、ＨＰＦ２５３の直後に高調波生成部１０１を備える構成としたが、高調波生成部１０１を配置する箇所は、ＨＰＦ２５３の後段であればよく、ダウンサンプラ２５４の後であってもよい。

　また、さらに、ＨＰＦ２６３およびＨＰＦ２７３の後段に、高調波生成部１０１を配置してもよい。

　また、図１６に示した周波数成分分解部２００ｃは、２レベルまでの分解を行なう構成であるが、３レベル以上の分解を行なう構成であっても、各ＨＰＦの後段に、高調波生成部１０１を備える構成に拡張することができる。

　次に、信号再構成部３００ｃは、図１６に示した信号再構成部３００ｂが備える構成に加えて、ＨＰＦ３３４およびＨＰＦ３４４の後段に、高調波生成部１０１を備えている。

　このように、ＨＰＦの後段に高調波生成部１０１を備える構成とすることにより、信号の再構成を行なう過程で生成される高周波成分を信号再構成部３００ｃ内部でエンハンスさせることができる。

　よって、信号再構成部３００ｃにて生成されるＳ２５およびＳ２６は、信号再構成部３００ｂにて生成されるＳ２５およびＳ２６と比較して、エンハンスされたものとなる。

　したがって、信号再構成部３００ｃによって再構成された出力信号Ｓｏｕｔで表される画像は、信号再構成部３００ｂによって再構成された出力信号Ｓｏｕｔで表される画像よりも、鮮鋭な画像となる。

　なお、さらに、ＨＰＦ３５４の後段に高調波生成部１０１を配置してもよい。また、図１６に示した信号再構成部３００ｃは、２レベルまでに分解された周波数成分に基づいて信号を再構成するものであるが、３レベル以上に分解された周波数成分に基づいて信号を再構成する場合であっても、各ＨＰＦの後段に、高調波生成部１０１を配置する構成に拡張することができる。

　（１０－３．高調波生成部の他の構成例１）
　高調波生成部１０１にて施す非線形演算は、上述した以外にも様々考えられる。そこで、図１７および図１８を参照しながら、高調波生成部１０１ｄおよび１０１ｅの構成例について説明する。

　まず、図１７は、高調波生成部１０１ｄの構成を示すブロック図である。同図に示すとおり、高調波生成部１０１ｄは、低レベル信号除去部１１、非線形処理部１０２ｄ、および加算部１５を備えている。低レベル信号除去部１１および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　なお、周波数成分ＳＦに含まれるノイズ等の低レベル信号が非常に少ない等のように、周波数成分ＳＦの低レベル信号を除去する必要がない場合、高調波生成部１０１ｄは、低レベル信号除去部１１を備える必要はなく、非線形処理部１０２ｄおよび加算部１５のみを備える構成としてもよい。

　なお、高調波生成部１０１ｄが非線形処理部１０２ｄおよび加算部１５のみを備える構成である場合、周波数成分ＳＦを、そのまま非線形処理対象信号Ｓ１１とする。

　非線形処理部１０２ｄは、２乗演算部６１、第１微分部７１、第２微分部８１、および乗算部９１を備えている。

　２乗演算部６１は、非線形処理対象信号Ｓ１１を２乗することにより２乗信号Ｓ６１を生成するものである。すなわち、非線形処理対象信号Ｓ１１を構成するデータ列が、Ｘ１、Ｘ２、Ｘ３、…であるとすると、非線形処理対象信号Ｓ１１を２乗した２乗信号Ｓ６１は、データ列Ｘ１^２、Ｘ２^２、Ｘ３^２、…によって構成されるデジタル信号となる。

　次に、第１微分部７１は、２乗演算部６１にて生成される２乗信号Ｓ６１を微分することにより、第１微分信号Ｓ７１を生成する。なお、第１微分部７１の構成は、例えば、微分部３１と同様の構成である。

　次に、第２微分部８１は、周波数成分ＳＦを微分することにより、第２微分信号Ｓ８１を生成する。なお、第２微分部８１の構成は、例えば、微分部３１と同様の構成である。

　そして、乗算部９１は、第１微分信号Ｓ７１と第２微分信号Ｓ８１とを乗算することにより、非線形処理信号Ｓ１２を生成する。すなわち、第１微分信号Ｓ７１を構成するデータ列が、Ｕ１、Ｕ２、Ｕ３、…であるとし、第２微分信号Ｓ８１を構成するデータ列が、Ｖ１、Ｖ２、Ｖ３、…であるとすると、非線形処理信号Ｓ１２は、データ列Ｕ１・Ｖ１、Ｕ２・Ｖ２、Ｕ３・Ｖ３、…によって構成されるデジタル信号となる。

　なお、上述では、非線形演算を施すために２乗演算部６１を設ける構成としたが、２乗演算部６１に代えて、非線形処理対象信号Ｓ１１を４乗する４乗演算部を用いてもよい。より一般的には、２以上の偶数を冪指数とする非線形処理対象信号Ｓ１１の冪乗に相当する信号を生成する冪乗演算部を用いてもよい。

　（１０－４．高調波生成部の他の構成例２）
　上述した高調波生成部１０１ｄの構成では、２乗演算部６１を備える構成としたが、２乗演算部６１に代えて、入力された信号の絶対値を計算する絶対値処理部６２を備える構成としてもよい。

　そこで、図１８を参照しながら、絶対値処理部６２を備える高調波生成部１０１ｅの構成例について説明する。図１８は、高調波生成部１０１ｅの構成を示すブロック図である。

　同図に示すとおり、高調波生成部１０１ｅは、低レベル信号除去部１１、非線形処理部１０２ｅ、および加算部１５を備えている。低レベル信号除去部１１は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　なお、周波数成分ＳＦに含まれるノイズ等の低レベル信号が非常に少ない等のように、周波数成分ＳＦの低レベル信号を除去する必要がない場合、高調波生成部１０１ｅは、低レベル信号除去部１１を備える必要はなく、非線形処理部１０２ｅおよび加算部１５のみを備える構成としてもよい。なお、高調波生成部１０１ｅが非線形処理部１０２ｅおよび加算部１５のみを備える構成である場合、周波数成分ＳＦを、そのまま非線形処理対象信号Ｓ１１とする。

　非線形処理部１０２ｅは、絶対値処理部６２、第１微分部７１、第２微分部８１、および乗算部９１を備えている。第１微分部７１、第２微分部８１、および乗算部９１は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　絶対値処理部６２は、非線形処理対象信号Ｓ１１の絶対値に相当する信号である絶対値信号Ｓ６２を生成する。すなわち、非線形処理対象信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、絶対値信号Ｓ６２は、データ列｜Ｘ１｜、｜Ｘ２｜、｜Ｘ３｜、…によって構成されるデジタル信号となる。

　次に、第１微分部７１は、絶対値処理部６２にて生成される絶対値信号Ｓ６２を微分することにより、第１微分信号Ｓ７２を生成する。

　そして、乗算部９１は、第１微分信号Ｓ７２と第２微分信号Ｓ８１とを乗算することにより、非線形処理信号Ｓ１２を生成する。

　（１０－５．音声信号への適用）
　上述では、信号処理装置５００は、画像を鮮鋭化するための鮮鋭化処理を施す装置であるものとして説明した。しかしながら、信号処理装置５００が鮮鋭化処理を施す対象は、画像を表すデジタル信号に限定されるものではなく、音声を表すデジタル信号（音声信号）であってもよい。すなわち、信号処理装置５００に入力される入力信号Ｓｉｎは、音声信号であってもよい。この場合、信号処理装置５００は、音声信号の立ち上がりおよび立ち下がりを急峻にした出力信号Ｓｏｕｔを出力する。なお、この場合においても、出力信号Ｓｏｕｔには、入力信号Ｓｉｎに含まれない高周波成分（ナイキスト周波数より高い周波数成分）が含まれる。そのため、信号処理装置５００にて鮮鋭化処理を行なうと、線形演算を用いて鮮鋭化処理を行なう場合に比べて、音声信号の立ち上がりおよび立ち下がりを急峻にすることが可能となる。

　（１１．付記事項）
　最後に、信号処理装置５００の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

　ソフトウェアによって実現する場合は、信号処理装置５００（特に、高調波群生成部１００、周波数成分分解部２００、および信号再構成部３００）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである信号処理装置５００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記信号処理装置５００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

　また、信号処理装置５００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、１つの手段の機能が２つ以上の物理的手段により実現されても、もしくは２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

　以上のように、本発明に係る信号処理装置は、画像を表す入力信号に対して上記画像を鮮鋭化する処理を施し、該鮮鋭化させた画像を表す出力信号を出力する信号処理装置であって、上記入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解手段と、上記周波数成分分解手段によって分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成手段と、上記高調波生成手段によって生成された高調波と、上記周波数成分分解手段によって分解された周波数成分のうち、上記高調波生成手段によって高調波が生成されていない周波数成分とを合成して、上記出力信号を生成する出力信号生成手段とを備えるとともに、上記高調波生成手段は、高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、該周波数成分に上記非線形処理信号を加算することによって、高調波を生成する加算手段とを備えている。

　また、本発明に係る信号処理装置の制御方法は、画像を表す入力信号に対して上記画像を鮮鋭化する処理を施し、該鮮鋭化させた画像を表す出力信号を出力する信号処理装置の制御方法であって、上記入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解ステップと、上記周波数成分分解ステップによって分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成ステップと、上記高調波生成ステップによって生成された高調波と、上記周波数成分分解ステップによって分解された周波数成分のうち、上記高調波生成ステップによって高調波が生成されていない周波数成分とを合成して、上記出力信号を生成する出力信号生成ステップとを含むとともに、上記高調波生成ステップは、高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、該周波数成分に上記非線形処理信号を加算することによって、高調波を生成する加算ステップとを含んでいる。

　ここで、上記生成される高調波は、例えば、高調波を生成する対象となる周波数成分と、該周波数成分を２乗する等の非線形処理を施した非線形処理信号とを加算することにより生成される。ただし、高調波の符号の正負は、該高調波を生成する対象となる周波数成分の符号の正負を維持する。

　さらに、本発明に係る信号処理装置は、上記非線形処理手段は、２以上の偶数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。

　上記の構成によれば、さらに、２以上の偶数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することにより偶数冪乗信号を生成するとともに、上記偶数冪乗信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、非線形処理信号を生成する。

　よって、高調波を生成する対象となる周波数成分を、２以上の偶数を冪指数として冪乗するとともに、符号の正負は、上記冪乗前の周波数成分の符号の正負を維持したものが、非線形処理信号として生成されるので、該周波数成分と非線形処理信号とを加算することによって得られる高調波は、該高調波を生成する対象となる周波数成分には含まれない高い周波数成分が含まれる。

　したがって、画像信号に対して線形演算を施す方法よりも、画質の改善を図ることができるという効果を奏する。

　さらに、入力信号の分解および出力信号の合成は、低域通過フィルタおよび高域通過フィルタ等を用いた簡易な構成で実現可能であり、また、高調波を生成する処理は、冪乗演算および符号変換という簡易な構成で実現可能であることから、テレビジョン受像機等にてリアルタイムに表示される動画像についても、コストを抑えつつ、画質を大幅に改善することができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記非線形処理手段は、２以上の偶数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、上記微分信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。

　上記の構成によれば、さらに、２以上の偶数を冪指数として、高調波を生成する対象となる周波数成分を冪乗するとともに、上記偶数冪乗信号を微分することによって微分信号を生成し、上記微分信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、非線形処理信号を生成する。

　よって、高調波を生成する対象となる周波数成分を、２以上の偶数を冪指数として冪乗し、冪乗後の信号に含まれ得る直流成分を微分することによって除去するとともに、符号の正負は、上記冪乗前の周波数成分の符号の正負を維持したものが、非線形処理信号として生成されるので、該周波数成分と非線形処理信号とを加算することによって得られる高調波は、該高調波を生成する対象となる周波数成分には含まれない周波数成分が含まれる。

　したがって、画像信号に対して線形演算を施す方法よりも、画質の改善を図ることができるという効果を奏する。なお、冪乗後の信号に含まれ得る直流成分を微分することによって除去しているので、冪乗後の信号に含まれ得る直流成分を除去しない場合と比べて、画質の改善を図ることができるという効果を奏する。

　さらに、入力信号の分解および出力信号の合成は、低域通過フィルタおよび高域通過フィルタ等を用いた簡易な構成で実現可能であり、また、高調波を生成する処理は、冪乗演算、微分演算、および符号変換という簡易な構成で実現可能であることから、テレビジョン受像機等にてリアルタイムに表示される動画像についても、コストを抑えつつ、画質を大幅に改善することができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記非線形処理手段は、３以上の奇数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することによって、上記非線形処理信号を生成する構成としてもよい。

　上記の構成によれば、さらに、３以上の奇数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することによって、非線形処理信号を生成する。

　よって、高調波を生成する対象となる周波数成分を、３以上の奇数を冪指数として冪乗したものが、非線形処理信号として生成されるので、該周波数成分と非線形処理信号とを加算することによって得られる高調波は、該高調波を生成する対象となる周波数成分には含まれない周波数成分が含まれる。

　さらに、入力信号の分解および出力信号の合成は、低域通過フィルタおよび高域通過フィルタ等を用いた簡易な構成で実現可能であり、また、高調波を生成する処理は、冪乗演算という簡易な構成で実現可能であることから、テレビジョン受像機等にてリアルタイムに表示される動画像についても、コストを抑えつつ、画質を大幅に改善することができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記高調波生成手段は、上記非線形処理手段によって高調波を生成する対象となる周波数成分に含まれるノイズを除去するノイズ除去手段をさらに備える構成としてもよい。

　上記の構成によれば、さらに、高調波を生成する対象となる周波数成分に含まれるノイズを除去する。

　よって、高調波を生成する対象となる周波数成分に含まれるノイズに対しては、高調波を生成しないようにすることができる。

　したがって、出力信号で表される画像にて、ノイズが強調されることを防止することができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備える構成としてもよい。

　上記の構成によれば、非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する。

　よって、高調波の振幅を適切な大きさに調整することができる。したがって、出力信号で表される画像が鮮鋭化されすぎることを防止できるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記振幅調整手段は、上記非線形処理信号のうち、絶対値が上限値よりも大きい信号を除去する構成としてもよい。

　上記の構成によれば、さらに、非線形処理信号のうち、絶対値が上限値よりも大きい信号を除去する。

　よって、高調波の信号値が上限値を超えないように制限することができる。したがって、出力信号で表される画像が鮮鋭化されすぎることを防止できるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記倍率値は、高調波を生成する対象となる周波数成分毎に設定される構成としてもよい。

　上記の構成によれば、さらに、上記倍率値は、高調波を生成する対象となる周波数成分毎に設定される。

　よって、例えば、高調波を生成する対象となる周波数成分のうち、周波数帯域が高いもの（つまり、エネルギーの小さい周波数成分）ついての高調波を得るための非線形処理信号の振幅ほど、高い倍率値が乗算されるようにすることができる。つまり、高い周波数帯域の周波数成分に対して生成された高調波ほど、エネルギーを大きくすることができる。

　ここで、周波数帯域が高い高調波ほど、出力信号で表される画像の鮮鋭化に寄与する。そのため、周波数帯域が高い高調波ほど、少しでもエネルギーを大きくしておくことが好ましい。

　したがって、周波数帯域が高い高調波を得るための非線形処理信号に対して、高い倍率値が乗算されるようにしておくことにより、すべての非線形処理信号について同じ倍率値を乗算する場合と比べて、出力信号で表される画像をより鮮鋭化できるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記入力信号は、該入力信号で表される画像の横方向に隣接して並ぶ画素から成る画素群を表す信号であって、上記周波数成分分解手段は、上記入力信号を、複数の異なる周波数帯域の周波数成分に分解する構成としてもよい。

　上記の構成によれば、さらに、画像の横方向に隣接して並ぶ画素から成る画素群を表す入力信号を、複数の異なる周波数帯域の周波数成分に分解する。

　よって、画像の横方向に隣接して並ぶ画素から成る画素群を表す入力信号に含まれる、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成するとともに、該生成した高調波、および高調波が生成されていない周波数成分を合成した出力信号を生成することができる。

　したがって、画像の縦方向の輪郭部分を強調して画質の改善を図ることができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記周波数成分分解手段は、上記入力信号で表される画像の縦方向に隣接して並ぶ画素から成る画素群を表す信号を、複数の異なる周波数帯域の周波数成分に分解する構成としてもよい。

　上記の構成によれば、さらに、画像の縦方向に隣接して並ぶ画素から成る画素群を表す入力信号を、複数の異なる周波数帯域の周波数成分に分解する。

　よって、画像の縦方向に隣接して並ぶ画素から成る画素群を表す入力信号に含まれる、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成するとともに、該生成した高調波、および高調波が生成されていない周波数成分を合成した出力信号を生成することができる。

　したがって、画像の横方向の輪郭部分を強調して画質の改善を図ることができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記入力信号は、動画像を表すものであって、上記周波数成分分解手段は、上記入力信号で表される動画像の時間方向に隣接して並ぶ画素から成る画素群を表す信号を、複数の異なる周波数帯域の周波数成分に分解する構成としてもよい。

　上記の構成によれば、さらに、動画像の時間方向に隣接して並ぶ画素から成る画素群を表す入力信号を、複数の異なる周波数帯域の周波数成分に分解する。

　よって、動画像の時間方向に隣接して並ぶ画素から成る画素群を表す入力信号に含まれる、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成するとともに、該生成した高調波、および高調波が生成されていない周波数成分を合成した出力信号を生成することができる。

　したがって、動画像の時間方向についての画質の改善を図ることができるという効果を奏する。例えば、残像の発生を抑制する等が可能となる。

　さらに、本発明に係る信号処理装置は、上記周波数成分分解手段は、ラプラシアンピラミッドアルゴリズムを用いて、上記入力信号を複数の異なる周波数帯域の周波数成分に分解するとともに、上記出力信号生成手段は、ラプラシアンピラミッドアルゴリズムを用いて、上記出力信号を生成する構成としてもよい。

　ラプラシアンピラミッドアルゴリズムを用いた画像処理は広く普及しており、既存のライブラリやハードウェアが数多く存在する。

　よって、これらの既存のライブラリやハードウェアを用いれば、上記周波数成分分解手段を実現するためのフィルタを新たに設計する必要がないため、コストの削減を図ることができるという効果を奏する。

　また、フィルタを新たに設計する場合であっても、フィルタ係数を変更するだけで既存のプログラムや設計データを再利用できるので、コストの削減を図ることができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記周波数成分分解手段は、ウェーブレット変換を用いて、上記入力信号を複数の異なる周波数帯域の周波数成分に分解するとともに、上記出力信号生成手段は、ウェーブレット逆変換を用いて、上記出力信号を生成する構成としてもよい。

　ここで、ウェーブレット変換を用いた画像処理は広く普及しており、既存のライブラリやハードウェアが数多く存在する。

　よって、これらの既存のライブラリやハードウェアを用いれば、ウェーブレット変換を実現するためのフィルタを新たに設計する必要がないため、コストの削減を図ることができるという効果を奏する。

　さらに、本発明に係る信号処理装置は、上記ウェーブレット変換および上記ウェーブレット逆変換において対にして用いるQuadrature Mirror Filterの周波数特性が、非対称である構成としてもよい。

　ここで、ウェーブレット変換は、変換前の映像と逆変換後の映像とが同一になるという性質を有している。この性質は、完全再構成と呼ばれている。なお、逆変換により変換前の信号に戻る性質は、信号処理として重要な性質である。信号解析に多く用いられているフーリエ変換も、逆変換により変換前の信号に戻る性質を有している。

　ウェーブレット変換のフィルタは、完全再構成となる条件を満たす必要があるので、対にして用いるQuadrature Mirror Filterの周波数特性は対称な関係にする必要がある。しかしながら、本発明の目的である高解像度化には、完全再構成は必須の条件ではない（つまり、対にして用いるQuadrature Mirror Filterの周波数特性は対称である必要がない）。なぜならば、変換前よりも変換後のほうが画像の解像度が向上するのであるから、完全再構成とならないのは明らかである。

　そして、完全再構成という拘束条件が無ければ、上記周波数成分分解手段および上記出力信号生成手段を実現するためのフィルタを設計する際の自由度が増す。つまり、フィルタ設計のコストの削減を図ることができるという効果を奏する。例えば、既存のライブラリや設計データを用いて、フィルタ係数を変更する等を行なうだけでよい。

　なお、ウェーブレット変換において完全再構成という拘束条件を無くすと、ウェーブレット変換の構成は、ラプラシアンピラミッドと類似した構成となる。

　なお、上記信号処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記信号処理装置をコンピュータにて実現させる上記信号処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。

　本発明は、画像および音声などを表すデジタル信号を処理する装置に適用できる。特に、静止画や動画像などを表示するディスプレイ装置等に好適に適用できる。

　１１　　　　　　　　　　　　低レベル信号除去部（ノイズ除去手段）
　１５　　　　　　　　　　　　加算部（加算手段）
　２１　　　　　　　　　　　　非線形演算部（偶数冪乗演算手段）
　２２　　　　　　　　　　　　非線形演算部（奇数冪乗演算手段）
　３１　　　　　　　　　　　　微分部（微分手段）
　４１　　　　　　　　　　　　符号変換部（符号変換手段）
　５１　　　　　　　　　　　　リミッタ（振幅調整手段）
１００　　　　　　　　　　　　高調波群生成部
１０１、１０１ａ～１０１ｅ　　高調波生成部（高調波生成手段）
１０２、１０２ａ～１０２ｅ　　非線形処理部（非線形処理手段）
２００、２００ａ～２００ｃ　　周波数成分分解部（周波数成分分解手段）
３００、３００ａ～３００ｃ　　信号再構成部（出力信号生成手段）
５００　　　　　　　　　　　　信号処理装置
　ＨＷ、ＨＷ_ｎ～ＨＷ_ｍ　　　　　高調波
　ＳＦ、ＳＦ_１～ＳＦ_ｍ　　　　　周波数成分
　Ｓ１１　　　　　　　　　　　非線形処理対象信号
　Ｓ１２　　　　　　　　　　　非線形処理信号
　Ｓ２１　　　　　　　　　　　非線形信号（偶数冪乗信号）
　Ｓ２２　　　　　　　　　　　非線形信号
　Ｓ３１　　　　　　　　　　　微分信号

Claims

　画像を表す入力信号に対して上記画像を鮮鋭化する処理を施し、該鮮鋭化させた画像を表す出力信号を出力する信号処理装置であって、
　上記入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解手段と、
　上記周波数成分分解手段によって分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成手段と、
　上記高調波生成手段によって生成された高調波と、上記周波数成分分解手段によって分解された周波数成分のうち、上記高調波生成手段によって高調波が生成されていない周波数成分とを合成して、上記出力信号を生成する出力信号生成手段とを備えるとともに、
　上記高調波生成手段は、
　　高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、
　　少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、
　　該周波数成分に上記非線形処理信号を加算することによって、高調波を生成する加算手段とを備えることを特徴とする信号処理装置。
　上記非線形処理手段は、
　２以上の偶数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
　上記偶数冪乗信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１に記載の信号処理装置。
　上記非線形処理手段は、
　２以上の偶数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
　上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、
　上記微分信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１に記載の信号処理装置。
　上記非線形処理手段は、３以上の奇数を冪指数として、高調波を生成する対象となる周波数成分を冪乗することによって、上記非線形処理信号を生成する奇数冪乗演算手段を備えることを特徴とする請求項１に記載の信号処理装置。
　上記高調波生成手段は、上記非線形処理手段によって高調波を生成する対象となる周波数成分に含まれるノイズを除去するノイズ除去手段をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
　上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の信号処理装置。
　上記振幅調整手段は、さらに、上記非線形処理信号のうち、絶対値が上限値よりも大きい信号を除去することを特徴とする請求項６に記載の信号処理装置。
　上記倍率値は、高調波を生成する対象となる周波数成分毎に設定されることを特徴とする請求項６または７に記載の信号処理装置。
　上記入力信号は、該入力信号で表される画像の横方向に隣接して並ぶ画素から成る画素群を表す信号であって、
　上記周波数成分分解手段は、上記入力信号を、複数の異なる周波数帯域の周波数成分に分解することを特徴とする請求項１から８のいずれか１項に記載の信号処理装置。
　上記周波数成分分解手段は、上記入力信号で表される画像の縦方向に隣接して並ぶ画素から成る画素群を表す信号を、複数の異なる周波数帯域の周波数成分に分解することを特徴とする請求項１から８のいずれか１項に記載の信号処理装置。
　上記入力信号は、動画像を表すものであって、
　上記周波数成分分解手段は、上記入力信号で表される動画像の時間方向に隣接して並ぶ画素から成る画素群を表す信号を、複数の異なる周波数帯域の周波数成分に分解することを特徴とする請求項１から８のいずれか１項に記載の信号処理装置。
　上記周波数成分分解手段は、ラプラシアンピラミッドアルゴリズムを用いて、上記入力信号を複数の異なる周波数帯域の周波数成分に分解するとともに、
　上記出力信号生成手段は、ラプラシアンピラミッドアルゴリズムを用いて、上記出力信号を生成することを特徴とする請求項１から１１のいずれか１項に記載の信号処理装置。
　上記周波数成分分解手段は、ウェーブレット変換を用いて、上記入力信号を複数の異なる周波数帯域の周波数成分に分解するとともに、
　上記出力信号生成手段は、ウェーブレット逆変換を用いて、上記出力信号を生成することを特徴とする請求項１から１１のいずれか１項に記載の信号処理装置。
　上記ウェーブレット変換および上記ウェーブレット逆変換において対にして用いるQuadrature Mirror Filterの周波数特性が、非対称であることを特徴とするに請求項１３に記載の信号処理装置。
　画像を表す入力信号に対して上記画像を鮮鋭化する処理を施し、該鮮鋭化させた画像を表す出力信号を出力する信号処理装置の制御方法であって、
　上記入力信号を複数の異なる周波数帯域の周波数成分に分解する周波数成分分解ステップと、
　上記周波数成分分解ステップによって分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれ毎の高調波を生成する高調波生成ステップと、
　上記高調波生成ステップによって生成された高調波と、上記周波数成分分解ステップによって分解された周波数成分のうち、上記高調波生成ステップによって高調波が生成されていない周波数成分とを合成して、上記出力信号を生成する出力信号生成ステップとを含むとともに、
　上記高調波生成ステップは、
　　高調波を生成する対象となる周波数成分の符号の正負が維持され、かつ、
　　少なくとも該周波数成分の値が０の近傍のとき、該周波数成分に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、
　　該周波数成分に上記非線形処理信号を加算することによって、高調波を生成する加算ステップとを含むことを特徴とする信号処理装置の制御方法。
　請求項１から１４のいずれか１項に記載の信号処理装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
　請求項１６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。