JP5396626B1 - 画像強調装置、画像強調方法 - Google Patents

Abstract

【課題】複数フレームに対する繰り返し演算なしでナイキスト周波数を超える周波数成分により画像を先鋭化する。
【解決手段】本発明に係る画像強調装置１は、入力画像を鮮鋭化した出力画像を生成する画像強調装置１であって、前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理部１０と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部２０と、前記第２信号を調整して第３信号を生成するリミッタ３０と、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器４０と、を備える。
【選択図】図１

Description

本発明は、画像を鮮鋭化して画質を改善するための画像強調装置及び画像強調方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像強調装置及び画像強調方法に関する。

画像を鮮鋭化して画質を改善するための画像強調処理は、従来より広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。図１０は、従来の画像強調処理による画像の信号レベルの波形変化を示す図である。図１０（Ａ）は、入力画像信号の水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。図１０（Ｂ）は、入力画像信号から抽出された高周波成分であり、この高周波成分を増幅して入力画像信号に加算することにより、図１０（Ｃ）に示すエッジの立ち上がり変化が急となった出力画像信号を得ることができる。

また、近年、特に入力画像をより高解像度の出力画像にアップコンバートし、当該アップコンバートした画像の強調処理を行う超解像と呼ばれる技術も提案されている（例えば、非特許文献１参照）。

S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multi-frame Super-resolution", IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004.

従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

例えば、フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このように画像がぼやける原因は、拡大処理後の画像信号には、拡大前の元画像のナイキスト周波数までの周波数成分しか含まれておらず、拡大後の画像のナイキスト周波数近傍の周波数成分が含まれていないためである。

以下、画像の拡大、強調処理による周波数成分の変化を図１１により説明する。図１１（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図１１（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｓｂ＝２・ｆｓ）。ここで、図１１（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。

図１１（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示の通り、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。そのため、従来の線形デジタル信号処理による画像強調処理では、例えば図１１（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。

また、非特許文献１などに記載の従来の超解像技術は、サンプリング周波数が同じ複数のフレームに繰り返し演算処理を施し、各フレームから解像度の高い画素を選択して合成することにより画像強調処理を行うものである。そのため、画像によっては正しく復元できないことがあるため、動画では破綻画像が突然現れたりするようなチラつきが発生する可能性があり、また、複数フレームを使っての演算の処理量が非常に重いという問題があった。

そこで本発明は、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能な画像強調装置及び画像強調方法を提供することを目的とする。

上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器と、を備える。

また、前記非線形処理部は、前記入力画像信号の冪乗を前記第１信号として生成することが好ましい。

また、前記非線形処理部は、前記入力画像信号の冪乗根を前記第１信号として生成することが好ましい。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当し、装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明を方法として実現した画像強調方法は、入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、前記第２信号を調整して第３信号を生成するステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。

また、前記非線形処理ステップにおいて、前記入力画像信号の冪乗を前記第１信号として生成することが好ましい。

また、前記非線形処理ステップにおいて、前記入力画像信号の冪乗根を前記第１信号として生成することが好ましい。

本発明に係る画像強調装置及び画像強調方法によれば、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。

本発明の一実施形態に係る画像強調装置の構成を示す図である。 画像の水平方向の信号レベルの波形を示す図である。 高域通過フィルタの構成の一例を示す図である。 低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。 ガンマ処理による非線形処理の評価に用いる原画像である。 ガンマ処理前後の周波数スペクトルである。 本発明による画像強調処理を行った画像を示す図である。 本発明による画像強調処理を行った画像の周波数スペクトルである。 本発明による画像強調処理と従来手法との画像の比較を示す図である。 従来の画像強調処理による画像の信号レベルの波形変化を示す図である。 画像の拡大、強調処理による周波数成分の変化を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

図１は、本発明の一実施形態に係る画像強調装置１の構成を示すブロック図である。この画像強調装置１は、画像を表すデジタル信号として外部から入力される入力画像信号Ｓ_ｉｎに対し、その入力画像信号Ｓ_ｉｎの表す画像を鮮鋭化するための処理（以下「画像強調処理」または単に「強調処理」という）を施す装置であって、非線形処理部１０と、高域通過フィルタ（ＨＰＦ）２０と、リミッタ３０と、加算器４０とを備えている。

入力画像信号Ｓ_ｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓ_ｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。

以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で画像強調処理を行うことが可能である点に留意されたい。

図２（Ａ）は、入力画像信号Ｓ_ｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓ_ｉｎの解像度は、出力画像信号Ｓｏｕｔの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓ_ｉｎは、元の入力画像の解像度を出力画像信号Ｓｏｕｔの解像度にアップコンバートしたものである。例えば、画像強調装置１によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓ_ｉｎは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。

非線形処理部１０は、入力画像信号Ｓ_ｉｎに対して非線形処理を行うことにより第１信号Ｓ１を生成する。非線形処理部１０による非線形処理は、画像の輪郭を先鋭化することを目的とするものであり、具体的には、図２（Ａ）に示す入力画像信号Ｓ_ｉｎを図２（Ｂ）のような第１信号Ｓ１とし、信号レベルにおいてエッジの立ち上がり変化を急にする処理を行うものである。

非線形処理部１０による入力画像信号Ｓ_ｉｎから第１信号Ｓ１を生成する処理は、式（１）により一般化することができる。非線形処理部１０による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。

例えば、非線形処理部１０は、入力画像信号Ｓ_ｉｎの冪乗を第１信号Ｓ１として生成する。非線形処理部１０が入力画像信号Ｓ_ｉｎをｎ乗して第１信号Ｓ１を生成する場合、Ｓ１＝Ｓ_ｉｎ ^ｎとなる。入力画像信号Ｓ_ｉｎはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_ｉｎを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１^ｎ，Ｘ２^ｎ，Ｘ３^ｎ，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

例えば、入力画像信号Ｓ_ｉｎが８ビットのデジタル信号であれる場合、各画素の信号レベルは０〜２５５の値をとる。このとき、非線形処理部１０が、入力画像信号Ｓ_ｉｎを２乗すると、図２（Ｂ）に例示するように、エッジ部の立ち上がり変化が急になるため、画像の輪郭がより強調されることになる。

また、例えば、非線形処理部１０は、入力画像信号Ｓ_ｉｎの冪乗根を第１信号Ｓ１として生成する。非線形処理部１０が入力画像信号Ｓ_ｉｎのｎ乗根を第１信号Ｓ１として生成する場合、Ｓ１＝Ｓ_ｉｎ ^1/ｎとなる。入力画像信号Ｓ_ｉｎはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓ_ｉｎを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１^1/n，Ｘ２^1/n，Ｘ３^1/n，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。

入力画像信号Ｓ_ｉｎの冪乗根を第１信号Ｓ１として生成する非線形処理は、人間の知覚特性に基づく輪郭抽出に適している。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、非線形処理部１０は、例えばガンマ補正関数（例えば、Ｓ１＝Ｓ_ｉｎ ^1/2）により、輝度が高い画素より、輝度が低い画素をより引き上げる非線形処理を行う。

この場合、非線形処理部１０は、式（２）により、ｍビットのデジタル信号の画素値Ｘを正規化した値であるＸ’を算出する。式（２）による正規化後のＸ’の値は０〜１の間の値となる。

ここで、非線形処理部１０は、正規化後のＸ’に式（３）示すガンマ補正関数を適用し、非線形処理後の値Ｙを算出する。

式（３）により、Ｘ’の値が小さい場合、非線形処理後のＹの値がＸ’に比べて高く引き上げられることになる。すなわち、輝度が高い画素より、輝度が低い画素がより引き上げられる。これにより、例えば図２（Ｂ）に例示するエッジの先鋭化において、特に輝度が低い領域のエッジ強調成分が大きくなるため、特に輝度の低い領域の画像の輪郭がより強調されることになる。

ＨＰＦ２０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。具体的には、ＨＰＦ２０は、入力画像信号Ｓ_ｉｎを非線形処理して得られた画像の輪郭成分を含む高周波成分を抽出する処理として、図２（Ｂ）の第１信号Ｓ１から、図２（Ｃ）の第２信号Ｓ２を抽出する。ここで、図２（Ｃ）に示す第２信号Ｓ２と、図１０（Ｂ）に示す従来の線形デジタル処理による高周波成分の信号とを比較すると、第２信号Ｓ２は、従来の高周波成分と比べて波形が先鋭化されている。第２信号Ｓ２は、後述するとおり、リミッタ３０を経て画像の鮮鋭化のための補償用信号として入力画像信号Ｓ_ｉｎに加算されるものである。即ち、第２信号Ｓ２の波形が従来と比べて先鋭化されているということは、従来に比べてより高精細な画像強調処理が可能になるということであり、また、輪郭の先鋭化に伴い、従来の線形デジタル処理で問題となったリンギングの発生を低減させることが可能となる。

図３は、ＨＰＦ２０の構成の一例を示す図である。図３の通り、ＨＰＦ２０は、ｍ−１個の単位遅延素子２０１〜２０（ｍ−１）と、ｍ個の乗算器２１１〜２１ｍと、１個の加算器２２０とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器２１ｊ（ｊ＝１〜ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器２２０に出力し、係数Ｃｊは、ＨＰＦ２０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通貨フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）２１と減算器２２を用いた構成により、図１に示すＨＰＦ２０を実現することができる。

リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して第３信号Ｓ３を生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となる定数αを乗算することにより当該第２信号のレベルのゲイン調整を行う。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を第３信号Ｓ３として加算器４０に出力する。

加算器４０は、第３信号Ｓ３を画像の鮮鋭化のための補償用信号として入力画像信号Ｓ_ｉｎに加算することにより出力画像信号Ｓ_ｏｕｔを生成する。すなわち、Ｓ_ｏｕｔ＝Ｓ_ｉｎ＋Ｓ３であり、図２（Ａ）の入力画素信号に図２（Ｃ）の第３信号Ｓ３を加算することにより、図２（Ｄ）に示す画像強調処理後の信号を生成する。この出力画像信号Ｓ_ｏｕｔにおけるエッジ部の立ち上がり変化は、入力画像信号Ｓ_ｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓ_ｉｎよりも鮮鋭な画像を得ることができる。なお、加算器４０は、入力画像信号Ｓ_ｉｎと第３信号Ｓ３との間でタイミングを調整するための遅延素子を必要に応じて備えるものである。

本実施形態に係る画像強調装置１は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。以下、非線形処理部１０による非線形処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について更に詳しく説明する。

いま、入力画像信号Ｓ_ｉｎが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓ_ｉｎの基本角周波数をωとすると、このｆ(ｘ)は式（４）のようなフーリエ級数で表現することができる。

ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。

例えば、非線形処理部１０が、入力画像信号Ｓ_ｉｎを２乗することにより、第１信号Ｓ１を生成する場合、第１信号Ｓ１における各項は下記式（５ａ）〜（５ｃ）のいずれかで表現される。

（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）

三角関数に関する公式を用いると、上記式（５ａ）〜（５ｃ）は、下記の式（６ａ）〜（６ｃ）にそれぞれ書き直すことができる。

上記式より（ｆ(ｘ)）²は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第１信号Ｓ１も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。

したがって、画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓ_ｉｎとして本実施形態の画像強調装置１に入力されると、非線形処理部１０の処理により、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第１信号Ｓ１が生成される。ＨＰＦ２０は、第１信号Ｓ１の高域周波数成分を抽出して第２信号Ｓ２を生成するものであり、第２信号Ｓ２は、必然的に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。また、リミッタ３０が出力する第３信号Ｓ３にも、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分は含まれる。このため、入力画像信号Ｓ_ｉｎと補償用信号である第３信号Ｓ３とを加算した出力画像信号Ｓ_ｏｕｔにも、同様に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分が含まれる。その結果、出力画像信号Ｓｏｕｔの周波数スペクトルは、例えば図１１（Ｄ）に示すように、元のナイキスト周波数ｆｓ／２を超え、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されたものとなる。

上記では、非線形処理部１０が入力画像信号Ｓ_ｉｎを２乗して第１信号Ｓ１を生成する例により、画像強調装置１によるナイキスト周波数ｆｓ／２を越える高周波域の補償を説明したが、非線形処理部１０の処理は入力画像信号Ｓ_ｉｎの２乗に限定されないことは言うまでもない。例えば、２乗処理と同様に、任意の冪乗処理により、ナイキスト周波数ｆｓ／２を超える周波数成分が生成されることは、一般的な三角関数の公式などから明らかに導かれる事項である。

また、任意のガンマ処理（冪乗根）についても、ナイキスト周波数ｆｓ／２を超える周波数成分が生成されるものである。以下、図５、図６により、非線形処理部１０によるガンマ処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について説明する。

図５は、ガンマ処理による非線形処理の評価に用いる原画像であり、図６は、ガンマ処理前後の周波数スペクトルを示す図である。図６（Ａ）は、ガンマ処理前の原画像の周波数スペクトルであり、図６（Ｂ）は、ガンマ処理後の画像の周波数スペクトルである。図６では、非線形処理部１０は、ガンマ処理として入力画像信号Ｓ_ｉｎの２乗根を第１信号Ｓ１としている。すなわち、Ｓ１＝Ｓ_ｉｎ ^1/2である。図６（Ａ）、図６（Ｂ）を比較すると、図６（Ｂ）に示すガンマ処理後の周波数スペクトルでは、周波数成分の範囲が広がっており、原画像の周波数スペクトルに含まれない周波数成分が生成されていることがわかる。

以下、本発明の効果を検証するために、本発明に係る画像強調処理を実画像に施した結果について説明する。

図７は、原画像と本発明による画像強調処理を行った画像とを示す図であり、図８は、それぞれの画像の周波数スペクトルを示す図である。図７（Ａ）の原画像は、元の画像に対して縦・横２倍の拡大処理を施した後の画像であり、この原画像は、拡大処理後のサンプリング周波数Ｆｂｓ＝２ｆｓに対応するナイキスト周波数Ｆｂｓ／２＝ｆｓ近傍の周波数成分を有していない（図８（Ａ）参照）。

図７（Ｂ）は、非線形処理部１０が入力画像信号Ｓ_ｉｎの２乗根を第１信号Ｓ１として、水平方向と垂直方向に一回ずつ対象画像に画像強調処理を施した後の画像を示している。図７（Ｂ）の画像を図７（Ａ）の画像と比較すると、スカーフやいすの背もたれを中心に、提案手法の画像は鮮鋭度または解像度が向上しており、鮮鋭化により画像全体の画質が向上しているといえる。また、図８（Ｂ）の周波数スペクトルでは、拡大処理後のナイキスト周波数Ｆｂｓ／２＝ｆｓを超える周波数成分が発生しており、拡大処理後のナイキスト周波数Ｆｂｓ／２＝ｆｓを超える周波数成分により画像が先鋭化されていることがわかる。

図９は、比較のため、本発明による画像強調処理を行った画像と、従来の線形処理による画像強調処理を行った画像とを示す図である。既述のように、従来の線形処理による画像強調処理では、画像処理後の画像がナイキスト周波数Ｆｂｓ／２＝ｆｓ近傍の周波数成分を発生させることはできないため、従来の画像強調処理を当該対象画像に施しても画質は向上せず、例えば、図７（Ａ）の原画像と図９（Ａ）の従来技術による画像との間では、鮮鋭度や解像度感にほとんど差が認められない。一方、図７（Ｂ）に示す本発明による画像は、拡大処理後のナイキスト周波数Ｆｂｓ／２＝ｆｓを超える周波数成分が発生しており、従来技術である図９（Ａ）に比べ、大幅に画像が先鋭化されていることがわかる。

このように、本実施形態によれば、非線形処理部１０は、入力画像信号Ｓ_ｉｎに非線形処理を行い第１信号Ｓ１を生成し、ＨＰＦ２０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号Ｓ２を生成し、リミッタ３０は、第２信号Ｓ２を調整して第３信号Ｓ３を生成し、加算器４０は、第３信号Ｓ３を入力画像信号Ｓ_ｉｎに加算して出力画像信号Ｓ_ｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。また入力信号に対して一意的に出力信号が規定できる処理であるため、従来の超解像処理手法のような画像マッチングがとれず突然に画像破綻を起こすことも無い。

より詳しくは、非線形処理部１０における非線形処理（例えば式（１））により、入力画像信号Ｓ_ｉｎが有する周波数成分の高調波成分等のナイキスト周波数ｆｓ／２を越える高周波成分が生成され、この高周波成分を利用して、入力画像信号Ｓ_ｉｎに対し鮮鋭化のための処理が施される。すなわち、サンプリング周波数がｆｓであるデジタル画像信号から画像拡大処理によってサンプリング周波数Ｆｂｓ＝２ｆｓの画像信号を生成し、この画像信号を入力画像信号Ｓ_ｉｎとして使用するものとすると、非線形処理部１０の処理に基づき、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第３信号Ｓ３が補償用信号として生成され、この第３信号Ｓ３が入力画像信号Ｓ_ｉｎに付加される。これにより、本実施形態における出力画像信号Ｓ_ｏｕｔの周波数スペクトルは図１１（Ｄ）に示すように、なり、拡大処理前のナイキスト周波数ｆｓ／２を超える成分を含み、従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化できるようになる。なお、上記実施形態においては、画像を２倍に拡大処理する場合を例に説明を行ったが、本発明の効果は、画像を２倍する形態のみに限定されないことは言うまでもない。

また、非線形処理部１０は、入力画像信号Ｓ_ｉｎの冪乗を第１信号Ｓ１として生成したり、入力画像信号Ｓ_ｉｎの冪乗根を第１信号Ｓ１として生成したりすることができる。すなわち、非線形処理部１０は、比較的簡潔な非線形処理により、第１信号Ｓ１としてナイキスト周波数ｆｓ／２を越える高周波成分を生成することができる。

また、図１に示す簡単な構成で本実施形態に係る画像強調装置１を実現できるので、この画像強調装置１を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。

また本実施形態は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。

また、例えば人間の知覚特性を利用した画像処理技術として、ＨＤＲ（ハイダイナミックレンジ）合成が知られている。ＨＤＲは、非常に大きなコントラストの元画像（現実）を、コントラストを落とした画像に変換するものである。ＨＤＲでは、コントラストを落とすためのトーンマッピングにガンマ補正関数を用いることによって、輝度の低い画素の引き上げを行っている。本実施形態に係る画像強調装置１は、ＨＤＲ合成のように人間の知覚特性に基づく非線形処理（ガンマ処理）を行うものであり、輝度が暗い領域の輪郭をより先鋭化することにより、人間とってより好ましい形で画像を鮮鋭化して画質を改善することができる。

本発明は、画像を鮮鋭化して画質を改善するための画像強調装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像強調装置に適用することができる。

また、本発明は、監視カメラの画像強調処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより先鋭化する画像強調処理が可能になる。

さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を先鋭化する画像強調処理が可能になる。

さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を先鋭化する画像強調処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ−ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。

さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。

さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１ 画像強調装置
１０ 非線形処理部
２０ ＨＰＦ（高域通過フィルタ）
２０１〜２０（ｍ−１） 単位遅延素子
２１１〜２１ｍ 乗算器
２２０ 加算器
２１ ＬＰＦ（低域通過フィルタ）
２２ 減算器
３０ リミッタ
４０ 加算器

Claims (6)

1. 入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、
   前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、
   前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、
   前記第２信号を調整して第３信号を生成するリミッタと、
   前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器と、を備える画像強調装置。
2. 前記非線形処理部は、前記入力画像信号の冪乗を前記第１信号として生成する、請求項１に記載の画像強調装置。
3. 前記非線形処理部は、前記入力画像信号の冪乗根を前記第１信号として生成する、請求項１に記載の画像強調装置。
4. 入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、
   前記画像強調装置による処理手順が、
   前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、
   前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、
   前記第２信号を調整して第３信号を生成するステップと、
   前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む画像強調方法。
5. 前記非線形処理ステップにおいて、前記入力画像信号の冪乗を前記第１信号として生成する、請求項４に記載の画像強調方法。
6. 前記非線形処理ステップにおいて、前記入力画像信号の冪乗根を前記第１信号として生成する、請求項４に記載の画像強調方法。