JPWO2010113342A1 - 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置 - Google Patents

画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置 Download PDF

Info

Publication number
JPWO2010113342A1
JPWO2010113342A1 JP2011506954A JP2011506954A JPWO2010113342A1 JP WO2010113342 A1 JPWO2010113342 A1 JP WO2010113342A1 JP 2011506954 A JP2011506954 A JP 2011506954A JP 2011506954 A JP2011506954 A JP 2011506954A JP WO2010113342 A1 JPWO2010113342 A1 JP WO2010113342A1
Authority
JP
Japan
Prior art keywords
signal
image
input
image enhancement
generates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011506954A
Other languages
English (en)
Other versions
JP5281690B2 (ja
Inventor
合志　清一
清一 合志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011506954A priority Critical patent/JP5281690B2/ja
Publication of JPWO2010113342A1 publication Critical patent/JPWO2010113342A1/ja
Application granted granted Critical
Publication of JP5281690B2 publication Critical patent/JP5281690B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement

Abstract

本発明は、簡単な構成で適切な高域補償を行うことにより、静止画のみならず動画の場合にも画像拡大処理が施された場合にも画像を十分に鮮鋭化して画質を向上させることを目的とする。ＨＰＦ（１１）は入力画像信号Ｓｉｎから高域成分を第１信号Ｓ１として抽出し、２乗演算器（１２）は第１信号Ｓ１を２乗することにより２乗信号Ｓ１２を生成する。第１微分器（１３）は、２乗信号Ｓ１２を微分することにより第１微分信号Ｓ１３を生成し、第２微分器（１４）は、入力画像信号Ｓｉｎを微分することにより第２微分信号Ｓ１４を生成する。乗算器（１５）は、第１微分信号Ｓ１３と第２微分信号Ｓ１４を乗算することにより第２信号Ｓ２を生成する。加算器（１６）は、第２信号Ｓ２を補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。

Description

本発明は、画像を鮮鋭化して画質を改善するための画像強調装置、画像強調方法、および画像強調プログラム、より一般的には信号の質を高めるための信号処理装置等に関するものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画の鮮鋭化に好適な画像強調装置に関する。
画像を鮮鋭化して画質を改善するための画像強調処理は、従来より広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急峻にする輪郭補償が行われている。この輪郭補償では、テレビジョン受像機のディスプレイに入力される映像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して映像信号に加算することにより、映像信号入力からディスプレイ入力までに各回路で処理される映像信号の周波数特性の劣化を改善し視覚上の画質を向上させている。
このような輪郭補償を含む従来の画像強調処理は、通常、線形のデジタル信号処理に基づいていることから、ナイキスト周波数よりも高い周波数成分すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を利用することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を回復したり、そのような周波数成分を利用して画像を鮮鋭化したりすることはできなかった。したがって、例えば高精細テレビジョン（ＨＤＴＶ：High Definition Television)すなわちフルハイビジョン（１０８０×１９２０画素）のテレビジョン受信機におけるディスプレイで、解像度がＨＤＴＶに満たない画像信号に画像拡大処理を施して画像を表示する場合には、画像がぼやけるという問題がある。このぼやけた画像はナイキスト周波数近傍の周波数成分を有しないため、従来の画像強調処理を用いても増幅すべき周波数成分が抽出できず画質は改善しない。
これに対し、フレーム間またはフレーム内での自己相関等を利用して、上記のような画像拡大処理を行う場合においても鮮鋭な画像を得られるように高解像度化を行う技術（例えば非特許文献１、特許文献３）や、エッジの接線方向とエッジの垂直方向とで程度の異なる平滑化処理を行う非等方拡散フィルタを利用して画像を高解像度化する技術（例えば非特許文献２）も提案されている。また、高周波成分を強調して画質を改善するために画像信号に加算すべき信号のコアリング量、クリッピング量、エンハンス量、およびリミット量などをそれぞれ調整するために非線形回路を使用した画像処理装置（特許文献１）や、映像の品位を低下させずに高域信号を補償することを目的として画像信号におけるパルス波形やステップ波形のエッジ部でのリンギング発生を抑制するために非線形変換回路を使用した画質補償回路も提案されている（特許文献２）。
日本の特開２００６−３０４３５２号公報 日本の特開平７−３１２７０４号公報 日本の特開２００７−３１０８３７号公報
松本信幸，井田孝，「フレーム内再構成型超解像の領域適応処理による高画質化の検討」，電子情報通信学会技術研究報告，社団法人電子情報通信学会，２００８年４月，第１０８巻，第４号，ＩＥ２００８−６，ｐ．３１−３６ Luminita A. Vese and Stanley J.Osher, "Modeling Textures with Total variation Minimization and Oscillating Patterns in Image Processing", Journal of Scientific Computing, Vol.19, Nos.1-3, December 2003
しかし、非特許文献２に記載の非等方拡散フィルタを利用した高解像度化の技術は、処理が複雑であることから、テレビジョン受像機等における動画表示のようにリアルタイムでの処理を必要とする場合には適用困難であり、非特許文献１に記載の高解像度化の技術は、適用可能であってもその実現には大規模なＬＳＩを必要とし大きなコスト増を招来する。また、特許文献１に記載の画像処理装置や特許文献２に記載の画質補償回路は、画像信号に加算すべき信号のクリッピング処理などや、高域信号の補償によるリンギング発生の抑制という限定された目的に非線形処理が利用されているにすぎず、このような画質補償回路や画像処理装置によっては、上記のような拡大処理が施された画像を表示する場合には十分に画像を鮮鋭化することはできない。
そこで本発明は、簡単な構成で適切な高域補償を行うことにより、静止画のみならず動画の場合にもまた上記のような画像拡大処理が施された場合にも画像を十分に鮮鋭化して画質を向上させることができる画像強調装置や画像強調方法等を提供することを目的とし、より一般的には、簡単な構成で適切な高域補償を行うことにより信号の質を高めることができる信号処理装置等を提供することを目的とする。
本発明の第１の局面は、入力信号の表す画像を鮮鋭化するための画像強調装置であって、
画像を表す入力信号に含まれる周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより第１の信号を生成するフィルタ部と、
前記第１の信号に対して非線形処理を施すことにより第２の信号を生成する非線形処理部と、
前記第２の信号を前記入力信号に加算する加算部とを備え、
前記非線形処理部は、
前記第１の信号に対し少なくとも０近傍で、非線形または正負対称に、広義に単調増加する第３の信号を、前記第１の信号に基づいて生成し、
前記第２の信号において前記第１の信号の正負が実質的に保存され、かつ、前記第２の信号が直流成分を含まないように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする。
本発明の第２の局面は、本発明の第１の局面において、
前記非線形処理部は、
２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成し、
前記第２の信号において前記第１の信号の正負が実質的に保存されるように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする。
本発明の第３の局面は、本発明の第２の局面において、
前記非線形処理部は、
２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
前記第３の信号を微分することにより第４の信号を生成する第１微分器と、
前記入力信号を微分することにより第５の信号を生成する第２微分器と、
前記第４の信号と前記第５の信号との積に基づき前記第２の信号を生成する乗算器とを含むことを特徴とする。
本発明の第４の局面は、本発明の第２の局面において、
前記非線形処理部は、
２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
前記第３の信号に基づき前記第２の信号が生成されるように、前記第３の信号のうち正負が前記第１の信号と異なる部分の正負を前記第１の信号に基づき反転させる符号変換器とを含むことを特徴とする。
本発明の第５の局面は、本発明の第２の局面において、
前記非線形処理部は、
２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
前記第３の信号の直流成分を除去することにより第４の信号を生成するフィルタと、
前記第４の信号に基づき前記第２の信号が生成されるように、前記第４の信号のうち正負が前記第１の信号と異なる部分の正負を前記第１の信号に基づき反転させる符号変換器とを含むことを特徴とする。
本発明の第６の局面は、本発明の第１の局面において、
前記非線形処理部は、
前記第１の信号の絶対値に相当する信号を前記第３の信号として生成し、
前記第２の信号において前記第１の信号の正負が実質的に保存されるように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする。
本発明の第７の局面は、本発明の第６の局面において、
前記非線形処理部は、
前記第１の信号の絶対値に相当する信号を前記第３の信号として生成する絶対値処理器と、
前記第３の信号を微分することにより第４の信号を生成する第１微分器と、
前記入力信号を微分することにより第５の信号を生成する第２微分器と、
前記第４の信号と前記第５の信号との積に基づき前記第２の信号を生成する乗算器とを含むことを特徴とする。
本発明の第８の局面は、本発明の第６の局面において、
前記非線形処理部は、
前記第１の信号の絶対値に相当する信号を前記第３の信号として生成する絶対値処理器と、
前記第３の信号の直流成分を除去することにより第４の信号を生成するフィルタと、
前記第４の信号に基づき前記第２の信号が生成されるように、前記第４の信号のうち正負が前記第１の信号と異なる部分の正負を前記第１の信号に基づき反転させる符号変換器とを含むことを特徴とする。
本発明の第９の局面は、本発明の第１の局面において、
前記非線形処理部は、３以上の奇数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成し、前記第３の信号に基づき前記第２の信号を生成することを特徴とする。
本発明の第１０の局面は、本発明の第９の局面において、
前記非線形処理部は、
３以上の奇数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
前記第３の信号の振幅を調整することにより前記第２の信号を生成する調整器と
を含むことを特徴とする。
本発明の第１１の局面は、本発明の第１の局面において、
前記非線形処理部は、前記第３の信号の絶対値が前記第１の信号の絶対値よりも大きくなる区間が少なくとも前記０近傍に現れるように前記第３の信号を生成することを特徴とする。
本発明の第１２の局面は、本発明の第１の局面において、
前記非線形処理部は、前記第１の信号に対し前記第１の信号の最大振幅の少なくとも１／２以下の範囲では、非線形または正負対称に、広義に単調増加する信号を、前記第１の信号に基づき前記第３の信号として生成することを特徴とする。
本発明の第１３の局面は、本発明の第１の局面において、
前記フィルタ部は、タップ数が３以上の高域通過型のデジタルフィルタを含むことを特徴とする。
本発明の第１４の局面は、本発明の第１の局面において、
前記非線形処理部は、
前記第１の信号のうち絶対値が所定の下限値よりも小さい部分の信号値を０に変更する丸め処理器と、
前記第１の信号のうち絶対値が所定の上限値よりも大きい部分の信号値の絶対値を当該上限値以下の所定値に変更するリミッタとを含むことを特徴とする。
本発明の第１５の局面は、本発明の第１の局面において、
前記非線形処理部は、前記第２の信号の振幅を調整するための調整器を含むことを特徴とする。
本願に係る発明の他の局面は、本発明の上記第１〜第１５の局面および後述の実施形態に関する説明から明らかであるので、その説明を省略する。
本発明の第１の局面によれば、入力信号から少なくとも直流成分を除去された信号が第１の信号として生成され、この第１の信号に非線形処理を施すことにより第２の信号が生成される。すなわち、第１の信号に対し少なくとも０近傍で、非線形または正負対称に、広義に単調増加する第３の信号が生成され、この第３の信号に基づいて第２の信号が生成される。この第２の信号において第１の信号の正負が実質的に保存され、かつ、この第２の信号は直流成分を含まない。このような第２の信号が入力信号に加算される。この加算により得られる信号すなわち画像強調装置の出力信号は、上記第１の信号に対する非線形処理によって原信号の高調波が得られることから、入力信号を離散化する場合のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含んでいる。このため、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力信号とする場合には、ナイキスト周波数ｆｓ／２を越える高周波域の補償ができない従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化して大幅に画質を改善することができる。
本発明の第２の局面によれば、２以上の偶数を冪指数とする上記第１の信号の冪乗に基づき、上記第１の信号の正負が実質的に保存されるように第２の信号が生成され、このような第２の信号が入力信号に加算されるので、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力信号とする場合には、従来の画像強調装置に比べ、画像の鮮鋭化による画質改善につき大きな効果が得られる。
本発明の第３の局面によれば、２以上の偶数を冪指数として上記第１の信号を冪乗することにより第３の信号が生成され、第３の信号を微分することにより直流成分が除去された第４の信号が生成され、入力信号を微分して得られる第５の信号が第４の信号に乗算されることにより、第１の信号の正負が保存された信号として第２の信号が生成される。このようにして、補償用信号として入力信号に加算すべき第２の信号が、２以上の偶数を冪指数とする上記第１の信号の冪乗に基づき、上記第１の信号の正負が保存されるように生成されるので、本発明の第２の局面と同様の効果が得られる。
本発明の第４の局面によれば、２以上の偶数を冪指数として上記第１の信号を冪乗することにより第３の信号が生成され、第３の信号に基づき第２の信号が生成されるように、第３の信号のうち正負が上記第１の信号と異なる部分の正負が上記第１の信号に基づき反転される。このようにして、入力信号に加算すべき第２の信号が、２以上の偶数を冪指数とする第１の信号の冪乗に基づき、第１の信号の正負が保存されるように生成されるので、本発明の第２の局面と同様の効果が得られる。
本発明の第５の局面によれば、２以上の偶数を冪指数として上記第１の信号を冪乗することにより第３の信号が生成され、第３の信号の直流成分が除去されることにより第４の信号が生成される。そして、第４の信号に基づき第２の信号が生成されるように、第４の信号のうち正負が上記第１の信号と異なる部分の正負が上記第１の信号に基づき反転される。このようにして、入力信号に加算すべき第２の信号が、２以上の偶数を冪指数とする第１の信号の冪乗に基づき、第１の信号の正負が保存されるように生成されるので、本発明の第２の局面と同様の効果が得られる。しかも、第３の信号から直流成分が除去された後の信号に基づき第２の信号が生成されるので、本発明の第４の局面に比べ、効果の程度は大きくなり、画像をより鮮鋭化することができる。
本発明の第６の局面によれば、上記第１の信号の絶対値に基づき第２の信号が生成されるので、第２の信号は入力信号の周波数成分の２倍以上の高調波成分を含む。また、第２の信号は、上記第１の信号の正負が保存されるように生成される。このような第２の信号が入力信号に加算されることにより、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力信号とする場合には、従来の画像強調装置に比べ、画像の鮮鋭化による画質改善につき大きな効果が得られる。
本発明の第７の局面によれば、上記第１の信号の絶対値に相当する信号が第３の信号として生成され、第３の信号を微分することにより直流成分が除去された第４の信号が生成され、入力信号を微分して得られる第５の信号が第４の信号に乗算されることにより、第１の信号の正負が保存された信号として第２の信号が生成される。このようにして、入力信号に加算すべき第２の信号が、上記第１の信号の絶対値に基づき、上記第１の信号の正負が保存されるように生成されるので、本発明の第６の局面と同様の効果が得られる。
本発明の第８の局面によれば、上記第１の信号の絶対値に相当する信号が第３の信号として生成され、第３の信号の直流成分が除去されることにより第４の信号が生成される。そして、第４の信号に基づき第２の信号が生成されるように、第４の信号のうち正負が上記第１の信号と異なる部分の正負が上記第１の信号に基づき反転される。このようにして、入力信号に加算すべき第２の信号が、上記第１の信号の絶対値に基づき、上記第１の信号の正負が保存されるように生成されるので、本発明の第６の局面と同様の効果が得られる。
本発明の第９の局面によれば、３以上の奇数を冪指数とする上記第１の信号の冪乗に基づき第２の信号が生成され、この第２の信号では上記第１の信号の正負が保存される。このように、入力信号に加算すべき第２の信号が３以上の奇数を冪指数とする上記第１の信号の冪乗に基づき生成され、上記第１の信号の正負を保存するための処理を特に必要としないので、より簡単な構成で、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、より簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく動画の画質を改善することができる。さらに、画像拡大処理後の画像信号を入力信号とする場合には、従来の画像強調装置に比べ、画像の鮮鋭化による画質改善につき大きな効果が得られる。
本発明の第１０の局面によれば、３以上の奇数を冪指数として上記第１の信号を冪乗することにより第３の信号が生成され、第３の信号の振幅を調整することにより第２の信号が生成される。このため、第１の信号の冪乗によって第３の信号が過大な振幅（信号レベル）を有しても、適切な振幅の第２の信号が入力信号に加算されるので、入力信号の表す画像を良好に鮮鋭化することできる。
本発明の第１１の局面によれば、上記第３の信号の絶対値が上記第１の信号の絶対値よりも大きくなる区間が少なくとも上記０近傍に現れるので、その区間に対応する第３の信号に基づく第２の信号を入力信号に付加することにより、入力信号の表す画像を十分に鮮鋭化することができる。
本発明の第１２の局面によれば、上記第３の信号が上記第１の信号に対し上記第１の信号の最大振幅の少なくとも１／２以下の範囲では、非線形または正負対称に、広義に単調増加するので、補償すべき周波数成分を十分に含む補償用信号が第２の信号として生成される。この第２の信号を入力信号に付加することにより、入力信号の表す画像を十分に鮮鋭化することができる。
本発明の第１３の局面によれば、フィルタ部はタップ数が３以上の高域通過型のデジタルフィルタで構成されるので、補償すべき周波数成分を含む適切な第１の信号が生成され、この第１の信号に基づく第２の信号の入力信号への加算により、入力信号の表す画像を良好に鮮鋭化することができる。
本発明の第１４の局面によれば、上記第１の信号のうち絶対値が所定の下限値よりも小さい部分の信号値が０に変更されるので、入力信号に含まれるノイズが上記第１の信号に対する非線形処理によって増幅されることはない。また、第１の信号のうち絶対値が所定の上限値よりも大きい部分の信号値の絶対値が当該上限値以下の所定値に変更されるので、既に高周波成分として十分なエネルギーを持っている信号成分が上記第１の信号に対する非線形処理によって必要以上に増幅されることはない。したがって、このように調整された第１の信号に基づく第２の信号の入力信号への加算により、入力信号の表す画像を良好に鮮鋭化することができる。
本発明の第１５の局面によれば、補償用信号として入力信号に加算すべき上記第２の信号の振幅が調整されることにより、入力信号が適切に補償されるので、入力信号の表す画像を良好に鮮鋭化することができる。
本発明の第１の実施形態に係る画像強調装置の構成を示すブロック図である。 上記第１の実施形態におけるハイパスフィルタ（高域通過フィルタ）の構成を示すブロック図である。 上記第１の実施形態におけるハイパスフィルタの他の構成例を示すブロック図である。 上記第１の実施形態における微分器の構成を示すブロック図である。 従来の画像強調装置の動作を説明するための信号波形図（Ａ〜Ｅ）である。 上記第１の実施形態に係る画像強調装置の動作を説明するための信号波形図（Ａ〜Ｆ）である。 従来の画像強調装置の動作を説明するための周波数スペクトルを示す図（Ａ，Ｂ）である。 拡大された画像に対する上記第１の実施形態に係る画像強調装置の動作を説明するための周波数スペクトルを示す図（Ａ，Ｂ）である。 上記第１の実施形態の第１の変形例を説明するためのブロック図である。 上記第１の変形例における垂直方向処理部で使用されるハイパスフィルタの構成を示すブロック図である。 上記第１の変形例における垂直方向処理部で使用される微分器の構成を示すブロック図である。 上記第１の実施形態の第２の変形例を説明するためのブロック図である。 上記第２の変形例における時間方向処理部で使用されるハイパスフィルタの構成を示すブロック図である。 上記第２の変形例における時間方向処理部で使用される微分器の構成を示すブロック図である。 本発明の第２の実施形態に係る画像強調装置の構成を示すブロック図である。 本発明の第３の実施形態に係る画像強調装置の構成を示すブロック図である。 上記第３の実施形態に係る画像強調装置の動作を説明するための信号波形図（Ａ〜Ｄ）である。 本発明の第４の実施形態に係る画像強調装置の構成を示すブロック図である。 本発明の第５の実施形態に係る画像強調装置の構成を示すブロック図である。 上記第４の実施形態に係る画像強調装置の動作を説明するための信号波形図（Ａ〜Ｅ）である。 上記第５の実施形態に係る画像強調装置の動作を説明するための信号波形図（Ａ〜Ｆ）である。 本発明の第６の実施形態に係る画像強調装置の構成を示すブロック図である。 本発明の第７の実施形態に係る画像強調装置の構成を示すブロック図である。 本発明の効果を検証するために使用した元画像を示す図である。 上記元画像に拡大処理を施した後に一部を切り取ることにより得られた画像である対象画像を示す図である。 上記対象画像に対し従来の画像強調装置による処理を施した後の画像（Ｂ）を上記対象画像（Ａ）と共に示す図である。 上記対象画像に対し上記第２の実施形態に係る画像強調装置による処理を施した後の画像（Ａ）および上記第３の実施形態に係る画像強調装置による処理を施した後の画像（Ｂ）を示す図である。 画像強調プログラムによって本発明に係る画像強調装置をソフトウェア的に実現するために使用されるパーソナルコンピュータの構成を示すブロック図である。
以下、添付図面を参照して本発明の実施形態について説明する。
＜１．第１の実施形態＞
＜１．１ 構成＞
図１は、本発明の第１の実施形態に係る画像強調装置の構成を示すブロック図である。この画像強調装置１００は、画像を表すデジタル信号として外部から入力される入力画像信号Ｓｉｎに対し、その入力画像信号Ｓｉｎの表す画像を鮮鋭化するための処理（以下「画像強調処理」または単に「強調処理」という）を施す装置であって、高域通過フィルタ（以下「ハイパスフィルタ」または「ＨＰＦ」という）１１と非線形処理部１０２と加算器１６とを備えており、非線形処理部１０２は、２乗演算器１２と第１微分器１３と第２微分器１４と乗算器１５とから構成されている。上記入力画像信号Ｓｉｎは、ＨＰＦ１１と第２微分器１４と加算器１６に与えられる。なお、入力画像信号Ｓｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。この点は他の実施形態においても同様である。
ＨＰＦ１１は、入力画像信号Ｓｉｎの表す画像における輪郭成分を含む高周波成分を抽出する。図２は、このＨＰＦ１１の構成を示すブロック図である。図２に示すように、このＨＰＦは、ｍ−１個の単位遅延素子１１１，１１２，…，１１(ｍ-1)と、ｍ個の乗算器１２１，１２２，…，１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタ１１０を備え、これに加えて丸め処理器１３２およびリミッタ１３３を備えている。ここで、各乗算器１２ｊは、それに入力される信号に係数Ｃｊを乗算してその乗算結果を加算器１３１に出力し（ｊ＝１〜ｍ）、係数Ｃ１〜Ｃｍは、ＨＰＦ１１における上記デジタルフィルタ１１０が、上記輪郭成分を含む高周波成分を抽出するための高域通過フィルタとして機能するように設定されている。例えば、ｍ＝３とし、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５とすれば、上記デジタルフィルタ１１０は、後述の図５（Ｂ）に示すような入力画像信号Ｓｉｎに対し、高域成分信号Ｓｉ１として図５（Ｃ）に示すような信号を出力する。このようにして得られる高域成分信号Ｓｉ１は、丸め処理器１３２およびリミッタ１３３を経てＨＰＦ１１から第１信号Ｓ１として出力される。
丸め処理器１３２は、ノイズを後段の非線形処理部１０２において増幅しないようにするために設けられたものであり、高域成分信号Ｓｉ１における所定の下限値以下の信号値を０に丸める。例えば、入力画像信号Ｓｉｎが０〜２５５の範囲の値を取り得る場合すなわち２５６階調の画像信号である場合に、２以下の信号値を０に丸める。リミッタ１３３は、既に高周波成分として十分なエネルギーを持っている信号を後段の非線形処理部１０２において必要以上に増幅しないようにするために設けられたものであり、所定の上限値を越える信号値を当該上限値以下の所定値（例えば０または当該上限値）に変更する。例えば、入力画像信号Ｓｉｎが０〜２５５の範囲の値を取り得る場合に、絶対値で６４を越える信号値を０にするか、または、絶対値で６４を越える信号値をその符号に応じて±６４とする。
ところで、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。したがって、低域通過フィルタ（以下「ＬＰＦ」という）１０１１と減算器１０１２とを用いた図３に示す構成により、図２に示す高域通過フィルタとしてのデジタルフィルタ１１０を実現してもよい。
ＨＰＦ１１から出力される第１信号Ｓ１は、非線形処理部１０２の２乗演算器１２に入力される。２乗演算器１２は、第１信号Ｓ１を２乗することにより２乗信号Ｓ１２を生成する。すなわちＳ１２＝Ｓ１2である。なお、第１信号Ｓ１はデジタル信号（離散化された信号）であるので、より詳しくは、第１信号Ｓ１を構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、２乗信号Ｓ１２は、データ列Ｘ１2，Ｘ２2，Ｘ３2，…によって構成されるデジタル信号である。この２乗信号Ｓ１２は第１微分器１３に入力され、当該微分器１３は、この２乗信号Ｓ１２を微分することにより第１微分信号Ｓ１３を生成する。この第１微分信号Ｓ１３は乗算器１５に入力される。ここで、２乗信号Ｓ１２はデジタル信号であって離散化されているので、第１微分器１３は、例えば図４に示すような後退差分を算出する回路により第１微分信号Ｓ１３を生成する。図４に示す構成では、単位遅延素子１０２１と減算器１０２２とによって微分器が実現されており、デジタル信号Ｓｂが、デジタル信号Ｓａを微分することにより得られる信号である。
一方、非線形処理部１０２の第２微分器１４は、入力画像信号Ｓｉｎを微分することにより第２微分信号Ｓ１４を生成し、この第２微分信号Ｓ１４も乗算器１５に入力される。ここで、第２微分器１４も、例えば図４に示すような構成により実現される。
乗算器１５は、第１微分信号Ｓ１３と第２微分信号Ｓ１４とを乗算することにより第２信号Ｓ２を生成する。すなわち、Ｓ２＝Ｓ１３×Ｓ１４である。なお、第１および第２微分信号Ｓ１３，Ｓ１４はいずれもデジタル信号（離散化された信号）であるので、より詳しくは、第１微分信号Ｓ１３を構成するデータ列をＵ１，Ｕ２，Ｕ３，…とし、第２微分信号Ｓ１４を構成するデータ列をＶ１，Ｖ２，Ｖ３，…としたとき、第２信号Ｓ２は、データ列Ｕ１・Ｖ１，Ｕ２・Ｖ２，Ｕ３・Ｖ３，…によって構成されるデジタル信号である。この第２信号Ｓ２は、非線形処理部１０２から出力されて加算器１６に入力される。なお、ＨＰＦ１１や、２乗演算器１２、第１および第２微分器１３，１４での処理において遅延が生じるので、乗算器１５には、第１微分信号Ｓ１３と第２微分信号Ｓ１４との間でタイミングを調整するための遅延素子が必要に応じて含まれている。
加算器１６は、上記第２信号Ｓ２を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。すなわち、Ｓｏｕｔ＝Ｓｉｎ＋Ｓ２である。なお、加算器１６にも、入力画像信号Ｓｉｎと第２信号Ｓ２との間でタイミングを調整するための遅延素子が必要に応じて含まれている。また、補償用信号としての第２信号Ｓ２のレベル（振幅）を調整するための調整器として、ゲイン調整器およびリミッタの少なくとも一方を加算器１６の内部または乗算器１５と加算器１６との間に設けるのが好ましい。ここで、ゲイン調整器とは、それに入力される信号に０≦α＜１なる定数αを乗算することにより当該信号のレベルを調整するものであり、リミッタとは、それに入力される信号のうち絶対値が所定の上限値よりも大きい部分の信号値の絶対値を当該上限値に変更する（正負は変更しない）ことにより当該信号のレベルを調整するものである。
加算器１６で生成された出力画像信号Ｓｏｕｔは、入力画像信号Ｓｉｎの表す画像を鮮鋭化した画像を表す画像信号として画像強調装置１００から出力される。
＜１．２ 動作＞
次に、上記のように構成された本実施形態に係る画像強調装置１００の動作を、入力画像信号Ｓｉｎのうち図５（Ｂ）に示すように水平方向に画像信号のレベルすなわち画素値が変化するエッジに相当する部分に対する処理に着目して説明する。
比較のために、まず、従来の画像強調装置の動作を説明する。入力画像信号におけるエッジ部に相当する部分は、理想的には図５（Ａ）に示すような信号であるが、実際には、画像信号の処理や伝送のためのハードウェアの特性から図５（Ｂ）に示すような信号となる。従来の画像強調装置では、図５（Ｂ）に示すような入力画像信号が与えられると、本実施形態と同様のＨＰＦにより図５（Ｃ）に示すような高域信号が抽出され、この高域信号が入力画像信号に加算されることにより、図５（Ｄ）に示すような信号が出力画像信号として生成される。この出力画像信号は、図５（Ｂ）の入力画像信号に比べてエッジ部における立ち上がりが急峻となり、画像が鮮鋭化される。ただし、出力画像信号におけるエッジ部の立ち上がりは、下記に述べる本実施形態の出力画像信号（図５（Ｅ））に比べると、急峻さの程度が低い。
本実施形態では、図５（Ｂ）の入力画像信号と同様の入力画像信号Ｓｉｎ（図６（Ａ））が入力されると、ＨＰＦ１１による図５（Ｃ）の信号と同等の信号が第１信号Ｓ１として生成される。この第１信号Ｓ１から２乗演算器１２によって図６（Ｂ）に示すような２乗信号Ｓ１２が生成され、この２乗信号Ｓ１２から第１微分器１３によって図６（Ｃ）に示すような第１微分信号Ｓ１３が生成される。このときの２乗信号Ｓ１２の微分により直流成分が除去される。
一方、入力画像信号Ｓｉｎから第２微分器１４によって図６（Ｄ）に示すような第２微分信号Ｓ１４が生成される。この第２微分信号Ｓ１４と第１微分信号Ｓ１３とから乗算器１５によって図６（Ｅ）に示すような第２信号Ｓ２が生成される。この第２信号Ｓ２が補償用信号として加算器１６で入力画像信号Ｓｉｎに加算されることにより、図６（Ｆ）に示すような出力画像信号Ｓｏｕｔが生成される。前述のように、この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりは、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となるので、従来よりも鮮鋭な画像が得られる。
上記説明からわかるように、補償用信号として入力画像信号Ｓｉｎに加算される第２信号Ｓ２は、ＨＰＦ１１から出力される高域信号としての第１信号Ｓ１（図５（Ｃ））に非線形処理を施すことにより得られる信号である。また、第１微分器１３によって、第２信号Ｓ２は直流成分を含まない信号となっている。さらに、第２微分器１４によって得られる第２微分信号Ｓ１４が第１微分信号Ｓ１３に乗算されることにより、第２信号Ｓ２（図６（Ｅ））において第１の信号（図５（Ｃ））の正負が実質的に保存されている。すなわち、第１の信号における正の部分が第２信号Ｓ２において負になることはなく、第１の信号における負の部分が第２信号Ｓ２において正になることもない。本実施形態では、このような第１信号Ｓ１に対する処理の非線形性と第１信号Ｓ１の正負の保存性とに基づき、十分な画像の鮮鋭化が可能となる（図６（Ｆ）参照）。なお、第１微分信号Ｓ１３と第２微分信号Ｓ１４の乗算結果によっては、第２信号Ｓ２において第１信号Ｓ１の正負が完全に保存されない部分も若干存在することもあるが（図６（Ｅ）における細線の小さな波形参照）、これは、第２信号Ｓ２の入力画像信号Ｓｉｎへの加算による画像の鮮鋭化には実質的な障害とならない程度のものである（図６（Ｆ）参照）。
次に、画像拡大処理を施したデジタル画像信号を入力画像信号Ｓｉｎとして画像強調装置に与える場合につき、本実施形態の動作を画像拡大処理をしない場合と比較しつつ説明する。
図７（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示しており、図７（Ｂ）は、このデジタル画像信号に対し、従来の画像強調装置によって鮮鋭化のための強調処理を施した後のデジタル画像信号（以下「従来の強調処理後の画像信号」という）の周波数スペクトルを示している。既述のように、鮮鋭化のための強調処理によって入力画像信号の高域成分が加算され、これにより、強調処理後の画像信号では、図７（Ｂ）に示すようにナイキスト周波数ｆｓ／２近傍の周波数成分が増大している。
一方、上記のデジタル画像信号をアップコンバートして画素数を水平方向に２倍にする画像拡大処理が施された場合には、画像拡大処理後のサンプリング周波数Ｆｂｓは上記サンプリング周波数ｆｓの２倍であり（Ｆｓｂ＝２・ｆｓ）、画像拡大処理後の周波数スペクトルは、図８（Ａ）に示すようになる。この場合、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には周波数成分が存在しない（Ｆｂｓ／２と３ｆｓ／２との間も同様）。このため、画像拡大処理後の画像信号に対し従来の画像強調装置によって鮮鋭化のための強調処理を施しても、画像拡大処理後の画像信号における高域成分すなわち新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が付加されることない（図８（Ａ）参照）。
これに対し、本実施形態によれば、非線形処理部１０２における２乗演算器１２により、入力画像信号Ｓｉｎが有する周波数成分の高調波成分等のナイキスト周波数ｆｓ／２を越える高周波成分が生成され、この高周波成分を利用して、入力画像信号Ｓｉｎに対し鮮鋭化のための処理が施される。すなわち、サンプリング周波数がｆｓであるデジタル画像信号から画像拡大処理によってサンプリング周波数Ｆｂｓ＝２ｆｓの画像信号を生成し、この画像信号を入力画像信号Ｓｉｎとして使用するものとすると、２乗演算器１２の処理に基づき、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第２信号Ｓ２が補償用信号として生成され、この第２信号Ｓ２が入力画像信号Ｓｉｎに付加される。これにより、本実施形態における出力画像信号Ｓｏｕｔの周波数スペクトルは図８（Ｂ）に示すようになる。これにより、従来の画像強調装置に比べ、拡大処理後の画像信号に対して適切な高域補償が可能となり、拡大処理後の画像を十分に鮮鋭化できるようになる。
以下、上記のように非線形処理により生成される高調波成分を利用した画像の鮮鋭化につき更に詳しく説明する。いま、入力画像信号Ｓｉｎが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓｉｎの基本角周波数をωとすると、このｆ(ｘ)は次のようなフーリエ級数で表現することができる。
ｆ(ｘ)＝ａ-Ncos(-N)ωx＋ａ-N+1cos(-N+1)ωx・・・＋ａ-1cos(-1)ωx
＋ａ0＋ａ1cosωx＋ａ2cos２ωx＋…＋ａNcosＮωx
＋ｂ-Nsin(-N)ωx＋ｂ-N+1sin(-N+1)ωx＋・・・＋ｂ-1sin(-１)ωx
＋ｂ1sinωx＋ｂ2sin２ωx＋…＋ｂNsinＮωx …（１）
ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。
上記式（１）より、関数ｆ(ｘ)で表される入力画像信号Ｓｉｎ（以下「入力信号ｆ(ｘ)」ともいう）の直流成分ａ0以外の部分をｇ(ｘ)とおくと、
ｇ(ｘ)＝ａ-Ncos(-N)ωx＋ａ-N+1cos(-N+1)ωx・・・＋ａ-1cos(-１)ωx
＋ａ1cosωx＋ａ2cos２ωx＋…＋ａNcosＮωx
＋ｂ-Nsin(-N)ωx＋ｂ-N+1sin(-N+1)ωx＋・・・＋ｂ-1sin(-１)ωx
＋ｂ1sinωx＋ｂ2sin２ωx＋…＋ｂNsinＮωx …（２）
である。ＨＰＦ１１から出力される第１信号Ｓ１は、上記信号ｇ(ｘ)または信号ｇ(ｘ)の高周波成分を含んでおり、２乗演算器１２から出力される２乗信号Ｓ１２はこの第１信号Ｓ１を２乗して得られる信号である。そこで、（ｇ(ｘ)）2を求めると、上記式（２）より、この（ｇ(ｘ)）2における各項は下記式のいずれかで表現される。
ａicosｉωx・ａjcosｊωx …（３ａ）
ａicosｉωx・ｂjsinｊωx …（３ｂ）
ｂisinｉωx・ｂjsinｊωx …（３ｃ）
（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）
三角関数に関する公式を用いて上記式を下記のように書き直すことができる。
(ａiａj／２)｛cos(ｉ＋ｊ)ωx＋cos(ｉ−ｊ)ωx｝ …（４ａ）
(ａiｂj／２)｛sin(ｉ＋ｊ)ωx−sin(ｉ−ｊ)ωx｝ …（４ｂ）
(−ｂiｂj／２)｛cos(ｉ＋ｊ)ωx−cos(ｉ−ｊ)ωx｝ …（４ｃ）
上記式より（ｇ(ｘ)）2は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、２乗信号Ｓ１２も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。（ｇ(ｘ)）2のように偶数乗の場合は、上記式（４ａ）（４ｃ）に示す項において直流成分が発生する場合がある。これに対し本実施形態では、第１微分器１３により当該直流分が除去される（図１参照）。
したがって、上記のようにデジタル画像信号をアップコンバートして画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓｉｎとして本実施形態の画像強調装置１００に入力されると、２乗演算器１２の処理に基づき、出力画像信号Ｓｏｕｔの周波数スペクトルは、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第２信号Ｓ２が補償用信号として生成され、この第２信号Ｓ２が入力画像信号Ｓｉｎに付加される。その結果、出力画像信号Ｓｏｕｔの周波数スペクトルは図８（Ｂ）に示すようになり、従来の画像強調装置に比べ、拡大処理後の画像に対して十分な鮮鋭化が可能となる。また、入力画像信号Ｓｉｎには含まれない高周波数成分すなわち元のナイキスト周波数ｆｓ／２よりも高い周波数成分が付加されて画像が鮮鋭化されており、この点で、本実施形態は、入力画像信号Ｓｉｎの表す画像を高解像度化するものと言える。なお、上記説明から（式（１）〜（４ｃ）参照）、非線形処理部１０２に入力すべき第１信号Ｓ１は、原理的には、入力画像信号Ｓｉｎから直流成分が除去された信号であればよく、ＨＰＦ１１に代えて、入力画像信号Ｓｉｎに含まれる周波数成分のうち少なくとも直流成分を除去する他のフィルタを使用してもよい。
＜１．３ 効果＞
上記のように本実施形態によれば、入力画像信号ＳｉｎからＨＰＦ１１で抽出された高域成分としての第１信号Ｓ１に対する２乗演算器１２での処理により２乗信号Ｓ１２が生成され、その２乗信号Ｓ１２に基づき第１信号Ｓ１の正負が保存されるように生成された第２信号Ｓ２が、補償用信号として入力画像信号Ｓｉｎに加算される。これにより、十分に画像が鮮鋭化され、従来の画像強調装置よりも大幅に画質を改善することができる。また、図１〜図４に示すような簡単な構成で本実施形態に係る画像強調装置１００を実現できるので、この画像強調装置１００を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。なお、本実施形態における非線形処理部１０２内の２乗演算器１２および乗算器１５はハードウェア乗算器として実現してもよいが、入力画像信号Ｓｉｎ等のビット数は大きなものではないので（例えば２５６階調の画像の場合は８ビット）、２乗演算器１２および乗算器１５をＲＯＭ（Read Only Memory）テーブルとして実現することができる。このようなＲＯＭテーブルによる実現は、高速な処理を可能とし、リアルタイムで表示される動画を対象とする場合に有効である。
また本実施形態は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。
＜１．４ 第１の実施形態の変形例＞
上記では、本実施形態の画像強調装置１００による処理対象としての画像における水平方向の画素列を表すデータ列（画素値の系列）によって入力画像信号Ｓｉｎが構成されるものとしており、ＨＰＦ１１や第１および第２微分器１３，１４は当該画像における水平周波数や水平方向の画素値の変化につきフィルタ処理や微分処理を行うものとして説明されている。すなわち、上記実施形態では、当該画像の水平方向について画像強調処理がなされていると言える。しかし、水平方向の画像強調処理に加えて、当該画像における垂直方向の画像強調処理も行うのが好ましい。このため、図９に示すように、画像強調装置が水平方向の画像強調処理のための水平方向処理部１１００と垂直方向の画像強調処理のための垂直方向処理部１２００とを備える構成とするのが好ましい。この構成では、処理対象としての画像を表す入力画像信号ＳＩが水平方向処理部１１００に入力され、水平方向処理部１１００からの出力信号が垂直方向処理部１２００に入力され、垂直方向処理部１２００からの出力信号が当該画像強調装置の出力画像信号ＳＯとなる。なお、この構成において、水平方向処理部１１００と垂直方向処理部１２００との前後関係を入れ替え、入力画像信号ＳＩが垂直方向処理部１２００に入力され、垂直方向処理部１２００の出力信号が水平方向処理部１１００に入力されるようにしてもよい。
上記構成における垂直方向処理部１２００は、処理対象としての画像における垂直方向の画素列を表すデータ列（画素値の系列）によって入力画像信号ＳＩが構成されるようにすれば、本実施形態と同一構成（図１〜図４）で実現可能である。しかし、上記実施形態と同様の入力画像信号ＳＩ（水平方向の画素列を表すデータ列によって構成される入力画像信号ＳＩ）を使用し、ＨＰＦ１１を図１０に示す構成とし、第１および第２微分器１３，１４を図１１に示す構成としてもよい。図２の構成が画像の水平方向の空間周波数成分のうち高周波成分を抽出（少なくとも直流成分を除去）していたのに対し、図１０の構成は、画像の垂直方向の空間周波数成分のうち高周波成分を抽出（少なくとも直流成分を除去）する。このために図１０の構成では、図２の構成における単位遅延素子１１１〜１１ｍが、１水平期間分の遅延素子に相当するラインメモリ（ＬＭ）１１１Ｂ〜１１(ｍ-1)Ｂにそれぞれ置き換えられている。しかし図１０の構成は、この点を除き、図２の構成と同様であり、同一部分には同一の参照符号を付して説明を省略する。また、図１１の構成は、図４の構成における単位遅延素子１０２１が、１水平期間分の遅延素子に相当するラインメモリ（ＬＭ）１０２１Ｂに置き換えられている点を除き、図４の構成と同様であり、同一部分には同一の参照符号を付して説明を省略する。なお、図４の構成による第１微分器１３は、画像の水平方向の空間周波数についての直流成分が第２信号Ｓ２に含まれないようにしていたのに対し、図１１の構成による第１微分器１３は、画像の垂直方向の空間周波数についての直流成分が第２信号Ｓ２に含まれないようにする。
また、テレビジョン受像機などで表示されるような動画を処理対象とする場合には、各画素値は時間的に変化するので、時間方向の画像強調処理のための時間方向処理部１３００を設け、図１２に示すように、画像強調装置が上記の水平方向処理部１１００および垂直方向処理部１２００に加えて時間方向処理部１３００を備える構成とするのが好ましい。この場合、上記実施形態と同様の入力画像信号ＳＩを使用し、上記実施形態において、ＨＰＦ１１を図１３に示す構成とし、第１および第２微分器１３，１４を図１４に示す構成とすることにより、時間方向処理部１３００を実現することができる。図１３の構成は、図２の構成における単位遅延素子１１１〜１１ｍが、１フレーム期間分の遅延素子に相当するフレームメモリ（ＦＭ）１１１Ｃ〜１１(ｍ-1)Ｃにそれぞれ置き換えられている点を除き、図２の構成と同様であり、同一部分には同一の参照符号を付して説明を省略する。また、図１４の構成は、図４の構成における単位遅延素子１０２１が、１フレーム期間分の遅延素子に相当するフレームメモリ（ＦＭ）１０２１Ｃに置き換えられている点を除き、図４の構成と同様であり、同一部分には同一の参照符号を付して説明を省略する。なお、図１３の構成によるＨＰＦ１１Ｃは、画像の時間方向の周波数成分のうち高周波成分を抽出（少なくとも直流成分を除去）し、図１４の構成による第１微分器１３は、画像の時間方向の周波数についての直流成分が第２信号Ｓ２に含まれないようにする。
なお、本実施形態では第１信号Ｓ１に非線形処理を施すために２乗演算器１２が設けられているが、この２乗演算器１２に代えて、第１信号Ｓ１を４乗する４乗演算器を使用してもよく、また、より一般的には、２以上の偶数を冪指数とする第１信号Ｓ１の冪乗に相当する信号を生成する冪乗演算器を使用してもよい。また、本実施形態における第１微分器１３および第２微分器１４の一方または双方を他のハイパスフィルタ（ＨＰＦ）に代えてもよい。なお、一般に微分器は一種のハイパスフィルタと見なすこともできる。
＜２．第２の実施形態＞
図１５は、本発明の第２の実施形態に係る画像強調装置の構成を示すブロック図である。この画像強調装置２００は、デジタル信号として外部から入力される入力画像信号Ｓｉｎの表す画像を鮮鋭化するための画像強調処理を当該入力画像信号Ｓｉｎに対して施す装置であって、ＨＰＦ１１と非線形処理部２０２と加算器１６とを備えており、非線形処理部２０２は、上記第１の実施形態における２乗演算器１２に代えて絶対値処理器２２を有している。本実施形態における他の部分は、上記第１の実施形態と同様であるので（図１〜図４）、同一部分には同一の参照符号を付して詳しい説明を省略する。
本実施形態では、ＨＰＦ１１から出力される第１信号Ｓ１は、非線形処理部２０２の絶対値処理器２２に入力される。絶対値処理器２２は、第１信号Ｓ１の絶対値に相当する信号を絶対値信号Ｓ２２として生成する。すなわち、第１信号Ｓ１を構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、絶対値信号Ｓ２２は、データ列｜Ｘ１｜，｜Ｘ２｜，｜Ｘ３｜，…によって構成されるデジタル信号である。この絶対値信号Ｓ２２は第１微分器１３に入力され、当該微分器１３は、この絶対値信号Ｓ２２を微分することにより第１微分信号Ｓ２３を生成する。この第１微分信号Ｓ２３は乗算器１５に入力される。
一方、非線形処理部２０２の第２微分器１４は、入力画像信号Ｓｉｎを微分することにより第２微分信号Ｓ１４を生成する。この第２微分信号Ｓ１４も乗算器１５に入力される。
乗算器１５は、第１微分信号Ｓ２３と第２微分信号Ｓ１４とを乗算することにより第２信号Ｓ２を生成する。この第２信号Ｓ２は、非線形処理部１０２から出力されて加算器１６に入力される。
加算器１６は、上記第２信号Ｓ２を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
次に、上記のように構成された本実施形態に係る画像強調装置２００の動作を、入力画像信号Ｓｉｎのうち図６（Ａ）に示すように水平方向に画像信号のレベル（画素値）が変化するエッジに相当する部分に対する処理に着目して説明する。
本実施形態も上記第１の実施形態の動作と基本的に同様の動作を行う。すなわち、図６（Ａ）に示すようなエッジに相当する部分を示す入力画像信号Ｓｉｎが本実施形態に係る画像強調装置２００に入力されると、図５（Ｃ）に示すような信号が第１信号Ｓ１として生成される。本実施形態では、この第１信号Ｓ１は非線形処理部１０２における絶対値処理器２２に入力される。この絶対値処理器２２は、図５（Ｃ）に示すような第１信号Ｓ１から図６（Ｂ）に示す信号Ｓ１２に類似した絶対値信号Ｓ２２を生成する。すなわち、絶対値処理器２２は、第１信号Ｓ１を構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、データ列｜Ｘ１｜，｜Ｘ２｜，｜Ｘ３｜，…によって構成されるデジタル信号を、絶対値信号Ｓ２２として生成する。これに対し、２乗信号Ｓ１２は、データ列Ｘ１2，Ｘ２2，Ｘ３2，…によって構成されるデジタル信号である。このため、２乗信号Ｓ１２と絶対値信号Ｓ２２とでは、信号レベルが異なるが、全体的な信号波形は同様の形状となる（図６（Ｂ））。
したがって、このような絶対値信号Ｓ２２から第１微分器１３によって、図６（Ｃ）に示すような第１微分信号Ｓ１３と同様の第１微分信号Ｓ２３が生成される。このときの絶対値Ｓ２２の微分により直流成分が除去される。
一方、入力画像信号Ｓｉｎから第２微分器１４によって図６（Ｄ）に示すような第２微分信号Ｓ１４が生成される。この第２微分信号Ｓ１４と上記の第１微分信号Ｓ２３とから乗算器１５によって図６（Ｅ）に示すような第２信号Ｓ２が生成される。この第２信号Ｓ２が補償用信号として加算器１６で入力画像信号Ｓｉｎに加算されることにより、図６（Ｆ）に示すような出力画像信号Ｓｏｕｔが生成される。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりは、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となる。
上記説明からわかるように、絶対値処理器２２を含む非線形処理部１０２から補償用信号として出力される第２信号Ｓ２は、ＨＰＦ１１から出力される高域信号としての第１信号Ｓ１（図５（Ｃ））に非線形処理を施すことにより得られる信号である。また、第１微分器１３によって、第２信号Ｓ２は直流成分を含まない信号となっている。さらに、第２微分器１４によって得られる第２微分信号Ｓ１４が第１微分信号Ｓ２３に乗算されることにより、第２信号Ｓ２（図６（Ｅ））において第１の信号（図５（Ｃ））の正負が実質的に保存される。本実施形態では、このような第１信号Ｓ１に対する処理の非線形性と第１信号Ｓ１の正負の保存性とに基づき、出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりが、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となり（図６（Ｆ））、従来よりも鮮鋭な画像が得られる。
本実施形態では、第１信号Ｓ１に対する処理の非線形性は、絶対値処理器２２に基づくものであり、絶対値処理器２２による処理が第１信号Ｓ１に施されることにより、入力画像信号Ｓｉｎのナイキスト周波数ｆｓ／２よりも高い周波数成分が生成される。すなわち、三角関数sinｘの絶対値｜sinｘ｜をフーリエ級数に展開すると、cos（２πｘ）を含む項等、ｘの２倍以上の周波数の成分に対応する項が現れる。このため、絶対値処理器２２によって生成される絶対値信号Ｓ２２には、入力画像信号Ｓｉｎの高周波成分を含む第１信号Ｓ１の高調波が含まれる。したがって、入力画像信号Ｓｉｎに補償用信号として加算される第２信号Ｓ２は、上記ナイキスト周波数ｆｓ／２よりも高い高周波成分を含む。
したがって、本実施形態によれば、上記第１の実施形態と同様、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、図１５に示すような簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力画像信号Ｓｉｎとする場合には、ナイキスト周波数ｆｓ／２を越える高周波域の補償ができない従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化して大幅に画質を改善することができる。
なお、本実施形態においても、上記第１の実施形態と同様、水平方向の画像強調処理に加えて、当該画像における垂直方向の画像強調処理も行うのが好ましい。このため、図９に示すように、画像強調装置２００が水平方向の画像強調処理のための水平方向処理部１１００と垂直方向の画像強調処理のための垂直方向処理部１２００とを備える構成とするのが好ましい（図９〜図１１参照）。この点は後述の他の実施形態においても同様である。また、テレビジョン受像機などで表示されるような動画を処理対象とする場合には、各画素値は時間的に変化するので、時間方向の画像強調処理のための時間方向処理部１３００を設け、図１２に示すように、画像強調装置２００が上記の水平方向処理部１１００および垂直方向処理部１２００に加えて時間方向処理部１３００を備える構成とするのが好ましい（図１２〜図１４参照）。この点も後述の他の実施形態においても同様である。
＜３．第３の実施形態＞
図１６は、本発明の第３の実施形態に係る画像強調装置の構成を示すブロック図である。この画像強調装置３００は、デジタル信号として外部から入力される入力画像信号Ｓｉｎの表す画像を鮮鋭化するための画像強調処理を当該入力画像信号Ｓｉｎに対して施す装置であって、ＨＰＦ１１と非線形処理部３０２と加算器１６とを備えており、非線形処理部３０２は、３乗演算器３２とリミッタ３３とから構成されている。本実施形態の構成のうち非線形処理部３０２以外の部分は、上記第１の実施形態と同様であるので（図１〜図４）、同一部分には同一の参照符号を付して詳しい説明を省略する。
本実施形態では、ＨＰＦ１１から出力される第１信号Ｓ１は、非線形処理部３０２の３乗演算器３２に入力される。３乗演算器３２は、第１信号Ｓ１を３乗することにより３乗信号Ｓ３２を生成する。すなわちＳ３２＝Ｓ１3である。なお、第１信号Ｓ１はデジタル信号（離散化された信号）であるので、より詳しくは、第１信号Ｓ１を構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、３乗信号Ｓ３２は、データ列Ｘ１3，Ｘ２3，Ｘ３3，…によって構成されるデジタル信号である。この３乗信号Ｓ３２はリミッタ３３に入力される。
リミッタ３３は、３乗信号Ｓ３２の振幅（信号レベル）の調整器として機能するものである。具体的には、３乗信号Ｓ３２に０≦α＜１なる定数αを乗算することにより当該信号のレベルのゲイン調整を行い、更に、３乗信号Ｓ３２のゲイン調整後の振幅が所定の上限値以下となるようにクリップ処理を行う。例えば、３乗信号Ｓ３２のゲイン調整後の信号値の絶対値が３２を越える場合に、リミッタ３３の出力信号をその符号に応じて±３２とする。リミッタ３３の出力信号は非線形処理部３０２から第２信号Ｓ２として出力されて、加算器１６に入力される。
加算器１６は、上記第２信号Ｓ２を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
次に、上記のように構成された本実施形態に係る画像強調装置３００の動作を、入力画像信号Ｓｉｎのうち図１７（Ａ）に示すように水平方向に画像信号のレベル（画素値）が変化するエッジに相当する部分に対する処理に着目して説明する。
図１７（Ａ）に示すようなエッジに相当する部分を示す入力画像信号Ｓｉｎが本実施形態に係る画像強調装置３００に入力されると、図１７（Ｂ）に示すような信号が第１信号Ｓ１として生成される。本実施形態では、この第１信号Ｓ１は非線形処理部１０２における３乗演算器３２に入力される。３乗演算器３２は、第１信号Ｓ１から図１７（Ｃ）に示すような３乗信号Ｓ３２を生成する。ここで、第１信号Ｓ１を構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、この３乗信号Ｓ３２は、データ列Ｘ１3，Ｘ２3，Ｘ３3，…によって構成されるデジタル信号である。したがって、３乗信号Ｓ３２では、第１信号Ｓ１における正負が保存されている。
このような３乗信号Ｓ３２は、リミッタ３３において、ゲイン調整およびクリップ処理によって振幅を調整された後、第２信号Ｓ２として非線形処理部３０２から出力される。この第２信号Ｓ２が補償用信号として加算器１６で入力画像信号Ｓｉｎに加算されることにより、図１７（Ｄ）に示すような出力画像信号Ｓｏｕｔが生成される。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりは、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となる。
上記説明からわかるように、補償用信号として入力画像信号Ｓｉｎに加算される第２信号Ｓ２は、ＨＰＦ１１から出力される高域信号としての第１信号Ｓ１（図１７（Ｂ））に非線形処理を施すことにより得られる信号である。すなわち、この第２信号Ｓ２は、第１信号Ｓ１から３乗演算器３２によって生成されたものであり、しかも、２乗演算器１２に基づく非線形処理とは異なり、第２信号Ｓ２において第１信号Ｓ１の正負が保存される。本実施形態では、このような第１信号Ｓ１に対する処理の非線形性と第１信号Ｓ１の正負の保存性とに基づき、出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりが、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となり（図１７（Ｄ））、従来よりも鮮鋭な画像が得られる。
本実施形態では、第１信号Ｓ１に対する処理の非線形性は、３乗演算器３２に基づくものである。すなわち、本実施形態においても、第１の実施形態と同様、ＨＰＦ１１から出力される第１信号Ｓ１は、既述の式（２）で示される信号ｇ(ｘ)または信号ｇ(ｘ)の高周波成分を含んでおり、３乗演算器３２から出力される３乗信号Ｓ３２はこの第１信号Ｓ１を３乗して得られる信号である。そこで、（ｇ(ｘ)）3を求めると、式（２）より、この（ｇ(ｘ)）3における各項は下記式のいずれかで表現される。
ａicosｉωx・ａjcosｊωx・ａkcosｋωx …（５ａ）
ａicosｉωx・ａjcosｊωx・ｂksinｋωx …（５ｂ）
ａicosｉωx・ｂjsinｊωx・ｂksinｋωx …（５ｃ）
ｂisinｉωx・ｂjsinｊωx・ｂksinｋωx …（５ｄ）
(i＝±1，±2，…，±N； j＝±1，±2，…，±N； k＝±1，±2，…，±N)
いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（５ａ）（５ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。
(ａNcosＮωx)3＝ａN 3｛(3/4)cosＮωx＋(1/4)cos３Ｎωx｝ …（６ａ）
(ｂNsinＮωx)3＝ｂN 3｛(3/4)sinＮωx−(1/4)sin３Ｎωx｝ …（６ｄ）
また、例えばｉ＝ｊ＝ｋ＝−Ｎの項のうち上記式（５ａ）（５ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。
｛ａNcos(-Ｎωx)｝3
＝ａN 3｛(3/4)cos(-Ｎωx)＋(1/4)cos(-３Ｎωx)｝ …（７ａ）
｛ｂNsin(-Ｎωx)｝3
＝ｂN 3｛(3/4)sin(-Ｎωx)−(1/4)sin(-３Ｎωx)｝ …（７ｄ）
上記式（６ａ）（６ｄ）（７ａ）（７ｄ）より、（ｇ(ｘ)）3は、基本角周波数ωの３Ｎ倍の周波数成分や−３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）3における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）3は、基本角周波数ωの−３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。
このようにして、（ｇ(ｘ)）3は、第１信号Ｓ１に含まれる周波数成分の３倍の周波数成分までの高い周波数成分を含む。このため、３乗信号Ｓ３２も、第１信号Ｓ１に含まれる周波数成分の３倍の周波数成分等のようなナイキスト周波数ｆｓ／２よりも十分に高い周波数成分を含む。したがって、本実施形態によれば、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、図１６に示すような簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力画像信号とする場合には、ナイキスト周波数ｆｓ／２を越える高周波域の補償ができない従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化して大幅に画質を改善することができる。
なお、本実施形態では第１信号Ｓ１に非線形処理を施すために３乗演算器３２が設けられているが、この３乗演算器３２に代えて、第１信号Ｓ１を５乗する５乗演算器を使用してもよく、また、より一般的には、３以上の奇数を冪指数とする第１信号Ｓ１の冪乗に相当する信号を生成する冪乗演算器を使用してもよい。
＜４．第４の実施形態＞
図１８は、本発明の第４の実施形態に係る画像強調装置の構成を示すブロック図である。この画像強調装置４００は、デジタル信号として外部から入力される入力画像信号Ｓｉｎの表す画像を鮮鋭化するための画像強調処理を当該入力画像信号Ｓｉｎに対して施す装置であって、ＨＰＦ１１と非線形処理部４０２と加算器１６とを備えており、非線形処理部４０２は、２乗演算器１２と符号変換器４３とリミッタ３３とから構成されている。本実施形態の構成のうち非線形処理部４０２以外の部分は、上記第１の実施形態と同様である（図１〜図４）。また、非線形処理部４０２における２乗演算器１２およびリミッタ３３は、それぞれ、第１の実施形態における２乗演算器１２および第３の実施形態におけるリミッタ３３と同じものである。本実施形態の構成要素のうち第１または第３の実施形態における構成要素と同一のものについては、同一の参照符号を付して詳しい説明を省略する。
本実施形態では、ＨＰＦ１１から出力される第１信号Ｓ１は、非線形処理部４０２の２乗演算器１２に入力される。２乗演算器１２は、第１信号Ｓ１を２乗することにより２乗信号Ｓ１２を生成する。この２乗信号Ｓ１２は符号変換器４３に入力される。この符号変換器４３には、第１信号Ｓ１も入力される。
符号変換器４３は、ＨＰＦ１１から出力される第１信号Ｓ１の符号ビット情報に基づき、第１信号Ｓ１の符号を２乗信号Ｓ１２において復活させる符号変換処理を行う。すなわち、符号変換器４３は、２乗信号Ｓ１２のうち正負が第１信号Ｓ１と同じ部分の正負をそのまま維持し、２乗信号Ｓ１２のうち正負が前記第１の信号と異なる部分の正負を反転させる。この符号変換器４３により得られた信号は、符号変換信号Ｓ４３としてリミッタ３３に入力される。符号変換信号Ｓ４３は、このリミッタ３３により第３の実施形態のリミッタ３３と同様にして振幅を調整された後、第２信号Ｓ２として非線形処理部４０２から出力される。この第２信号Ｓ２は補償用信号として加算器１６に入力される。
加算器１６は、上記第２信号Ｓ２を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
次に、上記のように構成された本実施形態に係る画像強調装置４００の動作を、入力画像信号Ｓｉｎのうち図２０（Ａ）に示すように水平方向に画像信号のレベル（画素値）が変化するエッジに相当する部分に対する処理に着目して説明する。
図２０（Ａ）に示すようなエッジに相当する部分を示す入力画像信号Ｓｉｎが本実施形態に係る画像強調装置４００に入力されると、図２０（Ｂ）に示すような信号が第１信号Ｓ１として生成される。本実施形態では、この第１信号Ｓ１は非線形処理部４０２における２乗演算器１２に入力される。２乗演算器１２は、第１信号Ｓ１から図２０（Ｃ）に示すような２乗信号Ｓ１２を生成する。
この２乗信号Ｓ１２は、符号変換器４３によって図２０（Ｄ）に示すような符号変換信号Ｓ４３に変換される。この符号変換信号Ｓ４３では、第１信号Ｓ１の正負が保存されており、また、この符号変換信号Ｓ４３は、直流成分を含まない第１信号Ｓ１（図２０（Ｃ））を２乗した後に符号変換処理を施すことにより得られるので、直流成分を含まない（図２０（Ｄ））。
このような符号変換信号Ｓ４３は、リミッタ３３において振幅を調整された後、第２信号Ｓ２として非線形処理部３０２から出力される。この第２信号Ｓ２が補償用信号として加算器１６で入力画像信号Ｓｉｎに加算されることにより、図２０（Ｅ）に示すような出力画像信号Ｓｏｕｔが生成される。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりは、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となる。
上記説明からわかるように、補償用信号として入力画像信号Ｓｉｎに加算される第２信号Ｓ２は、ＨＰＦ１１から出力される高域信号としての第１信号Ｓ１（図２０（Ｂ））に非線形処理を施すことにより得られる信号である。すなわち、この第２信号Ｓ２は、第１信号Ｓ１から２乗演算器１２によって生成されたものであり、符号変換器４３によって第１信号Ｓ１の正負が第２信号Ｓ２において保存される。本実施形態では、このような第１信号Ｓ１に対する処理の非線形性と第１信号Ｓ１の正負の保存性とに基づき、出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりが、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となり（図２０（Ｅ））、従来よりも鮮鋭な画像が得られる。
また、第２信号Ｓ２は、２乗演算器１２の処理に基づき、入力画像信号Ｓｉｎのサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。したがって、本実施形態によれば、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、図１８に示すような簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力画像信号とする場合には、ナイキスト周波数ｆｓ／２を越える高周波域の補償ができない従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化して大幅に画質を改善することができる。
なお、本実施形態では第１信号Ｓ１に非線形処理を施すために２乗演算器１２が設けられているが、この２乗演算器１２に代えて、第１信号Ｓ１を４乗する４乗演算器を使用してもよく、また、より一般的には、２以上の偶数を冪指数とする第１信号Ｓ１の冪乗に相当する信号を生成する冪乗演算器を使用してもよい。
＜５．第５の実施形態＞
図１９は、本発明の第５の実施形態に係る画像強調装置の構成を示すブロック図である。この画像強調装置５００は、デジタル信号として外部から入力される入力画像信号Ｓｉｎの表す画像を鮮鋭化するための画像強調処理を当該入力画像信号Ｓｉｎに対して施す装置であって、ＨＰＦ１１と非線形処理部５０２と加算器１６とを備えており、非線形処理部５０２は、２乗演算器１２と微分器１３と符号変換器４３とリミッタ３３とから構成されている。本実施形態の構成のうち非線形処理部５０２以外の部分は、上記第１の実施形態と同様である（図１〜図４）。また、非線形処理部５０２における２乗演算器１２および微分器１３は、それぞれ、第１の実施形態における２乗演算器１２および第１微分器１３と同じ構成要素であり、非線形処理部５０２におけるリミッタ３３は第３の実施形態におけるリミッタ３３と同じ構成要素である。本実施形態の構成要素のうち第１または第３の実施形態における構成要素と同一のものについては、同一の参照符号を付して詳しい説明を省略する。
本実施形態では、ＨＰＦ１１から出力される第１信号Ｓ１は、非線形処理部５０２の２乗演算器１２に入力される。２乗演算器１２は、第１信号Ｓ１を２乗することにより２乗信号Ｓ１２を生成し、この２乗信号Ｓ１２は微分器１３に入力される。この微分器１３は、２乗信号Ｓ１２を微分することにより微分信号Ｓ１３を生成し、この微分信号Ｓ１３は符号変換器４３に入力される。この符号変換器４３には、第１信号Ｓ１も入力される。
符号変換器４３は、ＨＰＦ１１から出力される第１信号Ｓ１の符号ビット情報に基づき、第１信号Ｓ１の符号を微分信号Ｓ１３において復活させる符号変換処理を行う。すなわち、符号変換器４３は、微分信号Ｓ１３のうち正負が第１信号Ｓ１と同じ部分の正負をそのまま維持し、微分信号Ｓ１３のうち正負が前記第１の信号と異なる部分の正負を反転させる。この符号変換器４３により得られた信号は、符号変換信号Ｓ４４としてリミッタ３３に入力される。符号変換信号Ｓ４４は、このリミッタ３３により第３の実施形態のリミッタ３３と同様にして振幅を調整された後、第２信号Ｓ２として非線形処理部５０２から出力される。この第２信号Ｓ２は補償用信号として加算器１６に入力される。
次に、上記のように構成された本実施形態に係る画像強調装置５００の動作を、入力画像信号Ｓｉｎのうち図２１（Ａ）に示すように水平方向に画像信号のレベル（画素値）が変化するエッジに相当する部分に対する処理に着目して説明する。
図２１（Ａ）に示すようなエッジに相当する部分を示す入力画像信号Ｓｉｎが本実施形態に係る画像強調装置５００に入力されると、図２１（Ｂ）に示すような信号が第１信号Ｓ１として生成される。本実施形態では、この第１信号Ｓ１は非線形処理部４０２における２乗演算器１２に入力される。２乗演算器１２は第１信号Ｓ１から図２１（Ｃ）に示すような２乗信号Ｓ１２を生成する。
この２乗信号Ｓ１２は微分器１３に入力され、当該微分器１３によって図２１（Ｄ）に示すような微分信号Ｓ１３が生成される。この微分信号Ｓ１３では、２乗信号Ｓ１２に含まれていた直流成分が除去されている。この微分信号Ｓ１３は、符号変換器４３によって図２１（Ｅ）に示すような符号変換信号Ｓ４４に変換される。この符号変換信号Ｓ４４では、第１信号Ｓ１の正負が保存されている。
このような符号変換信号Ｓ４３は、リミッタ３３において振幅を調整された後、第２信号Ｓ２として非線形処理部３０２から出力される。この第２信号Ｓ２が補償用信号として加算器１６で入力画像信号Ｓｉｎに加算されることにより、図２１（Ｆ）に示すような出力画像信号Ｓｏｕｔが生成される。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりは、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となる。
上記説明からわかるように、補償用信号として入力画像信号Ｓｉｎに加算される第２信号Ｓ２は、ＨＰＦ１１から出力される高域信号としての第１信号Ｓ１（図２１（Ｂ））に非線形処理を施すことにより得られる信号である。すなわち、この第２信号Ｓ２は、第１信号Ｓ１から２乗演算器１２によって生成されたものであり、微分器１３によって直流成分が除去されていると共に、符号変換器４３によって第１信号Ｓ１の正負が第２信号Ｓ２において保存されている。本実施形態では、このような第１信号Ｓ１に対する処理の非線形性と第１信号Ｓ１の正負の保存性とに基づき、出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がりが、従来の画像強調装置の画像出力信号のエッジ部の立ち上がり（図５（Ｄ））よりも急峻となり（図２１（Ｆ））、従来よりも鮮鋭な画像が得られる。
また、第２信号Ｓ２は、２乗演算器１２の処理に基づき、入力画像信号Ｓｉｎのサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。したがって、本実施形態によれば、線形処理に基づく従来の画像強調装置よりも大きな画質改善が可能となる。また、図１９に示すような簡単な構成で画像の十分な鮮鋭化が可能であるので、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。さらに、画像拡大処理後の画像信号を入力画像信号とする場合には、ナイキスト周波数ｆｓ／２を越える高周波域の補償ができない従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化して大幅に画質を改善することができる。
本実施形態では、第１信号Ｓ１に対して非線形処理を施すために２乗演算器１２が使用されているが、これに代えて、第２の実施形態で使用されている絶対値処理器２２を使用してもよい。この場合にも、本実施形態と基本的に同様の動作により同様の効果が得られる（図２１参照）。
なお、本実施形態では第１信号Ｓ１に非線形処理を施すために２乗演算器１２が設けられているが、この２乗演算器１２に代えて、第１信号Ｓ１を４乗する４乗演算器を使用してもよく、また、より一般的には、２以上の偶数を冪指数とする第１信号Ｓ１の冪乗に相当する信号を生成する冪乗演算器を使用してもよい。また、本実施形態では、２乗信号Ｓ１２の直流成分を除去するために微分器１３が使用されているが、これに代えてハイパスフィルタ（ＨＰＦ）を使用してもよい。さらに、本実施形態では微分器１３は符号変換器４３の前段に配置されているが、これに代えて、微分器１３またはＨＰＦを符号変換器４３の後段に配置してもよい。
＜６．他の実施形態＞
以上において説明した実施形態では、非線形処理部における非線形性は、２乗演算や３乗演算（より一般的には、２以上の偶数または３以上の奇数を冪指数とする冪乗演算）、または絶対値処理に基づくものであるが、他の非線形演算によっても上記各実施形態と同様の効果を得ることは可能である。
以下、このような非線形演算のための非線形演算器の入力信号値をｘ、出力信号値をｙとし、この非線形演算器による処理を関数ｆ(ｘ)で表現するものとする（ｙ＝ｆ(ｘ)）。本発明では、非線形または正負対称に単調増加する非線形関数ｆ(ｘ)に相当する処理を行う非線形演算器を使用することができる。なお、ここでの単調増加は広義の単調増加を意味する。また、この非線形関数ｆ(ｘ)は、全てのｘにつき単調増加する必要はなく、少なくとも０近傍で単調増加すればよい。さらにまた、この非線形関数ｆ(ｘ)は、少なくとも０近傍の所定区間においてｆ(ｘ)＞ｘであることが好ましい。
例えば、正負対称に単調増加する上記のような非線形関数ｆ(ｘ)に相当する処理を行う非線形演算器６２を使用した図２２に示す構成の画像強調装置６００や、当該非線形演算器６２を使用した図２３に示す構成の画像強調装置７００によっても、入力画像信号Ｓｉｎには含まれない高周波数成分すなわち原信号のナイキスト周波数ｆｓ／２よりも高い周波数成分を画像に付加することが可能であり、上記各実施形態と同様の効果を奏する。図２２の画像強調装置６００は、図１８に示した第４の実施形態に係る画像強調装置４００において、２乗演算器１２の代わりに上記非線形演算器６２を使用したものであり、第４の実施形態の変形例においても、図１８の画像強調装置４００の代わりに図２２の画像強調装置６００を使用することができる。また、図２３の画像強調装置７００は、図１９に示した第５の実施形態に係る画像強調装置５００において、２乗演算器１２の代わりに上記非線形演算器６２を使用したものであり、第５の実施形態の変形例においても、図１９の画像強調装置５００の代わりに図２３の画像強調装置７００を使用することができる。
図２２または図２３に示す構成における非線形演算器６２の処理を示す関数ｆ(ｘ)、すなわち、正負対称かつ広義に単調増加し（好ましくは）ｆ(ｘ)＞ｘとなる非線形関数として、ｆ(ｘ)＝ｘ2n（ｎは自然数）の他、例えば下記の関数ｆ(ｘ)を使用することができる。
ｆ(ｘ)＝｜ｘ｜1/2 …（８）
ｆ(ｘ)＝｜ｘ｜1/10 …（９）
上記式（８）の関数ｆ(ｘ)および上記式（９）の関数ｆ(ｘ)は、ｘ＝０〜１の間で増加が大きいので、本実施形態に係る画像強調装置では、この区間を用いる。
入力画像信号Ｓｉｎが８ビットのデジタル信号であれば、画素値として０〜２５５の値をとる。そこで、実際に上記関数を使用する場合には、画素値ｘを２５５で正規化する。例えば上記式（８）の関数については、右辺におけるｘをｘ／２５５で置き換えると共に、右辺に２５５を乗算する。すなわち、次の関数
ｆ(ｘ)＝２５５｜ｘ／２５５｜1/2 …（１０）
を使用する。上記式（１０）の関数によれば、ｆ(ｘ)＞ｘの条件を満たす。なお、入力画像信号Ｓｉｎが１０ビットのデジタル信号であれば、１０２３で正規化すればよい。
上記式（１０）の関数では、式（８）の関数につき正規化後に２５５を乗算したが、この乗算する値は正規化のための値（この例では２５５）と同じ値である必要はない。例えば、ｆ(ｘ)＝１００｜ｘ／２５５｜1/2であっても、ｆ(ｘ)＞ｘの条件を満たされればよい。
上記手法を採用すれば、下記のような三角関数ｆ(ｘ)も、上記非線形演算器６２の処理を示す非線形関数として使用することができる。
ｆ(ｘ)＝２５５｜sin｛(ｘ／２５５)(π／２)｝｜ …（１１）
＜７．実画像による検証＞
本発明の効果を検証するために、本発明に係る画像強調処理を実際の画像に施した。以下、その画像強調処理の結果について説明する。
図２４は、本発明の効果を検証するために使用した画像（以下「元画像」という）を示しており、この元画像は、図面における掲載スペースの都合上、実際のサイズよりも縮小されている。図２５は、この元画像における右上部分を切り取って縦・横２倍の拡大処理を施した後の画像であって画像強調処理の対象となるもの（以下「対象画像」という）である。この対象画像は、拡大処理後のサンプリング周波数Ｆｂ＝２ｆｓに対応するナイキスト周波数Ｆｂ／２＝ｆｓ近傍の周波数成分を有していない（図８（Ａ）参照）。なお、図２４および図２５では、プリントアウトした場合等の便宜を考慮して擬似階調表示法が採用されている。この点は後述の図２６および図２７においても同様である。
図２６（Ｂ）は、対象画像に対し線形処理に基づく従来の画像強調処理が施された後の画像を示す図であり、比較のために、図２６（Ａ）に対象画像が示されている。既述のように、対象画像が拡大処理後のナイキスト周波数Ｆｂ／２＝ｆｓ近傍の周波数成分を有していないことから（図８（Ａ）参照）、従来の画像強調処理を当該対象画像に施しても画質は向上せず、図２６（Ａ）の対象画像と図２６（Ｂ）の画像との間では、鮮鋭度や解像度感にほとんど差が認められない。
図２７（Ａ）は、絶対値処理器２２を用いた図１５に示す構成による画像強調処理を水平方向と垂直方向にそれぞれ一次元処理として対象画像に施した後の画像を示している（図９参照）。図２７（Ａ）の画像では、図２６（Ａ）の対象画像に比べ、スカーフやいすの背もたれを中心に鮮鋭度または解像度が向上しており、この点で、図２７（Ａ）の画像は図２６（Ｂ）の画像とは大きく異なる。したがって、図１５の構成による画像強調処理は、線形処理に基づく従来の画像強調処理に比べ、拡大処理後の画像を十分に鮮鋭化して大幅に画質を改善することができると言える。
図２７（Ｂ）は、３乗演算器３２を用いた図１６に示す構成による画像強調処理を水平方向と垂直方向に一回ずつ対象画像に施した後の画像を示している（図９参照）。この画像強調処理において、入力画像信号Ｓｉｎは８ビットで、リミッタ３３におけるゲイン調整のための定数αは０．０３、クリップ処理のための上限値は±３２である。図２７（Ｂ）の画像を図２７（Ａ）の画像と比較すると、スカーフやいすの背もたれ部分の画質改善（鮮鋭化）は、図２７（Ａ）の画像の方が勝っているが、目や唇などのように画像信号の振幅が小さい部分は、２７（Ｂ）の画像の方が勝っている。このことから、図１５の構成と図１６の構成を比較すると、振幅が小さい画像信号に対しては図１６の構成すなわち３乗演算器３２を用いた構成の方が良い結果を与え、振幅が大きい画像信号に対しては図１５の構成すなわち絶対値処理器２２を用いた構成の方が良い結果を与えると言える。したがって、この点を考慮すると、画像全体の鮮鋭化による画質向上には、図１５の構成と図１６の構成とを併用する構成が好ましい。
＜８．他の変形例＞
以上では、本発明の実施形態として、非線形処理のために２乗演算器１２を使用した第１、第４、および第５の実施形態、絶対値処理器２２を使用した第２の実施形態、ならびに、３乗演算器３２を使用した第３の実施形態を説明したが、本発明に係る画像強調装置は、これらの第１〜第５の実施形態またはそれらの変形例（図９〜図１４）のいくつかを併用または組み合わせた構成であってもよい。
また、上記各実施形態は、ハードウェア（ＬＳＩ等の回路）として実現されるが、それらの構成の一部または全部をソフトウェア的に実現してもよい。例えば、図１、図１５、図１６、図１８および図１９にそれぞれ示す第１、第２、第３、第４、および第５の実施形態ならびに図２２および図２３に示す他の実施形態のいずれかの実施形態、またはその変形例による画像強調処理を行うためのプログラム（以下「画像強調プログラム」という）を、図２８に示すようなパーソナルコンピュータ（以下「パソコン」という）８００に実行させることにより、本発明に係る画像強調装置をソフトウェア的に実現することができる。特に、対象となる画像が静止画の場合には、このようにソフトウェア的に実現された画像強調装置によっても十分に実用的な画像強調処理が可能であり、画像の鮮鋭化による画質向上につき上記各実施形態と同様の効果が得られる。
上記パソコン８００は、汎用のコンピュータであって、中央処理装置としてのＣＰＵ８０１とメモリ８０３とモデム８０５と表示制御部８０７と入力インターフェース部８０９とハードディスク装置８１１とＣＤ−ＲＯＭ（Compact Disc Read Only Memory）駆動装置８１３とがバスで接続された構成となっていて、入力インターフェース部８０９にはキーボードやマウスなどの操作部８１０が接続され、表示制御部８０７には、ＣＲＴまたは液晶ディスプレイなどの表示装置８１５が接続される。上記画像強調プログラムは、典型的には、そのプログラムを記録した記録媒体であるＣＤ−ＲＯＭによって提供される。すなわち使用者は、上記画像強調プログラムの記録媒体としてのＣＤ−ＲＯＭ８５０を購入してＣＤ−ＲＯＭ駆動装置８１３に装着し、そのＣＤ−ＲＯＭ８５０からそのプログラムを読み出してハードディスク装置８１１にインストールする。また、これに代えて、モデム８０５に接続される通信回線を介して送られてくる画像強調プログラムを受信して、ハードディスク装置８１１にインストールするようにしてもよい。さらに、メーカがパソコン８００を出荷する前に上記画像強調プログラムをハードディスク装置８１１にインストールしておいてもよい。このようにしてハードディスク装置８１１にインストールされた画像強調プログラムは、使用者による操作部８１０に対する所定操作によって起動されると、メモリ８０３に転送されてそこに一時的に格納され、ＣＰＵ８０１によって実行される。これにより、パソコン８００は、上記各実施形態またはその変形例に係る画像強調装置と同様の画像強調処理を行う装置として動作する。このようにしてソフトウェア的に実現された画像強調装置では、画像強調処理の対象となる画像を表すデータが対象画像データとして予めハードディスク装置８１１に格納されていて、上記画像強調プログラムが起動されると、その対象画像データに対して、画像強調プログラムに基づき画像強調処理がＣＰＵ８０１によって施され、その処理後の画像データ（以下「処理済画像データ」という）が生成されてハードディスク装置８１１に格納される。
以上では、画質を改善するための画像強調処理、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画の質を改善するための画像強調処理について説明した。しかし本発明は、このような画像強調処理に限定されるものではなく、音質を向上させるための信号処理や音声等を含むコンテンツの質を向上させるための信号処理を行う装置にも適用することができ、また、通信回線を介して送られてくる信号の質を向上させるための信号処理を行う装置にも適用することができる。このような本発明に係る信号処理を行う装置では非線形処理によって原信号の高調波が得られることから、当該装置により生成される信号は、入力信号を離散化する場合のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含んでいる。これにより、信号の質（音質や画質等）につき、線形処理に基づく従来の信号処理よりも大きな改善が可能となり、また、簡単な構成で信号の質を高めることができる。
本発明は、画像を鮮鋭化して画質を改善するための画像強調装置、画像強調方法、および画像強調プログラムに適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像強調装置に適用することができる。
１１，１１Ｂ，１１Ｃ …高域通過フィルタ（ＨＰＦ）
１２ …２乗演算器（冪乗演算器）
１３ …第１微分器
１４ …第２微分器
１５ …乗算器
１６ …加算器
２２ …絶対値処理器
３２ …３乗演算器（冪乗演算器）
３３ …リミッタ
４３ …符号変換器
６２ …非線形演算器
１００ …画像強調装置（第１の実施形態）
１０２ …非線形処理部
１１０，１１０Ｂ，１１０Ｃ …デジタルフィルタ
１３２ …丸め処理器
１３３ …リミッタ
２００ …画像強調装置（第２の実施形態）
２０２ …非線形処理部
３００ …画像強調装置（第３の実施形態）
３０２ …非線形処理部
４００ …画像強調装置（第４の実施形態）
４０２ …非線形処理部
５００ …画像強調装置（第５の実施形態）
５０２ …非線形処理部
Ｓｉｎ …入力画像信号（入力信号）
Ｓｏｕｔ…出力画像信号
Ｓ１ …第１信号
Ｓ２ …第２信号
Ｓ１２ …２乗信号（第３の信号）
Ｓ１３ …第１微分信号（第４の信号）
Ｓ１４ …第２微分信号（第５の信号）
Ｓ２２ …絶対値信号（第３の信号）
Ｓ３２ …３乗信号（第３の信号）
したがって、上記のようにデジタル画像信号をアップコンバートして画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓｉｎとして本実施形態の画像強調装置１００に入力されると、２乗演算器１２の処理に基づき、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第２信号Ｓ２が補償用信号として生成され、この第２信号Ｓ２が入力画像信号Ｓｉｎに付加される。その結果、出力画像信号Ｓｏｕｔの周波数スペクトルは図８（Ｂ）に示すようになり、従来の画像強調装置に比べ、拡大処理後の画像に対して十分な鮮鋭化が可能となる。また、入力画像信号Ｓｉｎには含まれない高周波数成分すなわち元のナイキスト周波数ｆｓ／２よりも高い周波数成分が付加されて画像が鮮鋭化されており、この点で、本実施形態は、入力画像信号Ｓｉｎの表す画像を高解像度化するものと言える。なお、上記説明から（式（１）〜（４ｃ）参照）、非線形処理部１０２に入力すべき第１信号Ｓ１は、原理的には、入力画像信号Ｓｉｎから直流成分が除去された信号であればよく、ＨＰＦ１１に代えて、入力画像信号Ｓｉｎに含まれる周波数成分のうち少なくとも直流成分を除去する他のフィルタを使用してもよい。
図２１（Ａ）に示すようなエッジに相当する部分を示す入力画像信号Ｓｉｎが本実施形態に係る画像強調装置５００に入力されると、図２１（Ｂ）に示すような信号が第１信号Ｓ１として生成される。本実施形態では、この第１信号Ｓ１は非線形処理部５０２における２乗演算器１２に入力される。２乗演算器１２は第１信号Ｓ１から図２１（Ｃ）に示すような２乗信号Ｓ１２を生成する。

Claims (22)

  1. 入力信号の表す画像を鮮鋭化するための画像強調装置であって、
    画像を表す入力信号に含まれる周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより第１の信号を生成するフィルタ部と、
    前記第１の信号に対して非線形処理を施すことにより第２の信号を生成する非線形処理部と、
    前記第２の信号を前記入力信号に加算する加算部とを備え、
    前記非線形処理部は、
    前記第１の信号に対し少なくとも０近傍で、非線形または正負対称に、広義に単調増加する第３の信号を、前記第１の信号に基づいて生成し、
    前記第２の信号において前記第１の信号の正負が実質的に保存され、かつ、前記第２の信号が直流成分を含まないように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする、画像強調装置。
  2. 前記非線形処理部は、
    ２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成し、
    前記第２の信号において前記第１の信号の正負が実質的に保存されるように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  3. 前記非線形処理部は、
    ２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
    前記第３の信号を微分することにより第４の信号を生成する第１微分器と、
    前記入力信号を微分することにより第５の信号を生成する第２微分器と、
    前記第４の信号と前記第５の信号との積に基づき前記第２の信号を生成する乗算器と
    を含むことを特徴とする、請求項２に記載の画像強調装置。
  4. 前記非線形処理部は、
    ２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
    前記第３の信号に基づき前記第２の信号が生成されるように、前記第３の信号のうち正負が前記第１の信号と異なる部分の正負を前記第１の信号に基づき反転させる符号変換器と
    を含むことを特徴とする、請求項２に記載の画像強調装置。
  5. 前記非線形処理部は、
    ２以上の偶数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
    前記第３の信号の直流成分を除去することにより第４の信号を生成するフィルタと、
    前記第４の信号に基づき前記第２の信号が生成されるように、前記第４の信号のうち正負が前記第１の信号と異なる部分の正負を前記第１の信号に基づき反転させる符号変換器と
    を含むことを特徴とする、請求項２に記載の画像強調装置。
  6. 前記非線形処理部は、
    前記第１の信号の絶対値に相当する信号を前記第３の信号として生成し、
    前記第２の信号において前記第１の信号の正負が実質的に保存されるように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  7. 前記非線形処理部は、
    前記第１の信号の絶対値に相当する信号を前記第３の信号として生成する絶対値処理器と、
    前記第３の信号を微分することにより第４の信号を生成する第１微分器と、
    前記入力信号を微分することにより第５の信号を生成する第２微分器と、
    前記第４の信号と前記第５の信号との積に基づき前記第２の信号を生成する乗算器と
    を含むことを特徴とする、請求項６に記載の画像強調装置。
  8. 前記非線形処理部は、
    前記第１の信号の絶対値に相当する信号を前記第３の信号として生成する絶対値処理器と、
    前記第３の信号の直流成分を除去することにより第４の信号を生成するフィルタと、
    前記第４の信号に基づき前記第２の信号が生成されるように、前記第４の信号のうち正負が前記第１の信号と異なる部分の正負を前記第１の信号に基づき反転させる符号変換器と
    を含むことを特徴とする、請求項６に記載の画像強調装置。
  9. 前記非線形処理部は、３以上の奇数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成し、前記第３の信号に基づき前記第２の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  10. 前記非線形処理部は、
    ３以上の奇数を冪指数として前記第１の信号を冪乗することにより前記第３の信号を生成する冪乗演算器と、
    前記第３の信号の振幅を調整することにより前記第２の信号を生成する調整器と
    を含むことを特徴とする、請求項９に記載の画像強調装置。
  11. 前記非線形処理部は、前記第３の信号の絶対値が前記第１の信号の絶対値よりも大きくなる区間が少なくとも前記０近傍に現れるように前記第３の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  12. 前記非線形処理部は、前記第１の信号に対し前記第１の信号の最大振幅の少なくとも１／２以下の範囲では、非線形または正負対称に、広義に単調増加する信号を、前記第１の信号に基づき前記第３の信号として生成することを特徴とする、請求項１に記載の画像強調装置。
  13. 前記フィルタ部は、タップ数が３以上の高域通過型のデジタルフィルタを含むことを特徴とする、請求項１に記載の画像強調装置。
  14. 前記非線形処理部は、
    前記第１の信号のうち絶対値が所定の下限値よりも小さい部分の信号値を０に変更する丸め処理器と、
    前記第１の信号のうち絶対値が所定の上限値よりも大きい部分の信号値の絶対値を当該上限値以下の所定値に変更するリミッタと
    を含むことを特徴とする、請求項１に記載の画像強調装置。
  15. 前記非線形処理部は、前記第２の信号の振幅を調整するための調整器を含むことを特徴とする、請求項１に記載の画像強調装置。
  16. 前記フィルタ部は、前記画像の水平方向の空間周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより前記第１の信号を生成し、
    前記非線形処理部は、前記第２の信号が前記画像の水平方向の空間周波数についての直流成分を含まないように記第２の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  17. 前記フィルタ部は、前記画像の垂直方向の空間周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより前記第１の信号を生成し、
    前記非線形処理部は、前記第２の信号が前記画像の垂直方向の空間周波数についての直流成分を含まないように記第２の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  18. 前記画像は動画像であり、
    前記フィルタ部は、前記画像の時間方向の周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより前記第１の信号を生成し、
    前記非線形処理部は、前記第２の信号が前記画像の時間方向の周波数についての直流成分を含まないように記第２の信号を生成することを特徴とする、請求項１に記載の画像強調装置。
  19. 入力信号の表す画像を鮮鋭化するための画像強調方法であって、
    画像を表す入力信号に含まれる周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより第１の信号を生成するフィルタ処理ステップと、
    前記第１の信号に対して非線形処理を施すことにより第２の信号を生成する非線形処理ステップと、
    前記第２の信号を前記入力信号に加算する加算ステップとを備え、
    前記非線形処理ステップでは、
    前記第１の信号に対し少なくとも０近傍で、非線形または正負対称に、広義に単調増加する第３の信号が、前記第１の信号に基づいて生成され、
    前記第２の信号において前記第１の信号の正負が実質的に保存され、かつ、前記第２の信号が直流成分を含まないように、前記第３の信号に基づいて前記第２の信号が生成されることを特徴とする、画像強調方法。
  20. 入力信号の表す画像を鮮鋭化するための画像強調プログラムであって、
    画像を表す入力信号に含まれる周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより第１の信号を生成するフィルタ処理ステップと、
    前記第１の信号に対して非線形処理を施すことにより第２の信号を生成する非線形処理ステップと、
    前記第２の信号を前記入力信号に加算する加算ステップと
    をコンピュータに実行させ、
    前記非線形処理ステップでは、
    前記第１の信号に対し少なくとも０近傍で、非線形または正負対称に、広義に単調増加する第３の信号が、前記第１の信号に基づいて生成され、
    前記第２の信号において前記第１の信号の正負が実質的に保存され、かつ、前記第２の信号が直流成分を含まないように、前記第３の信号に基づいて前記第２の信号が生成されることを特徴とする、画像強調プログラム。
  21. 請求項２０に記載の画像強調プログラムを格納したコンピュータ読み取り可能な記録媒体。
  22. 入力信号の質を高めるための信号処理装置であって、
    入力信号に含まれる周波数成分のうち少なくとも直流成分を当該入力信号から除去することにより第１の信号を生成するフィルタ部と、
    前記第１の信号に対して非線形処理を施すことにより第２の信号を生成する非線形処理部と、
    前記第２の信号を前記入力信号に加算する加算部とを備え、
    前記非線形処理部は、
    前記第１の信号に対し少なくとも０近傍で、非線形または正負対称に、広義に単調増加する第３の信号を、前記第１の信号に基づいて生成し、
    前記第２の信号において前記第１の信号の正負が実質的に保存され、かつ、前記第２の信号が直流成分を含まないように、前記第３の信号に基づいて前記第２の信号を生成することを特徴とする、信号処理装置。
JP2011506954A 2009-03-31 2009-10-14 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置 Expired - Fee Related JP5281690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011506954A JP5281690B2 (ja) 2009-03-31 2009-10-14 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009088058 2009-03-31
JP2009088058 2009-03-31
PCT/JP2009/067787 WO2010113342A1 (ja) 2009-03-31 2009-10-14 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
JP2011506954A JP5281690B2 (ja) 2009-03-31 2009-10-14 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置

Publications (2)

Publication Number Publication Date
JPWO2010113342A1 true JPWO2010113342A1 (ja) 2012-10-04
JP5281690B2 JP5281690B2 (ja) 2013-09-04

Family

ID=42827666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011506954A Expired - Fee Related JP5281690B2 (ja) 2009-03-31 2009-10-14 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置

Country Status (7)

Country Link
US (1) US8508667B2 (ja)
EP (1) EP2416557A4 (ja)
JP (1) JP5281690B2 (ja)
CN (2) CN104539826B (ja)
BR (1) BRPI0924760A2 (ja)
RU (1) RU2497301C2 (ja)
WO (1) WO2010113342A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655101B2 (en) 2009-06-04 2014-02-18 Sharp Kabushiki Kaisha Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein
WO2010146728A1 (ja) 2009-06-16 2010-12-23 シャープ株式会社 波形整形装置、等化器、受信システム、波形整形装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011061957A1 (ja) 2009-11-17 2011-05-26 シャープ株式会社 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US8824825B2 (en) 2009-11-17 2014-09-02 Sharp Kabushiki Kaisha Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon
JP5450668B2 (ja) * 2010-02-15 2014-03-26 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
EP2538657A4 (en) * 2010-02-15 2014-01-01 Sharp Kk MOTION DETECTION DEVICE, CONTROL PROGRAM, AND INTEGRATED CIRCUIT
JP5583780B2 (ja) 2010-09-29 2014-09-03 シャープ株式会社 信号処理装置および集積回路
WO2012124591A1 (ja) * 2011-03-15 2012-09-20 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
JP2014135528A (ja) * 2011-04-27 2014-07-24 Sharp Corp 画像処理装置、表示装置、画像処理方法および画像処理プログラム
JP5932399B2 (ja) * 2012-03-02 2016-06-08 キヤノン株式会社 撮像装置及び音声処理装置
US8760580B2 (en) * 2012-06-19 2014-06-24 Silicon Integrated Systems Corp. Image sharpness device and method for the same
JP5396626B1 (ja) * 2012-08-09 2014-01-22 清一 合志 画像強調装置、画像強調方法
JP5320538B1 (ja) 2012-08-09 2013-10-23 清一 合志 画像強調装置、画像強調方法
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9066025B2 (en) 2013-03-15 2015-06-23 Samsung Electronics Co., Ltd. Control of frequency lifting super-resolution with image features
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
JP5629902B1 (ja) * 2013-08-20 2014-11-26 合志　清一 画像処理装置、画像処理方法
JP5730362B2 (ja) * 2013-08-30 2015-06-10 合志　清一 画像処理装置及び画像処理方法
WO2015115168A1 (ja) 2014-01-28 2015-08-06 シャープ株式会社 画像処理装置
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
WO2017123487A1 (en) * 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
CN108932103A (zh) * 2018-06-29 2018-12-04 北京微播视界科技有限公司 标识用户兴趣的方法、装置、终端设备及存储介质
CN112435195A (zh) * 2020-12-02 2021-03-02 湖南优象科技有限公司 一种基于自适应分数阶微分的图像增强方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2203013B (en) * 1987-03-31 1991-03-06 Sony Corp Aperture correction circuits
JPH07312704A (ja) 1994-05-18 1995-11-28 Victor Co Of Japan Ltd 画質補償回路
KR0170657B1 (ko) * 1994-08-31 1999-03-30 김광호 색신호에 있는 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로
JPH08139969A (ja) * 1994-11-08 1996-05-31 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH09319869A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> 画像エンハンサ
US6295322B1 (en) * 1998-07-09 2001-09-25 North Shore Laboratories, Inc. Processing apparatus for synthetically extending the bandwidth of a spatially-sampled video image
US6377313B1 (en) 1999-09-02 2002-04-23 Techwell, Inc. Sharpness enhancement circuit for video signals
KR100871025B1 (ko) 2001-04-11 2008-11-27 소니 가부시끼 가이샤 윤곽 강조 장치
JP3781050B1 (ja) * 2005-02-22 2006-05-31 三菱電機株式会社 画像処理装置、画像処理方法、および画像表示装置
JP2007208723A (ja) * 2006-02-02 2007-08-16 Victor Co Of Japan Ltd 輪郭強調装置及び輪郭強調プログラム
US20070223834A1 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Method for small detail restoration in digital images
JP4116649B2 (ja) 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP4475255B2 (ja) * 2006-06-19 2010-06-09 ソニー株式会社 画像処理装置
JP2008103785A (ja) 2006-10-17 2008-05-01 Sony Corp 輪郭強調回路、輪郭強調方法、撮像装置およびビューファインダ
RU2007116225A (ru) * 2007-04-28 2008-11-10 Корпораци "Самсунг Электроникс Ко., Лтд." (KR) Способ адаптивного повышения резкости изображения

Also Published As

Publication number Publication date
WO2010113342A1 (ja) 2010-10-07
CN102362486A (zh) 2012-02-22
US8508667B2 (en) 2013-08-13
EP2416557A1 (en) 2012-02-08
CN102362486B (zh) 2015-02-04
CN104539826B (zh) 2017-09-08
US20110279730A1 (en) 2011-11-17
CN104539826A (zh) 2015-04-22
JP5281690B2 (ja) 2013-09-04
BRPI0924760A2 (pt) 2016-01-26
RU2011143859A (ru) 2013-05-10
RU2497301C2 (ru) 2013-10-27
EP2416557A4 (en) 2013-01-23

Similar Documents

Publication Publication Date Title
JP5281690B2 (ja) 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
JP5583780B2 (ja) 信号処理装置および集積回路
WO2010140281A1 (ja) 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5450668B2 (ja) 信号処理装置、制御プログラム、および集積回路
WO2011061958A1 (ja) 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5291804B2 (ja) 符号化装置、符号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2012124591A1 (ja) 信号処理装置、制御プログラム、および集積回路
JP5320538B1 (ja) 画像強調装置、画像強調方法
JP5403450B1 (ja) 画像処理装置、画像処理方法
JP5730362B2 (ja) 画像処理装置及び画像処理方法
JP5396626B1 (ja) 画像強調装置、画像強調方法
JP5629902B1 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130524

R150 Certificate of patent or registration of utility model

Ref document number: 5281690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees