JP5450668B2 - 信号処理装置、制御プログラム、および集積回路 - Google Patents

信号処理装置、制御プログラム、および集積回路 Download PDF

Info

Publication number
JP5450668B2
JP5450668B2 JP2011553713A JP2011553713A JP5450668B2 JP 5450668 B2 JP5450668 B2 JP 5450668B2 JP 2011553713 A JP2011553713 A JP 2011553713A JP 2011553713 A JP2011553713 A JP 2011553713A JP 5450668 B2 JP5450668 B2 JP 5450668B2
Authority
JP
Japan
Prior art keywords
signal
motion
frequency component
sharpening
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011553713A
Other languages
English (en)
Other versions
JPWO2011099202A1 (ja
Inventor
清一 合志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011553713A priority Critical patent/JP5450668B2/ja
Publication of JPWO2011099202A1 publication Critical patent/JPWO2011099202A1/ja
Application granted granted Critical
Publication of JP5450668B2 publication Critical patent/JP5450668B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Description

本発明は、画像を鮮鋭化することにより画質を向上させる信号処理装置等に関するものである。
従来から、画像処理装置等にて、画像の画質を改善するために、画像を鮮鋭化する処理(以下、鮮鋭化処理)が行なわれている。例えば、従来のテレビジョン受像機では、自機に表示する画像の輪郭部に相当する画像信号の立ち上がりおよび立ち下がりを急峻にする輪郭補償が行なわれている。この輪郭補償は、テレビジョン受像機のディスプレイに入力された画像信号(輝度信号)の高周波成分を抽出し、該抽出した高周波成分を増幅したものを、上記入力された画像信号に加算することによって行なわれる。これにより、テレビジョン受像機内の各回路で行なれる処理によって劣化する画像信号の周波数特性を改善し、見かけ上の画質を向上させている。
ここで、動画像の場合、動き領域には動きボケが生じやすいため、一般的に、動き領域は静止領域よりもボケて見える。そのため、従来から、動画像の動き領域に対して、いわゆる、アンシャープマスクとも称される鮮鋭化処理を施すことが行なわれている。
なお、動画像における動き領域の動きボケを改善する技術として、特許文献1に開示されている技術がある。特許文献1に開示されている技術は、動き領域に対するバックライトの点灯制御を行なうPWMパルス(駆動電圧波形)を生成する技術である。
日本国公開特許公報「特開2009−198935号公報(公開日:2009年9月3日)」
しかしながら、従来技術による鮮鋭化処理は、通常、処理対象となる画像信号に対して線形演算を施す処理である。そのため、従来技術による鮮鋭化処理では、ナイキスト周波数よりも高い周波数成分(処理対象となる画像信号に含まれない高周波数成分)を利用することができないことから、画質を十分に改善することができないという問題がある。
また、特許文献1に開示されている技術は、バックライトの点灯を制御することによって、動き領域のボケ感を疑似的に低減しているにすぎず、映像信号を鮮鋭化する技術ではない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡易な構成により、動画像を高度に鮮鋭化することができる信号処理装置、制御プログラム、および集積回路を提供することにある。
上記課題を解決するために、本発明に係る信号処理装置は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像を表す信号を鮮鋭化した高調波を生成する第1の高周波成分生成手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、上記第1の高周波成分生成手段は、上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、上記第1の低周波除去信号を入力とし、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成し、当該第1の非線形処理信号を出力する第1の非線形処理手段と、上記動き領域信号と上記第1の非線形処理信号とを加算することによって、上記高調波を生成する加算手段とを備えることを特徴としている。
また、本発明に係る集積回路は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する集積回路であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出回路と、上記動き検出回路にて上記動きが検出された上記ブロック領域の動画像を表す信号を鮮鋭化した高調波を生成する高周波成分生成回路と、上記動き検出回路にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、上記動き検出回路にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力回路とを備えるとともに、上記高周波成分生成回路は、上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって低周波除去信号を生成する低周波成分除去回路と、上記低周波除去信号を入力とし、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が0の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成し、当該非線形処理信号を出力する非線形処理回路と、上記動き領域信号と上記非線形処理信号とを加算することによって、上記高調波を生成する加算回路とを有していることを特徴としている。
上記信号処理装置の構成によれば、ブロック領域毎にフレーム間での動きを検出し、動きが検出されたブロック領域(以下、動き領域)の動画像を表す信号を鮮鋭化した高調波を生成し、動き領域については上記高調波を出力し、動きが検出されなかったブロック領域(以下、静止領域)については当該静止領域の動画像を表す信号である非動き領域信号を出力する。そして、上記高調波を生成するにあたり、まず、動き領域の動画像を表す動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成する。そして、第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも第1の低周波除去信号の値が0の近傍のとき、第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成する。そして、動き領域信号と第1の低周波除去信号とを加算することによって、上記高調波を生成する。
よって、動画像のうち、動き領域の画像を表す動き領域信号に対して非線形処理を施した信号を出力することができる。
ここで、上記高調波は、動き領域信号と、第1の低周波除去信号を2乗する等の非線形処理を施した第1の非線形処理信号とを加算することにより生成される。ただし、生成される信号の符号の正負は、第1の低周波除去信号の符号の正負が維持される。
そのため、上記高調波には、動き領域の画像を表す信号の周波数成分には含まれない高帯域の周波数成分が含まれる。その結果、上記高調波は、動き領域の画像を表す信号を離散化する場合のサンプリング周波数の1/2の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。
上記集積回路の構成においても上述と同様に、動画像のうち、動き領域の画像を表す動き領域信号に対して非線形処理を施した信号を出力することができる。
したがって、本発明に係る信号処理装置および集積回路は、動き領域の画像を表す動き領域信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、本発明に係る信号処理装置および集積回路は、動き領域の画像を高度に鮮鋭化することが可能となり、動画像における動き領域の動きボケを大きく低減し、画質および解像度感を向上させることができるという効果を奏する。
また、本発明に係る信号処理装置は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第1の鮮鋭化信号を生成する第1の高周波成分生成手段と、上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第2の鮮鋭化信号を生成する第2の高周波成分生成手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記第2の鮮鋭化信号を出力し、上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、上記第1の高周波成分生成手段は、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号である主走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成する第1の非線形処理手段と、上記主走査方向信号と上記第1の非線形処理信号とを加算することによって、上記第1の鮮鋭化信号を生成する第1の加算手段とを備え、上記第2の高周波成分生成手段は、上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号である副走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第2の低周波除去信号を生成する第2の低周波成分除去手段と、上記第2の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第2の低周波除去信号の値が0の近傍のとき、上記第2の低周波除去信号に対して非線形に広義に単調増加する第2の非線形処理信号を生成して出力する第2の非線形処理手段と、上記副走査方向信号と上記第2の非線形処理信号とを加算することによって、上記第2の鮮鋭化信号を生成する第2の加算手段とを備えることを特徴としている。
上記の構成によれば、ブロック領域毎にフレーム間での動きを検出し、動きが検出されたブロック領域(以下、動き領域)の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号である主走査方向信号を鮮鋭化した第1の鮮鋭化信号を生成し、さらに、第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号である副走査方向信号を鮮鋭化した第2の鮮鋭化信号を生成する。そして、動き領域については第2の鮮鋭化信号を出力し、動きが検出されなかったブロック領域(以下、静止領域)については当該静止領域の動画像を表す信号である非動き領域信号を出力する。
そして、上記第1の鮮鋭化信号を生成するにあたり、まず、動き領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成する。そして、第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも第1の低周波除去信号の値が0の近傍のとき、第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成する。そして、第1の非線形処理信号を主走査方向信号に加算することによって、上記第1の鮮鋭化信号を生成する。
同様に、上記第2の鮮鋭化信号を生成するにあたり、まず、第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号ある副走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第2の低周波除去信号を生成する。そして、第2の低周波除去信号の符号の正負が維持され、かつ、少なくとも第2の低周波除去信号の値が0の近傍のとき、第2の低周波除去信号に対して非線形に広義に単調増加する第2の非線形処理信号を生成する。そして、第2の非線形処理信号を副走査方向信号に加算することによって、上記第2の鮮鋭化信号を生成する。
よって、動画像のうち、動き領域の動画像の主走査方向および副走査方向に対して非線形処理を施した信号を出力することができる。
ここで、上記第1の鮮鋭化信号は、主走査方向信号と、第1の低周波除去信号を2乗する等の非線形処理を施した第1の非線形処理信号とを加算することにより生成される。ただし、生成される信号の符号の正負は、第1の低周波除去信号の符号の正負が維持される。同様に、上記第2の鮮鋭化信号は、副走査方向信号と、第2の低周波除去信号を2乗する等の非線形処理を施した第2の非線形処理信号とを加算することにより生成される。ただし、生成される信号の符号の正負は、第2の低周波除去信号の符号の正負が維持される。
そのため、上記第2の鮮鋭化信号には、動き領域の画像を表す信号の周波数成分には含まれない高帯域の周波数成分が含まれる。その結果、上記第2の鮮鋭化信号は、動き領域の画像を表す信号を離散化する場合のサンプリング周波数の1/2の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。
したがって、本発明に係る信号処理装置は、動き領域の画像を表す信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、本発明に係る信号処理装置は、動き領域の画像を高度に鮮鋭化することが可能となり、動画像における動き領域の動きボケを大きく低減し、画質および解像度感を向上させることができるという効果を奏する。
以上のように、本発明に係る信号処理装置は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域の画像を表す信号を鮮鋭化した高調波を生成する第1の高周波成分生成手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、上記第1の高周波成分生成手段は、上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、上記第1の低周波除去信号を入力とし、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成し、当該第1の非線形処理信号を出力する第1の非線形処理手段と、上記動き領域信号と上記第1の非線形処理信号とを加算することによって、上記高調波を生成する加算手段とを備えている。
また、本発明に係る集積回路は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する集積回路であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出回路と、上記動き検出回路にて上記動きが検出された上記ブロック領域の画像を表す信号を鮮鋭化した高調波を生成する高周波成分生成回路と、上記動き検出回路にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、上記動き検出回路にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力回路とを備えるとともに、上記高周波成分生成回路は、上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって低周波除去信号を生成する低周波成分除去回路と、上記低周波除去信号を入力とし、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が0の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成し、当該非線形処理信号を出力する非線形処理回路と、上記動き領域信号と上記非線形処理信号とを加算することによって、上記高調波を生成する加算回路とを有している。
よって、動画像のうち、動き領域の画像を表す動き領域信号に対して非線形処理を施した信号を出力することができる。
したがって、動き領域の画像を表す動き領域信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、本発明に係る信号処理装置および集積回路は、動き領域の画像を高度に鮮鋭化することが可能となり、動画像における動き領域の動きボケを大きく低減し、画質および解像度感を向上させることができるという効果を奏する。
また、本発明に係る信号処理装置は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第1の鮮鋭化信号を生成する第1の高周波成分生成手段と、上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第2の鮮鋭化信号を生成する第2の高周波成分生成手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記第2の鮮鋭化信号を出力し、上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、上記第1の高周波成分生成手段は、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号である主走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成する第1の非線形処理手段と、上記主走査方向信号と上記第1の非線形処理信号とを加算することによって、上記第1の鮮鋭化信号を生成する第1の加算手段とを備え、上記第2の高周波成分生成手段は、上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号である副走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第2の低周波除去信号を生成する第2の低周波成分除去手段と、上記第2の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第2の低周波除去信号の値が0の近傍のとき、上記第2の低周波除去信号に対して非線形に広義に単調増加する第2の非線形処理信号を生成して出力する第2の非線形処理手段と、上記副走査方向信号と上記第2の非線形処理信号とを加算することによって、上記第2の鮮鋭化信号を生成する第2の加算手段とを備えている。
よって、動画像のうち、動き領域の動画像の主走査方向および副走査方向に対して非線形処理を施した信号を出力することができる。
したがって、動き領域の画像を表す信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、本発明に係る信号処理装置は、動き領域の画像を高度に鮮鋭化することが可能となり、動画像における動き領域の動きボケを大きく低減し、画質および解像度感を向上させることができるという効果を奏する。
本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
本発明の一実施形態に係る信号処理装置の構成を示すブロック図である。 本発明に係る信号処理装置に含まれる鮮鋭化処理部の構成を示すブロック図である。 図2に示した鮮鋭化処理部に含まれる高周波成分抽出部の構成を示すブロック図である。 図3に示した高周波成分抽出部に含まれるフィルタの他の構成例を示すブロック図である。 図5の(a)は、図2に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図5の(b)は、図2に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図5の(c)は、図2に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図5の(d)は、図2に示した鮮鋭化処理部にて生成される符号変換信号の波形を模式的に示す図である。図5の(e)は、図2に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。 図6の(a)は、図2に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図6の(b)は、図6の(a)に示した信号を、従来技術によりエンハンスした波形を模式的に示す図である。 本発明に係る信号処理装置に含まれる鮮鋭化処理部の他の構成を示すブロック図である。 図7に示した鮮鋭化処理部に含まれる微分部の構成を示すブロック図である。 図9の(a)は、図7に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図9の(b)は、図7に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図9の(c)は、図7に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図9の(d)は、図7に示した鮮鋭化処理部にて生成される微分信号の波形を模式的に示す図である。図9の(e)は、図7に示した鮮鋭化処理部にて生成される符号変換信号の波形を模式的に示す図である。図9の(f)は、図7に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。 本発明に係る信号処理装置に含まれる鮮鋭化処理部のさらなる他の構成を示すブロック図である。 図11の(a)は、図10に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図11の(b)は、図10に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図11の(c)は、図10に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図11の(d)は、図10に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。 本発明に係る信号処理装置に含まれる鮮鋭化処理部のさらなる他の構成を示すブロック図である。 本発明に係る信号処理装置に含まれる鮮鋭化処理部のさらなる他の構成を示すブロック図である。 本発明に係る信号処理装置に含まれる動き検出部の構成例を示すブロック図である。 図15の(a)は、M番目のフレームの信号の波形を示す模式図である。図15の(b)は、M+1番目のフレームの信号の波形を示す模式図である。図15の(c)は、図15の(a)に示した信号と、図15の(b)に示した信号との差分(フレーム差)を示す模式図である。図15の(d)は、図15の(c)に示したフレーム差を、M+1番目のフレームのエッジ成分のみで除算した結果を示す模式図である。図15の(e)は、図15の(c)に示したフレーム差を、M番目のフレームのエッジ成分、および、M+1番目のフレームのエッジ成分から算出されたエッジ信号で除算した結果を示す模式図である。 図1に示した信号処理装置の実用例を示すブロック図である。 本発明の他の実施形態に係る信号処理装置の構成を示すブロック図である。 図17に示した信号処理装置の実用例を示すブロック図である。
(信号処理装置の概要)
各実施形態に係る信号処理装置(集積回路)500は、概略的に言えば、動画像を表すデジタル信号(以下、画像信号とも称する)に対して、動画像を鮮鋭化するための鮮鋭化処理を施す装置である。ここで、鮮鋭化処理とは、後述する非線形演算を施すことにより、動画像に含まれる輪郭部分(エッジ)に相当する信号の立ち上がりおよび立ち下がりを急峻にする(エンハンスする)処理を指すものとする。
なお、後述する信号処理装置500a〜500dを区別しないとき、単に、「信号処理装置500」と表記する。また、以下では、信号処理装置500に入力される画像信号を、入力信号SAと表記する。また、信号処理装置500から出力される画像信号を、出力信号SOと表記する。
後述するように、信号処理装置500が備える鮮鋭化処理部(第1の高周波成分生成手段、第2の高周波成分生成手段、第3の高周波成分生成手段、第4の高周波成分生成手段、高周波成分生成回路)100は、入力される信号に含まれない高周波成分(具体的には、入力される信号を離散化する場合のサンプリング周波数の1/2の周波数であるナイキスト周波数より高い周波数成分)を、出力信号に含ませることができる。そのため、信号処理装置500にて鮮鋭化処理を行なうと、従来技術のように線形演算を用いて鮮鋭化処理を行なう場合に比べて、画像に含まれるエッジに相当する信号の立ち上がりおよび立ち下がりを、より急峻にすることが可能となる。
なお、入力信号SAで表される動画像は、例えば、標準画質テレビジョン(SDTV:Standard Definition Television)または高精細テレビジョン(HDTV:High Definition Television)の受像機等にて、リアルタイムに表示されるものである。なお、動画像は、時間的に連続する複数のフレーム(画面)から構成されているものとする。
また、入力信号SAは、画像の主走査方向(水平方向、横方向)に隣接して並ぶ画素の画素値から成るデータ列(画素値の系列)によって構成されているものとして説明するが、画像の副走査方向(垂直方向、縦方向)に隣接して並ぶ画素の画素値から成るデータ列によって構成されていてもよい。
(鮮鋭化処理部の概要)
次に、信号処理装置500の構成要素である鮮鋭化処理部100の概要について説明する。なお、鮮鋭化処理部100は、後述する鮮鋭化処理部100a〜100eのいずれであってもよい。鮮鋭化処理部100a〜100eを区別しないとき、単に、「鮮鋭化処理部100」と表記する。
鮮鋭化処理部100は、鮮鋭化処理部100に入力される信号に対して、波形を鮮鋭化するための鮮鋭化処理を施し、該鮮鋭化された信号を出力するものである。ここで、鮮鋭化処理とは、入力される信号の立ち上がりおよび立ち下がりを急峻にする(エンハンスする)処理を指すものとする。特に、入力される信号が画像を表すものである場合、画像に含まれる輪郭部分(エッジ)に相当する信号の立ち上がりおよび立ち下がりを急峻にする。
以下では、鮮鋭化処理部100に入力される信号を、入力信号Sinとも表記する。また、鮮鋭化処理部100から出力される信号を、出力信号Sout(高調波、第1の鮮鋭化信号、第2の鮮鋭化信号)とも表記する。
また、鮮鋭化処理部100は、後述するように、少なくとも非線形処理部(第1の非線形処理手段、第2の非線形処理手段、第3の非線形処理手段、第4の非線形処理手段、非線形処理回路)102を備えている。なお、後述する非線形処理部102a〜102eを区別しないとき、単に「非線形処理部102」と表記するものとする。
そして、鮮鋭化処理部100は、入力信号Sinの高周波成分に対して非線形処理部102にて非線形演算を施すことにより、入力信号Sinに含まれない高周波成分(具体的には、入力信号Sinを離散化する場合のサンプリング周波数の1/2の周波数であるナイキスト周波数より高い周波数成分)を、出力信号Soutに含ませることができる。そのため、鮮鋭化処理部100にて鮮鋭化処理を行なうと、線形演算に基づく鮮鋭化処理と比べて、入力信号Sinの立ち上がりおよび立ち下がりを、より急峻なものにすることができる。なお、出力信号Soutを、入力信号Sinの高調波とも表記する。
鮮鋭化処理部100の詳細な構成については、後述する。
〔実施形態1〕
本発明の一実施形態について図1から図16に基づいて説明すると以下の通りである。なお、本実施形態に係る信号処理装置500を、信号処理装置500aと表記する。
信号処理装置500aは、入力信号SAで表される動画像の動き領域に対して鮮鋭化処理を施す装置である。動画像のうち、ボケ感が大きくなるところは動き領域であるため、動き領域に対して鮮鋭化処理を施すことにより、動画像の解像度感を向上させることができる。
なお、本明細書における「動き領域」とは、フレーム間で動きのある領域を指しているが、静止していない領域の全てを動き領域としてもよいし、ある程度動きがある(動き量が所定の閾値以上である)領域のみを動き領域としてもよい。
また、動画像に対する鮮鋭化処理は、主走査方向(横方向、水平方向)、副走査方向(縦方向、垂直方向)、時間方向に対して行なうが、信号処理装置500aの構成を説明するにあたり、鮮鋭化処理を施す方向については特に言及しない。なお、主走査方向、副走査方向、時間方向に対する鮮鋭化処理については後述する。
(信号処理装置の構成)
図1を参照しながら、信号処理装置500aの構成について説明する。図1は、信号処理装置500aの構成を示すブロック図である。同図に示すように、信号処理装置500aは、鮮鋭化処理部100と、動き検出部(動き検出手段)200と、信号出力部(出力信号生成手段)300と、遅延処理部400とを備えている。
鮮鋭化処理部100は、上述したように、入力信号SAに含まれる高周波成分に対して非線形演算を施すことにより、入力信号SAの高調波を出力する。鮮鋭化処理部100の詳細な構成については後述する。
次に、動き検出部200は、入力信号SAで表される動画像を構成するフレームを構成する1または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出するものである。好ましいブロック領域は、(1)1画素から成るもの、または、(2)4画素×4画素の16画素から成るものであるが、これらに限定されるものではない。また、必ずしもブロック領域に含まれる全画素の動きを検出する必要は無く、ブロック領域に含まれる少なくとも1画素について動きを検出すればよい。
なお、動きを検出する方法は特に限定されるものではなく、様々の方法を用いることができる。例えば、単純にフレーム間差分を求めることによって動きを検出する構成であってもよいし、後述する図14に示す構成によって動きを検出してもよい。
そして、動き検出部200は、ブロック領域毎の動きの検出結果を、信号出力部300に通知する。
次に、信号出力部300は、動き検出部200による動きの検出結果に従って、接続点Outと、接続点In1および接続点In2との接続を切り替えるスイッチである。具体的には、動き検出部200にて動きが検出されたとき、接続点Outと接続点In1とを接続する。この場合、鮮鋭化処理部100から出力される信号(動き領域信号)が、出力信号SOとして信号出力部300から出力される。一方、動き検出部200にて動きが検出されなかったとき、接続点Outと接続点In2とを接続する。この場合、遅延処理部400から出力される信号(非動き領域信号)が、出力信号SOとして信号出力部300から出力される。
次に、遅延処理部400は、入力信号SAと、鮮鋭化処理部100から出力される信号との間のタイミングを調整するディレイ回路であり、遅延素子から成るものである。
上記構成により、信号出力部300は、動き検出部200にて動きが検出されたブロック領域については、鮮鋭化処理部100から出力される出力信号Soutを、出力信号SOとして出力する。一方、動き検出部200にて動きが検出されなかったブロック領域については、入力信号SAをそのまま出力信号SOとして出力する。
(鮮鋭化処理部の構成)
次に、鮮鋭化処理部100の詳細な構成について説明する。
(鮮鋭化処理部の構成例1)
図2は、鮮鋭化処理部100aの構成を示すブロック図である。同図に示すとおり、鮮鋭化処理部100aは、高周波成分抽出部(第1の低周波成分除去手段、第2の低周波成分除去手段、第3の低周波成分除去手段、第4の低周波成分除去手段、低周波成分除去回路)11、非線形処理部102a、および加算部(第1の加算手段、第2の加算手段、第3の加算手段、第4の加算手段、加算回路)15を備えている。
まず、高周波成分抽出部11について説明する。高周波成分抽出部11は、概略的には、入力信号Sinに含まれる高周波成分を抽出し、高周波信号S11(第1の低周波除去信号、第2の低周波除去信号、第3の低周波除去信号、第4の低周波除去信号、低周波除去信号)として出力するものである。図3を参照しながら、高周波成分抽出部11の構成について説明する。図3は、高周波成分抽出部11の構成を示すブロック図である。
同図に示すように、高周波成分抽出部11は、フィルタ110と、丸め処理部(低レベル信号除去手段)132、およびリミッタ(高レベル信号除去手段)133とを備えている。
フィルタ110は、フィルタ110は、m−1個の単位遅延素子111h(h=1、2、…、m−1:mは3以上の正の整数を示す)と、m個の乗算部112k(k=1、2、…、m)と、加算部131とを備える、mタップのトランスバーサル型の高域通過フィルタであり、入力信号Sinを入力とし、高域信号SH1を出力する。
単位遅延素子111hのそれぞれは、入力された信号を単位時間ずつ遅延させた信号を出力するものである。なお、単位遅延素子1111(h=1)には、入力信号Sinが入力される。
乗算部112kのそれぞれは、入力される信号に係数Ckを乗算し、該乗算した結果を加算部131に出力する。ここで、係数Ckは、フィルタ110が高域通過フィルタとして機能するように予め設定されるものである。例えば、m=3の場合、C1=0.5、C2=−1、C3=0.5と設定することにより、フィルタ110は、高域通過フィルタとして機能する。
加算部131は、乗算部112kから出力される信号を加算することによって、高域信号SH1を生成する。
なお、一般的に知られているように、高域通過フィルタよりも低域通過フィルタの方が容易に実現可能である。そこで、フィルタ110は、低域通過フィルタを用いて構成してもよい。図4に、フィルタ110の他の構成例を示す。同図に示すように、フィルタ110は、低域通過フィルタ1101と減算部1102とによって構成してもよい。
丸め処理部132は、後段の非線形処理部102にてノイズを増幅させないために、高域信号SH1に含まれるノイズとみなせる低レベル信号を除去することによって、低レベル除去信号SH2を生成する。
具体的には、高域信号SH1の信号値のうち、絶対値が所定の下限値LV以下の信号値を“0”に変更することによって、低レベル除去信号SH2を生成する。
例えば、入力信号Sinが、−255から255のいずれかの整数値を取り得る場合において、下限値LVを“2”とすると、高域信号SH1の信号値のうち、絶対値が“2”以下の信号値を全てノイズとみなして“0”に変更する(つまり、丸める)。
次に、リミッタ133は、既に十分なエネルギーを有する信号を後段の非線形処理部102にてさらに増幅させないために、低レベル除去信号SH2に含まれる高レベルの信号値を除去することによって、高周波信号S11を生成する。
具体的には、低レベル除去信号SH2の信号値が所定の上限値UV1以下となるように、低レベル除去信号SH2の信号のうち、絶対値が上限値UV1よりも大きい部分について、絶対値を上限値UV1以下に変更する処理(以下、クリップ処理とも表記する)を行なうことによって、高周波信号S11を生成する。
例えば、低レベル除去信号SH2の信号値の絶対値が“64”を超える部分について、当該部分の信号値を、符号に応じて“64”または“−64”に変更する。または、“0”に変更してもよい。
なお、入力信号Sinが8ビット信号である場合、上述したフィルタ110では、この8ビット信号に対して、例えば12ビット演算で3rdMSB(8ビット信号で64または−64程度)以下に制限した信号を入力信号Sinに加算する。そのため、丸め処理部132およびリミッタ133は、フィルタ110で行なわれた演算結果を、8ビット信号相当に制限する処理を行なっている。
また、上述では、高周波成分抽出部11は、丸め処理部132とリミッタ133とをそれぞれ備える構成としたが、これらを一体にした部材を備える構成としてもよい。
次に、非線形処理部102aについて説明する。非線形処理部102aは、図2に示すように、非線形演算部(偶数冪乗演算手段、平方根演算手段)21、符号変換部(符号変換手段)41、およびリミッタ(第1の振幅調整手段、第2の振幅調整手段)51を備えている。
非線形演算部21は、高周波信号S11に対して非線形演算を施し、非線形信号S21を生成する。
ここで、非線形演算部21にて行なう非線形演算について説明する。以下では、非線形演算部21への入力信号値をxとし、非線形演算部21からの出力信号値をyとし、非線形演算部21にて行なう非線形演算を、y=f(x)という関数で表す。
ここで、関数f(x)は、正負対称(原点対称)に単調増加する非線形関数であるものとする。なお、単調増加とは広義の単調増加を意味するものとする。ただし、関数f(x)は、少なくともx=“0”の近傍で単調増加するものであればよい。また、関数f(x)は、少なくともx=“0”の近傍で、|f(x)|>|x|であることが好ましい。
このような関数f(x)として、例えば、下記数式(1)〜(3)で示されるものが挙げられる。なお、下記数式(2)および(3)で示される関数f(x)を用いる場合、当該関数f(x)は、0≦x≦1の区間での値の増加が大きいため、当該区間で用いることが好ましい。
Figure 0005450668
Figure 0005450668
Figure 0005450668
関数f(x)として上記数式(1)を用いる場合、非線形演算部21は、2以上の偶数を冪指数として高周波信号S11を冪乗することにより非線形信号S21(偶数冪乗信号、平方根信号)を生成する。例えば、上記数式(1)においてn=1の場合(つまり、f(x)=xである場合)、非線形演算部21は、高周波信号S11を2乗することにより、非線形信号S21を生成する。この場合、高周波信号S11を構成するデータ列が、X1,X2,X3、…であるとすると、高周波信号S11を2乗した非線形信号S21は、データ列X1,X2,X3、…で構成されるデジタル信号となる。
ところで、高周波信号S11の信号値が、−255〜255のいずれかの整数値である場合、関数f(x)を用いるにあたり、xを255で正規化してもよい。例えば、上記数式(2)を用いる代わりに、上記数式(2)で示される関数f(x)の右辺のxを、x/255で正規化するとともに、右辺に255を乗算した下記数式(4)を用いてもよい。なお、下記数式(4)は、f(x)>xという条件を満たす。
Figure 0005450668
上記数式(4)では、上記数式(2)で示される関数f(x)の右辺のxを、255で正規化するとともに、右辺に255を乗算したが、右辺に乗算する数値は正規化するための値(この例では255)と同じ値である必要はなく、|f(x)|>|x|という条件を満たすものであればよい。例えば、255の代わりに右辺に100を乗算した下記数式(5)を用いてもよい。
Figure 0005450668
また、関数f(x)は、下記数式(6)に示す三角関数を用いたものであってもよい。
Figure 0005450668
次に、符号変換部41は、高周波信号S11の符号ビット情報に基づき、非線形信号S21に高周波信号S11の符号を反映させたものを、符号変換信号S41として生成する。すなわち、符号変換部41は、非線形信号S21のうち、符号が、高周波信号S11と同じ部分については、符号をそのまま維持する。一方、非線形信号S21のうち、符号が、高周波信号S11と異なる部分については、符号の正負を反転させる。
次に、リミッタ51は、符号変換部41が生成する符号変換信号S41の振幅(信号レベル、強度)を調整する処理(以下、振幅調整処理とも表記する)を行なうことにより、非線形処理信号(第1の非線形処理信号、第2の非線形処理信号、第3の非線形処理信号、第4の非線形処理信号)S12を生成する。具体的には、リミッタ51は、符号変換信号S41に、所定の倍率値α(|α|<1)を乗算することにより、符号変換信号S41の振幅を調整する。
なお、倍率値αは、映像の動きやノイズの量に応じて適宜設定可能であることが望ましい。なお、倍率値αを固定値にする場合は、例えば、絶対値が0.5以下の値とすることが望ましい。
さらに、リミッタ51は、既に十分なエネルギーを有する信号をさらに増幅させないために、非線形処理信号S12の信号値が所定の上限値UV2以下となるように、非線形処理信号S12の信号のうち、絶対値が上限値UV2よりも大きい部分について、絶対値を当該上限値UV2以下に変更する処理(以下、クリップ処理とも表記する)を行なう。例えば、非線形処理信号S12の信号値の絶対値が“64”を超える部分について、当該部分の信号値を、符号に応じて“64”または“−64”に変更する。または、“0”に変更してもよい。
なお、非線形処理部102aは、リミッタ51を備えず、符号変換信号S41の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部41が生成する符号変換信号S41が、非線形処理信号S12として非線形処理部102aから出力される。
最後に、加算部15について説明する。加算部15は、非線形処理信号S12を補償用信号として、入力信号Sinに加算することにより、出力信号Soutを生成するものである。なお、加算部15には、入力信号Sinと非線形処理信号S12との間のタイミングを調整するための遅延素子が適宜含まれているものとする。
(構成例1における信号の波形)
次に、図5の(a)〜(e)を参照しながら、鮮鋭化処理部100aの各部にて生成される信号の波形について説明する。図5の(a)〜(e)は、鮮鋭化処理部100aの各部にて生成される信号の波形を模式的に示す図である。ここでは、図5の(a)に示す信号が、入力信号Sinとして鮮鋭化処理部100aに入力されるものとする。
まず、入力信号Sinが高周波成分抽出部11に入力されると、入力信号Sinに含まれる高周波成分が抽出され、図5の(b)に示される高周波信号S11が生成される。
続いて、非線形処理部102aの非線形演算部21にて行なわれる非線形演算が、f(x)=xである場合、高周波信号S11を2乗した非線形信号S21が、非線形演算部21にて生成される(図5の(c)参照)。
続いて、非線形信号S21が符号変換部41に入力されると、図5の(d)に示される符号変換信号S41が生成される。同図に示すとおり、符号変換信号S41は、図5の(b)に示される高周波信号S11の符号の正負が維持されている。
続いて、符号変換信号S41がリミッタ51に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号S12が生成される。その後、加算部15によって、非線形処理信号S12が入力信号Sinに加算されると、出力信号Soutが生成される(図5の(e)参照)。
なお、図5の(e)に示した非線形処理信号S12における信号の立ち上がりおよび立ち下がりは、線形演算を用いて入力信号Sinをエンハンスした場合における信号の立ち上がりおよび立ち下がりよりも、急峻となるので、図6を参照しながら説明する。
図6の(a)に示す信号は、図5の(a)に示した入力信号Sinと同じものである。そして、図6の(a)に示す入力信号Sinをエンハンスする場合、線形演算を用いた鮮鋭化処理では、図6の(a)に示す入力信号Sinから高域信号を抽出し、該抽出した高域信号に入力信号Sinを加算するという方法が用いられる。したがって、線形演算を用いた鮮鋭化処理では、入力信号Sinに含まれていないナイキスト周波数を超えた信号成分が付加されることはない。
そのため、線形演算を用いた鮮鋭化処理では、図6の(b)で示される信号が生成される。図6の(b)で示される信号における立ち上がりは、図6の(a)に示す入力信号Sinにおける信号の立ち上がりよりも急峻となるものの、鮮鋭化処理部100aにて生成される非線形処理信号S12(図5の(e))における信号の立ち上がりの方が、より急峻となる。
(鮮鋭化処理部の構成例2)
上述した非線形処理部102aにおいて、非線形演算部21にて生成される非線形信号S21を微分する構成としてもよい。非線形信号S21を微分することによって、非線形信号S21に含まれる直流成分を除去することができるからである。
そこで、図7を参照しながら、鮮鋭化処理部100bの構成例について説明する。図7は、鮮鋭化処理部100bの構成を示すブロック図である。
同図に示すとおり、鮮鋭化処理部100bは、高周波成分抽出部11、非線形処理部102b、および加算部15を備えている。そして、非線形処理部102bは、図2に示した非線形処理部102aの構成に加え、非線形演算部21と符号変換部41との間に、微分部(微分手段)31を備えている。高周波成分抽出部11、非線形処理部102bの微分部31以外の部材、および加算部15は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
微分部31は、非線形演算部21にて生成される非線形信号S21を微分することにより、微分信号S31を生成するものである。
図8を参照しながら、微分部31の構成について説明する。図8は、微分部31の構成を示すブロック図である。同図に示すように、微分部31は、単位遅延素子3111と減算部3112とから構成されており、微分部31に入力される信号に対して後退差分を算出するものである。
そして、微分部31が生成した微分信号S31に対して、符号変換部41は、高周波信号S11の符号ビット情報に基づき、非線形信号S21に高周波信号S11の符号を反映させたものを、符号変換信号S42として生成する。すなわち、符号変換部41は、微分信号S31のうち、符号が、高周波信号S11と同じ部分については、符号をそのまま維持する。一方、非線形信号S21のうち、符号が、高周波信号S11と異なる部分については、符号の正負を反転させる。
そして、リミッタ51は、符号変換部41にて生成される符号変換信号S42に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号S12を生成する。振幅調整処理では、符号変換信号S42に、所定の倍率値αを乗算することにより、符号変換信号S42の振幅を調整する。
なお、非線形処理部102bは、リミッタ51を備えず、符号変換信号S42の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部41が生成する符号変換信号S42が、非線形処理信号S12として非線形処理部102bから出力される。
(構成例2における信号の波形)
次に、図9の(a)〜(f)を参照しながら、鮮鋭化処理部100bの各部にて生成される信号の波形について説明する。図9の(a)〜(f)は、鮮鋭化処理部100bの各部にて生成される信号の波形を模式的に示す図である。ここでは、図9の(a)に示す信号が、入力信号Sinとして鮮鋭化処理部100bに入力されるものとする。なお、図9の(a)に示す信号は、図5の(a)に示す信号と同じである。
まず、入力信号Sinが高周波成分抽出部11に入力されると、入力信号Sinに含まれる高周波成分が抽出され、図9の(b)に示される高周波信号S11が生成される。
続いて、非線形処理部102bの非線形演算部21にて行なわれる非線形演算が、f(x)=xである場合、高周波信号S11を2乗した非線形信号S21が、非線形演算部21にて生成される(図9の(c)参照)。
続いて、非線形信号S21が微分部31に入力されると、図9の(d)に示される微分信号S31が生成される。なお、微分信号S31では、非線形信号S21に含まれていた直流成分が除去されている。
続いて、微分信号S31が符号変換部41に入力されると、図9の(e)に示される符号変換信号S42が生成される。同図に示すとおり、符号変換信号S42は、図9の(b)に示される高周波信号S11の符号の正負が維持されている。
続いて、符号変換信号S41がリミッタ51に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号S12が生成される。最後に、加算部15によって、非線形処理信号S12が入力信号Sinに加算されると、出力信号Soutが生成される(図9の(f)参照)。
なお、図9の(f)に示される出力信号Soutにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となる。
(鮮鋭化処理部の構成例3)
上述した非線形処理部102aおよび非線形処理部102bの構成では、符号変換部41を備える構成としたが、高周波信号S11に対して施す非線形演算が、高周波信号S11の符号の正負を維持するものであれば、符号変換部41を備える必要はない。
そこで、図10を参照しながら、符号変換部41を備えない鮮鋭化処理部100cの構成例について説明する。図10は、鮮鋭化処理部100cの構成を示すブロック図である。
同図に示すとおり、鮮鋭化処理部100cは、高周波成分抽出部11、非線形処理部102c、および加算部15を備えている。そして、非線形処理部102cは、非線形演算部(奇数冪乗演算手段)22、およびリミッタ51を備えている。高周波成分抽出部11、リミッタ51、および加算部15は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
非線形演算部22は、高周波信号S11に対して非線形演算を施し、非線形信号S22を生成する。
ここで、非線形演算部22にて行なう非線形演算について説明する。以下では、非線形演算部22への入力信号値をxとし、非線形演算部22からの出力信号値をyとし、非線形演算部22にて行なう非線形演算を、y=g(x)という関数で表す。
ここで、関数g(x)は、正負対称(原点対称)に単調増加する非線形関数であるものとする。なお、単調増加とは、広義の単調増加を意味するものとする。ただし、関数g(x)は、少なくともx=“0”の近傍で単調増加するものであればよい。また、関数g(x)は、少なくともx=“0”の近傍で、|g(x)|>|x|であることが好ましい。
このような関数g(x)として、例えば、下記数式(7)が挙げられる。
Figure 0005450668
関数g(x)として上記数式(7)を用いる場合、非線形演算部22は、3以上の奇数を冪指数として高周波信号S11を冪乗することにより非線形信号S22を生成する。例えば、上記数式(7)においてn=1の場合(つまり、g(x)=xである場合)、非線形演算部22は、高周波信号S11を3乗することにより、非線形信号S22を生成する。この場合、高周波信号S11を構成するデータ列が、X1,X2,X3、…であるとすると、高周波信号S11を3乗した非線形信号S22は、データ列X1,X2,X3、…で構成されるデジタル信号となる。
そして、リミッタ51は、非線形演算部22にて生成される非線形信号S22に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号S12を生成する。
なお、非線形処理部102cは、リミッタ51を備えず、非線形信号S22の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、非線形演算部22が生成する非線形信号S22が、非線形処理信号S12として非線形処理部102cから出力される。
(構成例3における信号の波形)
次に、図11の(a)〜(d)を参照しながら、鮮鋭化処理部100cの各部にて生成される信号の波形について説明する。図11の(a)〜(d)は、鮮鋭化処理部100cの各部にて生成される信号の波形を模式的に示す図である。ここでは、図11の(a)に示す信号が、入力信号Sinとして鮮鋭化処理部100cに入力されるものとする。なお、図11の(a)に示す信号は、図5の(a)に示す信号と同じである。
まず、入力信号Sinが高周波成分抽出部11に入力されると、入力信号Sinに含まれる高周波成分が抽出され、図11の(b)に示される高周波信号S11が生成される。
続いて、非線形演算部22にて行なわれる非線形演算が、f(x)=xである場合、高周波信号S11を3乗した非線形信号S22が、非線形演算部22にて生成される(図11の(c)参照)。
続いて、非線形信号S22がリミッタ51に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号S12が生成される。最後に、加算部15によって、非線形処理信号S12が入力信号Sinに加算されると、出力信号Soutが生成される(図11の(d)参照)。
なお、図11の(d)に示される出力信号Soutにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となっている。
(ナイキスト周波数を超える周波数が生成される理由)
次に、鮮鋭化処理部100が生成する出力信号Soutが、入力信号Sinが有する高調波成分等のナイキスト周波数fs/2を超える高周波成分を含む理由について説明する。
ここでは、入力信号Sinが、時間をxとした関数F(x)で表現されるものとする。そして、入力信号Sinの基本角周波数をωとすると、関数F(x)は、下記数式(8)のようにフーリエ級数で表現することができる。
Figure 0005450668
ここで、Nは、サンプリング周波数fsに対するナイキスト周波数fs/2を超えない最高周波数の高調波の次数である。すなわち、下記数式(9)が満たされる。
Figure 0005450668
次に、関数F(x)で表される入力信号Sinの直流成分a以外の信号をG(x)と表記すると、G(x)は下記数式(10)で表される。
Figure 0005450668
ここで、鮮鋭化処理部100に入力される入力信号Sinは、信号G(x)または信号G(x)の高周波成分を含む。
そして、例えば、非線形演算部21にて行なわれる非線形演算が、f(x)=xである場合、非線形演算部21にて生成される非線形信号S21は、高周波信号S11を2乗することにより得られる信号である。ここで、上記数式(10)により、(G(x))の各項は、下記数式(11)〜(13)のいずれかで表される(i=±1、±2、…、±N;j=±1、±2、…、±N)。
Figure 0005450668
Figure 0005450668
Figure 0005450668
ここで、三角関数に関する公式を用いることにより、上記数式(11)〜(13)は、それぞれ、下記数式(14)〜(16)に書き直すことができる。
Figure 0005450668
Figure 0005450668
Figure 0005450668
上記数式(14)〜(16)から分かるように、(G(x))は、(N+1)ω、(N+2)ω、…、2Nω等の角周波数成分を含む。
よって、(G(x))は、ナイキスト周波数fs/2より高い周波数成分を含むこととなる。つまり、非線形演算部21にて生成される非線形信号S21は、周波数2Nω/(2π)といった高調波成分等のように、ナイキスト周波数fs/2より高い周波数成分を含むこととなる。
同様に、例えば、非線形演算部22にて行なわれる非線形演算が、f(x)=xである場合、非線形演算部22にて生成される非線形信号S22は、高周波信号S11を3乗することにより得られる信号である。ここで、上記数式(10)により、(G(x))の各項は、下記数式(17)〜(20)のいずれかで表される(i=±1、±2、…、±N;j=±1、±2、…、±N;k=±1、±2、…、±N)。
Figure 0005450668
Figure 0005450668
Figure 0005450668
Figure 0005450668
ここで、例えば、i=j=k=Nである項のうち、上記数式(17)および(20)で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式(21)および(22)に書き直すことができる。
Figure 0005450668
Figure 0005450668
また、例えば、i=j=k=−Nである項のうち、上記数式(17)および(20)で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式(23)および(24)に書き直すことができる。
Figure 0005450668
Figure 0005450668
上記数式(21)〜(24)から分かるように、(G(x))は、基本角周波数ωの3N倍の周波数成分、および、−3N倍の周波数成分を含む。(G(x))の他の項についても三角関数の公式によって書き直すことにより、(G(x))は、基本角周波数ωの−3N倍から3N倍までの様々な周波数成分を含むことが分かる。
よって、(G(x))は、ナイキスト周波数fs/2より高い周波数成分を含むこととなる。つまり、非線形演算部22にて生成される非線形信号S22は、周波数3Nω/(2π)といった高調波成分等のように、ナイキスト周波数fs/2より高い周波数成分を含むこととなる。
以上のように、鮮鋭化処理部100にて生成される出力信号Soutは、入力信号Sinに含まれない高周波成分、すなわちナイキスト周波数より高い周波数成分を含むこととなる。
(鮮鋭化処理部の他の構成例1)
鮮鋭化処理部100にて施す非線形演算は、上述した以外にも様々に考えられる。そこで、図12および図13を参照しながら、鮮鋭化処理部100dおよび100eの構成例について説明する。
まず、図12は、鮮鋭化処理部100dの構成を示すブロック図である。同図に示すとおり、鮮鋭化処理部100dは、高周波成分抽出部11、非線形処理部102d、および加算部15を備えている。高周波成分抽出部11および加算部15は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
非線形処理部102dは、2乗演算部61、第1微分部71、第2微分部81、および乗算部91を備えている。
2乗演算部61は、高周波信号S11を2乗することにより2乗信号S61を生成するものである。すなわち、高周波信号S11を構成するデータ列が、X1、X2、X3、…であるとすると、高周波信号S11を2乗した2乗信号S61は、データ列X1、X2、X3、…によって構成されるデジタル信号となる。
次に、第1微分部71は、2乗演算部61にて生成される2乗信号S61を微分することにより、第1微分信号S71を生成する。なお、第1微分部71の構成は、例えば、微分部31と同様の構成である。
次に、第2微分部81は、入力信号Sinを微分することにより、第2微分信号S81を生成する。なお、第2微分部81の構成は、例えば、微分部31と同様の構成である。
そして、乗算部91は、第1微分信号S71と第2微分信号S81とを乗算することにより、非線形処理信号S12を生成する。すなわち、第1微分信号S71を構成するデータ列が、U1、U2、U3、…であるとし、第2微分信号S81を構成するデータ列が、V1、V2、V3、…であるとすると、非線形処理信号S12は、データ列U1・V1、U2・V2、U3・V3、…によって構成されるデジタル信号となる。
なお、上述では、非線形演算を施すために2乗演算部61を設ける構成としたが、2乗演算部61に代えて、高周波信号S11を4乗する4乗演算部を用いてもよい。より一般的には、2以上の偶数を冪指数とする高周波信号S11の冪乗に相当する信号を生成する冪乗演算部を用いてもよい。
(鮮鋭化処理部の他の構成例2)
上述した鮮鋭化処理部100dの構成では、2乗演算部61を備える構成としたが、2乗演算部61に代えて、入力された信号の絶対値を計算する絶対値処理部62を備える構成としてもよい。
そこで、図13を参照しながら、絶対値処理部62を備える鮮鋭化処理部100eの構成例について説明する。図13は、鮮鋭化処理部100eの構成を示すブロック図である。
同図に示すとおり、鮮鋭化処理部100eは、高周波成分抽出部11、非線形処理部102e、および加算部15を備えている。高周波成分抽出部11および加算部15は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
非線形処理部102eは、絶対値処理部62、第1微分部71、第2微分部81、および乗算部91を備えている。第1微分部71、第2微分部81、および乗算部91は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
絶対値処理部62は、高周波信号S11の絶対値に相当する信号である絶対値信号S62を生成する。すなわち、高周波信号S11を構成するデータ列が、X1,X2,X3、…であるとすると、絶対値信号S62は、データ列|X1|、|X2|、|X3|、…によって構成されるデジタル信号となる。
次に、第1微分部71は、絶対値処理部62にて生成される絶対値信号S62を微分することにより、第1微分信号S72を生成する。
そして、乗算部91は、第1微分信号S72と第2微分信号S81とを乗算することにより、非線形処理信号S12を生成する。
(動き検出部の構成例)
次に、図14を参照しながら、動き検出部200の構成例について説明する。なお、図14に示す構成は好ましい一例を示しているに過ぎず、動き検出部200の構成がこれに限定されるものではない。
同図に示す構成例では、動き検出部200は、少なくとも、フレームメモリ部210、差分算出部(差分算出手段)220、第1エッジ検出部(第1の高周波成分算出手段)230、第2エッジ検出部(第2の高周波成分算出手段)240、エッジ算出部(第3の高周波成分算出手段)250、および除算部(除算手段)260を備えている。さらに、同図に示すように、リミッタ270を備えていてもよい。
フレームメモリ部210は、入力される信号を1フレーム毎に保持するものである。そして、フレームメモリ部210は、1フレーム毎に、保持している信号を、差分算出部220に出力する。よって、フレームメモリ部210から出力される信号は、直前のフレームを表す。フレームメモリ部210から出力される信号を、メモリ信号S210と表記する。
次に、差分算出部220は、メモリ信号S210で表される直前のフレームと、動き検出部200に入力される信号で表されるフレーム(現在のフレーム)とのフレーム差を算出するものである。差分算出部220から出力される信号を、差信号S220と表記する。
次に、第1エッジ検出部230は、メモリ信号S210で表される直前のフレームに含まれる高周波成分(エッジ成分)を、ブロック領域毎に検出するものである。そして、該検出した高周波成分を、第1エッジ信号S230(第1の高周波成分)として出力する。
次に、第2エッジ検出部240は、現在のフレームに含まれる高周波成分(エッジ成分)を、ブロック領域毎に検出するものである。そして、該検出した高周波成分を、第2エッジ信号S240(第2の高周波成分)として出力する。
なお、第1エッジ検出部230および第2エッジ検出部240は、高周波成分を通過させるハイパスフィルタなどによって実現できる。
次に、エッジ算出部250は、ブロック領域毎に、第1エッジ信号S230および第2エッジ信号S240を入力として所定の演算を施し、エッジ信号S250(第3の高周波成分)を算出する。所定の演算は、例えば、下記に示す(A)〜(D)などが挙げられる。なお、最も好ましい演算は下記(A)である。
(A)ブロック領域内の各位置において、第1エッジ信号S230の信号値および第2エッジ信号S240の信号値のうち、絶対値の大きい方を、符号の正負を維持して、エッジ信号S250の信号値とする。
(B)ブロック領域内の各位置において、第1エッジ信号S230の信号値と、第2エッジ信号S240の信号値との和を、エッジ信号S250の信号値とする。
(C)ブロック領域内の各位置において、第1エッジ信号S230の信号値と、第2エッジ信号S240の信号値との平均値を、エッジ信号S250の信号値とする。
(D)ブロック領域内の各位置において、第1エッジ信号S230の信号値と、第2エッジ信号S240の信号値との重み付け平均値を、エッジ信号S250の信号値とする。つまり、S250の信号値={(S230の信号値×γ+S240の信号値×ε)/(γ+ε)}とする。なお、γおよびεは、それぞれ、重みを表す任意の正数である。
なお、上記(A)〜(D)の各演算は、第1エッジ信号S230の信号値に第1の係数(以下、係数P1と表記する)を乗算した値と、第2エッジ信号S240の信号値に第2の係数(以下、係数P2と表記する)を乗算した値とを加算することによって、エッジ信号S250の信号値を算出するものであると換言することができる。
具体的には、上記演算(A)は、第1エッジ信号S230の信号値の絶対値が、第2エッジ信号S240の信号値の絶対値以上のとき、P1=1およびP2=0とし、一方、第1エッジ信号S230の信号値の絶対値が、第2エッジ信号S240の信号値の絶対値より小さいとき、P1=0およびP2=1として、第1エッジ信号S230×P1と、第2エッジ信号S240×P2とを加算することによりエッジ信号S250を算出するものである。
また、上記演算(B)は、P1=1およびP2=1として、第1エッジ信号S230×P1と、第2エッジ信号S240×P2とを加算することによりエッジ信号S250を算出するものである。
また、上記演算(C)は、P1=0.5およびP2=0.5として、第1エッジ信号S230×P1と、第2エッジ信号S240×P2とを加算することによりエッジ信号S250を算出するものである。
また、上記演算(D)は、P1={γ/(γ+ε)}とし、P2={ε/(γ+ε)}として、第1エッジ信号S230×P1と、第2エッジ信号S240×P2とを加算することによりエッジ信号S250を算出するものである。
なお、P1およびP2の値は、上記(A)〜(D)の各演算の種類に応じて、エッジ算出部250が設定するものとする。
なお、エッジ信号S250は除算部260にて行なわれる除算に用いられるため、ゼロ除算を防止するために、演算後のエッジ信号S250には、常に所定値(“10”など)が加算されるものとする。
次に、除算部260は、ブロック領域毎に、差信号S220をエッジ信号S250により除算する。言い換えれば、差信号S220をエッジ信号S250により正規化している。これにより、ブロック領域毎の動き量を表す動き信号S260を出力する。フレーム差をエッジ成分で除算することにより動き量を算出することができる理由については、後述する。なお、動き信号S260の信号値の値が大きいほど、動き量が大きいことを示す。
次に、リミッタ270は、動き信号S260のうち、絶対値が閾値THよりも小さい部分について、値を“0”(動きなし)に変更する。つまり、リミッタ270により、動き量の絶対値が閾値THよりも小さいブロック領域については、動きがないと見なす(動きが検出されなかったものとする)。言い換えれば、動き量の絶対値が閾値TH以上であるブロック領域のみについて、動きがあると見なす(動きが検出されたものとする)。なお、閾値THは、適宜、設定可能であるものとする。特に、エッジ算出部250が施す演算の種類に応じて設定されることが好ましい。
(フレーム差をエッジ成分で除算することにより動き量を算出できる理由)
上述のように、図14に示す構成の動き検出部200は、差信号S220をエッジ信号S250で除算する。この除算により生成される動き信号S260が、動き量を表すものである理由について説明する。
まず、動画像を構成するM番目のフレームにおける画面上の位置xに存在していた所定物体が、M+1番目のフレームでは、画面上の主走査方向に距離aだけ移動したものと仮定する。なお、Mは任意の整数とし、位置xは画面上の任意の座標位置を示す。ここで、M番目のフレームにおける画面上の位置xの画素値を、関数P(x)と表記すると、下記数式(25)の関係が成り立つ。
Figure 0005450668
ここで、上記数式(25)の右辺は、テイラー展開により、下記数式(26)に展開することができる。
Figure 0005450668
次に、上記数式(26)の両辺から、PM+1(x)を減算すると、下記数式(27)が導かれる。
Figure 0005450668
次に、上記数式(27)の左辺に上記数式(25)を代入すると、下記数式(28)が導かれる。
Figure 0005450668
次に、上記数式(28)の両辺を、PM+1’(x)で除算すると、下記数式(29)が導かれる。
Figure 0005450668
ここで、PM+1’(x)は、M+1番目のフレームにおける位置xのエッジを表すものであるから、上記数式(29)の左辺は、「位置xにおける画素値の、M番目のフレーム、および、M+1番目のフレーム間における差分」を、「M+1番目のフレームにおける位置xのエッジ」により除算したものである。一方、上記数式(29)の右辺は、動き量である距離aである。
したがって、フレーム差をエッジ成分で除算することにより動き量を算出することができる。なお、エッジ成分で除算することにより正規化しているので、フレーム差の大小にかかわらず動き量を求めることができる。
(2つのエッジ成分を演算に用いる理由)
ところで、上述したように、図14に示す構成の動き検出部200では、第1エッジ検出部230にてM+1番目のフレームのエッジ成分を検出するとともに、第2エッジ検出部240にてM番目のフレームのエッジ成分を検出する。そして、エッジ算出部250にて、第1エッジ信号S230の信号値、および、第2エッジ信号S240の信号値を用いて、エッジ信号S250を算出する。そして、除算部260にて、差信号S220をエッジ信号S250により除算する。
このように、M番目のフレームのエッジ成分、および、M+1番目のフレームのエッジ成分から算出されたエッジ信号S250にて、フレーム差を除算する理由について、図15を参照しながら説明する。
図15の(a)は、M番目のフレームの信号の波形を示す模式図である。図15の(b)は、M+1番目のフレームの信号の波形を示す模式図である。なお、図15の(a)に示すM番目のフレームから、図15の(b)に示すM+1番目のフレームの間、所定物体が、形状を変えずに、等速で画面内を移動しているものとする。図15の(c)は、図15の(a)に示した信号と、図15の(b)に示した信号との差分(フレーム差)を示す模式図である。
ここで、仮に、図15の(c)に示したフレーム差を、M+1番目のフレームのエッジ成分のみで除算すると、例えば、図15の(d)に示す波形が得られる。この場合、図15の(c)に示すフレーム差を示す信号のうち、M+1番目のフレームの信号から得られた部分(同図のBからCの区間の信号)については、除算により信号値が小さくなるが、M番目のフレームの信号から得られた部分(同図のAからBの区間の信号)については、M+1番目のフレームのエッジ成分が無いので、除算しても信号値が小さくならない。したがって、除算の結果、図15の(d)に示すように、信号値の大きい部分と小さい部分とが混在することとなる。つまり、同一の所定物体が移動しているにもかかわらず、フレーム差において、信号値の大きい部分と小さい部分との差が生じることとなる。
しかしながら、M番目のフレームにおける所定物体の動き量と、M+1番目のフレームにおける所定物体の動き量とは同一であるので、動き信号S260における、M番目のフレームの信号から得られた部分と、M+1番目のフレームの信号から得られた部分とが、略同一の形状でなければ、動き領域を適切に検出することはできない。
そこで、図15の(c)に示したフレーム差を、M+1番目のフレームのエッジ成分のみで除算するのではなく、M番目のフレームのエッジ成分、および、M+1番目のフレームのエッジ成分から算出されたエッジ信号S250にて除算する。
なお、エッジ信号S250の算出方法は上述したとおりであり、特に、第1エッジ信号S230の信号値および第2エッジ信号S240の信号値のうち、絶対値の大きい方を、符号の正負を維持して、エッジ信号S250の信号値とするのが好ましい。
このように算出したエッジ信号S250にて図15の(c)に示したフレーム差を除算すると、例えば、図15の(e)に示す波形が得られる。これにより、動き信号S260における、M番目のフレームの信号から得られた部分と、M+1番目のフレームの信号から得られた部分とを略同一にすることができる。
この場合、動き信号S260は、所定物体の輝度レベルによらず、同一または類似のレベルにすることができる。
なお、単にフレーム差を求める方法では、動き領域を適切に検出することはできない。一例として、画像の輝度データが8ビットデジタル信号である場合について説明する。この場合、輝度値は0〜255のいずかの値をとる。ここで、輝度値が「10」の物体が毎フレーム5画素移動する場合と、輝度値が「100」の物体が毎フレーム5画素移動する場合とでは、フレーム差は異なるが、動き量は同一の毎フレーム5画素である。しかしながら、単にフレーム差を動き量とする方法では、輝度値の高い物体が移動した場合の方が、大きな動き信号となってしまう。つまり、輝度値が「100」の物体の動き量は、輝度値が「10」である所定物体の10倍の動き量を示すこととなる。
(実用例:主走査方向、副走査方向、時間方向に対する鮮鋭化処理)
動画像に対して鮮鋭化処理を施すにあたり、通常、主走査方向(横方向、水平方向)および副走査方向(縦方向、垂直方向)に対して鮮鋭化処理を施す。さらに、時間方向に対しても鮮鋭化処理を施すことにより、より高度に鮮鋭化することが可能となる。なお、時間方向に鮮鋭化することにより、残像の発生を抑制することが可能となる。
ここで、鮮鋭化処理部100が備える高周波成分抽出部11が有する単位遅延素子111hのそれぞれは、(1)入力された信号で表される動画像の主走査方向に単位時間ずつ遅延させた信号を出力するものであってもよいし、(2)入力された信号で表される動画像の副走査方向に単位時間ずつ遅延させた信号を出力するものであってもよいし、(3)入力された信号で表される動画像の時間方向に単位時間ずつ(フレーム毎に)遅延させた信号を出力するものであってもよい。
そして、単位遅延素子111hのそれぞれが上記(1)の構成である場合、鮮鋭化処理部100は、動画像の主走査方向について鮮鋭化処理を施すことができる。主走査方向についての鮮鋭化処理を、以下では、主走査方向処理を表記する。
また、単位遅延素子111hのそれぞれが上記(2)の構成である場合、鮮鋭化処理部100は、動画像の副走査方向について鮮鋭化処理を施すことができる。副走査方向についての鮮鋭化処理を、以下では、副走査方向処理を表記する。
また、単位遅延素子111hのそれぞれが上記(3)の構成である場合、鮮鋭化処理部100は、動画像の時間方向について鮮鋭化処理を施すことができる。時間方向についての鮮鋭化処理を、以下では、時間方向処理を表記する。
したがって、入力信号SAで表される動画像の動き領域に対して鮮鋭化処理を施す場合、図16に示す構成が最適である。図16は、動画像の動き領域に対して主走査方向処理、副走査方向処理、および時間方向処理をそれぞれ施す信号処理装置500bを示すブロック図である。
同図に示すように、信号処理装置500bは、主走査方向処理を行なう鮮鋭化処理部100、副走査方向処理を行なう鮮鋭化処理部100、および時間方向処理を行なう鮮鋭化処理部100を備えている。そして、主走査方向処理を行なう鮮鋭化処理部100から出力される信号(第1の鮮鋭化信号)は、副走査方向処理を行なう鮮鋭化処理部100に入力される。副走査方向処理を行なう鮮鋭化処理部100から出力される信号(第2の鮮鋭化信号)は、時間方向処理を行なう鮮鋭化処理部100に入力される。時間方向処理を行なう鮮鋭化処理部100は、接続点In1に信号を出力する。
よって、動き検出部200にて動きが検出されたとき、接続点Outと接続点In1とが接続され、時間方向処理を行なう鮮鋭化処理部100から出力される信号(動き領域信号)が、出力信号SOとして信号出力部300から出力される。一方、動き検出部200にて動きが検出されなかったとき、接続点Outと接続点In2とが接続され、遅延処理部400から出力される信号(非動き領域信号)が、出力信号SOとして信号出力部300から出力される。
なお、信号処理装置500bでは、動き検出部200が備える第1エッジ検出部230および第2エッジ検出部240は、下記のように動作するものとする。
すなわち、第1エッジ検出部230は、メモリ信号S210で表される直前のフレームに含まれる主走査方向の高周波成分および副走査方向の高周波成分のいずれか大きい方を、ブロック領域毎に検出し、該検出した高周波成分を、第1エッジ信号S230として出力する。なお、主走査方向の高周波成分と副走査方向の高周波成分とを加算した信号を、第1エッジ信号S230として出力してもよい。
同様に、第2エッジ検出部240は、最新のフレームに含まれる主走査方向の高周波成分および副走査方向の高周波成分のいずれか大きい方を、ブロック領域毎に検出し、該検出した高周波成分を、第2エッジ信号S240として出力する。なお、主走査方向の高周波成分と副走査方向の高周波成分とを加算した信号を、第2エッジ信号S240として出力してもよい。
信号処理装置500bの構成によれば、動き領域に対して、主走査方向処理、副走査方向処理、および時間方向処理をそれぞれ施すことができるので、動き領域を高度に鮮鋭化することが可能となる。
なお、図16では、主走査方向処理を行なう鮮鋭化処理部100、副走査方向処理を行なう鮮鋭化処理部100、および時間方向処理を行なう鮮鋭化処理部100をそれぞれ備える構成としたが、コスト低減および処理速度の向上を図るために、一部を省略してもよい。例えば、図16に示す構成から、時間方向処理を行なう鮮鋭化処理部100を省き、主走査方向処理を行なう鮮鋭化処理部100、および、副走査方向処理を行なう鮮鋭化処理部100のみを備える構成としてもよい。
(変形例:動き量に応じた鮮鋭化)
動き検出部200が、図14に示すように、ブロック領域毎の動き量を算出する構成である場合、動き検出部200が算出した動き量を鮮鋭化処理部100に通知する構成とし、動き量に応じて、ブロック領域の鮮鋭化度合いを変更する構成とすることもできる。以下に、当該構成例を2つ説明する。
まず、1つ目の構成例は、鮮鋭化処理部100が備えるリミッタ51が、符号変換信号S41に乗算する倍率値αを、動き検出部200が算出した動き量に応じた値に設定する構成である。つまり、動き量が大きいほど倍率値αの値を大きく設定する。
例えば、動き量の絶対値が0〜7のいずれかの値を取り得る場合において、動き量の絶対値が1〜3のとき(動き量が小さいとき)、例えば倍率値αを0.2と設定し、動き量の絶対値が4〜7のとき(動き量が大きいとき)、例えば倍率値αを0.8と設定する。
このように倍率値αを設定することにより、動き量が大きいときは、符号変換信号S41の振幅が大きくなり、その結果、非線形処理信号S12の振幅が大きくなる。よって、動き量が大きいブロック領域は、動き量が小さいブロック領域よりも、高度に鮮鋭化されることとなる。
次に、2つ目の構成例について説明する。2つ目の構成例は、高周波成分抽出部11が、係数Ckの組合せが異なる複数のフィルタ110(つまり、周波数特性が異なる複数のフィルタ110)を備えており、動き検出部200が算出した動き量に応じたフィルタ110を選択して用いる構成である。
係数Ckの異なる複数のフィルタ110とは、例えば、通過させる周波数成分が多くなるように係数Ckのそれぞれが設定されたもの、および、通過させる周波数成分が少なくなるように係数Ckのそれぞれが設定されたものである。
そして、例えば、動き量の絶対値が0〜7のいずれかの値を取り得る場合において、動き量の絶対値が1〜3のとき(動き量が小さいとき)、通過させる周波数成分が少なくなるように係数Ckが設定された方のフィルタ110を選択し、一方、動き量の絶対値が4〜7のとき(動き量が大きいとき)、通過させる周波数成分が多くなるように係数Ckが設定された方のフィルタ110を選択する。これにより、動き量が大きいときは、高域信号SH1が大きくなり、その結果、非線形処理信号S12の振幅が大きくなる。よって、動き量が大きいブロック領域は、動き量が小さいブロック領域よりも、高度に鮮鋭化されることとなる。
〔実施形態2〕
実施形態1にて説明した信号処理装置500は、入力信号SAで表される動画像の動き領域に対して鮮鋭化処理を施す構成である。しかしながら、さらに、動画像の静止領域に対しても鮮鋭化処理を施してもよい。静止領域に対しても鮮鋭化処理を施すことにより、動画像の解像度感をより向上させることができる。なお、通常、静止領域は動き領域よりもボケ感は少ないので、静止領域に対する鮮鋭化は、動き領域に対する鮮鋭化よりも、鮮鋭化の度合いを弱くすることが望ましい。
本実施形態では、動き領域に加えて、静止領域に対しても鮮鋭化処理を施す形態について説明する。なお、本明細書における「静止領域」とは、フレーム間で動きのない領域を指しているが、完全に静止している領域のみを静止領域としてもよいし、微小な動きのある(動き量が所定の閾値以下である)領域を含めて静止領域としてもよい。
本発明の一実施形態について図17および図18に基づいて説明すると以下の通りである。本実施形態に係る信号処理装置500を、信号処理装置500cと表記する。なお、説明の便宜上、実施形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。
なお、信号処理装置500cの構成を説明するにあたり、鮮鋭化処理を施す方向(主走査方向、副走査方向、時間方向)については特に言及しない。
(信号処理装置の構成)
図17を参照しながら、信号処理装置500cの構成について説明する。図17は、信号処理装置500cの構成を示すブロック図である。同図に示すように、信号処理装置500cは、2つの鮮鋭化処理部100と、動き検出部200と、信号出力部300とを備えている。
ここで、上記2つの鮮鋭化処理部100のうち、動き領域に対して鮮鋭化処理を施すための鮮鋭化処理部100を、特に「鮮鋭化処理部100A」と表記し、一方、静止領域に対して鮮鋭化処理を施すための鮮鋭化処理部100を、特に「鮮鋭化処理部100B」と表記する。
鮮鋭化処理部100Aは、入力信号SAを入力として、接続点In1に信号を出力する。また、鮮鋭化処理部100Bは、入力信号SAを入力として、接続点In2に信号を出力する。
ここで、鮮鋭化処理部100Aおよび鮮鋭化処理部100Bは、いずれも、上述した鮮鋭化処理部100と同じ構成であるが、下記(1)および(2)の少なくともいずれかが設定されており、鮮鋭化の度合いが異なる。
(1)鮮鋭化処理部100Aが備えるリミッタ51が符号変換信号S41に乗算する倍率値α(以下、α1と表記する)が、鮮鋭化処理部100Bが備えるリミッタ51が符号変換信号S41に乗算する倍率値α(以下、α2と表記する)よりも大きくなるように設定する。α1がα2の3倍程度であることが好ましい。
これにより、動き領域では静止領域よりも符号変換信号S41の振幅が大きくなり、その結果、非線形処理信号S12の振幅が大きくなる。よって、動き領域は、静止領域よりも、高度に鮮鋭化されることとなる。
(2)鮮鋭化処理部100Aが備えるフィルタ110は、通過させる周波数成分が多くなるように係数Ckのそれぞれを設定し、鮮鋭化処理部100Aが備えるフィルタ110は、通過させる周波数成分が少なくなるように係数Ckのそれぞれを設定する。
これにより、動き領域では静止領域よりも高域信号SH1が大きくなり、その結果、非線形処理信号S12の振幅が大きくなる。よって、動き領域は、静止領域よりも、高度に鮮鋭化されることとなる。
以上の構成により、信号処理装置500cでは、動き検出部200にて動きが検出されたブロック領域については、鮮鋭化処理部100Aから出力される出力信号Soutを、出力信号SOとして出力する。一方、動き検出部200にて動きが検出されなかったブロック領域については、鮮鋭化処理部100Bから出力される出力信号Soutを、出力信号SOとして出力する。
(実用例:主走査方向、副走査方向、時間方向に対する鮮鋭化処理)
本実施形態の場合にも、動き領域および静止領域のそれぞれに対して、主走査方向処理、副走査方向処理、および時間方向処理をそれぞれ施す構成が最適である。
図18は、動画像の動き領域および静止領域のそれぞれ毎に、主走査方向処理、副走査方向処理、および時間方向処理をそれぞれ施す信号処理装置500dを示すブロック図である。
同図に示すように、信号処理装置500dは、主走査方向処理を行なう鮮鋭化処理部100A、副走査方向処理を行なう鮮鋭化処理部100A、および時間方向処理を行なう鮮鋭化処理部100Aを備えるとともに、主走査方向処理を行なう鮮鋭化処理部100B、副走査方向処理を行なう鮮鋭化処理部100B、および時間方向処理を行なう鮮鋭化処理部100Bを備えている。
信号処理装置500cの構成によれば、動き領域および静止領域のそれぞれ毎に、主走査方向処理、副走査方向処理、および時間方向処理をそれぞれ施すことができるので、動き領域および静止領域のいずれについても高度に鮮鋭化することが可能となる。
なお、図18では、主走査方向処理を行なう鮮鋭化処理部100、副走査方向処理を行なう鮮鋭化処理部100、および時間方向処理を行なう鮮鋭化処理部100をそれぞれ備える構成としたが、コストの低減および処理速度の向上を図るために、一部を省略してもよい。例えば、図18に示す構成から、時間方向処理を行なう鮮鋭化処理部100を省き、主走査方向処理を行なう鮮鋭化処理部100、および、副走査方向処理を行なう鮮鋭化処理部100のみを備える構成としてもよい。
(変形例:動き量に応じた鮮鋭化)
本実施形態の場合にも、実施形態1にて説明したように、動き領域については、動き量に応じて鮮鋭化度合いを変更する構成とすることもできる。当該構成は、実施形態1にて説明した構成と同様であるので、ここではその説明を省略する。
〔付記事項〕
最後に、信号処理装置500の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェアとして構成してもよいし、次のようにCPU(central processing unit)を用いてソフトウェアによって実現してもよい。
ソフトウェアによって実現する場合は、信号処理装置500(特に、鮮鋭化処理部100)は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである信号処理装置500の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記信号処理装置500に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、PLD(Programmable logic device)等の論理回路類などを用いることができる。
また、信号処理装置500を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、1つの手段の機能が2つ以上の物理的手段により実現されても、もしくは2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
以上のように、本発明に係る信号処理装置は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像を表す信号を鮮鋭化した高調波を生成する第1の高周波成分生成手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、上記第1の高周波成分生成手段は、上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、上記第1の低周波除去信号を入力とし、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成し、当該第1の非線形処理信号を出力する第1の非線形処理手段と、上記動き領域信号と上記第1の非線形処理信号とを加算することによって、上記高調波を生成する加算手段とを備えている。
また、本発明に係る集積回路は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する集積回路であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出回路と、上記動き検出回路にて上記動きが検出された上記ブロック領域の動画像を表す信号を鮮鋭化した高調波を生成する高周波成分生成回路と、上記動き検出回路にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、上記動き検出回路にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力回路とを備えるとともに、上記高周波成分生成回路は、上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって低周波除去信号を生成する低周波成分除去回路と、上記低周波除去信号を入力とし、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が0の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成し、当該非線形処理信号を出力する非線形処理回路と、上記動き領域信号と上記非線形処理信号とを加算することによって、上記高調波を生成する加算回路とを有している。
よって、動画像のうち、動き領域の画像を表す動き領域信号に対して非線形処理を施した信号を出力することができる。
したがって、動き領域の画像を表す動き領域信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、本発明に係る信号処理装置および集積回路は、動き領域の画像を高度に鮮鋭化することが可能となり、動画像における動き領域の動きボケを大きく低減し、画質および解像度感を向上させることができるという効果を奏する。
また、本発明に係る信号処理装置は、時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第1の鮮鋭化信号を生成する第1の高周波成分生成手段と、上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第2の鮮鋭化信号を生成する第2の高周波成分生成手段と、上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記第2の鮮鋭化信号を出力し、上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、上記第1の高周波成分生成手段は、上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号である主走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成する第1の非線形処理手段と、上記主走査方向信号と上記第1の非線形処理信号とを加算することによって、上記第1の鮮鋭化信号を生成する第1の加算手段とを備え、上記第2の高周波成分生成手段は、上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号である副走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第2の低周波除去信号を生成する第2の低周波成分除去手段と、上記第2の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第2の低周波除去信号の値が0の近傍のとき、上記第2の低周波除去信号に対して非線形に広義に単調増加する第2の非線形処理信号を生成して出力する第2の非線形処理手段と、上記副走査方向信号と上記第2の非線形処理信号とを加算することによって、上記第2の鮮鋭化信号を生成する第2の加算手段とを備えている。
よって、動画像のうち、動き領域の動画像の主走査方向および副走査方向に対して非線形処理を施した信号を出力することができる。
したがって、動き領域の画像を表す信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、本発明に係る信号処理装置は、動き領域の画像を高度に鮮鋭化することが可能となり、動画像における動き領域の動きボケを大きく低減し、画質および解像度感を向上させることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記信号出力手段から上記第2の鮮鋭化信号が出力される前に、上記第2の鮮鋭化信号で表される動画像の時間方向に隣接して並ぶ画素から成る画素群を表す信号である時間方向信号を鮮鋭化する第3の高周波成分生成手段をさらに備え、上記第3の高周波成分生成手段は、上記時間方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第3の低周波除去信号を生成して出力する第3の低周波成分除去手段と、上記第3の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第3の低周波除去信号の値が0の近傍のとき、上記第3の低周波除去信号に対して非線形に広義に単調増加する第3の非線形処理信号を生成する第3の非線形処理手段と、上記時間方向信号と上記第3の非線形処理信号とを加算することによって、上記時間方向信号を鮮鋭化する第3の加算手段とを備える構成であってもよい。
上記の構成によれば、さらに、動画像のうち、動き領域の動画像の時間方向に対して非線形処理を施した信号を出力することができる。
その結果、本発明に係る信号処理装置は、動き領域の画像をさらに高度に鮮鋭化することが可能となるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記信号出力手段から上記非動き領域信号が出力される前に、上記非動き領域信号を鮮鋭化する第4の高周波成分生成手段をさらに備え、上記第4の高周波成分生成手段は、上記非動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第4の低周波除去信号を生成して出力する第4の低周波成分除去手段と、上記第4の低周波除去信号を入力とし、上記第4の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第4の低周波除去信号の値が0の近傍のとき、上記第4の低周波除去信号に対して非線形に広義に単調増加する第4の非線形処理信号を生成し、当該第4の非線形処理信号を出力する第4の非線形処理手段と、上記非動き領域信号と上記第4の非線形処理信号とを加算することによって、上記非動き領域信号を鮮鋭化する第4の加算手段とを備える構成であってもよい。
上記の構成によれば、さらに、動画像のうち、動きが検出されなかったブロック領域(以下、静止領域)の画像を表す非動き領域信号に対して非線形処理を施した信号を出力することができる。
ここで、上記非動き領域信号を鮮鋭化するにあたり、非動き領域信号と、第4の低周波除去信号を2乗する等の非線形処理を施した第4の非線形処理信号とを加算する。ただし、生成される信号の符号の正負は、第4の低周波除去信号の符号の正負が維持される。
その結果、静止領域の画像を表す信号の周波数成分には含まれない高帯域の周波数成分が含まれる。つまり、静止領域の画像を表す信号を離散化する場合のサンプリング周波数の1/2の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。
したがって、静止領域の画像を表す信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す従来の鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。
その結果、静止領域の画像についても高度に鮮鋭化することが可能となり、動画像全体の画質および解像度感を向上させることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の非線形処理手段、上記第2の非線形処理手段、上記第3の非線形処理手段、および上記第4の非線形処理手段の少なくともいずれかは、2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、上記符号変換手段によって符号が反転された上記偶数冪乗信号を出力する構成であってもよい。
上記の構成によれば、さらに、2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成するとともに、上記偶数冪乗信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転し、反転後の信号を出力する。
よって、入力される信号を、2以上の偶数を冪指数として冪乗するとともに、符号の正負は、上記冪乗前の低周波除去信号の符号の正負を維持したものが出力されるので、当該出力される信号と、上記入力される信号とを加算することによって得られる信号は、上記入力される信号には含まれない高い周波数成分が含まれる。
したがって、線形演算を施す従来の方法よりも、鮮鋭化の対象となる信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の非線形処理手段、上記第2の非線形処理手段、上記第3の非線形処理手段、および上記第4の非線形処理手段の少なくともいずれかは、2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、上記微分信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、上記符号変換手段によって符号が反転された上記微分信号を出力する構成であってもよい。
上記の構成によれば、さらに、2以上の偶数を冪指数として、入力される信号を冪乗することによって偶数冪乗信号を生成するとともに、偶数冪乗信号を微分することによって微分信号を生成し、上記微分信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転し、反転後の信号を出力する。
よって、入力される信号を、2以上の偶数を冪指数として冪乗し、冪乗後の信号に含まれ得る直流成分を微分することによって除去するとともに、符号の正負は、上記冪乗前の入力される信号の符号の正負を維持したものが出力されるので、当該出力される信号と、上記入力される信号とを加算することによって得られる信号は、上記入力される信号には含まれない高い周波数成分が含まれる。
したがって、線形演算を施す従来の方法よりも、鮮鋭化の対象となる信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。なお、冪乗後の信号に含まれ得る直流成分を微分することによって除去しているので、冪乗後の信号に含まれ得る直流成分を除去しない場合と比べて、信号の立ち上がりおよび立ち下がりをより急峻にすることができる。
さらに、本発明に係る信号処理装置は、上記第1の非線形処理手段、上記第2の非線形処理手段、上記第3の非線形処理手段、および上記第4の非線形処理手段の少なくともいずれかは、3以上の奇数を冪指数として、入力される信号を冪乗する奇数冪乗演算手段を備え、上記奇数冪乗演算手段によって冪乗された信号を出力する構成であってもよい。
上記の構成によれば、さらに、3以上の奇数を冪指数として、入力される信号を冪乗し、該冪乗された信号を出力する。
よって、入力される信号を、3以上の奇数を冪指数として冪乗したものが、出力されるので、当該出力される信号と、上記入力される信号とを加算することによって得られる信号は、上記入力される信号には含まれない高い周波数成分が含まれる。
したがって、線形演算を施す従来の方法よりも、鮮鋭化の対象となる信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の非線形処理手段、上記第2の非線形処理手段、上記第3の非線形処理手段、および上記第4の非線形処理手段の少なくともいずれかは、入力される信号を、当該入力される信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、上記平方根信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、上記符号変換手段によって符号が反転された上記平方根信号を出力する構成であってもよい。
上記の構成によれば、上記入力される信号を、当該入力される信号の取り得る最大値で除算した値(つまり、入力される信号を正規化した値)の絶対値の平方根と、上記最大値とを乗算した平方根信号であって、符号の正負は上記入力される信号符号の正負を維持したものが、出力される。
よって、上記出力される信号と、上記入力される信号とを加算することによって得られる信号は、上記入力される信号には含まれない高い周波数成分が含まれる。
したがって、線形演算を施す従来の方法よりも、鮮鋭化の対象となる信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の非線形処理手段、上記第2の非線形処理手段、上記第3の非線形処理手段、および上記第4の非線形処理手段の少なくともいずれかは、入力される信号の値が0の近傍のとき、絶対値が上記入力される信号の絶対値よりも大きい信号を出力する構成であってもよい。
上記の構成によれば、入力される信号の値が0の近傍のとき、絶対値が上記入力される信号の絶対値よりも大きい信号を出力する。
よって、入力される信号の値が0の近傍の区間では、出力信号を生成する際に鮮鋭化の対象となる信号に加算する信号の値を、鮮鋭化の対象となる信号より大きい値にすることができる。
したがって、低周波除去信号の値が0の近傍の区間において、鮮鋭化の対象となる信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の低周波成分除去手段、上記第2の低周波成分除去手段、上記第3の低周波成分除去手段、および上記第4の低周波成分除去手段の少なくともいずれかは、タップ数が3以上の高域通過型のフィルタである構成であってもよい。
上記の構成によれば、タップ数が3以上の高域通過型のフィルタであるので、鮮鋭化の対象となる信号から、少なくとも直流成分を適切に除去することができる。
よって、鮮鋭化の対象となる信号に含まれる直流成分を除いた信号に対して非線形処理を施した信号と鮮鋭化の対象となる信号とを加算することによって得られる信号は、鮮鋭化の対象となる信号には含まれない高い周波数成分が含まれる。
したがって、線形演算を施す従来の方法よりも、鮮鋭化の対象となる信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の低周波成分除去手段、上記第2の低周波成分除去手段、上記第3の低周波成分除去手段、および上記第4の低周波成分除去手段の少なくともいずれかは、出力する信号のうち、絶対値が所定下限値よりも小さい部分の信号値を0に変更する低レベル信号除去手段と、出力する信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備える構成であってもよい。
上記の構成によれば、出力する信号のうち、絶対値が所定下限値よりも小さい部分の信号値を0に変更するとともに、出力する信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する。
よって、出力する信号に含まれるノイズを除去することができるとともに、出力する信号に含まれるエネルギーが大きい高周波成分が、非線形処理によって増幅されることを防ぐことができる。
したがって、出力される信号において、ノイズが除去されており、かつ、エネルギーが大きい高周波成分が増幅されることを防止できるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の非線形処理手段、上記第2の非線形処理手段、および上記第3の非線形処理手段の少なくともいずれかは、出力する信号の振幅を、第1の所定の倍率値を乗算することによって調整する第1の振幅調整手段をさらに備える構成であってもよい。
上記の構成によれば、動き領域について、出力する信号の振幅を適切な大きさに調整することができる。したがって、出力される信号の振幅が大きくなりすぎることを防止できるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第1の振幅調整手段は、上記動き検出手段にて検出された動きの大きさに応じて上記第1の所定の倍率値を設定する構成であってもよい。
上記の構成によれば、上記動き検出手段にて検出された動きの大きさに応じて上記第1の所定の倍率値を設定することができる。したがって、検出された動きの大きさに応じて、出力する信号の振幅を適切な大きさに調整することができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第4の非線形処理手段は、上記第4の非線形処理信号の振幅を、第2の所定の倍率値を乗算することによって調整する第4の振幅調整手段をさらに備え、上記第1の所定の倍率値は、上記第2の所定の倍率値よりも大きい構成であってもよい。
上記の構成によれば、静止領域について、出力する信号の振幅を適切な大きさに調整することができるとともに、静止領域において出力される信号の振幅を、動き領域において出力される信号の振幅よりも小さくすることができる。
したがって、静止領域に対する鮮鋭化を、動き領域に対する鮮鋭化よりも抑えることができる。言い換えれば、動き領域は静止領域よりも高度に鮮鋭化することができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記動き検出手段は、隣接する2つのフレームの差分を表す差信号を算出する差分算出手段と、上記2つのフレームの一方に含まれる第1の高周波成分を、上記ブロック領域毎に算出する第1の高周波成分算出手段と、上記2つのフレームの他方に含まれる第2の高周波成分を、上記ブロック領域毎に算出する第2の高周波成分算出手段と、上記ブロック領域毎に、上記第1の高周波成分に第1の係数を乗算した値と、上記第2の高周波成分に第2の係数を乗算した値とを加算することによって第3の高周波成分を算出する第3の高周波成分算出手段と、上記ブロック領域毎に、上記差分算出手段にて算出した上記差信号を、上記第3の高周波成分算出手段にて算出した上記第3の高周波成分にて除算することによって、動き信号を算出する除算手段とを備え、上記動き信号の値が、所定の閾値より大きい上記ブロック領域にて、動きを検出したものとする構成であってもよい。
上記の構成によれば、隣接する2つのフレームの一方に含まれる高周波成分(エッジ成分)に第1の係数を乗算した値と、当該隣接する2つのフレームの他方に含まれる高周波成分(エッジ成分)に第2の係数を乗算した値とを加算することによって第3の高周波成分を算出する。そして、隣接する2つのフレームの差分を表す差信号を、第3の高周波成分で除算することによって動き信号を算出する。そして、動き信号の値が、所定の閾値より大きいブロック領域にて、動きを検出したものとする。
よって、隣接する2つのフレームのそれぞれに含まれる高周波成分を考慮して算出された第3の高周波成分によって差信号を除算するので、例えば、画面内を所定物体が等速で移動している場合、除算の結果、信号値の大きい部分と小さい部分とに差が生じることを抑制することができる。
したがって、隣接する2つのフレームのいずれか一方に含まれる高周波成分にて差信号を除算することによって動き信号を算出する技術と比べて、より適切に動き領域を検出することができるという効果を奏する。
さらに、本発明に係る信号処理装置は、上記第3の高周波成分算出手段は、上記第1の高周波成分の絶対値が上記第2の高周波成分の絶対値以上のとき、上記第1の係数を1に設定するとともに、上記第2の係数を0に設定し、上記第1の高周波成分の絶対値が上記第2の高周波成分の絶対値より小さいとき、上記第1の係数を0に設定するとともに、上記第2の係数を1に設定する構成であってもよい。
上記の構成によれば、隣接する2つのフレームの一方に含まれる高周波成分(エッジ成分)と、当該隣接する2つのフレームの他方に含まれる高周波成分(エッジ成分)とのうち、絶対値の大きい方を、符号の正負を維持して、第3の高周波成分として算出することができる。
さらに、本発明に係る信号処理装置は、上記第3の高周波成分算出手段は、上記第1の係数と上記第2の係数との和が1になるように、上記第1の係数および上記第2の係数を0以上1以下のいずれかの値に設定する構成であってもよい。
上記の構成によれば、隣接する2つのフレームの一方に含まれる高周波成分(エッジ成分)の{γ/(γ+ε)}倍と、当該隣接する2つのフレームの他方に含まれる高周波成分(エッジ成分)の{ε/(γ+ε)}倍とを加算したものを、第3の高周波成分として算出することができる。なお、γおよびεは、それぞれ、重みを表す任意の正数である。
さらに、本発明に係る信号処理装置は、上記第3の高周波成分算出手段は、上記第1の係数および上記第2の係数を0.5に設定する構成であってもよい。
上記の構成によれば、隣接する2つのフレームの一方に含まれる高周波成分(エッジ成分)と、当該隣接する2つのフレームの他方に含まれる高周波成分(エッジ成分)との平均値を、第3の高周波成分として算出することができる。
さらに、本発明に係る信号処理装置は、上記第3の高周波成分算出手段は、上記第1の係数および上記第2の係数を1に設定する構成であってもよい。
上記の構成によれば、隣接する2つのフレームの一方に含まれる高周波成分(エッジ成分)と、当該隣接する2つのフレームの他方に含まれる高周波成分(エッジ成分)との和を、第3の高周波成分として算出することができる。
なお、上記信号処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記信号処理装置をコンピュータにて実現させる上記信号処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
さらに、上記集積回路を備えるチップも、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。
本発明は、画像を表すデジタル信号を処理する装置に適用できる。特に、動画像を表示するディスプレイ装置等に好適に適用できる。
11 高周波成分抽出部(第1の低周波成分除去手段、第2の低周波成分除去手段、第3の低周波成分除去手段、第4の低周波成分除去手段、低周波成分除去回路)
15 加算部(第1の加算手段、第2の加算手段、第3の加算手段、第4の加算手段、加算回路)
21 非線形演算部(偶数冪乗演算手段、平方根演算手段)
22 非線形演算部(奇数冪乗演算手段)
31 微分部(微分手段)
41 符号変換部(符号変換手段)
51 リミッタ(第1の振幅調整手段、第2の振幅調整手段)
100、100a〜100e、 鮮鋭化処理部(第1の高周波成分生成手段、第2の高周波成分生成手段、第3の高周波成分生成手段、第4の高周波成分生成手段、高周波成分生成回路)
102、102a〜102e 非線形処理部(第1の非線形処理手段、第2の非線形処理手段、第3の非線形処理手段、第4の非線形処理手段、非線形処理回路)
132 丸め処理部(低レベル信号除去手段)
133 リミッタ(高レベル信号除去手段)
200 動き検出部(動き検出手段、動き検出回路)
220 差分算出部(差分算出手段)
230 第1エッジ検出部(第1の高周波成分算出手段)
240 第2エッジ検出部(第2の高周波成分算出手段)
250 エッジ算出部(第3の高周波成分算出手段)
260 除算部(除算手段)
300 信号出力部(信号出力手段、信号出力回路)
500、500a〜500d 信号処理装置(集積回路)
S11 高周波信号(第1の低周波除去信号、第2の低周波除去信号、第3の低周波除去信号、第4の低周波除去信号、低周波除去信号)
S12 非線形処理信号(第1の非線形処理信号、第2の非線形処理信号、第3の非線形処理信号、第4の非線形処理信号)
S21 非線形信号(偶数冪乗信号、平方根信号)
S22 非線形信号
S31 微分信号
S220 差信号
S230 第1エッジ信号(第1の高周波成分)
S240 第2エッジ信号(第2の高周波成分)
S250 エッジ信号(第3の高周波成分)
S260 動き信号
Sout 出力信号(高調波、第1の鮮鋭化信号、第2の鮮鋭化信号)
P1 第1の係数
P2 第2の係数

Claims (24)

  1. 時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、
    上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、
    上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第1の鮮鋭化信号を生成する第1の高周波成分生成手段と、
    上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号を鮮鋭化した第2の鮮鋭化信号を生成する第2の高周波成分生成手段と、
    上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記第2の鮮鋭化信号を出力し、
    上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、
    上記第1の高周波成分生成手段は、
    上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像の主走査方向に隣接して並ぶ画素から成る画素群を表す信号である主走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、
    上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成する第1の非線形処理手段と、
    上記主走査方向信号と上記第1の非線形処理信号とを加算することによって、上記第1の鮮鋭化信号を生成する第1の加算手段とを備え、
    上記第2の高周波成分生成手段は、
    上記第1の鮮鋭化信号で表される動画像の副走査方向に隣接して並ぶ画素から成る画素群を表す信号である副走査方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第2の低周波除去信号を生成する第2の低周波成分除去手段と、
    上記第2の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第2の低周波除去信号の値が0の近傍のとき、上記第2の低周波除去信号に対して非線形に広義に単調増加する第2の非線形処理信号を生成して出力する第2の非線形処理手段と、
    上記副走査方向信号と上記第2の非線形処理信号とを加算することによって、上記第2の鮮鋭化信号を生成する第2の加算手段とを備えることを特徴とする信号処理装置。
  2. 上記信号出力手段から上記第2の鮮鋭化信号が出力される前に、上記第2の鮮鋭化信号で表される動画像の時間方向に隣接して並ぶ画素から成る画素群を表す信号である時間方向信号を鮮鋭化する第3の高周波成分生成手段をさらに備え、
    上記第3の高周波成分生成手段は、
    上記時間方向信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第3の低周波除去信号を生成して出力する第3の低周波成分除去手段と、
    上記第3の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第3の低周波除去信号の値が0の近傍のとき、上記第3の低周波除去信号に対して非線形に広義に単調増加する第3の非線形処理信号を生成する第3の非線形処理手段と、
    上記時間方向信号と上記第3の非線形処理信号とを加算することによって、上記時間方向信号を鮮鋭化する第3の加算手段とを備えることを特徴とする請求項に記載の信号処理装置。
  3. 上記信号出力手段から上記非動き領域信号が出力される前に、上記非動き領域信号を鮮鋭化する第4の高周波成分生成手段をさらに備え、
    上記第4の高周波成分生成手段は、
    上記非動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第4の低周波除去信号を生成して出力する第4の低周波成分除去手段と、
    上記第4の低周波除去信号を入力とし、上記第4の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第4の低周波除去信号の値が0の近傍のとき、上記第4の低周波除去信号に対して非線形に広義に単調増加する第4の非線形処理信号を生成し、当該第4の非線形処理信号を出力する第4の非線形処理手段と、
    上記非動き領域信号と上記第4の非線形処理信号とを加算することによって、上記非動き領域信号を鮮鋭化する第4の加算手段とを備えていることを特徴とする請求項1または2に記載の信号処理装置。
  4. 上記第2の非線形処理手段は、
    2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
    上記偶数冪乗信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、
    上記符号変換手段によって符号が反転された上記偶数冪乗信号を出力することを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  5. 上記第2の非線形処理手段は、
    2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
    上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、
    上記微分信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、
    上記符号変換手段によって符号が反転された上記微分信号を出力することを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  6. 上記第2の非線形処理手段は、
    3以上の奇数を冪指数として、入力される信号を冪乗する奇数冪乗演算手段を備え、
    上記奇数冪乗演算手段によって冪乗された信号を出力することを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  7. 上記第2の非線形処理手段は、
    入力される信号を、当該入力される信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、
    上記平方根信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、
    上記符号変換手段によって符号が反転された上記平方根信号を出力することを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  8. 上記第2の非線形処理手段は、
    入力される信号の値が0の近傍のとき、絶対値が上記入力される信号の絶対値よりも大きい信号を出力することを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  9. 上記第2の低周波成分除去手段は、
    タップ数が3以上の高域通過型のフィルタであることを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  10. 上記第2の低周波成分除去手段は、
    出力する信号のうち、絶対値が所定下限値よりも小さい部分の信号値を0に変更する低レベル信号除去手段と、
    出力する信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備えることを特徴とする請求項1からのいずれか1項に記載の信号処理装置。
  11. 上記第2の非線形処理手段は、
    出力する信号の振幅を、第1の所定の倍率値を乗算することによって調整する第1の振幅調整手段をさらに備えることを特徴とする請求項1から10のいずれか1項に記載の信号処理装置。
  12. 時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する信号処理装置であって、
    上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出手段と、
    上記動き検出手段にて上記動きが検出された上記ブロック領域の動画像を表す信号を鮮鋭化した高調波を生成する第1の高周波成分生成手段と、
    上記動き検出手段にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、
    上記動き検出手段にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力手段とを備えるとともに、
    上記第1の高周波成分生成手段は、
    上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第1の低周波除去信号を生成して出力する第1の低周波成分除去手段と、
    上記第1の低周波除去信号を入力とし、上記第1の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第1の低周波除去信号の値が0の近傍のとき、上記第1の低周波除去信号に対して非線形に広義に単調増加する第1の非線形処理信号を生成し、当該第1の非線形処理信号を出力する第1の非線形処理手段と、
    上記動き領域信号と上記第1の非線形処理信号とを加算することによって、上記高調波を生成する加算手段とを備えることを特徴とする信号処理装置。
  13. 上記信号出力手段から上記非動き領域信号が出力される前に、上記非動き領域信号を鮮鋭化する第4の高周波成分生成手段をさらに備え、
    上記第4の高周波成分生成手段は、
    上記非動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって第4の低周波除去信号を生成して出力する第4の低周波成分除去手段と、
    上記第4の低周波除去信号を入力とし、上記第4の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第4の低周波除去信号の値が0の近傍のとき、上記第4の低周波除去信号に対して非線形に広義に単調増加する第4の非線形処理信号を生成し、当該第4の非線形処理信号を出力する第4の非線形処理手段と、
    上記非動き領域信号と上記第4の非線形処理信号とを加算することによって、上記非動き領域信号を鮮鋭化する第4の加算手段とを備えていることを特徴とする請求項12に記載の信号処理装置。
  14. 上記第1の非線形処理手段は、
    2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
    上記偶数冪乗信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、
    上記符号変換手段によって符号が反転された上記偶数冪乗信号を出力することを特徴とする請求項1から3、12、および13のいずれか1項に記載の信号処理装置。
  15. 上記第1の非線形処理手段は、
    2以上の偶数を冪指数として、入力される信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
    上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、
    上記微分信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、
    上記符号変換手段によって符号が反転された上記微分信号を出力することを特徴とする請求項1から3、12、および13のいずれか1項に記載の信号処理装置。
  16. 上記第1の非線形処理手段は、
    3以上の奇数を冪指数として、入力される信号を冪乗する奇数冪乗演算手段を備え、
    上記奇数冪乗演算手段によって冪乗された信号を出力することを特徴とする請求項1から3、12、および13のいずれか1項に記載の信号処理装置。
  17. 上記第1の非線形処理手段は、
    入力される信号を、当該入力される信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、
    上記平方根信号のうち、符号の正負が、上記入力される信号と異なる部分の符号を反転する符号変換手段とを備え、
    上記符号変換手段によって符号が反転された上記平方根信号を出力することを特徴とする請求項1から3、12、および13のいずれか1項に記載の信号処理装置。
  18. 上記第1の非線形処理手段は、
    入力される信号の値が0の近傍のとき、絶対値が上記入力される信号の絶対値よりも大きい信号を出力することを特徴とする請求項1から3、および12から17のいずれか1項に記載の信号処理装置。
  19. 上記第1の低周波成分除去手段は、
    タップ数が3以上の高域通過型のフィルタであることを特徴とする請求項1から3、および12から18のいずれか1項に記載の信号処理装置。
  20. 上記第1の低周波成分除去手段は、
    出力する信号のうち、絶対値が所定下限値よりも小さい部分の信号値を0に変更する低レベル信号除去手段と、
    出力する信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備えることを特徴とする請求項1から3、および12から19のいずれか1項に記載の信号処理装置。
  21. 上記第1の非線形処理手段は、
    出力する信号の振幅を、第1の所定の倍率値を乗算することによって調整する第1の振幅調整手段をさらに備えることを特徴とする請求項1から3、および12から20のいずれか1項に記載の信号処理装置。
  22. 上記動き検出手段は、
    隣接する2つのフレームの差分を表す差信号を算出する差分算出手段と、
    上記2つのフレームの一方に含まれる第1の高周波成分を、上記ブロック領域毎に算出する第1の高周波成分算出手段と、
    上記2つのフレームの他方に含まれる第2の高周波成分を、上記ブロック領域毎に算出する第2の高周波成分算出手段と、
    上記ブロック領域毎に、上記第1の高周波成分に第1の係数を乗算した値と、上記第2の高周波成分に第2の係数を乗算した値とを加算することによって第3の高周波成分を算出する第3の高周波成分算出手段と、
    上記ブロック領域毎に、上記差分算出手段にて算出した上記差信号を、上記第3の高周波成分算出手段にて算出した上記第3の高周波成分にて除算することによって、動き信号を算出する除算手段とを備え、
    上記動き信号の値が、所定の閾値より大きい上記ブロック領域にて、動きを検出したものとすることを特徴とする請求項1から21のいずれか1項に記載の信号処理装置。
  23. 請求項1から22のいずれか1項に記載の信号処理装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
  24. 時間的に連続する複数のフレームから構成される動画像を表す信号に対して上記動画像を鮮鋭化する処理を施し、該鮮鋭化させた動画像を表す信号を出力する集積回路であって、
    上記フレームを構成する1または隣接する複数の画素から成るブロック領域毎に、上記フレーム間での動きを検出する動き検出回路と、
    上記動き検出回路にて上記動きが検出された上記ブロック領域の動画像を表す信号を鮮鋭化した高調波を生成する高周波成分生成回路と、
    上記動き検出回路にて上記動きが検出された上記ブロック領域については、当該ブロック領域の動画像を表す信号である動き領域信号を鮮鋭化した上記高調波を出力し、
    上記動き検出回路にて上記動きが検出されなかった上記ブロック領域については、当該ブロック領域の動画像を表す信号である非動き領域信号を出力する信号出力回路とを備えるとともに、
    上記高周波成分生成回路は、
    上記動き領域信号に含まれる周波数成分から、少なくとも直流成分を除去することによって低周波除去信号を生成する低周波成分除去回路と、
    上記低周波除去信号を入力とし、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が0の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成し、当該非線形処理信号を出力する非線形処理回路と、
    上記動き領域信号と上記非線形処理信号とを加算することによって、上記高調波を生成する加算回路とを有していることを特徴とする集積回路。
JP2011553713A 2010-02-15 2010-11-08 信号処理装置、制御プログラム、および集積回路 Expired - Fee Related JP5450668B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011553713A JP5450668B2 (ja) 2010-02-15 2010-11-08 信号処理装置、制御プログラム、および集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010030571 2010-02-15
JP2010030571 2010-02-15
PCT/JP2010/069841 WO2011099202A1 (ja) 2010-02-15 2010-11-08 信号処理装置、制御プログラム、および集積回路
JP2011553713A JP5450668B2 (ja) 2010-02-15 2010-11-08 信号処理装置、制御プログラム、および集積回路

Publications (2)

Publication Number Publication Date
JPWO2011099202A1 JPWO2011099202A1 (ja) 2013-06-13
JP5450668B2 true JP5450668B2 (ja) 2014-03-26

Family

ID=44367495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011553713A Expired - Fee Related JP5450668B2 (ja) 2010-02-15 2010-11-08 信号処理装置、制御プログラム、および集積回路

Country Status (5)

Country Link
US (1) US8891898B2 (ja)
EP (1) EP2538658A4 (ja)
JP (1) JP5450668B2 (ja)
CN (1) CN102771111B (ja)
WO (1) WO2011099202A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824825B2 (en) * 2009-11-17 2014-09-02 Sharp Kabushiki Kaisha Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon
WO2011061957A1 (ja) 2009-11-17 2011-05-26 シャープ株式会社 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5396626B1 (ja) * 2012-08-09 2014-01-22 清一 合志 画像強調装置、画像強調方法
JP5320538B1 (ja) 2012-08-09 2013-10-23 清一 合志 画像強調装置、画像強調方法
JP5629902B1 (ja) 2013-08-20 2014-11-26 合志 清一 画像処理装置、画像処理方法
KR20150090515A (ko) * 2014-01-29 2015-08-06 삼성전자주식회사 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
US9785824B2 (en) 2014-04-15 2017-10-10 Infineon Technologies Ag Apparatus and a method for detecting a motion of an object in a target space
CN104601961B (zh) * 2015-02-03 2017-06-23 河海大学常州校区 一种基于光纤传输的视频监控系统的工作方法
CN108632502B (zh) * 2017-03-17 2021-04-30 深圳开阳电子股份有限公司 一种图像锐化的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139969A (ja) * 1994-11-08 1996-05-31 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH09319869A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> 画像エンハンサ
WO2002084997A1 (fr) * 2001-04-11 2002-10-24 Sony Corporation Circuit d'accentuation de contours
JP2006304352A (ja) * 2006-06-19 2006-11-02 Sony Corp 画像処理装置
JP2008103785A (ja) * 2006-10-17 2008-05-01 Sony Corp 輪郭強調回路、輪郭強調方法、撮像装置およびビューファインダ
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2010140281A1 (ja) * 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063445A (en) * 1990-04-19 1991-11-05 Nippon Hoso Kyokai Multiple sub-sampling transmitting/receiving system performing interfield and interframe offset sub-sampling of a broad bandwidth television signal
KR920008630B1 (ko) 1990-09-28 1992-10-02 삼성전자 주식회사 수평윤곽 보상회로
JP3106831B2 (ja) 1993-12-24 2000-11-06 松下電器産業株式会社 映像信号処理装置
JPH07312704A (ja) 1994-05-18 1995-11-28 Victor Co Of Japan Ltd 画質補償回路
JPH09233489A (ja) 1996-02-23 1997-09-05 Sharp Corp ノイズ低減回路
JPH09307897A (ja) 1996-05-09 1997-11-28 Fuji Photo Film Co Ltd 画像データ圧縮処理方法
EP0897222A4 (en) 1997-02-10 2007-07-25 Sony Corp PROCESS AND EQUIPMENT FOR DATA PROCESSING
JPH1166311A (ja) 1997-08-08 1999-03-09 Hitachi Tobu Semiconductor Ltd むら検査方法および装置
JPH11340878A (ja) 1998-05-22 1999-12-10 Ricoh Co Ltd 位相等化方式
JP3788031B2 (ja) 1998-06-03 2006-06-21 コニカミノルタホールディングス株式会社 画像処理方法および画像処理装置
WO2000042778A1 (en) 1999-01-15 2000-07-20 Koninklijke Philips Electronics N.V. Sharpness enhancement
JP2001169116A (ja) 1999-12-10 2001-06-22 Victor Co Of Japan Ltd 画像強調装置及びその方法
JP2002125200A (ja) 2000-10-16 2002-04-26 Hitachi Ltd 動画像フォーマット変換装置
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
JP2003069859A (ja) 2001-08-27 2003-03-07 Seiko Epson Corp 動きに適応した動画像処理
JP2003101774A (ja) 2001-09-25 2003-04-04 Ricoh Co Ltd 画像処理装置
JP2003134352A (ja) 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2003198878A (ja) 2001-12-28 2003-07-11 Sharp Corp 輪郭補正装置
AU2003213439A1 (en) * 2002-03-08 2003-09-22 Nippon Telegraph And Telephone Corporation Digital signal encoding method, decoding method, encoding device, decoding device, digital signal encoding program, and decoding program
EP1349113A3 (en) 2002-03-20 2006-01-11 Ricoh Company Image processor and image processing method
JP4141712B2 (ja) 2002-03-20 2008-08-27 株式会社リコー 画像処理装置
JP4139760B2 (ja) 2003-10-10 2008-08-27 富士フイルム株式会社 画像処理方法および装置ならびに画像処理プログラム
JP4419566B2 (ja) 2003-12-25 2010-02-24 ソニー株式会社 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
JP2006157584A (ja) 2004-11-30 2006-06-15 Konica Minolta Medical & Graphic Inc 画像処理方法
US7663701B2 (en) 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
US7639884B2 (en) 2005-04-26 2009-12-29 Nippon Hoso Kyokai Prefilter, compressive coding pre-processing apparatus and decompressive decoding post-processing apparatus, and compressive coding apparatus and decompressive decoding apparatus
JP4481868B2 (ja) 2005-04-26 2010-06-16 日本放送協会 プリフィルタ
US7668387B2 (en) 2005-06-20 2010-02-23 Intel Corporation Selective local transient improvement and peaking for video sharpness enhancement
EP1763188A1 (en) 2005-09-09 2007-03-14 Vrije Universiteit Brussel Multistage tuning-tolerant equalizer filter with detection mechanisms for lower and higher frequency gain loops
US7590174B2 (en) 2005-12-20 2009-09-15 Altera Corporation Signal adjustment receiver circuitry
JP5007241B2 (ja) * 2005-12-27 2012-08-22 日東光学株式会社 画像処理装置
JP2007265122A (ja) 2006-03-29 2007-10-11 Victor Co Of Japan Ltd 画像処理装置
JP4116649B2 (ja) 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP4586052B2 (ja) * 2007-08-08 2010-11-24 キヤノン株式会社 画像処理装置及びその制御方法
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
JP2009198935A (ja) 2008-02-25 2009-09-03 Panasonic Corp 液晶表示装置
JP5219609B2 (ja) * 2008-05-01 2013-06-26 キヤノン株式会社 フレームレート変換装置、方法及びプログラム
WO2010146728A1 (ja) 2009-06-16 2010-12-23 シャープ株式会社 波形整形装置、等化器、受信システム、波形整形装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011061957A1 (ja) 2009-11-17 2011-05-26 シャープ株式会社 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US8824825B2 (en) 2009-11-17 2014-09-02 Sharp Kabushiki Kaisha Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139969A (ja) * 1994-11-08 1996-05-31 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH09319869A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> 画像エンハンサ
WO2002084997A1 (fr) * 2001-04-11 2002-10-24 Sony Corporation Circuit d'accentuation de contours
JP2006304352A (ja) * 2006-06-19 2006-11-02 Sony Corp 画像処理装置
JP2008103785A (ja) * 2006-10-17 2008-05-01 Sony Corp 輪郭強調回路、輪郭強調方法、撮像装置およびビューファインダ
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2010140281A1 (ja) * 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
EP2538658A1 (en) 2012-12-26
EP2538658A4 (en) 2013-07-24
WO2011099202A1 (ja) 2011-08-18
CN102771111A (zh) 2012-11-07
US8891898B2 (en) 2014-11-18
JPWO2011099202A1 (ja) 2013-06-13
CN102771111B (zh) 2015-04-29
US20120314968A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5450668B2 (ja) 信号処理装置、制御プログラム、および集積回路
JP5583780B2 (ja) 信号処理装置および集積回路
JP5281690B2 (ja) 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
US8655101B2 (en) Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein
WO2011061958A1 (ja) 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
CN104240189B (zh) 恢复抗锯齿边缘的滤波方法和装置
JP5291804B2 (ja) 符号化装置、符号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2012124591A1 (ja) 信号処理装置、制御プログラム、および集積回路
EP2733920B1 (en) Iimage enhancing device and image enhancing method
JP5403450B1 (ja) 画像処理装置、画像処理方法
JP5559275B2 (ja) 画像処理装置及びその制御方法
JP5350497B2 (ja) 動き検出装置、制御プログラム、および集積回路
JP5396626B1 (ja) 画像強調装置、画像強調方法
JP5804258B2 (ja) 画像処理装置、電子機器
JP6128312B2 (ja) 画像処理方法、及び画像処理装置
JP2012043336A (ja) 画像処理装置
JP2015055907A (ja) 改良型Shockフィルタを用いた画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees