JP5399578B2 - 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 - Google Patents

画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP5399578B2
JP5399578B2 JP2013070517A JP2013070517A JP5399578B2 JP 5399578 B2 JP5399578 B2 JP 5399578B2 JP 2013070517 A JP2013070517 A JP 2013070517A JP 2013070517 A JP2013070517 A JP 2013070517A JP 5399578 B2 JP5399578 B2 JP 5399578B2
Authority
JP
Japan
Prior art keywords
image
video
processing apparatus
smoothing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013070517A
Other languages
English (en)
Other versions
JP2013258685A (ja
Inventor
美保子 渡辺
晃 小池
嘉憲 河野
茂樹 谷口
昌彦 瀧口
一郎 溝渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013070517A priority Critical patent/JP5399578B2/ja
Priority to US14/401,070 priority patent/US9256924B2/en
Priority to PCT/JP2013/061546 priority patent/WO2013172149A1/ja
Priority to CN201380025116.4A priority patent/CN104285431A/zh
Publication of JP2013258685A publication Critical patent/JP2013258685A/ja
Application granted granted Critical
Publication of JP5399578B2 publication Critical patent/JP5399578B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、主に、動画像または静止画像の品質を改善する画像処理装置及び画像処理方法に関する。
映像の品質を改善するために、従来から様々な技術が開発されている。
特許文献１には、輝度変化が乏しい建物の壁面を背景に人物などが撮影された場合にも人物のコントラストを好適に強調させることを目的として開発された輝度変換装置が開示されている。特許文献１の輝度変換装置は、入力画像の輝度別の画素数を表す輝度ヒストグラムと、輝度別のエッジ数を表すエッジヒストグラムと、を算出し、２つのヒストグラムを用いて入力画像の輝度を変換するように構成されている。
また、圧縮符号化した映像を復号する過程で生じるノイズを低減するための技術も開発されている。
例えば、ＭＰＥＧやＪＰＥＧ等の圧縮符号化方式で高い圧縮率で圧縮された画像は、エッジの周辺にモスキートノイズが発生しているケースが多く、モスキートノイズの発生は、画像の品質が低下する一因となっているが、モスキートノイズは平滑化処理により低減することができる。
特許第４５５００１６号公報（２００７年１２月２７日公開）
平滑化処理はノイズの低減に有効であるものの、モスキートノイズが少ない画像（低い圧縮率で圧縮された画像やエッジの少ない画像）に対して強い平滑化処理を施した場合、画質に対する影響は、「ノイズの低減」という好ましい影響よりも「画像がぼけてしまう」という負の影響のほうが大きくなってしまう。
これに関し、従来の映像処理装置は、モスキートノイズが多い画像だけでなく少ない画像にも強い平滑化処理を施してしまい、映像品質をかえって低下させてしまうことがあった。
本発明は、上記課題に鑑みて成されたものであり、その主な目的は、画像に対して、その画像の特性に応じた効果的な平滑化処理を施すことができる画像処理装置を実現することにある。
本発明の一態様に係る画像処理装置は、上記課題を解決するために、画像を構成する各画素の隣接する画素との輝度差の大きさに関する度数分布データを第１の度数分布データとして生成する第１生成手段と、上記第１の度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第１判定手段と、上記画像に平滑化処理を施す平滑化処理手段と、上記第１判定手段により上記比が所定の閾値以上であると判定されたか否かに基づいて上記平滑化処理の平滑化強度を調整する調整手段と、を備え、上記平滑化処理手段は、上記調整手段による調整後の平滑化強度の上記平滑化処理を上記画像に対して施すように構成されている、ことを特徴としている。
本発明の一態様に係る画像処理方法は、上記課題を解決するために、画像を構成する各画素の隣接する画素との輝度差の大きさに関する度数分布データを生成する生成工程と、上記度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第１判定工程と、上記画像に平滑化処理を施す平滑化処理工程と、上記第１判定工程にて上記比が所定の閾値以上であると判定されたか否かに基づいて上記平滑化処理の平滑化強度を調整する調整工程と、を含み、上記平滑化処理工程にて、上記調整工程での調整後の平滑化強度の上記平滑化処理を上記画像に対して施すように構成されている、ことを特徴としている。
以上のように、本発明の一態様に係る画像処理装置は、画像に対して、その画像の特性に応じた効果的な平滑化処理を施すことができるという効果を奏する。
本発明の一実施形態に係る映像処理装置の要部構成を示すブロック図である。 図１の映像処理装置の動作を示すフローチャート図である。 図１の映像処理装置が生成するエッジヒストグラムを例示した図である。 図１の映像処理装置が生成する輝度ヒストグラムを例示した図である。 本発明の別の一実施形態に係る映像処理装置の要部構成を示すブロック図である。 本発明のさらに別の一実施形態に係る映像処理装置の要部構成を示すブロック図である。 本発明に関連する発明の一実施形態に係る映像処理装置の要部構成を示すブロック図である。 図７の映像処理装置における度数分布算出部および変化量算出部にて算出された度数分布の一例を示すヒストグラムである。 動きのある映像について、図７の映像処理装置における画素数算出部にて算出された各分類の画素数の一例を示すヒストグラムである。 図７の映像処理装置における記憶部に記憶される低減強度設定用テーブルの一例を表形式で示す図である。 図７の映像処理装置のノイズ低減処理に関する動作を示すフローチャート図である。 本発明に関連する発明の別の実施形態に係る映像処理装置の要部構成を示すブロック図である。 図１２の映像処理装置における記憶部に記憶されるブロックノイズ検出用テーブルの一例を表形式で示す図である。 本発明に関連する発明の他の実施形態に係る映像処理装置の要部構成を示すブロック図である。 一般的な色度図における色域を示すグラフである。
＜実施形態１＞
本発明の一実施形態に係る映像処理装置は、入力された映像信号が表す映像（動画像）中のモスキートノイズを低減する機能（ノイズリダクション（ＮＲ）機能）を備えた装置である。本実施形態に係る映像処理装置は、具体的には、映像信号を復号して得られる各復号画像について、対象復号画像に高い強度のノイズ低減処理（具体的には、平滑化処理）を施すか低い強度のノイズ低減処理を施すかを対象復号画像のエッジヒストグラム（特許請求の範囲の「第１の度数分布データ」に対応）および輝度ヒストグラム（特許請求の範囲の「第２の度数分布データ」に対応）に基づいて決定するように構成されている。
以下、本実施形態に係る映像処理装置の詳細について図面を参照しながら説明する。
最初に、本実施形態に係る映像処理装置の構成について、図１を参照しながら説明する。図１は、本実施形態に係る映像処理装置１００の要部構成を示すブロック図である。図１に示すように、映像処理装置１００は、映像取得部１１０、復号処理部１２０、記憶部１３０、ヒストグラム処理部１４０およびノイズ低減処理部１５０を備えている。
（映像取得部１１０）
映像取得部１１０は、映像を信号化した映像信号を受け取る。映像信号の取得元は、例えば放送波、記憶媒体に格納された映像データなど、任意の形態の映像信号源が考えられる。
（復号処理部１２０）
復号処理部１２０は、映像取得部１１０から供給されている映像信号を復号する。
復号処理部１２０が復号する映像信号は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、及び、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ等によって圧縮符号化されている。
復号処理部１２０は、映像信号から復号画像（特許請求の範囲の「画像フレーム」に対応）を順次生成する。復号処理部１２０は、例えば、画面内予測（イントラ予測）及び画面間予測（インター予測）の何れかを用いて予測画像を生成し、当該予測画像の各画素値に対して、映像信号から復号した各画素値を加算することによって、復号画像を生成する。
復号処理部１２０は、生成した復号画像をヒストグラム処理部１４０およびノイズ低減処理部１５０に供給する。
（記憶部１３０）
記憶部１３０は、対象復号画像に対して高い強度のノイズ低減処理を施すか低い強度のノイズ低減処理を施すかを決定するための各種閾値を記憶している。記憶部１３０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶装置を用いて構成することができる。
（ヒストグラム処理部１４０）
ヒストグラム処理部１４０は、エッジヒストグラム生成部１４１、輝度ヒストグラム生成部１４２および特徴量算出部１４３を備えている。
エッジヒストグラム生成部１４１は、対象復号画像のエッジヒストグラムを生成する。具体的には、対象復号画像を構成する各画素について、対象画素と対象画素に隣接する画素との輝度差の大きさに関するエッジヒストグラムを生成する。
輝度ヒストグラム生成部１４２は、対象復号画像の輝度ヒストグラムを生成する。具体的には、対象復号画像を構成する各画素について、対象画素の輝度の大きさに関する輝度ヒストグラムを生成する。
特徴量算出部１４３は、エッジヒストグラム生成部１４１が生成したエッジヒストグラム、輝度ヒストグラム生成部１４２が生成した輝度ヒストグラム、および、記憶部１３０に記録されている閾値に基づいて、対象復号画像に関する特徴量（エッジヒストグラムの特徴量、および、輝度ヒストグラムの特徴量）を算出する。
また、特徴量算出部１４３は、対象復号画像に関する特徴量のひとつとして、対象復号画像の平均画像レベル（ＡＰＬ）を算出する。
（ノイズ低減処理部１５０）
ノイズ低減処理部１５０は、ヒストグラム処理部１４０から供給された３つの特徴量の各々について、対象となる特徴量が記憶部１３０に記録されている該特徴量に関する閾値
以上であるか否かを判定する。
ノイズ低減処理部１５０は、３つの特徴量に関する判定結果に基づいて、復号処理部１２０から供給された対象復号画像に対して高い強度のノイズ低減処理を施すか、あるいは、低い強度のノイズ低減処理を施すかを決定する。
ノイズ低減処理部１５０は、決定した強度のノイズ低減処理を施した対象復号画像を映像処理装置１００の外部に出力する。
以上、本実施形態に係る映像処理装置１００の構成を説明した。
次に、モスキートノイズにより品質が劣化し易い復号画像について説明する。
（モスキートノイズにより品質が劣化し易い復号画像について）
１．エッジ部分が多く含まれている復号画像は、モスキートノイズにより品質が劣化し易い。モスキートノイズはエッジの部分に生じやすいからである。例えば、桜の木全体や、紅葉で覆われた山全体、マラソン大会に参加している多くのランナー等を被写体とする復号画像にはエッジが多く含まれているが、このような復号画像にはモスキートノイズが生じやすい。さらに、映像信号の圧縮率が高い場合には、復号画像の品質がモスキートノイズにより大きく劣化している可能性がある。
これに関し、映像処理装置１００は、対象復号画像から、対象復号画像のエッジヒストグラムに関する特徴量を算出し、特徴量が所定の閾値以上である対象復号画像を、「エッジ部分が多い復号画像」であると認識するように構成されている。
２．中階調画素および高階調画素が多く含まれている復号画像は、モスキートノイズにより品質が劣化し易い。モスキートノイズは、復号画像中の低階調部分に生じていてもそれほど目立たないが、中階調部分および高階調部分に生じている場合には目立つからである。
これに関し、映像処理装置１００は、対象復号画像から、対象復号画像の輝度ヒストグラムに関する特徴量を算出し、特徴量が所定の閾値以上である対象復号画像を、「中階調画素および高階調画素が多く含まれている復号画像である」と認識するように構成されている。
３．全体的に明るい復号画像は、モスキートノイズにより品質が劣化し易い。全体的に明るい復号画像の場合、全体的に暗い復号画像よりもモスキートノイズが目立つからである。
これに関し、映像処理装置１００は、対象復号画像から、対象復号画像の平均画像レベルを算出し、平均画像レベルが所定の閾値以上である対象復号画像を、「全体的に明るい復号画像である」と認識するように構成されている。
（映像処理装置１００の動作）
次に、本実施形態に係る映像処理装置１００のノイズ低減処理に関する動作について、図２〜図４を参照しながら説明する。
図２は、映像処理装置１００のノイズ低減処理に関する動作を示すフローチャート図である。また、図３および図４は、それぞれ、映像処理装置１００が、対象復号画像から生成するエッジヒストグラムおよび輝度ヒストグラムを例示した図である。
（ステップ１：エッジヒストグラムの生成）
エッジヒストグラム生成部１４１は、復号処理部１２０から供給された対象復号画像（映像取得部１１０が受信した映像信号から復号処理部１２０が生成した対象復号画像）から、図３に例示されるような９つの階級からなるエッジヒストグラムを生成する。すなわち、対象復号画像の各画素について、対象画素と対象画素に隣接する画素との輝度差を算出し、階級０〜階級８の各階級ｉについて、階級ｉに属する輝度差を算出した画素の個数を階級ｉの度数Ｎiとするエッジヒストグラムを生成する。
なお、図３を見ればわかるように、エッジヒストグラム生成部１４１が生成するエッジヒストグラムは、隣接する画素との輝度差が０である画素の個数Ｎ0を階級０の度数とするヒストグラムであって、階級０の階級値（＝０）＜階級１の階級値＜階級２の階級値＜・・＜階級８の階級値となるヒストグラムである。ただし、本発明では、生成するエッジヒストグラムの階級の個数および各階級の階級幅に特に制限はない。
（ステップ２：輝度ヒストグラムの生成）
輝度ヒストグラム生成部１４２は、対象復号画像から、図４に例示されるような輝度エッジヒストグラムを生成する。なお、本発明では、エッジヒストグラムと同様に、生成する輝度ヒストグラムの階級の個数および各階級の階級幅に特に制限はない。
（ステップ３：特徴量の算出）
特徴量算出部１４３は、エッジヒストグラムおよび輝度ヒストグラムから特徴量を算出する。
具体的には、特徴量算出部１４３は、エッジヒストグラムに関する所定の閾値（階級５の上限値であって階級６の下限値）を記憶部１３０から読み出す。そして、特徴量算出部１４３は、隣接する画素との輝度差が読み出した閾値より大きい画素の総数（階級５より高い階級６〜８の各階級の度数を加算した和）のエッジヒストグラムの総和（階級０〜８の各階級の度数を加算した和）に対する比を算出し、算出した比をエッジヒストグラムの特徴量としてノイズ低減処理部１５０に供給する。
また、特徴量算出部１４３は、輝度ヒストグラムに関する所定の閾値（低階調域に属する最上位の階級の上限値であって中階調域に属する最下位の階級の下限値）を記憶部１３０から読み出す。そして、特徴量算出部１４３は、読み出した閾値より大きい輝度を持つ画素の総数（中階調域または高階調域に属する各階級の度数を加算した和）の輝度ヒストグラムの総和に対する比を算出し、算出した比を輝度ヒストグラムの特徴量としてノイズ低減処理部１５０に供給する。
さらに、特徴量算出部１４３は、対象復号画像の平均画像レベルを特徴量としてノイズ低減処理部１５０に供給する。
（ステップ４：対象復号画像にモスキートノイズが多く含まれているか否かを判定）
対象復号画像が復号処理部１２０から供給され、３つの特徴量がヒストグラム処理部１４０から供給されると、ノイズ低減処理部１５０は、対象復号画像にモスキートノイズが多く含まれているか否かを判定する。
具体的には、ノイズ低減処理部１５０は、エッジヒストグラムの特徴量に関する閾値を記憶部１３０から読み出し、エッジヒストグラムの特徴量が閾値以上であるか否かを判定する。ノイズ低減処理部１５０は、エッジヒストグラムの特徴量が閾値以上であると判定した場合には変数Ｑ１に１０を代入し、エッジヒストグラムの特徴量が閾値未満であると判定した場合には変数Ｑ１に０を代入する。
また、ノイズ低減処理部１５０は、輝度ヒストグラムの特徴量に関する閾値を記憶部１３０から読み出し、輝度ヒストグラムの特徴量が閾値以上であるか否かを判定する。ノイズ低減処理部１５０は、輝度ヒストグラムの特徴量が閾値以上であると判定した場合には変数Ｑ２に１０を代入し、輝度ヒストグラムの特徴量が閾値未満であると判定した場合には変数Ｑ２に０を代入する。
さらに、ノイズ低減処理部１５０は、平均輝度レベルに関する閾値を記憶部１３０から読み出し、ヒストグラム処理部１４０から供給された平均輝度レベルを示す特徴量が閾値以上であるか否かを判定する。ノイズ低減処理部１５０は、平均輝度レベルを示す特徴量が閾値以上であると判定した場合には変数Ｑ３に１０を代入し、平均輝度レベルを示す特徴量が閾値未満であると判定した場合には変数Ｑ３に０を代入する。
最後に、以下の数式１により得られるＱの値が５０以上であるか否かを判定し、Ｑの値が５０以上であると判定した場合にはステップ５に進み、Ｑの値が５０未満であると判定した場合にはステップ６に進む。
Ｑ＝Ｑ１×５＋Ｑ２×３＋Ｑ３×２ ・・・（数式１）
なお、数式１における５、３、２の各値は重み値であるが、重み値としては任意の値を設定可能である。また、閾値である５０という値も他の値に変更可能である。さらに、ノイズ低減処理部１５０が変数Ｑ１〜変数Ｑ３に代入する値は０または１０でなくてもよい。すなわち、閾値以上であると判定した場合に変数Ｑ１に代入する値ｑ1が閾値未満であると判定した場合に代入する値ｑ1’よりも大きいという関係を満たす限り、変数Ｑ１には任意の値ｑ1、ｑ1’を代入できる。変数Ｑ２およびＱ３についても同様である。
（ステップ５：ノイズ低減処理の強度を設定）
ノイズ低減処理部１５０は、ノイズ低減処理の強度を高く設定し、ステップ７に進む。
（ステップ６：ノイズ低減処理の強度を設定）
ノイズ低減処理部１５０は、ノイズ低減処理の強度を低く設定し、ステップ７に進む。
（ステップ７：ノイズ低減処理）
ノイズ低減処理部１５０は、対象復号画像に対して直線のステップで設定した強度のノイズ低減処理を施し、モスキートノイズが少なくなった対象復号画像を映像処理装置１００の外部に出力して処理を終了する。
なお、映像処理装置１００は、映像信号から復号した各復号画像を対象として、以上の処理を施すことになる。
（映像処理装置１００の利点）
以上のように、映像処理装置１００では、エッジヒストグラム生成部１４１が、対象復号画像を構成する各画素の隣接する画素との輝度差の大きさに関するヒストグラムをエッジヒストグラムとして生成する。
また、ノイズ低減処理部１５０は、対象復号画像に対して平滑化処理を施すことを決定した場合に、対象復号画像に平滑化処理を施す。
具体的には、ノイズ低減処理部１５０は、エッジヒストグラム生成部１４１が生成したエッジヒストグラムに関し、所定の階級より高い各階級の度数を加算した和の総和に対する比が所定の閾値以上であるか否かに基づいてノイズ低減処理の強度を調整し、調整後の強度の平滑化処理を対象復号画像に施す。
上記の構成により、映像処理装置１００は、隣接する画素との輝度差が大きい画素（すなわち、エッジ部分）が多く含まれている対象復号画像の多くに高い強度の平滑化処理を施すことになる。これにより、映像処理装置１００は、対象復号画像に含まれているモスキートノイズを低減することができる。
また、上記の構成により、映像処理装置１００は、エッジ部分が多く含まれていない対象復号画像の多くには低い強度の平滑化処理を施すことになる。これにより、映像処理装置１００は、従来の映像処理装置に比べて、対象復号画像の品質を劣化させてしまう（具体的には、モスキートノイズの低減効果よりも対象復号画像がぼやけてしまうという負の効果を目立たせてしまう）頻度を減らすことができる。
したがって、映像処理装置１００は、画像に対して、その画像の特性に応じた効果的な平滑化処理を施すことができる。
なお、映像処理装置１００は、エッジヒストグラム生成部１４１が生成したエッジヒストグラムに関し、所定の階級より高い各階級の度数を加算した和の総和に対する比が所定の閾値未満である場合にも、対象復号画像に平滑化処理を施すことがある。
例えば、映像処理装置１００は、輝度ヒストグラムの特徴量と平均輝度レベルを示す特徴量との両方が、それぞれの閾値以上である場合には、対象復号画像に高い強度の平滑化処理を施す。すなわち、映像処理装置１００は、対象復号画像が全体的にとても明るい画像である場合には、モスキートノイズの多さに関係なく、対象復号画像に高い強度の平滑化処理を施すことになる。換言すれば、映像処理装置１００は、対象復号画像にそれほど多くのモスキートノイズが含まれていない場合であっても、そのモスキートノイズが目立ちやすいために平滑化処理による負の効果よりもモスキートノイズの低減効果のほうが大きいときは、高い強度の平滑化処理を対象復号画像に施すことになる。
したがって、映像処理装置１００は、それほど多くのモスキートノイズが含まれていないものの、そのモスキートノイズが目立ちやすい対象復号画像の品質を改善することができるという効果を奏する。
＜実施形態２＞
本発明の別の一実施形態に係る映像処理装置について以下に説明する。本実施形態に係る映像処理装置も、入力された映像信号が表す映像（動画像）中のモスキートノイズを低減する機能を備えた装置である。ただし、本実施形態に係る映像処理装置は、映像信号を復号して得られる各復号画像について、対象復号画像に高い強度のノイズ低減処理を施すか低い強度のノイズ低減処理を施すかを対象復号画像のエッジヒストグラムのみに基づいて決定するように構成されている点で、実施形態１に係る映像処理装置１００と異なっている。
以下、本実施形態に係る映像処理装置の詳細について図面を参照しながら説明する。
最初に、本実施形態に係る映像処理装置の構成について、図５を参照しながら説明する。図５は、本実施形態に係る映像処理装置１００’の要部構成を示すブロック図である。図５に示すように、映像処理装置１００’は、映像取得部１１０、復号処理部１２０、記憶部１３０、ヒストグラム処理部１４０’およびノイズ低減処理部１５０’を備えている。
映像取得部１１０、復号処理部１２０および記憶部１３０については実施形態１で説明したのでここでは説明を省略し、ヒストグラム処理部１４０’およびノイズ低減処理部１５０’について以下に説明する。
（ヒストグラム処理部１４０’）
ヒストグラム処理部１４０’は、エッジヒストグラム生成部１４１および特徴量算出部１４３’を備えている。エッジヒストグラム生成部１４１については実施形態１で説明したのでここでは説明を省略し、特徴量算出部１４３’について説明する。
特徴量算出部１４３’は、エッジヒストグラム生成部１４１が生成したエッジヒストグラム、および、記憶部１３０に記録されている閾値に基づいて、対象復号画像に関する特徴量（エッジヒストグラムの特徴量）を算出する。
（ノイズ低減処理部１５０’）
ノイズ低減処理部１５０’は、ヒストグラム処理部１４０’から供給されたエッジヒストグラムの特徴量が、記憶部１３０に記録されている閾値以上であるか否かを判定する。
ノイズ低減処理部１５０’は、エッジヒストグラムの特徴量が閾値以上である場合に対象復号画像に対して高い強度のノイズ低減処理を施すことを決定し、エッジヒストグラムの特徴量が閾値以上である場合に対象復号画像に対して低い強度のノイズ低減処理を施すことを決定する。
ノイズ低減処理部１５０’は、ノイズ低減処理を施すことを決定した場合には、ノイズ低減処理を施した対象復号画像を映像処理装置１００’の外部に出力する。また、ノイズ低減処理を施さないことを決定した場合には、復号処理部１２０から供給された対象復号画像をそのまま映像処理装置１００’の外部に出力する。
（映像処理装置１００’の利点）
以上のように、映像処理装置１００’では、エッジヒストグラム生成部１４１が、対象復号画像を構成する各画素の隣接する画素との輝度差の大きさに関するヒストグラムをエッジヒストグラムとして生成する。
また、ノイズ低減処理部１５０’は、エッジヒストグラム生成部１４１が生成したエッジヒストグラムに関し、所定の階級より高い各階級の度数を加算した和の総和に対する比が所定の閾値以上であるか否かを判定し、比が所定の閾値以上であると判定された対象復号画像には高い平滑化強度の平滑化処理を施し、比が所定の閾値未満であると判定された対象復号画像には低い平滑化強度の平滑化処理を施す。
上記の構成により、映像処理装置１００’は、隣接する画素との輝度差が大きい画素（すなわち、エッジ部分）が多く含まれている全対象復号画像に高い強度の平滑化処理を施すことになる。これにより、映像処理装置１００’は、対象復号画像に含まれているモスキートノイズを低減することができる。
また、上記の構成により、映像処理装置１００’は、エッジ部分が多く含まれていない対象復号画像には低い強度の平滑化処理しか施さないことになる。これにより、映像処理装置１００は、従来の映像処理装置に比べて、対象復号画像の品質をかえって劣化させてしまう頻度を減らすことができる。
したがって、映像処理装置１００’は、対象復号画像に対して、その画像の特性に応じた効果的な平滑化処理を施すことができるという効果を奏する。
さらに、映像処理装置１００’には、実施形態１に係る映像処理装置１００よりも単純な処理で上記の効果を得ることができるという利点がある。
＜実施形態３＞
本発明のさらに別の一実施形態に係る映像処理装置について以下に説明する。本実施形態に係る映像処理装置も、入力された映像信号が表す映像（動画像）中のモスキートノイズを低減する機能を備えた装置である。ただし、本実施形態に係る映像処理装置は、復号画像に対して施すノイズ低減処理の強度をヒストグラム以外の要素に基づいて調整する点が実施形態１および実施形態２の映像処理装置と異なっている。
以下、本実施形態に係る映像処理装置の詳細について図面を参照しながら説明する。
最初に、本実施形態に係る映像処理装置の構成について、図６を参照しながら説明する。図６は、本実施形態に係る映像処理装置１００”の要部構成を示すブロック図である。図６に示すように、映像処理装置１００”は、映像取得部１１０、復号処理部１２０、記憶部１３０、ヒストグラム処理部１４０、ノイズ低減処理部１５０”および表示部１６０を備えている。
映像取得部１１０、復号処理部１２０、記憶部１３０、ヒストグラム処理部１４０については実施形態１で説明したのでここでは説明を省略し、ノイズ低減処理部１５０”および表示部１６０について以下に説明する。
（表示部１６０）
表示部１６０は、画像が表示されるディスプレイである。
（ノイズ低減処理部１５０”）
ノイズ低減処理部１５０”は、ノイズ低減処理部１５０と同様に方法により（すなわち、３つの特徴量に関する判定結果に基づいて）、復号処理部１２０から供給された対象復号画像データに対して施すノイズ低減処理の強度を示す暫定値を求める。
また、ノイズ低減処理部１５０”は、対象復号画像データのメタデータを参照することで、対象復号画像データの解像度（すなわち、縦および横の画素数）を特定する。
ノイズ低減処理部１５０”（サブ調整手段）は、対象復号画像データの解像度が所定の解像度（例えば、ＨＤ解像度）以上である場合には、暫定値が示す強度よりも低い強度のノイズ低減処理を対象復号画像データに対して施す。一方、ノイズ低減処理部１５０”は、対象復号画像データの解像度が所定の解像度未満である場合（例えば、対象復号画像データがＳＤ画像の画像データである場合）には暫定値が示す強度よりも高い強度のノイズ低減処理を対象復号画像に対して施す。
ノイズ低減処理部１５０”は、ノイズ低減処理を施した対象復号画像データが表す対象復号画像を表示部１６０に表示する。
なお、映像処理装置１００”をフルＨＤテレビとして実施する場合には上記所定の解像度をフルＨＤ解像度とすることが望ましいが、映像処理装置１００”を４Ｋ２Ｋテレビとして実施する場合には上記所定の解像度を４Ｋ２Ｋ解像度とすることが望ましい。換言すれば、映像処理装置１００”は、表示部１６０の画面解像度未満の解像度の復号画像データに対しては、表示部１６０の画面解像度以上の解像度の復号画像データに対してよりも高い強度のノイズ低減処理を施すことが望ましい。
また、映像処理装置１００”は、復号画像がアップスケーリングされた画像であるか否かを判定するように構成されていてもよい。このように構成された映像処理装置１００”は、復号画像データの解像度が所定の解像度以上である場合であっても、復号画像データがアップスケーリングにより得られた画像データであると判定したときには、暫定値が示す強度よりも高い強度のノイズ低減処理を復号画像データに施すことが望ましい。これは、アップスケーリングされた画像はノイズが目立ち易いからである。
（映像処理装置１００”の利点）
以上のように、映像処理装置１００”は、高い強度のノイズ低減処理を施すとディテールが失われ易い高解像度画像に対しては低い強度のノイズ低減処理を施す。また、映像処理装置１００”は、アップスケーリングした場合にモスキートノイズが大きく目立つことになる低解像度画像に対しては高い強度のノイズ低減処理を施す。
したがって、映像処理装置１００”は、モスキートノイズの低減とディテールの確保とをバランス良く実現することで、品質の高い画像を出力できる。
（実施形態３の付記事項１）
例えば映像処理装置１００”をデジタルテレビとして実施する場合には、ノイズ低減処理部１５０”を以下のように構成することができる。
すなわち、ノイズ低減処理部１５０”は、対象復号画像のメタデータを参照することで、対象復号画像の解像度を特定するのに代えて動画像コンテンツのジャンルを特定してもよい。
そして、ノイズ低減処理部１５０”は、特定したジャンルに基づいて、動画像コンテンツを構成する各復号画像（画像フレーム）に対して施すノイズ低減処理の強度を調整してもよい。
具体的には、動画像コンテンツのジャンルが映画である場合、ノイズ低減処理部１５０”は、対象復号画像に対して施すノイズ低減処理の強度を微弱にするか、あるいは、対象復号画像に対してノイズ低減処理を施さないようにしてもよい。これは、圧縮フォーマットの違いから、パッケージメディアに格納する映画の映像は、一般的な番組映像に比べてノイズが目立たないからである。
また、動画像コンテンツのジャンルがスポーツである場合には、ノイズ低減処理部１５０”（サブ調整手段）は、スポーツの種類に応じて対象復号画像に対して施すノイズ低減処理の強度を調整してもよい。例えば、動画像コンテンツが、マラソン、競歩などといった、選手がよく動く特定競技に関する動画像コンテンツである場合には、対象復号画像から求めた暫定値が示す強度よりも高い強度のノイズ低減処理を対象復号画像に対して施してもよい。そして、動画像コンテンツが上記特定競技以外の競技（例えば、相撲）に関する動画像コンテンツである場合には、暫定値が示す強度よりも低い強度のノイズ低減処理を対象復号画像に対して施してもよい。
なお、映像処理装置１００”は、ユーザが操作部（図示せず）を通じて任意の競技を上記特定の競技に該当する競技として登録できるように構成されていてもよい。また、映像処理装置１００”は、動画像コンテンツのジャンルがスポーツである場合、動画像コンテンツのタイトル名に基づいて、その動画像コンテンツが特定競技に関する動画像コンテンツであるか否かを判定するように構成されていてもよい。
また、動画像コンテンツのジャンルがバラエティである場合には、ノイズ低減処理部１５０”は、暫定値が示す強度よりも高い強度のノイズ低減処理を対象復号画像に対して施してもよい。バラエティ番組の映像は、テロップが多く含まれるためにノイズが目立ち易いからである。
さらに、動画像コンテンツのジャンルがドキュメントである場合にも、ノイズ低減処理部１５０”は、暫定値が示す強度よりも高い強度のノイズ低減処理を対象復号画像に対して施してもよい。ドキュメント番組は、屋外ロケにより製作されることも多く、番組中に平均明度の高いシーンが多くなる傾向があることから、映像中のノイズが目立ち易いからである。
なお、ノイズ低減処理部１５０”は、対象復号画像のメタデータを参照することで、対象復号画像の解像度を特定するとともに、動画像コンテンツのジャンルを特定してもよい。この場合、ノイズ低減処理部１５０”は、対象復号画像の解像度と動画像コンテンツのジャンルとの両方に基づいて、復号画像に対して施すノイズ低減処理の強度を決定してもよい。
（実施形態３の付記事項２）
例えば映像処理装置１００”をデジタルテレビとして実施する場合には、ノイズ低減処理部１５０”を以下のように構成することができる。
すなわち、ノイズ低減処理部１５０”は、映像処理装置１００”の現在の画質モード（ＡＶモード）に基づいて、対象復号画像に対して施すノイズ低減処理の強度を調整してもよい。
具体的には、ＡＶモードが映画モードである場合、ノイズ低減処理部１５０”は、対象復号画像に対して施すノイズ低減処理の強度を微弱にするか、あるいは、対象復号画像に対してノイズ低減処理を施さないようにしてもよい。映画モードはコントラスト感よりも階調感を引き立たせるモードであるため、ノイズ低減処理を施さないほうが適切な画像が得られるからである。
また、ＡＶモードが標準モードである場合、ノイズ低減処理部１５０”（サブ調整手段）は、暫定値が示す強度よりも少し高い強度のノイズ低減処理を対象復号画像に対して施すようにしてもよい。ＡＶモードを標準モードにして閲覧する映像はオンエアー放送の映像であるケースが多いと考えられ、オンエアー放送では、ノイズの原因になり易いテロップが多く使用されるからである。
さらに、ＡＶモードがダイナミックモードである場合、ノイズ低減処理部１５０”は、暫定値が示す強度よりも非常に高い強度のノイズ低減処理を対象復号画像に対して施すようにしてもよい。ダイナミックモードは、映像を明るく、色鮮やかに、且つ、くっきりさせるための画像処理を行うモードであり、このような画像処理で目立ち易くなるノイズを低減させるために、非常に高い強度のノイズ低減処理を施すのが好ましいからである。
（実施形態３の付記事項３）
映像処理装置１００”には、記憶部１３０およびヒストグラム処理部１４０が設けられていなくてもよい。この場合、ノイズ低減処理部１５０”は、動画像コンテンツの解像度、動画像コンテンツのジャンル、および、映像処理装置１００”の現在の画質モードという３種類の要素のうちの１種類以上の要素のみに基づいて、復号画像に施すノイズ低減処理の強度を決定してもよい。
例えば、映像処理装置１００”は、動画像コンテンツの解像度のみに基づいて、復号画像に施すノイズ低減処理の強度を決定してもよい。すなわち、復号画像の輝度ヒストグラムおよびエッジヒストグラムに関係なく、復号画像データの解像度が所定の解像度より低い場合には、復号画像データの解像度が所定の解像度以上である場合よりも高い強度のノイズ低減処理を施してもよい。
また、例えば、映像処理装置１００”は、動画像コンテンツのジャンルのみに基づいて、復号画像に施すノイズ低減処理の強度を決定してもよい。すなわち、復号画像の輝度ヒストグラムおよびエッジヒストグラムに関係なく、以下の（１）〜（３）に示すようにノイズ低減処理の強度を決定してもよい。
（１）ジャンルが映画である場合にはノイズ低減処理の強度を非常に低くする。
（２）ジャンルがスポーツである場合には、動画像コンテンツが特定競技に関するものであるときはノイズ低減処理の強度を高くし、動画像コンテンツがその他の競技に関するものであるときはノイズ低減処理の強度を低くする。
（３）ジャンルがバラエティまたはドキュメントである場合には、ノイズ低減処理の強度を高くする。
また、例えば、映像処理装置１００”は、映像処理装置１００”の現在の画質モード（ＡＶモード）のみに基づいて、復号画像に施すノイズ低減処理の強度を決定してもよい。すなわち、復号画像の輝度ヒストグラムおよびエッジヒストグラムに関係なく、以下の（４）〜（６）に示すようにノイズ低減処理の強度を決定してもよい。
（４）ＡＶモードが映画モードである場合には、ノイズ低減処理の強度を非常に低くする。
（５）ＡＶモードが標準モードである場合には、ノイズ低減処理の強度をある程度高めにする。
（６）ＡＶモードがダイナミックモードである場合には、ノイズ低減処理の強度を非常に高くする。
（その他の付記事項）
（付記事項１）
本発明は、上述した映像処理装置１００、１００’、１００”に限られない。例えば、本発明は、映像取得部１１０、復号処理部１２０、記憶部１３０、ヒストグラム処理部１４０（１４０’）、ノイズ低減処理部１５０（１５０’）および表示部（図示せず）を備え、復号処理部１２０によって放送信号として伝送されるＴＳ（Transport Stream）を復号し、復号して得られた映像を表示部に表示するテレビジョン受像機として実現できる。
（付記事項２）
本発明は、上述した映像処理装置１００、１００’のような映像（動画像）を処理する装置としてだけでなく、静止画像を処理する装置としても実現できる。
（付記事項３）
実施形態１では、ノイズ低減処理部１５０が、エッジヒストグラムの特徴量、輝度ヒストグラムの特徴量、および、平均画像レベルを示す特徴量を算出し、３つの特徴量に基づいて対象復号画像に高い強度の平滑化処理を施すか低い強度の平滑化処理を施すかを決定した。また、実施形態２では、ノイズ低減処理部１５０’が、エッジヒストグラムの特徴量のみに基づいて対象復号画像に高い強度の平滑化処理を施すか低い強度の平滑化処理を施すかを決定した。
本発明はこれらの構成に限定されない。ヒストグラム処理部は、エッジヒストグラムの特徴量および輝度ヒストグラムの特徴量という２つの特徴量を算出し、ノイズ低減処理部は、これら２つの特徴量に基づいて対象復号画像に高い強度の平滑化処理を施すか低い強度の平滑化処理を施すかを決定してもよい。
また、ヒストグラム処理部は、エッジヒストグラムの特徴量および平均画像レベルを示す特徴量という２つの特徴量を算出し、ノイズ低減処理部は、これら２つの特徴量に基づいて対象復号画像に高い強度の平滑化処理を施すか低い強度の平滑化処理を施すかを決定してもよい。
（付記事項４）
上述したノイズ低減処理は、
・３Ｄノイズ低減処理
・２Ｄノイズ低減処理
に大別することができる。
ここで、３Ｄノイズ低減処理は、対象フレームと、１または複数の他のフレームとを参照して行われるものである。
３Ｄノイズ低減処理は、具体的には、対象フレームにおける対象領域と、対象フレームを起点として時間的に前後に位置する１または複数の参照フレームにおける対象領域との平均を画素毎にとることによって、ノイズ低減後の画像を生成する処理のことである。
ここで、上述したノイズ低減処理部は、より強い３Ｄノイズ低減処理を適用する場合には、参照フレームの枚数を多くし、より弱い３Ｄノイズ低減処理を適用する場合には、参照フレームの枚数を少なくする。
なお、３Ｄノイズ低減処理における上記の平均処理は、ノイズ低減後の画像がより高画質となるように設定された重み係数を用いるものでもよい。
一方で、２Ｄノイズ低減処理は、対象フレームにおける対象画素と、当該対象フレームにおいて、当該対象画素の周辺に設定された参照領域に含まれる参照画素とを参照して行われるものである。
２Ｄノイズ低減処理は、具体的には、対象フレームにおける対象画素の画素値と、当該対象フレームにおいて、当該対象画素の周辺に設定された参照領域に含まれる参照画素の画素値とを平均することによって、ノイズ低減後の画像を生成する処理のことである。
ここで、上述したノイズ低減処理部は、より強い２Ｄノイズ低減処理を適用する場合には、参照領域を大きく設定し、より弱い２Ｄノイズ低減処理を適用する場合には、参照領域を小さく設定する。
なお、２Ｄノイズ低減処理における上記の平均処理は、ノイズ低減後の画像がより高画質となるように設定された重み係数を用いるものでもよい。
〔まとめ〕
本発明の態様１に係る画像処理装置（映像処理装置１００’）は、上記課題を解決するために、画像を構成する各画素の隣接する画素との輝度差の大きさに関する度数分布データを第１の度数分布データ（エッジヒストグラム）として生成する第１生成手段（エッジヒストグラム生成部１４１）と、上記第１の度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第１判定手段（ノイズ低減処理部１５０’）と、上記画像に平滑化処理を施す平滑化処理手段（ノイズ低減処理部１５０’）と、上記第１判定手段により上記比が所定の閾値以上であると判定されたか否かに基づいて上記平滑化処理の平滑化強度を調整する調整手段（ノイズ低減処理部１５０’）と、を備え、上記平滑化処理手段は、上記調整手段による調整後の平滑化強度の上記平滑化処理を上記画像に対して施すように構成されている、ことを特徴としている。
上記の構成によれば、本発明に係る画像処理装置は、隣接する画素との輝度差が大きい画素（すなわち、エッジ部分）が多く含まれている画像（第１判定手段により比が所定の閾値以上であると判定される画像）には、通常、高い強度の平滑化処理を施し、隣接する画素との輝度差が大きい画素（エッジ部分）があまり含まれていない画像（第１判定手段により比が所定の閾値未満であると判定される画像）には、通常、低い強度の平滑化処理を施す。
したがって、本発明に係る画像処理装置は、高い強度の平滑化処理によって、エッジ部分が多く含まれている画像中のモスキートノイズを低減することができる。また、本発明に係る画像処理装置は、エッジ部分があまり含まれていないためにモスキートノイズがそれほど含まれていない画像には低い強度の平滑化処理しか施さないので、平滑化処理により画像がぼやけて品質が劣化してしまうことを抑制できる。
したがって、本発明に係る画像処理装置は、画像に対して、その画像の特性に応じた効果的な平滑化処理を施すことができる。
本発明の態様１０に係る画像処理方法は、上記課題を解決するために、画像を構成する各画素の隣接する画素との輝度差の大きさに関する度数分布データを生成する生成工程と、上記度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第１判定工程と、上記画像に平滑化処理を施す平滑化処理工程と、上記第１判定工程にて上記比が所定の閾値以上であると判定されたか否かに基づいて上記平滑化処理の平滑化強度を調整する調整工程と、を含み、上記平滑化処理工程にて、上記調整工程での調整後の平滑化強度の上記平滑化処理を上記画像に対して施すように構成されている、ことを特徴としている。
上記の構成によれば、本発明に係る画像処理方法は、本発明に係る画像処理装置と同様の作用効果を奏する。
本発明の態様２に係る画像処理装置（映像処理装置１００）は、態様１において、画像を構成する各画素の輝度の大きさに関する度数分布データを第２の度数分布データ（輝度ヒストグラム）として生成する第２生成手段（輝度ヒストグラム生成部１４２）と、上記第２の度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第２判定手段（ノイズ低減処理部１５０）と、を更に備え、上記調整手段（ノイズ低減処理部１５０）は、上記第２判定手段により上記比が所定の閾値以上であると判定されたか否かに基づいて上記平滑化強度を調整するように構成されている、ことが望ましい。
ここで、高輝度画素を多く含む画像には、それほど多くのモスキートノイズが含まれていなくとも、そのモスキートノイズが目立ちやすいという特徴がある。
上記の構成によれば、本発明に係る画像処理装置は、モスキートノイズが目立ちやすい、高輝度画素を多く含む画像（第２判定手段により比が所定の閾値以上であると判定される画像）の品質を改善することができるという更なる効果を奏する。
本発明の態様３に係る画像処理装置は、上記態様１または２において、上記画像の平均画像レベルを算出する算出手段（特徴量算出部１４３）と、上記平均画像レベルが所定の閾値以上であるか否かを判定する第３判定手段（ノイズ低減処理部１５０、１５０’）と、を更に備え、上記調整手段は、上記第３判定手段により上記平均画像レベルが所定の閾値以上であると判定されたか否かに基づいて上記平滑化強度を調整するように構成されている、ことが望ましい。
平均画像レベルが高い画像には、それほど多くのモスキートノイズが含まれていなくとも、そのモスキートノイズが目立ちやすいという特徴がある。
上記の構成によれば、本発明に係る画像処理装置は、モスキートノイズが目立ちやすい、平均画像レベルが高い画像（第３判定手段により平均画像レベルが所定の閾値以上であると判定される画像）の品質を改善することができるという更なる効果を奏する。
本発明の態様４に係る画像処理装置は、上記態様１において、上記調整手段が、上記第１判定手段により上記比が所定の閾値以上であると判定された場合には、上記第１判定手段により上記比が所定の閾値未満であると判定された場合よりも上記平滑化強度を高く調整するように構成されている、ことが望ましい。
本発明の態様５に係る画像処理装置（映像処理装置１００”）は、上記態様１から態様４のいずれか一態様において、上記調整手段（ノイズ低減処理部１５０”）が、上記画像が表示される表示部の画面解像度よりも上記画像を表す画像データの解像度が小さい場合に上記平滑化強度を高く調整するサブ調整手段であって、上記画像データの解像度が上記表示部の画面解像度以上である場合に上記平滑化強度を低く調整するサブ調整手段を含んでいる、ことが望ましい。
上記の構成によれば、上記画像処理装置は、強い平滑化処理を施すとモスキートノイズの低減効果よりもディテールが失われるという負の効果が目立ってしまう高解像度（すなわち、画面解像度以上の解像度）の画像データが表す画像に対しては、弱い平滑化処理を施す。また、上記画像処理装置は、強い平滑化処理を施してもディテールが失われるという負の効果よりもモスキートノイズの低減効果による画質向上が目立つ低解像度（すなわち、画面解像度未満の解像度）の画像データが表す画像に対しては、強い平滑化処理を施す。
したがって、上記画像処理装置は、画像に対して、その画像の特性に応じたより効果的な平滑化処理を施すことができる。
本発明の態様６に係る画像処理装置（映像処理装置１００”）は、上記態様１から態様４のいずれか一態様において、自装置に設定されている画質モードを特定する画質モード特定手段（ノイズ低減処理部１５０”）をさらに備え、上記調整手段は、上記画像に対して施す上記平滑化処理の平滑化強度を上記画質モードに応じて調整するサブ調整手段（ノイズ低減処理部１５０”）を含んでいる、ことが望ましい。
また、本発明は、上記画像処理装置（上記態様１から上記態様６のいずれか一態様の画像処理装置）の各手段を備える動画像処理装置（映像処理装置１００）であって、動画像を構成する各画像フレームについて、上記第１生成手段が該画像フレームから上記第１の度数分布データを生成し、上記第１判定手段が該度数分布データに関して上記比が所定の閾値以上であるか否かを判定し、該比が所定の閾値以上であると判定されたか否かに基づいて上記調整手段が上記平滑化処理の平滑化強度を調整し、上記平滑化処理手段が、上記調整手段による調整後の平滑化強度の上記平滑化処理を該画像フレームに対して施す、ことを特徴とする動画像処理装置（本発明の態様７の動画処理装置）としても実現できる。
また、本発明の態様８に係る動画像処理装置（映像処理装置１００”）は、上記態様７において、上記動画像のコンテンツが属するジャンルを特定するジャンル特定手段（ノイズ低減処理部１５０”）をさらに備え、上記調整手段は、上記画像フレームに対して施す上記平滑化処理の平滑化強度を上記ジャンルに応じて調整するサブ調整手段（ノイズ低減処理部１５０”）を含んでいる、ことが望ましい。
なお、本発明の態様９に係る動画像処理装置は、上記動画像処理装置（上記態様７または態様８の動画像処理装置）の各手段を備えていることを特徴とするテレビジョン受像機としても実現できる。
また、上記画像処理装置（上記態様１から上記態様６のいずれか一態様の画像処理装置、または、上記態様７もしくは上記態様８の動画像処理装置）が備えている各手段としてコンピュータを動作させるためのプログラム、及び、そのようなプログラムを記録しているコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
〔本発明に関連する発明についての説明〕
以下、本発明に関連する発明（本説明においては、当該発明を「本発明」と称する）について説明する。
〔発明の名称〕映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
〔技術分野〕
本発明は、主に、映像の品質を改善する画像処理装置及び画像処理方法に関する。
〔背景技術〕
映像の品質を改善するために、従来から様々な技術が開発されている。
例えば、特許文献Ａには、映像の特徴に応じて、グレースケールのコントラストに加え、色彩のコントラストや、動きのコントラストを向上し、画質を改善することを目的とする表示装置が開示されている。特許文献１の表示装置は、まず、輝度、色、エッジ、動きのヒストグラムから、映像の特徴を抽出し、ヒストグラムパターンとそれに効果的なフィルタパラメータとのデータベースから、適切なフィルタとフィルタパラメータとを決定する。次に、該決定に基づき、差分強調フィルタ、コントラスト補正フィルタ、輝度増幅フィルタ、色差変換フィルタを選択し、フィルタパラメータを設定し、該フィルタパラメータに基づいてデータ処理し、例えば液晶パネルへ映像データを出力する。
また、圧縮符号化した映像を復号する過程で生じるノイズを低減するための技術も開発されている。
例えば、近時では、映像データは、ＭＰＥＧ（Moving Picture Experts Group）−２方式、ＭＰＥＧ−４方式などで圧縮符号化されて、送信、放送、および蓄積が行われている。これらの方式では、画像がブロック化され、個々のブロックごとに２次元ＤＣＴ（離散コサイン変換）が施され、変換後の値（変換係数）が量子化され、量子化後の変換係数ごとに符号化が行われている。
このため、変換係数の量子化が粗くなると、復号時に、隣接するブロックどうしが異なったレベルとなり、このレベルの差により、隣接するブロックの境界部分で輝度値などの連続性が失われ、その結果、ブロック状の符号化ノイズが表示されることになる。この符号化ノイズはブロックノイズと呼ばれている。
また、画像内にエッジなどの急激な輝度変化が存在すると、多数の高周波数成分が発生する。このとき、量子化が粗いために高周波域の変換係数が０とみなされてしまうと、復号時に、変換係数のうち高周波域の成分が不足し、その結果、波状の符号化ノイズが表示されることになる。この符号化ノイズは、蚊が飛んでいるように見えることから、モスキートノイズと呼ばれている。
上記ブロックノイズおよび上記モスキートノイズは、映像の圧縮率および内容によって出現する。例えば、多数の葉が揺れ動いている映像、海の波の映像など、動きのある映像は、圧縮率が高くなるため、表示される映像にブロックノイズが散見されることになり、当該映像の表示品位が低下する結果となる。
〔先行技術文献〕
〔特許文献〕
〔特許文献Ａ〕特開２００４−１９８４７９号公報（２００４年０７月１５日公開）
〔発明の概要〕
〔発明が解決しようとする課題〕
ブロックノイズについては、隣接するブロックの境界部分をぼかす平滑化（平均化）を行うことにより、低減することができる。しかしながら、ブロックノイズを低減するために平滑化の度合いを強くすると、ブロックノイズが目立つ映像では、表示品位の低下をさらに抑えることができるが、動きが少なくブロックノイズが目立たない映像では、ぼけた映像となり、表示品位が低下することになる。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、ブロックノイズが目立つ映像であるかを適切に判定できる映像処理装置などを提供することにある。
〔課題を解決するための手段〕
ブロックノイズは、マラソンの映像、競馬の映像、スタジオで撮影された映像など、映像内にて被写体が動き、かつその動く部分が多い映像において目立つ傾向にある。
そこで、本発明の一態様に係る映像処理装置は、映像信号を復号して得られた映像のブロックノイズを低減する映像処理装置であって、上記課題を解決するために、上記映像における輝度の度数分布を算出する度数分布算出手段と、該度数分布算出手段が算出した輝度の度数分布について、フレーム間の変化量を算出する変化量算出手段と、上記映像におけるフレーム間の輝度の差分を画素ごとに算出する差分算出手段と、該差分算出手段が算出したフレーム間の輝度の差分の大きさが所定値以上である画素数を算出する画素数算出手段と、上記変化量算出手段が算出した変化量が所定値以下であり、かつ、上記画素数算出手段が算出した画素数が所定値以上である上記映像に対しブロックノイズの低減を行うノイズ低減手段とを備えることを特徴としている。
また、本発明の他の態様に係る映像処理方法は、映像信号を復号して得られた映像のブロックノイズを低減する映像処理方法であって、上記課題を解決するために、上記映像における輝度の度数分布を算出する度数分布算出工程と、該度数分布算出工程にて算出された輝度の度数分布について、フレーム間の変化量を算出する変化量算出工程と、上記映像におけるフレーム間の輝度の差分を画素ごとに算出する差分算出工程と、該差分算出工程にて算出されたフレーム間の輝度の差分の大きさが所定値以上である画素数を算出する画素数算出工程と、上記変化量算出工程にて算出された変化量が所定値以下であり、かつ、上記画素数算出工程にて算出された画素数が所定値以上である上記映像に対しブロックノイズの低減を行うノイズ低減工程とを含むことを特徴としている。
〔発明の効果〕
本発明の一態様および他の態様によれば、映像における輝度の度数分布に関するフレーム間の変化量が所定値以下であり、かつ、当該映像におけるフレーム間の輝度の差分の大きさが所定値以上である画素数が所定値以上である場合の映像は、当該映像内にて被写体が動き、かつその動く部分が多い映像であり、ブロックノイズの目立つ映像であるとして、当該映像に対しブロックノイズの低減が行われるので、ブロックノイズの目立つ映像であるかを適切に判断できるという効果を奏する。
〔発明を実施するための形態〕
＜実施形態４＞
本発明の一実施形態に係る映像処理装置は、入力された映像信号を復号して得られた映像のブロックノイズを低減する機能（ノイズリダクション（ＮＲ）機能）を備えた装置である。本実施形態に係る映像処理装置は、具体的には、映像信号を復号して得られる各復号画像について、該復号画像はブロックノイズの目立つ画像であるかを、当該復号画像の輝度から評価し、評価結果に基づいてブロックノイズを低減するように構成されている。
以下、本実施形態に係る映像処理装置の詳細について図面を参照しながら説明する。
最初に、本実施形態に係る映像処理装置の構成について、図７を参照しながら説明する。図７は、本実施形態に係る映像処理装置２００の要部構成を示すブロック図である。図７に示すように、映像処理装置２００は、映像取得部２１０、復号処理部２２０、ブロックノイズ評価部２３０、記憶部２４０、低減強度設定部（強度設定手段）２５０、およびノイズ低減処理部（ノイズ低減手段）２６０を備えている。
（映像取得部２１０）
映像取得部２１０は、映像を信号化した映像信号を受け取る。映像取得部２１０は、受け取った映像信号を復号処理部２２０に供給する。なお、映像信号の取得元は、例えば放送波、記憶媒体に格納された映像データなど、任意の形態の映像信号源が考えられる。
（復号処理部２２０）
復号処理部２２０は、映像取得部２１０からの映像信号を復号する。復号処理部２２０が復号する映像信号は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、及び、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ（Advanced Video Coding）等によって圧縮符号化されている。
復号処理部２２０は、映像信号から復号画像を順次生成する。復号処理部２２０は、生成した復号画像をノイズ低減処理部２６０に供給すると共に、生成した復号画像の輝度データをブロックノイズ評価部２３０に供給する。なお、復号処理部２２０は、上記輝度データと共に、或いは上記輝度データの代わりに、上記復号画像のＲ（赤）Ｇ（緑）Ｂ（青）データをブロックノイズ評価部２３０に供給してもよい。
具体的には、復号処理部２２０は、画面内予測（イントラ予測）及び画面間予測（インター予測）の何れかを用いて予測画像を生成し、当該予測画像の各画素値に対して、映像信号から復号した各画素値を加算することによって、上記復号画像を生成する。
復号処理部２２０は、予測画像をインター予測によって生成する場合、すでに復号化され、図示しないフレームメモリに格納されている１または複数の復号化済み画像を参照し、当該復号化済み画像を構成する各ブロックに対して、動きベクトルを用いた動き補償を行うことによって予測画像を生成する。ここで、各動きベクトルを表す動きベクトル情報は、映像信号から復号される。
また、映像信号には、通常、各ブロックに含まれる画素の画素値を、ブロック毎に周波数変換（例えば、ＤＣＴ変換）した後に、量子化パラメータに応じた量子化処理を施して得られる量子化変換係数（単に変換係数とも呼ぶ）が含まれている。例えば、映像信号が８×８画素のブロック毎に符号化されたものである場合、映像信号には８×８成分の量子化変換係数が各ブロックについて含まれている。
このような映像信号を復号する場合、復号処理部２２０は、各変換係数を量子化パラメータを参照して逆量子化した後、逆周波数変換を施すことによって、各画素値を復号する。
また、映像信号に含まれる各フレーム（ピクチャ）は、以下のように大別される。
・Ｉピクチャ：他のピクチャを参照することなく復号化することが可能なピクチャ。Ｉピクチャは、例えば、上述したイントラ予測を用いて符号化された画像である。
・Ｐピクチャ：他の１枚のピクチャを参照することによって復号化可能なピクチャ。Ｐピクチャは、例えば、上述したインター予測を用いて符号化された画像である。
・Ｂピクチャ：他の２枚のピクチャを参照することによって復号化可能なピクチャ。Ｂピクチャは、例えば、上述したインター予測を用いて符号化された画像である。
（ブロックノイズ評価部２３０）
ブロックノイズ評価部２３０は、復号処理部２２０からの復号画像の輝度データを用いて、対象となる復号画像（対象復号画像）に含まれるブロックノイズの多寡を評価する。ブロックノイズ評価部２３０は、評価結果を低減強度設定部２５０に供給する。なお、ブロックノイズ評価部２３０の詳細は後述する。
（記憶部２４０）
記憶部２４０は、対象復号画像に対するノイズ低減処理の強度を設定するための低減強度設定用テーブル２４１を記憶している。記憶部２４０は、例えばＨＤＤ（Hard Disk Drive）などの記憶装置を用いて構成することができる。なお、低減強度設定用テーブル２４１の詳細は後述する。
（低減強度設定部２５０）
低減強度設定部２５０は、記憶部２４０の低減強度設定用テーブル２４１を参照して、ブロックノイズ評価部２３０の評価結果に対応する上記ノイズ低減処理の強度を設定する。
低減強度設定部２５０は、設定した強度をノイズ低減処理部２６０に供給する。
（ノイズ低減処理部２６０）
ノイズ低減処理部２６０は、対象復号画像に対し、低減強度設定部２５０からの強度で、ノイズを低減するノイズ低減処理を行う。ノイズ低減処理部２６０は、上記ノイズ低減処理を行った対象復号画像を、映像処理装置２００の外部に出力する。
次に、ブロックノイズ評価部２３０の詳細と、低減強度設定用テーブル２４１の詳細とについて説明する。
（ブロックノイズにより品質が劣化し易い復号画像について）
以下のような映像には、ブロックノイズが散見され目立つことにより、映像品質が劣化している可能性が高い。
以下のような映像には、ブロックノイズが散見され（目立ち）、映像品質が劣化している可能性が高い。
（１）木々に茂った多数の葉が風で揺れている映像のように、輝度の高周波成分を多く含む被写体（多数の葉）が動いている映像。
（２）マラソン大会にて定点カメラで撮影された映像のように、背景は動かないが、多数の被写体（ランナー）が動いている映像。
（３）海の波の映像のように、単色ではなく、グラデーションとなっている多数の部分が動いている映像。
（４）競馬での映像のように、背景が一方向に高速で移動しているが、多数の被写体（馬および騎手）が映像内に含まれ、かつ、動いている映像。
すなわち、映像内にて被写体が動き、かつその動く部分が多い映像において、ブロックノイズが散見され易く目立ち易いという傾向がある。そこで、本実施形態の映像処理装置２００では、この点に着目し、映像内にて被写体が動き、かつその動く部分が多い映像に、対象復号画像が該当する度合いを、対象復号画像（対象フレーム）の輝度と、以前に受け取った復号画像（前フレーム）の輝度を用いてブロックノイズ評価部２３０が推定している。そして、推定した度合いに基づいて、低減強度設定部２５０がノイズ低減処理の強度を設定している。
（ブロックノイズ評価部２３０の詳細）
ブロックノイズ評価部２３０は、度数分布算出部（度数分布算出手段）２３１、変化量算出部（変化量算出手段）２３２、差分算出部（差分算出手段）２３３、および画素数算出部（画素数算出手段）２３４を備えている。
（度数分布算出部２３１および変化量算出部２３２）
度数分布算出部２３１は、復号処理部２２０から復号画像の輝度データを受け取ると、当該復号画像における輝度の度数分布を算出する。度数分布算出部２３１は、算出した輝度の度数分布を変化量算出部２３２に供給する。
変化量算出部２３２は、度数分布算出部２３１からの輝度の度数分布を受け取ると、該輝度の度数分布について、フレーム間の変化量を算出する。具体的には、変化量算出部２３２は、対象フレームにおける輝度の度数分布と、前フレームにおける輝度の度数分布との差分を輝度の階級ごとに算出し、各階級の差分の絶対値（大きさ）の合計を、上記変化量として算出する。変化量算出部２３２は、算出した差分の絶対値の総和を低減強度設定部２５０に供給する。なお、前フレームは、対象フレームの直前のフレームとしてもよいし、対象フレームから所定フレーム数だけ前のフレームとしてもよい。
図８は、度数分布算出部２３１および変化量算出部２３２にて算出された度数分布の一例を示すヒストグラムである。同図の（ａ）・（ｂ）は、それぞれ、度数分布算出部２３１が算出した前フレームおよび対象フレームの輝度のヒストグラムである。また、同図の（ｃ）は、変化量算出部２３２が算出した変化量（フレーム間の輝度の差分の絶対値）のヒストグラムである。なお、図示の例では、輝度は０〜２５５の階級で示されているが、これに限定されるものではない。
対象フレームおよび前フレームからなる映像において、被写体が上記映像内に存在する場合、例え被写体が動いても上記変化量は小さい。例えば、背景が同じであれば、被写体が上記映像内の何れの位置にあっても、上記ヒストグラムは同じである。しかしながら、被写体の一部または全部が上記映像にフレームインしたり、上記映像からフレームアウトしたりする場合、上記変化量が大きくなる。すなわち、上記変化量は、被写体の動きが、上記映像内での動きであるか、或いは、上記映像内および上記映像外の一方から他方への動きであるかを判断する基準となる。
実施例では、上記変化量が全画素数の１０％（所定値）以下である場合、被写体の動きが上記映像内での動きである可能性が高いと判断し、上記変化量が全画素数の１０％より大きく１５％より小さい場合、当該可能性が中位と判断し、上記変化量が全画素数の１５％以上である場合、当該可能性が低いと判断している。
（差分算出部２３３および画素数算出部２３４）
差分算出部２３３は、復号処理部２２０から復号画像の輝度データを受け取ると、該復号画像の画素ごとに、対象フレームの輝度と前フレームの輝度との差分を算出する。差分算出部２３３は、算出した各画素の差分を画素数算出部２３４に供給する。
画素数算出部２３４は、差分算出部２３３からの各画素の差分を受け取ると、該差分の絶対値（大きさ）に基づき各画素を分類し、各分類の画素数を算出する。画素数算出部２３４は算出した画素数を低減強度設定部２５０に供給する。
被写体が動くと、フレーム間の輝度の差分が発生する。従って、実施例では、上記輝度の差分の絶対値に基づき以下のように分類する。なお、輝度の階調は１０２４とする。
すなわち、上記輝度の差分の絶対値が０〜１である画素は、全く動きの無い画素とみなして、「差分無」に分類する。また、上記輝度の差分の絶対値が２〜２４である画素は、微少なノイズを含む画素とみなして、「差分小」に分類する。そして、上記輝度の差分の絶対値が２５〜１０２３である画素は、動きのある画素とみなして、「差分大」に分類する。
また、被写体の動く部分が多いと、フレーム間の輝度の差分が発生する画素数が多くなる。すなわち、「差分大」に分類されている画素数（上記差分の絶対値が２５（所定値）以上である画素数）は、被写体の動く部分の多さに対応する。
図９は、動きのある映像における各分類の画素数の一例を示すヒストグラムである。図示の例では、「差分大」に分類されている画素数が、他に分類されている画素数よりも多くなっていることが理解できる。
実施例では、「差分大」に分類される画素数が全画素数の１５％以下である場合、被写体の動く部分が少ないと判断し、当該画素数が全画素数の１５％よりも大きく１９％よりも小さい場合、被写体の動く部分が中位と判断し、当該画素数が全画素数の１９％（所定値）以上である場合、被写体の動く部分が多いと判断している。これらの数値は、マラソン大会の映像などを分析した結果、導き出されたものである。
（低減強度設定用テーブル２４１）
図１０は、記憶部２４０に記憶される低減強度設定用テーブル２４１の一例を表形式で示す図である。図示のように、低減強度設定用テーブル２４１は、上記変化量の全画素数に対する割合と、「差分大」に分類される画素数の全画素数に対する割合とが、ブロックノイズの低減処理の強度（無し・弱・中・強）に対応付けられている。
例えば、上記変化量が全画素数の１０％以下であり、かつ、「差分大」に分類される画素数が全画素数の１９％以上である場合、被写体の動きが上記映像内での動きである可能性が高く、かつ、被写体動く部分が多いので、ブロックノイズが目立つ映像であると推定され、ブロックノイズの低減処理の強度が「強」に設定される。
一方、上記変化量が全画素数の１５％以上であり、かつ、「差分大」に分類される画素数が全画素数の１５％以下である場合、被写体の動きが上記映像内での動きである可能性が低く、かつ、被写体動く部分が少ないので、ブロックノイズが目立たない映像であると推定され、ブロックノイズの低減処理の強度が「無し」に設定される。すなわち、ブロックノイズの低減処理が行われない。
従って、本実施形態の映像処理装置２００は、ブロックノイズの目立つ映像であるかを適切に判断することができる。その結果、ブロックノイズの目立つ映像に対しブロックノイズの低減を行うことにより、表示品位の低下を抑えることができる。また、ブロックノイズの目立たない映像に対しブロックノイズの低減を行わないようにすることができるので、当該映像に対しブロックノイズの低減を行うことにより表示品位が低下することを防止することができる。その結果、ブロックノイズの適切な低減処理を行うことができる。
（映像処理装置２００の動作）
次に、本実施形態の映像処理装置２００におけるノイズ低減処理に関する動作について、図１１を参照しながら説明する。図１１は、映像処理装置２００のノイズ低減処理に関する動作を示すフローチャート図である。
（ステップＳ１００：復号画像の生成）
映像取得部２１０が映像信号を取得すると、取得した映像信号を復号処理部２２０が復号化して復号画像を生成する。
（ステップＳ１０１：輝度の度数分布の算出（度数分布算出工程））
度数分布算出部２３１は、復号処理部２２０が生成した復号画像の輝度を用いて、当該復号画像における輝度の度数分布（図８の（ａ）・（ｂ））を算出する。
（ステップＳ１０２：上記度数分布に関するフレーム間の変化量の算出（変化量算出工程））
変化量算出部２３２は、度数分布算出部２３１が算出した輝度の度数分布を用いて、対象フレームにおける輝度の度数分布（図８の（ａ））と、前フレームにおける輝度の度数分布（図８の（ｂ））との差分を輝度の階級ごとに算出する。次に、変化量算出部２３２は、算出した各階級の差分の絶対値（図８の（ｃ））の合計を、輝度の度数分布に関するフレーム間の変化量として算出する。
（ステップＳ１０３：輝度に関するフレーム間の差分の算出（差分算出工程））
差分算出部２３３は、復号処理部２２０が生成した復号画像の輝度を用いて、該復号画像の画素ごとに、対象フレームの輝度と前フレームの輝度との差分を算出する。
（ステップＳ１０４：差分の絶対値の度数分布の算出（画素数算出工程））
画素数算出部２３４は、差分算出部２３３が算出した各画素の差分の絶対値に基づき各画素を分類し、各分類の画素数（度数）を算出する（図９）。
（ステップＳ１０１〜Ｓ１０４：補足）
なお、ステップＳ１０３・Ｓ１０４は、ステップＳ１０１・Ｓ１０２よりも先に行ってもよいし、Ｓ１０１・Ｓ１０２と同時に行ってもよい。
（ステップＳ１０５：ノイズ低減処理の強度の設定）
低減強度設定部２５０は、記憶部２４０の低減強度設定用テーブル２４１（図１０）を参照して、ブロックノイズ評価部２３０の評価結果に対応するノイズ低減処理の強度を設定する。具体的には、低減強度設定部２５０は、ステップＳ１０２にて算出された輝度の度数分布に関するフレーム間の変化量の全画素数に対する割合と、ステップＳ１０４にて算出された「差分大」分類の画素数の全画素数に対する割合とに対応する上記強度を設定する。
（ステップＳ１０６：ノイズ低減処理（ノイズ低減工程））
ノイズ低減処理部２６０は、対象復号画像に対し、低減強度設定部２５０が設定した強度で、ブロックノイズを低減するノイズ低減処理を行う。そして、ノイズ低減処理部２６０は、ブロックノイズが低減された対象復号画像を、映像処理装置２００の外部に出力して、処理を終了する。
なお、映像処理装置２００は、映像信号から復号した各復号画像を対象として、以上の処理を施すことになる。
（映像処理装置２００の利点）
以上のように、本実施形態の映像処理装置２００では、対象復号画像がブロックノイズの目立つ画像であるかをブロックノイズ評価部２３０が適切に判断することができる。その結果、ブロックノイズの目立つ対象復号画像に対し、ノイズ低減処理部２６０がブロックノイズの低減を行うことにより、表示品位の低下を抑えることができる。また、ブロックノイズの目立たない対象復号画像に対し、ノイズ低減処理部２６０がブロックノイズの低減を行わないようにすることができるので、当該対象復号画像に対しブロックノイズの低減を行うことにより表示品位が低下することを防止することができる。
また、低減強度設定部２５０は、変化量算出部２３２が算出した変化量と、画素数算出部２３４が算出した画素数とに基づいて、上記ブロックノイズの低減の強度を設定し、ノイズ低減処理部２６０は、低減強度設定部２５０が設定した強度で、上記ブロックノイズの低減を行っている。これにより、上記対象復号画像におけるブロックノイズの目立つ程度に応じた強度で上記ブロックノイズの低減を行うことができ、表示品位の低下を適切に抑えることができる。
＜実施形態５＞
次に、本発明の別の実施形態について以下に説明する。図１２は、本実施形態に係る映像処理装置２００の要部構成を示すブロック図である。図１２に示す映像処理装置２００は、図７〜図１１に示す映像処理装置２００に比べて、ノイズ低減処理部２６０にブロックノイズ検出部（ブロックノイズ検出手段）２６１および平滑化フィルタ（平滑化手段）２６２を備える点と、記憶部２４０にブロックノイズ検出用テーブル２４２を記憶する点とが異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
ブロックノイズ検出用テーブル２４２は、ブロックノイズを検出するためのパラメータである。また、ブロックノイズ検出部２６１および平滑化フィルタ２６２は、対象復号画像のブロックノイズを低減するためのものである。
（ブロックノイズ検出部２６１）
ブロックノイズ検出部２６１は、記憶部２４０のブロックノイズ検出用テーブル２４２を参照して、低減強度設定部２５０からの強度に対応するパラメータで、対象復号画像に含まれるブロックノイズを検出する。ブロックノイズ検出部２６１は、検出したブロックノイズの位置情報を平滑化フィルタ２６２に通知する。
具体的には、ブロックノイズ検出部２６１は、まず、対象復号画像における隣接する画素どうしの輝度差が或る閾値（エッジ閾値）以上である部分を、エッジ部分として検出する。次に、ブロックノイズ検出部２６１は、検出したエッジ部分の周辺の平坦度を算出する。ここで、平坦度とは、輝度の平坦さ（輝度差の少なさ）を示すものであり、次式によって算出される。なお、平坦度は、例えば０〜２５５に設定され、数値が小さいほど平坦である。
平坦度の算出方法の一例としては、以下のようなものがある。すなわち、まず、隣接する画素がエッジ部分であるかの判定を、或る方向（水平方向または垂直方向）に順次行う。エッジ部分が判定されると、その直前に判定を行った１６個の画素、すなわち、エッジ部分と判定された画素から上記或る方向の反対向きに並ぶ１６個の画素について、隣接する画素同士の輝度値の差を算出する。そして、算出した差の絶対値の平均値を、平坦度として算出する。
具体的には、上記１６個の画素の輝度値を、それぞれ、Ｙ０〜Ｙ１５とすると、次式（１）で平坦度を算出できる。
平坦度＝（｜Ｙ０−Ｙ１｜＋｜Ｙ１−Ｙ２｜＋｜Ｙ２−Ｙ３｜＋・・・＋｜Ｙ１３−Ｙ１４｜＋｜Ｙ１４−Ｙ１５｜）／１５ ・・・（１）
ここで、｜ａ｜は、ａの絶対値を示している。また、輝度値Ｙ０〜Ｙ１５が０〜２５５の範囲であれば、上記式（１）の計算結果も０〜２５５の範囲となる。
次に、ブロックノイズ検出部２６１は、算出した平坦度が或る閾値（ノイズ閾値）以下である場合、当該エッジ部分がブロックノイズのエッジ部分であると判断する。そして、ブロックノイズ検出部２６１は、検出したブロックノイズのエッジ部分の位置を平滑化フィルタ２６２に通知する。
本実施形態では、上述した輝度差のエッジ閾値と平坦度のノイズ閾値とは、低減強度設定部２５０が設定するノイズ低減処理の強度によって異なっている。上記エッジ閾値および上記ノイズ閾値と上記強度との対応関係がブロックノイズ検出用テーブル２４２に格納されている。
（ブロックノイズ検出用テーブル２４２）
図１３は、記憶部２４０に記憶されるブロックノイズ検出用テーブル２４２の一例を表形式で示す図である。図示の例では、ノイズ低減処理の強度が強くなるにつれて、輝度差のエッジ閾値が低くなる。その結果、ブロックノイズ検出部２６１がエッジ部分を検出し易くなる。また、上記強度が強くなるにつれて、平坦度のノイズ閾値が高くなる。その結果、ブロックノイズ検出部２６１は、検出したエッジ部分をブロックノイズのエッジ部分として判断し易くなる。なお、上記強度が「無し」の場合は、ブロックノイズの低減処理が行われないので、エッジ閾値およびノイズ閾値が設定されていない。
（平滑化フィルタ２６２）
平滑化フィルタ２６２は、対象復号画像に対し、ブロックノイズ検出部２６１からの位置情報に基づき、ブロックノイズのエッジ部分において平滑化を行う。これにより、ブロックノイズのエッジ部分の輝度変化が滑らかになるので、当該ブロックノイズが低減される。なお、平滑化フィルタ２６２は、低減強度設定部２５０からの強度に基づき上記平滑化の強度を変更してもよい。
（映像処理装置２００の利点）
以上のように、本実施形態の映像処理装置２００では、ブロックノイズ検出部２６１は上記対象復号画像に含まれるブロックノイズのエッジ部分を検出し、検出されたエッジ部分に対し、平滑化フィルタ２６２は平滑化を行っている。従って、上記対象復号画像に含まれるブロックノイズのエッジ部分に対してのみ平滑化を行うことができるので、上記対象復号画像のその他の部分に対して平滑化を行うことによる表示品位の低下を防止することができる。
また、ブロックノイズ検出部２６１は、低減強度設定部２５０が設定した強度が強くなるにつれて、上記ブロックノイズのエッジ部分が検出し易くなっている。これにより、上記対象復号画像におけるブロックノイズの目立つ程度に応じて、上記ブロックノイズのエッジ部分を検出して平滑化することができる。その結果、表示品位の低下を適切に抑えることができる。
＜変形例＞
なお、ブロックノイズは明るい映像に多く見られる。そこで、対象復号画像の平均画像レベル（ＡＰＬ）を算出し、算出したＡＰＬが大きい（対象復号画像が全体的に明るい）場合にはノイズ低減処理の強度を上昇する一方、ＡＰＬが小さい（対象復号画像が全体的に暗い）場合には上記強度を低下させてもよい。この場合、ブロックノイズの低減処理をさらに効果的に行うことができる。
＜実施形態６＞
次に、本発明の他の実施形態について以下に説明する。図１４は、本実施形態に係る映像処理装置２００の要部構成を示すブロック図である。図１４に示す映像処理装置２００は、図７〜図１１に示す映像処理装置２００に比べて、ブロックノイズ評価部２３０に青系画素判定部（青系画素判定手段）２３５および青系画素数決定部（青系画素数決定手段）２３６をさらに備える点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
上述のように、ブロックノイズは海の波の映像に多く見られる。そこで、本実施形態では、対象復号画像における画素が青系の色を有するかを判定して、青系の色の画素数を算出し、当該画素数が多い場合にはノイズ低減処理の強度を上昇する一方、当該画素数が少ない場合には上記強度を低下させている。これにより、ブロックノイズの低減処理を、映像のシーンに応じて行うことができ、その結果、表示品位の低下を適切に抑えることができる。
（青系画素判定部２３５）
青系画素判定部２３５は、復号処理部２２０が生成した復号画像のＲＧＢデータを復号処理部２２０から受け取ると、受け取ったＲＧＢデータに基づいて、上記復号画像の画素の色が青系の色であるか否かを判定する。青系画素判定部２３５は、判定結果を青系画素数決定部２３６に供給する。
なお、画素の色が青系の色であるか否かは、次式（２）・（３）の両方を満たすか否かによって判定できる。
（上記画素のＧ（緑）の階調値）＞（上記画素のＲ（赤）の階調値） ・・・（２）。
（上記画素のＢ（青）の階調値）＞（上記画素のＲ（赤）の階調値） ・・・（３）。
この理由について、図１５を参照して説明する。図１５は、一般的な色度図における色域を示すグラフである。同図では、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の他に、シアン（Ｃy）、マゼンタ（Ｍ）、およびイエロー（Ｙe）が示され、各色のＲＧＢ成分が０〜２５５の階調値で示されている。
図１５の色域内において、上記式（２）を満たす領域は、点Ｂと点Ｙeとを結ぶ線分よりも点Ｇの側の領域となる。一方、上記式（３）を満たす領域は、点Ｇと点Ｍとを結ぶ線分よりも点Ｂの側の領域となる。従って、上記式（２）・（３）の両方を満たす領域は、図１５にてハッチングで示す領域となり、青系の色の領域となる。
（青系画素数決定部２３６）
青系画素数決定部２３６は、青系画素判定部２３５からの判定結果を用いて、上記対象画像に含まれる上記青系の色の画素数を決定する。具体的には、青系画素数決定部２３６は、青系の色であるとの判定結果を計数すればよい。青系画素数決定部２３６は、決定した上記青系の色の画素数を低減強度設定部２５０に供給する。低減強度設定部２５０では、記憶部２４０の低減強度設定用テーブル２４１を参照して設定されたノイズ低減処理の強度について、上記青系の色の画素数が多い場合には上昇させ、当該画素数が少ない場合には低下させて、ノイズ低減処理部２６０に供給される。これにより、例えば海の波の映像では、青系の色が多いので、ブロックノイズを大きく低減させることになり、表示品位の低下を適切に抑えることができる。
（付記事項１）
上述したブロックノイズ低減処理は、
・３Ｄノイズ低減処理
・２Ｄノイズ低減処理
に大別することができる。
ここで、３Ｄノイズ低減処理は、対象フレームと、１または複数の他のフレームとを参照して行われるものである。
３Ｄノイズ低減処理は、具体的には、対象フレームにおける対象領域と、対象フレームを起点として時間的に前後に位置する１または複数の参照フレームにおける対象領域との平均を画素毎にとることによって、ノイズ低減後の画像を生成する処理のことである。
ここで、上述した低減強度設定部により、より強い３Ｄノイズ低減処理が設定される場合には、上述したノイズ低減処理部は参照フレームの枚数を多くし、上述した低減強度設定部により、より弱い３Ｄノイズ低減処理が設定される場合には、上述したノイズ低減処理部は参照フレームの枚数を少なくする。
なお、３Ｄノイズ低減処理における上記の平均処理は、ノイズ低減後の画像がより高画質となるように設定された重み係数を用いるものでもよい。
一方で、２Ｄノイズ低減処理は、対象フレームにおける対象画素と、当該対象フレームにおいて、当該対象画素の周辺に設定された参照領域に含まれる参照画素とを参照して行われるものである。
２Ｄノイズ低減処理は、具体的には、対象フレームにおける対象画素の画素値と、当該対象フレームにおいて、当該対象画素の周辺に設定された参照領域に含まれる参照画素の画素値とを平均することによって、ノイズ低減後の画像を生成する処理のことである。
ここで、上述した低減強度設定部により、より強い２Ｄノイズ低減処理が設定される場合には、上述したノイズ低減処理部は参照領域を大きく設定し、上述した低減強度設定部により、より弱い２Ｄノイズ低減処理が設定される場合には、上述したノイズ低減処理部は参照領域を小さく設定する。
なお、２Ｄノイズ低減処理における上記の平均処理は、ノイズ低減後の画像がより高画質となるように設定された重み係数を用いるものでもよい。
（付記事項２）
本発明は、上述した映像処理装置２００に限られない。例えば、本発明は、映像取得部２１０、復号処理部２２０、ブロックノイズ評価部２３０、記憶部２４０、低減強度設定部２５０、ノイズ低減処理部２６０、および表示部（表示手段、図示せず）を備え、復号処理部２２０によって放送信号として伝送されるＴＳ（Transport Stream）を復号化し、復号化して得られた映像を表示部に表示するテレビジョン受像機として実現できる。
〔まとめ〕
本発明の態様１に係る映像処理装置（映像処理装置２００）は、映像信号を復号して得られた映像のブロックノイズを低減する映像処理装置であって、上記映像における輝度の度数分布を算出する度数分布算出手段（度数分布算出部２３１）と、該度数分布算出手段が算出した輝度の度数分布について、フレーム間の変化量を算出する変化量算出手段（変化量算出部２３２）と、上記映像におけるフレーム間の輝度の差分を画素ごとに算出する差分算出手段（差分算出部２３３）と、該差分算出手段が算出したフレーム間の輝度の差分の大きさが所定値以上である画素数を算出する画素数算出手段（画素数算出部２３４）と、上記変化量算出手段が算出した変化量が所定値以下であり、かつ、上記画素数算出手段が算出した画素数が所定値以上である上記映像に対しブロックノイズの低減を行うノイズ低減手段（ノイズ低減処理部２６０）とを備える構成である。
上記の構成によると、まず、映像信号を復号して得られた映像における輝度の度数分布が算出され、算出された輝度の度数分布について、フレーム間の変化量を算出する。被写体が映像内に存在する場合、例え被写体が動いても上記変化量は小さいが、被写体の一部または全部が映像にフレームインしたり、映像からフレームアウトしたりする場合、上記変化量が大きくなる。すなわち、上記変化量は、被写体の動きが、映像内での動きであるか、或いは、映像内および映像外の一方から他方への動きであるかを判断する基準となる。
一方、上記映像におけるフレーム間の輝度の差分が画素ごとに算出され、算出されたフレーム間の輝度の差分の大きさが所定値以上である画素数が算出される。被写体が動くと、フレーム間の輝度の差分が発生することになり、被写体の動く部分が多いと、上記差分が発生する画素数が多くなる。すなわち、上記差分の大きさが所定値以上である画素数は、被写体の動く部分の多さに対応する。
そして、算出された変化量が所定値以下であり、かつ、算出された画素数が所定値以上である場合の映像は、該映像内にて被写体が動き、かつその動く部分が多い映像であり、ブロックノイズの目立つ映像であると考えられるので、当該映像に対しブロックノイズの低減が行われる。
従って、本発明によると、ブロックノイズの目立つ映像であるかを適切に判断することができる。その結果、ブロックノイズの目立つ映像に対しブロックノイズの低減を行うことにより、表示品位の低下を抑えることができる。また、ブロックノイズの目立たない映像に対しブロックノイズの低減を行わないようにすることができるので、当該映像に対しブロックノイズの低減を行うことにより表示品位が低下することを防止することができる。
なお、上記フレーム間の変化量を算出するには、対象フレームの映像における輝度の度数分布と、対象フレームよりも前のフレームの映像における輝度の度数分布との差分を階級ごとに算出し、算出した各階級の差分の絶対値の合計を上記変化量として算出すればよい。
本発明の態様２に係る映像処理装置は、上記態様１において、上記変化量算出手段が算出した変化量と、上記画素数算出手段が算出した画素数とに基づいて、上記ブロックノイズの低減の強度を設定する強度設定手段（低減強度設定部２５０）をさらに備えており、上記ノイズ低減手段は、上記強度設定手段が設定した強度で、上記ブロックノイズの低減を行うことが好ましい。この場合、上記映像におけるブロックノイズの目立つ程度に応じた強度で上記ブロックノイズの低減を行うことができ、表示品位の低下を適切に抑えることができる。
本発明の態様３に係る映像処理装置は、上記態様１において、上記ノイズ低減手段は、上記映像に含まれるブロックノイズのエッジ部分を検出するブロックノイズ検出手段（ブロックノイズ検出部２６１）と、該ブロックノイズ検出手段が検出したエッジ部分に対し、平滑化を行う平滑化手段（平滑化フィルタ２６２）とを備えることが好ましい。この場合、上記映像に含まれるブロックノイズのエッジ部分に対してのみ平滑化を行うことができるので、上記映像のその他の部分に対して平滑化を行うことによる表示品位の低下を防止することができる。
本発明の態様４に係る映像処理装置は、上記態様３において、上記変化量算出手段が算出した変化量と、上記画素数算出手段が算出した画素数とに基づいて、上記ブロックノイズの低減の強度を設定する強度設定手段（低減強度設定部２５０）をさらに備えており、上記ブロックノイズ検出手段は、上記強度設定手段が設定した強度が強くなるにつれて、上記ブロックノイズのエッジ部分が検出し易くなっていることが好ましい。
この場合、上記映像におけるブロックノイズの目立つ程度に応じて、上記ブロックノイズのエッジ部分を検出して平滑化することができる。例えば、ブロックノイズが目立つ映像からは、ブロックノイズのエッジ部分を多数検出して平滑化する一方、ブロックノイズが目立たない映像からは、ブロックノイズのエッジ部分を少数検出して平滑化することができる。その結果、表示品位の低下を適切に抑えることができる。
なお、ブロックノイズは明るい映像に多く見られる。そこで、本発明の態様５に係る映像処理装置は、上記態様２または４において、上記強度設定手段は、設定した強度を上記映像の平均画像レベル（ＡＰＬ）に基づいて変更するが好ましい。この場合、ＡＰＬが大きい（映像が全体的に明るい）場合にはノイズ低減処理の強度を上昇させる一方、ＡＰＬが小さい（映像が全体的に暗い）場合には上記強度を低下させることができる。その結果、ブロックノイズの低減処理をさらに効果的に行うことができる。
また、ブロックノイズは海の波の映像に多く見られる。そこで、本発明の態様６に係る映像処理装置は、上記態様２・４・５のそれぞれにおいて、上記映像の或る画素が青系の色を有するかを画素ごとに判定する青系画素判定手段（青系画素判定部２３５）と、該判定の結果に基づいて上記青系の色の画素数を決定する青系画素数決定手段（青系画素数決定部２３６）とをさらに備えており、上記強度設定手段は、設定した強度を、上記青系画素数決定手段が算出した上記青系の色の画素数に基づいて変更してもよい。この場合、上記青系の色の画素数が多い場合にはノイズ低減処理の強度を上昇させる一方、上記青系の色の画素数が少ない場合には上記強度を低下させることができる。これにより、ブロックノイズの低減処理を、映像のシーンに応じて行うことができ、その結果、表示品位の低下を適切に抑えることができる。
なお、本発明の上記態様１から上記態様６までのそれぞれの映像処理装置と、該映像処理装置からの映像を表示する表示手段とを備えるテレビジョン受像機であれば、上述と同様の効果を奏する。
本発明の態様７に係る映像処理方法は、映像信号を復号して得られた映像のブロックノイズを低減する映像処理方法であって、上記映像における輝度の度数分布を算出する度数分布算出工程と、該度数分布算出工程にて算出された輝度の度数分布について、フレーム間の変化量を算出する変化量算出工程と、上記映像におけるフレーム間の輝度の差分を画素ごとに算出する差分算出工程と、該差分算出工程にて算出されたフレーム間の輝度の差分の大きさが所定値以上である画素数を算出する画素数算出工程と、上記変化量算出工程にて算出された変化量が所定値以下であり、かつ、上記画素数算出工程にて算出された画素数が所定値以上である上記映像に対しブロックノイズの低減を行うノイズ低減工程とを含む方法である。上記の方法によると、上記態様１と同様の作用効果を奏することができる。
本発明の各態様に係る映像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像処理装置が備える各手段として動作させることにより上記映像処理装置をコンピュータにて実現させる映像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
以上、本発明に関連する発明について説明した。
（プログラム、記憶媒体）
映像処理装置１００、１００’、１００”、２００の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、映像処理装置１００、１００’、１００”、２００は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである映像処理装置１００、１００’、１００”、２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、非一時的な記録媒体を用いることができる。例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、上記プログラムコードは、通信ネットワークを介して映像処理装置１００、１００’、１００”、２００に供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
本発明、および、本発明に関連する発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、映像のノイズを低減するための映像処理装置に好適に適用することができる。
１００、１００’ 映像処理装置
１００” 映像処理装置
１１０ 映像取得部
１２０ 復号処理部
１３０ 記憶部
１４０、１４０’ ヒストグラム処理部
１４１ エッジヒストグラム生成部（第１生成手段）
１４２ 輝度ヒストグラム生成部（第２生成手段）
１４３ 特徴量算出部（算出手段）
１５０、１５０’ ノイズ低減処理部（平滑化処理手段、調整手段、第１判定手段、
第２判定手段、第３判定手段）
１５０” ノイズ低減処理部（サブ調整手段、画質モード特定手段、ジャンル
特定手段）
２００ 映像処理装置
２１０ 映像取得部
２２０ 復号処理部
２３０ ブロックノイズ評価部
２３１ 度数分布算出部（度数分布算出手段）
２３２ 変化量算出部（変化量算出手段）
２３３ 差分算出部（差分算出手段）
２３４ 画素数算出部（画素数算出手段）
２３５ 青系画素判定部（青系画素判定手段）
２３６ 青系画素数決定部（青系画素数決定手段）
２４０ 記憶部
２４１ 低減強度設定用テーブル
２４２ ブロックノイズ検出用テーブル
２５０ 低減強度設定部（強度設定手段）
２６０ ノイズ低減処理部（ノイズ低減手段）
２６１ ブロックノイズ検出部（ブロックノイズ検出手段）
２６２ 平滑化フィルタ（平滑化手段）

Claims (21)

  1. 画像を構成する各画素の隣接する画素との輝度差の大きさに関する度数分布データを第１の度数分布データとして生成する第１生成手段と、
    上記第１の度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第１判定手段と、
    上記画像に平滑化処理を施す平滑化処理手段と、
    上記第１判定手段により上記比が所定の閾値以上であると判定された場合には、上記比が所定の閾値未満であると判定された場合よりも上記平滑化処理の平滑化強度を高く調整する調整手段と、を備え、
    上記平滑化処理手段は、上記調整手段による調整後の平滑化強度の上記平滑化処理を上記画像に対して施すように構成されている、ことを特徴とする画像処理装置。
  2. 画像を構成する各画素の輝度の大きさに関する度数分布データを第２の度数分布データとして生成する第２生成手段と、
    上記第２の度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第２判定手段と、を更に備え、
    上記調整手段は、上記第１判定手段により上記比が所定の閾値以上であると判定された場合であって、尚且つ、上記第２判定手段により上記比が所定の閾値以上であると判定された場合には、上記第１判定手段により上記比が所定の閾値未満であると判定された場合であって、尚且つ、上記第２判定手段により上記比が所定の閾値未満であると判定された場合よりも上記平滑化強度を高く調整するように構成されている、ことを特徴とする請求項１に記載の画像処理装置。
  3. 上記画像の平均画像レベルを算出する算出手段と、
    上記平均画像レベルが所定の閾値以上であるか否かを判定する第３判定手段と、を更に備え、
    上記調整手段は、上記第１判定手段により上記比が所定の閾値以上であると判定された場合であって、尚且つ、上記第２判定手段により上記比が所定の閾値以上であると判定された場合であって、尚且つ、上記第３判定手段により上記平均画像レベルが所定の閾値以上であると判定された場合には、上記第１判定手段により上記比が所定の閾値未満であると判定された場合であって、尚且つ、上記第２判定手段により上記比が所定の閾値未満であると判定された場合であって、尚且つ、上記第３判定手段により上記平均画像レベルが所定の閾値未満であると判定された場合よりも上記平滑化強度を高く調整するように構成されている、ことを特徴とする請求項２に記載の画像処理装置。
  4. 上記調整手段は、上記画像が表示される表示部の画面解像度よりも上記画像を表す画像データの解像度が小さい場合に上記平滑化強度を高く調整するサブ調整手段であって、上記画像データの解像度が上記表示部の画面解像度以上である場合に上記平滑化強度を低く調整するサブ調整手段を含んでいる、ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
  5. 自装置に設定されている画質モードを特定する画質モード特定手段をさらに備え、
    上記平滑化処理手段は、上記画質モードが映画モードである場合には、上記画像に対して上記平滑化処理を施さないように構成されている、ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
  6. 請求項１に記載の画像処理装置の各手段を備える動画像処理装置であって、
    動画像を構成する各画像フレームについて、上記第１生成手段が該画像フレームから上記第１の度数分布データを生成し、上記第１判定手段が該度数分布データに関して上記比が所定の閾値以上であるか否かを判定し、該比が所定の閾値以上であると判定された場合には、該比が所定の閾値未満であると判定された場合よりも上記調整手段が上記平滑化処理の平滑化強度を高く調整し、上記平滑化処理手段が、上記調整手段による調整後の平滑化強度の上記平滑化処理を該画像フレームに対して施す、ことを特徴とする動画像処理装置。
  7. 上記動画像のコンテンツが属するジャンルを特定するジャンル特定手段をさらに備え、
    上記平滑化処理手段は、上記ジャンルが映画である場合には、上記動画像を構成する各画像フレームに対して上記平滑化処理を施さないように構成されている、ことを特徴とする、請求項６に記載の動画像処理装置。
  8. 請求項６または７に記載の動画像処理装置の各手段を備えていることを特徴とするテレビジョン受像機。
  9. 画像を構成する各画素の隣接する画素との輝度差の大きさに関する度数分布データを生成する生成工程と、
    上記度数分布データに関し、所定の階級より高い各階級の度数を加算した値の総度数に対する比が所定の閾値以上であるか否かを判定する第１判定工程と、
    上記画像に平滑化処理を施す平滑化処理工程と、
    上記第１判定工程にて上記比が所定の閾値以上であると判定された場合に、上記比が所定の閾値未満であると判定された場合よりも上記平滑化処理の平滑化強度を高く調整する調整工程と、を含み、
    上記平滑化処理工程にて、上記調整工程での調整後の平滑化強度の上記平滑化処理を上記画像に対して施すように構成されている、ことを特徴とする画像処理方法。
  10. 請求項１から５のいずれか１項に記載の画像処理装置としてコンピュータを動作させるプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
  11. 請求項１０に記載のプログラムが記録されているコンピュータ読み取り可能な記録媒体。
  12. 映像信号を復号して得られた映像のブロックノイズを低減する映像処理装置であって、
    上記映像における輝度の度数分布を算出する度数分布算出手段と、
    該度数分布算出手段が算出した輝度の度数分布について、フレーム間の変化量を算出する変化量算出手段と、
    上記映像におけるフレーム間の輝度の差分を画素ごとに算出する差分算出手段と、
    該差分算出手段が算出したフレーム間の輝度の差分の大きさが所定値以上である画素数を算出する画素数算出手段と、
    上記変化量算出手段が算出した変化量が所定値以下であり、かつ、上記画素数算出手段が算出した画素数が所定値以上である上記映像に対しブロックノイズの低減を行うノイズ低減手段とを備えることを特徴とする映像処理装置。
  13. 上記変化量算出手段が算出した変化量と、上記画素数算出手段が算出した画素数とに基づいて、上記ブロックノイズの低減の強度を設定する強度設定手段をさらに備えており、
    上記ノイズ低減手段は、上記強度設定手段が設定した強度で、上記ブロックノイズの低減を行うことを特徴とする請求項１２に記載の映像処理装置。
  14. 上記ノイズ低減手段は、
    上記映像に含まれるブロックノイズのエッジ部分を検出するブロックノイズ検出手段と、
    該ブロックノイズ検出手段が検出したエッジ部分に対し、平滑化を行う平滑化手段とを備えることを特徴とする請求項１２に記載の映像処理装置。
  15. 上記変化量算出手段が算出した変化量と、上記画素数算出手段が算出した画素数とに基づいて、上記ブロックノイズの低減の強度を設定する強度設定手段をさらに備えており、
    上記ブロックノイズ検出手段は、上記強度設定手段が設定した強度が強くなるにつれて、上記ブロックノイズのエッジ部分が検出し易くなっていることを特徴とする請求項１４に記載の映像処理装置。
  16. 上記強度設定手段は、設定した強度を上記映像の平均画像レベルに基づいて変更することを特徴とする請求項１３または１５に記載の映像処理装置。
  17. 上記映像の或る画素が青系の色を有するかを画素ごとに判定する青系画素判定手段と、
    該判定の結果に基づいて上記青系の色の画素数を決定する青系画素数決定手段とをさらに備えており、
    上記強度設定手段は、設定した強度を、上記青系画素数決定手段が算出した上記青系の色の画素数に基づいて変更することを特徴とする請求項１３、１５、および１６の何れか１項に記載の映像処理装置。
  18. 請求項１２から１７の何れか１項に記載の映像処理装置と、
    該映像処理装置からの映像を表示する表示手段とを備えることを特徴とするテレビジョン受像機。
  19. 映像信号を復号して得られた映像のブロックノイズを低減する映像処理方法であって、
    上記映像における輝度の度数分布を算出する度数分布算出工程と、
    該度数分布算出工程にて算出された輝度の度数分布について、フレーム間の変化量を算出する変化量算出工程と、
    上記映像におけるフレーム間の輝度の差分を画素ごとに算出する差分算出工程と、
    該差分算出工程にて算出されたフレーム間の輝度の差分の大きさが所定値以上である画素数を算出する画素数算出工程と、
    上記変化量算出工程にて算出された変化量が所定値以下であり、かつ、上記画素数算出工程にて算出された画素数が所定値以上である上記映像に対しブロックノイズの低減を行うノイズ低減工程とを含むことを特徴とする映像処理方法。
  20. 請求項１２から１７のいずれか１項に記載の映像処理装置としてコンピュータを動作させるプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
  21. 請求項２０に記載のプログラムが記録されているコンピュータ読取り可能な記録媒体。
JP2013070517A 2012-05-16 2013-03-28 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 Expired - Fee Related JP5399578B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013070517A JP5399578B2 (ja) 2012-05-16 2013-03-28 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US14/401,070 US9256924B2 (en) 2012-05-16 2013-04-18 Image processing device, moving-image processing device, video processing device, image processing method, video processing method, television receiver, program, and recording medium
PCT/JP2013/061546 WO2013172149A1 (ja) 2012-05-16 2013-04-18 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
CN201380025116.4A CN104285431A (zh) 2012-05-16 2013-04-18 图像处理装置、动态图像处理装置、视频处理装置、图像处理方法、视频处理方法、电视接收机、程序、以及存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012112793 2012-05-16
JP2012112793 2012-05-16
JP2012113833 2012-05-17
JP2012113833 2012-05-17
JP2013070517A JP5399578B2 (ja) 2012-05-16 2013-03-28 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2013258685A JP2013258685A (ja) 2013-12-26
JP5399578B2 true JP5399578B2 (ja) 2014-01-29

Family

ID=49583563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013070517A Expired - Fee Related JP5399578B2 (ja) 2012-05-16 2013-03-28 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US9256924B2 (ja)
JP (1) JP5399578B2 (ja)
CN (1) CN104285431A (ja)
WO (1) WO2013172149A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6243629B2 (ja) * 2013-05-29 2017-12-06 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP6338408B2 (ja) * 2014-03-14 2018-06-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN105635611A (zh) * 2014-11-03 2016-06-01 中兴通讯股份有限公司 投影仪自适应调整方法及装置
US9232118B1 (en) * 2015-01-23 2016-01-05 Interra Systems, Inc Methods and systems for detecting video artifacts
JP6558935B2 (ja) * 2015-04-24 2019-08-14 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
KR101920186B1 (ko) 2015-07-08 2018-11-19 닛산 지도우샤 가부시키가이샤 등화기 검출 장치 및 등화기 검출 방법
GB201515142D0 (en) * 2015-08-26 2015-10-07 Quantel Holdings Ltd Determining a quality measure for a processed video signal
KR102192488B1 (ko) * 2015-11-25 2020-12-17 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
JP6841075B2 (ja) * 2017-02-17 2021-03-10 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
EP3731222A4 (en) * 2017-12-19 2021-01-20 Sony Corporation SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND DISPLAY DEVICE
CN110058887B (zh) * 2018-01-16 2022-02-18 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
WO2020068666A1 (en) 2018-09-24 2020-04-02 Dolby Laboratories Licensing Corporation Image denoising in sdr to hdr image conversion
TWI692970B (zh) * 2018-10-22 2020-05-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法
CN109933691B (zh) * 2019-02-11 2023-06-09 北京百度网讯科技有限公司 用于内容检索的方法、装置、设备和存储介质
CN111583160B (zh) * 2020-06-03 2023-04-18 浙江大华技术股份有限公司 一种视频画面的噪声评估方法及装置
US11423853B1 (en) 2021-11-29 2022-08-23 Unity Technologies Sf Increasing resolution and luminance of a display

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5872864A (en) * 1992-09-25 1999-02-16 Olympus Optical Co., Ltd. Image processing apparatus for performing adaptive data processing in accordance with kind of image
JP3891928B2 (ja) 2002-12-16 2007-03-14 株式会社日立製作所 表示装置
JP4635779B2 (ja) 2005-08-18 2011-02-23 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
CN100505832C (zh) * 2006-03-21 2009-06-24 中国科学院计算技术研究所 一种多模板混合滤波的图像去噪方法
JP4550016B2 (ja) 2006-06-19 2010-09-22 パナソニック株式会社 輝度変換装置
JP4221434B2 (ja) * 2006-10-04 2009-02-12 株式会社ナナオ 輪郭補正方法、画像処理装置及び表示装置
JP4787358B2 (ja) * 2007-04-27 2011-10-05 株式会社日立メディコ 超音波診断装置
EP2101505A3 (en) 2008-03-11 2012-09-05 Sony Corporation Image processing device, method, and program
CN101489034B (zh) * 2008-12-19 2010-12-01 四川虹微技术有限公司 一种视频图像噪声估计与去除方法
JP5511467B2 (ja) * 2009-04-13 2014-06-04 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP5511468B2 (ja) * 2009-04-13 2014-06-04 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP5436082B2 (ja) * 2009-07-27 2014-03-05 キヤノン株式会社 ノイズ低減装置及びノイズ低減方法
KR20120046770A (ko) 2009-09-11 2012-05-10 파나소닉 주식회사 플라즈마 디스플레이 패널의 구동 방법 및 플라즈마 디스플레이 장치
JP2011081335A (ja) * 2009-09-11 2011-04-21 Panasonic Corp プラズマディスプレイパネルの駆動方法およびプラズマディスプレイ装置
CN101877123A (zh) * 2009-12-03 2010-11-03 北京中星微电子有限公司 一种图像增强方法和装置
CN102281386B (zh) * 2010-06-08 2014-12-10 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
WO2011158419A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 解像度判定装置、画像処理装置、及び画像表示装置
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP6021557B2 (ja) * 2012-09-28 2016-11-09 株式会社Pfu 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
WO2013172149A1 (ja) 2013-11-21
US9256924B2 (en) 2016-02-09
CN104285431A (zh) 2015-01-14
US20150103250A1 (en) 2015-04-16
JP2013258685A (ja) 2013-12-26

Similar Documents

Publication Publication Date Title
JP5399578B2 (ja) 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR101761307B1 (ko) 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들
CN101371589B (zh) 用以提高视频编码器性能的自适应滤波方法及系统
US8948253B2 (en) Networked image/video processing system
US8139883B2 (en) System and method for image and video encoding artifacts reduction and quality improvement
US9197904B2 (en) Networked image/video processing system for enhancing photos and videos
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
CN102714723B (zh) 使用胶片颗粒遮蔽压缩伪影
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
CN103227775B (zh) 用于处理图像或视频数据的方法和系统
US9275440B2 (en) Image processing device and image processing method
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
JP5514338B2 (ja) 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US20180167597A1 (en) Methods, apparatus, and systems for hdr tone mapping operator
US20110129020A1 (en) Method and apparatus for banding artifact detection
JP6300565B2 (ja) 動画像符号化装置、プログラム、および、集積回路
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
EP3639238A1 (en) Efficient end-to-end single layer inverse display management coding
KR20170058868A (ko) 휘도 조정 방법
WO2012102191A1 (ja) 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、およびコンピュータ読取可能な記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131023

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees