JP4383581B2 - ブロックノイズ検出装置およびブロックノイズ除去装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ブロックノイズ検出装置およびブロックノイズ除去装置に関し、より特定的には、デジタル画像を圧縮して伝送・記録する際に用いる画像符号化において、デジタル画像に生じるブロックノイズを除去するブロックノイズ検出装置およびブロックノイズ除去装置に関する。
【０００２】
【従来の技術】
従来から、デジタル画像を保存する場合等において、画像のデータ量を減らす目的でデジタル画像のデータ圧縮が行われている。このデータ圧縮の方法には、可逆符号化方法と不可逆符号化方法とがある。可逆符号化方法は、符号化したデータを復号化すると、符号化前のデータに完全に戻すことができる符号化を用いる方法である。一方、不可逆符号化方法は、符号化したデータを復号化すると多少の誤差を含んだデータに戻され、符号化する前のデータに完全に戻すことができるとは限らない符号化を用いる方法である。
【０００３】
一般に、可逆符号化として用いられる方式には、離散コサイン変換（以下、ＤＣＴと記す）が存在する。しかし、通常、ＤＣＴを行った後には、量子化等の処理を行う。このため、ＤＣＴを行った後に量子化等の処理を行って符号化したデータは、復号化しても符号化前のデータに完全に戻すことができず、復号化したデータにノイズ（誤差）を含むことになる。すなわち、ＤＣＴを行った後に量子化等の処理を行う符号化は、不可逆符号化となる。
【０００４】
ＤＣＴを行うには、まず、前処理として、１フレームの画像を複数のブロックに領域分割する。１ブロックは、例えば、８×８の２次元画素データの集まりである。ＤＣＴは、ブロックを１単位として処理を行う。ＤＣＴおよび量子化により符号化されたデータは、逆量子化および逆ＤＣＴすることによりデータを復元することができる。逆量子化および逆ＤＣＴすると、ブロックノイズを含んだ画像データが復元される。
【０００５】
ここで、ブロックノイズについて図２４を用いて説明する。
図２４は、従来の手法におけるブロックノイズ除去の概念を説明する図である。なお、図２４（ａ）は、１フレーム画像７０１を表し、図２４（ｂ）は、図２４（ａ）におけるブロック７０４と隣接するブロック７０５との境界（以下、ブロック境界という）７０６の１ラインを拡大して表し、図２４（ｃ）は、図２４（ｂ）の各画素を平滑化した後の画素の状態を表したものである。
【０００６】
今、図２４（ａ）において、１フレーム画像７０１の特定のブロックを隔てて画素が並んでいると見たときを考える。このとき、図２４（ｂ）において、ブロック７０４の画素ａとブロック７０５の画素ｂとは、ブロック境界７０６で存在する画素であり、この画素ａと画素ｂの画素レベル差が、画素ｃと画素ｄの画素レベル差のようなブロック内のレベル変化に比べ大きい場合、この部分がブロックノイズとなりこのため非常に見苦しい画像となって見える。
このようにブロックノイズとは、１フレーム画像において、ブロック境界前後に存在する画素間のレベル差に起因して生じるノイズである。
【０００７】
ブロックノイズは、ＤＣＴおよび量子化のようにブロックを１単位として処理を行う不可逆符号化方式を用いると生じる。画像に生じるノイズを除去するには、一般的に、画像全体を平滑化する処理が行われる。平滑化とは処理したい画素の前後数画素を用いて平均画素を求めることである。また、数タップの低域通過フィルタ（以下、ＬＰＦと記す）により画像を滑らかにすることも平滑化である。平滑化を行うと図２４（ｃ）のように、ブロックノイズのみならず、画像全体のノイズを除去することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、画素の平滑化は、ブロックノイズを除去できる利点を有する一方、ブロックノイズ以外の画像のエッジも滑らかにしてしまうため、画像がぼけたものになってしまう欠点がある。
また、上記従来の手法では、ブロックサイズとブロック境界が完全に分かる場合のみしかブロックノイズを除去することができない問題がある。
さらに、ブロック境界に画像のエッジが存在した場合、ブロックノイズの影響は、画像のエッジに比べ少ない。しかし、上記従来の手法ではブロック境界であればすべて平滑化を行っている。そのため、ブロック境界に存在した画像エッジはぼけてしまい、実際にはブロック境界に平滑化を行った方が画質劣化が見られる場合もある。
【０００９】
それ故、本発明の目的は、本来ブロックノイズ除去を行うべきブロック境界が不明確な場合でも、正確にブロック境界を検出するブロックノイズ検出装置を提供することである。
また、本発明の他の目的は、画像をぼけさせることなく、ブロックノイズを除去し、なおかつ、ブロック境界でもブロックノイズが少ない画像に対しては、平滑化を行わない、映像シーンに付随したブロックノイズ除去装置を提供することである。
さらに、本発明の他の目的は、入力信号が多フォーマット（例えば、インタレース方式・プログレッシブ方式）のアナログ信号や外部デジタル信号（例えば、ＤＶＤやＳＴＢ）の場合でも、入力信号に存在するブロックノイズを除去できるブロックノイズ除去装置を提供することである。
加えて、本発明では、ブロックノイズ検出装置を用いて、映像処理システムにおけるドットクロック再生を行うことも提供する。
【００１０】
【課題を解決するための手段および発明の効果】
第１の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出する装置であって、
映像信号におけるブロックノイズのレベルを検出する手段と、
映像信号におけるブロック境界（ブロックノイズの発生位置）を検出する手段とを備える。
上記のように、第１の発明によれば、複数のブロックに領域分割される画像のブロック境界およびブロックノイズのレベルを正確に検出するこで、ブロックノイズの検出が可能となる。
【００１１】
第２の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出する装置であって、
映像信号を入力し、当該映像信号から高域成分のみを抽出する信号抽出手段と、
信号抽出手段が出力する高域成分信号を絶対値化する絶対値化手段と、
絶対値化手段が出力する絶対値化後の高域成分信号を、予め定めた期間において累積加算する累積加算手段と、
累積加算手段が出力する累積加算結果に基づいて、ブロックノイズの周期性を検知する周期検知手段と、
周期検知手段が検知した周期性信号から、ブロック境界を求めるブロック境界判定手段とを備える。
上記のように、第２の発明によれば、ブロックノイズの周期性を検知し、複数のブロックに領域分割される画像のブロック境界を正確に検出するこで、ブロックノイズの検出が可能となる。
【００１２】
第３の発明は、第２の発明に従属する発明であって、
ブロック境界判定手段は、ブロック境界の位置とそれ以外の位置とに２値化することを特徴とする。
上記のように、第３の発明は、第２の発明において、ブロック境界判定手段が行う典型的な処理手法を示したものである。これにより、簡単にブロック境界を与えることができる。
【００１３】
第４の発明は、第２および第３の発明に従属する発明であって、
映像信号を入力し、当該映像信号の予め定めた複数のフレーム間の信号差分を求めるフレーム差分手段と、
フレーム差分手段の出力する信号の差分値が、予め定めたしきい値を越えるか否かに従って、除去すべきブロックノイズが存在する領域（以下、ノイズ領域という）を判断する領域判断手段と、
ブロック境界判定手段が求めたブロック境界を、領域判断手段が判断したノイズ領域でマスク化し、当該ノイズ領域に対応するブロック境界を求めるブロックエッジ制御手段とをさらに備える。
上記のように、第４の発明によれば、第２および第３の発明よりも、さらに細かくブロックノイズを含んだ画像の動きの大きさとの相関によってブロック境界の分類が可能となる。この結果、映像シーンにあった、ブロックノイズの大きい部分のみをブロック境界として検出することができる。
【００１４】
第５の発明は、第４の発明に従属する発明であって、
フレーム差分手段は、現在フレームと直前フレームとの間の信号差分を求めることを特徴とする。
上記のように、第５の発明は、第４の発明において、フレーム差分手段が行う典型的な処理手法を示したものである。これにより、映像シーンにあった、ブロックノイズの大きい部分のみをブロック境界として検出することができる。
【００１５】
第６の発明は、第４および第５の発明に従属する発明であって、
領域判断手段は、しきい値を越える部分としきい値を越えない部分とに２値化することを特徴とする。
上記のように、第６の発明は、第４および第５の発明において、領域判断手段が行う典型的な処理手法を示したものである。これにより、簡単にノイズ領域を与えることができる。
【００１６】
第７の発明は、第４〜第６の発明に従属する発明であって、
領域判断手段が判断したノイズ領域のうち、予め定めた小領域内に分布するノイズ部分を除外する特異点除去手段をさらに備え、
ブロックエッジ制御手段は、ブロック境界判定手段が求めたブロック境界を、特異点除去手段が出力する除外後のノイズ領域でマスク化することを特徴とする。
上記のように、第７の発明によれば、第４〜第６の発明において、平滑化による除去効果が現れにくく画像をぼかしてしまう画像の細かい領域を除去する。これにより、フレーム差分処理の効果を高めることが可能となり高画質を得られ、同時にデータ量を削減することも可能となる。
【００１７】
第８の発明は、第２〜第７の発明に従属する発明であって、
信号抽出手段、絶対値化手段、累積加算手段および周期検知手段は、映像信号の水平方向または垂直方向のいずれか１方向、若しくは双方向に関してそれぞれ処理を行うことを特徴とする。
上記のように、第８の発明は、第２〜第７の発明において、映像信号の水平方向または垂直方向若しくは双方向のいずれに関して処理を行っても、ブロック境界の検出が可能なことを示したものである。
【００１８】
第９の発明は、第８の発明に従属する発明であって、
各処理を映像信号の垂直方向に関して行う場合、
周期検知手段は、入力する映像信号のフォーマットに応じて、検知に用いるフレームを逐次変更することを特徴とする。
上記のように、第９の発明によれば、第８の発明において、入力する映像信号のフォーマット（例えば、インタレース方式／プログレッシブ方式）に関わらず、ブロック画像の周期性を損なうことなく、ブロック境界の正確な検出が可能となる。
【００１９】
第１０の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出して除去する装置であって、
映像信号におけるブロックノイズのレベルを検出する手段と、
映像信号におけるブロック境界を検出する手段と、
ブロック境界において、検出したレベルが予め定めたしきい値以上であるブロックノイズのみを除去する手段とを備える。
上記のように、第１０の発明によれば、複数のブロックに領域分割される画像のブロック境界およびブロックノイズのレベルを正確に検出するこで、ブロックノイズの検出が可能となり、ブロック境界に存在するブロックノイズを除去することができる。
【００２０】
第１１の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出して除去する装置であって、
映像信号を入力し、当該映像信号から高域成分のみを抽出する信号抽出手段と、
信号抽出手段が出力する高域成分信号を絶対値化する絶対値化手段と、
絶対値化手段が出力する絶対値化後の高域成分信号を、予め定めた期間において累積加算する累積加算手段と、
累積加算手段が出力する累積加算結果に基づいて、ブロックノイズの周期性を検知する周期検知手段と、
周期検知手段が検知した周期性信号から、ブロック境界を求めるブロック境界判定手段と、
ブロック境界に対して、ブロックノイズを除去するブロックノイズ除去手段とを備える。
上記のように、第１１の発明によれば、ブロックノイズの周期性を検知し、複数のブロックに領域分割される画像のブロック境界を正確に検出するこで、ブロックノイズの検出が可能となり、ブロック境界に存在するブロックノイズを除去することができる。
【００２１】
第１２の発明は、第１１の発明に従属する発明であって、
ブロック境界判定手段は、ブロック境界の位置とそれ以外の位置とに２値化することを特徴とする。
上記のように、第１２の発明は、第１１の発明において、ブロック境界判定手段が行う典型的な処理手法を示したものである。これにより、簡単にブロック境界を与えることができる。
【００２２】
第１３の発明は、第１１および第１２の発明に従属する発明であって、
映像信号を入力し、当該映像信号の予め定めた複数のフレーム間の信号差分を求めるフレーム差分手段と、
フレーム差分手段の出力する信号の差分値が、予め定めたしきい値を越えるか否かに従って、ノイズ領域を判断する領域判断手段と、
ブロック境界判定手段が求めたブロック境界を、領域判断手段が判断したノイズ領域でマスク化し、当該ノイズ領域に対応するブロック境界を求めるブロックエッジ制御手段とをさらに備え、
ブロックノイズ除去手段は、ノイズ領域に対応するブロック境界に対して、ブロックノイズを除去する。
上記のように、第１３の発明によれば、第１１および第１２の発明よりも、さらに細かくブロックノイズを含んだ画像の動きの大きさとの相関によってブロック境界の分類が可能となる。この結果、映像シーンにあった、ブロックノイズの大きい部分のみをブロック境界として検出して除去することができる。
【００２３】
第１４の発明は、第１３の発明に従属する発明であって、
フレーム差分手段は、現在フレームと直前フレームとの間の信号差分を求めることを特徴とする。
上記のように、第１４の発明は、第１３の発明において、フレーム差分手段が行う典型的な処理手法を示したものである。これにより、映像シーンにあった、ブロックノイズの大きい部分のみをブロック境界として検出することができる。
【００２４】
第１５の発明は、第１３および第１４の発明に従属する発明であって、
領域判断手段は、しきい値を越える部分としきい値を越えない部分とに２値化することを特徴とする。
上記のように、第１５の発明は、第１３および第１４の発明において、領域判断手段が行う典型的な処理手法を示したものである。これにより、簡単にノイズ領域を与えることができる。
【００２５】
第１６の発明は、第１３〜第１５の発明に従属する発明であって、
領域判断手段が判断したノイズ領域のうち、予め定めた小領域内に分布するノイズ部分を除外する特異点除去手段をさらに備え、
ブロックエッジ制御手段は、ブロック境界判定手段が求めたブロック境界を、特異点除去手段が出力する除外後のノイズ領域でマスク化することを特徴とする。
上記のように、第１６の発明によれば、第１３〜第１５の発明において、平滑化による除去効果が現れにくく画像をぼかしてしまう画像の細かい領域を除去する。これにより、フレーム差分処理の効果を高めることが可能となり高画質を得られ、同時にデータ量を削減することも可能となる。
【００２６】
第１７の発明は、第１１〜第１６の発明に従属する発明であって、
信号抽出手段、絶対値化手段、累積加算手段および周期検知手段は、映像信号の水平方向または垂直方向のいずれか１方向、若しくは双方向に関してそれぞれ処理を行うことを特徴とする。
上記のように、第１７の発明は、第１１〜第１６の発明において、映像信号の水平方向または垂直方向若しくは双方向のいずれに関して処理を行っても、ブロック境界の検出が可能なことを示したものである。
【００２７】
第１８の発明は、第１７の発明に従属する発明であって、
入力する映像信号のフォーマットを識別する識別手段をさらに備え、
各処理を映像信号の垂直方向に関して行う場合、
識別手段は、フォーマットに応じて、周期検知手段が検知に用いるフレームを逐次変更させることを特徴とする。
上記のように、第１８の発明によれば、第１７の発明において、入力する映像信号のフォーマット（例えば、インタレース方式／プログレッシブ方式）に関わらず、ブロック画像の周期性を損なうことなく、ブロック境界の正確な検出が可能となる。
【００２８】
第１９の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出して除去する装置であって、
映像信号を入力し、当該映像信号に対する画面上における横方向のブロック境界およびブロックノイズ量を検出する垂直ブロック境界検出手段と、
映像信号を入力し、当該映像信号に対する画面上における縦方向のブロック境界およびブロックノイズ量を検出する水平ブロック境界検出手段と、
垂直ブロック境界検出手段および水平ブロック境界検出手段の検出結果から、縦横全方向のブロック境界を特定するブロックエリア検出手段と、
ブロックエリア検出手段が特定した縦横全方向のブロック境界に応じ、入力する映像信号に対して予め定めた平滑化処理を施すブロック境界平滑化手段とを備える。
上記のように、第１９の発明によれば、ブロック境界およびブロックノイズレベルを正確に検出することができる。これにより、ブロックノイズレベルに対応した適切な平滑化を行うことが可能となり、映像シーンに付随したブロックノイズをより効果的に除去することが可能となる。
【００２９】
第２０の発明は、第１９の発明に従属する発明であって、
垂直ブロック境界検出手段は、
映像信号の垂直高域成分のみを抽出する垂直ハイパスフィルタ（以下、ＨＰＦと記す）と、
垂直ＨＰＦが出力する高域成分信号を絶対値化する第１の絶対値化手段と、
第１の絶対値化手段が出力する絶対値化後の高域成分信号を、水平方向に累積加算する水平累積加算手段と、
水平累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出する第１のＨＰＦと、
第１のＨＰＦが出力する信号を、予め設定されたＮ点（Ｎは、正の整数）ごとにそれぞれ累積加算する第１のＮ点累積加算手段と、
第１のＨＰＦが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出する第１のテンポラルフィルタと、
第１のＮ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める第１の最大値検出手段と、
第１のテンポラルフィルタが検出したブロックノイズ量を、第１の最大値検出手段が出力する最大値の位置でマスク化し、当該位置に対応する垂直ブロック境界を求める第１のマスク化手段とを備え、
水平ブロック境界検出手段は、
映像信号の水平高域成分のみを抽出する水平ＨＰＦと、
水平ＨＰＦが出力する高域成分信号を絶対値化する第２の絶対値化手段と、
第２の絶対値化手段が出力する絶対値化後の高域成分信号を、垂直方向に累積加算する垂直累積加算手段と、
垂直累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出する第２のＨＰＦと、
第２のＨＰＦが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算する第２のＮ点累積加算手段と、
第２のＨＰＦが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出する第２のテンポラルフィルタと、
第２のＮ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める第２の最大値検出手段と、
第２のテンポラルフィルタが検出したブロックノイズ量を、第２の最大値検出手段が出力する最大値の位置でマスク化し、当該位置に対応する垂直ブロック境界を求める第２のマスク化手段とを備える。
上記のように、第２０の発明によれば、第１９の発明において、垂直ブロック境界検出手段および水平ブロック境界検出手段の典型的な構成を示したものである。これにより、時間方向の変動を抑制した変動の少ないブロックレベルを検出することが可能となると共に、ブロックノイズレベルに対応した適切な平滑化を行うことが可能となり、映像シーンに付随したブロックノイズをより効果的に除去することが可能となる。
【００３０】
第２１の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施された映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出して除去する装置であって、
アナログの映像信号を入力し、デジタルに変換するＡＤ変換手段と、
符号化されたデジタルの映像信号を入力し、復号化処理を施すと共に、当該復号化処理したブロック境界情報を出力するデジタル復号化手段と、
ＡＤ変換手段が出力する映像信号とデジタル復号化手段が出力する映像信号とを入力し、外部からの指示に従って、いずれか一方の当該映像信号を選択的に出力するセレクタと、
セレクタが選択した映像信号を入力し、当該映像信号に対する画面上における横方向のブロック境界およびブロックノイズ量を検出する垂直ブロック境界検出手段と、
セレクタが選択した映像信号を入力し、当該映像信号に対する画面上における縦方向のブロック境界およびブロックノイズ量を検出する水平ブロック境界検出手段と、
垂直ブロック境界検出手段および水平ブロック境界検出手段の検出結果から、縦横全方向のブロック境界を特定するブロックエリア検出手段と、
ブロックエリア検出手段が特定した縦横全方向のブロック境界に応じ、入力する映像信号に対して予め定めた平滑化処理を施すブロック境界平滑化手段とを備え、
垂直ブロック境界検出手段および水平ブロック境界検出手段は、セレクタがＡＤ変換手段の出力する映像信号を選択した場合、各々の検出結果に基づいたブロック境界を、セレクタがデジタル復号化手段の出力する映像信号を選択した場合、デジタル復号化手段が出力するブロック境界情報に従ったブロック境界を、ブロックエリア検出手段へ出力することを特徴とする。
上記のように、第２１の発明によれば、入力する映像信号に対応したブロック境界およびブロックノイズレベルを正確に検出することができる。これにより、ブロックノイズレベルに対応した適切な平滑化を行うことがさらに可能となり、入力する様々な映像シーンに付随したブロックノイズをより効果的に除去することが可能となる。
【００３１】
第２２の発明は、第２１の発明に従属する発明であって、
垂直ブロック境界検出手段は、
映像信号の垂直高域成分のみを抽出する垂直ＨＰＦと、
垂直ＨＰＦが出力する高域成分信号を絶対値化する第１の絶対値化手段と、
第１の絶対値化手段が出力する絶対値化後の高域成分信号を、水平方向に累積加算する水平累積加算手段と、
水平累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出する第１のＨＰＦと、
第１のＨＰＦが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算する第１のＮ点累積加算手段と、
第１のＨＰＦが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出する第１のテンポラルフィルタと、
第１のＮ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める第１の最大値検出手段と、
セレクタの選択に同期し、デジタル復号化手段が出力するブロック境界情報と、第１の最大値検出手段が出力する最大値の位置とのいずれか一方を選択的に出力する第１のセレクタと、
第１のテンポラルフィルタが検出したブロックノイズ量を、第１のセレクタが出力するブロック境界でマスク化し、当該位置に対応する垂直ブロック境界を求める第１のマスク化手段とを備え、
水平ブロック境界検出手段は、
映像信号の水平高域成分のみを抽出する水平ＨＰＦと、
水平ＨＰＦが出力する高域成分信号を絶対値化する第２の絶対値化手段と、
第２の絶対値化手段が出力する絶対値化後の高域成分信号を、垂直方向に累積加算する垂直累積加算手段と、
垂直累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出する第２のＨＰＦと、
第２のＨＰＦが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算する第２のＮ点累積加算手段と、
第２のＨＰＦが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出する第２のテンポラルフィルタと、
第２のＮ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める第２の最大値検出手段と、
セレクタの選択に同期し、デジタル復号化手段が出力するブロック境界情報と、第２の最大値検出手段が出力する最大値の位置とのいずれか一方を選択的に出力する第２のセレクタと、
第２のテンポラルフィルタが検出したブロックノイズ量を、第２のセレクタが出力するブロック境界でマスク化し、当該位置に対応する垂直ブロック境界を求める第２のマスク化手段とを備える。
上記のように、第２２の発明によれば、第２１の発明において、垂直ブロック境界検出手段および水平ブロック境界検出手段の典型的な構成を示したものである。これにより、時間方向の変動を抑制した変動の少ないブロックレベルを検出することが可能となると共に、ブロックノイズレベルに対応した適切な平滑化を行うことが可能となり、入力する様々な映像シーンに付随したブロックノイズをより効果的に除去することが可能となる。
【００３２】
第２３の発明は、第２０および第２２の発明に従属する発明であって、
ブロック境界平滑化手段は、
映像信号の水平高域成分のみを抽出する水平ＨＰＦと、
水平ＨＰＦの出力と水平ブロック境界検出手段の出力とを乗算する第１の乗算手段と、
映像信号から第１の乗算手段の出力を減算する第１の減算手段と、
映像信号の垂直高域成分のみを抽出する垂直ＨＰＦと、
垂直ＨＰＦの出力と垂直ブロック境界検出手段の出力とを乗算する第２の乗算手段と、
映像信号から第２の乗算手段の出力を減算する第２の減算手段とを備え、
ブロックノイズ量に応じてブロックノイズを除去することを特徴とする。
上記のように、第２３の発明によれば、第２０および第２２の発明において、ブロック境界平滑化手段の典型的な構成を示したものである。これにより、入力する映像信号を劣化させることなく、ブロックノイズを効果的に除去することが可能となる。
【００３３】
第２４の発明は、第１９〜第２３の発明に従属する発明であって、
水平ブロック境界検出手段および垂直ブロック境界検出手段が検出するブロックノイズ量に応じ、映像信号の輪郭部分を強調する輪郭補正量を制御する輪郭補正手段をさらに備える。
上記のように、第２４の発明によれば、第１９〜第２３の発明において、ブロックノイズレベルに対応した適切な輪郭補正を行うことが可能となり、ブロックノイズを強調しない映像信号の輪郭補正を行うことが可能となる。
【００３４】
第２５の発明は、第１９〜第２４の発明に従属する発明であって、
水平ブロック境界検出手段および垂直ブロック境界検出手段が検出するブロックノイズ量に基づいて、入力する映像信号の判別（種類や品位等）を行う制御手段をさらに備え、
制御手段が、判別の結果を予め定めた形態で画面上にオンスクリーンディスプレイ表示することを特徴とする。
上記のように、第２５の発明によれば、第１９〜第２４の発明において、情報をオンスクリーンディスプレイ（ＯＳＤ）表示することで、映像ソースやブロックノイズ除去効果を、一目で認識することが可能となる。
【００３５】
第２６の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じる垂直方向のブロックノイズを検出する装置であって、
映像信号を入力し、当該映像信号の垂直高域成分のみを抽出する垂直ＨＰＦと、
垂直ＨＰＦが出力する高域成分信号を絶対値化する絶対値化手段と、
絶対値化手段が出力する絶対値化後の高域成分信号を、水平方向に累積加算する水平累積加算手段と、
水平累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出するＨＰＦと、
ＨＰＦが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するＮ点累積加算手段と、
ＨＰＦが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するテンポラルフィルタと、
Ｎ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める最大値検出手段と、
テンポラルフィルタが検出したブロックノイズ量を、最大値検出手段が出力する最大値の位置でマスク化し、当該位置に対応する垂直ブロック境界を求めるマスク化手段とを備える。
上記のように、第２６の発明は、垂直方向のブロック境界を検出する装置を独立に構成したものである。
【００３６】
第２７の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じる水平方向のブロックノイズを検出する装置であって、
映像信号を入力し、当該映像信号の垂直高域成分のみを抽出する水平ＨＰＦと、
水平ＨＰＦが出力する高域成分信号を絶対値化する絶対値化手段と、
絶対値化手段が出力する絶対値化後の高域成分信号を、垂直方向に累積加算する垂直累積加算手段と、
垂直累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出するＨＰＦと、
ＨＰＦが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するＮ点累積加算手段と、
ＨＰＦが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するテンポラルフィルタと、
Ｎ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める最大値検出手段と、
テンポラルフィルタが検出したブロックノイズ量を、最大値検出手段が出力する最大値の位置でマスク化し、当該位置に対応する水平ブロック境界を求めるマスク化手段とを備える。
上記のように、第２７の発明は、水平方向のブロック境界を検出する装置を独立に構成したものである。
【００３７】
第２８の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号を処理する映像処理システムにおいて、再生するドットクロックの制御を行う装置であって、
水平同期パルスに基づいて、映像処理システムで用いるドットクロックを生成するクロック発生手段と、
映像信号を入力し、当該映像信号に対する画面上における縦方向のブロック境界を検出する水平ブロック境界検出手段と、
水平ブロック境界検出手段が検出するブロック境界が、周期的に単一の最大点（ピーク）を有するように、クロック発生手段の遅延量を可変する制御手段とを備える。
上記のように、第２８の発明によれば、入力する映像信号に対応した水平ブロック境界を検出し、この位置に基づいてドットクロックの再生を行う。これにより、本来の映像信号のドットクロックと位相が一致したクロックを、正確に再生することが可能となる。
【００３８】
第２９の発明は、第２８の発明に従属する発明であって、
水平ブロック境界検出手段は、
映像信号を入力し、当該映像信号の垂直高域成分のみを抽出する水平ＨＰＦと、
水平ＨＰＦが出力する高域成分信号を絶対値化する絶対値化手段と、
絶対値化手段が出力する絶対値化後の高域成分信号を、垂直方向に累積加算する垂直累積加算手段と、
垂直累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出するＨＰＦと、
ＨＰＦが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するＮ点累積加算手段とを備える。
上記のように、第２９の発明によれば、第２８の発明において、水平ブロック境界検出手段の典型的な構成を示したものである。これにより、本来の映像信号のドットクロックと位相が一致したクロックを、正確に再生することが可能となる。
【００３９】
第３０の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出する方法を、コンピュータ装置上で実行するためのプログラムを記録した媒体であって、
映像信号に対し、当該映像信号から高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を、予め定めた期間において累積加算するステップと、
累積加算の結果に基づいて、ブロックノイズの周期性を検知するステップと、
検知した周期性の信号から、ブロック境界を求めるステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００４０】
第３１の発明は、第３０の発明に従属する発明であって、
ブロック境界に対して、ブロックノイズを除去するステップをさらに含む。
【００４１】
第３２の発明は、第３０および第３１の発明に従属する発明であって、
ブロック境界を求めるステップは、ブロック境界の位置とそれ以外の位置とに２値化することを特徴とする。
【００４２】
第３３の発明は、第３０〜第３２の発明に従属する発明であって、
映像信号に対し、当該映像信号の予め定めた複数のフレーム間の信号差分を求めるステップと、
信号差分の値が、予め定めたしきい値を越えるか否かに従って、ノイズ領域を判断するステップと、
ブロック境界をノイズ領域でマスク化し、当該ノイズ領域に対応するブロック境界を求めるステップとをさらに含む。
【００４３】
第３４の発明は、第３３の発明に従属する発明であって、
信号差分を求めるステップは、現在フレームと直前フレームとの間の信号差分を求めることを特徴とする。
【００４４】
第３５の発明は、第３３および第３４の発明に従属する発明であって、
ノイズ領域を判断するステップは、しきい値を越える部分としきい値を越えない部分とに２値化することを特徴とする。
【００４５】
第３６の発明は、第３３〜第３５の発明に従属する発明であって、
ノイズ領域のうち、予め定めた小領域内に分布するノイズ部分を除外するステップをさらに含み、
ノイズ領域に対応するブロック境界を求めるステップは、ブロック境界を、除外後のノイズ領域でマスク化することを特徴とする。
【００４６】
第３７の発明は、第３０〜第３６の発明に従属する発明であって、
各ステップを、映像信号の水平方向または垂直方向のいずれか１方向、若しくは双方向に関して行うことを特徴とする。
【００４７】
第３８の発明は、第３７の発明に従属する発明であって、
各処理を映像信号の垂直方向に関して行う場合、
周期性を検知するステップは、入力する映像信号のフォーマットに応じて、検知に用いるフレームを逐次変更することを特徴とする。
【００４８】
第３９の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出する方法を、コンピュータ装置上で実行するためのプログラムを記録した媒体であって、
映像信号に対し、当該映像信号に対する画面上における横方向のブロック境界およびブロックノイズ量を検出するステップと、
映像信号に対し、当該映像信号に対する画面上における縦方向のブロック境界およびブロックノイズ量を検出するステップと、
横方向を検出するステップおよび縦方向を検出するステップの検出結果から、縦横全方向のブロック境界を特定するステップと、
縦横全方向のブロック境界に応じ、映像信号に対して予め定めた平滑化を行うステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００４９】
第４０の発明は、第３９の発明に従属する発明であって、
横方向を検出するステップは、
映像信号の垂直高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を水平方向に累積加算するステップと、
累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するステップと、
さらに高域成分を抽出するステップが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するステップと、
累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求めるステップと、
検出したブロックノイズ量を最大値の位置でマスク化し、当該位置に対応する垂直ブロック境界を求めるステップとを含み、
縦方向を検出するステップは、
映像信号の水平高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を垂直方向に累積加算するステップと、
累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するステップと、
さらに高域成分を抽出するステップが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するステップと、
累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求めるステップと、
検出したブロックノイズ量を最大値の位置でマスク化し、当該位置に対応する垂直ブロック境界を求めるステップとを含む。
【００５０】
第４１の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施された映像信号から、当該映像信号の復号化処理に伴って生じるブロックノイズを検出する方法を、コンピュータ装置上で実行するためのプログラムを記録した媒体であって、
アナログの映像信号をデジタルに変換するステップと、
符号化されたデジタルの映像信号を復号化するステップと、
復号化したブロック境界情報を出力するステップと、
外部からの指示に従って、変換するステップが出力する映像信号または復号化するステップが出力する映像信号のいずれか一方の当該映像信号を選択するステップと、
選択するステップが出力した映像信号に対し、画面上における横方向のブロック境界およびブロックノイズ量を検出するステップと、
選択するステップが出力した映像信号に対し、画面上における縦方向のブロック境界およびブロックノイズ量を検出するステップと、
横方向を検出するステップおよび縦方向を検出するステップの検出結果から、縦横全方向のブロック境界を特定するステップと、
縦横全方向のブロック境界に応じ、映像信号に対して予め定めた平滑化処理を施すステップとをさらに含み、
横方向を検出するステップおよび縦方向を検出するステップは、変換するステップが出力する映像信号の場合、各々の検出結果に基づいたブロック境界を、復号化するステップが出力する映像信号の場合、復号化したブロック境界情報に従ったブロック境界を出力することを特徴とする動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００５１】
第４２の発明は、第４１の発明に従属する発明であって、
横方向を検出するステップは、
映像信号の垂直高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を水平方向に累積加算するステップと、
累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するステップと、
さらに高域成分を抽出するステップが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するステップと、
累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求めるステップと、
選択するステップに同期し、ブロック境界情報と最大値の位置とのいずれか一方を選択的に出力するステップと、
ブロックノイズ量を、選択的に出力するステップが出力するブロック境界でマスク化し、当該位置に対応する垂直ブロック境界を求めるステップとを含み、
縦方向を検出するステップは、
映像信号の水平高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を垂直方向に累積加算するステップと、
累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するステップと、
さらに高域成分を抽出するステップが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するステップと、
累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求めるステップと、
選択するステップに同期し、ブロック境界情報と最大値の位置とのいずれか一方を選択的に出力するステップと、
ブロックノイズ量を、選択的に出力するステップが出力するブロック境界でマスク化し、当該位置に対応する水平ブロック境界を求めるステップとを含む。
【００５２】
第４３の発明は、第４０および第４２の発明に従属する発明であって、
平滑化を行うステップは、
映像信号の水平高域成分のみを抽出する水平ステップと、
水平ステップの出力と縦検出ステップの出力とを乗算する水平乗算ステップと、
映像信号から水平乗算ステップの出力を減算するステップと、
映像信号の垂直高域成分のみを抽出する垂直ステップと、
垂直ステップの出力と横検出ステップの出力とを乗算する垂直乗算ステップと、
映像信号から垂直乗算ステップの出力を減算するステップとをさらに含み、
ブロックノイズ量に応じてブロックノイズを除去することを特徴とする。
【００５３】
第４４の発明は、第３９〜第４３の発明に従属する発明であって、
縦方向を検出するステップおよび横方向を検出するステップが検出するブロックノイズ量に応じ、映像信号の輪郭部分を強調する輪郭補正量を制御するステップをさらに含む。
【００５４】
第４５の発明は、第３９〜第４４の発明に従属する発明であって、
縦方向を検出するステップおよび横方向を検出するステップが検出するブロックノイズ量に基づいて、入力する映像信号の判別を行うステップをさらに含み、判別を行うステップが、判別の結果を予め定めた形態で画面上にオンスクリーンディスプレイ表示することを特徴とする。
【００５５】
第４６の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じる垂直または水平方向のブロックノイズを検出する方法を、コンピュータ装置上で実行するためのプログラムを記録した媒体であって、
映像信号の垂直または水平高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を水平または垂直方向に累積加算するステップと、
累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するステップと、
さらに高域成分を抽出するステップが出力する信号を、時間方向に演算して映像信号のブロックノイズ量を検出するステップと、
累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求めるステップと、
検出したブロックノイズ量を最大値の位置でマスク化し、当該位置に対応する垂直または水平ブロック境界を求めるステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００５６】
第４７の発明は、予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号を処理する映像処理システムにおいて、再生するドットクロックの制御を行う方法を、コンピュータ装置上で実行するためのプログラムを記録した媒体であって、
映像信号を入力し、当該映像信号に対する画面上における縦方向のブロック境界を検出するステップと、
水平同期パルスに基づいて、映像処理システムで用いるドットクロックを生成するクロック発生装置に対し、ステップが検出するブロック境界が、周期的に単一の最大点を有するようにクロック遅延量を可変するステップとを含む動作環境を、コンピュータ装置上で実現するためのプログラムを記録している。
【００５７】
第４８の発明は、第４７の発明に従属する発明であって、
検出するステップは、
映像信号の水平高域成分のみを抽出するステップと、
抽出した高域成分信号を絶対値化するステップと、
絶対値化後の高域成分信号を垂直方向に累積加算するステップと、
累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点ごとにそれぞれ累積加算するステップとをさらに含む。
【００５８】
上記のように、第３０〜第４８の発明は、第１〜第２９の発明の各装置が実現する各機能を実行するためのコンピュータプログラムを記録した記録媒体である。これは、既存の装置に対し、第１〜第２９の発明を、ソフトウエアの形態で供給することに対応させたものである。
【００５９】
【発明の実施の形態】
以下、本発明におけるブロックノイズ検出装置およびブロックノイズ除去装置を、各機能ブロックごとに順に説明する。
【００６０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るブロックノイズ検出装置の構成を示すブロック図である。図１において、第１の実施形態に係るブロックノイズ検出装置１０は、垂直ハイパスフィルタ（以下、垂直ＨＰＦと記す）１１と、水平ハイパスフィルタ（以下、水平ＨＰＦと記す）１２と、絶対値化部１３および１４と、水平累積加算部１５と、垂直累積加算部１６と、垂直ピーク検出部１７と、水平ピーク検出部１８と、２値化部１９とを備える。
【００６１】
図２は、図１の垂直ＨＰＦ１１、水平ＨＰＦ１２、絶対値化部１３，１４、水平累積加算部１５および垂直累積加算部１６における動作を説明する図である。図３は、図１の水平ピーク検出部１８（および、垂直ピーク検出部１７）が行う動作の一例を説明する図である。なお、図３（ａ）は、垂直累積加算部１６が出力する水平１次元信号１１５を、図３（ｂ）は、水平ピーク検出部１８が出力する水平ピーク位置１２２を表している。
図４は、図１の２値化部１９が行う動作を説明する図である。なお、図４（ａ）は、水平ピーク位置１２２および水平２値画像１２４を、図４（ｂ）は、垂直ピーク位置１２３および垂直２値画像１２５を、図４（ｃ）は、２値化部１９が出力するブロック境界画像１０３を表している。
以下、図１〜図４を参照して、本発明の第１の実施形態に係るブロックノイズ検出装置１０が行う動作を順に説明する。
【００６２】
映像信号は、一般に、水平／垂直／時間の３次元で構成された動画像データを１次元に配置した信号である。本発明における映像信号１０１は、上記映像信号に基づいて得られる、１フレーム時間単位の水平方向／垂直方向に関する２次元映像信号である１フレーム画像１１２であり、一定レートで送られる信号である。この１フレーム画像１１２は、図２に示すように、各ブロック画像１１３が水平・垂直方向に一様に配置されて構成されており、双方向にそれぞれブロックノイズ１１４を含んでいる。また、ブロックノイズ１１４は、図２に示すように水平および垂直方向に対して周期的に出現する。この映像信号１０１は、垂直ＨＰＦ１１および水平ＨＰＦ１２にそれぞれ入力される。
【００６３】
垂直ＨＰＦ１１は、映像信号１０１を入力し、垂直方向に関して高域成分のみを抽出する。絶対値化部１３は、垂直ＨＰＦ１１が出力する信号を入力し、絶対値を取って正の値に変換する。水平累積加算部１５は、絶対値化部１３が出力する信号を入力し、累積加算して垂直周期的にピーク値を持った垂直１次元信号１１６を出力する。一方、水平ＨＰＦ１２は、映像信号１０１を入力し、水平方向に関して高域成分のみを抽出する。絶対値化部１４は、水平ＨＰＦ１２が出力する信号を入力し、絶対値を取って正の値に変換する。垂直累積加算部１６は、絶対値化部１４が出力する信号を入力し、累積加算して水平周期的にピーク値を持った水平１次元信号１１５を出力する。
【００６４】
水平ピーク検出部１８は、垂直累積加算部１６が出力する水平１次元信号１１５に基づいて、水平ピーク位置を検出する。この水平ピーク検出部１８が行う水平ピーク位置検出動作の一例を、図３を用いて説明する。
まず、水平ピーク検出部１８は、水平１次元信号１１５からブロック境界が３箇所含まれる任意の画素範囲（例えば、ブロックサイズが８の場合は、３０画素程度）の検出領域１１９を選択する（図３（ａ））。次に、水平ピーク検出部１８は、選択した検出領域１１９内の累積加算レベルの大きい上位３つのデータをピーク位置として検出する。この検出したピーク位置の差が、水平方向のブロックサイズとなる。以下、水平ピーク検出部１８は、水平方向のブロックサイズ間隔で検出領域１１９を水平方向に対して左右に移動してそれぞれのピーク位置を検出し、図３（ｂ）に示すような水平ピーク位置１２２を求める。
【００６５】
垂直ピーク検出部１７は、水平累積加算部１５が出力する垂直１次元信号１１６に基づいて、垂直ピーク位置を検出する。なお、この垂直ピーク検出部１７が行う垂直ピーク位置検出動作は、上述した水平ピーク検出部１８が行う水平ピーク位置検出動作と同様であり、その説明を省略する。垂直ピーク検出部１７は、図４（ｂ）に示すような垂直ピーク位置１２３を求める。
【００６６】
ところで、映像信号１０１のフォーマットがインタレース方式である場合、水平累積加算部１５が出力する垂直１次元信号１１６のピーク位置が、偶数フィールドと奇数フィールドとで異なる場合が発生する。この場合、偶数フィールドと奇数フィールドとを区別せずに、垂直ピーク検出部１７が上述したピーク位置検出を行うと、正確な垂直ピーク位置１２３を求めることができない。そのため、垂直ピーク検出部１７は、外部から映像信号１０１に関するフォーマット識別信号１０２を入力し、フォーマットがインタレース方式であると判断した場合には、偶数フィールドおよび奇数フィールドの各々に関し、個別にピーク位置検出を行って各フィールドに対する垂直ピーク位置１２３をそれぞれ求める。
【００６７】
２値化部１９は、水平ピーク検出部１８が出力する水平ピーク位置１２２と、垂直ピーク検出部１７が出力する垂直ピーク位置１２３とを入力する。２値化部１９は、水平ピーク位置１２２に従ってピークが存在する画素位置に論理値「１」を、それ以外の画素位置に論理値「０」を与え、１フレーム画像１１２と同一サイズの水平２値画像１２４を生成する（図４（ａ））。また、２値化部１９は、垂直ピーク位置１２３に従ってピークが存在する画素位置に論理値「１」を、それ以外の画素位置に論理値「０」を与え、１フレーム画像１１２と同一サイズの垂直２値画像１２５を生成する（図４（ｂ））。そして、２値化部１９は、水平２値画像１２４と垂直２値画像１２５との論理和をとって、ブロック境界画像１０３を求める（図４（ｃ））。
このブロック境界画像１０３で論理値「１」の部分がブロック境界部分であり、すなわち、ブロックノイズ１１４が発生する箇所である。
【００６８】
以上のように、本発明の第１の実施形態に係るブロックノイズ検出装置１０によれば、複数のブロックに領域分割される画像のブロック境界（ブロック境界画像１０３）を正確に検出することができる。また、インタレース方式のフォーマットの映像信号１０１に対しても、ブロック画像１１３の周期性を損なうことなく、ブロックノイズ１１４の正確な検出が可能となる。
【００６９】
（第２の実施形態）
図５は、本発明の第２の実施形態に係るブロックノイズ検出装置の構成を示すブロック図である。図５において、第２の実施形態に係るブロックノイズ検出装置２０は、垂直ＨＰＦ１１と、水平ＨＰＦ１２と、絶対値化部１３および１４と、水平累積加算部１５と、垂直累積加算部１６と、垂直ピーク検出部１７と、水平ピーク検出部１８と、２値化部１９と、フレーム差分部２１と、フレームメモリ２２と、２値化部２３と、特異点除去部２４と、ブロックエッジ制御部（以下、ＢＥ制御部と記す）２５とを備える。
なお、第２の実施形態に係るブロックノイズ検出装置２０における垂直ＨＰＦ１１，水平ＨＰＦ１２，絶対値化部１３および１４，水平累積加算部１５，垂直累積加算部１６，垂直ピーク検出部１７，水平ピーク検出部１８，２値化部１９の構成は、上記第１の実施形態に係るブロックノイズ検出装置１０の構成と同様であり、当該構成については同一の参照番号を付して説明を省略する。
【００７０】
図６は、図５の特異点除去部２４が行う動作の一例を説明する図である。なお、図６（ａ）は、２値化部２３が出力する特異点除去処理を行う前の画像２３３を、図６（ｂ）は、特異点除去部２４が出力する特異点除去処理を行った後の画像２３４を表している。
図７は、図５のＢＥ制御部２５が行う動作の一例を説明する図である。なお、図８（ａ）は、２値化部１９が出力するブロック境界画像１０３を、図８（ｂ）は、特異点除去部２４が出力する特異点除去後の画像２３４を、図８（ｃ）は、ＢＥ制御を行った後の画像２３５を表している。
以下、図５〜図７を参照して、本発明の第２の実施形態に係るブロックノイズ検出装置２０が行う動作を順に説明する。
【００７１】
映像信号１０１は、フレーム差分部２１に入力される。まず、フレーム差分部２１は、入力される映像信号１０１に対し、フレームメモリ２２に記憶した１フレーム前の映像信号１０１との信号レベル差を、差分値として算出する。なお、フレーム差分部２１は、初期状態においては（ブロックノイズ検出装置２０の起動後等のフレームメモリ２２に何も記憶していない状態）、フレームメモリ２２への記憶だけを行う。次に、フレーム差分部２１は、算出した差分値が予め定めたしきい値以上であるか否かを判断し、しきい値以上の差分値のみを２値化部２３へ出力する。従って、このフレーム差分部２１の処理により、映像信号１０１の中で動きの多いシーン部分のみが出力されることとなる。なお、上記しきい値のレベルは、所望する画像品質に基づいて、任意に設定することができる。
そして、２値化部２３への差分値の出力が終わると、フレーム差分部２１は、現在フレームの映像信号１０１をフレームメモリ２２に記憶する。以後、フレーム差分部２１は、次のフレームが入力されるごとに、上述した処理を繰り返す。
【００７２】
２値化部２３は、フレーム差分部２１が出力する差分値を入力する。そして、２値化部２３は、１フレーム画像１１２の中で差分値が存在する画素位置（特異点）を論理値「１」に、差分値が存在しない画素位置を論理値「０」に、２値化する。これにより、図６（ａ）に示す特異点除去前の画像２３３が得られる。なお、図６（ａ）中、網掛け部分が論理値「１」の画素位置にあたる。
【００７３】
特異点除去部２４は、２値化部２３から特異点除去前の画像２３３（図６（ａ））を、２値化部１９からブロックサイズを入力する。そして、特異点除去部２４は、特異点除去前の画像２３３の内、１ブロックサイズ（図６中、波線で示す領域）以下の細かい領域に分布する論理値「１」のデータを除去する。これにより、図６（ｂ）に示す特異点除去後の画像２３４が得られる。
このような特異点データの除去を行うのは、次の理由による。特異点除去前の画像２３３の細かい領域は、後段の処理で行うノイズ除去を行っても除去効果が現れにくく、逆にノイズ除去によってデータを平滑化してしまい、画像をぼかしてしまう。従って、これらの細かい領域を特異点として除去する方が、より高画質を得られるからである。
この特異点除去部２４により、フレーム差分処理の効果を高めることが可能となり、同時にデータ量を削減することも可能となる。
【００７４】
ＢＥ制御部２５は、２値化部１９が出力するブロック境界画像１０３（図７（ａ））と、特異点除去部２４が出力する特異点除去後の画像２３４（図７（ｂ））とを入力する。そして、ＢＥ制御部２５は、各画素ごとに、ブロック境界画像１０３と特異点除去後の画像２３４との論理積をとる。こうして得た画像が、図７（ｃ）のＢＥ制御画像２３５であり、このＢＥ制御画像２３５内の各画素値がブロックエッジ信号（以下、ＢＥ信号と記す）２０３である。従って、ＢＥ信号２０３は、ブロック境界であって、かつ、ブロックノイズレベルの高いという情報を含んだ信号となる。
【００７５】
以上のように、本発明の第２の実施形態に係るブロックノイズ検出装置２０によれば、上記第１の実施形態に係るブロックノイズ検出装置１０よりも、さらに細かくブロックノイズを含んだ画像の動きの大きさとの相関によってブロック境界（ブロック境界画像１０３）の分類が可能となる。この結果、映像シーンにあった、ブロックノイズの大きい部分のみをブロック境界として検出することができる。
【００７６】
（第３の実施形態）
図８は、本発明の第３の実施形態に係るブロックノイズ除去装置の構成を示すブロック図である。図８において、第３の実施形態に係るブロックノイズ除去装置３０は、フォーマット識別回路３１と、ブロックノイズ検出装置２０と、ブロックノイズ除去回路３２とを備える。
なお、第３の実施形態に係るブロックノイズ除去装置３０におけるブロックノイズ検出装置２０の構成は、上記第２の実施形態に係るブロックノイズ検出装置２０の構成と同様であり、当該構成については同一の参照番号を付して説明を省略する。
【００７７】
図９は、図８のフォーマット識別回路３１の構成の一例を示すブロック図である。図９において、フォーマット識別回路３１は、倍速Ｈパルス生成部３１１と、ビットカウンタ３１２とを備える。
図１０は、図８のブロックノイズ除去回路３２の構成の一例を示すブロック図である。図１０において、ブロックノイズ除去回路３２は、平滑化処理部３２１と、セレクタ３２２とを備える。
図１１は、図８のブロックノイズ除去回路３２が行う平滑化処理の一例を説明する図である。なお、図１１（ａ）は、平滑化処理（ブロックノイズ除去）前、図１１（ｂ）は、平滑化処理後の状態を表している。
以下、図８〜図１１を参照して、本発明の第３の実施形態に係るブロックノイズ除去装置３０が行う動作を順に説明する。
【００７８】
ブロックノイズ検出装置２０は、入力する映像信号１０１から上述したようにＢＥ信号２０３を出力する。ここで、ブロックノイズ検出装置２０に入力される映像信号１０１としては、輝度信号（Ｙ信号）が最も好ましい。このＹ信号は、例えば、赤，緑，青（ＲＧＢ）で構成されたデコード映像信号を、マトリクス回路を用いて輝度・色差で構成されたＹＵＶ信号に変換し、そのうちＹ信号のみを抽出すれば得ることができる（周知の技術である）。
【００７９】
図９を参照して、フォーマット識別回路３１は、テレビ信号の内、水平方向の同期パルス（以下、Ｈパルスと記す）３０１と、垂直方向の同期パルス（以下、Ｖパルスと記す）３０２とを入力する。倍速Ｈパルス生成部３１１は、Ｈパルス３０１を入力し、Ｈパルス３０１の２倍の周波数を持つ倍速Ｈパルスを生成する。ビットカウンタ３１２は、倍速Ｈパルス生成部３１１が出力する倍速ＨパルスとＶパルス３０２とを入力し、Ｖパルス３０２をリセット信号に用いて、倍速Ｈパルスの発生回数をカウントする。すなわち、ビットカウンタ３１２は、Ｖパルス３０２が発生する周期（Ｖ期間）で倍速Ｈパルスをカウントする。そして、ビットカウンタ３１２は、Ｖ期間ごとにカウントした値の最下位ビットを、フォーマット識別信号１０２としてブロックノイズ検出装置２０へ出力する。
【００８０】
このようにして、フォーマット識別信号１０２を生成することができるのは、以下の理由による。
本来、インタレース方式では、Ｖ期間中のライン数が２６２．５本存在する。このため、インタレース方式の場合、ビットカウンタ３１２は、倍速Ｈパルスを用いて２倍の５２５回のカウントを行うことになる。一方、プログレッシブ方式では、Ｖ期間中のライン数が２６２本あるいは２６３本存在する。このため、プログレッシブ方式の場合、ビットカウンタ３１２は、倍速Ｈパルスを用いて２倍の５２４回あるいは５２６回のカウントを行うことになる。従って、ビットカウンタ３１２がＶ期間ごとにカウントした値の最下位ビットの偶奇判定を行うことで、奇数（すなわち「５」）だとインタレース方式と、偶数（すなわち「４」か「６」）だとプログレッシブ方式と識別できるのである。
なお、具体的には、ビットカウンタ３１２が出力するフォーマット識別信号１０２は、論理値「１」（インタレース方式）および論理値「０」（プログレッシブ方式）を示すバイナリ信号で出力される。
【００８１】
図１０を参照して、ブロックノイズ除去回路３２は、映像信号１０１と、ブロックノイズ検出装置２０が出力するＢＥ信号２０３とを入力する。平滑化処理部３２１は、映像信号１０１を入力し、信号の平滑化を行う。セレクタ３２２は、平滑化処理部３２１が出力する平滑化処理後の映像信号と、入力されるそのままの映像信号１０１と、ＢＥ信号２０３とを入力する。そして、セレクタ３２２は、ＢＥ信号２０３が（ブロックノイズが存在する）論理値「１」である画素については、平滑化処理した信号を選択し、ＢＥ信号２０３が（ブロックノイズが存在しない）論理値「０」である画素については、平滑化しない映像信号１０１そのものを選択して出力する。このように、本発明のブロックノイズ除去回路３２は、ＢＥ信号２０３を用いて、ブロックノイズを軽減すると同時に映像信号のエッジをもぼけさせてしまう平滑化処理を、ブロックノイズが存在するブロック境界だけで行う。
このセレクタ３２２が選択して出力した信号は、ブロックノイズ除去信号３０３として出力される。
【００８２】
図１１に、平滑化処理部３２１が行う平滑化の一例を示す。なお、図１１においては、タップ数が「３」で、重みがそれぞれ１／３，１／３，１／３のローパスフィルタ（以下、ＬＰＦと記す）での平滑化を示している。
図１１（ａ）において、ＢＥ信号の論理値「１」であるブロック境界を平滑化する場合には、隣接するブロックＡの右端の画素ａとブロックＢの左端の画素ｂの２画素が抽出され、平滑化される。この結果、図１１（ｂ）に示すように、ブロック境界部分での画素の格差をなくすことが可能となる。なお、平滑化の効果を強く出す場合、平滑化処理部３２１において抽出する画素を２画素以上に設定したり、ＬＰＦのタップ数を多くすると平滑化の効果が向上する。
【００８３】
なお、セレクタ３２２が出力するブロックノイズ除去信号３０３がＹ信号である場合は、上述したマトリクス回路で変換したＵＶ信号とともに、逆マトリクス回路を用いてＲＧＢ信号に戻すことで、ブロックノイズを除去した出力映像信号を得ることができる（周知の技術である）。
【００８４】
以上のように、本発明の第３の実施形態に係るブロックノイズ除去装置３０によれば、上記第２の実施形態で検出したＢＥ信号２０３をブロックノイズ除去に使用することにより、映像シーンに付随したブロックノイズを効果的に除去することができる。
【００８５】
なお、上記第３の実施形態においては、ブロックノイズ除去装置３０を構成するブロックノイズ検出装置として、上記第２の実施形態に係るブロックノイズ検出装置２０を用いたが、これに代えて上記第１の実施形態に係るブロックノイズ検出装置１０を用いることも勿論可能である。
【００８６】
（第４の実施形態）
図１２は、本発明の第４の実施形態に係るブロックノイズ除去装置の構成を示すブロック図である。図１２において、第４の実施形態に係るブロックノイズ除去装置４０は、水平ブロック境界検出部４１と、垂直ブロック境界検出部４２と、ブロックエリア検出部４３と、ブロック境界平滑化部４４と、輪郭補正部４５とを備える。
【００８７】
図１３は、図１２の水平ブロック境界検出部４１のさらに詳細な構成を示すブロック図である。図１３において、水平ブロック境界検出部４１は、水平ＨＰＦ４１１と、絶対値化部４１２と、垂直累積加算部４１３と、ハイパスフィルタ（以下、ＨＰＦと記す）４１４と、テンポラルフィルタ４１５と、Ｎ点累積加算部４１６と、マスク化部４１７と、最大値検出部４１８とを備える。
図１４は、図１２の垂直ブロック境界検出部４２のさらに詳細な構成を示すブロック図である。図１４において、垂直ブロック境界検出部４２は、垂直ＨＰＦ４２１と、絶対値化部４２２と、水平累積加算部４２３と、ＨＰＦ４２４と、テンポラルフィルタ４２５と、Ｎ点累積加算部４２６と、マスク化部４２７と、最大値検出部４２８とを備える。
図１５は、図１２のブロック境界平滑化部４４のさらに詳細な構成を示すブロック図である。図１５において、ブロック境界平滑化部４４は、水平ＨＰＦ４４１と、垂直ＨＰＦ４４２と、乗算部４４３，４４４と、減算部４４５，４４６とを備える。
図１６は、図１２の輪郭補正部４５のさらに詳細な構成を示すブロック図である。図１６において、輪郭補正部４５は、水平ＨＰＦ４５１と、垂直ＨＰＦ４５２と、減算部４５３，４５４と、乗算部４５５，４５６と、加算部４５７，４５８とを備える。
以下、図１２〜図１６を参照して、本発明の第４の実施形態に係るブロックノイズ除去装置４０が行う動作を順に説明する。
【００８８】
水平ブロック境界検出部４１は、水平方向のブロックノイズレベルおよびブロック境界を検出する。
図１３において、水平ＨＰＦ４１１は、映像信号１０１を入力し、水平方向に関して高域成分のみを抽出する。絶対値化部４１２は、水平ＨＰＦ４１１が出力する信号を入力し、絶対値を取って正の値に変換する。垂直累積加算部４１３は、絶対値化部４１２が出力する信号を入力し、累積加算して水平周期的にピーク値を持った水平１次元信号１１５を出力する（図２を参照）。ＨＰＦ４１４は、垂直累積加算部４１３が出力する信号の精度をさらに上げる目的で再び高域成分を抽出し、水平ブロックノイズレベルを検出する。テンポラルフィルタ４１５は、ＨＰＦ４１４が出力する水平ブロックノイズレベルを、時間方向に引き延ばす処理を行う。Ｎ点累積加算部４１６は、予め設定されたＮ点（Ｎは、ブロックの画素数）ごとのノイズ、すなわち、各ブロックの同一画素位置にあるノイズの累積加算を求め、それぞれ出力する。最大値検出部４１８は、水平方向のＮ点の最大値とブロック境界とを求める。ここで、最大値検出部４１８は、例えば、ＭＰＥＧ２方式における８（画素）×８（ライン）の周期で出現するブロックノイズの場合、Ｎ点累積加算部４１６のＮ値を「８」にして、水平ブロック境界を求める。マスク化部４１７は、テンポラルフィルタ４１５が出力する水平ブロックノイズレベルに対し、最大値検出部４１８で求められた水平ブロック境界でマスク処理を行い、当該水平ブロック境界に存在する水平ブロックノイズレベルだけを出力する。
なお、水平ブロックノイズ検出の精度を上げるために、水平ＨＰＦ４１１または絶対値化部４１２の出力信号に、小振幅信号のみを通過させるコアリング装置を挿入してもよい。
【００８９】
垂直ブロック境界検出部４２は、水平ブロック境界検出部４１と同様に、垂直方向のブロックノイズレベルおよびブロック境界を検出する。
図１４において、垂直ＨＰＦ４２１は、映像信号１０１を入力し、垂直方向に関して高域成分のみを抽出する。絶対値化部４２２は、垂直ＨＰＦ４２１が出力する信号を入力し、絶対値を取って正の値に変換する。水平累積加算部４２３は、絶対値化部４２２が出力する信号を入力し、累積加算して垂直周期的にピーク値を持った垂直１次元信号１１６を出力する（図２を参照）。ＨＰＦ４２４は、水平累積加算部４２３が出力する信号の精度をさらに上げる目的で再び高域成分を抽出し、垂直ブロックノイズレベルを検出する。テンポラルフィルタ４２５は、ＨＰＦ４２４が出力する垂直ブロックノイズレベルを、時間方向に引き延ばす処理を行う。Ｎ点累積加算部４２６は、予め設定されたＮ点ごとのノイズの累積加算を求め、それぞれ出力する。累積加算を求める。最大値検出部４２８は、垂直方向のＮ点の最大値とブロック境界とを求める。ここで、最大値検出部４２８は、例えば、同様にＭＰＥＧ２方式における８×８の周期で出現するブロックノイズの場合、Ｎ点累積加算部４２６のＮ値を「８」にして、垂直ブロック境界を求める。マスク化部４２７は、テンポラルフィルタ４２５が出力する垂直ブロックノイズレベルに対し、最大値検出部４２８で求められた垂直ブロック境界でマスク処理を行い、当該垂直ブロック境界に存在する垂直ブロックノイズレベルだけを出力する。
なお、上記と同様に、垂直ブロックノイズ検出の精度を上げるために、垂直ＨＰＦ４２１または絶対値化部４２２の出力信号に、小振幅信号のみを通過させるコアリング装置を挿入してもよい。
【００９０】
ブロックエリア検出部４３は、水平ブロック境界検出部４１および垂直ブロック境界検出部４２が出力する水平／垂直方向のブロックノイズレベル、Ｎ点ブロックノイズレベルおよびブロック境界の各信号から、画面全体のどの位置にどの程度のブロックノイズが出現しているかを検出する。
【００９１】
ブロック境界平滑化部４４は、ブロックエリア検出部４３から出力される水平／垂直方向のブロックノイズレベル信号に応じて、映像信号の平滑化を行う。
図１５を参照して、ブロック境界平滑化部４４は、入力する映像信号１０１から水平ＨＰＦ４４１で水平方向の高域成分を抽出する。そして、ブロック境界平滑化部４４は、抽出した水平高域成分と水平ブロックノイズレベルとを乗算部４４３で乗算して、減算部４４５で映像信号１０１から減算する。また、垂直方向も同様であり、ブロック境界平滑化部４４は、入力する映像信号１０１から垂直ＨＰＦ４４２で垂直方向の高域成分を抽出する。そして、ブロック境界平滑化部４４は、抽出した垂直高域成分と垂直ブロックノイズレベルとを乗算部４４４で乗算して、減算部４４６で映像信号１０１から減算する。
これにより、水平／垂直方向のブロックノイズレベルが大きいほど、映像信号１０１に対して、大きな平滑化処理を行うことができる。
【００９２】
輪郭補正部４５は、ブロックエリア検出部４３から出力される水平／垂直方向のブロックノイズレベル信号に応じて、輪郭補正のゲイン／コアリング量等を変化させる。
図１６を参照して、輪郭補正部４５は、入力する映像信号１０１から水平ＨＰＦ４５１で水平方向の高域成分を抽出する。そして、輪郭補正部４５は、水平輪郭補正の設定値から水平ブロックノイズレベルを減算部４５３で減算し、抽出した水平高域成分と水平ブロックノイズレベルとを乗算部４５５で乗算した後、加算部４５７で映像信号１０１と加算する。また、垂直方向も同様であり、輪郭補正部４５は、入力する映像信号１０１から垂直ＨＰＦ４５２で垂直方向の高域成分を抽出する。そして、輪郭補正部４５は、垂直輪郭補正の設定値から垂直ブロックノイズレベルを減算部４５４で減算し、抽出した水平高域成分と水平ブロックノイズレベルをと乗算部４５６で乗算した後、加算部４５８で映像信号１０１と加算する。
これにより、水平／垂直方向のブロックノイズレベルが大きいほど、映像信号１０１に対して、水平／垂直輪郭補正のゲインを下げ、ブロックノイズを強調しない輪郭補正を行うことができる。
【００９３】
なお、典型的には、本発明の第４の実施形態に係るブロックノイズ除去装置４０の各構成が行う処理は、ＣＰＵ（中央演算処理装置）によって制御される。この場合、Ｎ点累積加算部４１６，４２６の出力結果をＣＰＵに送出して、ＣＰＵでブロック境界の位置を検出し、ＣＰＵからマスク化部４１７，４２７の制御を行ってもよい。また、検出したブロックノイズレベルとブロック境界をＣＰＵに送出し、ＣＰＵの指示により画面全体の輪郭補正の補正量やノイズ除去レベル等の制御を行ってもよい。さらに、ブロックノイズが検出されると、画面上に「ＤＶＤ／ＤＶＣ／デジタル」等の入力ソースの種類の判別結果や映像信号（例えば、ＭＰＥＧ）の品位を、オンスクリーンディスプレイ（以下、ＯＳＤと記す）表示することもできる。
【００９４】
以上のように、本発明の第４の実施形態に係るブロックノイズ除去装置４０によれば、ブロック境界およびブロックノイズレベルを正確に検出することができる。これにより、ブロックノイズレベルに対応した適切な平滑化および輪郭補正を行うことが可能となり、映像シーンに付随したブロックノイズをより効果的に除去することが可能となる。また、情報をＯＳＤ表示することで、映像ソースやブロックノイズ除去効果を、一目で認識することが可能となる。
【００９５】
（第５の実施形態）
上記第４の実施形態に係るブロックノイズ除去装置を、例えば、テレビジョンシステム等に用いた場合、入力する映像信号１０１として、通常のテレビ映像信号の他に、外部端子から入力される信号形態が異なる映像信号も存在する。
そこで、第５の実施形態は、複数の異なる信号形態の入力映像信号に対応するブロックノイズ除去装置を提供するものである。
【００９６】
図１７は、本発明の第５の実施形態に係るブロックノイズ除去装置の構成を示すブロック図である。図１７において、第５の実施形態に係るブロックノイズ除去装置５０は、ＡＤコンバータ５１と、デジタル復号化部５２と、セレクタ５３と、水平ブロック境界検出部５４と、垂直ブロック境界検出部５５と、ブロックエリア検出部４３と、ブロック境界平滑化部４４と、輪郭補正部４５とを備える。
【００９７】
図１８は、図１７の水平ブロック境界検出部５４のさらに詳細な構成を示すブロック図である。図１８において、水平ブロック境界検出部５４は、水平ＨＰＦ４１１と、絶対値化部４１２と、垂直累積加算部４１３と、ＨＰＦ４１４と、テンポラルフィルタ４１５と、Ｎ点累積加算部４１６と、マスク化部４１７と、最大値検出部４１８と、セレクタ５４１とを備える。
図１９は、図１７の垂直ブロック境界検出部５５のさらに詳細な構成を示すブロック図である。図１９において、垂直ブロック境界検出部５５は、垂直ＨＰＦ４２１と、絶対値化部４２２と、水平累積加算部４２３と、ＨＰＦ４２４と、テンポラルフィルタ４２５と、Ｎ点累積加算部４２６と、マスク化部４２７と、最大値検出部４２８と、セレクタ５５１とを備える。
【００９８】
なお、第５の実施形態に係るブロックノイズ除去装置５０におけるブロックエリア検出部４３，ブロック境界平滑化部４４および輪郭補正部４５の各構成は、上記第４の実施形態に係るブロックノイズ除去装置４０の構成と同様であり、当該構成については同一の参照番号を付して説明を省略する。
また、水平ブロック境界検出部５４は、上記第４の実施形態で述べた水平ブロック境界検出部４１の構成にセレクタ５４１を加えた構成であり、垂直ブロック境界検出部５５は、上記第４の実施形態で述べた垂直ブロック境界検出部４２の構成にセレクタ５５１を加えた構成であるので、同一の構成部分については同一の参照番号を付して説明を省略する。
以下、図１７〜図１９を参照して、本発明の第５の実施形態に係るブロックノイズ除去装置５０が行う動作を順に説明する。
【００９９】
ＡＤコンバータ５１には、アナログの映像信号５０１が入力される。デジタル復号化部５２には、例えば、ＩＥＥＥ１３９４規格で接続されるＭＰＥＧストリームやＤＶフォーマット等のデジタルの映像信号５０２が入力される。ＡＤコンバータ５１は、入力するアナログの映像信号５０１をデジタルに変換して、セレクタ５３へ出力する。デジタル復号化部５２は、入力するデジタルの映像信号５０２を復号して、セレクタ５３へ出力する。このデジタル復号化部５２は、映像信号５０２がいくつのブロックサイズでデコードされているかというブロック情報信号５２１，５２２（すなわち、ブロック境界）を出力できる。
【０１００】
セレクタ５３は、ユーザの指示に従って、入力する２つのデジタル映像信号のいずれか１つを選択し、映像信号１０１として出力する。ここで、このセレクタ５３は、どちらのデジタル映像信号を選択出力したかを示す受信パルス５３１を出力する。例えば、ＡＤコンバータ５１の出力（入力は、ＤＶＤのアナログ信号とする）を選択した場合には論理値「０」を、デジタル復号化部５２の出力（入力は、デジタルビデオカメラ（ＤＶＤ）のデジタル信号とする）を選択した場合には論理値「１」を、受信パルス５３１として出力する。この受信パルス５３１は、例えば、何を入力したかをＯＳＤ表示する情報として利用できる。例えば、上記例では「ＤＶＤ」や「ＤＶＣ」という文字を、テレビ画面上にＯＳＤ表示することができる。
セレクタ５３で選択された映像信号１０１およびデジタル復号化部５２から出力されるブロック情報信号５２１，５２２は、水平ブロック境界検出部５４および垂直ブロック境界検出部５５にそれぞれ入力される。
【０１０１】
水平ブロック境界検出部５４は、基本的に上述したように、水平方向のブロックノイズレベルおよびブロック境界の検出を行うが、最大値検出部４１８は、求めた水平ブロック境界をセレクタ５４１に出力する。このセレクタ５４１は、最大値検出部４１８が出力する水平ブロック境界と、デジタル復号化部５２が出力するブロック情報信号５２１とを入力する。そして、セレクタ５４１は、与えられるユーザ指示（セレクタ５３へのユーザ指示に同期する）に従って、セレクタ５３がＡＤコンバータ５１の出力信号を選択した場合には、最大値検出部４１８が求めた水平ブロック境界を、セレクタ５３がデジタル復号化部５２の出力信号を選択した場合には、ブロック情報信号５２１として与えられる水平ブロック境界を、選択して出力する。
【０１０２】
同様に、垂直ブロック境界検出部５５は、基本的に上述したように、垂直方向のブロックノイズレベルおよびブロック境界の検出を行うが、最大値検出部４２８は、求めた垂直ブロック境界をセレクタ５５１に出力する。このセレクタ５５１は、最大値検出部４２８が出力する垂直ブロック境界と、デジタル復号化部５２が出力するブロック情報信号５２２とを入力する。そして、セレクタ５５１は、与えられるユーザ指示（セレクタ５３へのユーザ指示に同期する）に従って、セレクタ５３がＡＤコンバータ５１の出力信号を選択した場合には、最大値検出部４２８が求めた垂直ブロック境界を、セレクタ５３がデジタル復号化部５２の出力信号を選択した場合には、ブロック情報信号５２２として与えられる垂直ブロック境界を、選択して出力する。
【０１０３】
これにより、ブロック境界が判断できないアナログの映像信号５０１が入力された場合には、水平ブロック境界検出部５４および垂直ブロック境界検出部５５で求めたブロック境界を用いてブロックノイズの除去を行い、ブロック境界が判断できる（与えられる）デジタルの映像信号５０２が入力された場合には、その与えられるブロック境界を用いてブロックノイズの除去を行うことが可能となる。
【０１０４】
以上のように、本発明の第５の実施形態に係るブロックノイズ除去装置５０によれば、入力する映像信号に対応したブロック境界およびブロックノイズレベルを正確に検出することができる。これにより、ブロックノイズレベルに対応した適切な平滑化および輪郭補正を行うことがさらに可能となり、映像シーンに付随したブロックノイズをより効果的に除去することが可能となる。また、情報をＯＳＤ表示することで、映像ソースやブロックノイズ除去効果を、一目で認識することが可能となる。
【０１０５】
（第６の実施形態）
ところで、映像信号の画質劣化を引き起こす要因としては、上述してきたブロックノイズ以外に、ドットクロックの再生不良が挙げられる。このドットクロックの再生不良は、周知のように、アナログの映像信号をデジタルの映像信号に変換する場合、本来アナログ映像信号でサンプリングしたクロック位相と、デジタル化した後の映像信号でサンプリングしたクロック位相とが、ずれを生じるために起こるものである。
そこで、本発明の第６の実施形態は、上述したブロック境界検出を行う手法を用いて、正確なドットクロック再生をも可能にするものである。
【０１０６】
図２０は、本発明の第６の実施形態に係るブロック検出装置を用いた映像処理システムの構成の一例を示すブロック図である。図２０において、第６の実施形態に係るブロック検出装置を用いた映像処理システム６０は、ＡＤコンバータ６１と、映像信号処理装置６２と、ＤＡコンバータ６３と、水平ブロック境界検出部６４と、クロック発生装置６５と、制御部６６とを備える。クロック発生装置６５は、位相比較器６５１と、ＬＰＦ６５２と、ＶＣＯ６５３と、可変ディレイ６５４と、分周器６５５とを備える。
【０１０７】
図２１は、図２０の水平ブロック境界検出部６４のさらに詳細な構成を示すブロック図である。図２１において、水平ブロック境界検出部６４は、水平ＨＰＦ６４１と、絶対値化部６４２と、垂直累積加算部６４３と、ＨＰＦ６４４と、Ｎ点累積加算部６４５とを備える。
図２２は、図２０の水平ブロック境界検出部６４が出力する水平ブロックノイズの累積加算結果の一例を示す図である。なお、図２２においては、Ｎ値を「８」にした場合の累積加算結果を示している。
図２３は、映像信号６０１とクロック（ＣＫ）との関係を説明する図である。
以下、図２０〜図２３を参照して、本発明の第６の実施形態に係るブロック検出装置を用いた映像処理システム６０が行う動作を順に説明する。
【０１０８】
まず、第６の実施形態の映像処理システム６０の各構成を説明する。
ＡＤコンバータ６１は、入力するアナログ映像信号６０１をデジタル映像信号に変換する。映像信号処理装置６２は、輪郭補正等の映像信号に関する種々の処理を行う。ＤＡコンバータ６３は、デジタル映像信号をアナログ映像信号に変換する。水平ブロック境界検出部６４は、入力するデジタル映像信号から水平方向のブロック境界を検出する。クロック発生装置６５は、ラインクロックのＰＬＬ回路を構成しており、各構成が処理に用いる再生クロック（ＣＫ）を生成する。なお、クロック発生装置６５の各構成は、従来から一般的に用いられている周知の構成であるので、ここでの説明は省略する。制御部６６は、例えば、ＣＰＵ等の制御装置や水平ブロック境界検出部６４の出力信号に時間的なフィルタをかけるものであり、水平ブロック境界検出部６４が出力する信号に従って、クロック発生装置６５を制御する。
【０１０９】
次に、第６の実施形態の映像処理システム６０が行う処理動作を説明する。
ＡＤコンバータ６１に入力された映像信号６０１は、クロック発生装置６５で発生された再生クロック（ＣＫ）に基づいて、デジタル映像信号に変換される。変換されたデジタル信号は、映像信号処理装置６２で所望の映像信号処理が施され、ＤＡコンバータ６３でアナログ映像信号に変換される。また、変換されたデジタル映像信号は、水平ブロック境界検出部６４に入力され、水平ブロックノイズの累積加算処理を行い、その結果が制御部６６に送られる。
【０１１０】
水平ブロック境界検出部６４において、水平ＨＰＦ６４１は、映像信号６０１を入力し、水平方向に関して高域成分のみを抽出する。絶対値化部６４２は、水平ＨＰＦ６４１が出力する信号を入力し、絶対値を取って正の値に変換する。垂直累積加算部６４３は、絶対値化部６４２が出力する信号を入力し、累積加算して水平周期的にピーク値を持った水平１次元信号１１５を出力する（図２を参照）。ＨＰＦ６４４は、垂直累積加算部６４３が出力する信号の精度をさらに上げる目的で再び高域成分を抽出し、水平ブロックノイズレベルを検出する。Ｎ点累積加算部６４５は、予め設定されたＮ点（Ｎは、ブロックの画素数）ごとのノイズ、すなわち、各ブロックの同一画素位置にあるノイズの累積加算を求め、それぞれ出力する。ここで、Ｎ点累積加算部６４５は、例えば、ＭＰＥＧ２方式における８（画素）×８（ライン）の周期で出現するブロックノイズの場合、Ｎ値を「８」にして水平ブロック境界を求め、制御部６６に出力する。
なお、水平ブロックノイズ検出の精度を上げるために、水平ＨＰＦ６４１または絶対値化部６４２の出力信号に、小振幅信号のみを通過させるコアリング装置を挿入してもよい。
【０１１１】
次に、図２２および図２３を用いて、ドットクロック制御の動作説明を行う。
まず、ドットクロック再生が上手く行われていない（すなわち、本来の映像信号６０１のドットクロックと再生クロック（ＣＫ）とが一致していない）場合、映像信号（図２３（ａ））に対してサンプリングクロックの位相がずれる（図２３（ｂ））。この場合、Ｎ点累積加算部６４５が制御部６６に出力するＮ点の累積加算結果は、図２２（ａ）のように複数の点で高いレベルが存在する結果となる（同図においては、４と５の２つの位置）。
一方、ドットクロック再生が上手く行われている（すなわち、本来の映像信号６０１のドットクロックと再生クロック（ＣＫ）とが一致している）場合、映像信号（図２３（ａ））に対してサンプリングクロックの位相がずれない（図２３（ｃ））。この場合、Ｎ点累積加算部６４５が制御部６６に出力するＮ点の累積加算結果は、図２２（ｂ）のように高いレベルが１つだけ存在する結果となる（同図においては、５の位置）。
【０１１２】
このことから、制御部６６は、Ｎ点累積加算部６４５が出力するＮ点の累積加算結果が、高いレベルが１つだけ存在する結果となるように、クロック発生装置６５における可変ディレイ６５４のディレイ量を変化させる帰還制御を行う。従って、入力する映像信号６０１がサンプリングされていたクロック位相を、映像処理システム６０において正確に再生することが可能となる。
【０１１３】
以上のように、本発明の第６の実施形態に係るブロック検出装置を用いた映像処理システム６０によれば、入力する映像信号に対応した水平ブロック境界を検出し、この位置に基づいてドットクロックの再生を行う。これにより、本来の映像信号のドットクロックと位相が一致したクロックを、正確に再生することが可能となる。
【０１１４】
なお、典型的なハードウェア環境では、上記第１〜第６の実施形態に係るブロックノイズ検出装置１０，２０およびブロックノイズ除去装置３０，４０，５０および映像処理システム６０が実現する各機能は、所定のプログラムデータが格納された記憶装置（ＲＯＭ，ＲＡＭ，ハードディスク等）と、当該プログラムデータを実行するＣＰＵとによって実現される。この場合、各プログラムデータは、ＣＤ−ＲＯＭやフロッピーディスク等の記録媒体を介して導入されてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るブロックノイズ検出装置１０の構成を示すブロック図である。
【図２】図１の垂直ＨＰＦ１１、水平ＨＰＦ１２、絶対値化部１３，１４、水平累積加算部１５および垂直累積加算部１６における動作を説明する図である。
【図３】図１の水平ピーク検出部１８（および、垂直ピーク検出部１７）が行う動作の一例を説明する図である。
【図４】図１の２値化部１９が行う動作を説明する図である。
【図５】本発明の第２の実施形態に係るブロックノイズ検出装置２０の構成を示すブロック図である。
【図６】図５の特異点除去部２４が行う動作の一例を説明する図である。
【図７】 図５のＢＥ制御部２５が行う動作の一例を説明する図である。
【図８】本発明の第３の実施形態に係るブロックノイズ除去装置３０の構成を示すブロック図である。
【図９】図８のフォーマット識別回路３１の構成の一例を示すブロック図である。
【図１０】図８のブロックノイズ除去回路３２の構成の一例を示すブロック図である。
【図１１】図８のブロックノイズ除去回路３２が行う平滑化処理の一例を説明する図である。
【図１２】本発明の第４の実施形態に係るブロックノイズ除去装置４０の構成を示すブロック図である。
【図１３】図１２の水平ブロック境界検出部４１の構成の一例を示すブロック図である。
【図１４】図１２の垂直ブロック境界検出部４２の構成の一例を示すブロック図である。
【図１５】図１２のブロック境界平滑化部４４の構成の一例を示すブロック図である。
【図１６】図１２の輪郭補正部４５の構成の一例を示すブロック図である。
【図１７】本発明の第５の実施形態に係るブロックノイズ除去装置５０の構成を示すブロック図である。
【図１８】図１７の水平ブロック境界検出部５４の構成の一例を示すブロック図である。
【図１９】図１７の垂直ブロック境界検出部５５の構成の一例を示すブロック図である。
【図２０】 本発明の第６の実施形態に係る映像処理システム６０の構成を示すブロック図である。
【図２１】図２０の水平ブロック境界検出部６４の構成の一例を示すブロック図である。
【図２２】図２０の水平ブロック境界検出部６４が出力する水平ブロックノイズの累積加算結果の一例を示す図である。
【図２３】映像信号６０１とクロック（ＣＫ）との関係を説明する図である。
【図２４】従来の手法におけるブロックノイズ除去の概念を説明する図である。
【符号の説明】
１０，２０…ブロックノイズ検出装置
１１，４２１，４４２，４５２…垂直ＨＰＦ
１２，４１１，４４１，４５１，６４１…水平ＨＰＦ
１３，１４，４１２，４２２，６４２…絶対値化部
１５，４２３…水平累積加算部
１６，４１３，６４３…垂直累積加算部
１７…垂直ピーク検出部
１８…水平ピーク検出部
１９，２３…２値化部
２１…フレーム差分部
２２…フレームメモリ
２４…特異点除去部
２５…ＢＥ制御部
３０，４０，５０…ブロックノイズ除去装置
３１…フォーマット識別回路
３２…ブロックノイズ除去回路
４１，５４，６４…水平ブロック境界検出部
４２，５５…垂直ブロック境界検出部
４３…ブロックエリア検出部
４４…ブロック境界平滑化部
４５…輪郭補正部
５１，６１…ＡＤコンバータ
５２…デジタル復号化部
５３，３２２，５４１，５５１…セレクタ
６０…映像処理システム
６２…映像信号処理装置
６３…ＤＡコンバータ
６５…クロック発生装置
６６…制御部
１０１…映像信号
１０２…フォーマット識別信号
１０３…ブロック境界画像
１１２，７０１…１フレーム画像
１１３，７０２…ブロック画像
１１４…ブロックノイズ
１１５…水平１次元信号
１１６…垂直１次元信号
１１９…検出領域
１２２…水平ピーク位置
１２３…垂直ピーク位置
１２４…水平２値画像
１２５…垂直２値画像
２０３…ＢＥ信号
２３３…特異点除去前画像
２３４…特異点除去後画像
２３５…ＢＥ制御画像
３０１…Ｈパルス
３０２…Ｖパルス
３０３，４０３，５０３…ブロックノイズ除去信号
３１１…倍速Ｈパルス生成部
３１２…ビットカウンタ
３２１…平滑化処理部
４１４，４２４，６４４…ＨＰＦ
４１５，４２５…テンポラルフィルタ
４１６，４２６，６４５…Ｎ点累積加算部
４１７，４２７…マスク化部
４１８，４２８…最大値検出部
４４３，４４４，４５５，４５６…乗算部
４４５，４４６，４５３，４５４…減算部
４５７，４５８…加算部
５０１…アナログ外部入力信号
５０２…デジタル外部入力信号
５２１，５２２…ブロック情報信号
６５１…位相比較部
６５２…ＬＰＦ
６５３…ＶＣＯ
６５４…可変ディレイ
６５５…分周器
７０３…画素
７０４，７０５…ブロック
７０６…ブロック境界

Claims (3)

1. 予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じる垂直方向のブロックノイズを検出する装置であって、
   前記映像信号を入力し、当該映像信号の垂直高域成分のみを抽出する垂直ハイパスフィルタ（以下、ＨＰＦと記す）と、
   前記垂直ＨＰＦが出力する高域成分信号を絶対値化する絶対値化手段と、
   前記絶対値化手段が出力する絶対値化後の前記高域成分信号を、水平方向に累積加算する水平累積加算手段と、
   前記水平累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出するＨＰＦと、
   前記ＨＰＦが出力する信号を、予め設定されたＮ点（Ｎは、正の整数）ごとにそれぞれ累積加算するＮ点累積加算手段と、
   前記ＨＰＦが出力する信号を、時間方向に演算して前記映像信号の前記ブロックノイズ量を検出するテンポラルフィルタと、
   前記Ｎ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める最大値検出手段と、
   前記テンポラルフィルタが検出した前記ブロックノイズ量を、前記最大値検出手段が出力する前記最大値の位置でマスク化し、当該位置に対応する垂直ブロック境界を求めるマスク化手段とを備える、垂直ブロック境界検出装置。
2. 予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じる水平方向のブロックノイズを検出する装置であって、
   前記映像信号を入力し、当該映像信号の垂直高域成分のみを抽出する水平ハイパスフィルタ（以下、ＨＰＦと記す）と、
   前記水平ＨＰＦが出力する高域成分信号を絶対値化する絶対値化手段と、
   前記絶対値化手段が出力する絶対値化後の前記高域成分信号を、垂直方向に累積加算する垂直累積加算手段と、
   前記垂直累積加算手段が出力する累積加算後の高域成分信号から、さらに高域成分を抽出するＨＰＦと、
   前記ＨＰＦが出力する信号を、予め設定されたＮ点（Ｎは、正の整数）ごとにそれぞれ累積加算するＮ点累積加算手段と、
   前記ＨＰＦが出力する信号を、時間方向に演算して前記映像信号の前記ブロックノイズ量を検出するテンポラルフィルタと、
   前記Ｎ点累積加算手段が累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求める最大値検出手段と、
   前記テンポラルフィルタが検出した前記ブロックノイズ量を、前記最大値検出手段が出力する前記最大値の位置でマスク化し、当該位置に対応する水平ブロック境界を求めるマスク化手段とを備える、水平ブロック境界検出装置。
3. 予め定めた画像ブロック毎に不可逆符号化処理が施されたデジタルの映像信号から、当該映像信号の復号化処理に伴って生じる垂直または水平方向のブロックノイズを検出する方法を、コンピュータ装置上で実行するためのプログラムを記録した媒体であって、
   前記映像信号の垂直または水平高域成分のみを抽出するステップと、
   前記抽出した高域成分信号を絶対値化するステップと、
   前記絶対値化後の前記高域成分信号を水平または垂直方向に累積加算するステップと、
   前記累積加算後の高域成分信号からさらに高域成分を抽出するステップと、
   前記さらに高域成分を抽出するステップが出力する信号を、予め設定されたＮ点（Ｎは、正の整数）ごとにそれぞれ累積加算するステップと、
   前記さらに高域成分を抽出するステップが出力する信号を、時間方向に演算して前記映像信号の前記ブロックノイズ量を検出するステップと、
   前記累積加算によって求めたＮ個の累積加算値の中から、最大値と当該最大値の位置とを求めるステップと、
   前記検出したブロックノイズ量を前記最大値の位置でマスク化し、当該位置に対応する垂直または水平ブロック境界を求めるステップとを含む動作環境を、前記コンピュータ装置上で実現するためのプログラムを記録した記録媒体。

Images