JP3699800B2

JP3699800B2 - ブロックノイズ除去装置

Info

Publication number: JP3699800B2
Application number: JP8056797A
Authority: JP
Inventors: 和幸武田
Original assignee: Toshiba Corp; Toshiba Digital Media Engineering Corp
Current assignee: Toshiba Corp; Toshiba Development and Engineering Corp
Priority date: 1997-03-31
Filing date: 1997-03-31
Publication date: 2005-09-28
Anticipated expiration: 2017-03-31
Also published as: JPH10276433A

Description

【０００１】
【発明の属する技術分野】
この発明は、画素ブロック毎に離散コサイン変換処理（以下ＤＣＴ処理と言う）を行った信号が復元された際に、いわゆるブロックノイズが生じるのを低減するブロックノイズ除去装置に関する。
【０００２】
【従来の技術】
画像圧縮技術分野においては、概ね以下のような処理が行われている。即ち、原信号を画素ブロック毎に区切り、それぞれのブロックをＤＣＴ処理器においてＤＣＴ処理することにより信号成分を時間軸から周波数軸に変換している。この変換した値がＤＣＴ係数と呼ばれ、このＤＣＴ係数は、量子化器に入力されて、適宜選択された（画像のアクティビティーに応じた）量子化テーブルで量子化されて圧縮される。次に量子化器で量子化された量子化係数は、ハフマン符号化器で符号化されて伝送路あるいは記録媒体に記録される。
【０００３】
復号側においては、ハフマン復号されたデータが逆量子化器に入力されて、逆量子化され、この量子化係数は、次に逆ＤＣＴ処理器において逆ＤＣＴ処理され、元の画素ブロックに対応する画像に変換され、このブロック画像がアレンジされてフレーム画像に再構成される。
【０００４】
【発明が解決しようとする課題】
ところで、上記のようにフレーム画像が構成された場合、隣接する画素ブロックの境界が視覚的に目立つと言う問題がある。この現象はブロックノイズと言われる。このノイズの発生は、ＤＣＴ処理を行うのにブロック毎に区切り、ブロック間の関連が断ち切られて信号処理されている点にある。画像圧縮は、デジタルビデオディスク（ＤＶＤ）においてもその記録情報に適用されている。
【０００５】
ＤＶＤ再生において、上記のブロックノイズは、画像の周波数成分が高いポイントや、グラデーション模様において良く発生することが知られている。
そこでこの発明は、画像圧縮されたデータを復号し画像再生した際に発生するブロックノイズを低減することができるブロックノイズ除去装置を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
この発明は、画像データの高域成分を抽出する高域成分抽出手段と、前記高域成分抽出手段から得られた前記高域成分から方形状画像を検出する方形状画像検出手段と、前記方形状画像検出手段で検出された方形状画像の中から、本来の画像とブロックノイズとを識別する識別手段と、前記識別手段により識別されたブロックノイズを前後の画素データを用いたフィルタリング処理により低減する補正手段とを有する。上記の手段により、ブロックノイズを低減できる。
【０００７】
【実施の形態】
以下、この発明の実施の形態を図面を参照して説明する。
図１（Ａ）において、入力端子１１には、逆ＤＣＴ処理されたデジタル画像データが入力される。この画像データは、垂直フィルタ１２に入力されて、垂直高域成分を抽出される。さらにまた画像データは、水平フィルタ１３に入力されて水平高域成分が抽出される。垂直高域成分と水平高域成分とは、加算器１４で加算されて、ブロックエッジ情報となり、ブロックノイズ抽出部１５に入力される。
【０００８】
ブロックノイズ抽出部１５は、フィールドスイッチ（又はフレームスイッチ）１６と、エッジ成分メモリ１７、１８、このエッジ成分メモリ１７、１８の出力の引き算を行い絶対値を得る減算器１９により構成されている。
【０００９】
フィールドスイッチ１６は、フィールド毎に切り替わり、第１のフィールドではエッジ成分メモリ１７にブロックエッジ情報を供給し、第２のフィールドではエッジ成分メモリ１８にブロックエッジ情報を供給する。ここで、エッジ成分メモリ１７、１８の対応するアドレスの情報の引き算を行うと、フィールド方向に相関性のある成分は消去される。
【００１０】
フィールド（フレーム）方向に相関性のあるエッジ情報は、本来の映像であり、これをノイズ対象としないためである。つまり、本発明は、ブロックノイズは、テンポラル方向の相関性はなく、本来の画像（四角いエッジを持つ）は、フィールド方向の相関性があることを利用している。
【００１１】
ブロックノイズ抽出部１５の出力は、一旦ブロックノイズメモリ２１に格納され、その中に方形状ノイズが存在するかどうかの検出が行われる。方形状ノイズは、方形状ノイズは、方形状ノイズ検出器２２がブロックノイズメモリ２１を高速アクセスし、ノイズ情報の配列を検査することにより判別される。そして、方形状ノイズが存在した場合、このノイズ情報は、そのまま方形状ノイズメモリ２３に格納される。方形状ノイズは、図１（Ｂ）に示すように、位置情報として格納されている。
【００１２】
方形状ノイズメモリ２３の内容は、水平／垂直エッジ処理部２４に入力されて、水平方向のエッジ、垂直方向のエッジの判別が行われる。
一方、入力端子１１の画像データは、時間合せ回路３１に入力されて、時間調整が行われ、垂直補正回路３２に入力されてノイズ部分の垂直方向のフィルタリングが行われ、次に、水平補正回路３３に入力されて、ノイズ部分の水平方向のフィルタリングが行われる。フィルタリングをノイズ部分で行うための情報は、先の水平／垂直ノイズ処理部２４から与えられている。
【００１３】
なお全体のタイミング及び制御は、システム制御部３５により実行されている。システム制御部３５には、水平同期パルス、垂直同期パルスが入力されて参照されている。
【００１４】
図２（Ａ）には垂直フィル１２の具体的構成を示している。ラインメモリ１２ａにより遅延された遅延信号と、直接信号との差分を得ることにより垂直高域成分を得ることができる。なおこの出力の絶対値処理部は省略している。
【００１５】
図２（Ｂ）には水平フィル１３の具体的構成を示している。単位遅延メモリ１３ａにより遅延された遅延信号と、直接信号との差分を得ることにより水平高域成分を得ることができる。なおこの出力の絶対値処理部は省略している。
【００１６】
図３（Ａ）には、垂直補正回路３２の構成を示している。入力端子３２１の画像データは、ラインメモリ３２２に入力されて遅延され、さらにラインメモリ３２３に入力される。また入力端子３２１の画像データは、係数器３２２に入力される。さらにラインメモリ３２２、３２３の出力は、それぞれ係数器３２４、３２５に入力される。係数器３２３、３２４、３２５の出力は、加算器３２６で加算されて、スイッチ３２７の一方の入力端子に供給される。このスイッチ３２７の他方の入力端子には、ラインメモリ３２２の出力が直接供給されている。
【００１７】
これにより、スイッチ３２７を直接信号側に切り換えればフィルタリング無しの信号が得られ、加算器３２６側の信号に切り換えれば、垂直フィルタリングした信号を得ることができる。つまりブロックノイズの横方向のラインを低減することができる。
【００１８】
図３（Ｂ）には、水平補正回路３３を示している。
入力端子３３１の画像データは、単位遅延メモリ３３２に入力されて１画素分遅延され、さらに単位遅延メモリ３３３、３３４に連続して入力される。また入力端子３３１の画像データは、係数器３３５に入力される。さらに単位遅延メモリ３３２、３３３、３３４の出力は、それぞれ係数器３３６、３３７、３３８に入力される。係数器３３５から３３８の出力は、加算器３３９で加算されて、スイッチ３４０の一方の入力端子に供給される。このスイッチ３４０の他方の入力端子には、メモリ３３２の出力が直接供給されている。
【００１９】
これにより、スイッチ３４０を直接信号側に切り換えればフィルタリング無しの信号が得られ、加算器３３９側の信号に切り換えれば、水平フィルタリングした信号を得ることができる。つまりブロックノイズの縦方向のラインを低減することができる。
【００２０】
この発明は、上記の実施の形態に限定されるものではない。
図４はこの発明の他の実施の形態である。入力端子４０１には画像データが入力され、この画像データは、高域成分抽出部４０２に入力される。ここでは、垂直方向及び水平方向の高域成分（画像輪郭）が抽出され、その位置情報が画像データと共に方形状画像検出部４０３に送られる。方形状検出部４０３は、フィールドメモリ部４０４を利用して、方形状の輪郭を検出する。この検出は、ブロックノイズと共に本来の方形状の画像の輪郭も含まれる。次に、画像データと方形状の輪郭情報は、本来の方形状画像検出部４０５に送られる。この方形状画像検出部５０４は、フィールドメモリ４０６を用いて、フィールド間で相関性のある画像を検出する。相関性のある画像は、本来の方形状画像であると判定する。ブロックノイズは、複数のフィールドに渡って画面上同じ座標に現れないと言う特性を利用している。
【００２１】
次に、本来の方形状画像の情報と、すべての方形状画像の情報とは、画像データと共にブロックノイズ確定部４０７に入力される。ブロックノイズ確定部４０７では、フィールドメモリ部４０８を利用して、実際のブロックノイズ位置を確定し、その位置情報を保持する。次にブロックノイズ位置情報と、画像データとは、ブロックノイズの縦方向の輪郭補正部４０９に入力されて、画像データからのノイズ除去処理が行われる。この処理は、水平方向に並ぶデータの値が急峻に変化している箇所を、左右（水平方向）の画像データを用いて、なだらかな変化となるように画像データの補正を行う。
【００２２】
この補正を行った画像データは、ブロックノイズの横方向の輪郭補正部４１０に入力され、画像データからのノイズ除去処理が行われる。この処理は、垂直方向に並ぶデータの値が急峻に変化している箇所を、上下（垂直方向）の画像データを用いて、なだらかな変化となるように画像データの補正を行う。
【００２３】
これにより出力端子４１１にはブロックノイズの除去された画像データを得ることができる。
図５は、この発明を適用して有用な画像符号化／復号化装置の例である。
【００２４】
即ち、原画像データは、８＊８画素のブロックに分割されて、ブロック走査列となり、ＤＣＴ処理器５０１に入力されＤＣＴ処理される。ＤＣＴ処理により得られたＤＣＴ係数は、量子化器５０２にて量子化テーブル５０３から与えられる係数で量子化される。量子化器５０２から出力された量子化係数は、ハフマン符号化器５０４に入力される。量子化係数は、符号化テーブル５０５から与えられる係数でハフマン符号化される。符号化データは、パラメータ付加部５０６にて、パラメータが付加されて伝送路又は記録媒体５０７に伝送又は記録される。
【００２５】
パラメータとしては、用いた量子化テーブルの情報や、符号化テーブルの情報がある。伝送路又は記録媒体５０７からの情報は、パラメータ抽出部５１１に入力される。パラメータ抽出部５１１で抽出されたパラメータは、量子化テーブル５０３、符号化テーブル５０５に与えられ、復号のための情報として利用される。図面では、量子化テーブル５０３、符号化テーブル５０５は、伝送側も受信側も共通に示しているが、実際には独立している。
【００２６】
パラメータ抽出部５１１でパラメータが除去された符号化データは、ハフマン復号化器５１２に入力されて、ハフマン復号され、次に、逆量子化器５１３に入力されて、逆量子化される。逆量子化により得られたＤＣＴ計数は、逆ＤＣＴ処理器５１４に入力されて元のブロック画像として復元される。
【００２７】
このブロック画像が、本発明の回路５１５に入力されてブロックノイズを除去されることになる。
上記したブロックノイズは、動きの早い画像の位置に生じやすかったが本発明の回路により効果的にノイズが除去された。
【００２８】
この発明は上記したように逆ＤＣＴ処理された画像データに対してブロックノイズを除去するのに有効であり、特にビデオディスク再生装置のＭＰＥＧデコーダがから再生された画像データの処理に適用すると良い。これは、ビデオディスクの制作側において、ディスク間では品質上の相違があり、ブロックノイズを多く発生するものも存在する可能性があるからである。
【００２９】
この発明は上記の実施の形態に限定されるものではなく、ソフトウエアによる実現も可能であり、また複数のマイクロプロセッサを用いたＤＳＰ（デジタルシグナルプロセッサ）による実現も可能であることは勿論である。
【００３０】
【発明の効果】
以上説明したようにこの発明によれば、画像圧縮されたデータを復号し画像再生した際に発生するブロックノイズを低減することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態を示す図。
【図２】図１の垂直フィルタ及び水平フィルタを示す図。
【図３】図１の垂直補正回路、水平補正回路を示す図。
【図４】この発明の他の実施の形態を示す図。
【図５】画像圧縮エンコーダ及びデコーダを示す図。
【符号の説明】
１２…垂直フィルタ、
１３…水平フィルタ、
１４…加算器、
１５…ブロックノイズ抽出部、
１６…スイッチ、
１７、１８…エッジ成分メモリ、
１９…減算器、
２１…ブロックノイズメモリ、
２２…方形状ノイズ検出器、
２３…方形状ノイズメモリ、
２４…水平／垂直ノイズ処理部、
３２…垂直補正回路、
３３…水平補正回路。

Claims

画像データの高域成分を抽出する高域成分抽出手段と、
前記高域成分抽出手段から得られた前記高域成分から方形状画像を検出する方形状画像検出手段と、
前記方形状画像検出手段で検出された方形状画像の中から、本来の画像とブロックノイズとを識別する識別手段と、
前記識別手段により識別されたブロックノイズを前後の画素データを用いたフィルタリング処理により低減する補正手段とを具備し、
前記識別手段は、本来の画像とブロックノイズとを識別するために、フィールド又はフレーム方向に相関性がある方形状画像の場合は本来の画像と判定し、相関性がない方形状画像の場合はブロックノイズと判定することを特徴とするブロックノイズ除去装置。
前記高域成分抽出手段は、前記画像データによる画像の水平及び垂直方向の輪郭成分を抽出することを特徴とする請求項１記載のブロックノイズ除去装置。
逆ＤＣＴ処理された画像データが入力され、この画像データに含まれる高周波成分から方形状の成分を抽出する方形状成分抽出手段と、
前記方形状成分抽出手段で抽出された方形状成分のうち、フレーム又はフィールド間で相関性があるか否かを判定し、相関性があれば画像の輪郭、相関性がなければブロックノイズと判定する識別手段と、
この識別手段の判定結果に基づき、前記ブロックノイズの発生箇所の前記画像データをフィルタリングするフィルタ手段とを具備したことを特徴とするブロックノイズ除去装置。