JPH01501115A - 画素のブロックを介して作動する、ディジタル化された画像の符号化／復号化によって生じた雑音を低減するための方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ブロックを介して作動する、ディジタル化された画像の符号器／復号器によって 生じる雑音を低減するための方法及び装置発明の背が １、発明の分野 本発明はディジタル化された画像の処理、さらに特定的には、これらの画像を記 憶し又は伝送するために必要なディジタルデータの処理能力を低減させるため設 計されたシステムに係る。

低処理能力率でのカラーのディジタル画像の符号化は高いデータ減少比を要求す る。例えば１０Ｍピット／秒の処理能力率が想定されるならば、１４０Ｍビット ／秒でデータを供給するディジタル画像ソースについて、データ減少率は１４で ある。

２、先行技術の説明 公知の方法は、この形式の圧縮率を青るため直交変換を実施する符号器／復号器 を使用する。しかしこの形式の圧縮率はある種の状況においては画像内に障害を 生じる。

これらの障害は次のようなものである。

−ブロックの境界が画像の一様な帯域内で可視化する。

−可視振動が鋭い分離した遷移部に現われる。

、−データ復元の障害が画像の暗帯域内で可視化する。

本発明の目的は、画像ブロックの濾過を通してこれらの障害を取除く、符号化条 件に適合させた方法及びこれに対応する装置である。

及ｍη 本発明によれば、ディジタル画像の符号化／復号化によって生じる雑音を低減す るための方法は、画′＃またはポイントのブロック作動によるものであり、復号 化されたブロックの当該のポイントの特性値の処理を含む。

一画像の当該ポイント上に中心決めされた窓から平均特性値Ｍａｙを決定し、 −そして次に符号器の作動状態に関連するパラメータＮＲ及びこの平均Ｍａｙか らＰ″ＡＡパラメータｐ定し、−次にＰ′Ａパラメータｐの、その復号化された 特性１ｉｘ（ｉ、ｊ＞から当該ポイントについてＰ逃された値ｙ（ｉ、ｊ）及び 窓内の平均Ｍａｙ：ｙ（ｉ、ｊ）−ｐ、ｘ（ｉ、ｊ＞＋（１−ｐ）、Ｍａｙを決 定する。

発明のもう一つの目的は、符号化／ｖ１号化Ｈ［により生じるに音を除去するた めのＷＡＩＩ！であって、復号器の出力と結合した入力（Ｅ）をもつＮライン× Ｍカラムのディジタル化された画素ブロックによって作動し、かつ次の方法を実 現するために設定されたものである。

−この入力（Ｅ）は２Ｍ値に等しい容量をもつラインメモリの入力と、値２　（ Ｎ＋２＞の２つのカラムに等しい容量をもつカラムメモリの入力と、値（Ｎ＋２ ＞（Ｍ＋２）に等しい容量をもつ作動メモリの入力とに結合する。作動メモリも 同様にライン及びカラムメモリに結合される。

本ＷＡ１はさらに次の素子を含む。

−メモリ内に記憶された窓のポイントと結合した値から平均を計算するための回 路と、 一最初に平均計算回路と結合し、次に符号器の作動状態上の特定データの入力と 結合したｔ過パラメータｐを決定するための回路と、 一最初に平均計算回路の出力と、次に濾過パラメータを決定するための回路の出 力と結合した濾過回路であって、前記濾過回路の出力は濾過された特性値のシー ケンスを与える該濾過回路とである。

図面の簡単な説明 本発明は、添付図面を参照して行う以下の説明からよりよく理解され、またその 他の特性も明らかとなるであろう。図面の一第１図は濾過窓内の平均の関数とし ての濾過パラメータの変化を示すグラフである。

一第２図はブロックによる画像の走査を示す説明図である。

−第３図及び第４図は、走査されるブロック内の濾過窓の、それぞれ右から左及 び左から右への運動を図解する説明図である。

一第５図は本発明雑音低減装置の構成を示すブロック図である。

一第６図は第５図のメモリ１０．２０及び３０の取扱いの順序を説明する説明図 である。

好適具体例の説明 符号化は画像ブロックの直交変換の後に、非常に簡単に云えば、変換から生じる 成分数に従って、これらの成分を記憶し又は伝送するために、各変換ブロックの スペクトル成分の様々なサイズの部分を選択することに等しい。選択された成分 の数は符号器の作動状態の関数であり、即ちスルーブツトの調整の関数である。

スルーブツトを調節するために設計された素子は、空の状態又は充たされた状態 を交互にとることができるバッファメモリを含む。バッファメモリが充満すると 、メモリの充満レベルを下げるための符号化された成分の数を減らすことが必要 になる。任意の瞬間において、バッファメモリの充満は、符号器／復号器の作動 状態の特性値である状態変数ＮＲによって数量化されることができる。バッファ メモリがやっと満たされたときはＮＲは低い値で、直交変換から生じるすべての 成分が伝送されることができ、従ってバッファメモリが完全に満たされたとき、 ＮＲは高い値を持ちかつ伝送される成分数はｖｉＡ瞥によって減らされなければ ならない。

従って調整成分は、任意の瞬間に各ブロック内で符号化されるべき成分数を決定 する。次に、ブロックの適正な復元のために必要となるであろう成分数はこのブ ロック内に当初から含まれるデータに左右されるから、調整成分はこれを考白に 入れない。この事態は符号器／復号器によって復元された画像内に引起こされる 主要な障害の源である。

本発明によれば、これらの障害は画像ブロックの適応一過によって低減される。

この濾過は第１に平均局部輝度値を考慮し、第２に調整パラメータＮＲを考慮す る。さらに、画像の暗領域内のデータ復元障害に対処するため、調整パラメータ の値がそれを許すならば、これらの暗領域内のデリケートなＳ部を符号化する可 能性を保持することが重要である。

本発明雑音低減法の以下の詳しい説明は、障害が最も鋭敏な輝度の一過のための ものである。しかしこの説明は限定的なものではなく、同様な方法は色成分にも 適用することができる。

非濾過ブロックにより作動するテレビ信号用符号化／復号化システムの符号器に よって復元されるディジタル化された、即ち本発明処理以前の画素の輝度値をｘ （ｔ、ｊ）とする。

本発明による濾過画像の画素の輝度値をｙ（ｉ、ｊ）とする。

ラインｉ及びカラムｊの画素に調心された隣接要素内の画素の輝度レベルの平均 をＭａｙとする。この窓は以下に定義されるように３×３の寸法をもつことがで きる。

この場合、この窓内の輝度の平均は、 Ｍ　ａｙ＝　１／９Σｘ（ｉ＋に、ｊ＋１）但しに−（−１，Ｏ，＋１） 及びｔ”　（−１，Ｏ，＋１） 以下に示す通り決定された濾過パラメータｐについて、本発明で使用される濾過 は次の形をもつ。

ｙ（ｔ、ｊ）−ｐ、ｘ（ｉ、ｊ）＋（１−ｐ）、Ｍａｙこの公式は、ｐ＝１であ ればｙ＝　（ｉ、ｊ）＝Ｘ　（ｉ、ｊ）であることを示し、復元化された輝度の 値はこのように伝送される。これに対しｐ＝０であればＶ（ｉ、ｊ）＝Ｍａｙで あり、濾過された値は、窓内の平均による場合を除いて画素の輝度の符号化され た値にもはや左右されない。

このｐ値は第１に、窓Ｍｏｙ内の平均値の関数として選ばれ、第２に調整パラメ ータＮＲの関数として選択される。濾過のために用いられるｐ値がそこから決定 される２つの変数ＮＲ及びＭａｙの関数は、画像の心理視覚の様相に関連する。

例えば、次のタイプの関数、 ｐ＝　（１＋ｔＩＴＸゴ）、（ｔｏｇ（ＮＲ＋　１　）　ａ／５ｏｙ）ｂ）　− ”が良好な結果を与えることが示された。但しａとｂは処理後に画像の心理視覚 の様相に従って上記のように決定された経験値の定数である。例えばａは１１０ に等しく、ｂは６に等しいであろう。ＮＲ及びＭａｙの値に従って、ｐの異なっ た値が得られる。

第１図は様々なＮＲ値に従って及び以下に示す定数、即ちｂ−６及びａ−１１０ として、窓内の平均ｉｉＩＭＯＹの関数としてのｐの値を示す。定数すの値はカ ーブｐ−ｒ　（ＮＲ，ＭＯＹ）の傾斜に影響し、他方では定数ａは所定の値ＮＲ について、Ｄ−０，５をとるＭ　ｏｙ値を決定する。このカーブは、所定の局部 平均値ＭＯＶについて、値ｐは可変状態ＮＲが増加するとき減少することを示す 。これが、バッフ７メモリが飽和化されたときにより強力な濾過によって遷移の 影響を低減するという請求める目標であった。

実際に１具体例のＩ！４造では、可変調整値ＮＲは、様々な特性ｉｌｌ　（Ｍａ ｙ）　、即ち所定の可変状態値について平均値を介してアクセス可能な様々なプ ログラム化されたメモリを使用するため、母子化されなければならない。例えば ０．０．５．１，２゜３．４，５，７．１０の９個のレベルに従って可変ＳｇＩ 整を量子化することが可能である。従って８１は、種々な平均値に従ってアクセ ス可能な９個のＦＲＯＭをもち、ＦＲＯＭ。

ＮＰＲＯＭのアドレスは例えば次のようなコード変換表によって得られる。

濾過は次のように行われる。

ブロックによる処理が直交変換によって行われ、画像はこの直交変換について相 互に独立して考えられるコード化ブロックに小分けされるから、本発明ｒ８はフ レームによって、分析がブロックに等しい高さでありかつ長さがラインに等しい 長さであるバンドに治って行われるようにして実行される。またラインの最終ブ ロックは濾過作業のため、すぐ下に続くバンドのブロックの分析に直ちに引継が れ、即ち走査方向は１つのバンドからそれに続くバンドへ変更される。第２図は コード化ブロックが濾過作業のために分析される順序を示す。ブロックは左から 右へ分析される奇数行のバンドであり、偶数行のバンドブロックは右から左へ分 析される。

コード化ブロック間の境界を可能なかぎり消去するため、隣接ブロックの画素に 割り当てられた復号化された値を考慮することが必要である。代表的には３Ｘ３ の寸法の窓を用いる分析は、先行バンドの同じ列のブロックの最終の２つのライ ンの画素及び、同じバンドに先行する最後の２つのカラムの画素（当該ブロック の走査方向に）、並びに先行バンドに先立つブロック、即ち「対角線ブロックｊ 内のこれら２つのラインと２つのカラムを結合する４つの画素値を考慮するであ ろう。

上に指摘した通り、各ブロック内で、濾過は例えば３×３の寸法のスライド窓を 用いて行われる。従って濾過されるべき当該ブロックのためのメモリに加えて、 バンド内の走査方向に従って右から左へラインメモリとカラムメモリをもつこと が必要になる。

本発明に従って１６Ｘ　１６の画素のブロックによってコード化するための処理 に必要なポイントは第３図及び第４図に、それぞれブロックによる画像の分析方 向により、第３図の右から左及び第４図の左から右へ印されている。第３図及び 第４図では、点線で示した画素は当該ブロックにａするものであり、「＋ｊで示 した画素はラインメモリ内に記憶されたポイントであり、ｒＸＪで示した画素は カラムメモリに属するポイントである。

実線は当該ブロックの限界を示す。ラインメモリ内に記憶された値は、当該ブロ ックの上のブロックの最後の２つのラインから来る。ｒＸＪと印されたポイント は第１に同じ先行コード化バンドに隣接するブロックから、第２には下側の列に 屈する先行バンドのブロック、即ちフレームの分析される方向に従って上の右側 かあるいは上の左側のブロックから来る。濾過窓が移動するにつれて、ブロック の様々なポイントが濾過される。１例として、を過窓は第３図と第４図のそれぞ れに、２つの特定瞬間に示されている。濾過窓の中心のポイントは、窓がこの位 冒にある瞬間に濾過されるポイントである。これは線形で判別される。

上記のようなｔａ習法では、濾過ブロックはコード化されたブロックと正確には 一致しない。濾過されたブロックの限界は第３図及び第４図にダッシュで示され る。上記の処理法は、濾過されたブロックをコード化されたブロックと一致させ るため少し修正することができる。このため、処理されたブロックは１６ｘ１６ のサイズのコード化ブロックについて１８ポイントＸ１８ポイントの寸法を持つ から、処理は次のように行われる。

ｙ（ｉ、ｊ）＝ｘｆｉ＋１．ｊ＋１）、ｐ＋（１−ｐ）、Ｍａｙこの公式は右か ら左へのバンドに属するブロックについても有効である。右から左へ走査される ストリップについては、公式は次の通りである。

ｙ（ｉ、ｊ）＝ｘ（ｉ＋１．ｊ−１）、ｐ＋（１−ｐ）、　Ｍａｙ従って、１６ Ｘ　１６ポイントの濾過でブロックは、ｉライン列内にその左上側の第１ポイン トをもち、ｊカラムは１に等しい。

第５図は本発明雑音低減装置の構成図である。

この装置は、復号化ブロックからデータ列を受取る、Ｎライン及びＭカラムのサ イズのデータ入力Ｅをもつ。この入力は先ず第１に、復号化ブロックの２つの下 側のラインを記憶するために設計されたラインメモリ１０に結合する。このメモ リは２つの画像ラインの容量をもつ。データ入力Ｅはさらにカラムメモリ２０の 入力にも結合されており、このメモリ２０は各復号化ブロックについて、同じラ インの先行ブロックの最初の２つのカラム及び、上記のように対角線ブロックの かどの４つのポイントを記憶するべく設計されている。このメモリは２　（Ｎ＋ ２＞の容量をもつ。装置はさらに（Ｎ＋２＞・（Ｍ＋　２　）ポイントの容量を もつ、第１に当該ブロックのポイント、即ちＮＸＭポイントを受取りかつ第２に ラインメモリ１０内及びカラムメモリ２０内に記憶されたポイントを受取るよう に設計された作動メモリ３０を含んでいる。このためにブロックメモリ３０は３ つの入力をもち、それぞれラインメモリ１０の出力、カラムメモリ２０の出力、 及びデータ入力Ｅに結合している。ブロックメモリ３０はさらに走査方向を指示 する信号をもつ入力と、作動の進行につれて初期値設定場所に登録される異なっ たポイントに対応する濾過値を与えるように設計された別の入力とをもつ。

濾過作業については、ブロックメモリ３０は、（例えば）３×３のスライド窓内 の平均を計ｐするための回路４０の入力に結合した出力をもつ。この回路は６窓 の値から平均値Ｍａｙを計算する。この平均値は、ＮＲの様々な可能値について 、様々な可能平均値と結びついた一連の値を含むＰＲＯＭメモリ６０の入力に付 与される。このため、変数ＮＲは相互コード化回路５０の入力に付加されて量子 化される。吊子化された値はＰＲＯＭ６０の７ドレスの１部を構成し、アドレス の他の部分は平均Ｍ　ｏｙｆ７）値となる。量子化された調整パラメータＮＲ及 び平均に従って、ＰＲＯＭメモリ６０は次に濾過のため使用されることになるパ ラメータｐの値を与える。このｐの値はＰｙＡ回路７０の入力に付与され、この 回路の他方の入力は平均計算回路４０の出力に結合されて、これが当該ポイント ｙ（ｉ、ｊ）のための濾過値を計算する。この濾過された値はブロックメモリ３ ０に付与され、ここで初期復号化値は１シフト以内に置き換えられる。ブロック ３０のメモリはＦｙＡ値列を与えるデータ出力Ｓをもつ。

この平均値ＭｏｙはＰＲＯＭメモリ６０の入力に付与され、このメモリはＮＲの 異なった可能値について、様々な可能平均値と結びついた一通の値を含む。この ため変数ＮＲは、その量子化を行う相互コード化回路５０の入力に付与される。

吊子化された値はＰＲＯＭ６０のアドレスの１部であり、アドレスの他の部分は 平均Ｍａｙの値である。量子化制御パラメータＮＲ及び平均に従って、ＰＲＯＭ ６０はその後濾過のために使用されるであろうパラメータｐの値を送出する。こ のｐ値は濾過回路７０の入力に付与され、この回路の他方の入力は平均計算回路 ４０の出力に結合し、この回路は当該ポイントｙ（ｉｍｊ）について濾過値を計 算する。この濾過値はブロックメモリ３０に付与され、ここで初期復号化値は１ シフト以内に置き換えられる。ブロックメモリ３０は濾過値列を与えるデータ出 力Ｓをもつ。

上記の様々な回路は、順序回路８０によって制御される。このシーケンサは、第 ６図のタイムチャートによって図解された第５図のメモリ１０．２０及び３０を 取扱う特殊機能をもつ。

この図において、Ｅはメモリ内で書込みが行われる瞬時を示し、Ｌはメモリが読 取られる瞬時を示す。Ｃ１ｏはメモー〇内の上側の２つのラインの読取り及び書 込み動作のタイムチャート、Ｃ２ｏはメモリ２０内の２つの先行横方向カラムの 読取り及び書込み動作と、これにプラスして上側の対角線ブロックに属する４つ のポイント（ブロックの走査に応じて左又は右へ）のタイムチャートである。

ブロックメモリ３０内への言込みは相対３段階で処理される。

−Ｎ”　ＭＣ３ｏのサイズの主ブロックで、−横方向力ラムＣ３０’で、 −１側の２つのラインＣ３ｏＩで、 主要処理段階は第６図の下側のタイムチャート上にｔｌからｔ９と印されている 。これらの異なる段階は次の通りである。

−瞬時ｔ１においてニ ーメモリ３０内への復号化ブロックの第１ポイントの書込み。

−メモリ３０（Ｃ３Ｑ’）内への上側ラインのポイントの肉込み、従ってメモリ ２０の読取り。

一メモリ３０　（Ｃ３ｏ’）内へのカラムの点の書込み、従ってメモリ２０の読 取り。

一メモリ１０から取られた４つの上側対角線ポイントのメモリ２０内への書込み （後続ブロックの処理のため）。

−瞬時ｔ２において：メモリ２０内への対角線ポイントの占込みの終了。

一瞬時ｔ３において：濾過の開始及び次にメモリ帯域３０の読取り開始（濾過さ れたポイント）。

−瞬時ｔ４において：後続ブロックのためのカラムポイントに対応するブロック ラインの２つの末端ポイントの、メモリ２０内への言込みで、前記書込みはブロ ック内のライン数と同じ回数で行われる。

一１１時ｔ５において：メモリ１０内の上側ラインのポイントの読取りの終了と 、メモリ３０（Ｃ３ｏｌ）内への書込みの終了。

−瞬時ｔ６において：メモリ２０内へのカラムのポイントの読取りの終了及びメ モリ３０（Ｃ３゜Ｉ）内への書込み。

−瞬時ｔ７においてニブロックの２つの最終ラインへの到看；これらのラインは メモリ３０内と同時にメモリ１０内に記憶される。

一瞬時ｔ８において：メモリ３０内に書込まれた当該ブロックの終了をマークし 、ｔｌから示されたすべての手順が再び開始される（ダッシュ）。

一瞬時ｔ９において二当該ブロックの処理の終了。

本発明は上に説明した具体例に限定されないし、また例として示したディジタル 値に限定されない。特に平均を計算するため用いられる窓は、もつと大きくても よく、例えば５×５ポイントをもつことができ、当該ポイントはこの窓の中心の ポイントである。さらに調整パラメータ値Ｒ値が、平均値及び量子化調整パラメ ータからパラメータ値ｐを見い出すように量子化されている配列法は非限定の例 である。これら２つの値からパラメータｐの決定を可能にする任意の配列法が使 用できる。

本発明は、より特定的には、ディジタルビデオテープレコーダの画像の復元に適 用することができる。

国際調査報告 国際調査報告

Claims (7)

【特許請求の範囲】
1. （１）画素のブロックを介して作動する、ディジタル画像の符号化／復号化によ って生じる雑音を低減するための方法であって、復号化されたブロックの現在ポ インドの特性値を、−画像の現在ポイント上に中心決めされた窓から特性値の平 均Ｍｏｙを決定することによって、 −そして次に符号器の作動状態に関連するパラメータＮＲ及びこの平均Ｍｏｙか ら濾過パラメータＰを決定し、−そして濾過パラメータＰの、その復号化された 特性値Ｘ（ｉ，ｊ）から現在ポインドについて濾過された値ｙ（ｉ，ｊ）及び窓 内の平均Ｍｏｙ：ｙ（ｉ，ｊ）＝Ｐ．ｘ（ｉ，ｊ）＋（１−ｐ）．Ｍｏｙを決定 することによって処理する方法。
2. （２）平均が低いときにＰは０に近く、障害がこの場合小さいとはいえ相当に目 立つとき濾過が非常に強く、これに反して平均が高いときｐは１に等しく、復号 値がほぼこのように伝送されるときに濾過が非常に低くなる請求の範囲１に記載 の方法。
3. （３）符号器の作動状態に関連してパラメータＮＲが、伝送に先立って符号化成 分を蓄積するバッファメモリが充満するレベルに関連し、バッファメモリがやっ と充満するとき、濾過は低いかあるいは無効果すなわちＰ＝１であり、バッファ メモリが完全に満たされるときはより大きくなる請求の範囲１又は２に記載の方 法。
4. （４）濾過パラメータｐが濾過窓内の平均Ｍｏｙ並びにパラメータＮＲの関数と して、次の関数 ▲数式、化学式、表等があります▼ （但しａ及びｂはあらかじめ決定された値をもつ２つの定数である） に従って変化する請求の範囲３に記載の方法。
5. （５）画素と結合した特性値がディジタル化された輝度値である請求の範囲１に 記載の方法。
6. （６）Ｎライン×Ｍカラムのディジタル化された画素のブロックを介して作動す る、符号化／復号化装置によって生じる雑音を低減するための装置であって、複 号器の出力と結合した入力をもち、かつ請求の範囲１に記載の方法を実施するべ く設計されており、 −この入力が２Ｍ値に等しい容量をもつラインメモリの入力と、値２（Ｎ＋２） の２つのカラムに等しい容量をもつカラムメモリの入力と、値（Ｎ＋２）（Ｍ＋ ２）に等しい容量をもつ作動メモリの入力とに結合し、前記作動メモリも同様に ライン及びカラムメモリに結合されており、さらに該装置は次の素子、−メモリ 内に記憶された窓の水インドと結合した値から平均を計算するための回路と、 −最初に平均計算出力と結合し、次に符号器の作動状態上の特定データの入力と 結合した濾過パラメータｐを決定するための回路と、 −最初に平均計算回路の出力と、次に濾過パラメータを決定するための回路の出 力と結合する濾過回路で、該濾過回路の出力が濾過された特性値のシーケンスを 与える前記濾過回路とを含む装置。
7. （７）符号器の作動状態が、符号器内のメモリが満たされるレベルに関連する可 変状態ＮＲを特徴とし、さらに装置が相互コード化回路を含んでおり、該回路は 、前記可変状態を受取りさらに、アドレスの他の部分を構成するパラメータＰ、 平均Ｍｏｙを決定するためのＰＲＯＭメモリ形成回路のアドレスの１部を構成す るデータを与える請求の範囲６に記載の装置。