JPH09205652A

JPH09205652A - ビデオ信号処理用のノイズ推定および除去装置

Info

Publication number: JPH09205652A
Application number: JP8332569A
Authority: JP
Inventors: Robert Norman Hurst Jr; ノーマンハースト，ジュニアロバート; Jungwoo Lee; リージャンウー
Original assignee: RCA Licensing Corp
Current assignee: RCA Licensing Corp
Priority date: 1995-12-12
Filing date: 1996-12-12
Publication date: 1997-08-05
Also published as: US6285710B1; CN1155814A; DE69620984D1; CN1098597C; KR970056936A; TW363327B; KR100425640B1; ES2176417T3; EP0779742A2; EP0779742B1; RU2189700C2; EP0779742A3; DE69620984T2

Abstract

(57)【要約】【課題】ビデオ信号の現フレームの予測ピクセル値と
実際のピクセル値とのピクセル値の差を表す残差（１
２，１６，１７，１８，１４）を生成する手段を備えた
ビデオ信号圧縮装置が開示されている。【解決手段】ノイズ除去回路は非線形処理手段（５０
０）の形態になっており、高振幅の残差より大きい低振
幅の残差を減衰し、ノイズ予測（１３３３）に応答す
る。処理された残差は変換（１５）され、圧縮されたビ
デオ・データ出力が得られる。開示された非線形処理関
数はノイズを減衰し、画像歪みを除去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はビデオ信号処理およ
び圧縮装置用のノイズ除去に関し、さらに具体的には、
ビデオ信号符号化ループ内で使用されるノイズ除去装置
に関する。

【０００２】なお、本明細書の記述は本件出願の優先権
の基礎たる米国特許出願第０８／５７１，０４４号（１
９９５年１２月１２日出願）の明細書の記載に基づくも
のであって、当該米国特許出願の番号を参照することに
よって当該米国特許出願の明細書の記載内容が本明細書
の一部分を構成するものとする。

【０００３】

【従来の技術】ビデオ信号の圧縮のための予測符号化(p
redictive coding) は、現画像が時間的に隣接する画像
から容易に予測されるとき最も効率よく機能している。
しかるに、ソース・画像がノイズを含んでいるときは、
正確な予測が困難になり、圧縮効率(compression effic
iency)が低下し、あるいは再生される画像品質(image q
uality) が低下しているかまたはその両方が起こってい
る。従って、望ましいことは、圧縮プロセスに先立ち圧
縮しようとするビデオ信号に含まれるノイズを最小化す
ることである。

【０００４】図１を参照して説明すると、図１は従来の
予測画像符号化システム(predictive image coding sys
tem)を示したものである。エレメント１２〜２２は実際
の予測符号器(predictive coder)を構成しているが、こ
れについては以下で説明する。この種の従来システムで
は、ノイズ除去は、圧縮を行うのに先立ちビデオ信号を
事前処理する再帰形ノイズ除去フィルタ(recursive noi
ze reduction filter)１０を含むのが代表的である。フ
ィールドまたはフレーム再帰形フィルタが従来から好ま
しいとされているのは、アクティブ信号の帯域幅内のノ
イズ成分を効果的に除去できるからである。しかし、こ
の種のフィルタも非常にメモリ集中型(memory intensiv
e)であり、動画像特徴(moving image feature)の周囲に
望ましくないアーティファクト(artifact)が導入される
ことなく大幅なノイズ除去を行うためには、比較的込み
入った処理回路が要求されている。

【０００５】

【発明が解決しようとする課題】従って、本発明の目的
は付加的ハードウェアを最小限にして、予測符号器用の
高効率ノイズ・フィルタ装置を提供することである。

【０００６】

【課題を解決するための手段】請求項１記載の本発明の
第１の形態は、ピクセル・データを含んでいる画像を表
すビデオ信号を圧縮する装置において、前記ビデオ信号
に含まれるノイズを推定し、出力を得るための手段と、
低振幅成分および高振幅成分を有する残差（１２，１
６，１８，１７，１４）を生成する手段（１３３３）で
あって前記残差は、圧縮される該ビデオ信号の現フレー
ムの予測ピクセル値と実ピクセル値とのピクセル値の差
分を表しているものと、前記生成手段に結合されてい
て、高振幅の残差より大きい低振幅の残差を減衰して出
力を得るための非線形処理手段（５００）であって、該
非線形処理手段の伝達関数は前記ノイズ推定に応答する
ものと、前記処理された残差を変換して、圧縮されたビ
デオ・データ出力を得るための変換手段（１５）とを備
えたことを特徴とする。

【０００７】ここで、請求項１において、前記ノイズ推
定はピクセル予測誤差の関数として得られることとする
ことができる。

【０００８】さらに、請求項２において、前記ノイズ推
定は画像エリア内の動きが実質的にゼロであるとき得ら
れることとすることができる。

【０００９】ここで、請求項１において、前記伝達関数
は可変時間インターバルで前記ノイズ推定に応答するこ
ととすることができる。

【００１０】ここで、請求項１において、可変時定数を
もち、前記ノイズ推定を時間的にフィルタリングするフ
ィルタをさらに含み、前記非線形処理手段の前記伝達関
数は前記時間的にフィルタリングされたノイズ推定に応
答することとすることができる。

【００１１】さらに、請求項５において、前記可変時定
数フィルタはノイズ推定値を増加させる長い（低速の）
フィルタ時定数およびノイズ推定値を減少させる短い
（高速の）フィルタ時定数をもっていることとすること
ができる。

【００１２】ここで、請求項１において、前記ノイズ推
定を空間的にフィルタリングするフィルタをさらに含
み、前記非線形処理手段の伝達関数は前記空間的にフィ
ルタリングされたノイズ推定に応答することとすること
ができる。

【００１３】ここで、請求項１において、前記伝達関数
はウィンドウ幅がｗであるコアリング・ウィンドウをも
つコアリング関数であり、ｗは前記ノイズ推定に応答す
ることとすることができる。

【００１４】ここで、請求項１において、前記伝達関数
はコアリング関数であり、該コアリング関数は画像のエ
リアにおける動きに応答することとすることができる。

【００１５】さらに、請求項９において、該装置は前記
ピクセル・データをブロック単位で処理し、前記コアリ
ング関数内のコアリングの程度はピクセル・ブロックに
おける動きに応答することとすることができる。

【００１６】さらに、請求項９において、該装置は前記
ピクセル・データをブロック単位で処理し、前記コアリ
ング関数はあらかじめ決められたしきい値より小さい画
像の動きを示しているピクセル・ブロックに対応する残
差にだけ適用されることとすることができる。

【００１７】ここで、請求項１において、前記ノイズ推
定は画像のエリアにおける動きの程度に関して逆である
こととすることができる。

【００１８】ここで、請求項１において、前記非線形処
理手段は線形伝達関数を含む、複数の選択可能な伝達関
数を提供することとすることができる。

【００１９】ここで、請求項１において、前記伝達関数
はコアリング・ウィンドウをもつコアリング関数であ
り、該コアリング関数は前記現フレームの画像内容の変
化の関数であることとすることができる。

【００２０】ここで、請求項１において、前記伝達関数
はコアリング・ウィンドウをもつコアリング関数であ
り、該コアリング関数は前記コアリング・ウィンドウの
外側に恒等関数を実質的に備えたこととすることができ
る。

【００２１】ここで、請求項１において、前記伝達関数
はコアリング・ウィンドウをもつコアリング関数であ
り、該コアリング関数は前記ウィンドウの内側に下に凸
の増加関数を実質的に備えたこととすることができる。

【００２２】請求項１７記載の本発明の第２の形態は、
信号中に含まれるノイズをフィルタリングする装置にお
いて、前記信号を受信し、処理することによりフィルタ
リングを行うのに適した出力を得るための入力プロセッ
サ（１２）と、前記入力プロセッサに結合されていて、
高振幅成分よりも多い前記処理された出力の低振幅成分
を減衰し、フィルタリングされた出力を得るための非線
形処理手段（５００）とを備え、前記非線形処理手段の
伝達関数はコアリング・ウィンドを有するクラスのコア
リング関数であり、該コアリング関数は、（ａ）前記コ
アリング・ウィンドウの外側に、出力が入力と等しくな
っている恒等関数と、（ｂ）該コアリング・ウィンドウ
の内側に下に凸の増加関数とを実質的に備えたことを特
徴とする。

【００２３】ここで、請求項１７において、前記伝達関
数は前記クラスに属する伝達関数を含む複数のコアリン
グ関数から適応的に選択されることとすることができ
る。

【００２４】さらに、請求項１８において、前記伝達関
数は前記ビデオ信号中に含まれるノイズの推定に基づい
て選択されることとすることができる。

【００２５】ここで、請求項１７において、前記伝達関
数は部分線形伝達関数であることとすることができる。

【００２６】ここで、請求項１７において、前記コアリ
ング・ウィンドウの内側の前記伝達関数（ｆ（ｘ））
は、

【００２７】

【数２】

【００２８】の形式になっており、ただし、ｎは整数で
あることとすることができる。

【００２９】本発明によれば、ビデオ信号を処理し、圧
縮するときノイズを除去している。ビデオ信号圧縮装置
は、ビデオ信号の現フレームの予測ピクセル値と実ピク
セル値(predicted and real pixel values) とのピクセ
ル値の差分を表している残差(residue) を生成する回路
を含んでいる。非線形プロセッサ(nonlinear processo
r) は高振幅の残差よりも大きい低振幅の残差を減衰
し、ノイズ推定に応答する。処理された残差は変換さ
れ、圧縮されたビデオ・データ出力が得られるようにな
っている。

【００３０】本発明の特徴によれば、非線形処理関数(n
onlinear processing functions)がノイズ推定、ノイズ
減衰および画像歪みの除去について開示されている。

【００３１】本発明の別の特徴によれば、ノイズ推定関
数(noise estimation functions)が開示されている。

【００３２】

【発明の実施の形態】以下、国際標準化機構(Internati
onal Standardisation Organization - ＩＳＯ）の動画
専門家グループ(Moving Picture Experts Group - ＭＰ
ＥＧ）によって確立されている標準に記載されているも
のと類似のビデオ圧縮を例にして、本発明について説明
することにする。ＭＰＥＧプロトコルに記載されている
タイプの動き補償予測符号化(motion compensated pred
ictive encoding)では、フレーム内符号化(intraframe
encoding) とフレーム間符号化(interframe encoding)
の両方が必要である。つまり、Ｎ番目のフレームごとに
フレーム内符号化が行われ、規則的な時間的信号補充(r
egular temporal signal replenishment) を保証してい
る。介在フレーム(intervening frame) は、先行フレー
ム(prior frame)に従属する連続フレーム内の圧縮デー
タでフレーム間またはＤＰＣＭ予測符号化されている。
フレーム内符号化フレームはＩフレームと呼ばれ、フレ
ーム間符号化フレームは順方向に予測されるだけである
か、順方向と逆方向に予測されるかに応じてＰフレーム
またはＢフレームと呼ばれている。予測符号化のプロセ
スは、それぞれの画像を小さなエリアに分割し、隣接画
像をサーチして隣接画像から同一またはほぼ同一のエリ
アを見つけることによって行われる。隣接画像に置かれ
ているエリアのロケーションおよび現画像のエリアと隣
接画像の対応する同一またはほぼ同一のエリアとの差分
が符号化されて、送信されるようになっている。なお、
対応するエリアが実際には同一である場合には、すべて
の差分はゼロであるので、そのエリアは、対応するエリ
アのロケーションを示すベクトルとすべての差分がゼロ
であることを示すコードだけで符号化することが可能で
ある。従って、圧縮される同一またはほぼ同一の画像
は、比較的少ないコードワードで実現することが可能で
ある。これとは別に、画像がかなりの程度のノイズを含
んでいる場合には、当然に理解されるように、フレーム
からフレームまでの画像エリアの相関関係は低下し、こ
れに伴って残差データが増加するので、圧縮されるコー
ドワードもこれに応じて増加することになる。

【００３３】図１に示すように、例えば、カメラによっ
て生成されたビデオ信号は再帰形ノイズ除去器(recursi
ve noise reducer) １０に入力され、そこでビデオ信号
は圧縮される状態に置かれる。残りの装置は比較的公知
の構成になっているので、概要を説明することに留め
る。ノイズ除去器１０からのＩフレーム・ピクセル・デ
ータは減算器(subtractor)１２から未変更のままで符号
器(encoder) １５に渡される。符号器１５はピクセル・
データに対して（８×８ピクセルのブロック単位で）離
散コサイン変換 (discrete cosine transform - ＤＣ
Ｔ）を行い、ＤＣＴ係数(coefficient) が生成される。
この係数はデータ・レート(data rate) を制御するよう
に量子化され、大多数のゼロ値の係数が集合されてラン
レングス符号化(run-length coding) を効率化するよう
に、あらかじめ決められたシーケンスに配列される。そ
のあと、符号器はこれらの係数をランレングスおよび統
計的に符号化する。符号化ピクセルを表すデータはフォ
ーマッタ(formatter) １９に入力され、そこで、それぞ
れのブロックがフレーム内に置かれているソース・ロケ
ーション、符号化タイプ（Ｉ、Ｐ、Ｂ）、フレーム番
号、タイム・スタンプなどを示す情報が、例えば、ＭＰ
ＥＧ２などの、選択された圧縮プロトコルに従って付加
される。フォーマッタからのデータはトランスポート・
プロセッサ(transport processor) ２０に入力され、そ
こで、フォーマッティングされたデータは特定のビット
数のペイロード・パケット(payload packet)にセグメン
ト化され、それぞれのペイロードをトラッキング（追
跡）するための識別子(identifier - ＩＤ）が生成さ
れ、同期情報が生成され、エラー訂正／検出コードが発
生され、そのコードがそれぞれのペイロード・パケット
に付加されて、トランポート・パケットが構成される。
トランスポート・パケットは適当なモデム２２に入力さ
れ、そこから送信されることになる。

【００３４】符号器１５からのＩ圧縮フレームは復号器
(decoder) １６に入力され、そこでは符号器１５の逆関
数が実行される。Ｉ圧縮フレームの場合は、復号器１６
の出力は再現されたＩフレームである。伸張(decompres
sed)されたＩフレームは未変更のままで加算器(adder)
１８からバッファ・メモリ１７に渡され、後続のＰフレ
ームとＢフレームの予測圧縮に備えてそこにストアされ
る。ＰフレームとＢフレームの予測符号化はほぼ同じで
あるので、以下ではＰフレームの圧縮について説明する
ことにする。現在圧縮しようとしているＰ画像・フレー
ムは動き推定器(motion estimator)１４に入力され、そ
こでフレームは例えば、１６×１６ピクセルのブロック
に分割される。そのあと、動き推定器１４は先行Ｉまた
はＰフレームをサーチして、類似する１６×１６ピクセ
ル・ブロックを探し出し、現フレーム内のブロックとサ
ーチしているフレーム内の最も近い同一ブロックの、空
間座標における相対的差分を示すベクトル群を計算す
る。このベクトルを使用して、バッファ・メモリ１７に
置かれている対応する伸張フレームからの対応するブロ
ックは減算器１２に結合され、そこでメモリ１７からの
予測ブロックが、伸張される現フレームの対応するブロ
ックからピクセル単位(pixel by pixel basis)で減算さ
れる。減算器から得られた差分または残差は符号器１５
に入力され、そこで、Ｉフレーム・ピクセル・データと
同じように処理される。推定器１４によって生成された
ベクトルはフォーマッタ１９に結合され、そこで、それ
ぞれのブロックに関連する符号化データの一部として含
まれる。

【００３５】圧縮Ｐフレームは復号器１６で復号化（デ
コード）され、加算器１８に入力される。これと同時
に、そのフレームが予測されたときの画像フレームのそ
れぞれのブロックは、予測器(predictor) １３によって
バッファ・メモリからアクセスされ、加算器１８の第２
入力端に入力され、そこで復号化残差または差分がピク
セル単位で加算されて、実際の画像が復元される。加算
器18からの復元されたピクセルＰフレーム・データは、
後続のＰまたはＢフレームの予測符号化または復号化に
備えてバッファ・メモリ１７にストアされる。

【００３６】ここで重要なことは、Ｉフレームが処理さ
れるとき、予測器１３は減算器１２と加算器１８の両方
にゼロ値を入力することである。従って、入力されるＩ
フレームは未変更のままで減算器１２から渡され、復号
器１６からの復号化Ｉフレームは未変更のままで加算器
１８から渡される。

【００３７】図２は本発明の第一の実施の形態を示す図
である。図２において、圧縮装置は図１の装置とほぼ同
じであり、図１のエレメントと類似の符号が付いている
エレメントは類似の関数を実行するものである。主な違
いは、非線形エレメント５００が追加されていること
と、図１のエレメント１３の関数を実行するエレメント
１３３３に若干の付加的関数が追加されていることの２
つである。

【００３８】非線形エレメント５００は減算器１２と符
号器１５の間に接続されている。このエレメントは、あ
らかじめ決められた値より大きいの信号値だけを渡すよ
うに構成されている。エレメント５００は、あらかじめ
決められた値以下のすべての値についてはゼロ値を渡
し、あらかじめ決められた値を越えるすべての値につい
ては信号値から、あらかじめ決められた値を差し引いた
値を渡す単純なコアリング回路(coring circuit)にする
ことが可能である。これは図３に部分線形関数(piece w
ise linear function)（曲線Ｂ）で示されている。これ
とは別に、エレメント５００は、あらかじめ決められた
値より小さいすべての信号値についてはゼロ値を渡し、
あらかじめ決められた値を越えるすべての信号値につい
てはその信号値を渡すようにした、もっと典型的なコア
リング回路の形態にすることも可能である。エレメント
５００のさらに別の関数として、図３にＡで示す曲線の
ように、もっと緩やかな曲線関数にすることが可能であ
る。

【００３９】ノイズ・フィルタリングにおいて利点があ
る、本発明による追加の例示的な代替の非線形伝達関数
(nonlinear transfer functions)が図６と図７に例示さ
れている。非線形エレメントの伝達関数はコアリング
「ウィンドウ」領域（図６と図７のＷから−Ｗまで）の
外側で恒等関数（identity function - 出力が入力と等
しくなっている関数）となっていることが望ましい。ま
た、非線形エレメントの伝達関数はコアリング領域と非
コアリング領域との間の移行がスムーズになっているこ
とが望ましい。さもなければ、これらの２つのコアリン
グ・フィーチャ(coring features) がないために画像歪
みが生じるおそれがある。これらのフィーチャが得られ
る、本発明による非線形伝達関数は、（ａ）コアリング
・ウィンドウの外側では恒等関数となり、（ｂ）コアリ
ング・ウィンドウの内側では下に凸の増加関数(convex-
downward and increasing function) となるクラスの関
数である。所望の非線形伝達関数が得られるクラスの関
数は次式によって与えられる。

【００４０】

【数３】ｆ（ｘ）＝ｘ｜ｘ｜＞Ｗのときｆ（ｘ）＝ｇ（ｘ）｜ｘ｜≦Ｗのときここで、ｇ（ｘ）はｘ（例えば、ｘ² ）の下に凸の増加
関数であり、ｇ（Ｗ）＝Ｗである。

【００４１】図６の曲線は次のように定義されている。

【００４２】

【数４】

【００４３】ここで、ｎは整数で、コアリング・ウィン
ドウ (｜ｘ｜≦Ｗ）内のコアリング関数の凸面を制御す
るものである。ｎの値が大きくなると、コアリング関数
の曲線Ｂは領域｜ｘ｜＜Ｗ内でより凸になり、ゼロに近
くなる。ｎ＝１ならば、コアリング関数は恒等関数にな
る。

【００４４】図７の曲線は上述した関数クラスを部分線
形凸関数として実現した例である。図７の曲線は次のよ
うに定義されている。

【００４５】

【数５】ｆ（ｘ）＝ｘ｜ｘ｜＞Ｗのとき（図７の曲線Ｃ）ｆ（ｘ）＝ａｘ｜ｘ｜＜Ｔのとき（図７の曲線Ｅ）ｆ（ｘ）＝ｂｘＴ＜｜ｘ｜＜Ｗのとき（図７の曲線Ｄ）ここで、ａ＜ｂおよび０＜Ｔ＜Ｗである。パラメータＴ
はコアリング関数の凸面を制御するしきい値である。

【００４６】上述した関数はいずれも、処理される信号
によってアドレスされるように構成された、ユニット５
００内のメモリのそれぞれのアドレス・ロケーションに
置かれるように、これらの関数をプログラミングするこ
とにより得ることができる。非線形エレメント５００の
メモリは複数の異なる伝達関数でプログラミングするこ
とが可能であり、伝達関数は予測ユニット１３３３から
の制御信号に応答して選択することが可能である。これ
については後述する。伝達関数を選択する他の方法は、
例えば、米国特許第5,258,928 号（Zdepski 他）に記載
されている。さらに、本発明による上述したクラスの非
線形関数は、幅広い応用分野においてフィルタリングと
ノイズ除去に適している。応用分野は、上述したビデオ
符号器のインループ・コアリング・システム(in-loop c
oring system) だけに限られてない。潜在的な応用分野
としては、通信またはブロードキャスト用の衛星、地上
およびケーブル・システムがあり、この中には、電話通
信(telephony) も含まれる。例えば、これらの関数は、
静止画の圧縮、モデムまたは音声圧縮(speech compress
ion)にも利用可能である。

【００４７】図２において、圧縮器(compressor)は２種
類の圧縮、つまり、フレーム内圧縮とフレーム間圧縮を
行う。後者の圧縮では、エレメント５００に入力される
信号は、２つの独立フレームのピクセル差分をとること
によって生じた残差である。前者の圧縮では、エレメン
ト５００に入力される信号は、未変更のままのビデオ信
号である。後者の雑音電力(noise power) は前者より大
きい２の平方根であり、後者の信号レベルは前者より大
幅に小さくなっている。従って、フレーム内ビデオ信号
の信号対雑音化(signal to noise ratio, Ｓ／Ｎ比）
は、信号を汚染(contaminate) しているノイズ量に関係
なく、フレーム内残差の信号対雑音化より大幅に大きく
なっている。

【００４８】信号対雑音化に違いがあることから、フレ
ーム内圧縮期間に入力される非線形関数はフレーム間圧
縮の場合とは異なっていなければならない。例えば、非
線形関数が部分線形コアリングであれば、それ以下にな
るとフレーム内の値がコアリングされる、あらかじめ決
められた値はフレーム間の残差より大幅に大きくするこ
とができる。これとは別に、フレーム内信号の信号対雑
音化は残差に比べて相対的に大になるので、非線形エレ
メントはフレーム内信号を未変更ままで渡すように条件
づけることが可能である。ＢフレームとＰフレームの予
測符号化フレームの相対的信号対雑音化は、Ｐフレーム
間のＢフレームの数に応じて大幅に異なることも起こり
得る。従って、予測符号化のタイプが異なるごとに、エ
レメント５００で異なる非線形関数を適用することが望
ましい場合がある。非線形エレメントの適応制御(adapt
ive controlling)は、Ｉ、ＰおよびＢフレームが符号化
されるとき予測器１３３３がそれぞれの制御信号を入力
することによって行われる。

【００４９】以上のほかに、本出願の発明者は、カメラ
などのソースからの到来ビデオ信号に含まれるノイズ
は、例えば、パンニング操作(panning maneuver)などの
操作上の変化を含む、種々の要因の結果として時間の経
過と共に（例えば、フレームからフレームへ）変化する
ことがあることを認めた。さらに、到来ビデオ信号に含
まれるノイズは、例えば、シーンの変化が原因して画像
フレームの部分内でも変化することがあることを認め
た。従って、発明者は、画像ノイズの推定に基づいて非
線形エレメント関数を変化させると利点があることを認
識した。これについては、以下で詳しく説明する。

【００５０】図４は、すべてのタイプのフレーム間およ
びフレーム内の圧縮を行うとき類似の非線形関数を使用
するのに役立つ実施の形態を示したものである。図４に
おいて、図１のエレメントと類似の符号が付いているエ
レメントは類似のものであり、類似の関数を実行するも
のである。図４の回路では、減算器１２と符号器１５の
間に非線形エレメント５０が置かれている。この非線形
エレメントの関数は図５に示すもの（標準コアリング関
数）と同じにすることも、エレメント５００に関して説
明した関数と同じにすることも可能である。

【００５１】フレーム間フレームの圧縮が行われると
き、スイッチｓｗ１とｓｗ２は図示の位置とは別の位置
に置かれている。スイッチがこの位置にあるときは、シ
ステムはフレーム間符号化を行うときの、図２のシステ
ムと同じ構成になっており、まったく同じように動作す
る。従って、エレメント５０の非線形関数は、フレーム
間符号化を行うときのパフォーマンス予想に従って選択
される。

【００５２】フレーム内符号化では、復号器１６からの
復号化フレーム内信号は未変更のままで加算器１８に渡
すことが必要である。これはスイッチｓｗ１を使用して
行われるが、このスイッチはＩフレームの符号化を行う
ときゼロ値を渡すように、予測エレメント１３３によっ
て条件づけられている。これと同時に、スイッチＳＷ２
は図４に示す位置に移動される。

【００５３】非線形エレメントがＩフレーム信号に有利
な作用を及ぼすようにするために、これらの信号対雑音
化が相対的に高いことに鑑みて、Ｉフレーム信号はノイ
ズ処理のとき人工的に除去され、ノイズ処理のあとで復
元される。Ｉフレーム信号の除去は、予測Ｉフレームを
生成し、その予測Ｉフレームを減算器１２に入力するこ
とによって行われる。減算器から得られる差分はフレー
ム間残差と同じ大きさになっているので、非線形エレメ
ントは差分に対して同じように操作することになる。予
測器１３３から得られた予測信号は、次に、非線形エレ
メントから得られた信号に戻されて加算され、入力Ｉフ
レーム信号はそのオリジナル値にほぼ復元されることに
なる。

【００５４】予測Ｉフレームを生成するには、いくつか
の方法がある。１つの方法は、現Ｉフレームで配置され
たピクセル・ブロックを、バッファ１７に入っている最
後の復号化フレーム（これはＩフレームでない場合があ
る）から出力するように予測器１３３を条件づけるだけ
の単純な方法である。しかし、好ましい方法はＩフレー
ムをもっと正確に予測することであり、この方法による
と、ＰまたはＢフレームを予測するのと同じようにＩフ
レームを予測することができる。なお、予測を行うため
には、時間的に間隔が置かれたフレーム内の類似ピクセ
ル・ブロック間を空間的に対応づける動きベクトル(mot
ion vector) が必要になる。一般的には、符号化Ｉフレ
ームは動きベクトルを含んでいない。しかるに、符号器
はＰフレームとＢフレームのベクトルを生成する動きベ
クトル生成装置を含んでいるので、Ｉフレームの動きベ
クトルも生成するように、この装置をプログラミングす
ることは簡単である。これらの動きベクトルは、ノイズ
除去を目的に予測Ｉフレームを生成するために符号器で
使用されたあとで、破棄すること、つまり、符号化ビッ
ト・ストリームに含めないようにすることができる。別
の方法として、ＭＰＥＧプロトコルで提案されているよ
うに、エラー隠蔽目的のためにＩフレームの動きベクト
ルが符号化ビット・ストリームに含まれることも可能で
ある。

【００５５】以下では、非線形エレメント５０がＴの値
より大の大きさをもつ、すべての信号サンプルを渡すよ
うにプログラムされているものとして説明するが、Ｔの
値は公称的には非常に小さくなっている。また、予測器
から得られる信号はＳ（ｎ）であり、入力Ｉフレーム信
号はＩ（ｎ）であるものとする。エレメント５０を無視
すると、スイッチＳＷ２の上部コンタクトに送られる信
号はＩ（ｎ）−Ｓ（ｎ）である。この信号は加算器５２
の一方の入力端に結合され、信号Ｓ（ｎ）は加算器５２
の第２入力端に入力される。加算器５２は、信号Ｉ
（ｎ）−Ｓ（ｎ）＋Ｓ（ｎ）＝Ｉ（ｎ）を提供する。こ
れらの値は符号器１５に結合され、入力値から未変更の
ままになっている。減算器１２から得られた差分が±Ｔ
以内にある出力値Ｉ（ｎ）だけが、非線形エレメント１
２による作用を受けることになる。従って、予測器１３
３から得られるＩフレーム予測が非常に正確であると、
つまり、±Ｔの偏差内にあると、非常に好都合であり、
その場合には、非線形エレメント５０が実質的にノイズ
成分だけに作用を及ぼす。

【００５６】上述した説明では、フレームはフレーム内
符号化フレームとして、あるいはフレーム間符号化フレ
ームとして、その全体が符号化されるものとして想定し
ている。例えば、ＭＰＥＧ標準では、ビデオ信号はブロ
ック単位で符号化され、サーチ・フレーム内にほとんど
一致するものが見つからなかったときは、ＰまたはＢフ
レームのある種のブロックをフレーム内符号化モードで
符号化するように規定されている。そのような場合に
は、予測器１３、１３３および１３３３は、現在の処理
タイプに応じて非線形処理エレメント１５、５０および
５００をそれぞれブロック単位でスイッチするようにプ
ログラムされることになる。従って、特許請求の範囲の
請求項において、フレームをフレーム間処理モードに従
って圧縮すると言及されている場合には、当然に理解さ
れるように、かかるフレーム内のピクセル・ブロックの
１つひとつはフレーム内処理が可能であるので、これら
の請求項はかかる混合モードで処理されるフレームに適
用されることを目的としている。

【００５７】前述したように、発明者は、画像ノイズの
推定に基づいて非線形エレメントの伝達関数を変化させ
ると利点があることを認識した。さらに、非線形エレメ
ントの伝達関数はフレームとフレームの間と１つのフレ
ーム内で信号対雑音化が変化したとき、符号器をその変
化に適応させるようすると利点があることも認識した。
このような信号対雑音化の変化は、例えば、カメラでパ
ンニング操作を行ったり、シーンが変化したりすると起
こる場合がある。さらに、本発明によれば、画像ノイズ
と画像エリア内の動きの程度の間には、逆関係があるこ
とも認められている。同じような逆関係は、本発明によ
れば、画像ノイズと画像エリア内の動きの複雑性の間に
もあることが認められている。さらに、例えば、望まし
いコアリング幅と画像動き(image motion)の程度および
複雑性の間にも逆関係が存在する。

【００５８】図２に示す符号器の実施例では、予測ユニ
ット１３３３は符号化しようとしている現ピクセル・ブ
ロックに関連するノイズを推定する。このノイズ推定に
基づいて、ユニット１３３３はユニット５００のコアリ
ング関数のコアリング幅を適応させ（図６に例示されて
いる）、制御信号を介して減算器１２からの残差をフィ
ルタリングするようにしている。ユニット１３３３はＰ
またはＢフレーム内で符号化されるピクセル・ブロック
のコアリング幅を、選択可能なインターバルで適応させ
るようになっている。しかるに、ユニット５００はＩフ
レームのピクセル・ブロックを未変更のままで渡すよう
になっている。ノイズ推定と非線形エレメント更新オペ
レーションは、以下で説明するようにユニット１３３３
によって行われる。その他の符号器のオペレーションは
図２を参照して前述したとおりである。

【００５９】ユニット１３３３は、現在符号化しようと
しているピクセル・ブロック（現ブロック）について動
き推定器１４から得られた動きベクトルを検査する。こ
の動きベクトルがほぼゼロであり、現ブロックの予測誤
差があらかじめ決められたしきい値より小さいときは、
ノイズ推定が計算される。ユニット５００の非線形エレ
メント伝達関数はこのノイズ推定に基づいて変更され
る。ほぼゼロ値の動きベクトルと低予測誤差が現れたと
きだけノイズ推定を計算すると、ノイズ推定の正確性が
向上する。これは、ゼロ値の動きベクトルと同時に起こ
る、大きなシーン変化に関連する誤差が減少するためで
ある。予測誤差は現ブロックの平均自乗誤差（Mean Squ
are Error - ＭＳＥ）として計算される。例えば、Ｎ個
のピクセルを含み、各ピクセルがピクセルの輝度(brigh
tness)（白黒のピクチャを想定した場合は、グレー・シ
ェード(gray shade)）を定義しているルミナンス値(lum
inance value) をもつマクロブロック(macroblock)で
は、ＭＳＥ値は次式で与えられることになる。

【００６０】

【数６】

【００６１】上記において、ｕ_i は現ブロックのピクセ
ル・ルミナンス値、

【００６２】

【外１】

【００６３】である。Ｎは現ブロック内のピクセル・ル
ミナンス値の個数である。例えば、１６×１６ピクセル
・マクロブロックを想定すると、ＭＰＥＧ標準ではＮ＝
２５６である。ＭＳＥ値が低いときは、予測値の揮発性
(volatility)が少なく、当て推量(guesswork) が少ない
ことを示しているので予測が良好化していることを意味
する。ノイズ推定σは、ほぼゼロ値の動きベクトルと低
い予測誤差が現れたことを所与の条件として、ＭＳＥ値
が画像ブロック・ノイズを表しているものとして判断さ
れる。ノイズ推定αは次式のように求められる。

【００６４】

【数７】

【００６５】フレームで計算されたノイズ推定α値は平
均化されて、フレーム・ノイズ推定値ｅが得られる。σ
値はフィルタにかけられて、フィルタ処理され、平均化
されたフレーム・ノイズ推定値ｅを提供することも可能
である。ユニット５００の非線形エレメント伝達関数を
更新するために使用される最終的ノイズ推定は、次に、
現フレームと先行フレームのｅ値の重み付け平均値とし
て計算される。ユニット５００の非線形エレメント関数
は、好適実施例では１０フレームのインターバルで更新
される。しかしながら、非線形エレメント伝達関数は、
多数のフレーム(１０より大）から個々のピクセル・ブ
ロック符号化周期に対応するインターバルまでの範囲に
わたる、選択可能なインターバルで変化させることも可
能である。選択されるインターバルは、あらかじめ決め
られた範囲内にあるノイズ推定の変化に基づいて自動的
に判断させることも可能である。

【００６６】フレーム・ノイズ推定値の平均化計算は、
次の有限インパルス応答 (Finite Impulse Response -
ＦＩＲ）フィルタ関数を用いて行われ、ユニット５００
の非線形エレメント伝達関数を更新するために使用され
る

【００６７】

【外２】

【００６８】が得られる。

【００６９】

【数８】

【００７０】

【外３】

【００７１】行われる。ｅ_n-j 値は先行フレーム・ノイ
ズ推定を表し、ｊ＝Ｎおよび対応するｅ_n-N は現フレー
ムに先行してＮ個のフレームだけ現れたフレームのノイ
ズ推定値であり、ｊ＝０および対応するｅ_n は現フレー
ムのノイズ推定値である。特に、好適実施例におけるよ
うに、使用される先行ノイズ推定が１つだけの場合は、

【００７２】

【外４】

【００７３】与えられる。

【００７４】

【数９】

【００７５】上記において、αは経験的に求められた定
数値であり、好適実施例では約０．８になっている。

【００７６】重み係数値ｈ_j は現ノイズ推定の確信度(c
onfidence measure)を用いて動的に求め、更新すること
も可能である。例えば、‘ｈ’係数は総画像エリアに相
対するゼロ値動きベクトル・エリアの関数としても、動
きベクトル値の関数としても求めることができる。

【００７７】ユニット５００の非線形エレメント・コア
リング関数のコアリング・ウィンドウ幅ｗは次式に従っ
て求められる。

【００７８】

【数１０】

【００７９】ここで、ｃは経験的に求められた固定の重
み定数であり、０と１の間の値になっている。定数ｋは
シーン内容に依存し、動きベクトル、相関係数および複
雑度係数(complexity factors)を含む、符号器統計(enc
oder statistics)の測定に基づいて経験的に求められ
る。ｋの値は、例えば、いくつかの代替ｋ値を用いてテ
スト・ビデオ・データを反復的に符号化することによっ
て求めることも可能である。オリジナルと復号化された
テスト・ピクチャ・ブロックとの間の相関が、信号対雑
音化の点で最良となるようなｋ値が選択され、符号器で
使用される。コアリング幅ｗは信号対雑音化を最適化
し、信号変造(signal corruption) を最小化するように
選択される。

【００８０】なお、ノイズ推定を得る方法として、ほか
にも種々の方法が利用可能であることはもちろんであ
る。これらの方法は、ノイズ推定を得て、その推定をフ
ィルタにかける方法において変化を含むことができる。
例えば、ノイズ推定はピクセル単位のノイズ推定または
フレーム・ノイズ推定を用いて行うことができる。ノイ
ズ推定は固定サイズのピクセル・ブロックに基づく計算
に限定されない。ノイズ推定を適用して非線形エレメン
ト伝達関数を変化させる方法は様々なものがある。ノイ
ズ推定は、例えば、個別の関数を変化させるのではな
く、異なる並列伝達関数の間で選択するために使用する
ことが可能である。

【００８１】ノイズ推定を得る別の方法は、動き推定器
１４から得られた最低ＭＳＥ値をノイズを示すインジケ
ータとして使用することである。この方法では、フレー
ム内のピクセル・ブロックから得られた最低ＭＳＥ値は
ノイズ推定として利用される。理想的には、動きが存在
しないときのピクセル・ブロックのＭＳＥ値はゼロにな
っているので、最低ＭＳＥ値はピクセル・ブロック間の
残差不一致がノイズの結果であることを示している。従
って、この最低ＭＳＥ値はノイズ推定として利用するこ
とができる。この方法は、ＭＳＥだけでなく、他の方法
で予測誤差を示すためにも等しく応用可能である。例え
ば、このノイズ推定方法は、ＭＡＥ(Mean Absolute Err
or：平均絶対誤差）やＳＡＥ(Sum of Absolute Error：
絶対誤差総和）を含む、他のタイプの誤差表示尺度(err
or indication measures) を使用することも可能であ
る。さらに、フレーム内動きベクトル推定が劣るために
起こる誤差を除去するために、最小ＭＳＥ値を複数のフ
レームにわたってフィルタにかけることが可能である。
これは、次のように定義された非線形再帰形フィルタを
用いて行うことができる。

【００８２】

【数１１】Ｌ_n ＝αＬ_n-1 ＋（１−α）Ｍ_n ここで、Ｌ_n はフィルタにかけられたノイズ推定出力で
あり、非線形エレメント伝達関数を更新するために使用
される。

【００８３】Ｌ_n-1 はフィルタにかけられた先行ノイズ
推定出力である。

【００８４】Ｍ_n は現フレームで得られた最も小さいＭ
ＳＥ値である。

【００８５】αは０と１の間の値であり、フィルタの時
定数を制御する。

【００８６】α＝Ａ（Ｌ_n-1 −Ｍ_n ）＞０のとき α＝Ｂ上記以外のとき先行ノイズ予測値に関して減少したノイズ推定値の計算
の確信性(confidence)は、増加したノイズ推定値の計算
の確信性よりも大になっている。これは、増加したノイ
ズ推定値は、例えば、シーン変化効果などの疑似的な測
定誤差が原因で起こる可能性が大きいためである。従っ
て、αの値は調節可能である。αの値に値Ａを与える
と、フィルタの時定数が長くなる（遅くなる）のでノイ
ズ推定値が増加することになる。αの値に値Ｂを与える
と、フィルタの時定数が短くなる（早くなる）のでノイ
ズ推定値は減少することになる。Ａの例示値は．５、Ｂ
の例示値は．１になっている。２つの調節可能フィルタ
時定数より大きいものや他のフィルタ関数は、他の画像
条件に対してノイズ推定を最適化するように使用するこ
とも可能である。

【００８７】

【発明の効果】本発明によれば、付加的ハードウェアを
最小限にして、予測符号器用の高効率ノイズ・フィルタ
装置および方法を提供することでできる。

【００８８】さらに、本発明によれば、ビデオ信号を処
理し、圧縮するときノイズを除去することができる。ま
た本発明によれば、ビデオ信号圧縮装置は、ビデオ信号
の現フレームの予測ピクセル値と現実ピクセル値(predi
cted and real pixel values) とのピクセル値の差を表
している残差(residue) を生成する回路を含み、非線形
プロセッサ(nonlinear processor) は高振幅の残差より
も大きい低振幅の残差を減衰し、ノイズ推定に応答する
ので、処理された残差は変換され、圧縮されたビデオ・
データ出力が得られるようになっている。

【００８９】本発明によれば、非線形処理関数(nonline
ar processing functions)、ノイズ推定関数(noise est
imation functions)が開示されているので、ノイズ推
定、ノイズ減衰および画像歪みを除去することができ
る。

【００９０】本発明によれば、ピクセル・データを含ん
でいる画像を表すビデオ信号を圧縮する装置において、
前記ビデオ信号に含まれるノイズを推定し、出力を得る
ための手段と、低振幅成分および高振幅成分を有する残
差を生成する手段であって前記残差は、圧縮される該ビ
デオ信号の現フレームの予測ピクセル値と実ピクセル値
とのピクセル値の差分を表しているものと、前記生成手
段に結合されていて、高振幅の残差より大きい低振幅の
残差を減衰して出力を得るための非線形処理手段であっ
て、該非線形処理手段の伝達関数は前記ノイズ推定に応
答するものと、前記処理された残差を変換して、圧縮さ
れたビデオ・データ出力を得るための変換手段とを備え
た装置とすることができる。

【００９１】本発明によれば、信号中に含まれるノイズ
をフィルタリングする装置において、前記信号を受信
し、処理することによりフィルタリングを行うのに適し
た出力を得るための入力プロセッサと、前記入力プロセ
ッサに結合されていて、高振幅成分よりも多い前記処理
された出力の低振幅成分を減衰し、フィルタリングされ
た出力を得るための非線形処理手段とを備え、前記非線
形処理手段の伝達関数はコアリング・ウィンドを有する
クラスのコアリング関数であり、該コアリング関数は、
（ａ）前記コアリング・ウィンドウの外側に、出力が入
力と等しくなっている恒等関数と、（ｂ）該コアリング
・ウィンドウの内側に下に凸の増加関数とを実質的に備
えた装置とすることができる。

【００９２】本発明の原理はノイズ除去プリプロセッサ
を採用した符号化システムにも応用可能である。このよ
うなプリプロセッサでは、単純化された動き検出器が広
く使用されているので、顕著な動き推定誤差を得ること
ができる。この種のシステムを使用すると、前述したよ
うに、特にノイズ推定をフィルタリングできるという利
点がある。

【図面の簡単な説明】

【図１】従来のＤＰＣＭ圧縮装置を示すブロック図であ
る。

【図２】本発明によるノイズ除去装置を含む、代替圧縮
装置を示すブロック図である。

【図３】図２と図４のノイズ除去装置の非線形伝達関数
の例を絵で示す図である。

【図４】本発明によるノイズ除去装置を含む、代替圧縮
装置を示すブロック図である。

【図５】図２と図４のノイズ除去装置の非線形伝達関数
の例を絵で示す図である。

【図６】図２と図４のノイズ除去装置の、本発明による
非線形伝達関数の例を絵で示す図である。

【図７】図２と図４のノイズ除去装置の、本発明による
非線形伝達関数の例を絵で示す図である。

【符号の説明】１２減算器１４動き推定器１５符号器１６復号器１７バッファ・メモリ１８，５２加算器１９フォーマッタ５０，５００非線形エレメント１３３予測エレメント１３３３予測ユニット

───────────────────────────────────────────────────── フロントページの続き (72)発明者ロバートノーマンハースト，ジュニアアメリカ合衆国 08525 ニュージャージー州ホープウェルハートアヴェニュ 68 (72)発明者ジャンウーリーアメリカ合衆国 08540 ニュージャージー州プリンストンブラドレイコート 1403

Claims

【特許請求の範囲】

【請求項１】ピクセル・データを含んでいる画像を表
すビデオ信号を圧縮する装置において、前記ビデオ信号に含まれるノイズを推定し、出力を得る
ための手段と、低振幅成分および高振幅成分を有する残差を生成する手
段であって前記残差は、圧縮される該ビデオ信号の現フ
レームの予測ピクセル値と実ピクセル値とのピクセル値
の差分を表しているものと、前記生成手段に結合されていて、高振幅の残差より大き
い低振幅の残差を減衰して出力を得るための非線形処理
手段であって、該非線形処理手段の伝達関数は前記ノイ
ズ推定に応答するものと、前記処理された残差を変換して、圧縮されたビデオ・デ
ータ出力を得るための変換手段とを備えたことを特徴と
する装置。
【請求項２】請求項１に記載の装置において、前記ノイズ推定はピクセル予測誤差の関数として得られ
ることを特徴とする装置。
【請求項３】請求項２に記載の装置において、前記ノイズ推定は画像エリア内の動きが実質的にゼロで
あるとき得られることを特徴とする装置。
【請求項４】請求項１に記載の装置において、前記伝達関数は可変時間インターバルで前記ノイズ推定
に応答することを特徴とする装置。
【請求項５】請求項１に記載の装置において、可変時定数をもち、前記ノイズ推定を時間的にフィルタ
リングするフィルタをさらに含み、前記非線形処理手段
の前記伝達関数は前記時間的にフィルタリングされたノ
イズ推定に応答することを特徴とする装置。
【請求項６】請求項５に記載の装置において、前記可変時定数フィルタはノイズ推定値を増加させる長
い（低速の）フィルタ時定数およびノイズ推定値を減少
させる短い（高速の）フィルタ時定数をもっていること
を特徴とする装置。
【請求項７】請求項１に記載の装置において、前記ノイズ推定を空間的にフィルタリングするフィルタ
をさらに含み、前記非線形処理手段の伝達関数は前記空
間的にフィルタリングされたノイズ推定に応答すること
を特徴とする装置。
【請求項８】請求項１に記載の装置において、前記伝達関数はウィンドウ幅がｗであるコアリング・ウ
ィンドウをもつコアリング関数であり、ｗは前記ノイズ
推定に応答することを特徴とする装置。
【請求項９】請求項１に記載の装置において、前記伝達関数はコアリング関数であり、該コアリング関
数は画像のエリアにおける動きに応答することを特徴と
する装置。
【請求項１０】請求項９に記載の装置において、該装置は前記ピクセル・データをブロック単位で処理
し、前記コアリング関数内のコアリングの程度はピクセ
ル・ブロックにおける動きに応答することを特徴とする
装置。
【請求項１１】請求項９に記載の装置において、該装置は前記ピクセル・データをブロック単位で処理
し、前記コアリング関数はあらかじめ決められたしきい
値より小さい画像の動きを示しているピクセル・ブロッ
クに対応する残差にだけ適用されることを特徴とする装
置。
【請求項１２】請求項１に記載の装置において、前記ノイズ推定は画像のエリアにおける動きの程度に関
して逆であることを特徴とする装置。
【請求項１３】請求項１に記載の装置において、前記非線形処理手段は線形伝達関数を含む、複数の選択
可能な伝達関数を提供することを特徴とする装置。
【請求項１４】請求項１に記載の装置において、前記伝達関数はコアリング・ウィンドウをもつコアリン
グ関数であり、該コアリング関数は前記現フレームの画
像内容の変化の関数であることを特徴とする装置。
【請求項１５】請求項１に記載の装置において、前記伝達関数はコアリング・ウィンドウをもつコアリン
グ関数であり、該コアリング関数は前記コアリング・ウ
ィンドウの外側に恒等関数を実質的に備えたことを特徴
とする装置。
【請求項１６】請求項１に記載の装置において、前記伝達関数はコアリング・ウィンドウをもつコアリン
グ関数であり、該コアリング関数は前記ウィンドウの内
側に下に凸の増加関数を実質的に備えたことを特徴とす
る装置。
【請求項１７】信号中に含まれるノイズをフィルタリ
ングする装置において、前記信号を受信し、処理することによりフィルタリング
を行うのに適した出力を得るための入力プロセッサと、前記入力プロセッサに結合されていて、高振幅成分より
も多い前記処理された出力の低振幅成分を減衰し、フィ
ルタリングされた出力を得るための非線形処理手段とを
備え、前記非線形処理手段の伝達関数はコアリング・ウ
ィンドを有するクラスのコアリング関数であり、該コア
リング関数は、（ａ）前記コアリング・ウィンドウの外側に、出力が入
力と等しくなっている恒等関数と、（ｂ）該コアリング・ウィンドウの内側に下に凸の増加
関数とを実質的に備えたことを特徴とする装置。
【請求項１８】請求項１７に記載の装置において、前記伝達関数は前記クラスに属する伝達関数を含む複数
のコアリング関数から適応的に選択されることを特徴と
する装置。
【請求項１９】請求項１８に記載の装置において、前記伝達関数は前記ビデオ信号中に含まれるノイズの推
定に基づいて選択されることを特徴とする装置。
【請求項２０】請求項１７に記載の装置において、前記伝達関数は部分線形伝達関数であることを特徴とす
る装置。
【請求項２１】請求項１７に記載の装置において、前記コアリング・ウィンドウの内側の前記伝達関数（ｆ
（ｘ））は、【数１】の形式になっており、ただし、ｎは整数であることを特
徴とする装置。