JP3844490B2 - ビデオ画像におけるエラー検出検出方法および検出装置 - Google Patents

Description

本発明は、ビデオ画像を表す信号中のエラーの検出に関する。
全帯域幅のビデオ信号の放送および記憶に加えて、ビデオ信号の送信または記憶に対する帯域幅要求を減少する技術の重要性もまた高まってきている。これらの技術は特にビデオ信号の両方向伝送を容易にし、提供可能なビデオ会議装置およびビデオ電話機を発達させている。
制限された帯域幅の伝送路にわたって送信される会議ビデオデータに関する問題は、データが送信エラーの存在の影響をさらに受け易くなることである。伝送路の性質は、通常エラーが阻止されることができないというものであり、送信された画像の全体的な結果を改良するためには、エラーの存在およびビデオ画像内におけるそれらの位置を識別し、可能な場合にはこれらのエラーを隠蔽する動作を行なうことが好ましい。
エラーを検出する１つの方法では、オーバーヘッドとしてエラー補正コードを含む。循環的な冗長コードは、送信された信号における小さいオーバーヘッドを犠牲にしてエラー検出のために広く使用されている。
エラー補正コードが送信中に劣化した場合、これは受信機で検出され、劣化したデータは例えば米国特許第5150210号明細書に記載されているように置換される。
本発明は、ビデオ信号におけるエラーの存在を検出する改良された方法および装置を提供するものである。
本発明の第１の観点によると、ビデオ画像を表す信号中のエラーを検出する方法が提供され、その方法は、
ビデオ画像中の各ブロックを表した周波数関連係数のブロックを受取り、
劣化したデータの存在を検出するためにブロック内における前記係数の統計的分布を解析する。
好ましい実施例において、前記解析ステップは、ブロック中の前記係数の分散を計算する。分散は、実際の係数値と平均値との間の差を計算して、前記差の２乗を形成し、前記２乗を合計すること、すなわち、

によって決定される。
ここで、σ＝分散量、
ｘ_i＝ｉ番目の係数の値、

Ｎ＝１ブロック中の係数の個数。
分散は予め定められたしきい値に対して比較され、分散が前記しきい値より大きい場合に、エラーを識別することができる。その代わりに、またはそれに加えて、あるフレームのブロックに対する分散値を記憶して、考慮されているブロックに対する分散を、前のフレームの中の対応する位置のブロックの分散および、または前のフレームの中の対応する位置の周囲ブロックに対する分散と比較することができる。平均分散値を、前のフレームのブロックに対して計算して、考慮されている分散値が前のフレームに対する平均分散値よりはるかに大きいか、或ははるかに小さい場合に、エラーを検出することができる。
送信コーディング方式がブロック内における画素の実際の値を表わす周波数関連係数を使用する場合、送信された係数の数学的な分布を直接解析することができる。しかしながら、使用されるコーディング方式は結果的に実際の画素の値を表した周波数関連係数を生成しない場合もある。例えば、送信された信号が現在のフレームと前のフレームとの間の差を表す場合、受信された信号を最初に圧縮から復元して実際の画素値を生成し、その後信号をブロックに分割し、信号を周波数ドメインに変換して周波数関連係数を生成しなければ、実際の画素値、したがって結果的な周波数係数の数学的な分布を得ることはできない。
好ましい実施例において、エラーが識別された場合に、ブロックを隠蔽する動作が行われる。これは、前のフレーム中の対応する位置にあるブロック或はその運動補償されたブロックにより、検出されたブロックを置換することを含む。その代わりとして、前のフレームにおける対応する位置のブロックおよび周囲にあるブロックに対する運動ベクトルを平均することによって新しい運動ベクトルを計算し、それによって現在のブロックが置換されるべき前のフレーム中のブロックに関する運動ベクトルを生成してもよい。
以下、添付図面を参照して本発明を単なる例示として説明する。
図１は、エラーを検出して隠蔽する回路を含む圧縮されたビデオ信号を送信および受信するシステムを示す。
図２は、画像が複数のブロックからどのようにして形成されるかを示す。
図３は、図１に示されたシステムにおいて使用される、処理装置を備えたエラーを検出して隠蔽する回路の第１の実施形態を示す。
図４は、図３に示された処理装置がエラーの存在を検出する動作を詳細に示す。
図５は、図３に示された処理装置がエラーを隠蔽する動作を詳細に示す。
図６は、エラーを検出して隠蔽する装置の第２の実施形態を含むシステムを示す。
図７は、図６に示されたエラーを検出して隠蔽する装置をより詳細に示す。
送信ステーション16から受信ステーション17に対して伝送路15にわたって圧縮されたビデオデータを送信するシステムが図１に示されている。通常のビデオ信号はビデオ源18によって生成され、このビデオ源18はビデオカメラ、ビデオテープ再生装置または類似の装置でもよい。伝送路15は、制限された帯域幅を有し、したがってビデオデータは利用可能な帯域幅内に保持されるように圧縮される。伝送路は、電話線、専用のデジタルリンク、無線リンクまたは通信チャンネル供給する他の任意の既知の手段であってもよい。協定によると、圧縮されたビデオ信号はインターレースされない形態であり、各ビデオ信号フレームは各ライン上に352個の画素を有する288個のラインを有している。非圧縮形態において、各画素は8ビットのデータで表される輝度値を有し、それより少ない数のビットが各色差信号を表すために割当てられる。
ビデオ源18によって生成されたビデオデータは、例えばＣＣＩＴＴ Ｈ．261圧縮勧告にしたがってビデオデータを圧縮することができる圧縮回路19によって圧縮される。もっとも、本発明はこの形態の圧縮に制限されるものではない。Ｈ．261圧縮勧告によると、圧縮されるビデオ信号は、ビデオ画像の画素のブロックを表す部分に分割される。各ブロックは、離散余弦変換（ＤＣＴ）によって周波数ドメインに変換され、係数が送信される。ブロックは、任意の他のブロックまたはフレームを参照せずに（フレーム内コーディング）、或は別のブロックまたはフレームを参照して圧縮されてもよく、参照した場合にはＤＣＴ係数は比較されたブロック間の差を表す。元のビデオデータは、各画素位置に対して8ビット輝度値を含み、ブロックは8×8アレイの画素から構成される。係数のアレイはブロックのアレイと同様のサイズであるが、解像度は特定の係数に対して最低１２ビットと１つの符号ビットが要求されてもよい。多数の係数はゼロの値を有しているため、圧縮が行われ、したがって効果的に無視することができる。出力回路２０は増幅し、必要に応じて圧縮されたビデオ信号を変調し、それによってそれを伝送路15による伝送に適した形態にする。
送信された信号が受ける減衰のレベルは、周波数依存性であり、したがって受信ステーションにある等化回路26が補償を行なう。その後、受信された信号は、（必要ならば）示されていない手段によって復調され、増幅回路25によって増幅される。
圧縮からの復元は圧縮復元回路27によって行なわれ、圧縮回路19によって行われる圧縮と逆のプロセスを行なうように構成される。伝送チャンネル15上の雑音のために信号に導入された全てのエラーが結果的にデータを劣化させる。これは、結果的に表示装置28上で見ることのできる劣化されたデータを生じさせる。したがって、ある方法により劣化されたデータを検出して、隠蔽することができるならば、表示画像の全体的な完全性が改良される。
このような検出および隠蔽プロセスを実現するために、システムは、劣化されたデータのブロックを識別し、前に送信されたフレームから等価なブロックを選択することによって劣化されたデータのこのブロックを隠蔽するように構成されたエラー検出および隠蔽回路２９を具備している。
図２に示されているように通常のビデオフレーム31は、１ラインが352個の画素を有する288個のラインから構成されている。Ｈ.261圧縮過程の一部分として、フレームは、各ブロック内に64個の画素を有する8×8マトリクスの形態の1584個のブロックに分割される。
輝度ブロック32が図２に示されており、これはその３個の隣接したブロックと組合せられてマクロブロック33を提供する。マクロブロック33は拡大されて示されており、ブロック32は画素35の全マトリクスを表わしている。さらに、フルカラー映像はまた１輝度ブロック当たり２個の色差ブロックを送信する必要がある。
図３には、エラー検出および隠蔽回路29が詳細に示されており、ここにおいて圧縮復元回路27からの圧縮から復元されたビデオデータが入力ポート41で受信され、表示装置28上に表示するために処理されたビデオデータが出力ポート42に供給される。回路29は、第１の画像記憶装置43および第２の画像記憶装置44を含み、それぞれ全ビデオフレームを記憶することができる。ビデオ書込み制御装置45は、第１のフレームが記憶装置43に書込まれ、第２のフレームが記憶装置44に書込まれるように画像記憶装置へのビデオデータの書込みを制御し、一方第１のフレームはビデオ読取り制御装置46の制御の下に第１の画像記憶装置43から読取られる。全ビデオフレームが第２の画像記憶装置44に書込まれた後、次のビデオフレームが第１の画像記憶装置43に書込まれ、前に書込まれたフレームに重ね書きし、記憶装置44から画像を読取ることによってポート42に対する出力信号を導出する。
データは画像記憶装置43または44の一方に書込まれるが、前記データはまたエラーの存在を検出するように処理することができる。エラーが検出された場合、画像記憶装置43および44におけるデータのブロックはブロック重ね書き制御装置47の制御の下に重ね書きされる。エラーの存在を識別するために、ポート41からの入力画像データは変換装置48にも供給され、この装置48は入力画像データを各ブロックの画素に対する周波数関連係数に変換するように構成されている。好ましい実施例において、変換装置48は画像データのブロックに関して離散余弦変換（ＤＣＴ）を行なう。その後、周波数関連係数は処理装置49に供給される。
伝送されたビデオデータにおけるエラーの存在を検出するために、処理装置49は各ブロック内の係数値の平均および分散を計算するように構成される。これらの分散値が計算された時に、それらは第１の分散記憶装置55または第２の分散記憶装置56に供給され、それによって前のフレームに対して計算された分散値が処理装置49に対して確実に利用することができる。記憶装置55および56に対する、およびそれらからの分散値の書込みおよび読取りは、分散記憶制御装置57によって制御される。
伝送路15によって供給されたビデオ情報が、空間的に圧縮された係数を含んでいることに加えて、圧縮されたデータの各ブロックに対する運動ベクトルを表わすデータも供給されるような形態で圧縮された場合、運動ベクトルもまた入力ポート５０を介してエラー隠蔽回路29に供給される。
運動ベクトルは、現在のフレーム中の画素のブロックを、前のフレーム中の対応する位置のブロックと、ならびにｘおよびｙの両方向に複数の画素だけ変移によってシフトさせたブロックとを比較することによって計算される。運動ベクトルは、もとの画像内の対象物の動きと直接関係ないが、実際には関心のあるブロックを前のフレームの類似したブロックと比較することによって得られる最も高い適合性を表す。運動ベクトルを生成するためにこのような比較を行なう技術は、本出願人に譲渡された米国特許第5,083,202号明細書に記載されている。
したがって、ビデオデータの各ブロックに対して、前のフレームからの最も近い適合ブロックの運動ベクトルを示すｘおよびｙ値が送信される。これらの変移ベクトルはベクトル記憶書込み制御装置51に供給され、第１のフレームから得られたベクトルが第１のベクトル記憶装置52に書込まれ、次のフレームからのベクトルが第２のベクトル記憶装置53に書込まれ、その後第１の記憶装置が重ね書きされ、その他も同様である。したがって、前のフレームに対するベクトル値はベクトル記憶読取り回路54を介して処理装置49に対して利用できる。
図４には、処理装置49の動作手順が詳細に示されている。変換装置48によって行なわれた変換の結果として、１フレーム分の係数が処理装置49に対して利用できるようになり、ステップ61で装置49がその処理手順を開始する。ステップ62において、未処理のブロックがあるか否かについて質問され、フレームの第１のブロックに対してはこの質問は肯定的に応えられる。肯定的に応えられた場合、ステップ63でブロック中の係数に対する平均値が計算される。係数の値を全て加算してから64で除算することによって8×8ブロックの係数に対する平均値が得られる。
ステップ64において、値の分散は、まず各係数値から平均値を減算して、それぞれ特定の係数に対する差の値を生成することによって計算される。この差の値は２乗され、64個の２乗された項を全て加算することによって分散値が得られる。
ステップ65において、特定のブロックに対して計算された分散値は、考慮されている特定のフレームのフェーズに応じて分散値記憶装置55または56に記憶される。
ステップ66においてしきい値Ｔが読取られ、ステップ67において、ステップ64で計算された分散値がしきい値Ｔより大きいか否かが質問される。しきい値Ｔはオペレータにより調節可能または選択可能であり、また特定のタイプのビデオ送信に適合するように調節されてもよい。ステップ64で計算された分散値がステップ66で読取られたしきい値より大きい場合、考慮されているブロックはエラーを含んでおり、大きい分散値はエラーの存在により生成されたと考えられる。したがって、ステップ67で問われた質問が肯定的な答えの場合、ブロックはステップ68で隠蔽ブロックルーティンを呼出すことによって隠蔽される。
ステップ67で問われた質問が否定的な答えの場合、前記値がエラーの存在を表しているか否かを決定するために分散値に関してさらにチェックが行われる。前記分散値は前にしきい値に対して比較されており、このしきい値は非常に大きい分散値を生成する非常に深刻なエラーを識別するのに適切である。しかしながら、それ程大きくない分散を持つ係数を有するブロックは依然としてエラーを有しているかもしれず、このようなエラーは、その分散が前のフレームの等価な位置にある考慮されているブロックの周囲にあるブロックの分散値と著しく異なっている場合に検出される。
したがって、ステップ69において処理装置49は、前のフレームに対する分散値記憶装置にアクセスする。それ故、ステップ64で計算された分散値が記憶装置55に書込まれたならば、ステップ69は記憶装置56からの分散値にアクセスする。考慮されているブロックに対して等価な位置が識別され、それと8個の周囲にあるブロックとに対する分散値が記憶装置56から読取られる。
ステップ70において、前のフレームの分散値に対する平均値Ｐが計算され、ステップ71でこの前の平均値が現在の分散値と比較される。考慮されているブロックに対する値が前の平均値Ｐの３倍より大きいか、或は３で除算した前の平均値Ｐより小さい場合、ブロックはエラーを含んでいると仮定され、隠蔽アルゴリズムが再度呼出される。したがって、この値が前の平均の３倍より大きいか、或は前記前の平均を３で除算したものより小さい場合、ステップ71で問われた質問は肯定的に答えられ、ステップ72で隠蔽ブロックルーティンが呼出される。その代りとして、ステップ71で問われた質問が否定的に答えられた場合、ステップ73においてブロックにはエラーがないと見なされ、制御がステップ62に戻される。結局、特定のフレームに対する全てのブロックが考慮され、ステップ62において問われた質問は否定的に答えられ、制御をステップ61に戻し、処理装置49を次のフレームの係数のために準備された状態にする。
ステップ68またはステップ72で呼出される可能性のある隠蔽ルーティンは、図５に詳細に示されている。これを例示するために、画像データは画像記憶装置43に書込まれており、処理装置49はエラーを含む画像データのブロックを識別したと仮定する。データが画像記憶装置43に書込まれると、前に処理されたデータは画像記憶装置44から読出され、それによって出力ポート42にビデオ出力信号を供給する。したがって、前記データが出力制御装置46によって選択される前に、記憶装置43に記憶された画像データに対して修正が行なわれる期間を利用できる。画像データが画像記憶装置43に書込まれると、運動ベクトルはベクトル記憶装置52に書込まれ、同様に画像データの書込みが画像記憶装置44に切替えられると、運動ベクトルデータの書込みは記憶装置53に切替えられる。
このようにして、エラーは画像記憶装置43に書込まれた画像データのブロックで処理装置49によって検出され、この時処理装置49は、このデータが出力ポート42に供給される前に、エラーを隠蔽する手順を実行することを要求される。
図５のステップ81において、ベクトル記憶装置52は前のフレームの等価なブロックに対する運動ベクトルを読取るようにアクセスされる。
ステップ82において、８個の周囲にあるブロックがベクトル記憶装置52から読取られ、それによって全部で９個の運動ベクトルを処理装置49に提供する。
ステップ83において、平均運動ベクトルは、前のフレームの画像データにアクセスするために前記９個の値を加算してから９で除算して、平均運動ベクトルを生成することによって計算される。したがって、平均運動ベクトルは前のフレームにおけるブロックの位置を識別し、この位置は運動ベクトルによって特定された量だけｘおよびｙ方向に移動された後に、現在のフレーム中の考慮されているブロックに対する厳密な整合を実現する。
したがって、平均された運動ベクトルは前のフレーム中のデータのブロックを識別し、この時点でそれは画像記憶装置44に保持され、記憶装置はこの時出力信号を供給するために読取られている。したがって、ステップ８５において記憶装置44で識別されたデータは、処理装置49から受取られた命令に応答してブロック重ね書き制御装置47によって読取られ、入力画像記憶装置43中の考慮されているブロックに書込まれる。
出力画像記憶装置44から読取られたブロックは、運動ベクトルが画素の位置に対して特定される場合には、必ずしも元のブロック範囲内に存在するものではないことを認識することが重要である。
画像ブロックが重ね書きされた後、ステップ62に制御が戻され、別のブロックを考慮できるようになる。
図６は、圧縮されて送信された信号がフレームの実際の画素値を表す周波数関連係数を含んでいるシステムを示す。したがって、図７に示されているように処理装置49に入力される前に、それ以上ＤＣＴ係数を処理する必要がほとんどないか、或は不要である。それ以外、図７に示されている回路の動作は図３に示されたものと同じである。
圧縮復元回路27は、例えばエラー補正コードチェック手段等の通常の形態のエラーチェック装置を含む。この場合、圧縮復元回路27は、エラーを含むものとして識別されたマクロブロックまたはブロックのグループ（ＧＯＢ）にフラッグを付ける（ブロックのグループは11×３個のマクロブロックのマトリクスを含む）。フラッグを付けられたマクロブロックまたはＧＯＢのブロックだけがエラー検出および隠蔽回路29に送られ、マクロブロックまたはＧＯＢ内のどのブロックがエラーを含んでいるかを決定する。したがって、劣化していないブロックが保持され、エラーが検出されたブロックを隠蔽することができる。

Claims (11)

1. ビデオ画像を表す信号中のエラーを検出する方法であって、
   画像の各ブロック内の画素の実際の値に関連する周波数変換係数からなるブロックを受取るステップと、
   ブロック内における前記係数の分散を計算するステップと、
   しきい値と前記分散値を比較するステップとを含み、
   前記分散値が前記しきい値を越えた場合、前記エラーが検出される方法。
2. 前記しきい値が予め定められたしきい値である、請求項１に記載の方法。
3. 現在のフレームのブロックの計算された分散値を前のフレーム中の対応する位置にあるブロックに対して計算された分散値と比較するステップをさらに含み、前記分散値が前記しきい値を越えない場合には、現在のフレームのブロックに対して計算された分散値が予め定められた量だけ前のフレームの対応する位置にあるブロックの分散値と異なるとき、前記エラーが検出される請求項１または２に記載の方法。
4. 現在のフレームのブロックの計算された分散値を前のフレーム中の対応する位置の周囲にあるブロックに対して計算された分散値の平均と比較するステップをさらに含み、前記分散値が前記しきい値を越えない場合には、現在のフレームのブロックに対して計算された分散値が予め定められた量だけ前のフレームの対応する位置の周囲にあるブロックの分散値の平均と異なるとき、前記エラーが検出される請求項１または２に記載の方法。
5. 現在のフレームのブロックの計算された分散値を前のフレーム中の対応する位置のブロックおよびそのブロックの周囲にあるブロックに対して計算された分散値の平均と比較するステップをさらに含み、前記分散値が前記しきい値を越えない場合には、現在のフレームのブロックに対して計算された分散値が予め定められた量だけ前のフレームの対応する位置のブロックおよびそのブロックの周囲にあるブロックの分散値の平均と異なるとき、前記エラーが検出される請求項１または２に記載の方法。
6. ビデオ画像を表わした信号におけるエラーの存在を識別する装置であって、
   画像の各ブロック内の画素の実際の値に関連する周波数変換係数からなるブロックを受信する手段と、
   前記周波数変換係数の分散値を計算する手段と、
   しきい値と前記分散値を比較する手段とを具備し、
   前記分散値が前記しきい値を越えた場合、前記エラーが検出される装置。
7. 前記しきい値が予め定められたしきい値である、請求項６に記載の装置。
8. 前のフレームにおける対応する位置にあるブロックに対して得られた分散値と前記分散値とを比較する手段をさらに具備し、
   前記分散値が前記しきい値を越えない場合には、前記分散値が予め定められた量だけ前のフレームにおける対応する位置にあるブロックに対して得られた分散値と異なるとき、前記エラーが検出される請求項６または７に記載の装置。
9. 前のフレームにおける対応する位置の周囲にあるブロックに対して得られた分散値の平均と前記分散値とを比較する手段をさらに具備し、
   前記分散値が前記しきい値を越えない場合には、前記分散値が予め定められた量だけ前のフレームにおける対応する位置の周囲にあるブロックに対して得られた分散値の平均と異なるとき、前記エラーが検出される請求項６または７に記載の装置。
10. 前のフレームにおける対応する位置にあるブロックおよびその周囲にあるブロックに対して得られた分散値の平均と前記分散値とを比較する手段をさらに具備し、
    前記分散値が前記しきい値を越えない場合には、前記分散値が予め定められた量だけ前のフレームにおける対応する位置にあるブロックおよびその周囲にあるブロックに対して得られた分散値の平均と異なるとき、前記エラーが検出される請求項６または７に記載の装置。
11. 画像データを記憶する手段と、ブロック内のエラーの検出に応答して動作して画像の前のフレームからの記憶されたブロックによりエラーの検出されたブロックを置換する手段とをさらに具備している請求項６乃至１０のいずれか１項記載の装置。

Images