JP4440392B2 - 圧縮ビデオ・データ復号化方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ伝送に関し、特に、圧縮されているビデオ・データを復号化する方法及び装置に関し、この方法及び装置ではビデオ・データ・ブロックの空間周波数分布がピクセル値に変換される。
【０００２】
【従来の技術】
電気通信の１つの目標は、ビデオ、オーディオ及びデータ・サービスの良質のリアルタイム伝送を利用できるシステムを提供することである。一般的に知られているように、動画を転送するのに必要なデータの量は他の多くの媒体に比べて大量であり、低ビット・レート端末でのビデオの利用は、これまでは、ごく僅かであった。いずれにせよ、ディジタル形式のデータの伝送は、伝送チャネルにおける信号対雑音比を高め、情報容量を増やすのに役立つ。近い将来に、高度ディジタル移動電気通信システムも伝送ビット・レートを強化するサービスを導入しようとしており、このことは低ビット・レート移動チャネル経由のビデオの伝送の可能性もいっそう高まるということを意味する。
【０００３】
チャネル容量の利用を最適化するために、信号は、一般に、伝送される前に圧縮される。このことは、伝送されるべきデータ量が多いビデオ伝送では特に重要である。圧縮されたビデオの情報内容は、一般に可変長コードで符号化されていることが主な原因となって、伝送誤りによる悪影響を受けやすい。ビット誤りによりコードワードが長さの異なる別のコードワードに変わるとき、復号器は同期を失って、次の同期化コードを受け取るまで、連続する誤りのないブロックを、間違って復号化する。
【０００４】
伝送誤りに起因する画像の劣化を制限するために、誤り検出及び／又は誤り訂正方法を適用することができ、再送を使用することができ、及び／又は、受信された不正なデータからの影響を隠蔽（conceal)することができる。普通は、再送はデータ・ストリームを誤りから保護する合理的な方法であるが、ビット・レートが低くて誤り率が中くらいかあるいは高い伝送には長い往復遅延が伴うために、特にリアルタイムテレビ電話アプリケーションに再送を使用することは実際上不可能である。誤り検出及び訂正の方法は普通は、ある程度の冗長性をデータに付加するので、大きなオーバーヘッドを必要とする。従って、低ビット・レートアプリケーションでは、誤り隠蔽は画像を伝送誤りから保護し復元するための良い方法であると考えることができる。
【０００５】
伝送誤りを隠蔽するためには、それを検出し、その場所を突き止めなければならない。誤りの種類及び場所が良く分かるほど、隠蔽方法を問題に対して良く集中させることができ、従ってより良質の画像を得ることができるようになる。特に人の目により容易に発見されるような誤りを検出することのできる方法を見いだすことも重要である。
【０００６】
近頃、誤りに対して弾力性のある（error-resilient)ディジタル・ビデオ伝送に大きな関心が寄せられているが、研究は主としてＭＰＥＧ−２を使用するディジタルＴＶ伝送に集中している。そこでは、主として、巡回冗長検査（ＣＲＣ）を伴う短いパケットを使って独特の同期コードをビット・ストリームに頻繁に付加し、ＣＲＣが誤りを指摘しているパケットの全部を捨てることによって、問題が解決される。ビット・レートが毎秒数メガバイトであるときには、データ・ストリーム全体の中での、頻繁に発生する同期コード又はＣＲＣフィールドの割合は普通は容認できる。しかし、低ビット・レートの伝送では状況は全く違っていて、２０〜３０ｋｂｐｓのビット・レートではオーバーヘッドの最適化が極めて重要となる。更に、画像のサイズが例えば７０４* ５７６ピクセルであるとすると、１つの１６* １６ピクセル・マクロブロックは画像全体の約０．０６１％を占めるが、低ビット・レートのＱＣＩＦ（Quarter Common Intermediate Format）１７６* １４４ピクセル画像では、１つのマクロブロックは画像全体の１％以上を占める。従って、マクロブロックの紛失は、低ビット・レートのテレビ電話画像ではテレビ画像の場合よりも有害である。
【０００７】
【発明が解決しようとする課題】
低ビット・レートビデオ符号化を標準化する組織における主な関心事は、インタ符号化されたフレーム（inter coded frames）の誤り弾力性を改善することである。提示されているほとんどの方法は、ビット・ストリーム・シンタックス及び符号化アルゴリズムの変更を提案しており、ユーザのテレビ電話端末によってそれらが広く支援される場合に限って、それらは適切に利用され得る。一般に、２つの誤り検出方法が、即ち、不正な可変長符号化（variable length coding：VLC ）コードワードの検出と、離散コサイン変換（DCT ）マトリクスの紛失している終端ブロック・コードの検出とが提唱されている。実際には、これらの方法は、非常に多数のＶＬＣ誤りを検出し損ない、またイントラ符号化されているブロック（intra coded blocks）の固定長符号化されたＤＣ成分の誤りをしばしば全く検出しないので、特にイントラ符号化されているブロックに対しては不十分であることが分かっている。更に、崩れている数個のブロックが復号化された後に、余りに遅く誤りが検出されるのが普通である。
【０００８】
１９９５年５月の画像処理に関するＩＥＥＥトランザクション第４巻、第５号、５３３〜５４２ページの中の、Wai-Man Lam 及びAmy R. Reibmanの論文「チャネル誤りにさらされる画像のための誤り隠蔽アルゴリズム（An error Concealment Algorithm for Images Subject to Channel Errors ）」は、ＤＣＴ及びピクセル・ドメイン誤り検出アルゴリズムを提示している。しかし、それらのアルゴリズムは、特に量子化ＤＣＴマトリクスの種々の特徴についてＤＣＴドメイン・アルゴリズムを適用し得ないために、低ビット・レート及び低解像度に対しては充分に適用され得ない。
【０００９】
Aki Hietala の１９９７年度Oulu大学電気技術学部科学修士論文である次の出版物：Aki Hietala,「Virhesietoinen videodekoodaus 」, Master of Science Thesis, Oulu University, Department of Electrical Techniques, 1997、はビデオ・ビット・ストリームにおけるいくつかの誤り検出方法を提示し、分析している。それらの方法は、隣接するピクセル同士の残留相関（空間的相関）を利用し、ブロック同士の境界の異常を検出することにより、崩れたブロックを探す。しかし、それらの方法は、どちらかと言えば複雑であり、達成される効果は未だ充分ではない。
【００１０】
M. R. Pickering 、M. R. Frater、J. F. Arnold及びM. W. Grigg の出版物「空間周波数領域における誤り隠蔽方法」（M. R. Pickering, M. R. Frater, J. F. Arnold, and M. W. Grigg, "An Error Concealment Technique in the Spatial Frequency Domain" Signal Processing, no. 54, Elsevier 1996, pp. 185-189）は、単一のＤＣＴ基底関数に見かけが似ている画像中のブロックによって引き起こされる誤りを隠蔽する方法を提示している。その方法では係数の８* ８ブロック中の異常に大きなＤＣＴ係数が検出されてゼロに低減される。この方法は、特定のタイプの伝送誤りには良く効果を発揮するけれども、単一の検出手段として発揮できる効果は限られている。
【００１１】
【課題を解決するための手段】
可変長コードを使ってビデオ・データ・ブロックを復号化する新しい方法が発明されており、それで上記の欠点を軽減することができる。本発明の方法は、変換の前に、ブロック内の空間周波数分布の変異を表す第１の基準値を生成し、変換の後に、このブロックと、前に変換された少なくとも１つのビデオ・データ・ブロックとの間の一定の情報の変化の唐突さを表す第２の基準値を生成し、第１の基準値を一定の第１のスレショルド値と比較すると共に第２の基準値を一定の第２のスレショルド値と比較し、第１及び第２の基準値のいずれかがそれぞれ第１及び第２のスレショルド値より大きいことに対する応答として、ブロックにおける誤りを検出することを特徴とする。
【００１２】
本発明の目的は、イントラ符号化されているビデオ・データ・ブロックを復号化する種々のステップと組み合わされるべき改良された誤り検出エレメントの集合を提供することである。復号化プロセスの種々の形及び／又は段階における情報を利用する本発明の誤り検出エレメントのうちの少なくとも２つを用いれば、誤り検出の精度が向上するが、復号化プロセスの複雑さが不当に増大することはない。本発明の誤り検出を用いれば、誤り隠蔽プロセスを改良し、これにより低ビット・レートのビデオ・データ伝送の誤り弾力性を向上させることができる。
【００１３】
本発明の方法は、隣接するブロック間に比較的大きな相関があると仮定することにより、自然の画像においては情報がゆっくりと変化する性質を利用する。本質的にあまりありそうもないような形状のブロックを慎重に調べることができる。この方法では、隣り合うブロック間に比較的高い相関が予期され、ビット・ストリームにおける非常に唐突な変化を報知するための手段が提示される。ビデオ・シーケンスにおける不意の異常は、怪しいあるいは崩れたブロック、又は数個のブロック（マクロブロック）を表すものと解釈される。
【００１４】
更に、ビデオ・データを復号化するための装置が提示される。その装置はビデオ・データ・ブロックの空間周波数分布に関する情報をピクセル値に変換するための手段を備え、この装置は、変換の前に、ブロック内の空間周波数分布の変異を表す第１の基準値を生成するための手段と、変換の後に、ブロックと、前に変換された少なくとも１つのビデオ・データ・ブロックとの間の一定の情報の変化の唐突さを表す第２の基準値を生成するための手段と、第１の基準値を一定の第１のスレショルド値と比較すると共に第２の基準値を一定の第２のスレショルド値と比較するための手段と、第１及び第２の基準値のいずれかがそれぞれ第１及び第２のスレショルド値より大きいことに対する応答として、ブロックにおける誤りを検出するための手段とを特徴とする。
【００１５】
【発明の実施の形態】
次に、添付図面を参照して、例を挙げて本発明を説明する。
【００１６】
アナログ画像情報をサンプリングして量子化し、その様にして作られたデータをビットの連続的ストリームに変換することによってディジタル画像が形成される。ディジタル化された信号は、高度ディジタル信号処理ツールの使用を可能にし、これはデータ転送をより高速にかつより効率よく行うことを可能にする。ディジタル画像表示に必要なビット数を減らすと共に、それに対応してディジタル画像の伝送に必要なビット・レートを減少させるために、近頃、いくつかの画像符号化アルゴリズムが開発されている。ＪＰＥＧ（Joint Photographic Experts Group）は静止画像のための広く使われているアルゴリズムである。ＣＣＩＴＴ（ITU Telecommunication Standardisation Sector、ＩＴＵ電気通信標準化部門）勧告Ｈ．２６１はテレビ会議のために開発されている。Ｈ．２６３はテレビ電話のために、ＭＰＥＧ（Moving Picture Expert Group ）は動画を転送したり蓄積したりするために開発されている。図１のブロック図は、これらの規格に使用されている、当業者に周知されているビデオ・エンコード及び復号化の基本段階を示している。ディジタル画像データは、一定数のピクセル（例えば１ブロックは８×８ピクセルを包含する）から成る小さなブロックに分割１１される。各ブロックのデータは、離散コサイン変換（ＤＣＴ）１２を用いることにより空間周波数領域に変換される。得られたＤＣＴマトリクスは量子化１３され、量子化された信号は、可変長コードワード（ＶＬＣ）のテーブル１４を用いることにより符号化される。符号化された信号は受信機に送られる。受信端では、逆のプロセス１５，１６及び１７を逆の順序で実行して画像を再構成する。
【００１７】
ディジタル画像の解像度は、画像マトリクス中のピクセルの個数により定義される。１つの輝度成分（Ｙ）及び２つのクロミナンス成分（Ｕ，Ｖ）の各々について８ビットでサンプリングすると、２²⁴ 〜１６００万色が利用可能となる。人間の視覚系統はクロミナンス成分よりも輝度成分に対していっそう敏感であるので、一般に画像のクロミナンス成分は空間的に標準以下にサンプリングされる。例えば、ＩＴＵ−Ｔ Ｈ．２６１勧告では、４個の輝度ブロックの各々について２個のクロミナンス・ブロックが使われる。図２に示されているように、４個の輝度ブロックと２個のクロミナンス・ブロックとがマクロブロック２１を形成し、Ｈ．２６１画像２３は、３×１１のマクロブロックにより形成される、１２個のブロック・グループ２２から成っている。他の符号化規格では、対応する構造グループ化方式が使用される。
【００１８】
図３のフローチャートは、マクロブロックを復号化するステップと関連する本発明の方法のエレメントを例示している。本発明の基礎をなす思想は、ブロックとは情報を分割する人工的方法であるので、低ビット・レート・ビデオ・シーケンスではブロック間での自然な画像の変化はゆっくりと及び／又は一定の範囲内で予測可能な手法で生じるはずであるという思想である。この方法は個別の３つの検出エレメントから成っており、そのうちの少なくとも２つは可変長復号化３１，逆量子化３２及び逆ＤＣＴ３３と組み合わされる。その検出エレメントは、復号化の種々のレベルで利用可能な情報を利用して伝送誤りを検出する。第１の検出エレメント３４は、ブロック・レベルのＤＣＴ成分を検査するステップを実行し、それは逆量子化の前でも後でも実行され得る。第２及び第３の検出エレメントの目的のために、現在のマクロブロックのＤＣＴ成分は例えば復号器の揮発性メモリに一時的に記憶される。第２の検出エレメント３５はブロック・レベルの空間比較のためのステップを実行し、第３の検出エレメント３６はマクロブロック・レベルでの比較を実行する。検出のために、対応する成分同士だけが（即ち、Ｙ−、Ｕ−、及びＶ−成分が個別に）比較される。１成分だけを調べた結果に基づいて、また、もっと多くの成分を調べた結果に基づいても、検出の解釈を実行することができる。次に、図３の検出エレメントをもっと詳しく検討する。
【００１９】
１．第１の検出ブロック（３４）
離散コサイン変換後、ＤＣ係数と、図４（ａ）に示されているように低い周波数係数から高い周波数係数へとジグザグに走査される複数のＡＣ係数と、から成るＤＣＴマトリクスとしてピクセル・ブロックを表示することができる。実際には、低解像度画像では高周波数ＡＣ成分に大きな振幅があることはほとんどありそうもない。しかし、大きな振幅が生じる可能性はあるので、本発明の方法では、それらを単にフィルタリングして除去するのではなくて、高周波数ＡＣ成分は低周波数ＡＣ係数より小さな絶対値を有するはずであるという事実を評価して、誤りを検出するためにそれらを使う。
【００２０】
図５のフローチャートは、ＤＣＴマトリクスの妥当性を検査する簡単化された方法での第１の検出エレメントの原理を例示する図である。ステップ５１０において、ＤＣＴマトリクスのＡＣ成分は少なくとも２つのグループに分けられ、一定の高い周波数の成分ＡＣ３６〜ＡＣ６３（図４（ａ）を参照）は第１のグループを形成し、第２のグループは、残りのＡＣ成分（以降は、低周波数成分と称する）の選択されたグループである。低周波数における活動を表す、少なくとも１つの第１のスレショルド値ＴＨ１が第２のグループのＡＣ成分から計算される（ステップ５２０）。更に、少なくとも１つの基準値Ｘｒｅｆがステップ５３０で計算される。この基準値は、例えば第１のグループのＡＣ成分又は第２のグループのＡＣ成分の、非ゼロ係数の大きさを表す。基準値Ｘｒｅｆは、導出された第１のスレショルド値ＴＨ１と比較され（ステップ５４０）、もし基準値がスレショルド値より大きければ（ステップ５６０）、それは誤りが検出されたことを意味する。
【００２１】
図６のフローチャートは図５の方法の実施例を例示しており、この実施例では、実際には２つの第１の基準値と、対応する第１のスレショルド値とが生成される。ステップ５１１において、ＤＣＴマトリクスは水平バンド、垂直バンド、対角バンド及び高周波数バンドに分割される。模範的な水平バンド、垂直バンド及び対角バンド（まとめて低周波数バンドと称する）がそれぞれ図４（ｂ）、４（ｃ）、及び４（ｄ）に示されている。これらの低周波数バンド間にある程度の部分的重なりがあっても良い。ステップ５１２において、第１の低周波数バンドｋが選択される。係数の絶対総和ａｂｓｕｍ_k と、最大の絶対係数値ＡＣ_{max, k}と、ａｂｓｕｍ_k の非ゼロ因数の個数ｎ_k とがステップ５１３で計算される。ステップ５１４において、低周波数バンドｋにおける非ゼロ係数の個数が調べられ、このバンドに非ゼロ係数が２つ以上あれば、最大の絶対値ＡＣ_{max, k}を有する係数が他の非ゼロ係数の絶対総和ａｂｓｕｍ_k から差し引かれ、総和が所定の係数値Ｃ₁ に加算される。得られた総和は補助第１スレショルドＴＨ１ａとして定義５２１される。非ゼロ係数が１つだけ存在するか又は全く存在しなければ、補助第１スレショルド値ＴＨ１ａは所定の定数値Ｃ１であると定義５２２される。ステップ５４１において、最大の絶対係数値ＡＣ_{max, k}（第１の基準値）が第１のスレショルド値ＴＨ１ａと比較され、もし第１の基準値ＡＣ_{max, k}が第１のスレショルド値ＴＨ１ａより大きいか又は等しければ、誤りが検出５６０される。もし第１の基準値ＡＣ_{max, k}が第１のスレショルド値ＴＨ１ａより小さければ、全ての低周波数バンドが既に調べられたか否かがチェック５４２される。もし否であれば、次のが選択される（ステップ５４３）。
【００２２】
全ての低周波数バンドが調べられると、高周波数バンドも調べられる。ステップ５４４において、ＴＨ１ｂ＝ｍａｘ（Ｃ１、ＡＣ_{max, k}；ｋ＝１・・・Ｋ）を選択することにより、２番目の第１のスレショルドが低周波数バンドにおける係数の絶対値から導出される。この後、高周波数バンドの第１の係数ｊが調べられる（ステップ５４５）。第１の基準値Ｘｒｅｆは、選択された高周波数係数の絶対値であり、もしＸｒｅｆがスレショルドＴＨ１ｂより大きければ（ステップ５４６）、誤りが検出されている（ステップ５６０）。高周波数バンドの係数が全て調べられるまで、ループ（ステップ５４６〜５４８）が反復される。プロセスでスレショルドＴＨ１ａ及びＴＨ１ｂのいずれをも上回らなければ、本方法はこの段階ではこのブロックに誤りは全く検出されていないということを示す（ステップ５５０）。
【００２３】
２．第２の検出エレメント（３５）
既に述べたように、自然な画像においては隣り合うブロック間の変化は割合に滑らかに進行しがちである。従って、第２の検出エレメントの動作は、隣り合うブロック同士の相関を監視する動作に基づいている。優先的に、第２の検出エレメントは、逆離散コサイン変換後の復号化に包含される。第２及び第３の検出エレメントの目的のために、現在のマクロブロックのＤＣＴ成分は例えば復号器の揮発性メモリに一時的に記憶される。図７のフローチャートは、本発明による第２の検出エレメントの原理を例示している。
【００２４】
ステップ６１０において、現在のブロックの情報から基準値Ｘｃｕｒｒが導出される。基準値Ｘｃｕｒｒは、ブロック同士の境界をおそらく越えて続くであろう特徴を表し、後述するように、それを何通りかの方法で導出することができる。ステップ６２０において、少なくとも１つの隣り合うブロックの情報から、対応する基準値Ｘｎｅｉｇｈが導出される。ステップ６３０において、ブロックからブロックへと移行するとき、調べられている特徴の変化Δを表す差値を導出するために、基準値同士が比較される。その変化が第２のスレショルド値ＴＨ２より大きければ（ステップ６４０）、誤りが検出されている（ステップ６６０）。もしその変化が第２のスレショルドＴＨ２を上回らなければ、誤りは検出されていない（ステップ６５０）。第２のスレショルドＴＨ２は、例えば所定の定数である。
【００２５】
本発明のある実施例では、基準値ＸｃｕｒｒはブロックのＤＣ成分である。前に復号化されたブロックだけが比較のために利用可能である。復号化中に誤り検査方法が使用されるならば、左、上、左上及び右上のブロックのＤＣ成分を比較に利用することができる。フレーム全体が復号化された後にはじめて検査が行われるのであれば、いくつかのブロックに隣り合うブロックも現在のブロックの下の行の中に見いだされる可能性がある。もし現在のブロックと、利用できる全ての隣り合うブロックとの差が一定のスレショルドより大きければ、現在のブロックに誤りが検出されている。実際には、低解像度画像では隣接する２つのブロックの内容が非常に異なっていることがあるので、そのスレショルドは高い方がよい。いずれにせよ、このチェックはわずか数個の比較とＤＣ成分の記憶とを必要とするに過ぎないので、復号化プロセスをあまり複雑にはしない。
【００２６】
本発明の他の実施例では、調べられるブロックは数個のサブブロックに分割される（例えば、８* ８ブロックは４つの４* ４サブブロックに分割される）。各サブブロックについてピクセル値の平均値が計算され、その計算された値は、そのサブブロックについての基準値Ｘｃｕｒｒとして使われる。隣り合うブロックの基準値Ｘｎｅｉｇｈとして、左、上、左上及び右上方向の隣接サブブロックの平均されたピクセル値が使われる。変差Δは、基準値Ｘｃｕｒｒと、調べられる隣り合うサブブロックの各々の平均画素値Ｘｎｅｉｇｈとの差である。サブブロックと、その隣の調べられるサブブロックのいずれかとについてのこの差Δが所定の第２のスレショルドＴＨ２より大きければ、誤りが検出されている。いずれにせよ、この場合のその様な解釈が大胆すぎると思われるならば、そのブロックには怪しいという印を付けることができ、他の何らかのチェックを行うことで当該チェックを補うことができる。
【００２７】
本発明の方法のもう１つの実施例では、ブロックの境界のピクセルは、画像の連続性を調べるために使われる。従来技術の解決策では、ブロックの境界上に直に存在しているピクセルだけが調べられるが、実際には、それで充分だとは判明していない。強化された方法では、境界に近いピクセル値の変化の勾配も考慮される。第２の検出ブロックのこの様な実施例の原理が図８に例示されている。
【００２８】
図８の８ａでは、隣り合う２つのブロック７１及び７２の間の境界７０が示されている。点７３は、境界７０に最も近い第１のブロック７１のピクセルの選択された成分（例えば輝度）の値を表している。点７４は第２のブロック７２の、境界に最も近くてかつ点７３のピクセルと同じ行の中にあるピクセルについての同じ成分の値を表している。点７５は、第１のブロック７１の、境界ピクセル７３の隣に境界７０から更に離れて位置しているピクセルについての同じ成分の値を表している。点７６は、第２のブロック７２の、境界ピクセル７４の隣に境界７０から更に離れて位置しているピクセルについての同じ成分の値を表している。始めに、境界ピクセル７３及び７４の値の差ｄ１が導出される。次に、点７３／７５及び７４／７６の値からそれぞれ値７７及び７８が外挿法により推定される。外挿された値同士の差ｄ２が計算され、差ｄ１及びｄ２が互いに比較される。それらのうちの小さい方ｍｉｎ（ｄ１，ｄ２）が、ブロック７１の境界７０について計算される累積和Δに加算される。総和Δは所定の第２のスレショルドＴＨ２と比較され、もし和ΔがＴＨ２より大きければ、他方の境界が同様に検査される。全ての境界の和がＴＨ２を上回っていれば、誤りが検出されている。この例では、輝度成分が計算のために使われるが、一般に輝度成分及びクロミナンス成分（Ｙ，Ｕ，Ｖ）のいずれを使っても良く、及び／又は各成分についてチェックを別々に実行しても良い。１つ／２つ／３つの境界の和がＴＨ２を上回る値を示したならば誤りを指摘するように基準を修正することもできる。図８の８ｂでは、図８の８ａと同じ配列が、異なるピクセル値及び異なる変化方向で示されている。外挿法で、当該ブロックの妥当性／非妥当性に関する不必要に早まった結論を回避することができる。
【００２９】
従来技術文献にブロック境界のためのエッジ検出器が提示されている。ここで示されている実施例を、例えばコンパス勾配オペレータ（compass gradient operators）などの、その様なエッジ検出器を用いることで補うことができる。
【００３０】
３．第３の検出エレメント（３６）
マクロブロック・レベルで、複数のブロックに関する情報を調べることができると共に、ブロック同士の偏差をいっそう詳しく調べることができる。マクロブロック・チェックの目的のために、マクロブロックのＤＣＴ成分の全部又は選択された集合がデコーダの揮発性メモリに蓄積される。図９のフローチャートは、マクロブロック・レベルでの検出方法の原理を例示している。ステップ８１０及び８２０において、第１のブロックＢｊが受け取られて、当該マクロブロック全体にわたってその変化が調べられることになる特徴を表す一定のマクロブロック・レベル・パラメータｑｊがメモリに記憶される８３０。カウンタｊが値Ｊに達するまで、ループ８１０〜８５０の進行に伴って情報が集められるが（ステップ８３０）、それはマクロブロック中のブロックの個数に等しい。マクロブロック全体が受け取られて、全てのブロックについてのパラメータｑｊが記憶されると、基準値Ｑｃｕｒｒ又は基準値の集合がパラメータｑｊから導出される８６０。Ｑｃｕｒｒは、一定の所定基準を満たすためにＱｃｕｒｒについて設定されている限界を表す第３のスレショルドＴＨ３と照合される８７０。もし基準値Ｑｃｕｒｒが第３のスレショルドＴＨ３より小さければ、誤りは検出されていない（ステップ８９０）。基準値がＴＨ３を上回るならば、誤りが検出されている（ステップ８９５）。
【００３１】
図９に示されている方法の実施例では、基準値及びチェック基準は、局所スペクトル相関に基づいている。実際にはフレームの視認可能な形状情報のほとんどを輝度成分で発見することができる。従って、輝度ブロックに小さな変化があれば、マクロブロックのクロミナンス・ブロックで生じる変化も多くはないはずである。画像が例えば４：２：０フォーマット（即ち４個のＹブロックが１個のＵブロック及び１個のＶブロックを伴うフォーマット）を用いることによってサンプリングされる場合には、特にそういうことが言える。図１０のフローチャートは、本発明の方法のその様な実施例を例示している。
【００３２】
ステップ８１０〜８５０は、ステップ８３１においてパラメータｑ_m がマクロブロックのＵ，Ｖ，及びＹブロック（ＡＣ_{u, m}、ＡＣ_{v, m}、ＡＣ_{y, m}）におけるＡＣ係数の値の変化を表していることを除いて、図９で示されているプロセスに従う。ステップ８６１において、Ｕ及びＶブロックのＡＣ成分の変化量を表す値ＡＣ_{U, M}及びＡＣ_{V, M}が導出され、処理されて第３のスレショルドを表す値ＴＨ３となる。ステップ８６２において、輝度（Ｙ）ブロックのＡＣ成分の変化を表す対応する基準値ＡＣ_{Y, J}が導出され、処理されて第３の基準値Ｑｃｕｒｒとなる。ブロック８７１において、基準値Ｑｃｕｒｒとスレショルド値ＴＨ３とが比較され、クロミナンス成分（Ｕ及びＶ）の変化に基づくスレショルドが輝度（Ｙ）成分の変化に基づく基準数より遙かに大きいならば（ステップ８８０）、そのマクロブロックは崩れていると考えられる（ステップ８９５）。さもなければ、マクロブロック・レベルでは誤りは検出されていない（ステップ８９０）。もう一つの可能性は、例えばＵブロック及びＶブロックのＤＣ成分の変化を、先に復号化されたマクロブロックと比較してＹ成分の変化と照合して調べることである。もし例えばＵブロック及びＶブロックのＤＣ成分の変化が１つの補助第３スレショルドを上回っていてかつＹブロックＤＣ成分の変化が他の補助第３スレショルドを上回っていなければ、誤りが検出されている。
【００３３】
図１１のフローチャートは、本発明の方法の他の実施例を例示している。受け取りループのステップ８３２で蓄積するパラメータは、マクロブロックのＤＣ成分と、マクロブロックのＡＣ成分の絶対総和とである。ステップ８６３において、マクロブロック全体にわたるＤＣ成分の変化の大きさが計算され、ＤＣ成分の変化を生じさせるのに必要なＡＣ成分の絶対総和が推定される。推定された総和は第３のスレショルド値ＴＨ３として使われ、ＤＣ成分の実際の変化は第３の基準値として使われる。もしＤＣ成分が顕著に変化していてかつＡＣ係数がその変化を滑らかにするのに充分でなければ、係数の適合性は疑わしい（ステップ８７２）。基準値Ｑｃｕｒｒをスレショルド値ＴＨ３と比較することにより（ステップ８８０）、マクロブロックが崩れている（ステップ８９５）、あるいは崩れてはいない（ステップ８９０）と解釈することができる。
【００３４】
ここではこの方法をマクロブロック・レベルで説明したが、マクロブロックを行でチェックすることもできる。ビデオ・フレームの最初の行では、比較のために利用することのできる隣り合うブロック又はマクロブロックは多くない。その第１行に急な変化が無くて値が典型的な範囲内に属するならば、それは崩れていないと考えることができる。もし疑わしければ、第１行の値を第２行と一緒にチェックするべきである。もし第１行の値が第２行の値とは非常に違っていて、第２行の値が急な変化を含んでいなければ、第１行はおそらく崩れている。
【００３５】
図１２のフローチャートは、本発明の実施例の機能構成を例示しており、この構成では、前述した３つのエレメントの全てが復号化プロセスに含まれている。始めに、ブロック内のＤＣＴ成分をチェックする方法９０が実行され、崩れているブロックがこれで除去される。ＤＣＴチェックに合格するブロックについてもブロック・チェック９１が実行される。ここでも、崩れているブロックが除去され、疑わしいブロック（即ち、誤りを検出しないけれども疑わしいブロックに印を付ける検出方法に落第したブロック）はマクロブロック・チェック９２を受けるべく転送される。ＤＣＴチェック及びブロック・チェック及び／又はマクロブロック・チェックに合格するブロックは正常に転送され９３、それらのいずれかのチェックで不合格になるブロックは、誤り隠蔽方法を開始させる誤り表示と共に転送される。
【００３６】
図１３のブロック図は、本発明のビデオ画像復号器１００の実施例を例示している。この復号器は、可変長コードの形のビデオ画像情報を受け取るための入力ポート１０１と、処理済みのビデオ画像情報を出力するための出力ポート１０２とを備える。復号器は、更に、図１に示されている復号化のステップを実行する少なくとも１つのプロセッサ１０３を備える。本発明の復号器のプロセッサは、更に、復号化プロセスの前記の３つの検出ブロックのうちの少なくとも２つを包含していて、容認されたならば検出された誤りの表示を出力ビデオ画像情報に付加するように構成されている。このプロセッサはまた、復号化されたブロック又はマクロブロックに誤りが検出されると所定の誤り隠蔽プロセスを開始するようにも構成されている。メモリ１０４は、少なくとも、復号化プロセス中にデータを保存しておくための揮発性メモリを含んでいる。
【００３７】
図１４の機能ブロック図は、本発明の一般的な移動マルチメディア・テレビ電話端末を示している。この端末は、一般的に送信手段（例えば、チャネル符号化、インターリーブ、暗号化、変調及び無線送信）及び受信手段（無線受信、復調、暗号解読、及びチャネル復号化）を備える無線周波数ユニット１１０と、双方向フィルタと、アンテナとを備える。受信された同期ビット・ストリームは、端末の多重化／多重分離プロトコル・ユニット１１１に送られる。多重化プロトコルは、送信されるビデオ・ストリーム、オーディオ・ストリーム、データ・ストリーム、及び制御ストリームを単一のビット・ストリームに多重化し、受信されたビット・ストリームを種々のマルチメディア・ストリームに多重分離する。更に、それは、各メディア・タイプに適切な、論理フレーミング、一連番号付け、誤り検出及び誤り訂正を実行する。システム制御１１３の制御プロトコル１１２は、マルチメディア端末の動作のための終端間シグナリングを提供すると共に、他の全ての終端間システム機能にシグナリングする。それは、能力交換、コマンド及び指示のシグナリング、並びに論理チャネルの内容を開いて完全に記述するためのメッセージを提供する。データ・プロトコル１１４は、電子ホワイトボード、静止画像転送、ファイル交換、データベース・アクセス、オーディオグラフィックス会議、遠隔装置制御、ネットワーク・プロトコルなどのデータ・アプリケーションを支援する。オーディオ・コーデック１１６は、オーディオＩ／Ｏ装置１１７からのオーディオ信号を送信するために符号化すると共に、符号化されているオーディオ・ストリームを復号化する。復号化されたオーディオ信号は、オーディオＩ／Ｏ装置１１７を用いることにより再生される。ビデオ・コーデック１１８はビデオ符号器１１９及びビデオ復号器１００を備え、ビデオＩ／Ｏ装置１２０とやりとりするビデオ・ストリームの冗長性低減符号化及び復号化を実行する。本発明の端末は、図１３との関連で前述したビデオ復号器１００を備える。
【００３８】
以上の解説は、本発明の実施例を例示して説明している。本発明は上記の実施例の詳細に限定されるものではなくて、本発明の特徴から逸脱せずに本発明を他の実施例で実施し得ることは当業者にとっては自明のことである。特に、検出される誤りの決定と、スレショルドの選択とを、用途に応じて多様に調整することができる。従って、提示されている実施例は、説明をするものであって、限定をするものではないと解されるべきである。従って、本発明を実施し使用する可能性は添付の請求項のみにより限定される。
【図面の簡単な説明】
【図１】イントラ符号化されているビデオ画像を符号化及び復号化する段階を例示する図である。
【図２】Ｈ．２６１規格によるビデオ画像の構成を例示する図である。
【図３】本発明の方法のエレメントを例示する図である。
【図４】ＤＣＴマトリクスの構成及びＤＣＴマトリクスを分割する種々の方法を例示する図である。
【図５】本発明の第１の検出エレメントの原理を示すフローチャートである。
【図６】図５の方法の実施例を示すフローチャートである。
【図７】本発明による第２の検出ブロックの原理を例示する図である。
【図８】第２の検出ブロックの実施例の原理を例示する図である。
【図９】本発明による第３の検出ブロックの原理を例示する図である。
【図１０】本発明による第３の検出ブロックの実施例を例示する図である。
【図１１】本発明の方法の他の実施例を例示する図である。
【図１２】本発明の実施例の機能構成を例示する図である。
【図１３】本発明のビデオ画像復号器の実施例を例示する図である。
【図１４】本発明の移動端末の実施例を例示する図である。
【符号の説明】
１００…ビデオ復号器
１０３…プロセッサ
１０４…メモリ
１１９…ビデオ符号器

Claims (19)

1. 圧縮ビデオ・データ復号化方法であって、
   ビデオ・データ・ブロックの空間周波数分布に関する情報をピクセル値に変換するステップを備える圧縮ビデオ・データ復号化方法において、
   前記変換の前に、前記ビデオ・データ・ブロック内の空間周波数分布の変異を表す第１の基準値を生成するステップ、
   ビデオ・データ・ブロック（７１）の行内の境界ピクセル（７３）のピクセル値と、隣接するビデオ・データ・ブロック（７２）の同一行内の最も近い境界ピクセル（７４）のピクセル値との間の差分を表す第１の差分値（ｄ１）を計算するステップ、
   前記ビデオ・データ・ブロック（７１）の行内の前記境界ピクセル（７３）と、前記ビデオ・データ・ブロック（７１）の同一行内の前記境界ピクセル（７３）に最も近いピクセル（７５）とから第１の外挿された境界ピクセル値（７７）を計算するステップ、
   前記隣接するビデオ・データ・ブロック（７２）の行内の前記境界ピクセル（７４）と、前記隣接するビデオ・データ・ブロック（７２）の同一行内の前記境界ピクセル（７４）に最も近いピクセル（７６）とから第２の外挿された境界ピクセル値（７８）を計算するステップ、
   前記第１及び第２の外挿された境界ピクセル値の間の差分を有する第２の差分値（ｄ２）を計算するステップ、
   前記第１の差分値（ｄ１）と前記第２の差分値（ｄ２）とを比較するステップ、
   前記第１と第２の差分値（ｄ１、ｄ２）のうちの小さい方を、前記ビデオ・データ・ブロックの境界の全てのピクセルについて同様に計算された差分の総和に加算するステップ、
   前記境界の全てのピクセルの差分の前記総和から第２の基準値（Δ）を生成するステップ、
   前記第１の基準値を一定の第１のスレショルド値と比較すると共に前記第２の基準値を一定の第２のスレショルド値と比較するステップ、及び
   前記第１の基準値及び前記第２の基準値のいずれかがそれぞれ前記第１のスレショルド値及び前記第２のスレショルド値より大きいことに対する応答として、前記ビデオ・データ・ブロックにおける誤りを検出するステップ、
   を有する圧縮ビデオ・データ復号化方法。
2. マクロブロックを形成する数個のブロックを復号化した後に、該マクロブロック内のＤＣＴ係数の情報、又はピクセル値の情報の変化を表す第３の基準値（Ｑｃｕｒｒ）を生成し、
   前記第３の基準値を一定の第３のスレショルド値と比較し、
   前記第３の基準値が前記第３のスレショルド値より大きいことに対する応答として、前記マクロブロックにおける誤りを検出することを特徴とする、請求項１に記載の方法。
3. マクロブロックを形成する数個のブロックを復号化した後に、該マクロブロックと少なくとも１つの以前に復号化されたマクロブロックとの間のＤＣＴ係数の情報、又はピクセル値の情報の変化を表す第３の基準値を生成し、
   前記第３の基準値を一定の第３のスレショルド値と比較し、
   前記第３の基準値が前記第３のスレショルド値より大きいことに対する応答として、前記マクロブロックにおける誤りを検出することを特徴とする、請求項１に記載の方法。
4. 誤りを検出することに対する応答として、誤り隠蔽プロセスを開始することを特徴とする、請求項１〜３のいずれか一項に記載の方法。
5. 前記変換は前記ビデオ・データ・ブロックの逆ＤＣＴ変換であることを特徴とし、前記方法は、
   前記ビデオ・データ・ブロックのＤＣＴ係数を少なくとも２つの部分に分割するステップであって、第１の部分の係数は第２の部分の係数より高い周波数と関連するステップ、
   前記第１の部分の前記係数から第１の基準値を生成するステップ、及び
   前記第１の部分に属していない係数の集合の中の係数から第１のスレショルド値を生成するステップ、
   を有する、請求項１に記載の方法。
6. 前記方法は、
   前記第１の部分に属していない前記係数からＤＣＴ係数の少なくとも２つの集合を形成するステップ、
   ＤＣＴ係数の形成された集合の各々について第４の基準値を生成するステップ、
   ＤＣＴ係数の形成された集合の各々について対応する第４のスレショルド値を生成するステップ、
   前記集合の各々について、前記集合の前記第４の基準値を前記集合の前記第４のスレショルド値と比較するステップ、及び
   前記集合の前記第４の基準値のいずれかが前記集合の前記対応する第４のスレショルド値より大きいことに対する応答として、前記ビデオ・データ・ブロックにおける誤りを検出するステップ、
   を更に備えることを特徴とする、請求項５に記載の方法。
7. 前記第１の基準値はＤＣＴ係数の集合の最大の絶対係数値であり、非ゼロ係数値の個数が１より大きいとき、前記第１のスレショルド値は、前記最大絶対係数値を除いた係数値の絶対総和に加算される所定の定数値に等しくなり、そうでないときは、前記第１のスレショルド値は前記所定の定数値に等しくなることを特徴とする、請求項６に記載の方法。
8. 現在のビデオ・データ・ブロックのＤＣ成分と、少なくとも１つの以前に変換されたビデオ・データ・ブロックのＤＣ成分との間の差分、又は複数の差分から前記第２の基準値を生成することを特徴とする、請求項１又は２に記載の方法。
9. 前記第２の基準値の前記生成するステップは、
   各ビデオ・データ・ブロックを一定数のサブブロックに分割するステップ、
   前記サブブロックについての前記ピクセル値の平均値を計算するステップ、及び
   現在のサブブロックと少なくとももう１つの隣接するサブブロックの平均されたピクセル値の間の差分から前記第２の基準値を生成するステップ、
   を備えることを特徴とする、請求項１に記載の方法。
10. 前記マクロブロックのＡＣ係数を少なくともＵブロック、Ｖブロック及びＹブロックの値のグループに分割し、
    前記マクロブロックの中のＵブロック、Ｖブロック、及びＹブロックのＡＣ値の変化を表す値の集合を生成し、
    Ｕ成分及びＶ成分の変化の大きさから第３の基準値を生成し、及び
    対応するＹ成分の変化の大きさから第３のスレショルド値を生成することを特徴とする、請求項２に記載の方法。
11. 前記マクロブロックと、少なくとも１つの以前に復号化されたマクロブロックとのＵブロック及びＶブロックのＤＣ値同士の差分から前記第３の基準値を生成し、
    前記マクロブロックと、少なくとも１つの以前に復号化されたマクロブロックとのＹブロックのＤＣ値同士の差分から第３のスレショルド値を生成することを特徴とする、請求項３に記載の方法。
12. マクロブロック内の数個のブロックにおけるＡＣ係数の値の絶対総和から第３の基準値を生成し、及び
    前記数個のブロックにおけるＤＣ係数の変化を生じさせるのに必要なＡＣ係数の値の推定された総和から第３のスレショルド値を生成することを特徴とする、請求項２に記載の方法。
13. 前記第１の基準値及び前記第２の基準値のいずれかがそれぞれ前記第１のスレショルド値及び前記第２のスレショルド値より大きいことに対する応答として、前記ビデオ・データ・ブロックに疑わしいという印を付け、及び
    疑わしいという印が付けられている少なくとも１つのビデオ・データ・ブロックを含むマクロブロックを検査することを特徴とする、請求項２又は３に記載の方法。
14. 圧縮ビデオ・データ復号化装置であって、
    ビデオ・データ・ブロックの空間周波数分布に関する情報をピクセル値に変換するための手段を備える圧縮ビデオ・データ復号化装置において、
    前記変換の前に、前記ビデオ・データ・ブロック内の空間周波数分布の変異を表す第１の基準値を生成するための手段、
    ビデオ・データ・ブロック（７１）の行内の境界ピクセル（７３）のピクセル値と、隣接するビデオ・データ・ブロック（７２）の同一行内の最も近い境界ピクセル（７４）のピクセル値との間の差分を表す第１の差分値（ｄ１）を計算するための手段、
    前記ビデオ・データ・ブロック（７１）の行内の前記境界ピクセル（７３）と、前記ビデオ・データ・ブロック（７１）の同一行内の前記境界ピクセル（７３）に最も近いピクセル（７５）とから第１の外挿された境界ピクセル値（７７）を計算するための手段、
    前記隣接するビデオ・データ・ブロック（７２）の行内の前記境界ピクセル（７４）と、前記隣接するビデオ・データ・ブロック（７２）の同一行内の前記境界ピクセル（７４）に最も近いピクセル（７６）とから第２の外挿された境界ピクセル値（７８）を計算するための手段、
    前記第１及び第２の外挿された境界ピクセル値の間の差分を有する第２の差分値（ｄ２）を計算するための手段、
    前記第１の差分値（ｄ１）と前記第２の差分値（ｄ２）とを比較するための手段、
    前記第１と第２の差分値（ｄ１、ｄ２）のうちの小さい方を、前記ビデオ・データ・ブロックの境界の全てのピクセルについて同様に計算された差分の総和に加算するための手段、
    前記境界の全てのピクセルの差分の前記総和から第２の基準値（Δ）を生成するための手段、
    前記第１の基準値を一定の第１のスレショルド値と比較すると共に前記第２の基準値を一定の第２のスレショルド値と比較するための手段、及び
    前記第１の基準値及び前記第２の基準値のいずれかがそれぞれ前記第１のスレショルド値及び前記第２のスレショルド値より大きいことに対する応答として、前記ビデオ・データ・ブロックにおける誤りを検出するための手段、
    を有する圧縮ビデオ・データ復号化装置。
15. マクロブロックを形成する数個のブロックを復号化した後に、該マクロブロック内でのＤＣＴ係数の情報、又はピクセル値の情報の変化を表す第３の基準値を生成するための手段と、
    前記第３の基準値を一定の第３のスレショルド値と比較するための手段と、
    前記第３の基準値が前記第３のスレショルド値より大きいことに対する応答として、前記マクロブロックにおける誤りを検出するための手段とを更に備えることを特徴とする、請求項１４に記載の装置。
16. マクロブロックを形成する数個のブロックを復号化した後に、該マクロブロックと少なくとも１つの以前に復号化されたマクロブロックとの間のＤＣＴ係数の情報、又はピクセル値の情報の変化を表す第３の基準値を生成するための手段、
    前記第３の基準値を一定の第３のスレショルド値と比較するための手段、及び
    前記第３の基準値が前記第３のスレショルド値より大きいことに対する応答として、前記マクロブロックにおける誤りを検出するための手段、
    を更に有することを特徴とする、請求項１４に記載の装置。
17. 前記変換は前記ビデオ・データ・ブロックの逆ＤＣＴ変換であることを特徴とし、前記装置は、
    前記ビデオ・データ・ブロックのＤＣＴ係数を少なくとも２つの部分に分割するための手段であって、第１の部分の係数は第２の部分の係数より高い周波数と関連する手段、
    前記第１の部分の前記係数から第１の基準値を生成するための手段、及び
    前記第１の部分に属していない係数の集合の中の係数から第１のスレショルド値を生成するための手段、
    を更に有する、請求項１４に記載の装置。
18. 誤りを検出することに対する応答として、誤り隠蔽プロセスを開始するための手段、
    を更に有することを特徴とする、請求項１４−１７のいずれか一項に記載の装置。
19. 前記装置は移動端末であることを特徴とする、請求項１４〜１８のいずれか一項に記載の装置。

Images