JP5030179B2 - 映像符号化 - Google Patents

Description

本発明は、特に、但しこれに限定はされずに、フレーム間差分符号化を用いるビデオ符号器における映像符号化に関する。本発明は、誤り検出のためにシステムを監視することに関する。

例えば２００２年３月１７乃至２１日の、Wireless Communication and Networking Conference, 2002、WCNC2002、2002 IEEE、Volume 1、２１５乃至２１９ページのMartini, M. G. およびChiani, Mによる「Joint source-channel error detection with standard compatibility for wireless video transmission」から、復号器が受信した信号との比較が可能な、巡回冗長検査（ＣＲＣ）のような検査信号を符号化された信号から生成することが知られている。しかしながら、この手法は、送信経路において発生する誤りを検出できるのみである。一方、Rane, S. et al. によるProceedings of the SPIE、Vol. 5308、no.1（２００４年１月２０日）、５８８乃至５９５ページの、「Systematic Lossy Forward Error Protection for error-Resilient Digital Video Broadcasting」は、送信器が第１符号器を用いて映像信号を符号化するとともにローカル復号された映像信号を生成し、ローカル復号された映像信号が次いでより粗い量子化を用いる第２映像符号器を用いて再度符号化され、次いでリードソロモン符号化されるシステムについて説明している。リードソロモンパリティシンボルは受信器に送信される。誤りがある状態で、受信器は受信した第１符号化信号を復号し、粗い量子化を用いてこれを再度復号し、リードソロモン誤り訂正を施し、その結果を復号する。このシステムは、誤りがあったことをはっきりと知らせず、より重要なことに、多くの誤りが粗い量子化によって見えなくなり、このために検出することができないという点が不十分である。

本発明のある１つの視点によれば、映像符号化手段と、ローカル復号された画像を生成可能なローカル復号手段と、何らかの１つの誤りがある状態で得られたチェック信号が誤りの無い画像から得られたチェック信号と常に相違するように、前記ローカル復号された画像の全ビットの関数としてチェック信号を生成する手段と、具備する映像信号を符号化するための装置が提供される。

別の視点によれば、発明者らは、送信器において、符号化された映像信号を生成し、前記符号化された映像信号を復号してローカル復号された画像を生成し、何らかの１つの誤りがある状態で得られたチェック信号が誤りの無い画像から得られたチェック信号と常に相違するように、前記ローカル復号された画像の全ビットの関数としてチェック信号を生成し、前記差分信号および前記チェック信号を受信器に送信する、ことを具備する映像信号の送信方法を提供する。

本発明の別の視点は、従属形式の請求項に記載されている。

本発明の幾つかの実施形態が、例として、添付の図面を参照しながら説明される。図面のうち、図１は、本発明に従った符号器のブロック図である。図２は、対応する復号器のブロック図である。

図１は画像符号器を示している。映像信号（一般にデジタル信号である）は、入力１において受信される。減算器２は、この入力と、フレームストア３からの予測信号との差分を生成する。次いで、この差分は箱４において符号化される。ここで実施される符号化は、本発明にとって重要なことではなく、例えば（ゼロを送信することや瑣末な差を抑制するための）閾値化量子化、変換符号化および／または可変長符号化が含まれていても良い。フレームストアへの入力は、加算器５で生成される、予測値とローカル復号器６において復号された符号化差分信号の和である（よって、符号化および復号で失われた情報は予測ループに組み込まれている）。

差分符号化は、本質的にはフレーム間によるものであるが、送信誤りの伝播を制限するために、フレーム内符号化が（全フレームに対してまたはフレームの選択されたブロックに対して）行なわれても良い。予測は、単に、フレームストア３によってなされるフレーム１つ分遅延させることからなる。しかしながら、図示のように動き推定器７も含まれてはいる。これは、符号化されている最中の画像のフレームをフレームストア３内の以前のフレームと比較する。現在のフレームの（画像が分割された）各ブロックについて、前回のフレームの中で対象のブロックが最も似ている領域が特定される。特定された領域と対象のブロックとの間の位置についてのベクトル差分は、（テレビ画像によって描かれるシーン内の物体の移動を表しているので）動きベクトルと呼ばれ、動き補償部８に供給される。動き補償部８は、前回のフレームの特定された領域を現在のフレーム内の関連するブロックの位置へとシフトさせてより良い予測を行なうことに供する。この結果、減算器２によって形成される差分は、平均するとより小さくなる結果となり、符号器４が差分の大きな場合よりも低いレートを用いて画像を符号化することが可能となる。

図２は復号器を示している。まず、箱４において行なわれたあらゆる符号化動作の反対の動作が箱６´（これは図１の箱６と同じものである）において行なわれ、フレーム間差分信号が生成される。この信号は、次いで、符号器から動きベクトルを受信する動き補償部８´内での動き補償を経たフレームストア３´からの予測に付加される。加算器５´の出力は、復号器の出力を形成し、また、フレームストア３´の入力に供給される。

図示はされていないが、従来と同様に符号器出力と復号器入力にバッファを設けて一定のビットレートチャネルでの送信を可能としてもよい。

ここまでの記載の限りでは、これらの配置は従来通りである。しかしながら、また、符号器は、加算器５からローカル復号されたフレームのそれぞれを受信するとともに１つ以上のチェックビットを生成するチェックビット生成器９を含んでいる。チェックビットは、符号化されたデータおよび動きベクトルとともに復号器に送信される。

復号器は、検査部９´を有する。検査部９´は、チェックビットおよびローカル復号されたフレームを加算器５´からを受信し、それらの一致を確認する。このことは、単に、符号器と同様の方法を用いて１つまたは複数のローカル検査ビットを生成することと、その結果を符号器から受信したものと比較することからなっている。２者が一致しない場合、警報信号が生成される。

あらゆる形態の検査ビットを用いることが可能である。必要なものは以下のような信号である。すなわち、信号が、フレームストア３（または３´）内に保存されているビットの関数であるとともに誤りを含んだフレームから生成される信号とは相違することである。１つのパリティビットでこのような機能は果たされるのであるが、このようなパリティ検査は、エラーレートが非常に小さい場合にのみ有用である。なぜなら、同じフレーム内で２つ以上の誤りが発生している場合、誤りを特定できないからである。

別の方法は、ハッシュ関数を用いることである。発明者らは、巡回冗長検査（ＣＲＣ）を用いることが好ましいとしている。ここで、フレームストア内のフレームは、Ｍビットで表され、これらのＭビットはＭビットの２進数とみなされる。このＭビットの２進数は、２を法として、生成器多数項Ｇによって除算される。この除算後の余りが、求める検査ビットのストリングである。ＣＲＣの適当な例は、１９９６年のＭＰＥＧ−２規格ＩＳＯ／ＩＥＣ１３８１８−１の付属文書Ａ（８１ページ）に記載されている。

本発明は、多様なビデオ符号器とともに機能する。しかしながら、ビットイグザクトなプロセスとして定義されていない変換符号化を用いるシステムとともに用いると問題が生じる可能性があることに留意されたい。このようなことの一例は、システムがＭＰＥＧ−２規格に従って動作することである。ユニット６、６´での復号が同じであれば困難は生じないのであるが、このことは、たいてい、例えば同じ製造業者によって製造された場合または同じチップセットが用いられた場合にしか起こらない。

概して、この規格に準拠する符号器および復号器は、浮動小数点演算や２つの間で若干異なる丸め誤りを引き起こす別の固定小数点演算を用い得、加算器５、５´からの２つの復号されたフレームが若干相違するであろう。このことは、画像を見る者が気づくことは無いであろうが、ＣＲＣチェックが誤り信号を生成することを引き起こす。（Ｈ．２６４のような）ビットイグザクトな演算の仕様を定めるシステムではこの問題は生じない。Ｈ．２６４規格は、「付加拡張情報（ＳＥＩ）」メッセージ仕様を含んでいることに留意されたい。ＳＥＩメッセージは、画質を維持するような目的に用いられることが意図されている。これらのメッセージは、特には、画像チェックサム情報を含んではいないが、使用者定義のメッセージ（ＩＴＵによって定義されるプロセスを介して任意付加的に手続が取られる）が可能となっている。また、ＳＥＩメッセージによって、さらなる情報を関連する画像に関連付けする機構が提供される。このように、ＳＥＩ機構は、画像チェックサム情報を送信したり用いたりするのに用いることができる。

パリティが望まれる場合は、ＣＲＣまたは他のチェックが、送信および受信されるビットストリームに対しても実行される。しかしながら、このことによって、９´でのチェックが不要となるわけではない。なぜなら、ビットストリームに対するチェックは誤りが発生した場合これを特定するのだが、フレームストア３´内で誤りがあるかどうかは示さないからである。このような誤りは、当然ながら、一旦発生すると、フレーム内符号化フレーム（またはブロック）が受信されるまで存続する。

実用上、必要であれば、誤り信号は送信器側へと返信されても構わない。チェックサムを用いることによって、画像の精度についての高い信頼性を実現することができる。典型的な流れは、以下のようなものであろう。

・符号器システムが、再構築された画像のそれぞれについて、これらの画像内のＹ、Ｕ、Ｖピクセルのそれぞれの値を用いて（例えば）３２ビットのチェックサムを計算する。

・チェックサムがビットストリームとともに、またチェックサムを関連する画像に関連付けるのに十分な情報とともにセットトップボックスに送信される。

・セットトップボックス内の復号器が画像を復号する。セットトップボックスは、復号された画像のチェックサムを計算し、これを符号器によって生成されたチェックサムと比較する。

・値が一致した場合、セットトップボックスは、例えば復号された画像のうちの正確なものの数についてのカウンタを増分する。

・チェックサムが一致しない場合、誤りが発生している。セットトップボックスは中央管理機能部に誤り通知を発行する。中央管理機能部は、このような情報を照合し、必要とみなされた場合、訂正を行なう。

システムによっては、全てのフレームが他のフレームの符号化に関しての予測体として用いられるわけではないことに留意されたい。例えば、ＭＰＥＧ−２規格においては、Ｂフレームは、フレーム間差分符号化技術を用いて符号化されてはいるが、それ自体は別のフレームの符号化を行なうための参照フレームとしては用いられない。このため、従来のＭＰＥＧ−２符号器は、Ｂフレームを復号する必要はない。その結果を必要としないからである。この場合、原則、２つの選択肢がある。１つ目の選択肢は、チェックビットが、予測を行なうために常に復号されるフレームに対してのみ復号器で生成される（、また復号器でチェックされる）ことである。このことは、全ての画像が正確さを期すためにチェックされるわけではなく、画質を高めるに際して非参照画像の重要性が当然ながら落ちることを意味する。なぜなら、それらに含まれる誤りは存在し続けないからである。もう一つの選択肢は、予測を行なう目的では必要とされないフレームが復号され、チェックビットが、他の目的では必要でないにも係らず、これらフレームに対して生成されることである。

特に、フレーム間予測フレームがフレーム内予測符号化用の参照フレームとして用いられないシステム（例えば、フレーム内で符号化されたものとフレーム間で符号化されたものを交互に送信するシステム）を思い描くことは可能である。この場合、符号器側での一部復号はチェックビットを生成する目的のみのために行なわれる。

実際、本発明は、予測符号化を全く用いないシステムで使用することも可能である。よって、映像符号化のあらゆる形について、符号化された映像信号は、符号器においてローカル復号され得るとともに、ローカル復号された画像が用いられて、受信器に送信することに備えて検査目的でＣＲＣまたは他のチェック信号が生成され得る。これによって、送信されるビットストリームを単にチェックするよりも高いセキュリティーが得られる。なぜなら、送信誤りから生じる問題のみでなく符号化または復号中に生じる誤りをも警告することができるからである。

Ｈ．２６３およびＨ．２６４のようなある種の規格は、ループフィルタを用いることを許容している。ループフィルタは、符号化ループ内で動作するフィルタである。ループフィルタは、加算器５（または５´）の出力とフレームストア３（または３´）の入力との間に位置する。画像を見る人に提示される画像は、通常、このフィルタの出力から取り出される。発明者らは、フィルタを通った信号にＣＲＣ動作を対して行なう方を選ぶが、実際、フィルタを通った信号または通っていない信号のいずれが（符号器および復号器で統一されている限り）選択されても良い。

また、ＣＲＣ処理への入力をフレームストア３、３´への出力（または動き補償ユニット８、８´）から取り出すことが可能であることに留意されたい。ただし、もちろん、このことは非参照フレームには当てはまらない。これらは保存されないからである。

上記の説明によれば、ＣＲＣまたは他のチェック信号はフレームごとに一度生成される。しかしながら、このことは必須ではない。これらは、もっと少ない頻度で生成されても構わない。例えば、フレーム１対ごと、またはフレーム１組ごとに一度である。反対に、より頻繁に生成されても良い。例えば、マクロブロックごとに一度提供されたり、または各フレームに対して動きベクトルや他のデータについての別個のＣＲＣが提供される。

本明細書で説明されているチェックは、エンド対エンドシステム検査に役立つ。すなわち、バグを含んだ（または処理能力が常に維持されるほど十分ではない）復号器を含む、送信にまつわる問題や受信側の問題を検出することである。ＣＲＣ技術によって、例えば、復号器を含んだセットトップボックスが統計値（ＡＣＫおよびＮＡＣＫタイプの両方）をサーバにフィードバックすることが可能となり得る。この結果、サーバは、受信器が視聴者に提供した内容の成績の履歴を保持することができる。使用者が、画質について不満を述べた場合、このようなシステムであれば、サービスの提供者が、サーバによるコンテンツの復号がまずかった、または受信器側での他の設備に問題があったことを含む他のあらゆる問題から、送信および復号にまつわる問題を明確に区別することが可能になる。

本発明に従った符号器のブロック図である。 対応する復号器のブロック図である。

Claims (13)

1. 映像符号化手段と、
   ローカル復号された画像を生成可能なローカル復号手段と、
   何らかの１つの誤りがある状態で得られたチェック信号が誤りの無い画像から得られたチェック信号と常に相違するように、前記ローカル復号された画像の全ビットの関数としてチェック信号を生成する手段と、
   具備する映像信号を符号化するための装置。
2. 前記チェック信号は、巡回冗長検査信号である、請求項１の装置。
3. 前記映像符号化手段は、予測符号化を行なうように構成されている、請求項１または２の装置。
4. 前記映像符号化手段は、
   ローカル復号された画像を保存するフレームストアと、
   保存されたローカル復号された画像に基づいて送信画像と予測画像との間の差分を表す差分信号を生成するフレーム間符号化手段と、
   を具備する、請求項１の装置。
5. 前記チェック信号は、別のフレームの予測符号化の基礎として用いられる画像についてのみ生成される、請求項４の装置。
6. 前記フレーム間符号化手段は、別のフレームの予測符号化の基礎として用いられない画像の予測符号化を実行可能であって、
   前記ローカル復号手段は、このような非参照画像を復号して前記チェック信号生成手段がこれらに対してチェック信号を生成できるように構成されている、
   請求項４の装置。
7. 送信器において、
   符号化された映像信号を生成し、
   前記符号化された映像信号を復号してローカル復号された画像を生成し、
   何らかの１つの誤りがある状態で得られたチェック信号が誤りの無い画像から得られたチェック信号と常に相違するように、前記ローカル復号された画像の全ビットの関数としてチェック信号を生成し、
   前記差分信号および前記チェック信号を受信器に送信する、
   ことを具備する映像信号の送信方法。
8. 受信器において、
   受信された信号を復号して復号された画像を生成し、
   前記復号された画像を前記チェック信号と比較し、
   前記復号された画像とチェック信号とが一致しない場合、誤り信号を生成する、
   ことを含む請求項７の方法。
9. 前記チェック信号は巡回冗長検査信号である、請求項７または８の方法。
10. 前記映像を符号化することは予測符号化を用いる、請求項７、８、または９の方法。
11. 前記符号化された映像信号は、送信画像と保存されているローカル復号された画像に基づいた予測画像との間の差分を表す差分信号を含む、請求項７乃至１０のいずれか１項の方法。
12. 前記チェック信号は、別のフレームの予測符号化の基礎として用いられる画像についてのみ生成される、請求項１１の方法。
13. 別のフレームの予測符号化の基礎として用いられない画像の予測符号化を含み、
    このような非参照画像をローカル復号することおよびこれらに対してチェック信号を生成することを具備する、
    請求項１１の方法。

Images