JP6049017B2 - メモリ要求低減ビデオ送信システム - Google Patents

Description

本出願は２０１０年４月７日付に出願されたオーストラリア仮特許出願第２０１０９０１４５２号の優先権を主張する。この仮出願は、参照により本明細書に組み込まれる。

ビデオマテリアルを送信したり保存したりする典型的な技術として、そのビデオマテリアルに関連して必要とされる記憶容量やバンド幅を減少させる圧縮技術が用いられる。圧縮技術の一つには、ビデオシーケンスの一連のフレーム間の冗長性を利用するものがある。この技術では、参照用フレームを変換することによって一連のフレームが表示される。例えば、ブロックモーションプレディクション技術では、各フレームは固定サイズのブロックに複数分割される。送信対象のフレームはまず参照用フレームのブロック単位でコーディングされるが、それはコーディングされるフレーム中の対応ブロックに合致する、参照用フレーム中のブロックを見いだすことにより行われる。次いで、コーディングされたフレームは、参照用フレーム中のブロックがコーディングされるフレーム中の対応するブロックへどれだけ移動するかを特定する一式のベクトルによって初期近似され得る。その後、この近似と実際のフレームとの差分が、適切な圧縮アルゴリズムを用いてコーディングされる。この近似されたフレームと実際のフレームの差は、実際のフレームよりも情報量がはるかに少ないため、新たなフレームを表示するのに必要なビット数を大いに節約することができる。

参照用フレームを保存するのに必要なメモリ量は、特に、小型のハンドヘルドデバイスに向けて高解像度ビデオを送信するような場合に重要な問題となる。小型のハンドヘルドデバイスは通常、高解像度送信の参照用フレームを保持するのに不十分なメモリしか含んでいないシステムオンチップデザインに頼っている。結果として、別の一つ又は複数のメモリチップが必要となる。このようにチップを追加すると装置のコストが増加し、また、かなりの追加的な電力を消費する。追加で電力が必要になることはバッテリーで駆動する装置においてとりわけ問題となる。

このメモリの問題を解決する一つの方法は、圧縮技術を用いてそのメモリ中に参照用フレームを保存するということであろう。圧縮エンジンが参照用フレームのピクセルを必要とする場合、その圧縮された参照用フレームは、その圧縮エンジンにそのピクセルを与えるために、部分的に解凍されるであろう。参照用フレームの保存に可逆圧縮技術が用いられている場合、このようにメモリを節約しても、上述したようなハンドヘルドデバイスにおいて追加メモリが必要となることを避けるには不十分である。

参照用フレームを保存するのに不可逆圧縮技術が用いられる場合、送信機によって用いられる参照用フレームは、受信機によって用いられる参照用フレームと異なる。これは、受信機によって生成されるビデオシーケンスにアーチファクトを生じさせる原因になる。このようなアーチファクトは、各フレームが前のフレームをその「参照用」フレームとして用いるような圧縮技術において、とりわけ問題となる。そのようなシステムにおいては、アーチファクトはフレームごとに、より一層目立ってしまう。

本発明はビデオストリームをエンコードするためのエンコーダ及びそのエンコーダを用いる方法を含む。このエンコーダは複数のエンコードされる対象であるフレームを含むビデオストリームを受信する入力ポートを含む。第一圧縮サブシステムは第一不可逆圧縮法を用いて複数の圧縮参照用フレームを生成する。出力ステージはエンコーダから遠隔地にある装置に圧縮参照用フレームを伝達する。参照用フレーム保存サブシステムは、ビデオストリーム中の次のフレームを圧縮するのに使用する、圧縮参照用フレームの一つを圧縮形式で保存し、その圧縮参照用フレームは第二不可逆圧縮法を用いて圧縮される。第二圧縮サブシステムは参照用として参照用フレーム保存サブシステムに保存されている圧縮参照用フレームを用いて第二の複数のフレームをエンコードし、圧縮ビデオフレームを生成する。参照用フレームではない各圧縮ビデオフレームは参照用フレームの一つから直接コーディングされる。第二の複数のフレームも、遠隔地の装置に伝達される。

図１は複数のＰフレームが同一のＩフレームから直接生成されるプロトコルを示す。 図２は前フレームエンコーディングと称される第二のコーディングモードを示す。 図３は本発明に係るエンコーダシステムの一実施形態の簡略ブロック図を示す。 図４は本発明の一実施形態に係るエンコーダのより詳細な概略図を示す。 図５は本発明に係るエンコーダの他の実施形態の概略図を示す。 図６は本発明に係るエンコーダの他の実施形態の概略図を示す。

以下の説明を簡略化するために、二種類のビデオフレームを定義する。第一の種類のビデオフレームは参照用フレーム又はＩフレームと称する。Ｉフレームは、過去又は将来のいかなるフレームにも依存しない。第二の種類のビデオフレームはＰフレームと称する。Ｐフレームはビデオシーケンス中の他のフレームを参照してコーディングされる。Ｐフレームは、Ｉフレームに関して、又は過去のＰフレームに関してコーディングされることはない。ここで、複数のＰフレームが同一のＩフレームから直接生成されるプロトコルを示す図１を参照する。このビデオ転送モードでは、Ｉフレーム１０１がエンコーダからデコーダに送信される。次いで、ストリームの一連の各フレーム１０２がこのＩフレームに関してコーディングされる。このＩフレームが、もはや当該一連のフレームに関する望ましい近似ではなくなると、新たなＩフレーム１０３が送信され、その後、複数のＰフレーム１０４がそのＩフレームに関してコーディングされる。以下の記載では、このモードを直接Ｉフレームエンコーディングと称する。

前フレームエンコーディングと称される第二のコーディングモードを示す図２を参照する。このモードでは、エンコーダはまずＩフレーム１１１を送信する。そして、次のフレームのそれぞれが、前に受信したフレームを参照してデコードされる。そのＩフレームを参照として用いてフレーム１１２がエンコードされ、フレーム１１２を参照として用いてフレーム１１３がエンコードされる、というように続く。場面が変化してその前のフレームが次のフレームに対する望ましい近似ではなくなると、符号１１４で示されているように新たなＩフレームが送信される。その次のフレームは再び、前のフレームに関してコーディングされる。すなわち、フレーム１１５は参照としてフレーム１１４を用い、フレーム１１６は参照としてフレーム１１５を用いる、というように続く。

本発明に係るエンコーダシステムの一実施形態の簡略ブロック図である図３を参照する。エンコーダ１２０は上記の第一モードで動作する。すなわち、各ＰフレームはＩフレームから直接生成される。エンコーダシステム１２０は一連のフレームを含む入力ビデオストリームを受信する。各フレームは不可逆圧縮アルゴリズムを用いてエンコーダ１２１によってエンコードされ、遠隔地にあるデコーダに送信される圧縮ビデオ出力が生成される。現在エンコーディングされているフレームがＩフレームである場合、エンコーダ１２１はそのフレームを、参照用フレームを参照せずに圧縮する。現在エンコーディングされているフレームがＰフレームである場合、エンコーダ１２１は参照用フレーム保存コンポーネント１２４の一部であるメモリに保存されている参照用フレームにアクセスする。現在のフレームが一つ又は複数の続くフレーム用の参照用フレームになる場合、エンコーダ１２１から出力されるエンコードされたビデオは参照用フレーム保存コンポーネント１２４に保存される。

上述したように、参照用フレームを保存するのに大きなメモリが必要なことは問題となる。とりわけバッテリー駆動の小型のハンドヘルドデバイスに関してそう言える。そこで、参照用フレーム保存コンポーネント１２４は圧縮された形式で参照用フレームを保存する。必要なレベルの圧縮を確保するためには、不可逆圧縮を使用する必要がある。遠隔地にあるデコーダによって用いられる参照用フレームとは異なるエンコーダシステム内の参照用フレームに損失が生じると、その遠隔地のデコーダにおいてビデオアーチファクトが生成される。このアーチファクトは、上記の、各Ｐフレームが参照用に前のＰフレームを用いた第二送信モードにおいてとりわけ問題となる。エンコーディングシステムと遠隔地のデコーダによって用いられる参照用フレームの差が、一連のＰフレームごとに大きくなるからである。

本発明の一態様では、参照用フレームを保存するために用いられる不可逆圧縮のアルゴリズムは、画像を圧縮するためにエンコーダ１２１によって用いられるアルゴリズムと同一である。遠隔地のデコーダも参照用フレームを再生成するのにこのアルゴリズムを用いるため、エンコーディングサブシステムで参照用フレームを圧縮する際に更なる劣化が生じることがない。参照用フレーム保存コンポーネント１２４は、参照用フレームをデコードするのに必要となる追加的なあらゆる情報を含む、圧縮参照用フレーム全体を保存する。

本発明の一実施形態に係るエンコーダ１０のより詳細な概略図である図４を参照する。この実施形態は、直前のＰフレームではなくＩフレームに関して各Ｐフレームが圧縮される、先に述べた第一モードで動作する。ＩフレームもＰフレームも、実行されている特定の圧縮プロトコルに依存する変換を用いて圧縮される。この圧縮アルゴリズムは、Ｉフレームに関するものがより理解しやすい。一例となる方法では、Ｉフレームは複数のピクセルのブロックに分割される。各ブロックは、符号２１で示されているように、離散コサイン変換（Ｄｅｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）やウェーブレット変換のような二次元変換を用いて変換される。そして、符号２２で示されるように、変換係数が量子化される。すなわち、各係数は、複数の値のうち、当該係数値を近似する一つの値によって置換される。各係数に利用できる量子化値となり得る値の数は、得ようとする圧縮の程度に依存する。このプロセスは元の係数値はもはや回復できないという点で本質的に「不可逆」であり、従って、量子化された係数からは完全な正確性で元のフレームに戻すことができない。例えば、変換係数が０〜１０の範囲であり、１０段階のみが用いられる場合、各変換値は最も近い整数値に四捨五入されるであろう。従って、６．３という変換値は６に置換される。

次に、係数や他の情報の集合体は通常さらに、圧縮された画像の冗長性と、圧縮された画像に生じる各値の頻度を考慮する可逆圧縮システム２３を用いて圧縮される。このプロセスは完全に可逆であるため、画像をさらに劣化させることはない。この可逆圧縮は通常、２倍の圧縮率となる。不可逆圧縮はＩフレームに対して１２：１程度の圧縮率となる。制御部２５が新たなＩフレームを生成すると、制御部２５は、圧縮されたＩフレームのコピーを参照用フレーム保存コンポーネント２４のメモリ２７に保存する。

Ｐフレームは、二段階処理アルゴリズムを用いて圧縮される。このアルゴリズムでは、動き補正システム２６によって、Ｐフレームが依存するＩフレームを用いて近似フレームが生成される。次いで、この近似画像が入力フレームから差し引かれ、差分画像が生成される。この近似フレームは通常は動き推定及び補正アルゴリズムを用いて構築される。とはいえ、ビデオストリームのフレーム間の時間冗長性を減少させるものであれば、いかなるアルゴリズムを用いても構わない。その後、結果として得られる差分画像が上述したように変換され、量子化される。

近似フレームを生成する間、Ｉフレームは参照用フレーム保存コンポーネント２４に保存されている。動き補正システム２６が保存されているＩフレームのピクセルを必要とする時、圧縮画像中の関連するブロックが、当該ブロックの量子化された係数を回復する解凍ステージ２８を用いて解凍される。次に、逆量子化器２９を用いて、逆量子化を行う。最後にそのブロックのピクセルが逆変換３０を用いて生成される。

本発明は送信に先立ってＩフレームを圧縮するのに用いられるのと同一の不可逆圧縮アルゴリズムを、エンコーダが必要とする記憶量を低減するのに使用することができるという知見に基づくものであり、結果として再構築される参照用フレームはデコーダによって用いられるものと完全に一致する。参照用フレームの値が、続くＰフレームの処理中に必要な場合には、メモリ２７に保存されている圧縮参照用フレームの一部が解凍され、動き補正システム２６に送信される。解凍には解凍器２８、逆量子化器２９、逆変換３０を用いる。

図４に示されている実施形態では、メモリ２７に保存するためにＩフレームをデコーダに送信する際に使用されるのと同一の可逆圧縮アルゴリズムを用いる。とはいえ、他の可逆圧縮アルゴリズムを用いてもよく、可逆圧縮を省略してもよい。ここで、本発明に係るエンコーダの他の実施形態の概略図である図５を参照する。エンコーダ４０では、Ｉフレームが変換２１及び量子化器２２を介して圧縮された後、制御部２５がそのＩフレームを記憶システム４１にコピーする。Ｉフレームをメモリ２７に保存する前に、別途設けられた可逆圧縮器４２が記憶システム４１によって用いられる。動き推定システム２６によって使用されるためにＩフレームの一部をデコードする前に、対応する解凍器４３が用いられて可逆圧縮を逆実行する。

可逆圧縮器及び解凍器用として選択される最適な可逆圧縮アルゴリズムは、使用されているビデオ圧縮アルゴリズムに依存する。ビデオ圧縮アルゴリズムによってすでに提供されているものとは別に可逆圧縮器及び解凍器を用いることがいかに複雑かは、エンコーダの複雑さを低減させることと、保存されている参照用フレームを必要以上に解凍することなくその保存されている参照用フレームの個々のピクセルにアクセスしたいという必要とのバランスによる。

可逆圧縮器４２とそれに対応する解凍器４３は任意の構成であることに注意されたい。上述したように、可逆圧縮による圧縮量は通常は２倍程度である。従って、対応するメモリの節約量は、不可逆圧縮によって得られる節約量と比べると少ない。不可逆圧縮によってＩフレームのオンチップ保存が可能な十分の圧縮ができるならば、この可逆圧縮と解凍は省略しても構わない。

動き補正システムがＩフレームを参照して近似画像を生成する方法について詳述する。本発明の一態様では、動き補正システムは入力フレームを複数のブロックに分割する。動き補正システムは各ブロックに関して、そのブロックの類似性を示す何らかの適切な尺度を用いて、そのブロックとほぼ合致する、参照用フレーム中の同サイズのブロックを検出しようとする。その尺度としては、例えば相関関数や、それらブロック中の対応するピクセルの差分の絶対値の和などがある。この検索は、処理されているブロックの入力フレーム中の位置に対応した位置に中心がある参照用フレームの一領域において実行される。

ここで、本発明に係るエンコーダの別の実施形態の概略図である図６を参照する。エンコーダ５０はキャッシュメモリ５４を含み、そこに圧縮参照用フレームのブロックのピクセル値が解凍される。説明の都合上、可逆圧縮アルゴリズムによって単一のブロックが解凍されるものとする。逆量子化ステップにより、変換されたブロックの係数の値が再生成される。次にこの逆変換によって一ブロックのピクセルを生成し、それらはキャッシュ５４に保存される。本発明の一態様では、動き補正システム２６が、所定の順序で入力ビデオフレームのブロックを処理する。従って、検索されねばならない参照用フレームの領域は、対応するブロックを処理するかなり前の時点で既知となっている。結果として、制御部５６は動き補正システムが参照ピクセルを要求する時にピクセルの準備が整っているように、ブロックを前もって解凍することができる。図面では簡略化のため、制御部５６と他の構成要素との間の接続は省略されている。

参照用フレームの検索領域が、入力フレームにおいて対応する位置に中心がある３×３のブロック領域である場合を考える。原則として、動き補正を実行するためには９つのブロックが必要である。しかし、ブロックがラスタスキャンパターンで処理されるならば、一ライン上の新しいブロックのそれぞれは、参照用フレームから３つの新たなブロックしか必要としない。それは、入力フレームにおいて前のブロックを処理する際に用いられるブロックのうち、６つのブロックがこのブロックにも使用されるからである。従って、もし検索領域がＮ×Ｎのブロック領域である場合、Ｎ×Ｍのデコードされたブロックを保存するキャッシュ分だけ得となる。キャッシュの最小サイズは一つのブロックのサイズである。もしブロックが前もって取得されて解凍されるのであれば、追加のＮブロックのキャッシュスペースがあることが望ましい。とはいえ、全ての参照用フレームを圧縮せずに保存するのに必要となるであろうメモリと比較すると、このキャッシュスペースの量でも少ないといえる。

本発明の上記実施形態では、参照用フレームは、デコーダに送信される参照用フレームの圧縮版に合致する圧縮フレームとして保存されている。この構成により、エンコーダとデコーダが全く同一の参照用フレームを使用していない場合に生じるアーチファクトが排除される。とはいえ、本発明では各ＰフレームをＩフレームから生成するため、参照用フレーム間の小さな相違は許容できる。なぜならば、デコーダで再生成されたフレームは、フレームからフレームへと誤差を蓄積して行かないからである。

本発明の上記実施形態では、デコーダが画像をデコードするのに用いられるのと同一の不可逆アルゴリズムを用いて、エンコーダで参照用フレームを保存する。故に、不可逆エンコーディングアルゴリズムにおけるエンコーダとレシーバの間での差に起因する誤差が排除される。とはいえ、各ＰフレームがＩフレームから構築される送信技術においては、保存されている参照用フレームの間のある程度の差は許容可能である点に注意すべきである。誤差がフレームからフレームへと拡大していかないため、そのような差の影響は、Ｐフレームが以前に受信したＰフレームから計算される技術の場合と比較すると小さなものである。これらの追加的な誤差は、エンコーダにおいて異なる参照フレーム圧縮アルゴリズムを用いることによる経済的利点と比較検討されねばならない。例えば、さらに不可逆度が高いアルゴリズムが用いられるなら、参照用フレームの圧縮度を高めることができ、それによってエンコーダに組み込まれねばならないメモリのサイズと、より大きなメモリを動作させるのに必要な電力とを低減することができる。

上記実施形態では、Ｉフレームが複数のブロックに分割され、各ブロックはその後他のブロックを参照することなくエンコードされるというＩフレーム用の特有の圧縮技術を用いている。しかし、本発明では、圧縮されたＩフレームのピクセルを一度に全てのＩフレームを解凍する必要なく回復できるのであれば、Ｉフレームを圧縮するためにいかなるアルゴリズムでも使用することができる。例えば幾つかの圧縮技術では、Ｉフレームの各ブロックが、予想されたブロックと、すなわちそのＩフレーム中で既に検出されたブロックから推定されたブロックと、まず突き合わされる。前記予想されたブロックと現在のブロックとの差分が次いで計算され、差分ブロックがエンコードされる。本発明では、そのような圧縮されたＩフレームをデコードするのに必要な全ての情報は、参照用フレーム保存サブシステムに保存される。

上述した本発明の実施形態は、本発明の様々な態様を示すために記載されたものである。とはいえ、特定の異なる実施形態中に示されている本発明の異なる態様を組み合わせることで本発明の他の実施形態としても構わない。また、上記の記載や添付の図面から、様々な変更を行ってもよいことは明らかである。従って、本発明は、次の特許請求の範囲によってのみ限定されるべきものである。

Claims (15)

1. エンコーダであって、
   エンコードされる対象である複数のフレームを含むビデオストリームを受信する入力ポートと、
   第一不可逆圧縮法を用いて複数の圧縮参照用フレームを生成する第一圧縮サブシステムと、
   前記エンコーダから遠隔地にある装置に前記圧縮参照用フレームを伝達する出力ステージと、
   前記ビデオストリーム中の次のフレームを圧縮するのに使用する、前記圧縮参照用フレームのうちの一つの圧縮参照用フレームであって、前記第一不可逆圧縮法によって圧縮された圧縮参照用フレームを圧縮形式で保存する参照用フレーム保存サブシステムと、
   前記参照用フレーム保存サブシステムに保存されている前記圧縮参照用フレームを参照として用いて第二の複数の前記フレームをエンコードし、圧縮ビデオフレームを生成する第二圧縮サブシステムと、を備え、
   参照用フレームではない各圧縮ビデオフレームは前記参照用フレームの一つから直接コーディングされ、前記第二の複数の前記フレームをエンコードして生成する前記圧縮ビデオフレームが前記遠隔地の装置に伝達されることを特徴とするエンコーダ。
2. 請求項１に記載のエンコーダにおいて、前記第一不可逆圧縮法が、前記遠隔地の装置に伝達される前記圧縮参照用フレームを生成するために前記第一不可逆圧縮法の出力を圧縮する第一可逆圧縮法を含むことを特徴とするエンコーダ。
3. 請求項２に記載のエンコーダにおいて、前記保存されている圧縮参照用フレームが、前記第一可逆圧縮法を用いて圧縮された圧縮参照用フレームのコピーを含むことを特徴とするエンコーダ。
4. 請求項２に記載のエンコーダにおいて、前記保存されている圧縮参照用フレームが、前記第一可逆圧縮法とは異なる第二可逆圧縮法を用いて圧縮された圧縮参照用フレームのコピーを含むことを特徴とするエンコーダ。
5. 請求項１に記載のエンコーダにおいて、前記参照用フレーム保存サブシステムが、前記第二圧縮サブシステムによって使用される前記保存された圧縮参照用フレームから、同時に前記圧縮参照用フレームの全てをデコードすることなくピクセルを再生するデコーダを有することを特徴とするエンコーダ。
6. 請求項５に記載のエンコーダにおいて、前記参照用フレームが複数のピクセルのブロックに分割されており、前記参照用フレーム保存サブシステムが前記ブロックのうち選択された一つのブロックのデコードされたピクセルを保存するキャッシュメモリを含むとともに、前記ブロックのうちの前記一つのブロックの全てをデコードすることを特徴とするエンコーダ。
7. 請求項６に記載のエンコーダにおいて、前記キャッシュメモリが複数の前記ブロックを更に保存しており、前記保存されているブロックが前記第二圧縮サブシステムによって決定され、前記参照用フレームはＮ個のそのようなブロックを含み、前記キャッシュメモリがＮより少ない数のブロックを保存していることを特徴とするエンコーダ。
8. 請求項７に記載のエンコーダにおいて、前記第二圧縮サブシステムが所定の順序でビデオフレームの各ブロックを別々に圧縮し、前記保存されたブロックが前記所定の順序で決定されることを特徴とするエンコーダ。
9. 複数のフレームを含むビデオストリームをエンコードする方法であって、
   エンコーディング装置にビデオストリームを受信するステップと、
   第一不可逆圧縮法を用いて複数のフレームを圧縮し、圧縮参照用フレームを生成するステップと、
   前記圧縮参照用フレームを前記エンコーディング装置から遠隔地にある装置に伝達するステップと、
   前記圧縮参照用フレームの一つであり、前記ビデオストリーム中の次のフレームを圧縮するのに使用され、前記第一不可逆圧縮法を用いて圧縮された前記圧縮参照用フレームを圧縮形式で保存するステップと、
   前記圧縮参照用フレームを第二の前記複数のフレームのそれぞれを圧縮するための参照として用いて前記第二の前記複数のフレームをエンコードすることで複数の圧縮ビデオフレームを生成し、参照用フレームではない各圧縮ビデオフレームは前記参照用フレームの一つから直接コーディングされるステップと、
   前記圧縮ビデオフレームを前記遠隔地の装置に伝達するステップと、
   を含むことを特徴とする方法。
10. 請求項９に記載の方法において、前記第一不可逆圧縮法が、前記遠隔地の装置に伝達される前記圧縮参照用フレームを生成するために前記第一不可逆圧縮法の出力を圧縮する第一可逆圧縮法を含むことを特徴とする方法。
11. 請求項１０に記載の方法において、前記保存されている圧縮参照用フレームが、前記第一可逆圧縮法を用いて圧縮された圧縮参照用フレームのコピーを含むことを特徴とする方法。
12. 請求項９に記載の方法において、前記第二の前記複数のフレームをエンコードするステップが、前記保存された参照用フレームを部分的にデコードすることで前記保存された圧縮参照用フレームからピクセルを再生することを特徴とする方法。
13. 請求項１２に記載の方法において、前記参照用フレームが複数のピクセルのブロックに分割されており、前記保存された圧縮参照用フレームを部分的にデコードするステップが前記ブロックのうち選択された一つのブロックのピクセルをキャッシュメモリに保存するステップを有することを特徴とする方法。
14. 請求項１３に記載の方法において、前記キャッシュメモリが複数の前記ブロックを更に保存しており、前記保存されているブロックが前記圧縮参照用フレームを用いてエンコードされているビデオフレーム中のブロックによって決定されることを特徴とする方法。
15. 請求項１４に記載の方法において、前記保存された圧縮参照用フレームを用いてエンコードされたビデオフレームの前記各ブロックが所定の順序でエンコードされ、前記保存されたブロックが前記所定の順序で決定されることを特徴とする方法。

Images