JP3614857B2 - 変換符号化器 - Google Patents

Description

本発明は、第１の符号化方法と第２の符号化方法との間の信号の変換のための変換符号化器（トランスコーダ）に関する。本発明は、特に、ビデオ信号の変換に適するものである。テレビ映画を伝送リンクを介して長距離伝送するが必要な場合が多くある。テレビの放送品質は、伝送のために費用がかかり、かつ高帯域幅のリンクを必要とするデジタル形式で伝送される場合には、100Mbit/s以上を必要とする。映画品質において容認できる程度の劣化が、伝送される情報の内容を低減するために導入される。加えて、或いは代わりに、ビデオ信号が符号化される際には、空間的及び時間的に非常に冗長という利点がある符号化圧縮技術が使用される。従って、例えば、音声を有するビデオ電話（ビデオフォン）画像の品質が単一の電話回路と等価な64kbit/sのみに圧縮されることが可能であるのに対して、ビデオ会議を数百kbit/s以下へ応用圧縮することが可能である。
冗長性削減技術は、隣あう画素或いは画素のブロック間の空間的及び／或いは時間的相関を仮定する。この相関の詳細は、実際の画素或いはブロックと仮定との間の相違と同様に符号化される。一般的に、符号化されるべきイメージのそれぞれのフレームは、Ｎ×Ｍ画素のブロックに分割された画面の要素（画素）の配列を有する。
予測符号化は、フレーム内の値が同じ或いは異なるフレームにおいていくつかの隣あう値に関連づけされるという仮定を活用し、したがって、この値は、伝送される代わりに受信器内で計算される。このような仮定から生ずる予測誤差を伝送することのみが必要となる。例えば、それぞれ続く画素がその前からの違いとして伝送される間に、フレームの第１の画素が正確に伝送される。より大きな複雑な機構においては、この予測は多くの画素の組み合わせとなる。
変換符号化は、画素の大きさを他の値の組に変換することによって、フレーム内の画素の大きさの相関を活用する。この相関の多くは、比較的小さいから、そして少ないビットを使用して符号化できる。変換符号化のもっとも共通の形式は、離散余弦変換（DCT）を使用するものである。Ｎ×Ｍの画素のブロックは、Ｎ×Ｍ変換係数の配列に変換される。結果の係数の配列は、次に、可変量子化要素によりそれぞれの係数を分割することによって量子化される。この量子化された係数は、例えば、ホフマン符号（Huffman code）のような可変長符号に符号化される。
他の符号化技術は、移動補償（motion compensation,動きの補償）であり、これでは、ある画像が画素のブロックに分けられ、現在のフレームの各ブロックは、ある基準フレームの対応するブロックと比較される。基準フレームは、先行もしくは後続のフレームであってもよく、また、そのブロックとは位置がシフト（ずれて）いる領域と比較されて、ブロックが一番似ている基準フレームの領域が識別される。
識別された領域と問題のブロックとの間の位置のベクトル差が移動ベクトル（モーションベクトル）と呼ばれて、基準フレームの識別された領域を現在のフレームの適切な位置にシフトするために用いられる。
移動ベクトルが現在のフレームの全てのブロックのために生成され、これら移動ベクトルは、基準フレームから予測化されたフレームを引き出すために使用される。現在のフレームと予測化されたフレームとの間の差異は、平均的に、現在のフレームと基準フレームとの間の差異よりも小さく、より少ないビットレートを使用することにより符号化することができる。すでに基準フレームを格納している復号器は、従って、移動ベクトル及び差異の値を使用する現在のフレームを再生成することができる。信号は、上述の符号化技術を別々に、或いは組み合わせて使用することにより符号化されるであろう。
第１の方法に従って符号化された受信データの流れを受けて、第２の符号化方法に従って符号化された符号化データの流れを出力する変換符号化器を有することが望しいという状況がある。もし、ある人が第２の符号化方法に従って動作した復号器を有していたとすると、そのときは、このような変換符号化器は、最初の符号器を改良することなしに第１の符号化方法に従って符号化された伝送の受信を許容する。変換符号化器は、例えば、ISDNビデオ端末からのITU−Ｔ基準H.261に一致する64kbit/sのビデオ信号を欧州デジタルコードレス電話（DECT）ネットワークを通しての伝送のための32kbit/sの信号に変換するために使用される。
公知の変換符号化器は、第１の符号化方法に従って符号化されたビデオを、新しく圧縮されたデータの流れを出力するために第２の符号化方法に従った符号器によって符号化された圧縮されていないビデオ信号に復号する。従って、全ての復号化操作が最初のビデオ信号を再構成するために実行され、次に、このビデオ信号が第２の符号化方法に従った新しい符号化されたデータの流れを供給するために符号化される。移動補償を含む符号化方法のためには、新たな移動ベクトルが、新たなフォーマットに従って符号化された信号のために生成されなければならず、しかも、この移動ベクトルの生成が、従来の変換符号化器の処理時間の大きな比率を占めている。
本発明によれば、移動補償技術を使用する第１の符号化方法によって符号化されたビデオ信号を復号化する復号器と、第２の符号化方法によって符号化されたビデオ信号を符号化する符号器とを有する変換符号化器において、
前記復号器は、前記ビデオ信号から移動補償情報を引き出し、この引き出された移動情報を前記符号器から出力される前記符号化されたビデオ信号に変換することを特徴とする変換符号化器である。
移動補償情報が改良されていない復号器から符号器の出力に伝送され、これにより、変換符号化器において必要とされる処理を低減する。択一的に、移動補償情報は、２つの符号化方法の補償比に従って改良される。
変換符号化器の復号器及び符号器は非定周期クロックで動作する。従って、メインデータ通路）におけるバッファの容量は、通常の変換符号化器を介して低減されることができる。
２つの符号化方法の移動補償ブロックサイズは同じであるという必要はない。もし、２つの方法の解像度）が同じである場合には、次に、移動ベクトルは変化することなく変換され、ブロックサイズが変化している場合には、移動ベクトルのいくつかは、適切に複製され或いは放棄される必要があるであろう。例えば、第１の符号化方法の移動補償ブロックサイズが16×16画素であり、且つ第２の符号化方法の移動補償ブロックサイズが８×８画素である場合には、１つの16×16ブロックのための移動ベクトルが、第２の方法の共通に配置された４つの８×８ブロックのために使用される。もし、第１の符号化方法のブロックサイズが８×８画素であり、第２の符号化方法のブロックサイズが16×16画素である場合には、第２の符号化方法のための移動ベクトル以上である。従って、例えば、４つの関連する移動ベクトルの平均が計算され、使用される。
入力画像の解像度が出力画像解像度の解像度と異なる場合には、このベクトルは適切に調整される。例えば、双方の符号化方法の移動補償ブロックが16×16画素、入力解像度が352×288画素及び出力解像度が176×144画素である場合には、変換符号化器へのベクトル入力は、符号化されたビデオ信号へ変換される前の２つによって分割される。この計算の複雑さは、従来の移動ベクトル推定に比較して小さい。
予測符号が使用されるときには、伝送エラーに起因して、最初の符号器から伝送されたデータと目的の符号化器にて符号化されたデータとの間で不一致が生ずる。
最終復号器（デコータ）で作られたデコードされた画像は、そこで人為的要素を含むことになり、この人為的要素は復号した信号の一体性を保全するために非予測性符号化（non−predictive）をときどき採用しない限り、時間とともに増大する。しかしながら、元の符号器（エンコーダ）は、非予測性符号化をときに十分に採用せずに、トランスコーダが採用され、もとのエンコーダとは無関係である場合には、容認できるデコードされた画像を指向地（行先の）エンコーダで構築することもあろう。このことは、変換符号化器によって受信されたビデオ信号と変換符号化器からの出力との間のドリフトとなる。
都合のよいことに、変換符号化器は、ドリフト補償手段を有している。このドリフト補償手段は、復号器の出力と符号化器の出力との間のドリフトを示す信号を形成する手段、ドリフト信号を格納する手段及びドリフト信号を復号器の出力に加算する手段を有している。
好適な実施の形態においては、ドリフト信号が、好ましくは１つの画像期間の遅れの後に、符号器の出力に加算される。このようなドリフトのための補償の取り決めは、符号化された信号における遅れをもたらすすることがない。
このドリフト信号は、ドリフト信号がこのような閾値に到達した場合に、ドリフト信号が符号器の出力にのみ加算されので、閾値によって決まる。
好ましくは、復号器は反転量子化器を有し、符号化器は反転符号化器の量子化ステップサイズとは異なる量子化ステップサイズの量子化器を有する。
本発明の第２のアスペクトの発明によれば、符号化されたビデオ信号を第１の方法によって復号化する復号器と、復号化されたビデオ信号を第２の符号化方法によって符号化する符号器とを有する変換符号化器において、
前記復号器からの前記出力と前記符号器への前記出力との間の前記ドリフトを補償するための手段を具備したことを特徴とする変換符号化器である。
本発明を以下の図面を参照してさらに説明する。
図１は、公知の変換符号化器の概略図である。
図２は、本発明の一実施の形態の変換符号化器の概略図である。
図３は、本発明の第２の実施の形態の変換符号化器の概略図である。
図４は、本発明の第３の実施の形態の変換符号化器の概略図である。
図５は、本発明のさらなる実施の形態の変換符号化器の概略図である。
図６は、本発明の変換符号化器の応用例を示す。
復号器28及び符号器20を有する公知の送信符号器が図１において認められる。復号器28は、CCIT H.261基準に一致する64kbit/s信号である差分信号の移動補償及びDCT符号化を有する第１の符号化方法によって符号化されたビデオ信号を受信する可変長復号器２を有する。復号器２は、受信データを検出し、そして、この受信データを量子化されたDCT係数、量子化インデックス及び移動ベクトルに変換する。DCT係数は、反転量子化器４、DCT係数を画素差分値に変換するDCTプロセッサ６を通過させられる。
上記移動ベクトルは、前のフレームにおける予測画素ブロックのアドレスを計算する移動補償器８を通過させられる。このブロックは、次に、先のフレームの記憶装置12から引き出され、加算器10において、現在のブロックの復号化されたデータの流れを生成するために、反転DCTプロセッサ６の出力と足し合わされる。この復号化されたデータの流れは、次のフレームの基準として先のフレームの記憶装置12に格納される。
この復号されたデータの流れは、また、変換符号化器の符号器30を通過し、移動推定器14が現在のブロックにもっとも似ている画素のオフセットブロックのために先のフレームの記憶装置16を検索する。この最も合致するブロックのための移動ベクトルは、計算され、先のフレームの記憶装置16から引き出され、そして、差分信号を形成するために符号化されたデータの流れから手段15によって引かれる。現在のブロックの差分信号は、次に、DCTプロセッサ18によって、周波数領域に変換される。このようにして生成された周波数係数は、次に、送信復号化器の出力で望まれるビットレートに適したステップサイズを有する量子化器20によって量子化される。可変調符号器22は、量子化器20の出力及び移動推定器14からの移動ベクトルを可変長符号に変換し、そして、新しいフォーマットのデータを出力する。
変換符号化器の符号器30は、また、反転量子化器24及び反転DCTプロセッサ26を有するローカル復号器を含んでいる。反転DCTプロセッサ26及び移動推定及び移動補償器14の出力は、先のフレームの記憶装置16に格納されている更新された予測フレームを生成するために加算器27に入力される。
本発明の一実施の形態の変換符号化器を図２に示す。この変換符号化器は、例えば、64kbit/sのCCITT基準に従った第１のフォーマットによって符号化された入力信号を復号するための可変長復号器40を有している。この復号器40は、可変長符号を検出し、この可変調符号をDCT係数及び移動ベクトルに変換する。移動ベクトルは、42に示すように、さらなる処理を行なうことなく変換符号化器を通過する。このような変換符号化器は、同じ画像解像度、変換ブロックサイズ及び移動補償ブロックサイズを有する符号化方法の使用に適している。DCT係数は、次に、反転量子化器44に入力し、その結果のデータは、例えば32kbit/sの出力フォーマットに適した異なる量子化ステップサイズで量子化器46によって再度量子化される。この新しいDCT係数は、可変長符号器48によって符号化され、そして、マルチプレクサー50において変更されていない移動ベクトル42と再度組み合わされる。
従って、この復号化は、バッファリングを行なうことなしに伝送システムからのデータを直接符号化することにより行なわれ、そして、処理が短い待ち時間であるために、マルチプレクサー50の出力が行なわれるまでは非常に少ない遅れである。唯一のバッファが、マルチプレクサーと変換符号化器の出力との間の必要とされ、このバッファは、通常の符号器において同じ２つの機能を果たす。すなわち、符号化されたデータを平滑し、そして、量子化器46のさらなる制御を供給する。しかしながら、必要とされる平滑化は、量子化器46の個々の特質のための出力レートにおいてどんな局所的に制限された種類をもカバーすることのみであり、従って、このバッファ（図示せず）及びその遅れは、大きさの順或いは従来の符号器におけるものよりもより小さい。
図３は、異なる画像解像度を有する符号化方法、例えば、388×288画素の画像解像度を有する第１の符号化方法と176×144画素の画像解像度を有する第２の符号化方法の使用に適する本発明の第２の実施の形態の変換符号化器を示している。移動ベクトルスカラー45は、入力してくる移動ベクトル42を要素0.5によって調整し、結果である移動ベクトル42aは、図２おいて述べたように、VLCの出力とともに多重化される。
量子化器46は、量子化エラーを最初の符号器によって、示していない変換符号化器の出力にもたらす。このエラー或いはドリフトは、このドリフトが補償されないにもかかわらず、時間外に増大させられる。本発明の第２の実施の形態によれば、修正が送信符号器それ自身の内部において、変化していない移動ベクトル42の経路を通してストレートに適用される。この考え方は、できるかぎり早く、変換係数を再量子化することにあり、最初の符号器（図示せず）と最終の符号器（図示せず）との間でミストラッキングがもたらされることを承認し、最終の複合器への符号化されたデータをディスパッチし、もたらされたエラーを計算し、次の機会においてこれを修正することを試みる。勿論、このとき、新しいエラーが、次に現在の係数を再度量子化することによってもたらされる。２つの量子化法則のそれぞれの特質によって与えられるそれぞれの修正もまた、完全に行なわれることはめったにない。従って、変換符号化器は、常に、引き起こされた先のエラーを’捕らえる’ことを試みる。
図３の変換符号化器は、このようなドリフト補償手段を有する。反転量子化器33からの出力は、反転DCTプロセッサ52に供給され、量子化器46の出力は反転DCTプロセッサ52に供給される。結果として、画素差分値は、加算器56,58をそれぞれ介して、フレーム記憶装置60,62にそれぞれ出力され、これらの内容は、最初の移動ベクトル42及び調整された移動ベクトル42aとによって、それぞれ補償される。１つのフレームの遅れの後に、フレーム記憶装置60,62の内容が、受信データ（フレーム記憶装置60に格納されている）と伝送されたデータ（フレーム記憶装置62に格納されている）との間のドリフト信号を形成するために、減算器63によって減算される。このドリフト信号は、次に、DCTプロセッサ64によって周波数領域に変換され直され、加算器65によって、反転量子化器44の出力に加算される。このドリフトは、従って、１つのフレームの遅れの後に補償される。フレーム記憶装置60,62の移動補償の内容もまた加算器56,58に対する入力をそれぞれ形成する。
このエラーあるいはドリフトは、バージョンを減じ、且つ差異を形成する最初に符号化されたデータとビットレートと双方の画素領域に対して完全に復号化することによって得られる。これは、次に、伝送され、そして、量子化器のちょうど前のメイン通路に加えさせなおされる。ここで注意すべきことは、エラーを形成するための最構築された信号は、画像記憶装置の出力から採取され、従って、この信号は、メイン通路に関しての１画像遅れである。図４は、本発明の変換符号化器の択一的な実施の形態を示す図であり、この変換符号化器は、同一の画像解像度、変換ブロックサイズ及び移動補償ブロックを有する符号化方法に適したものである。同一の構成要素には、同一の符号を付す。本実施の形態においては、ドリフト信号は、画素領域に対しての周波数領域に形成される。反転量子化器44及び量子化器46の出力は、受信信号のDCT係数と伝送信号のDCT係数との間のドリフト信号を形成するために減算器70に入力される。このドリフト信号は、次に、反転DCTプロセッサ72によって画素領域に変換される。反転DCTプロセッサ72からの出力は、加算器74への１つの入力を形成し、加算器74の出力は、フレーム記憶装置76を通過させられる。前に述べたように、１つのフレームの遅れの後に、フレーム記憶装置の内容がDCTプロセッサ78によって、周波数領域に変換され直される。フレーム記憶装置の内容もまた加算器74への第２の入力を形成する。
図５は、本発明の変換符号化器のさらなる実施の形態を示す図であり、この変換符号化器は、移動補償技術を有しない符号化技術を使用するのに適するものである。このような変換符号化器は、ドリフト補償手段を有し、他の信号と同様に、ビデオ信号を使用するのに適している。上述のように、同一の要素には、同一の符号を付す。この図５に示した送信符号器は、図３に示したのと同様の方法で動作する。移動補償が必要でない場合には、ドリフト補償は、変換領域において完全に計算される。
本発明の機能は、可変ビットレート（VBR）システムと呼ばれる低減されたレートが一定ではない場合の応用に等しい。パケットビデオに関連する特殊な例が、図６に示すような総合デジタルネットワーク（ISDN）に接続された端末と他のローカルエリアネットワーク（LAN）との間の接続である。LANトラヒックが十分に小さいときに、ゲートウェイ変換符号化器によって、一定のレートでのISDN端末からの圧縮されたビデオが変化することなくLANへ伝送される。しかしながら、LANの輻湊（渋滞）期間においては、ゲートウェイ変換符号化器81は、LAN上において必要とされるビデオデータレートを低減することができる。最初の符号器84へ戻る制御メカニズムは必要ではない。従って、世界中のどこにでもある遠方の符号器への伝送遅延時間及びこの符号器による反応時間が提起されない。さらに、送信符号器は、ほとんどの任意のサイズ及び例えば、離散64kbit/s或いはH.320/H.221で可能な20ms範囲でのステップと比較される任意の瞬間のレート変換を行なうことが可能である。
可変ビットレート変換に固定された他の実施の形態は、自動反復要求（ARQ）が効果的なスループットレートを動的に低減する移動応用のようなネットワークにおいて提起される。
可変ビットレート応用の上述の実施の形態においては、変換符号化器は、通常、反転量子化器44及びこの量子化器と等価な量子化器46の量子化インデックスとともにインアクティブである。従って、画像品質が変換符号化器によって減じられる。送信化符号器80のビットレートの削減は、伝送問題に対して緩和するために、比較的に短期間にのみ呼び出される。どんな画像品質の劣化でも、予測アルゴリズム上のデータロスの通常の効果よりも、より好ましい。
本発明の変換符号化器は、また、例えば、LANの端末86のような端末からの一定のビットレートデータをATMネットワークを介した伝送のためのVBRデータへの変換のための使用に適している。
本発明の変換符号化器からの符号化されたデータは、伝送されたデータレートで動作する復号器或いは最初の符号器のデータレートよりも高いデータレートで動作する復号器へ伝送される。

Claims (3)

1. 移動補償された予測符号化を採用している第１の符号化方法によって符号化された入力ビデオ信号を復号化して中間信号を作る復合器（40,44）と、
   移動補償された予測符号化を採用している第２の符号化方法によって該中間信号を再符号化する復号器（46,48）とを有する変換符号化器において、
   該符号化器は入力ビデオ信号を部分的に復号化して該中間信号を作るようにされていることを特徴とし、さらに
   （ｉ）該入力ビデオ信号から移動補償情報を引き出して、該二つの符号化方法の相対的な性質により移動補償情報を修正して、該再符号化したビデオ信号と移動補償情報を組合せるように動作可能な手段（45,50）と、
   （ii）該中間信号の与えられたフレームについての符号化器による再符号化を行うと、再符号化によって導入された誤差を推定して、後のフレームの再符号化に対して補正信号を適用するように動作可能となっているフレーム間予測復号化手段を有するドリフト補償手段（52〜65;70〜76;及び65）とを備えている変換符号化器。
2. 前記ドリフト補償手段が、
   （ａ）中間信号を完全に復号化するための第１の予測復号化手段（52,56,60）と、
   （ｂ）符号化器の出力を完全に復号化するための第２の予測復号化手段（54,58,62）と、
   （ｃ）第１と第２の予測復合化手段の出力間の差から補正信号を形成するための手段（63,64）とを備えている請求項１記載の変換符号化器。
3. 前記ドリフト補償手段が
   （ａ）中間信号と、符号化器の出力との差をとって差信号を形成する手段（70）と、
   （ｂ）誤差信号を予測復号化して補正信号を形成する手段（74,76）とを備えている請求項１記載の変換符号化器。

Images