JP4666695B2 - ビデオ信号圧縮処理方法 - Google Patents

Description

本発明はビデオ信号圧縮処理方法に関する。
本発明は、特にＭＰＥＧ−２ビデオ信号圧縮標準であるＩＳＯ／ＩＥＣ１３８１８−２に関しているが、符号化及び復号化を段階的に行なう際に質の低下を伴うあらゆるビデオ圧縮システムに、適応され得るものである。
ＭＰＥＧビットストリームに伴い、かつ、例えば復号化されたＭＰＥＧ画像の再符号化といった後段での処理で使用するために、そのビットストリームについての情報を搬送する信号を使用することについては、国際公表公報９５３５６２８号で既に開示されている。この信号は圧縮復号器から次の符号器へ圧縮されていない信号に伴って並列に与えられ、適切なサイドチャネルに沿って送られる。
装置を、このような信号を用いるように特別に設計した場合、相当な利点が得られ、前段（アップストリーム）での符号化及び復号化に関するキー情報をダウンストリーム符号化処理で使用することによって、段階的に行われる符号化及び復号化処理に以前からあった問題の多くが除去あるいは改善される。
本発明の目的は、この利点を、そのような信号の使用に合わせて特別に設計されていない装置を含む構成にまで、部分的あるいは全体的に及ぼすことにある。
従って本発明は、圧縮符号化信号がビデオ経路に沿って通過するために圧縮復号化されるビデオ信号処理において、圧縮符号化信号あるいはその一部が、ビデオ経路に沿ってビデオ信号に伴うことを特徴としたものである。
圧縮符号化信号の前記部分は、上述の国際公表公報９５３５６２８号に記載されているように情報バスの圧縮された形からなることが好ましい。情報バスは以下の情報、即ち、画像の面積、フレームレート、画像構造（フレームコード化、あるいはフィールドコード化されたもの）、画像のタイプ（Ｉ、ＰあるいはＢ）、マクロブロックはイントラコード化されているかあるいは予測を使用しているか、前方、後方、あるいは両方向の予測が使用されるかどうか、動きベクトル、量子化器の可視性加重マトリックス、量子化器ステップ、及びダウンストリーム復号器のバッファ状態といったものを含むこともできる。
更に本発明は、ＭＰＥＧビットストリームから復号化されたビデオ信号と並んで、ＭＰＥＧビットストリームの全てあるいは一部を含む、信号のビデオ経路に沿って行われる伝送からなる。
本発明の一形式において、前記信号はＭＰＥＧコンプライアントである。
このような構成の利点は、ビットストリーム情報がスタジオ処理装置を透過して、段階的操作による損傷無くＭＰＥＧフォーマットへの出力の再符号化を容易にできることである。この説明にあたって、新しい信号を情報ストリームと呼ぶことにする。
付随する図面を参照して、例を挙げて本発明について説明する。
図１は、情報ストリームを使用するスタジオ装置のブロック図である。
図２は、情報ストリーム符号器のブロック図である。
図３は、情報ストリーム復号器のブロック図である。
まず、図１を参照して、装置は入力及び出力段階でＭＰＥＧビットストリームを有するが、非圧縮ビデオ信号で動作する従来のスタジオ処理装置を使用している。このブロック図は２つの部分に分かれており、一つは図の上端にそってある主信号通路と、底部にそってある情報ストリーム通路である。
主信号通路では、ＭＰＥＧビットストリームは、ＭＰＥＧ復号器フロントエンド１０へ入り、ＤＣＴ係数と情報バスを生じさせる。これらは、ＭＰＥＧ復号器表示処理ブロック１２によって処理され、番号１４で示されているスタジオ装置のためのＩＴＵ−Ｒ Ｒｅｃ．６５６ビデオ信号を作成する。この装置は、例えばビジョンミキサ、簡単なスイッチ、あるいはＤＶＥ機械を有してもよい。スタジオ装置１４の出力は、ＭＰＥＧ符号器フロントエンド１６によって分析され、ＭＰＥＧ符号器フロントエンド１６は適切にフォーマットされた画像信号と情報バスをＭＰＥＧ符号器１８へ通過させる。この構成は、現状ではスタジオ装置の出力段階で全ＭＰＥＧ再符号化操作を必要としており、操作を段階的に行うことによって損傷が生じる。
段階的操作による損傷の問題は、情報ストリーム通路を付加することによって克服される。その様々な段階が本発明によって提供される。ＤＣＴ係数及び情報バスは、情報ストリーム符号器２０で処理され、様々な情報ストリーム信号の一つを作成する。以下により詳しく説明する。情報ストリームのフォーマットは情報ストリームフォーマット装置２２によって行われ、その結果できたビットストリームは、復号化されたビデオ信号と共にスタジオ装置１４を通過出来るように、情報ストリームチャネルアダプタ２４によって符号化される。スタジオ装置の出力において、情報ストリームは情報ストリーム復号器２６によって一般に、情報バスに復号化される。この情報バスは、ＭＰＥＧ符号器フロントエンド１６によって作成された情報バスと互換性があり、同期している。次に、情報バススイッチ２８は、新しく算出された情報バスか、情報ストリームから復号化された情報バスのいずれかを選択する。選択された情報バスは、ＭＰＥＧビットストリームへの再符号化の基準として使用される。
ＭＰＥＧ符号器フロントエンド１６、情報バススイッチ２８及びＭＰＥＧダム符号器１８は共に情報ストリームを基本とするＭＰＥＧ符号器を構成する。なお、この符号器の出力におけるＭＰＥＧビットストリームのビットレートを、元のＭＰＥＧ信号のビットレートと同一になるように拘束していないことは特記に値する。
一般に、スタジオ装置が情報ストリームを透過させた時はいつでも、情報ストリーム通路が使用される。これは例えば、ビジョンミキサのスライダスイッチが全入力の１方あるいは他方を選択するように設定されている時に起こる。他の場合、例えばスライダが中間位置にあるときには、スタジオ装置を通過した情報ストリームは破壊され使用できず、画像情報は、どんな場合においても新しいＭＰＥＧ符号化決定がなされなければならない状態となる。
さて、図２には、情報ストリーム符号器が示されている。
ＤＣＴ係数及び情報バスはそれぞれ、係数前処理装置３０と情報バス前処理装置３２によって受信される。２つの前処理装置の出力は可変長符号器３４に入り、それの出力はバッファ３６を通って、情報ストリーム出力を作成するためにタイムスタンプ割り当て及びパケット作成ユニット３８に至る。バッファ３６は外部読取制御信号を受信する。バッファ３６は、前処理装置３０及び３２を制御するよう機能するバッファ制御ユニット４０によって監視されている。
情報ストリーム符号器は、ＭＰＥＧ符号器のバックエンドとほとんど同じである。主な違いは、情報ストリームのビットレートを制限するためにバッファ制御が異なった方法で使用される点である。バッファからの読取もまた、既述のように、外部から制御される。
情報ストリームを構成する信号の例は以下の通りである。
（１）エレメンタリーストリームあるいはパケット化されたエレメンタリーストリームのいずれかの形式のＭＰＥＧビットストリーム自体。この場合、ＭＰＥＧ復号器フロントエンド及び情報ストリーム符号器をバイパスして、入力ビットストリームは恐らく遅延を伴って、直接使用される。
（２）選択された伝送方法の容量にビットレートを限定するために、図２に示している係数前処理装置により、ＤＣＴ係数を除去あるいは変更することによって修正されたＭＰＥＧビットストリーム。
（３）すべてのＤＣＴ係数を除去することによって修正されたＭＰＥＧビットストリーム。これは実質的には、圧縮方法としてＭＰＥＧシンタクスを使用する情報バスの圧縮バージョンである。もし、情報ストリームに対して利用可能なビットレートが非常に低い時には、極端な場合、図２に示している情報バス前処理装置によって、これは最終手段ではあるが、ビットストリームからさほど重要ではない要素を除去することが必要である。
（４）情報バス自体。
情報ストリーム信号が伴うビデオ信号との時間的関係によって、情報ストリーム信号のフォーマットについて様々な可能性がある。フォーマットは、図１の情報ストリームフォーマット装置２２によって行われる。情報ストリーム信号に対して可能なフォーマットの例は、以下の通りである。
（１）１画像当たりのビット数が可変であり、ビデオ信号への同期には関係なく送信される固定ビットレート信号。実際、情報ストリームは可変ビットレートであり得るし、スタッフビットの使用によって固定ビットレートチャネルとして作動させることが可能である。
（２）（ＧＯＰ構造内で、ビットストリームオーダーから表示オーダーへ）再オーダーされ、各画像に対する情報ストリームがその画像のビデオ信号と同時的関係になるようにタイムシフトされた、固定あるいは可変ビットレート信号。
（３）上記２つの組み合わせ。すなわち、情報ストリーム自体は非同期であるが、小さなスロットがいくつかの画像固定データ用に確保されている。これは例えば、タイムコードとピクチャータイプの複製を搬送する。
（４）上記２番目に記載されている再オーダーされ、タイムシフトされた固定ビットレート信号であるが、さらに、各マクロブロックに対するマクロレート情報がマクロブロックに対応するビデオ信号と同時的となるように配置されている信号。
情報ストリームをデジタルビデオ信号と共に伝送する多くの方法を明らかにした。図１の情報ストリームチャネルアダプタはこの作業を履行できる。以下にその例をみることにする。
（１）アクティブビデオ領域内だけにおいて、１０−ビットＩＴＵ−Ｒ Ｒｅｃ．６５６信号の色差に関する部分の最下位ビット中に。これは情報ストリームに対して、１０．３６８Ｍｂｉｔ／Ｓという原ビットレートを提供する。情報ストリームが存在することによって、ビデオ信号に可視性の損傷を起さないこと、また１０ビットに見積もってあるスタジオ装置がミキシングあるいは他の処理が実行されない時に１０ビットの信号全てを確かに透過することを保証するよう注意が払われる。情報ストリームの伝送のためのこの選択肢は、特に精巧なものと思われる。その他に、情報ストリームは、９番目あるいは８番目の色差に関するビット、１０番目、９番目あるいは８番目の輝度に関するビット、もしくは上記のいかなる組み合わせを用いて伝送することができる。また、８番目のビットの使用は、たった８ビットの表示しか可能でないＲｅｃ．６５６の古いバージョンを使用したシステムにおいては適当なものである。
（２）上記の手法の拡張。そこでは、ダウンストリームＭＰＥＧ符号器が影響されないような方法で情報ストリームデータを付加することによって、デジタルビデオ信号のある部分（最下位ビットではない）を修正する。
（３）Ｒｅｃ．６５６信号のブランク期間に搬送される補助的データチャネル中。スタジオ装置は、ミキシングあるいは他の処理が実行されていない時にこの情報を変化させないで通過させることを保証することは必要なことである。
（４）ＡＥＳ／ＥＢＵデジタル音声チャネルとして。これはスタジオ装置の音声通路内のスペアチャネルを介して通される。メインの音声チャネルがビデオから独立して切り替えられるにもかかわらず、ビデオ切り替えと共に音声チャネルの切り替えが実行されることを保証することは必要である。
情報ストリームのための適切な伝送方法を形成することに加えて、情報ストリームチャネルアダプタは、以下の３つの操作のいくつか、あるいは全てを随意に実行することが可能である。
（１）例えば、周知の疑似ランダム２進シーケンスにモジューロ２を付加するか、あるいはセルシンスクランブラを使用して情報ストリームをスクランブルする。これは、もしビデオ信号の最下位ビットにて搬送される場合、情報ストリームの可視性を制限するために必要であろう。疑似ランダムシーケンスの核、あるいはシーケンス自体が情報ストリームの一部として伝送されてもよい。
（２）公知のアルゴリズムを使用した情報ストリームのエラー修正。これは、画像内のいくつかの場所の画像レート情報の反復を含んでおり、これによって、例えばキャプション挿入などの空間的に限定された処理を行うことによって情報の損失が起ることはない。
（３）ビデオ信号内で情報ストリームを搬送する場合に、情報ストリームの残像性を更に削減するために、ダイナミック切り上機能あるいはエラーフィードバックといった公知のノイズ形成アルゴリズムによってビデオ信号自体を修正すること。例えば、もし情報ストリームが８番目の輝度ビットで搬送されるならば、元の８番目の輝度ビットを情報ストリームビットによって置き代える際に生じるエラーは、１クロック期間遅延させるか、あるいは、いくつかのより複雑なノイズ形成ネットワークを通過させ、信号の後に付加することができる。エラーフィードバック処理の全貌については、例えば、Ｍｉｔｒａ ＆ Ｋａｉｓｅｒによる、「Ｈａｎｄｂｏｏｋ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， Ｗｉｌｅｙ， １９９３， Ｐ４２１．」で説明されている。
図３には、情報ストリーム復号器が示されており、これは情報バスを生成するためにチャネル適合、フォーマット及び符号化機能の逆を実行し、情報ストリームが有効かどうかについて情報バススイッチに指示を与える。更に詳しく言えば、情報ストリーム復号器は、チャネル受信機５０を有し、これは信号をデスクランブラ５２とエラー修正器及び検出器ユニット５４に順次信号を送る。デスクランブルされ、エラー修正された信号は、バッファ５６を通り可変長復号器５８へ入り、係数情報及び情報バスが出力される。有効性ロジックユニット６０は、エラー修正器及び検出器ユニット５４とバッファ５６から入力を得、“情報ストリーム有効”のフラッグを出力する。これが、情報バススイッチ２８を制御する。
情報ストリームは以下の場合において無効となる。
（１）受信した情報ストリーム信号中にエラーがある場合（エラー修正器及び検出器ユニット５４によって検出される）。このことは、ＤＶＥがビデオ信号に影響していること、及び、新しいＭＰＥＧ符号器フロントエンドによって算出した情報バスを使用しなければならないことを示している。
（２）所望の時間に復号化された情報ストリーム信号が利用できない場合。このことは、たとえその情報ストリームに関係のある映像がなんらの処理を受けずに通過しても、その情報ストリームがＤＶＥ内で消失したことを示す（これは、情報ストリーム及びビデオ信号が共時的でない場合におこる）。
（３）ビデオ信号と情報ストリームが同時的である場合。その時は、情報ストリームは有効の様に見えるが、利用不可能な参照画像におけるマクロブロックを指示する動きベクトルを含んでいる。
ある実施においては、情報ストリーム復号器の役割は、その出力における情報バスがＭＰＥＧ符号器フロントエンドの出力における情報バスと同時的であることを保証することである。これは、情報ストリームが、復号化のためにバッファと従来のＭＰＥＧ復号化技術を必要とするＭＰＥＧコンプライアント信号であるという事実を利用することで成し得る。バッファは遅延装置として使用可能であり、外部読取信号によって制御され、２つの情報バスが同期していることを保証する。
情報バススイッチ２８は、情報ストリームから復号化された情報バスと、符号器フロントエンドから新しく算出された情報バスとのいずれかを選択する。最も単純な形式では、スイッチを制御するために情報ストリーム復号器によって生成された有効信号を使用する。例えば、ＤＶＥによって挿入されたキャプションの有無に従う空間基準に基づく２つの情報バスから選択するという、より複雑な選択肢も可能である。これは、もし情報ストリームがマクロブロック基準上で画像信号に同期させる方法でフォーマットされるのであれば、非常に適切である。
これまでの特定の記載において、復号化された情報ストリームは情報バスであると仮定して、それが有効である時はいつでもダム符号器へ符号化決定を与える。しかしながら既述のように、情報ストリームは、実際には、ビットストリーム全体、あるいは少なくとも、符号化決定ばかりでなくＤＣＴ係数に関する情報を含んでいる。その場合には、ダム符号器は係数情報を利用するためのある付加的処理を有することができる。これは、例えば、ダム符号器が元のＭＰＥＧビットストリームとは異なるビットレートを作成する場合に有益であろう。
情報ストリームは、復号化されたＭＰＥＧ信号に、最終的に再符号化操作を伴う処理を施す必要がある時はいつでも、有利に使用できる。図１は典型的な仕様を示している。図１の左側にあるＭＰＥＧ復号器は、従来の復号器で、そこにＭＰＥＧビットストリームがネットワークあるいは送信チャネルから印加される。あるいは、そのＭＰＥＧ復号器は、ＭＰＥＧ基準のサーバーステーション内にあるような、独自の時間制御下でネットワークあるいは記憶媒体から情報を引き込む復号器であってもよい。
スタジオ装置内では、復号化されたデジタルビデオ信号に作用する処理の間で符号化されたＭＰＥＧ信号を再作成する必要性が常にあるわけではない。情報ストリームとともに信号をスタジオ装置を通過させ、上述の情報ストリーム基準の符号器を使用して最終的なスタジオ出力段階でＭＰＥＧに再符号化するだけで十分である。情報ストリームが損傷を受けずにスタジオ処理装置を全て通過した場合には、それは最終符号化操作のための情報バスを提供する。そうでなければ、最終符号器は情報ストリームを無視して、スクラッチから画像を符号化する。
本発明及び情報ストリーム概念はＭＰＥＧ圧縮に限定されるものではなく、他の圧縮技術と一緒に、あるいは混合して使用することも可能である。その場合、異なった圧縮スキームのための符号化モード情報を再通訳することが必要であるが、復号化された情報ストリームの処理がかなり複雑になるであろう。
本発明はいくつかの例によってのみ説明されてきたが、本発明の範囲を逸脱することなく様々な変更が可能であることは明らかであろう。

Claims (19)

1. ビデオ信号を圧縮符号化して圧縮符号化ビットストリームを生成し、圧縮符号化ビットストリームを圧縮復号化して圧縮復号化ビデオ信号を生成するビデオ信号処理において、
   圧縮復号化ビデオ信号をダウンストリームで再符号化するための情報を含む情報信号が、音声チャネル内の圧縮復号化信号に伴うことを特徴とするビデオ信号の処理方法。
2. 前記情報信号は一部乃至全部の圧縮符号化ビットストリームを含むことを特徴とする、請求項１に記載のビデオ信号の処理方法。
3. 前記圧縮符号化ビットストリームはＭＰＥＧビットストリームであり、前記情報信号はＭＰＥＧコンプライアントであることを特徴とする、請求項１及び２のいずれかに記載のビデオ信号の処理方法。
4. 前記情報信号は、エレメンタリーストリーム、またはパケット化されたエレメンタリーストリームのいずれかの形式であることを特徴とする請求項１に記載のビデオ信号の処理方法。
5. 前記情報信号は、選択した伝送方法に応じた伝送容量にビットレートを制限するためにＤＣＴ係数を除去または置換することによって修正された圧縮符号化ビットストリームであることを特徴とする請求項１に記載のビデオ信号の処理方法。
6. 前記情報信号は、前記圧縮符号化ビットストリームからすべてのＤＣＴ係数を除去した信号であることを特徴とする請求項１に記載のビデオ信号の処理方法。
7. 前記情報信号は、１画像当たりのビット数が可変であり、ビデオ信号との同期には関係なく送信される固定ビットレート信号であることを特徴とする請求項１乃至６のいずれかに記載のビデオ信号の処理方法。
8. 前記情報信号は、画像に対する前記情報信号がその画像のビデオ信号と同時的関係になるように再オーダーされタイムシフトされた、固定あるいは可変ビットレート信号であることを特徴とする請求項１乃至６のいずれかに記載のビデオ信号の処理方法。
9. 前記情報信号は、固定ビットレート信号であり、マクロブロックに対するマクロレート情報がそのマクロブロックに対応するビデオ信号と同時的となるように再オーダーされタイムシフトされることを特徴とする請求項８に記載のビデオ信号の処理方法。
10. 前記圧縮復号化ビデオ信号のデジタル要素中に符号化することによって、前記情報信号が前記圧縮復号化ビデオ信号に伴うことを特徴とする請求項１乃至９のいずれかに記載のビデオ信号の処理方法。
11. 前記ビデオ信号は１０ビットのビデオ信号であり、前記デジタル要素は、アクティブビデオ領域内だけにおいて、前記１０ビットのビデオ信号の色差に関する部分の最下位ビットを含むことを特徴とする請求項１０に記載のビデオ信号の処理方法。
12. 前記デジタル要素は、９番目もしくは８番目の色差に関するビット、１０番目、９番目もしくは８番目の輝度に関するビット、またはこれらの組み合わせを含むことを特徴とする請求項１０に記載のビデオ信号の処理方法。
13. 処理前の前記ビデオ信号の可視性と比較して、処理後の前記ビデオ信号の可視性が減少するように前記情報信号を処理することを特徴とする請求項１０乃至１２のいずれかに記載のビデオ信号の処理方法。
14. 前記情報信号をスクランブルすることを特徴とする請求項１３に記載のビデオ信号の処理方法。
15. 前記スクランブルは、公知の疑似ランダムシーケンスを付加することを含むことを特徴とする請求項１４に記載のビデオ信号の処理方法。
16. 前記公知の疑似ランダムシーケンスの核、または前記公知の疑似ランダムシーケンスを前記情報信号と共に送信することを特徴とする請求項１５に記載のビデオ信号の処理方法。
17. セルシンスクランブラによって前記スクランブルを実行することを特徴とする請求項１４に記載のビデオ信号の処理方法。
18. ダイナミック切り上げノイズ形成アルゴリズムまたはエラーフィードバックノイズ形成アルゴリズムによって前記情報信号を処理することを特徴とする請求項１３に記載のビデオ信号の処理方法。
19. 前記情報信号は誤り訂正されることを特徴とする請求項１乃至１８のいずれかに記載のビデオ信号の処理方法。

Images