JP4410414B2 - ビデオ信号圧縮処理方法 - Google Patents

Description

【０００１】
本発明はビデオ信号圧縮処理方法に関する。
【０００２】
本発明は、特に重要なものとして、ＭＰＥＧ−２ビデオ信号圧縮標準であるＩＳＯ／ＩＥＣ１３８１８−２に関係しているが、符号化及び複号化を段階的に行う際に質の低下を伴いやすいビデオ圧縮システムのいずれにも、適用され得るものである。
【０００３】
ＭＰＥＧビットストリームを伴うと共に、そのビットストリームについての情報を、例えば複号化されたＭＰＥＧ画像の再符号化といったダウンストリーム（後段）での処理で使用するために、搬送する信号を使用することについては、国際公表公報第９５３５６２８号で既に開示されている。この信号は、並列に与えられ、圧縮復号器から次の符号器への圧縮されていない信号に伴って、適切なサイドチャネルに沿って送られる。
【０００４】
装置を、このような信号を用いるように特別に設計した場合、相当な利点が得られ、前段（アップストリーム）での符号化及び複号化に関するキー情報をダウンストリーム符号化処理で使用することによって、段階的に行われる符号化及び複号化処理に従来からあった問題の多くが除去あるいは改善される。
【０００５】
国際公表公報第９８０３０１７号では、これらの利点を、部分的あるいは全体的に、そのような信号の使用に合わせて特別に設計されていない装置を含む構成にまで及ぼす技術が開示されている。特に、これらの技術はビデオ信号内に情報信号を埋め込む方法を含むので、情報信号はビデオ経路を透過することができる。
【０００６】
本発明の目的は、段階的に行われる再符号化操作においてだけでなく、一次符号化操作においても利点を提供する改良された装置と方法を提供することである。
【０００７】
このような一次符号化操作は、通常、前もって圧縮されていないビデオ信号に適用されるものである。しかしながら、既に圧縮されたビデオ信号へ「一次」符号化を施すことは可能であるが、上述の文献に開示されている技術で得られていた利点はない。
【０００８】
従って、本発明は、一つの特徴としては、ビデオ信号を分析し、圧縮符号化決定をおこなうステップを有するビデオ信号の処理方法において、ビデオ経路及び符号化決定に従ってビデオ信号を圧縮符号化するビデオ経路のダウンストリームに沿ってビデオ信号と共に通過させるための前記符号化決定の表示を形成することを特徴とする。
【０００９】
また、他の特徴として、本発明は、ビデオ信号を分析して圧縮符号化決定を行う手段と、この符号化決定を処理する手段と、この処理された符号化決定を、ビデオ経路に沿ってビデオ信号と共に通過させるために出力する手段とを有することを特徴とする圧縮プリプロセッサである。
【００１０】
符号化決定は以下の情報、すなわち、画像の面積、フレームレート、画像構造（フレーム符号化、あるいはフィールド符号化されたものか）、画像のタイプ（Ｉ、ＰあるいはＢ）、マクロブロックはイントラ符号化されるかあるいは予測を使用するか、前方、後方、あるいは両方向の予測を使用するかどうか、動きベクトル、変換の形式、量子化器の可視性加重マトリックス、量子化器ステップ、及びダウンストリーム複号器のビットレートとバッファ状態といったものを含むことができる。
【００１１】
本明細書中において、情報バスという用語を符号化操作に関連する情報を表示するために使用しており、この情報は複号化信号、部分的に複号化された信号、あるいはまだ符号化されていない信号を伴うものである。更に詳細なことは、文献、国際公表公報第９５３５６２８号に示されている。情報バスは、例えば国際公表公報第９８０３０１７号に開示されているように、ビデオ信号内に埋め込まれることが望ましい。国際公表公報第９５３５６２８号及び国際公表公報第９８０３０１７号の両方を引用し、その内容をここに組み込むものとする。
【００１２】
図１を参照して、前もって符号化されていない入力ビデオ信号は入力端子１００に与えられ、ＭＰＥＧ２符号器１０２に入る。この符号器は、国際公表公報第９５３５６２８号に開示されている複数の形態の一つを行い、ＭＰＥＧ出力に加えて情報バス出力を有する。この情報バス出力には、符号器に入る符号化決定の表示が存在する。これらの符号化決定は、以下の情報、すなわち、画像の面積、フレームレート、画像構造（フレーム符号化かフィールド符号化）、画像のタイプ（Ｉ、ＰあるいはＢ）、マクロブロックはイントラ符号化されるかあるいは予測を使用するか、前方、後方、あるいは両方向の予測が使用されるかどうか、動きベクトル、変換の形式、量子化器の可視性加重マトリックス、量子化器ステップ、及びダウンストリーム複号器のビットレートとバッファ状態といったものを含むことができる。
【００１３】
情報バスはそれから、ビデオ信号と連携してビデオ経路を通過するために、入力ビデオ信号と合体する。出力のビデオ信号は、適切な補償遅延１０４で遅延を受ける以外に何の処理も施されていないことは特記に値する。
【００１４】
情報バスがビデオ信号を伴う好ましい方法はいくつか存在する。例えば情報バスは、アクティブビデオ領域内だけにおいて、１０ビットＩＴＵ−Ｒ Ｒｅｃ．６５６信号の色差に関する部分の最下位ビットに保持され得る。これによって、情報バスに対して１０，３６８Ｍｂｉｔの原ビットレートが与えられる。この付加的情報の存在によってはビデオ信号に可視性の損傷を起こさないこと、及び、１０ビットに見積もってあるスタジオ装置はミキシング、その他の処理が実行されていない時、全ての１０ビットの信号を確かに透過することを保証するよう注意が払われる。その他実施形態として、情報バスは、９番目あるいは８番目の色差に関するビットを用いて、または、１０番目、９番目あるいは８番目の輝度に関するビットを用いて、もしくは、上記の何らかの組み合わせを用いて、伝送することができる。また、８番目のビットの使用は、８ビットの表示しか可能ではないＲｅｃ．６５６の古いバージョンを使用したシステムに対しては、適切なものであろう。
【００１５】
上述の手法を拡大したその他の例では、ダウンストリームＭＰＥＧ符号器が影響されないような方法で情報バスデータをビデオに付加することによって、デジタルビデオ信号のある部分（最下位ビットではない）を変更する。
【００１６】
Ｒｅｃ．６５６信号のブランク期間に搬送される補助的データチャネル中に情報バスを保持させることもまた可能である。スタジオ装置が、ミキシングあるいは他の処理が実行されていない時に、この情報を変化させないで通過させることを保証することは必要なことである。
【００１７】
その他の例としては、情報バスをＡＥＳ／ＥＢＵデジタル音声チャネルとして伝送することが挙げられる。これは、スタジオ装置の音声通路内のスペアチャネルを介して伝送される。その特定の音声チャネルの切り替えは、メインの音声チャンネルがビデオから独立して切り替えられても、ビデオ切り替えと共に実行されることを保証することが必要である。
【００１８】
図２は、本発明による圧縮プリプロセッサのより詳細な構成を示している。情報バス発生器２０２は、入力ビデオ信号を受信し、画像、ＧＯＰ及び入力ビデオ信号に関するシーケンスレート情報、例えば画像サイズ、アスペクト比、フィールド／フレーム符号化タイプおよび画像のタイプを含む、スケルトン情報バスを発生する。ビデオ信号およびスケルトン情報バスは、動きエスティメータ２０４に入り、動きベクトルの複数の候補を発生して情報バスに乗せる。予測セレクタ２０６はビデオ信号と情報バスの両方を受信し、異なった候補動きベクトル間で選択する。予測セレクタ２０６はまた、いずれの予測モード（フィールド、フレーム、前方、後方、双方向など）がそれぞれのマクロブロックに対して使用されるべきかを選択する。予測セレクタ２０６は、さらに、インタ／イントラ（相互／内部）選択およびＤＣＴタイプ選択を実行する。
【００１９】
予測セレクタ２０６の出力の情報バスは、量子化に関するものとは別にＭＰＥＧビットストリームの生成に必要な全ての決定を含んでいる。これらは、以下のようにして提供される。
【００２０】
「ダム」符号器２０８は、情報バス内に表示された符号化決定にしたがってビデオ信号を処理する。ビットレート制御器２１０は符号化ビットストリームを受信し、ダム符号器における量子化を制御し、出力ビットレートを、ダウンストリーム符号器の可能性の高い出力レートを表示する想像上のビットレートとする。ダム符号器は、続いて、所望の想像上のビットレートでビットストリームを発生するために使用された量子化情報を情報バス上に乗せる。
【００２１】
ここまで、図２について説明したものは、その限りにおいて、ＭＰＥＧ符号器と同じものであり、既に引用した公知文献に示されたような情報バスに基づいている。しかしながら、本出願においては、ビットストリームは使用されず、符号器２０８の出力に最終的情報バスが現れるだけである。
【００２２】
この情報バスは、国際公表公報第９８０３０１７号に記載されている技術を用いて処理される。概して、情報バスは情報バス符号器２１２に入り、可変長符号化、パケット化、タイムスタンプの割り当てが実行される。これは、本質的に、ＭＰＥＧ２シンタクスを使用する圧縮方法においては便利な形である。実際に、一つの形の情報バスはＤＣＴ係数を除いたＭＰＥＧ２ビットストリームとしてみなされる。
【００２３】
情報バス信号のフォーマットについては、情報バス信号に伴うビデオ信号との時間的関係によって、様々な可能性がある。フォーマットは、図１の情報バスフォーマット装置２２によって行われる。情報バス信号に対して可能なフォーマットの例は以下の通りである。
【００２４】
（１）１画像あたりのビット数が可変であり、ビデオ信号への同期に関係なく送信される固定ビットレート信号。実際には、情報バスは可変ビットレートであり得るし、スタッフビットの使用によって固定ビットレートチャネルとして作動させることが可能である。
【００２５】
（２）固定あるいは可変ビットレート信号。この信号は、各画像に対する情報バスがその画像のビデオ信号と同時的関係になるように（ＧＯＰ構造内で、ビットストリームオーダーから表示オーダーへ）再整列され、タイムシフトされたものである。
【００２６】
（３）上記２つの組み合わせ。すなわち、情報バス自体は非同期であるが、小さなスロットがいくつか画像固定データ用に確保されている。これは、例えば、タイムコードとピクチャータイプの複製を搬送する。
【００２７】
（４）上記２番目に記載されている再整列され、タイムシフトされた固定ビットレート信号であって、さらに、各マクロブロックに対するマクロレート情報がそのマクロブロックに対応するビデオ信号と同時的となるように配置されている信号。
【００２８】
フォーマットされた情報バスはチャネルアダプタ２１６に入り、そこで、情報バスを、例えば図１で説明した方法で（補償遅延２１８で遅延した）ビデオ信号を伴うよう適合させる。かくして、好ましい実施例においては、チャネルアダプタ２１６は、アクティブビデオ領域内だけにおいて、１０ビットＩＴＵ−Ｒ Ｒｅｃ．６５６信号の色差に関する部分の最下位ビットにフォーマットされた情報バスを埋め込む。
【００２９】
図２に図示されている構成の変形例として、２つ以上のダム符号器２０８とそれに伴うビットレート制御器２１０を並列的に作動させることができる。各々は、将来起りうる要求の範囲に対応することが可能な異なったビットレートで動作する。それぞれのビットレートで発生した量子化情報は、情報バス内に記録される。
【００３０】
その他の変形例として、ビットレート制御器２１０を除去し、一つあるいは複数のダム符号器２０８を一つの固定された量子化器あるいは複数の量子化器と共に作動させることが可能である。この結果、各マクロブロックに対して発生したビット数は、出力情報バス中に記録される。
【００３１】
図３は、本発明によるプリプロセッサが、非圧縮ビデオ信号用に設計されたサーバーと連携してどのように使用されるかを図示している。プリプロセッサは、情報バスをデジタルビデオ信号に付加するために、上記のように作動する。その結果得られたビデオ＋情報バス信号はサーバー上に書き込まれる。次に、その信号が、ビットストリームを生成するためにダウンストリームでどのように使用されるかについて、３つの方法を示す。
【００３２】
それぞれの例において、信号はサーバーから読み出されて情報ストリーム復号器に伝送され、復号器はそこで得られたビデオおよび情報バス信号をダム符号器に送る。
【００３３】
第１の例では、ダム符号器１が、単に入ビデオおよび情報バス信号に従って動作し、プリプロセッサによって発生したビットレート（あるいは、選択された一つのビットレート）でビットストリームを生成する。
【００３４】
第２の例では、ダム符号器２が新しいビットレートで作動する。情報バス内の量子化情報は無視され、ローカルビットレート制御器によって算出された量子化情報に置き換わる。
【００３５】
第３の例では、（高次の）ダム符号器３が、符号器の動作を改善するために、ローカルビットレート制御器と、量子化器すなわち情報バスから復号化されたビットカウント情報との両方を利用する。効率的には、２通路符号化、いわゆる、前分析およびビットレート制御処理を介する第２の通路、による公知の利益が得られる。
【００３６】
第２の２つの構成のうちのいずれも、ビットレートおよび符号器バッファの占有を制御することが必要なビットストリームスイッチあるいは他のビットストリーム処理装置の一部として、使用され得る。
【００３７】
実効的には、ＤＣＴ係数を除いたＭＰＥＧストリームである情報バスを使用することは、非常に便利であるが、符号化決定を表示するための他の選択肢が存在する。ある範囲のフォーマットが使用され、様々な圧縮技術が利用されるであろう。符号化決定に加えて、符号化処理からの有益な統計的情報もまた、保持され得るであろう。
【００３８】
本発明はＭＰＥＧ２圧縮に限定されるものではなく、他の様々な圧縮技術と一緒に、あるいは混合して使用することも可能である。その場合、異なった圧縮スキームのための符号化モード情報を再通訳することが必要であるが、復号化された情報バスの処理がかなり複雑になるであろう。
【００３９】
本発明はいくつかの例によってのみ説明されてきたが、本発明の範囲を逸脱することなく、様々な変更が可能であることは明らかであろう。
【図面の簡単な説明】
【図１】 本発明の第１の実施例による圧縮プリプロセッサのブロック図を示している。
【図２】 本発明の第２の実施例による圧縮プリプロセッサのブロック図を示している。
【図３】 図１及び図２のプリプロセッサから与えられた情報を利用した、本発明によるサーバーベースの３つの代替処理を表したブロック図を示している。

Claims (12)

1. 入力ビデオ信号を分析するステップと、ダウンストリーム符号器が前記入力ビデオ信号を圧縮符号化するビットレートを定める圧縮符号化決定を行うステップとを圧縮符号化を行うステップの中に含むビデオ信号の処理において、
   前記符号化決定の表示を形成し、
   前記表示を前記入力ビデオ信号に結合し、
   ビデオ経路に沿って前記入力ビデオ信号と共に前記表示を通過させ、
   ビデオ経路のダウンストリームにてダウンストリーム符号器で前記表示及び入力ビデオ信号を受け取って前記符号化決定に従って前記ビデオ信号を圧縮符号化する
   ことを特徴とするビデオ信号の処理方法。
2. 前記表示を前記入力ビデオ信号に結合するステップは、前記表示を搬送するために入力ビデオ信号を変更するステップを含むことを特徴とする請求項１の処理方法。
3. 前記表示を搬送するために前記入力ビデオ信号の少なくとも一桁の最下位ビットを変更することを特徴とする請求項２の処理方法。
4. 前記表示を搬送するために前記入力ビデオ信号のデータチャネルを変更することを特徴とする請求項２の処理方法。
5. 前記表示を搬送するために前記入力ビデオ信号の音声チャネルを変更することを特徴とする請求項２の処理方法。
6. 前記符号化決定の前記表示は、前記ダウンストリーム圧縮符号化操作の出力である圧縮されたビットストリームにおける表示と同じフォーマットで表示される情報バスを有することを特徴とする請求項１から５のいずれかひとつによる処理方法。
7. 前記分析は、複数のビットレートを提供するビットレート制御と、選択されたビットレートそれぞれを維持するために適切な複数の量子化決定を行うこととを含むことを特徴とする請求項１から６のいずれか１つによる処理方法。
8. 入力ビデオ信号を分析して、ダウンストリーム符号器が前記入力ビデオ信号を圧縮符号化するビットレートを定める圧縮符号化決定を行う符号器と、
   前記符号化決定の表示を生成する手段と、
   ビデオ経路に沿ってビデオ信号と共に通過させるために、前記符号化決定の表示を入力ビデオ信号と結合する手段と
   を備えることを特徴とする圧縮プリプロセッサ。
9. 前記符号化決定の表示を生成する手段は、変換係数のない圧縮されたビデオビットストリームの形で符号化決定を表示することを特徴とする請求項８による圧縮プリプロセッサ。
10. 前記符号化決定の表示を入力ビデオ信号と結合する手段は、前記符号化決定の表示を搬送するため、ビデオ信号の少なくとも一桁の最下位ビットを変調することを特徴とする請求項８および９のいずれかひとつによる圧縮プリプロセッサ。
11. 前記符号化決定の表示を入力ビデオ信号と結合する手段は、前記入力ビデオ信号のデータチャネルに前記符号化決定の表示を挿入することを特徴とする請求項８および９のいずれかひとつによる圧縮プリプロセッサ。
12. 前記符号化決定の表示を入力ビデオ信号と結合する手段は、前記入力ビデオ信号の音声チャネルに前記符号化決定の表示を挿入することを特徴とする請求項８および９のいずれかひとつによる圧縮プリプロセッサ。

Images