JP4429014B2 - 符号化されたビデオ信号に挿入されたユーザデータを送信するための方法およびデバイス - Google Patents
符号化されたビデオ信号に挿入されたユーザデータを送信するための方法およびデバイス Download PDFInfo
- Publication number
- JP4429014B2 JP4429014B2 JP2003524272A JP2003524272A JP4429014B2 JP 4429014 B2 JP4429014 B2 JP 4429014B2 JP 2003524272 A JP2003524272 A JP 2003524272A JP 2003524272 A JP2003524272 A JP 2003524272A JP 4429014 B2 JP4429014 B2 JP 4429014B2
- Authority
- JP
- Japan
- Prior art keywords
- user data
- stuffing
- video signal
- video
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003780 insertion Methods 0.000 claims abstract description 31
- 230000037431 insertion Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオエンコーダからビデオデコーダにユーザデータを送信する方法であって、前記ユーザデータが、当該ビデオエンコーダによって生成された、符号化されたビデオ信号に挿入されている方法に関するものである。
【０００２】
【従来の技術】
本発明は、例えば、デジタルビデオ信号処理の分野に用いることができる。
【０００３】
ISO/IEC 14496-2と呼ばれるMPEG-4ビデオ標準は、自然および合成の画像データおよびオブジェクトデータから成るマルチメディアシーンコンテンツを表現するためのプロトコルに関連して、デジタル信号を生成することを可能にする。それは、二次元および／または三次元グラフィクス、シーンコンテンツの対話性、顔画像および人体画像のアニメーション、テクスチャ符号化および形状符号化の他に、ビデオデータの操作も含む多様な機能性のための符号化能力および圧縮能力を備えている。それは、放送場面や、プッシュモードおよびプルモードにおける1対1対話に用いることができる。
【０００４】
特に、このビデオ標準は、ユーザの特定の利用のためにユーザによって定義されたユーザデータの、符号化された信号への挿入を可能にする。その際、ユーザデータは、MPEG-4エンコーダによって生成された信号に挿入され、さらに、当該ユーザデータを利用するMPEG-4デコーダに送られる。ユーザデータは、次の3つの異なるレベルでコーディングシンタックスに挿入できる。
・ Visual Object Sequence header level（「VOSヘッダ」と呼ぶ」）
・ Video Object Layer header level（「VOLヘッダ」と呼ぶ」）
・ Group Of Video object plane header level（「GOVヘッダ」と呼ぶ」）
MPEG-4ビデオ信号（即ち、シーケンス）の一般的な構造が、図1に示されており、これは、当該ヘッダが、どのように構造化しているかを表わしている。当該ヘッダは、符号化されたオブジェクトが矩形ピクチャであるときのピクチャに該当するビデオオブジェクトプレーン(Visual Object Plane)（「VOP」と呼ぶ」）に先行している。シーケンス端は、Visual Object sequence Endデータパケット（「VOS End」と呼ぶ」）によって知ることができる。
【０００６】
このビデオ標準に記述されている通りにユーザデータを送信することは、ユーザデータが、特にVOPレベルで、周期的に送信されなければならないときには、即ち、ユーザデータが、ある所定の1つのVOP、又は、複数の連続する又は連続しないVOPに関連付けられなければならないときには、限界を持つ。
【０００７】
実際、VOSヘッダは、符号化された信号の始まりにただ1回しか現れないから、当該ユーザデータを挿入するためにVOSヘッダを用いることは、不可能である。
【０００８】
VOLヘッダは、ほとんどの時間、符号化された信号にただ1度しか現れず、さらに、このヘッダはオプションであるので、シンタックス中に常に存在するとは限らないから、当該ユーザデータを挿入するためにVOLヘッダを用いることは、不可能である。
【０００９】
GOVヘッダは、VOPレベルでユーザデータを挿入するために用いることができるが、それに続くVOPが、フレーム内符号化されるという条件、即ち、それらが、何らの時間的な予測も実行されないVOPに該当するという条件を満たすということを要件とする。フレーム内符号化されたVOPは、ビットを大量に消費するから、VOPレベルでのGOVヘッダの使用は、符号化された信号のビットレートの劇的な増大に導き、ビデオ品質に損傷を与える。さらに、各GOVヘッダが、多くの長い符号語を含んでいることを考えると、これは、当該ビデオ信号のビットレート増大にも寄与する。その結果として、VOPレベルでユーザデータを挿入するためにGOVヘッダを用いることは、限界があり、また、適切ではない。
【００１０】
【課題を解決するための手段】
本発明の1つの目的は、符号化されたビデオ信号のVOPレベルでユーザデータを送信する低ビット消費方法を提供することである。
【００１１】
この目的のために、また、従来の方法の限界を解決するために、本発明によるユーザデータを送信する方法は、当該方法が、
エンコーダ側において、
当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入する挿入ステップであって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入ステップと、
デコーダ側において、
当該符号化されたビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントする分析ステップであって、当該スタッフィングパケットの数が、当該ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析ステップと、を有することを特徴とする。
【００１２】
本方法は、MPEG-4ビデオ標準によって定義されている「マクロブロックスタッフィングタイプ」と呼ばれる特別のマクロブロックの利点を利用している。この特別のマクロブロックは、符号化されたビデオ信号に挿入できるほどの小さな符号語しか含まないスタッフィングパケットである。当該符号語は、さらに、復号プロセスにおいて放棄される。元来、マクロブロックスタッフィングタイプの目的は、それがなければ、望みのビットレートよりも低くなってしまうビデオ信号のビットレートを増加させることである。
【００１３】
マクロブロックスタッフィングタイプは、数ビットしか要しないデータパケットであるから、ユーザデータを送信するための上述の公知の方法に比して、ユーザデータを送信するための本発明による方法は、低ビット消費である。
【００１４】
本方法は、単一のスタッフィングパケットの挿入／不挿入で1ビットユーザデータを送信することも、複数のスタッフィングデータの挿入で多ビットユーザデータを送信することも、可能である。このように、本方法は、費用（ビット）効果が高く、可変長ユーザデータを送信するために用いることができる。
【００１５】
本方法は、エンコーダ側にもデコーダ側にも、非常にわずかの量のプロセスリソースしか必要としない。実際、第1に、エンコーダ側では、このプロセスは、送信されるべきユーザデータの値にしたがって挿入されるべきスタッフィングパケットの数を定めるための費用（プロセス）効果の高いルックアップテーブル動作の実行からなり、また、第2に、ほとんど費用を要しない当該スタッフィングパケットの挿入からなっている。第2に、デコーダ側では、このプロセスは、VOPデータ内容全てを除いて、符号化されたビデオ信号内の既知の位置にあるスタッフィングパケットの数を検出しかつカウントすることからなり、および、費用効果の高いルックアップテーブル動作を実行するので、この場合にも、わずかの量のプロセスリソースしか必要としない。
【００１６】
ユーザデータは、本発明によれば、VOPレベルで挿入できるのみではなく、次のVOPの符号化タイプがどのようなものであっても（即ち、フレーム内符号化されても、フレーム間符号化されても）、1つのVOP内に挿入できるから、本方法は、公知の方法の制約を取り除く。
【００１７】
本発明による方法は、また、その使用において非常に柔軟である。実際、マクロブロックスタッフィングタイプは、符号化されたマクロブロック（即ち、フレーム内符号化と呼ばれる空間的に符号化されたマクロブロック、あるいは、フレーム間符号化と呼ばれる時間的に予測されたマクロブロック）と考えられるから、それは、VOPの始めでも終りでも、1つのVOP内の任意の他のマクロブロック間に挿入できる。
【００１８】
好適な一方式において、本発明は、挿入ステップが、ビデオオブジェクトプレーンレベルで実行されることを特徴とする
【００１９】
したがって、ユーザデータは、符号化されたビデオ信号の所定の1つのVOP、又は、複数の連続する又は連続しないVOPに挿入できる。
【００２０】
しかしながら、本方法は、また、VOPレベルよりも下位のレベルで、例えば、スライスレベルで、ユーザデータを送信するために用いることもできる。この目的のために、ユーザデータの挿入は、所定のVOPの内部の複数のスライス内のある所定位置で実行される。したがって、本発明による方法は、所定の1つのVOP内への複数のユーザデータの挿入を可能にする。
【００２１】
デコーダは、当該所定位置における、そのようなマクロブロックスタッフィングタイプの意味を知っていなければ、復号されるビデオの品質に関して傷害を与えることなく、当該マクロブロックスタッフィングタイプを放棄するだけであるから、本方法は、MPEG-4ビデオ標準に完全に準拠している。
【００２２】
本発明による方法によって送信される多ユーザデータは、例えば、デコーダ側で、あるVOPから他のVOPに対して、特定の利用あるいはプロセスを停止したり、開始したりするためのコーディング情報あるいはコーディング特性に対応あるいは反映するものであってもよい。
【００２３】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入する方法であって、当該方法が、当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入する挿入ステップであって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入ステップを有することを特徴とする方法に関するものである。
【００２４】
好適な一方式において、ユーザデータを挿入するこの方法が、ビデオオブジェクトプレーンレベルで実行される。
【００２５】
本発明は、また、符号化されたビデオ信号の所定位置に挿入されたユーザデータを再生する方法であって、当該方法が、
当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントする分析ステップであって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析ステップ
を有することを特徴とする方法に関するものである。
【００２６】
好適な一方式において、ユーザデータを再生するこの方法が、ビデオオブジェクトプレーンレベルで実行される。
【００２７】
本発明は、また、ビデオエンコーダからビデオデコーダにユーザデータを送信するためのシステムであって、前記ユーザデータが、当該ビデオエンコーダによって生成された、符号化されたビデオ信号に挿入されているシステムにおいて、当該システムが、
エンコーダ側において、
当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入するための挿入手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入手段と、
デコーダ側において、
当該符号化されたビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントするための分析手段であって、当該スタッフィングパケットの数が、当該ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段と、
を有することを特徴とするシステムに関するものである。
【００２８】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入するためのデバイスであって、当該デバイスが、
当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入するための挿入手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入手段
を有することを特徴とするデバイスに関するものである。
【００２９】
本発明の特定の1観点において、前記挿入ステップが、ビデオオブジェクトプレーンレベルでなされ、前記挿入手段が、ビデオオブジェクトプレーンレベルで実行可能状態になる。
【００３０】
本発明は、また、符号化されたビデオ信号の所定位置に挿入されたユーザデータを再生するためのデバイスであって、当該デバイスが、
当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントするための分析手段であって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段
を有することを特徴とするデバイスに関するものである。
【００３１】
好適な1実施例において、ユーザデータを再生するための本デバイスの当該分析手段が、ビデオオブジェクトプレーンレベルで実行可能状態になる。
【００３２】
本発明は、また、MPEG-4標準にしたがって符号化されたビデオ信号を生成するためにビデオ信号を符号化するための、そして、当該符号化されたビデオ信号にユーザデータを挿入するためのビデオエンコーダに関するものである。前記ビデオエンコーダは、当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入するための手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される手段を有することを特徴とする。
【００３３】
本発明は、また、MPEG-4標準にしたがって符号化されたビデオ信号を復号するためのビデオデコーダであって、当該符号化されたビデオ信号が、所定位置に挿入されたユーザデータを有するビデオデコーダに関するものである。前記ビデオデコーダは、当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントするための分析手段であって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段を有することを特徴とする。
【００３４】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入する方法の技術的な特性を反映する信号に関するものである。
【００３５】
したがって、本発明は、ビデオオブジェクトプレーンレベルで挿入されたスタッフィングパケットのセットを含む符号化されたビデオ信号であって、当該セット中の前記スタッフィングパケットの数が、当該ビデオ信号に挿入されたユーザデータの値を反映しており、当該セット中の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される符号化されたビデオ信号に関するものである。
【００３６】
特に、そのような信号は、MPEG-4ビデオ標準にしたがって符号化される。
【００３７】
本発明は、また、エンコーダ側において前記方法のステップを実行するためのコード命令を有する第1のコンピュータプログラム、および、デコーダ側において前記方法のステップを実行するためのコード命令を有する第2のコンピュータプログラム、に関するものである。
【００３８】
本発明の詳細な説明および他の観点が、以下に与えられる。
【００３９】
【発明の実施の形態】
本発明の特定の観点が、ここで、以下に記述する実施例を参照して説明され、付随する図面と組み合わせて考察される。
【００４０】
ユーザデータを送信する本方法は、ユーザデータの挿入が、MPEG-4ビデオ標準にしたがって符号化されたビデオ信号において実行されるものとして記述される。しかしながら、VOPレベルにおける（あるいは、VOPの下位レベルにおける）ユーザデータのそのような挿入方法は、スタッフィングパケットの挿入の可能な、他のビデオ標準でも用いることができる。
【００４１】
図2は、ビデオエンコーダからビデオデコーダへユーザデータを送信する、本発明による方法の種々のステップ（過程）を示している。図2に記述の方法は、スタッフィングパケットセットを挿入して、ビデオエンコーダからビデオデコーダへNビットのユーザデータを送信することを可能にしている。Nは、N > 0を満足する整数である。
【００４２】
本方法は、スタッフィングパケットセットの、符号化されたビデオ信号への挿入に基づいている。この目的のために、本方法は、送信されるべきユーザデータの値にしたがって、挿入されるべき当該スタッフィングパケットセットに含まれるスタッフィングパケットの数を決定する、第1のリンクステップ201を有している。第1のリンクステップ201は、ユーザデータの値から、当該セット内のスタッフィングパケットの数の決定を可能にするルックアップテーブル動作から成っている。このようにして、型通りに、送信されるべく与えられたユーザデータは、スタッフィングパケットの所定数に関連付けられる。
【００４３】
そのルックアップテーブルは、挿入されるスタッフィングパケットの数が、基本的に、送信されるべきユーザデータの値に対応するようにしても良い。
【００４４】
例えば、送信されるべきユーザデータが2値 "00" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"0" であり、送信されるべきユーザデータが2値 "01" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"1" であり、送信されるべきユーザデータが2値 "10" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"2" であり、送信されるべきユーザデータが2値 "11" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"3" である。
【００４５】
もちろん、ルックアップテーブルは、挿入されるスタッフィングパケットの数が、送信されるべきユーザデータの値の倍数に該当するようなものであってもよい。より一般的には、ルックアップテーブルは、挿入されるスタッフィングパケットの数が、送信されるべきユーザデータの値の符号変換によって生じるようなものであってもよい。
【００４６】
本方法は、MPEG-4標準にしたがってビデオ信号を符号化している間に、数が第1のリンクステップ201によって前もって決定されているスタッフィングパケットセットを挿入する挿入ステップ202を有している。各スタッフィングパケットは、MPEG4ビデオ標準によって定義されているマクロブロックスタッフィングタイプに該当している。
【００４７】
MPEG-4ビデオ標準によって定義されている全てのマクロブロックのコーディングシンタックスは、マクロブロックの符号化タイプを指示するためのフィールド（MBTYPEと呼ぶ）を有している。マクロブロックスタッフィングタイプに対するフィールドMBTYPEは、記号列"stuffing"を含んでおり、そのようなマクロブロックスタッフィングタイプのデータは、値0000 0000 1を持つ符号語を有している。
【００４８】
したがって、挿入ステップは、記号列スタッフィング"stuffing"を含むフィールドMBTYPEおよび値0000 0000 1を持つ符号語の挿入から成っていてもよい。
【００４９】
当該スタッフィングパケットセットの挿入は、VOPレベルで実行され、それは、スタッフィングパケットセットが、所定の1つのVOP、又は、複数の連続する又は連続しないVOPに、少なくとも1回挿入されてもよいということを意味する。
【００５０】
符号化されたビデオ信号において、スタッフィングパケットセットは、以下の
・ VOPヘッダの終り：これは、VOPヘッダの終りと、VOP内のランク1のマクロブロックの始めとの間に該当する
・ 2つの連続するマクロブロック間の位置
・ スライスの始め
に対応する所定位置で挿入される。
【００５１】
送信されるべきユーザデータの値に応じて、複数のスタッフィングパケットが、符号化されたビデオ信号に挿入されるときには、繰り返しステップ203が、当該複数のスタッフィングパケットの連続的な挿入を可能にする。
【００５２】
そのようにしてエンコーダによって生成された、符号化されたビデオ信号が、例えば、通信チャネルを通じて、送信され、ビデオデコーダによって受信される。
【００５３】
分析ステップ204は、エンコーダ側で、スタッフィングパケットセットが挿入された位置と同じ位置で実行される。分析ステップ204は、VOP内の当該位置で、符号化されたビデオ信号内のスタッフィングパケットを検出するステップから成る。この目的のために、スタッフィングパケットの検出は、記号列"stuffing"を含むフィールドMBTYPEの検出によってもよい。
【００５４】
分析ステップ204は、また、当該位置での検出ステップによって検出されたスタッフィングパケットの数をカウントするステップでもある。
【００５５】
ビデオデコーダが、ユーザデータを送信するためにVOPスタッフィングパケットが挿入されているということを認識しない場合には、分析ステップ204は、各連続するVOP上で、規則的に実行されるようにしてもよい。分析ステップ204は、また、ユーザデータが期待されるVOP上だけでしか実行されないようにしてもよい。これは、ユーザデータ挿入の周波数がデコーダ側で知られているときに可能である。
【００５６】
スタッフィングパケットの数が、分析ステップ204で決定された後、ユーザデータの値が、第2のリンクステップ205で、検出されたスタッフィングパケットの数から導出される。第2のリンクステップ205は、スタッフィングパケットの数からユーザデータを決定できるルックアップテーブル動作から成る。第2のリンクステップ205で用いられるルックアップテーブルは、第1のリンクステップ201で用いられるルックアップテーブルの逆テーブルに該当する。
【００５７】
例えば、エンコーダ側で用いられた上述のルックアップテーブルの逆テーブルを用いると、スタッフィングパケットの数が、"0" であるとすると（即ち、何らのスタッフィングパケットも、エンコーダ側で実効的に挿入されなかった場合には）、送信されてきたユーザデータは、2値 "00" であり、スタッフィングパケットの数が、"1" であるとすると、送信されてきたユーザデータは、2値 "01" であり、スタッフィングパケットの数が、"2" であるとすると、送信されてきたユーザデータは、2値 "10" であり、スタッフィングパケットの数が、"3" であるとすると、送信されてきたユーザデータは、2値 "11" である。
【００５８】
この方法は、ビデオデコーダが、スタッフィングパケットセットがエンコーダ側で挿入された位置を知らされ、そして、分析ステップ204で検出されたスタッフィングパケットの数からユーザデータを再生できるということを必然的な条件として含んでいる。例えば、当該位置および当該ルックアップテーブルの内容に関する情報を、ビデオエンコーダとビデオデコーダとの間の通信の初期化ステップの間にユーザデータで、あるいは、任意の独占の伝送ステップによって、送信することができる。そのような情報は、また、例えば、ビデオエンコーダとビデオデコーダとの間の通信の初期化ステップの間に（公知の従来技術によって）送信されたユーザデータを介して、ビデオデコーダ側に、即ち、受信される符号化されたビデオ信号内のスタッフィングパケットの存在を誤りなく解釈できるように、受信される符号化されたビデオ信号が、本発明にしたがってエンコーダから送られてくることを知らなければならないビデオデコーダに、限定的にセットすることもできる。
【００５９】
図3は、本発明にしたがって、エンコーダからデコーダに1ビットユーザデータを送信する方法の種々のステップ（過程）を示している。この方法は、N=1である特別の場合に該当するから、図2に示されている方法から導出される。
【００６０】
1ビットユーザデータは、ただ2つの状態しか持たないということを考えると、そのようなユーザデータは、単一のスタッフィングパケット（即ち、マクロブロックスタッフィングタイプ）の、符号化されたビデオ信号への挿入によって、直接的に表現できる。したがって、当該マクロブロックスタッフィングタイプの存在／不在は、フラグと同様に、1ビットユーザデータの値を指示することを可能にする。この目的のために、第1のリンクステップ301は、状態 "1" を持つ1ビットユーザデータが、スタッフィングパケットを挿入させることにするのか、挿入させないことにするのかを決定することを可能にする。
【００６１】
例えば、型通りに、単一のマクロブロックスタッフィングタイプの存在することが、値 "1" と解釈されてもよいし、マクロブロックスタッフィングタイプの存在しないことが、値 "0" と解釈されてもよい。
【００６２】
図2に関連して説明したと同様に、スタッフィングパケットの挿入が、挿入ステップ302において、VOPの所定位置で実行され、これは、エンコーダだけではなく、デコーダにも知らされる。
【００６３】
このようにエンコーダによって生成された、MPEG-4標準にしたがって符号化されたビデオ信号が、送信され、そして、ビデオデコーダによって受信される。
【００６４】
検出ステップ303が、VOPの当該所定位置にスタッフィングパケットの存在することを検出するために実行される。その検出は、符号列"stuffing"を含有しているフィールドMBTYPEを検出する際に、図2に関連して与えた説明と同様に実行される。カウント動作を含む複合的な分析ステップ204が実行される図2に比して、基本的な検出ステップで十分である。言い換えれば、検出ステップとカウントステップとが、単一のステップになっている。
【００６５】
単一のマクロブロックスタッフィングタイプの存在（あるいは、不存在）と、ユーザデータの値とのリンクは、第2のリンクステップ304によってなされる。第2のリンクステップ304は、スタッフィングパケットの存在（あるいは、不存在）からユーザデータの値を決定することを可能にするルックアップテーブルの動作から成る。このルックアップテーブルは、第1のリンクステップ301で用いられるルックアップテーブルの逆テーブルに該当する。
【００６６】
例えば、リンクステップ301においてエンコーダ側で用いられた上述のルックアップテーブルの逆テーブルを用いる場合、単一のマクロブロックスタッフィングタイプの存在することが、VOPの当該所定位置に実効的に検出されると、1ビットユーザデータの値は、"1" であるとみなすことができる。反対に、何らのマクロブロックスタッフィングタイプも検出されなければ、1ビットユーザデータの値は、"0" であるとみなすことができる。
【００６７】
図4は、MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の1ビットユーザデータを送信する第1の例を示している。
【００６８】
ランクiのマクロブロックスタッフィングタイプを、MB_stuff_iと呼ぶ。この例において、1ビットユーザデータの値に対応して、挿入されるマクロブロックスタッフィングタイプの数が、ルックアップテーブル1に与えられている。
【表１】
ルックアップテーブル1 : １ビットユーザデータを送信するためのテーブル
【００６９】
マクロブロックスタッフィングタイプが、ユーザデータの関連するVOPに存在するときには、それは、当該VOPのVOPヘッダの直後に挿入されている。
【００７０】
符号化されたビデオ信号は、自身がGOVヘッダに続かれるVOLヘッダに続かれるVOSヘッダを有している。それらのヘッダは、符号化されたビデオ信号を復号するために用いられる情報を持ち運ぶために置かれている。
【００７１】
最初のVOP（VOP_1と呼ぶ）で、ユーザデータ "1" が、送信されなければならない。この目的のために、ルックアップテーブル1を用いて、単一のマクロブロックスタッフィングタイプMB_stuff_1が、VOPヘッダ（VOP_1_headerと呼ぶ）の後に挿入される。デコーダ側では、符号化されたビデオ信号を受信したとき、単一のマクロブロックスタッフィングタイプの存在がVOP_1_headerの後に検出されれば、それは、ルックアップテーブル1の逆テーブルによって、値 "1" を持つ1ビットユーザデータであると解釈される。
【００７２】
2番目のVOP（VOP_2と呼ぶ）で、ユーザデータ "0" が、送信されなければならない。この目的のために、ルックアップテーブル1を用いて、何らのマクロブロックスタッフィングタイプも、VOPヘッダ（VOP_2_header）の後に挿入されない。デコーダ側では、符号化されたビデオ信号を受信したとき、単一のマクロブロックスタッフィングタイプがVOP_2_headerの後に検出されなければ、それは、ルックアップテーブル1の逆テーブルによって、値 "0" を持つ１ビットユーザデータであると解釈される。
【００７３】
1ビットユーザデータを送信する本方法は、符号化されたビデオ信号内のその後のVOPにも同様に利用できる。
【００７４】
符号化されたビデオ信号は、符号化されたビデオ信号の終りを指示するためのVOS endを有している。
【００７５】
1ビットユーザデータは、VOPレベルで特定の利用を開始する（例えば、ユーザデータが "1" であるとき）、または、停止する（例えば、ユーザデータが "0" であるとき）ためのフラグとして、デコーダ側で用いることができる。特に、図4に示す例によれば、VOP_1に関連するユーザデータは、VOP_2に関するビデオデータ上の特定の利用を開始する、または、停止するために用いることができる。より一般的には、ランクiのVOPに関連するユーザデータは、ランク(i+1)のVOPに関するビデオデータ上の特定の利用を開始する、または、停止するために用いることができる。
【００７６】
ユーザデータは、また、特定の利用における、例えばポスト処理動作における、パラメータ値としてデコーダ側で用いることもできる。
【００７７】
図5は、MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の2ビットユーザデータを送信する第2の例を示している。
【００７８】
ランクiのマクロブロックスタッフィングタイプを、MB_stuff_iと呼ぶ。この例において、2ビットユーザデータの値に対応して、挿入されるマクロブロックスタッフィングタイプの数が、ルックアップテーブル2に与えられている。
【表２】
ルックアップテーブル2 : 2ビットユーザデータを送信するためのルックアップテーブル
【００７９】
マクロブロックスタッフィングタイプが、ユーザデータの関連するVOPに存在するときには、それらは、当該VOPのランクi0の符号化されたマクロブロック（MB_i0と呼ぶ）の後に挿入されている。
【００８０】
符号化されたビデオ信号は、自身がGOVヘッダに続かれるVOLヘッダに続かれるVOSヘッダを有している。それらのヘッダは、符号化されたビデオ信号を復号するために用いられる情報を持ち運ぶために置かれている。
【００８１】
最初のVOP（VOP_1と呼ぶ）で、ユーザデータ "10" が、送信されなければならない。この目的のために、ルックアップテーブル2を用いて、2つのマクロブロックスタッフィングタイプMB_stuff_1およびMB_stuff_2が、マクロブロックMB_i0の後に挿入される。デコーダ側では、符号化されたビデオ信号を受信したとき、2つのマクロブロックスタッフィングタイプがMB_i0の後に検出およびカウントされると、それは、ルックアップテーブル2の逆テーブルによって、値 "10" を持つ2ビットユーザデータであると解釈される。
【００８２】
2番目のVOP（VOP_2と呼ぶ）で、ユーザデータ "11" が、送信されなければならない。この目的のために、ルックアップテーブル2を用いて、3つのマクロブロックスタッフィングタイプMB_stuff_3、MB_stuff_4、および、MB_stuff_5が、マクロブロックMB_i0の後に挿入される。デコーダ側では、符号化されたビデオ信号を受信したとき、3つのマクロブロックスタッフィングタイプがMB_i0の後に検出およびカウントされると、それは、ルックアップテーブル2の逆テーブルによって、値 "11" を持つ2ビットユーザデータであると解釈される。
【００８３】
2ビットユーザデータを送信する本方法は、符号化されたビデオ信号のその後のVOPにも同様に利用できる。
【００８４】
符号化されたビデオ信号は、符号化されたビデオ信号の終りを指示するためのVOS endを有している。
【００８５】
2ビットユーザデータの各ビットは、VOPレベルで2つの特定の利用を開始する（例えば、ビット値が "1" であるとき）、または、停止する（例えば、ビット値が "0" であるとき）ためのフラグとして、第1の利用の状態に関しては最上位ビットのレベルに、また、第2の利用の状態に関しては最下位ビットのレベルに関連付けて、デコーダ側で用いることができる。特に、図5に示す例によれば、VOP_1に関連する2ビットユーザデータは、VOP_2に関するビデオデータ上の2つの特定の利用を独立に開始する、または、停止するために用いることができる。より一般的には、ランクiのVOPに関連する2ビットユーザデータのビットは、ランク(i+1)のVOPに関するビデオデータ上の特定の利用を開始する、または、停止するために用いることができる。
【００８６】
ユーザデータは、また、特定の利用における、例えばポスト処理動作における、パラメータ値として、デコーダ側で用いることもできる。
【００８７】
図4および図5に図解されているようなVOPレベルでユーザデータを送信する本方法は、特に、シーンカット、即ち、2つの連続するVOP間でのビデオコンテンツの突然の遷移がビデオ信号に起こることをビデオデコーダに指示するために用いることができる。ランクiのVOPに挿入されたユーザデータは、シーンカットがランクiのVOPとランク(i+1)のVOPとの間で起こることを指示してもよい。そうすると、エラー隠蔽適用が、デコーダ側で、ランク(i+1)のVOPに関するデータ上で実行されるとき、デコーダは、そのユーザデータ（少なくとも1ビットの）がシーンカット指示として解釈される場合に、空間的エラー隠蔽（即ち、ランク(i+1)のVOPのビデオデータのみを用いるエラー隠蔽）を実行する方を選び、そのユーザデータ（少なくとも1ビットの）がシーンカット指示として解釈されない場合に、時間的エラー隠蔽（即ち、ランクiのVOPのような以前のVOPのビデオデータを用いるエラー隠蔽）を実行する方を選ぶという利点を有することができる。
【００８８】
本発明による方法は、VOPレベルに1ユーザデータを挿入する状況を記述されてきた。しかしながら、本方法は、VOP当り複数のユーザデータを挿入するために、例えばスライスレベルで、用いることもできる。この場合には、スタッフィングパケット（群）が、例えば、1つのスライスヘッダの後に、あるいは、当該スライス内の所定ランクの1つの符号化されたマクロブロックの後に挿入され、スタッフィングパケット（群）の当該挿入が、複数のスライスに対して繰り返されてもよい。
【００８９】
本方法のステップは、ハードウェア要素（結線された電子回路、メモリ、信号処理装置のような）を用いて、そうでなければ、コンピュータ読み出し可能な媒体に記録されたコード命令を有するコンピュータプログラムであって、当該コード命令が本方法のいくつかのステップを遂行するために信号処理装置に用いられているコンピュータプログラムのようなソフトウェア要素を用いて、エンコーダ側のデバイスで、また、デコーダ側のデバイスで実行できる。
【００９０】
したがって、本発明は、また、エンコーダ側で本方法のステップを実行するためのコード命令を有する第1のコンピュータプログラム、および、デコーダ側で本方法のステップを実行するためのコード命令を有する第2のコンピュータプログラムに関するものである。
【００９１】
本発明によるユーザデータの挿入方法のステップは、ビデオ信号を符号化して、MPEG-4標準にしたがって符号化されたビデオ信号を生成するためのビデオエンコーダで実行できるという利点を有する。この目的のために、そのビデオエンコーダは、当該符号化されたビデオ信号の所定位置でスタッフィングパケットセットを挿入するための上述のようなハードウェア手段および／またはソフトウェア手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される手段を有する。
【００９２】
本発明によるユーザデータの再生方法のステップは、MPEG-4標準にしたがって符号化されたビデオ信号を復号するためのビデオデコーダであって、当該符号化されたビデオ信号が、所定位置で挿入されたユーザデータを有しているビデオデコーダで実行できるという利点を有する。この目的のために、そのビデオデコーダは、当該符号化されたビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントするためのハードウェア分析手段および／またはソフトウェア分析手段であって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段を有する。
【００９３】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入する方法の技術的特性を反映する信号に関するものである。
【００９４】
したがって、本発明は、ビデオオブジェクトプレーンレベルで挿入されたスタッフィングパケットのセットを含む符号化されたビデオ信号であって、当該セット中の前記スタッフィングパケットの数が、当該信号に挿入されたユーザデータの値を反映しており、当該セット中の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定されるビデオ信号に関するものである。
【００９５】
特に、そのような信号は、MPEG-4ビデオ標準にしたがって符号化されてもよい。この場合には、スタッフィングパケットは、コーディングシンタックスが、記号列"stuffing"を含むフィールドMBTYPE、および、値0000 0000 1を持つ符号語を有するマクロブロックスタッフィングタイプに該当する。
【図面の簡単な説明】
【図１】MPEG-4ビデオ標準にしたがって符号化されたビデオ信号の一般的な構造を示す。
【図２】本発明によって、エンコーダからデコーダに多ビットユーザデータを送信する方法の種々のステップを示す。
【図３】本発明によって、エンコーダからデコーダに1ビットユーザデータを送信する方法の種々のステップを示す。
【図４】MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の1ビットユーザデータを送信する第1の例を示す。
【図５】MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の2ビットユーザデータを送信する第2の例を示す。
【符号の説明】
VOP_1 最初のビデオオブジェクトプレーン
VOP_2 2番目のビデオオブジェクトプレーン
【発明の属する技術分野】
本発明は、ビデオエンコーダからビデオデコーダにユーザデータを送信する方法であって、前記ユーザデータが、当該ビデオエンコーダによって生成された、符号化されたビデオ信号に挿入されている方法に関するものである。
【０００２】
【従来の技術】
本発明は、例えば、デジタルビデオ信号処理の分野に用いることができる。
【０００３】
ISO/IEC 14496-2と呼ばれるMPEG-4ビデオ標準は、自然および合成の画像データおよびオブジェクトデータから成るマルチメディアシーンコンテンツを表現するためのプロトコルに関連して、デジタル信号を生成することを可能にする。それは、二次元および／または三次元グラフィクス、シーンコンテンツの対話性、顔画像および人体画像のアニメーション、テクスチャ符号化および形状符号化の他に、ビデオデータの操作も含む多様な機能性のための符号化能力および圧縮能力を備えている。それは、放送場面や、プッシュモードおよびプルモードにおける1対1対話に用いることができる。
【０００４】
特に、このビデオ標準は、ユーザの特定の利用のためにユーザによって定義されたユーザデータの、符号化された信号への挿入を可能にする。その際、ユーザデータは、MPEG-4エンコーダによって生成された信号に挿入され、さらに、当該ユーザデータを利用するMPEG-4デコーダに送られる。ユーザデータは、次の3つの異なるレベルでコーディングシンタックスに挿入できる。
・ Visual Object Sequence header level（「VOSヘッダ」と呼ぶ」）
・ Video Object Layer header level（「VOLヘッダ」と呼ぶ」）
・ Group Of Video object plane header level（「GOVヘッダ」と呼ぶ」）
MPEG-4ビデオ信号（即ち、シーケンス）の一般的な構造が、図1に示されており、これは、当該ヘッダが、どのように構造化しているかを表わしている。当該ヘッダは、符号化されたオブジェクトが矩形ピクチャであるときのピクチャに該当するビデオオブジェクトプレーン(Visual Object Plane)（「VOP」と呼ぶ」）に先行している。シーケンス端は、Visual Object sequence Endデータパケット（「VOS End」と呼ぶ」）によって知ることができる。
【０００６】
このビデオ標準に記述されている通りにユーザデータを送信することは、ユーザデータが、特にVOPレベルで、周期的に送信されなければならないときには、即ち、ユーザデータが、ある所定の1つのVOP、又は、複数の連続する又は連続しないVOPに関連付けられなければならないときには、限界を持つ。
【０００７】
実際、VOSヘッダは、符号化された信号の始まりにただ1回しか現れないから、当該ユーザデータを挿入するためにVOSヘッダを用いることは、不可能である。
【０００８】
VOLヘッダは、ほとんどの時間、符号化された信号にただ1度しか現れず、さらに、このヘッダはオプションであるので、シンタックス中に常に存在するとは限らないから、当該ユーザデータを挿入するためにVOLヘッダを用いることは、不可能である。
【０００９】
GOVヘッダは、VOPレベルでユーザデータを挿入するために用いることができるが、それに続くVOPが、フレーム内符号化されるという条件、即ち、それらが、何らの時間的な予測も実行されないVOPに該当するという条件を満たすということを要件とする。フレーム内符号化されたVOPは、ビットを大量に消費するから、VOPレベルでのGOVヘッダの使用は、符号化された信号のビットレートの劇的な増大に導き、ビデオ品質に損傷を与える。さらに、各GOVヘッダが、多くの長い符号語を含んでいることを考えると、これは、当該ビデオ信号のビットレート増大にも寄与する。その結果として、VOPレベルでユーザデータを挿入するためにGOVヘッダを用いることは、限界があり、また、適切ではない。
【００１０】
【課題を解決するための手段】
本発明の1つの目的は、符号化されたビデオ信号のVOPレベルでユーザデータを送信する低ビット消費方法を提供することである。
【００１１】
この目的のために、また、従来の方法の限界を解決するために、本発明によるユーザデータを送信する方法は、当該方法が、
エンコーダ側において、
当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入する挿入ステップであって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入ステップと、
デコーダ側において、
当該符号化されたビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントする分析ステップであって、当該スタッフィングパケットの数が、当該ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析ステップと、を有することを特徴とする。
【００１２】
本方法は、MPEG-4ビデオ標準によって定義されている「マクロブロックスタッフィングタイプ」と呼ばれる特別のマクロブロックの利点を利用している。この特別のマクロブロックは、符号化されたビデオ信号に挿入できるほどの小さな符号語しか含まないスタッフィングパケットである。当該符号語は、さらに、復号プロセスにおいて放棄される。元来、マクロブロックスタッフィングタイプの目的は、それがなければ、望みのビットレートよりも低くなってしまうビデオ信号のビットレートを増加させることである。
【００１３】
マクロブロックスタッフィングタイプは、数ビットしか要しないデータパケットであるから、ユーザデータを送信するための上述の公知の方法に比して、ユーザデータを送信するための本発明による方法は、低ビット消費である。
【００１４】
本方法は、単一のスタッフィングパケットの挿入／不挿入で1ビットユーザデータを送信することも、複数のスタッフィングデータの挿入で多ビットユーザデータを送信することも、可能である。このように、本方法は、費用（ビット）効果が高く、可変長ユーザデータを送信するために用いることができる。
【００１５】
本方法は、エンコーダ側にもデコーダ側にも、非常にわずかの量のプロセスリソースしか必要としない。実際、第1に、エンコーダ側では、このプロセスは、送信されるべきユーザデータの値にしたがって挿入されるべきスタッフィングパケットの数を定めるための費用（プロセス）効果の高いルックアップテーブル動作の実行からなり、また、第2に、ほとんど費用を要しない当該スタッフィングパケットの挿入からなっている。第2に、デコーダ側では、このプロセスは、VOPデータ内容全てを除いて、符号化されたビデオ信号内の既知の位置にあるスタッフィングパケットの数を検出しかつカウントすることからなり、および、費用効果の高いルックアップテーブル動作を実行するので、この場合にも、わずかの量のプロセスリソースしか必要としない。
【００１６】
ユーザデータは、本発明によれば、VOPレベルで挿入できるのみではなく、次のVOPの符号化タイプがどのようなものであっても（即ち、フレーム内符号化されても、フレーム間符号化されても）、1つのVOP内に挿入できるから、本方法は、公知の方法の制約を取り除く。
【００１７】
本発明による方法は、また、その使用において非常に柔軟である。実際、マクロブロックスタッフィングタイプは、符号化されたマクロブロック（即ち、フレーム内符号化と呼ばれる空間的に符号化されたマクロブロック、あるいは、フレーム間符号化と呼ばれる時間的に予測されたマクロブロック）と考えられるから、それは、VOPの始めでも終りでも、1つのVOP内の任意の他のマクロブロック間に挿入できる。
【００１８】
好適な一方式において、本発明は、挿入ステップが、ビデオオブジェクトプレーンレベルで実行されることを特徴とする
【００１９】
したがって、ユーザデータは、符号化されたビデオ信号の所定の1つのVOP、又は、複数の連続する又は連続しないVOPに挿入できる。
【００２０】
しかしながら、本方法は、また、VOPレベルよりも下位のレベルで、例えば、スライスレベルで、ユーザデータを送信するために用いることもできる。この目的のために、ユーザデータの挿入は、所定のVOPの内部の複数のスライス内のある所定位置で実行される。したがって、本発明による方法は、所定の1つのVOP内への複数のユーザデータの挿入を可能にする。
【００２１】
デコーダは、当該所定位置における、そのようなマクロブロックスタッフィングタイプの意味を知っていなければ、復号されるビデオの品質に関して傷害を与えることなく、当該マクロブロックスタッフィングタイプを放棄するだけであるから、本方法は、MPEG-4ビデオ標準に完全に準拠している。
【００２２】
本発明による方法によって送信される多ユーザデータは、例えば、デコーダ側で、あるVOPから他のVOPに対して、特定の利用あるいはプロセスを停止したり、開始したりするためのコーディング情報あるいはコーディング特性に対応あるいは反映するものであってもよい。
【００２３】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入する方法であって、当該方法が、当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入する挿入ステップであって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入ステップを有することを特徴とする方法に関するものである。
【００２４】
好適な一方式において、ユーザデータを挿入するこの方法が、ビデオオブジェクトプレーンレベルで実行される。
【００２５】
本発明は、また、符号化されたビデオ信号の所定位置に挿入されたユーザデータを再生する方法であって、当該方法が、
当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントする分析ステップであって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析ステップ
を有することを特徴とする方法に関するものである。
【００２６】
好適な一方式において、ユーザデータを再生するこの方法が、ビデオオブジェクトプレーンレベルで実行される。
【００２７】
本発明は、また、ビデオエンコーダからビデオデコーダにユーザデータを送信するためのシステムであって、前記ユーザデータが、当該ビデオエンコーダによって生成された、符号化されたビデオ信号に挿入されているシステムにおいて、当該システムが、
エンコーダ側において、
当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入するための挿入手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入手段と、
デコーダ側において、
当該符号化されたビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントするための分析手段であって、当該スタッフィングパケットの数が、当該ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段と、
を有することを特徴とするシステムに関するものである。
【００２８】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入するためのデバイスであって、当該デバイスが、
当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入するための挿入手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される挿入手段
を有することを特徴とするデバイスに関するものである。
【００２９】
本発明の特定の1観点において、前記挿入ステップが、ビデオオブジェクトプレーンレベルでなされ、前記挿入手段が、ビデオオブジェクトプレーンレベルで実行可能状態になる。
【００３０】
本発明は、また、符号化されたビデオ信号の所定位置に挿入されたユーザデータを再生するためのデバイスであって、当該デバイスが、
当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントするための分析手段であって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段
を有することを特徴とするデバイスに関するものである。
【００３１】
好適な1実施例において、ユーザデータを再生するための本デバイスの当該分析手段が、ビデオオブジェクトプレーンレベルで実行可能状態になる。
【００３２】
本発明は、また、MPEG-4標準にしたがって符号化されたビデオ信号を生成するためにビデオ信号を符号化するための、そして、当該符号化されたビデオ信号にユーザデータを挿入するためのビデオエンコーダに関するものである。前記ビデオエンコーダは、当該符号化されたビデオ信号の所定位置でスタッフィングパケットのセットを挿入するための手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される手段を有することを特徴とする。
【００３３】
本発明は、また、MPEG-4標準にしたがって符号化されたビデオ信号を復号するためのビデオデコーダであって、当該符号化されたビデオ信号が、所定位置に挿入されたユーザデータを有するビデオデコーダに関するものである。前記ビデオデコーダは、当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントするための分析手段であって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段を有することを特徴とする。
【００３４】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入する方法の技術的な特性を反映する信号に関するものである。
【００３５】
したがって、本発明は、ビデオオブジェクトプレーンレベルで挿入されたスタッフィングパケットのセットを含む符号化されたビデオ信号であって、当該セット中の前記スタッフィングパケットの数が、当該ビデオ信号に挿入されたユーザデータの値を反映しており、当該セット中の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される符号化されたビデオ信号に関するものである。
【００３６】
特に、そのような信号は、MPEG-4ビデオ標準にしたがって符号化される。
【００３７】
本発明は、また、エンコーダ側において前記方法のステップを実行するためのコード命令を有する第1のコンピュータプログラム、および、デコーダ側において前記方法のステップを実行するためのコード命令を有する第2のコンピュータプログラム、に関するものである。
【００３８】
本発明の詳細な説明および他の観点が、以下に与えられる。
【００３９】
【発明の実施の形態】
本発明の特定の観点が、ここで、以下に記述する実施例を参照して説明され、付随する図面と組み合わせて考察される。
【００４０】
ユーザデータを送信する本方法は、ユーザデータの挿入が、MPEG-4ビデオ標準にしたがって符号化されたビデオ信号において実行されるものとして記述される。しかしながら、VOPレベルにおける（あるいは、VOPの下位レベルにおける）ユーザデータのそのような挿入方法は、スタッフィングパケットの挿入の可能な、他のビデオ標準でも用いることができる。
【００４１】
図2は、ビデオエンコーダからビデオデコーダへユーザデータを送信する、本発明による方法の種々のステップ（過程）を示している。図2に記述の方法は、スタッフィングパケットセットを挿入して、ビデオエンコーダからビデオデコーダへNビットのユーザデータを送信することを可能にしている。Nは、N > 0を満足する整数である。
【００４２】
本方法は、スタッフィングパケットセットの、符号化されたビデオ信号への挿入に基づいている。この目的のために、本方法は、送信されるべきユーザデータの値にしたがって、挿入されるべき当該スタッフィングパケットセットに含まれるスタッフィングパケットの数を決定する、第1のリンクステップ201を有している。第1のリンクステップ201は、ユーザデータの値から、当該セット内のスタッフィングパケットの数の決定を可能にするルックアップテーブル動作から成っている。このようにして、型通りに、送信されるべく与えられたユーザデータは、スタッフィングパケットの所定数に関連付けられる。
【００４３】
そのルックアップテーブルは、挿入されるスタッフィングパケットの数が、基本的に、送信されるべきユーザデータの値に対応するようにしても良い。
【００４４】
例えば、送信されるべきユーザデータが2値 "00" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"0" であり、送信されるべきユーザデータが2値 "01" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"1" であり、送信されるべきユーザデータが2値 "10" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"2" であり、送信されるべきユーザデータが2値 "11" であるとすると、ルックアップテーブルによって指示されるスタッフィングパケットの数は、"3" である。
【００４５】
もちろん、ルックアップテーブルは、挿入されるスタッフィングパケットの数が、送信されるべきユーザデータの値の倍数に該当するようなものであってもよい。より一般的には、ルックアップテーブルは、挿入されるスタッフィングパケットの数が、送信されるべきユーザデータの値の符号変換によって生じるようなものであってもよい。
【００４６】
本方法は、MPEG-4標準にしたがってビデオ信号を符号化している間に、数が第1のリンクステップ201によって前もって決定されているスタッフィングパケットセットを挿入する挿入ステップ202を有している。各スタッフィングパケットは、MPEG4ビデオ標準によって定義されているマクロブロックスタッフィングタイプに該当している。
【００４７】
MPEG-4ビデオ標準によって定義されている全てのマクロブロックのコーディングシンタックスは、マクロブロックの符号化タイプを指示するためのフィールド（MBTYPEと呼ぶ）を有している。マクロブロックスタッフィングタイプに対するフィールドMBTYPEは、記号列"stuffing"を含んでおり、そのようなマクロブロックスタッフィングタイプのデータは、値0000 0000 1を持つ符号語を有している。
【００４８】
したがって、挿入ステップは、記号列スタッフィング"stuffing"を含むフィールドMBTYPEおよび値0000 0000 1を持つ符号語の挿入から成っていてもよい。
【００４９】
当該スタッフィングパケットセットの挿入は、VOPレベルで実行され、それは、スタッフィングパケットセットが、所定の1つのVOP、又は、複数の連続する又は連続しないVOPに、少なくとも1回挿入されてもよいということを意味する。
【００５０】
符号化されたビデオ信号において、スタッフィングパケットセットは、以下の
・ VOPヘッダの終り：これは、VOPヘッダの終りと、VOP内のランク1のマクロブロックの始めとの間に該当する
・ 2つの連続するマクロブロック間の位置
・ スライスの始め
に対応する所定位置で挿入される。
【００５１】
送信されるべきユーザデータの値に応じて、複数のスタッフィングパケットが、符号化されたビデオ信号に挿入されるときには、繰り返しステップ203が、当該複数のスタッフィングパケットの連続的な挿入を可能にする。
【００５２】
そのようにしてエンコーダによって生成された、符号化されたビデオ信号が、例えば、通信チャネルを通じて、送信され、ビデオデコーダによって受信される。
【００５３】
分析ステップ204は、エンコーダ側で、スタッフィングパケットセットが挿入された位置と同じ位置で実行される。分析ステップ204は、VOP内の当該位置で、符号化されたビデオ信号内のスタッフィングパケットを検出するステップから成る。この目的のために、スタッフィングパケットの検出は、記号列"stuffing"を含むフィールドMBTYPEの検出によってもよい。
【００５４】
分析ステップ204は、また、当該位置での検出ステップによって検出されたスタッフィングパケットの数をカウントするステップでもある。
【００５５】
ビデオデコーダが、ユーザデータを送信するためにVOPスタッフィングパケットが挿入されているということを認識しない場合には、分析ステップ204は、各連続するVOP上で、規則的に実行されるようにしてもよい。分析ステップ204は、また、ユーザデータが期待されるVOP上だけでしか実行されないようにしてもよい。これは、ユーザデータ挿入の周波数がデコーダ側で知られているときに可能である。
【００５６】
スタッフィングパケットの数が、分析ステップ204で決定された後、ユーザデータの値が、第2のリンクステップ205で、検出されたスタッフィングパケットの数から導出される。第2のリンクステップ205は、スタッフィングパケットの数からユーザデータを決定できるルックアップテーブル動作から成る。第2のリンクステップ205で用いられるルックアップテーブルは、第1のリンクステップ201で用いられるルックアップテーブルの逆テーブルに該当する。
【００５７】
例えば、エンコーダ側で用いられた上述のルックアップテーブルの逆テーブルを用いると、スタッフィングパケットの数が、"0" であるとすると（即ち、何らのスタッフィングパケットも、エンコーダ側で実効的に挿入されなかった場合には）、送信されてきたユーザデータは、2値 "00" であり、スタッフィングパケットの数が、"1" であるとすると、送信されてきたユーザデータは、2値 "01" であり、スタッフィングパケットの数が、"2" であるとすると、送信されてきたユーザデータは、2値 "10" であり、スタッフィングパケットの数が、"3" であるとすると、送信されてきたユーザデータは、2値 "11" である。
【００５８】
この方法は、ビデオデコーダが、スタッフィングパケットセットがエンコーダ側で挿入された位置を知らされ、そして、分析ステップ204で検出されたスタッフィングパケットの数からユーザデータを再生できるということを必然的な条件として含んでいる。例えば、当該位置および当該ルックアップテーブルの内容に関する情報を、ビデオエンコーダとビデオデコーダとの間の通信の初期化ステップの間にユーザデータで、あるいは、任意の独占の伝送ステップによって、送信することができる。そのような情報は、また、例えば、ビデオエンコーダとビデオデコーダとの間の通信の初期化ステップの間に（公知の従来技術によって）送信されたユーザデータを介して、ビデオデコーダ側に、即ち、受信される符号化されたビデオ信号内のスタッフィングパケットの存在を誤りなく解釈できるように、受信される符号化されたビデオ信号が、本発明にしたがってエンコーダから送られてくることを知らなければならないビデオデコーダに、限定的にセットすることもできる。
【００５９】
図3は、本発明にしたがって、エンコーダからデコーダに1ビットユーザデータを送信する方法の種々のステップ（過程）を示している。この方法は、N=1である特別の場合に該当するから、図2に示されている方法から導出される。
【００６０】
1ビットユーザデータは、ただ2つの状態しか持たないということを考えると、そのようなユーザデータは、単一のスタッフィングパケット（即ち、マクロブロックスタッフィングタイプ）の、符号化されたビデオ信号への挿入によって、直接的に表現できる。したがって、当該マクロブロックスタッフィングタイプの存在／不在は、フラグと同様に、1ビットユーザデータの値を指示することを可能にする。この目的のために、第1のリンクステップ301は、状態 "1" を持つ1ビットユーザデータが、スタッフィングパケットを挿入させることにするのか、挿入させないことにするのかを決定することを可能にする。
【００６１】
例えば、型通りに、単一のマクロブロックスタッフィングタイプの存在することが、値 "1" と解釈されてもよいし、マクロブロックスタッフィングタイプの存在しないことが、値 "0" と解釈されてもよい。
【００６２】
図2に関連して説明したと同様に、スタッフィングパケットの挿入が、挿入ステップ302において、VOPの所定位置で実行され、これは、エンコーダだけではなく、デコーダにも知らされる。
【００６３】
このようにエンコーダによって生成された、MPEG-4標準にしたがって符号化されたビデオ信号が、送信され、そして、ビデオデコーダによって受信される。
【００６４】
検出ステップ303が、VOPの当該所定位置にスタッフィングパケットの存在することを検出するために実行される。その検出は、符号列"stuffing"を含有しているフィールドMBTYPEを検出する際に、図2に関連して与えた説明と同様に実行される。カウント動作を含む複合的な分析ステップ204が実行される図2に比して、基本的な検出ステップで十分である。言い換えれば、検出ステップとカウントステップとが、単一のステップになっている。
【００６５】
単一のマクロブロックスタッフィングタイプの存在（あるいは、不存在）と、ユーザデータの値とのリンクは、第2のリンクステップ304によってなされる。第2のリンクステップ304は、スタッフィングパケットの存在（あるいは、不存在）からユーザデータの値を決定することを可能にするルックアップテーブルの動作から成る。このルックアップテーブルは、第1のリンクステップ301で用いられるルックアップテーブルの逆テーブルに該当する。
【００６６】
例えば、リンクステップ301においてエンコーダ側で用いられた上述のルックアップテーブルの逆テーブルを用いる場合、単一のマクロブロックスタッフィングタイプの存在することが、VOPの当該所定位置に実効的に検出されると、1ビットユーザデータの値は、"1" であるとみなすことができる。反対に、何らのマクロブロックスタッフィングタイプも検出されなければ、1ビットユーザデータの値は、"0" であるとみなすことができる。
【００６７】
図4は、MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の1ビットユーザデータを送信する第1の例を示している。
【００６８】
ランクiのマクロブロックスタッフィングタイプを、MB_stuff_iと呼ぶ。この例において、1ビットユーザデータの値に対応して、挿入されるマクロブロックスタッフィングタイプの数が、ルックアップテーブル1に与えられている。
【表１】
【００６９】
マクロブロックスタッフィングタイプが、ユーザデータの関連するVOPに存在するときには、それは、当該VOPのVOPヘッダの直後に挿入されている。
【００７０】
符号化されたビデオ信号は、自身がGOVヘッダに続かれるVOLヘッダに続かれるVOSヘッダを有している。それらのヘッダは、符号化されたビデオ信号を復号するために用いられる情報を持ち運ぶために置かれている。
【００７１】
最初のVOP（VOP_1と呼ぶ）で、ユーザデータ "1" が、送信されなければならない。この目的のために、ルックアップテーブル1を用いて、単一のマクロブロックスタッフィングタイプMB_stuff_1が、VOPヘッダ（VOP_1_headerと呼ぶ）の後に挿入される。デコーダ側では、符号化されたビデオ信号を受信したとき、単一のマクロブロックスタッフィングタイプの存在がVOP_1_headerの後に検出されれば、それは、ルックアップテーブル1の逆テーブルによって、値 "1" を持つ1ビットユーザデータであると解釈される。
【００７２】
2番目のVOP（VOP_2と呼ぶ）で、ユーザデータ "0" が、送信されなければならない。この目的のために、ルックアップテーブル1を用いて、何らのマクロブロックスタッフィングタイプも、VOPヘッダ（VOP_2_header）の後に挿入されない。デコーダ側では、符号化されたビデオ信号を受信したとき、単一のマクロブロックスタッフィングタイプがVOP_2_headerの後に検出されなければ、それは、ルックアップテーブル1の逆テーブルによって、値 "0" を持つ１ビットユーザデータであると解釈される。
【００７３】
1ビットユーザデータを送信する本方法は、符号化されたビデオ信号内のその後のVOPにも同様に利用できる。
【００７４】
符号化されたビデオ信号は、符号化されたビデオ信号の終りを指示するためのVOS endを有している。
【００７５】
1ビットユーザデータは、VOPレベルで特定の利用を開始する（例えば、ユーザデータが "1" であるとき）、または、停止する（例えば、ユーザデータが "0" であるとき）ためのフラグとして、デコーダ側で用いることができる。特に、図4に示す例によれば、VOP_1に関連するユーザデータは、VOP_2に関するビデオデータ上の特定の利用を開始する、または、停止するために用いることができる。より一般的には、ランクiのVOPに関連するユーザデータは、ランク(i+1)のVOPに関するビデオデータ上の特定の利用を開始する、または、停止するために用いることができる。
【００７６】
ユーザデータは、また、特定の利用における、例えばポスト処理動作における、パラメータ値としてデコーダ側で用いることもできる。
【００７７】
図5は、MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の2ビットユーザデータを送信する第2の例を示している。
【００７８】
ランクiのマクロブロックスタッフィングタイプを、MB_stuff_iと呼ぶ。この例において、2ビットユーザデータの値に対応して、挿入されるマクロブロックスタッフィングタイプの数が、ルックアップテーブル2に与えられている。
【表２】
【００７９】
マクロブロックスタッフィングタイプが、ユーザデータの関連するVOPに存在するときには、それらは、当該VOPのランクi0の符号化されたマクロブロック（MB_i0と呼ぶ）の後に挿入されている。
【００８０】
符号化されたビデオ信号は、自身がGOVヘッダに続かれるVOLヘッダに続かれるVOSヘッダを有している。それらのヘッダは、符号化されたビデオ信号を復号するために用いられる情報を持ち運ぶために置かれている。
【００８１】
最初のVOP（VOP_1と呼ぶ）で、ユーザデータ "10" が、送信されなければならない。この目的のために、ルックアップテーブル2を用いて、2つのマクロブロックスタッフィングタイプMB_stuff_1およびMB_stuff_2が、マクロブロックMB_i0の後に挿入される。デコーダ側では、符号化されたビデオ信号を受信したとき、2つのマクロブロックスタッフィングタイプがMB_i0の後に検出およびカウントされると、それは、ルックアップテーブル2の逆テーブルによって、値 "10" を持つ2ビットユーザデータであると解釈される。
【００８２】
2番目のVOP（VOP_2と呼ぶ）で、ユーザデータ "11" が、送信されなければならない。この目的のために、ルックアップテーブル2を用いて、3つのマクロブロックスタッフィングタイプMB_stuff_3、MB_stuff_4、および、MB_stuff_5が、マクロブロックMB_i0の後に挿入される。デコーダ側では、符号化されたビデオ信号を受信したとき、3つのマクロブロックスタッフィングタイプがMB_i0の後に検出およびカウントされると、それは、ルックアップテーブル2の逆テーブルによって、値 "11" を持つ2ビットユーザデータであると解釈される。
【００８３】
2ビットユーザデータを送信する本方法は、符号化されたビデオ信号のその後のVOPにも同様に利用できる。
【００８４】
符号化されたビデオ信号は、符号化されたビデオ信号の終りを指示するためのVOS endを有している。
【００８５】
2ビットユーザデータの各ビットは、VOPレベルで2つの特定の利用を開始する（例えば、ビット値が "1" であるとき）、または、停止する（例えば、ビット値が "0" であるとき）ためのフラグとして、第1の利用の状態に関しては最上位ビットのレベルに、また、第2の利用の状態に関しては最下位ビットのレベルに関連付けて、デコーダ側で用いることができる。特に、図5に示す例によれば、VOP_1に関連する2ビットユーザデータは、VOP_2に関するビデオデータ上の2つの特定の利用を独立に開始する、または、停止するために用いることができる。より一般的には、ランクiのVOPに関連する2ビットユーザデータのビットは、ランク(i+1)のVOPに関するビデオデータ上の特定の利用を開始する、または、停止するために用いることができる。
【００８６】
ユーザデータは、また、特定の利用における、例えばポスト処理動作における、パラメータ値として、デコーダ側で用いることもできる。
【００８７】
図4および図5に図解されているようなVOPレベルでユーザデータを送信する本方法は、特に、シーンカット、即ち、2つの連続するVOP間でのビデオコンテンツの突然の遷移がビデオ信号に起こることをビデオデコーダに指示するために用いることができる。ランクiのVOPに挿入されたユーザデータは、シーンカットがランクiのVOPとランク(i+1)のVOPとの間で起こることを指示してもよい。そうすると、エラー隠蔽適用が、デコーダ側で、ランク(i+1)のVOPに関するデータ上で実行されるとき、デコーダは、そのユーザデータ（少なくとも1ビットの）がシーンカット指示として解釈される場合に、空間的エラー隠蔽（即ち、ランク(i+1)のVOPのビデオデータのみを用いるエラー隠蔽）を実行する方を選び、そのユーザデータ（少なくとも1ビットの）がシーンカット指示として解釈されない場合に、時間的エラー隠蔽（即ち、ランクiのVOPのような以前のVOPのビデオデータを用いるエラー隠蔽）を実行する方を選ぶという利点を有することができる。
【００８８】
本発明による方法は、VOPレベルに1ユーザデータを挿入する状況を記述されてきた。しかしながら、本方法は、VOP当り複数のユーザデータを挿入するために、例えばスライスレベルで、用いることもできる。この場合には、スタッフィングパケット（群）が、例えば、1つのスライスヘッダの後に、あるいは、当該スライス内の所定ランクの1つの符号化されたマクロブロックの後に挿入され、スタッフィングパケット（群）の当該挿入が、複数のスライスに対して繰り返されてもよい。
【００８９】
本方法のステップは、ハードウェア要素（結線された電子回路、メモリ、信号処理装置のような）を用いて、そうでなければ、コンピュータ読み出し可能な媒体に記録されたコード命令を有するコンピュータプログラムであって、当該コード命令が本方法のいくつかのステップを遂行するために信号処理装置に用いられているコンピュータプログラムのようなソフトウェア要素を用いて、エンコーダ側のデバイスで、また、デコーダ側のデバイスで実行できる。
【００９０】
したがって、本発明は、また、エンコーダ側で本方法のステップを実行するためのコード命令を有する第1のコンピュータプログラム、および、デコーダ側で本方法のステップを実行するためのコード命令を有する第2のコンピュータプログラムに関するものである。
【００９１】
本発明によるユーザデータの挿入方法のステップは、ビデオ信号を符号化して、MPEG-4標準にしたがって符号化されたビデオ信号を生成するためのビデオエンコーダで実行できるという利点を有する。この目的のために、そのビデオエンコーダは、当該符号化されたビデオ信号の所定位置でスタッフィングパケットセットを挿入するための上述のようなハードウェア手段および／またはソフトウェア手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される手段を有する。
【００９２】
本発明によるユーザデータの再生方法のステップは、MPEG-4標準にしたがって符号化されたビデオ信号を復号するためのビデオデコーダであって、当該符号化されたビデオ信号が、所定位置で挿入されたユーザデータを有しているビデオデコーダで実行できるという利点を有する。この目的のために、そのビデオデコーダは、当該符号化されたビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントするためのハードウェア分析手段および／またはソフトウェア分析手段であって、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段を有する。
【００９３】
本発明は、また、符号化されたビデオ信号にユーザデータを挿入する方法の技術的特性を反映する信号に関するものである。
【００９４】
したがって、本発明は、ビデオオブジェクトプレーンレベルで挿入されたスタッフィングパケットのセットを含む符号化されたビデオ信号であって、当該セット中の前記スタッフィングパケットの数が、当該信号に挿入されたユーザデータの値を反映しており、当該セット中の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定されるビデオ信号に関するものである。
【００９５】
特に、そのような信号は、MPEG-4ビデオ標準にしたがって符号化されてもよい。この場合には、スタッフィングパケットは、コーディングシンタックスが、記号列"stuffing"を含むフィールドMBTYPE、および、値0000 0000 1を持つ符号語を有するマクロブロックスタッフィングタイプに該当する。
【図面の簡単な説明】
【図１】MPEG-4ビデオ標準にしたがって符号化されたビデオ信号の一般的な構造を示す。
【図２】本発明によって、エンコーダからデコーダに多ビットユーザデータを送信する方法の種々のステップを示す。
【図３】本発明によって、エンコーダからデコーダに1ビットユーザデータを送信する方法の種々のステップを示す。
【図４】MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の1ビットユーザデータを送信する第1の例を示す。
【図５】MPEG-4ビデオ標準にしたがって符号化されたビデオ信号内の2ビットユーザデータを送信する第2の例を示す。
【符号の説明】
VOP_1 最初のビデオオブジェクトプレーン
VOP_2 2番目のビデオオブジェクトプレーン
Claims (6)
- ビデオエンコーダからビデオデコーダにデータ処理動作における特定の利用のためにユーザによって定義されたユーザデータを送信する方法であって、前記ユーザデータが、当該ビデオエンコーダによって生成され、ＭＰＥＧ−４規格に従って符号化された符号化ビデオ信号に挿入されている方法において、当該方法が、
エンコーダ側において、
・ビデオオブジェクトプレーンレベルで、当該符号化ビデオ信号の所定位置に、各スタッフィングパケットがマクロブロックスタッフィングタイプであるスタッフィングパケットのセットを挿入する挿入ステップであって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを使用することによって当該ユーザデータから決定される挿入ステップと、
デコーダ側において、
・当該符号化ビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントするための分析ステップであって、前記エンコーダ側のルックアップテーブルに対応するルックアップテーブルを使用することによって当該スタッフィングパケットの数から当該ユーザデータを導出する分析ステップと、
を備えることを特徴とする方法。 - ビデオエンコーダからビデオデコーダにデータ処理動作における特定の利用のためにユーザによって定義されたユーザデータを送信するためのシステムであって、前記ユーザデータが、当該ビデオエンコーダによって生成され、ＭＰＥＧ−４規格に従って符号化された符号化ビデオ信号に挿入されているシステムにおいて、当該システムが、
エンコーダ側において、
・ビデオオブジェクトプレーンレベルで、当該符号化ビデオ信号の所定位置に、各スタッフィングパケットがマクロブロックスタッフィングタイプであるスタッフィングパケットのセットを挿入するための挿入手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを使用することによって当該ユーザデータから決定される挿入手段と、
デコーダ側において、
・当該符号化ビデオ信号の当該所定位置で前記スタッフィングパケットの数を検出し、かつカウントするための分析手段であって、前記エンコーダ側のルックアップテーブルに対応するルックアップテーブルを使用することによって当該スタッフィングパケットの数から当該ユーザデータを導出する分析手段と、
を備えることを特徴とするシステム。 - 請求項２記載のシステムのエンコーダにおいて使用するのに適したユーザデータ挿入デバイスであって、
ビデオオブジェクトプレーンレベルで、当該符号化されたビデオ信号の所定位置に、各スタッフィングパケットがマクロブロックスタッフィングタイプであるスタッフィングパケットのセットを挿入するための挿入手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを使用することによって当該ユーザデータから決定される、挿入手段
を備えることを特徴とするデバイス。 - 請求項２記載のシステムのデコーダにおいて使用するのに適したユーザデータ抽出デバイスであって、
当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントするための分析手段であって、前記エンコーダ側のルックアップテーブルに対応するルックアップテーブルを使用することによって当該スタッフィングパケットの数から当該ユーザデータを導出する、分析手段
を備えることを特徴とするデバイス。 - MPEG-4標準にしたがって符号化されたビデオ信号を生成するためにビデオ信号を符号化し、かつ、当該符号化されたビデオ信号にデータ処理動作における特定の利用のためにユーザによって定義されたユーザデータを挿入するためのビデオエンコーダであって、前記ビデオエンコーダが、
ビデオオブジェクトプレーンレベルで、当該符号化されたビデオ信号の所定位置に、各スタッフィングパケットがマクロブロックスタッフィングタイプであるスタッフィングパケットのセットを挿入するための手段であって、当該セット内の前記スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータから決定される、手段を備えることを特徴とするビデオエンコーダ。 - MPEG-4標準にしたがって符号化されたビデオ信号を復号するためのビデオデコーダであって、当該符号化されたビデオ信号が、
ビデオオブジェクトプレーンレベルで、所定位置に挿入されたデータ処理動作における特定の利用のためにユーザによって定義されたユーザデータを有するビデオデコーダにおいて、前記ビデオデコーダが、当該符号化されたビデオ信号の当該所定位置でスタッフィングパケットの数を検出し、かつカウントするための分析手段であって、各スタッフィングパケットがマクロブロックスタッフィングタイプであり、当該スタッフィングパケットの数が、ルックアップテーブルを介して、当該ユーザデータを導出するために用いられる分析手段
を備えることを特徴とするビデオデコーダ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01402272 | 2001-08-31 | ||
| PCT/IB2002/003421 WO2003019951A1 (en) | 2001-08-31 | 2002-08-21 | Method and device for sending a user data inserted in a coded video signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005501492A JP2005501492A (ja) | 2005-01-13 |
| JP4429014B2 true JP4429014B2 (ja) | 2010-03-10 |
Family
ID=8182868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003524272A Expired - Fee Related JP4429014B2 (ja) | 2001-08-31 | 2002-08-21 | 符号化されたビデオ信号に挿入されたユーザデータを送信するための方法およびデバイス |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US20030048845A1 (ja) |
| EP (1) | EP1425923B1 (ja) |
| JP (1) | JP4429014B2 (ja) |
| KR (1) | KR20040029107A (ja) |
| CN (1) | CN1265650C (ja) |
| AT (1) | ATE293868T1 (ja) |
| BR (1) | BR0205952A (ja) |
| DE (1) | DE60203808T2 (ja) |
| ES (1) | ES2242049T3 (ja) |
| RU (1) | RU2298296C2 (ja) |
| WO (1) | WO2003019951A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8126051B2 (en) * | 2003-05-06 | 2012-02-28 | Trident Microsystems (Far East) Ltd. | Video encoding and decoding methods and corresponding encoding and decoding devices |
| DE10340089B4 (de) * | 2003-08-30 | 2005-12-22 | Seereal Technologies Gmbh | Sweet-Spot-Beamsplitter zur Bildtrennung |
| FR2924296B1 (fr) * | 2007-11-28 | 2010-05-28 | Canon Kk | Procede et dispositif de traitement d'un flux de donnees multimedia hierarchique transmis sur un reseau avec perte |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5583562A (en) * | 1993-12-03 | 1996-12-10 | Scientific-Atlanta, Inc. | System and method for transmitting a plurality of digital services including imaging services |
| US5650825A (en) * | 1995-03-31 | 1997-07-22 | Matsushita Electric Corporation Of America | Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream |
| US7054697B1 (en) * | 1996-03-21 | 2006-05-30 | Kabushiki Kaisha Toshiba | Recording medium and reproducing apparatus for quantized data |
| US5751723A (en) * | 1996-07-01 | 1998-05-12 | Motorola, Inc. | Method and system for overhead bandwidth recovery in a packetized network |
| JP3193947B2 (ja) * | 1997-01-08 | 2001-07-30 | 株式会社ディジタル・ビジョン・ラボラトリーズ | データ送信システム及びデータ送信方法 |
| US6493385B1 (en) * | 1997-10-23 | 2002-12-10 | Mitsubishi Denki Kabushiki Kaisha | Image encoding method, image encoder, image decoding method, and image decoder |
| US6219457B1 (en) * | 1998-05-26 | 2001-04-17 | Silicon Graphics, Inc. | Method and system for decoding data encoded in a variable length code word |
| US6983018B1 (en) * | 1998-11-30 | 2006-01-03 | Microsoft Corporation | Efficient motion vector coding for video compression |
-
2002
- 2002-08-21 KR KR10-2004-7003003A patent/KR20040029107A/ko not_active Application Discontinuation
- 2002-08-21 EP EP02755561A patent/EP1425923B1/en not_active Expired - Lifetime
- 2002-08-21 BR BR0205952-5A patent/BR0205952A/pt not_active IP Right Cessation
- 2002-08-21 JP JP2003524272A patent/JP4429014B2/ja not_active Expired - Fee Related
- 2002-08-21 RU RU2004109576/09A patent/RU2298296C2/ru not_active IP Right Cessation
- 2002-08-21 CN CNB028168461A patent/CN1265650C/zh not_active Expired - Fee Related
- 2002-08-21 AT AT02755561T patent/ATE293868T1/de not_active IP Right Cessation
- 2002-08-21 DE DE60203808T patent/DE60203808T2/de not_active Expired - Fee Related
- 2002-08-21 WO PCT/IB2002/003421 patent/WO2003019951A1/en active IP Right Grant
- 2002-08-21 ES ES02755561T patent/ES2242049T3/es not_active Expired - Lifetime
- 2002-08-29 US US10/232,738 patent/US20030048845A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| BR0205952A (pt) | 2003-12-23 |
| EP1425923A1 (en) | 2004-06-09 |
| CN1550111A (zh) | 2004-11-24 |
| ATE293868T1 (de) | 2005-05-15 |
| RU2004109576A (ru) | 2005-09-27 |
| JP2005501492A (ja) | 2005-01-13 |
| EP1425923B1 (en) | 2005-04-20 |
| DE60203808D1 (de) | 2005-05-25 |
| CN1265650C (zh) | 2006-07-19 |
| KR20040029107A (ko) | 2004-04-03 |
| WO2003019951A1 (en) | 2003-03-06 |
| US20030048845A1 (en) | 2003-03-13 |
| DE60203808T2 (de) | 2006-01-26 |
| ES2242049T3 (es) | 2005-11-01 |
| RU2298296C2 (ru) | 2007-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1303917B1 (en) | Unequal error protection for packets with variable length | |
| JP5007012B2 (ja) | ビデオ符号化方法 | |
| CN101175213B (zh) | 视频源编码的方法和设备以及视频源解码的方法和设备 | |
| US8429476B2 (en) | Systems and methods for transmitting data over lossy networks | |
| JP4503294B2 (ja) | ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム | |
| US7487423B2 (en) | Decoding method, medium, and apparatus | |
| JP4928726B2 (ja) | ビデオストリーム中の有効エントリポイントの指示 | |
| KR100998454B1 (ko) | 인 밴드 에러 패턴을 사용한 에러 복원 | |
| KR20110033240A (ko) | 스케일러블 비디오 코딩（ｓｖｃ）디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법 | |
| JP2005176352A (ja) | 移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステム | |
| TW200427335A (en) | Picture coding method | |
| JP2008529346A (ja) | Ｃｒｃパリティコードを利用したビデオエラー検出技術 | |
| KR20050074812A (ko) | 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치 | |
| JP4907039B2 (ja) | 信号符号化方法 | |
| JP4429014B2 (ja) | 符号化されたビデオ信号に挿入されたユーザデータを送信するための方法およびデバイス | |
| CN101296166B (zh) | 基于索引的多媒体数据的测量方法 | |
| EP1555788A1 (en) | Method for improving the quality of an encoded video bit stream transmitted over a wireless link, and corresponding receiver | |
| JP5474896B2 (ja) | Ｃｒｃパリティコードを利用したビデオエラー検出技術 | |
| Andreadis et al. | FEC coding for H. 263 compatible video transmission | |
| JP2002077922A (ja) | 画像制御システム及び画像復号化装置 | |
| JP2001309375A (ja) | メディア分離方法と画像復号方法及び装置 | |
| Gao et al. | A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC | |
| Aladrovic et al. | An error resilience scheme for layered video coding | |
| Superiori et al. | Robust error handling for video streaming over mobile networks | |
| KR20040077765A (ko) | 랜덤 액세스 및 스플라이싱을 가능하게 하기 위해 비디오데이터를 인코딩 및 디코딩하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080228 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080526 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080828 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090514 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |