JP3555729B2 - 可変長符号化データの処理方法及び装置 - Google Patents
可変長符号化データの処理方法及び装置 Download PDFInfo
- Publication number
- JP3555729B2 JP3555729B2 JP811098A JP811098A JP3555729B2 JP 3555729 B2 JP3555729 B2 JP 3555729B2 JP 811098 A JP811098 A JP 811098A JP 811098 A JP811098 A JP 811098A JP 3555729 B2 JP3555729 B2 JP 3555729B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- variable
- code
- buffer
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は可変長符号化データの処理方法及び装置に係り、特に可変長符号化データを複数繋ぎ合わせ処理する可変長符号化データの処理方法及び装置に関する。
【０００２】
【従来の技術】
情報を可変長符号化する代表的な例としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）が知られている。このＭＰＥＧでは、符号化ビットストリームはビデオ信号の場合１ピクチャ毎に可変長の符号量をもっている。これはＭＰＥＧが離散コサイン変換（ＤＣＴ）、量子化、ハフマン符号化という情報変換を用いると同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
【０００３】
図１２はこのＭＰＥＧによる符号化ビットストリームの一例を示し、Ｉピクチャ（フレーム内符号化画像）、Ｂピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ、Ｐピクチャ（双方向予測符号化画像）の順番で伝送される。ここで、例えば、Ｉピクチャは１２０ｋｂｉｔ、Ｐピクチャは、８０ｋｂｉｔ、Ｂピクチャは４０ｋｂｉｔであり、それぞれ可変長の符号量である。
【０００４】
このような可変長データを固定の転送レート（符号化レート）で符号化する場合、図１３のように復号器のバッファ量を最大値とすると、一定速度でデータが入力されて、所定の値だけ溜ったところから、所定の時間単位（ＮＴＳＣ方式のビデオ信号ならば１／２９．９７秒単位）で復号化を一瞬で行う仮想デコーダモデルを符号化器の出力に接続して使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがＭＰＥＧで規定されている。
【０００５】
なお、図１３中、Ｉ、Ｂ及びＰはＭＰＥＧ規定のＩピクチャ（フレーム内符号化画像）、Ｂピクチャ（フレーム間順方向予測符号化画像）及びＰピクチャ（双方向予測符号化画像）を示し、これらがバッファに蓄積されて各ピクチャの復号が１／２９．９７秒単位で一瞬に行われ、データはバッファより瞬時に抜き取られることが示されている。
【０００６】
これをＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）といい、これについての詳細は国際標準化機構（ＩＳＯ）によりＩＳＯ−１１１７２−２、ＩＳＯ１３８１８−２に記述されている。この規定を守っていれば、ＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、ＭＰＥＧではこのことを固定レートであると定義する。
【０００７】
ところで、従来より上記のＭＰＥＧの圧縮符号化方式により可変長符号化されたビデオデータ信号が、画面単位で複数存在し、これらをユーザが任意の順番に、あるいは所定の順番に再生する場合（例えば、カラオケの背景動画をいろいろなパターンで結合して見せたり、宣伝用の各種画像を結合して見せるような場合）、２つのビデオデータ信号（これを以下、＃１，＃２という）を結合（接続）する必要がある。
【０００８】
このビデオデータ信号＃１と＃２を結合するためには、上記のＶＢＶのバッファがオーバーフローもアンダーフローも発生しないようにするために、時間的にビデオデータ信号＃１を先に符号化して、図１４に示すように、その終了時点でのＶＢＶバッファの占有値を、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値に引き継いで、結合部分（図１４に白丸で示す）では同一のバッファ占有値になるようにして、作成しなければならない。
【０００９】
【発明が解決しようとする課題】
従って、２つのビデオデータ信号を結合（接続）する従来の可変長符号化データの処理方法では、２つのビデオデータ信号の結合する順番を意識して予め符号化しなければならないため、自由にランダムに予め符号化してある２つのビデオデータ信号を結合することはできない。もし、結合を意識せずに符号化したビデオデータ信号を単純に結合すると、以下のような問題が起きるからである。
【００１０】
まず、第１のパターンとして結合することを意識しないで符号化した２つのビデオデータ信号＃１と＃２のデータのＶＢＶのバッファ占有値の時間的推移が、図１５（Ａ）に示すようになっていたと仮定する。これをみると、図１４とは違ってビデオデータ信号＃１とビデオデータ信号＃２共に先頭のピクチャのバッファ占有値は値ａで等しい。この２つのビデオデータ信号＃１と＃２を結合すると、図１５（Ｂ）に示すように、ビデオデータ信号＃１の終了時点でのバッファ占有値がｂであるために、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値を値ｂにする必要があり、そのためにビデオデータ信号＃２のバッファ占有値が全体に（ａ−ｂ）だけ下側にシフトされる。このため、図１５（Ｂ）にＩで示す区間でアンダーフローが生じてしまう。
【００１１】
次に、もう一つの第２のパターンとして、結合することを意識しないで符号化した２つのビデオデータ信号＃１及び＃２のデータのＶＢＶのバッファ占有値の時間的推移が図１６（Ａ）になっていたと仮定する。これも第１のパターンと同様に、図１４とは異なり、ビデオデータ信号＃１とビデオデータ信号＃２共に先頭のピクチャのバッファ占有値が値ａで等しい。この２つのビデオデータ信号＃１と＃２を結合すると、図１６（Ｂ）に示すように、ビデオデータ信号＃１の終了時点でのバッファ占有値が最大値ｃであるために、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値も最大値ｃにする必要があり、そのためにビデオデータ信号＃２のバッファ占有値が全体に（ｃ−ａ）だけ上側にシフトされる。このため、図１６（Ｂ）にＩＩで示す区間でオーバーフローが生じてしまう。
【００１２】
以上のアンダーフローやオーバーフローの発生は、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値を、先に符号化したビデオデータ信号＃１の終了時点のピクチャのバッファ占有値に結合することを考慮せずに符号化しているためで、図示しないビデオデータ信号＃２以降のビデオデータ信号との結合の際にも同様にアンダーフローやオーバーフローが発生する可能性は十分にある。
【００１３】
「アンダーフロー」とは、再生器（復号器）でそのピクチャを復号しようとした時間に、まだデータが届いていないことを意味する。従って、その場合には、再生器の作り方にもよるが、一般には一つ前のピクチャをもう一度再生する（フリーズ）などして、全部のデータが揃うまで待つことになる。
【００１４】
一方、「オーバーフロー」とは、復号器のバッファをオーバーフローすることにより、その分のデータが失われてしまうことを意味する。一般に、ＭＰＥＧではハフマン符号化が採用されていて、一部のデータが失われると、そのピクチャ全体が失われることもある。また、動き補償予測を行っているので、そのピクチャを参照して予測されている画像も失われ、面内だけでなく、時間方向の欠落を起こす可能性もある。
【００１５】
本発明は以上の点に鑑みなされたもので、それぞれ符号化された２つのビデオデータ信号を結合するに際し、復号器のバッファのオーバーフローによるデータ欠落を防止し、アンダーフローによる悪影響を最小限に止め得るように結合する可変長符号化データの処理方法及び装置を提供することを目的とする。
【００１６】
また、本発明の他の目的は、結合する２つのビデオデータ信号のうちの前半のビデオデータ信号の最後のシーンを所定の符号化を行うことにより、復号器のバッファのオーバーフロー及びアンダーフローを防止し得る可変長符号化データの処理方法及び装置を提供することにある。
【００１７】
更に、本発明の他の目的は、複数の符号化ビデオデータ信号をランダムに結合して、所定の時間連続して再生し得る可変長符号化データの処理方法及び装置を提供することにある。
【００１８】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の処理方法は、復号器のバッファの占有値がオーバーフロー及びアンダーフローしないようにそれぞれ可変長符号化された、後端に終了コードを有し、かつ、それぞれ複数の圧縮部分データからなる第１及び第２の可変長符号化データを結合して、復号器のバッファへ出力する可変長符号化データの処理方法において、第１の可変長符号化データの終了コードを削除した後、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値をＯＣ、最後の圧縮部分データの符号量をＤＢ、最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量をＩＢとしたとき、（ＯＣ−ＤＢ＋ＩＢ）で表される値である、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値とを大小比較し、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値をＮＯＣとしたとき、ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）のときは｛（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ｝で表され、ＮＯＣ≧（ＯＣ−ＤＢ＋ＩＢ）のときは０で表される無効データのデータ量を計算し、第１の可変長符号化データの最後の圧縮部分データに計算した無効データを追加した後、第２の可変長符号化データを結合して復号器のバッファへ出力するようにしたものである。
【００２４】
また、上記の目的を達成するため、本発明の第１の処理装置は、復号器のバッファの占有値がオーバーフロー及びアンダーフローしないようにそれぞれ可変長符号化された、後端に終了コードを有し、かつ、それぞれ複数の圧縮部分データからなる第１及び第２の可変長符号化データを結合して、復号器のバッファへ出力する可変長符号化データの処理装置において、第１の可変長符号化データの終了コードを削除する終了コード削除器と、終了コード削除器により終了コードが削除された第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値をＯＣ、最後の圧縮部分データの符号量をＤＢ、最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量をＩＢとしたとき、（ＯＣ−ＤＢ＋ＩＢ）で表される値である、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値とを大小比較し、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値をＮＯＣとしたとき、ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）のときは｛（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ｝で表され、ＮＯＣ≧（ＯＣ−ＤＢ＋ＩＢ）のときは０で表される無効データのデータ量を計算する計算器と、計算器により計算されたデータ量の無効データを、終了コードが削除されている第１の可変長符号化データの最後の圧縮部分データに追加する付加器と、付加器からの無効データが付加された第１の可変長符号化データに続いて第２の可変長符号化データを結合して復号器のバッファへ出力する接続器とを有する構成としたものである。
【００２５】
本発明装置では、本発明の第１の処理方法と同様に、無効データのデータ量だけ第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値を下げることができ、復号器のバッファを少なくともオーバーフローすることを防止できる。
【００２６】
また、本発明の第２の処理装置は、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値ＯＣと、最後の圧縮部分データの符号量ＤＢと、最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量ＩＢと、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値をＮＯＣとを、それぞれ予め符号化情報として記憶している記憶回路と、第１の可変長符号化データの終了コードを削除する終了コード削除器と、記憶回路から読み出した符号化情報に基づき、（ＯＣ−ＤＢ＋ＩＢ）で表される値を計算してバッファ占有値ＮＯＣと比較し、ＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ）のときにのみ、｛ＮＯＣ−（ＯＣ−ＤＢ＋ＩＢ）｝で表され、ＮＯＣ≦（ＯＣ−ＤＢ＋ＩＢ）のときには０を削除符号量として計算する計算器と、終了コード削除器から取り出された第１の可変長符号化データの少なくとも最後の圧縮部分データを含む所定数の圧縮部分データに記述されているデータの交流成分に対応する符号を、計算器から入力された削除符号量だけ削除する符号削除器と、符号削除器から出力された第１の可変長符号化データに、第２の可変長符号化データを結合する接続器とを有する構成としたものである。
【００２８】
更に、本発明の第３の処理装置は、第３の処理装置の計算器を、記憶回路から読み出した符号化情報に基づき、（ＯＣ−ＤＢ＋ＩＢ）で表される値を計算してバッファ占有値ＮＯＣと比較し、ＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ）のときにのみ、コード変換フラグを所定値とする構成とし、第３の処理装置の符号削除器に代えて、計算器からのコード変換フラグが所定値であるとき、終了コード削除器からの第１の可変長符号化データの少なくとも最後の圧縮部分データを含む所定数の圧縮部分データに記述されているデータに関して、動きベクトルが０であり、かつ、動き補償した誤差データが０であったとして符号化する変換手段を設ける構成としたものである。
【００２９】
この発明では、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値に関連した値よりも、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値が大であるときでも、第１の可変長符号化データの少なくとも最後の圧縮部分データを含む所定数の圧縮部分データに記述されているデータに関して、動きベクトルが０であり、かつ、動き補償した誤差データが０であったとして符号化するようにしたため、第１の可変長符号化データの最後の圧縮部分データと第２の可変長符号化データの最初の圧縮部分データを、同じ復号器のバッファの占有値で結合できる。
【００３１】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる可変長符号化データの処理装置の第１の実施の形態のブロック図を示す。同図において、可変長符号化データの処理装置は、符号化されたビデオデータ信号＃１が入力される終了コード削除器１１と、終了コード削除器１１からのビデオデータ信号＃１が入力されるバッファ占有値計算器１２と、バッファ占有値計算器１２の出力信号が入力される無効データ計算器１３と、無効データ付加器１４と、符号化されたビデオデータ信号＃２と無効データ付加器１４の出力信号が入力されてそれらを接続（結合）するビデオデータ接続器１５とからなる。なお、上記の図１の構成は、通常、コンピュータのソフトウェアで実現される。
【００３２】
次に、この実施の形態の動作について説明する。ＭＰＥＧに従い予め可変長符号化された２つのビデオデータ信号＃１と＃２のうち、ビデオデータ信号＃１は終了コード削除器１１に入力され、もう一つのビデオデータ信号＃２はビデオデータ接続器１５に入力される。
【００３３】
ビデオデータ信号＃１及び＃２のそれぞれの最後には、所定値（例えば１６進数で０００００１Ｂ７）の終了コードが付加されている。終了コード削除器１１は、入力されたビデオデータ信号＃１の終端に次のビデオデータ信号＃２を結合させても再生動作に不都合が生じないように、上記のビデオデータ信号＃１の終端に付加されている終了コードを削除する。
【００３４】
バッファ占有値計算器１２は、終了コード削除器１１から終了コードが削除されたビデオデータ信号＃１が入力されて、その最後のピクチャのヘッダに記述されている、その最後のピクチャの復号タイミングにおけるバッファ占有値（復号器のバッファの占有率に相当する値：Ｏｃｃｕｐａｎｃｙ）ＯＣを検出し、更にビデオデータ信号＃１の最後の１ピクチャの符号量（Ｄａｔａ Ｂｉｔｓ）ＤＢと、最後の１ピクチャが復号化されてから次のビデオデータ信号＃２のピクチャがそのまま入力されたとしたときに最初に復号化されるまでの時間に再生器に入力される符号量（Ｉｎｐｕｔ Ｂｉｔｓ）ＩＢとをそれぞれ計算する。符号量ＩＢは、ヘッダ中に記述されている転送レートと既知の復号周期とから求められる一定値である。
【００３５】
無効データ量計算器１３は、バッファ占有値計算器１２から終了コードが削除されたビデオデータ信号＃１と共に、上記のバッファ占有値ＯＣ、ピクチャ符号量ＤＢ及び符号量ＩＢとが入力され、次に結合するビデオデータ信号＃２の最初のピクチャの復号タイミングにおける復号器のバッファの占有値（Ｎｅｘｔ Ｏｃｃｕｐａｎｃｙ）ＮＯＣが下記の不等式
ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ） （１）
を満足するかどうか比較判定する。ここで、上記のバッファ占有値ＮＯＣは、ビデオデータ信号＃２の最初のヘッダ中に記述されているが、通常はこれは各ビデオデータ信号において同一値であるので、既知の固定値として用いている。
【００３６】
続いて、無効データ量計算器１３は、上記の不等式を満足する場合は、次式に基づいて無効データ（Ｓｔｕｆｆ Ｂｉｔｓ）量ＳＢを計算する。
【００３７】
ＳＢ＝（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ （２）
また、上記の不等式を満足しない場合は、無効データ量計算器１３は、上記の無効データ量ＳＢの値を０とする。
【００３８】
無効データ付加器１４は、無効データ量計算器１３から終了コードが削除されたビデオデータ信号＃１と無効データ量ＳＢとを入力として受け、ビデオデータ信号＃１の最後の１ピクチャに無効データ量ＳＢに応じたビット数分の無効データを付加し、それらの信号をビデオデータ接続器１５に出力する。ここで、上記の無効データは、例えばオール０のデータである。
【００３９】
ビデオデータ接続器１５は、無効データ付加器１４からの無効データが付加されたビデオデータ信号＃１を出力した後、次に結合するビデオデータ信号＃２を出力する。これにより、ビデオデータ接続器１５から結合ビデオデータ信号が図示しない復号器のバッファに出力される。
【００４０】
次に、この実施の形態によるデータ結合動作について更に詳細に説明する。ビデオデータ信号＃１と＃２の結合状態は、図２と図３に示す計３つのパターンに分類できる。
【００４１】
第１のパターンは、図２（Ａ）にＥＯで示すように、ビデオデータ信号＃１の最後の１ピクチャのバッファ占有値ＯＣから、その最後の１ピクチャの符号量ＤＢを差し引いた値に、前記入力符号量ＩＢを加算した値（ＯＣ−ＤＢ＋ＩＢ）が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと同一の場合であり、この場合は前記（１）式を満足しないので、無効データ量ＳＢが０とされる。
【００４２】
従って、ビデオデータ接続器１５から得られる結合ビデオデータ信号は、ビデオデータ信号＃１にビデオデータ信号＃２がそのまま結合されて出力される。この第１のパターンは、そのまま結合してもオーバーフローもアンダーフローも発生しない理想的なパターンであり、非常に稀なケースである。
【００４３】
第２のパターンは、図２（Ｂ）にＥＯで示すように、このまま結合するとオーバーフローを起こす可能性のあるパターンで、前記の値（ＯＣ−ＤＢ＋ＩＢ）がバッファ占有値ＮＯＣよりも大きい場合で、前記（１）式が満足されるので、無効データ計算器１３により前記（２）式に基づいて計算された無効データ量ＳＢに応じたビット数分の無効データが、ビデオデータ信号＃１の最後の１ピクチャの後に追加されて、ビデオデータ接続器１５から出力され、その後にビデオデータ信号＃２が出力される。
【００４４】
従って、復号器のバッファの占有値は、ビデオデータ信号＃１の最後の１ピクチャから次のビデオデータ信号＃２の最初のピクチャ復号タイミングまでの間は、図２（Ｂ）に破線ＩＩＩで示す如くに変化するため、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと同一値で結合される。これにより、この第２のパターンの場合も、理想的に結合され、オーバーフローもアンダーフローも生じないようにできる。
【００４５】
最後の第３のパターンは、図２（Ｃ）及び図３にそれぞれＥＯで示すように、前記の値（ＯＣ−ＤＢ＋ＩＢ）が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣよりも小さい場合であり、この場合は
ＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ） （３）
なる不等式が成立する。従って、前記（１）式を満足しないので、無効データ量ＳＢが０とされる。
【００４６】
ただし、この第３のパターンではそのまま結合すると、図１５と共に説明したように、アンダーフローする可能性がある。この第３のパターンについては、第１の実施の形態では、ビデオデータ信号＃１の最後のピクチャが復号器のバッファに蓄積されてから、次のビデオデータ信号＃２の最初のピクチャが蓄積後復号されるまでの時間Ｔｗだけ待ってから復号が行われるため、ビデオデータ信号＃１の最後に復号される１ピクチャが２ピクチャ分表示される。しかし、図２（Ｃ）に示すように、ビデオデータ信号＃１の最後のピクチャは、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと結合され、オーバーフローすることはないので、データが欠落するという最悪事態を回避することができる。
【００４７】
このように、上記の実施の形態では、オーバーフローするようなデータ結合時は無効データを付加することで、オーバーフローもアンダーフローも生じない理想的なビデオデータ信号の結合ができ、また、アンダーフローする可能性のあるデータ結合時も最低限データ欠落は生じないようにできる。
【００４８】
以上は復号器側の構成であるが、本発明は符号器側での処理も併せて行うことも可能である。図４はこの場合の本発明の第２の実施の形態の動作を説明するバッファ占有値の時間的変化を示す。
【００４９】
この実施の形態では、ビデオデータ信号＃１の最後のシーンを静止画又は静止画に近い画像で符号化した点に特徴がある。この場合は、ビデオデータ信号＃１の最後のシーンが静止画又は静止画に近い画像であるので、それを圧縮符号化した場合差分をとって符号化するので、このシーンではヘッダに殆ど符号化データが存在しないような符号が発生されるため、小さな符号発生量である。
【００５０】
従って、ビデオデータ信号＃１の最後のシーンでは、復号器のバッファ占有値は図４にＩＶで示すように、殆ど減らず（復号してもデータ量が微小なため）、バッファ占有値は増加し最大値に近付く。そのため、稀には前記第１のパターンとなるが、殆ど前記第２のパターンとなり、第１の実施の形態を併用すると、前述したようにオーバーフロー及びアンダーフローの両方の可能性がなくなり、理想的な結合ができる。
【００５１】
次に、本発明の第３の実施の形態について説明する。図５は本発明になる可変長符号化データの処理装置の第３の実施の形態の要部のブロック図、図６は本発明になる可変長符号化データの処理装置の第３の実施の形態の他の要部のブロック図を示す。図５において、可変長符号化されているビデオデータ信号（符号化ビデオデータ信号＃１、＃２）は、符号化情報観測器２０に供給され、ここで▲１▼その符号化ビデオデータ信号のＭＰＥＧ規格で定められたピクチャヘッダー中に記述されているＶＢＶバッファ占有値と、▲２▼その符号化ビデオデータ信号の最後のピクチャの最後に記述されているＶＢＶバッファ占有値と、▲３▼その符号化ビデオデータ信号の最後のピクチャのピクチャスタートコードから終了コードまでの符号量値がそれぞれ読み取られて、それらの符号化情報が記憶回路２１に記憶される。
【００５２】
ここで、上記の▲１▼のＶＢＶバッファ占有値が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおける復号器のバッファの占有値（Ｎｅｘｔ Ｏｃｃｕｐａｎｃｙ）ＮＯＣに相当し、▲２▼のＶＢＶバッファ占有値が、ビデオデータ信号＃１の最後の１ピクチャのバッファ占有値（Ｏｃｃｕｐａｎｃｙ）ＯＣに相当し、▲３▼の符号量値が、ビデオデータ信号＃１の最後の１ピクチャの符号量（Ｄａｔａ Ｂｉｔｓ）ＤＢに相当する。
【００５３】
なお、最後の１ピクチャが復号化されてから次のビデオデータ信号＃２のピクチャがそのまま入力されたとしたときに最初に復号化されるまでの時間に再生器に入力される符号量（Ｉｎｐｕｔ Ｂｉｔｓ）ＩＢは、符号化情報観測器２０において転送レートを１ピクチャ区間の時間で除算して計算し、記憶回路２１に記憶する。このような処理は、複数の符号化ビデオデータ信号を繋ぐ前に、前後の符号化ビデオデータ信号の符号化情報と共に観測されている必要がある。
【００５４】
本発明の第３の実施の形態の要部は、図６に示すように、終了コード削除器２２、符号削除器２３、追加／削除量計算器２４、無効データ付加器２５及び図５と共に説明した記憶回路２１からなる。図６の動作について説明するに、記憶回路２１に記憶されている上記のバッファ占有値ＮＯＣ、ＯＣ、符号量ＤＢ及びＩＢからなる符号化情報は、追加／削除量計算器２４に供給され、ここで以下のような判断がなされて削除符号量と無効データ量が計算される。
【００５５】
すなわち、追加／削除量計算器２４は、入力符号化情報が前記（１）式を満足するときは、前記（２）式に基づき無効データ量ＳＢを算出し、かつ、削除符号量（Ｄｅｌｅｔｅ Ｂｉｔｓ）ＤＥＢをゼロとする。入力符号化情報が前記（３）式を満足するときには、次式
ＤＥＢ＝ＮＯＣ−（ＯＣ−ＤＢ＋ＩＢ） （４）
に基づいて削除符号量ＤＥＢを算出し、かつ、無効データ量ＳＢをゼロとする。また、追加／削除量計算器２４は、入力符号化情報が前記（１）式及び（３）式のいずれも満足しないとき、すなわち、ＮＯＣ＝（ＯＣ−ＤＢ＋ＩＢ）のときには、上記の削除符号量ＤＥＢと無効データ量ＳＢの両方を共にゼロとする。追加／削除量計算器２４は、このようにして算出した削除符号量ＤＥＢと無効データ量ＳＢのうち、削除符号量ＤＥＢは符号削除器２３に供給し、無効データ量ＳＢは無効データ付加器２５に供給する。
【００５６】
一方、符号化ビデオデータ信号＃１は、図１の終了コード削除器１１と同一目的で同一構成の終了コード削除器２２に供給されて、データの最後に記述されているＭＰＥＧ規格の４バイトの終了コードが削除された後、符号削除器２３に供給され、ここで、少なくとも最後のピクチャを含む数フレームに記述されているピクチャ符号化データのＡＣ（交流）成分に対応する符号が、追加／削除量計算器２４により計算された前記削除符号量ＤＥＢだけ削除される。バッファ占有値を合わせるためである。ただし、ＤＥＢ＝０のときには削除は行われない。
【００５７】
図７は上記の符号削除器２３の一例のブロック図を示す。この符号削除器２３では、符号化ビデオデータ信号＃１がＶＬＤ器３１に供給されて可変長復号化される。ここで、ＭＰＥＧ規格では、ピクチャのマクロブロックのＡＣ符号コードは表１に従って可変長符号（ＶＬＣ）化された、ハフマン符号である。
【００５８】
【表１】
ただし、上記の表１中、可変長符号コードの最終ビットｓは、レベル（ＬＥＶＥＬ）の符号を示し、０のとき正、１のとき負である。
【００５９】
マクロブロックの中には輝度信号４つ、色信号２つの計６つ分の８×８画素のブロックが存在する。これらのブロックのそれぞれにＡＣ符号が存在する。これらブロック内のハフマン符号事象は、図９に示すように、量子化された変換係数を低周波空間周波数成分から高周波に向かってジグザクに並べたとき、０以外の有効係数が検出されるまでの、０の継続個数を示すラン（ＲＵＮ）と、それに続く非ゼロの有効係数のレベル（ＬＥＶＥＬ）との組み合わせの事象によって表現されている。
【００６０】
すなわち、これらを展開したとすると、イントラ（フレーム内符号化）と非イントラとでは図９に示すように、最初の係数がＤＣ成分であるか否かの違いはあるが、いずれにしても図１０に示すように、８×８画素の領域に展開される。そして、上記のランとレベルの組み合わせに基づいて、表１により可変長符号化されたのが、符号化ビデオデータ信号である。
【００６１】
図７のＶＬＤ器３１は、このようにＡＣ符号（ＡＣ係数）の”ランとレベル”事象と、その符号長を検出して、図１１に示すようなＡＣ符号の送られてくる順番、すなわち低域の信号から並べたときの、その符号長の累積符号量と、ジグザクスキャンしたときの係数位置を示すアドレスを計算し、その情報をＶＬＤ情報として符号化ビデオデータ信号と共に、図７のＡＣ符号削除器３２へ出力する。
【００６２】
一方、図７の削除符号量制御回路３３は、図６に示した追加／削除量計算器２４から入力された削除符号量ＤＥＢと、図７に示す後述の符号量カウンタ３５からの削除対象のピクチャ符号量情報とに基づき、どのくらい削除するかの割合を計算し、その計算結果を削除割合情報としてＡＣ符号削除器３２に供給する。
【００６３】
ＡＣ符号削除器３２は、ＶＤＬ器３１からの符号化ビデオデータ信号及びＶＬＤ情報と、削除符号量制御回路３３からの削除割合情報とを入力として受け、これらに基づいて、符号化ビデオデータ信号中のＡＣ符号を削除する。ＶＬＤ情報は、ＡＣ符号とその符号長を含んでいる。ＡＣ符号削除器３２は、図１０に示したように、直交変換された係数を低域空間周波数成分から高周波に向かって並べて、その符号長の累積符号量の最後の値であるトータル符号量に、（１−削除割合）を乗じた値までを有効とし、それ以降の符号を削除する。削除後のＡＣ符号にＥＯＢ（エンド・オブ・ブロック）コードを出力する。この操作によって、各ブロックのＡＣ符号が削除割合分だけ削除される。
【００６４】
このようにして、全部のブロックについて削除処理がなされた符号化ビデオデータ信号は、１ピクチャ分バッファ３４に蓄積された後、ピクチャ全体の符号が符号量カウンタ３５でカウントされる。符号量カウンタ３５で得られたピクチャ全体の符号量を示すピクチャ符号量情報は、削除符号量制御回路３３に供給される。また、バッファ３４からの削除されたピクチャ符号化データは、符号量カウンタ３５を通してＶＬＤ器３１に送られる。
【００６５】
削除符号量制御回路３３により計算された削除割合が０以下になるまで、上記の動作が繰り返され、削除割合が０以下になると、最終的に削除する符号量分が削除されたので、ＡＣ符号削除器３２は削除動作を終了し、変換された符号化ビデオデータ信号としてバッファ３４に出力する。この場合、ＡＣ符号削除器３２は、ＡＣ符号以外の部分は何も操作せず、バッファ２７に送信する。
【００６６】
なお、削除するピクチャを１枚にする場合、１ピクチャだけに大きな劣化を伴う場合がある。また、１ピクチャだけでは予定の削除量を達成できない場合もあり、その場合には最後のピクチャだけでなく、最後から複数のピクチャに等分割したり、それらのピクチャの発生符号量比率で分割することで削除符号を分配してもよい。
【００６７】
再び図６に戻って説明するに、符号削除器２３で少なくとも最後のピクチャを含む数フレームに記述されているピクチャ符号化データのＡＣ（交流）成分に対応する符号が、追加／削除量計算器２４により計算された前記削除符号量ＤＥＢだけ削除されたビデオデータ信号は、無効データ付加器２５に供給され、ここで追加／削除量計算器２４からの無効データ量ＳＢに応じた量の無効データが付加されて、変換された符号化ビデオデータ信号として出力される。上記の無効データとしては、ＭＰＥＧで規定されている無効データ（ヌルデータ（０データ））がある。
【００６８】
このように処理された符号化ビデオデータ信号は、図１に示したビデオデータ接続器１５と同様のビデオデータ接続器２６に供給されて、次に結合されるべき符号化ビデオデータ信号＃２と直接に接続され、結合ビデオデータ信号として出力される。この実施の形態では、図２（Ａ）及び図２（Ｂ）及び図３に示したように、符号化された入力ビデオデータ信号＃１と符号化された入力ビデオデータ信号＃２とを直接に結合できる。
【００６９】
例えば、図３に示したように、ビデオデータ信号＃１の最後の１ピクチャのバッファ占有値ＯＣから、その最後の１ピクチャの符号量ＤＢを差し引いた値に、前記入力符号量ＩＢを加算した値（ＯＣ−ＤＢ＋ＩＢ）が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣよりも小さな第３のパターンの場合、追加／削除量計算器２４が（４）式に基づいて削除符号量ＤＥＢを算出し、かつ、無効データ量ＳＢをゼロとするようにしているため、ビデオデータ信号＃１の最後のピクチャは、図３に示すように次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと同一値で結合される。これにより、この第３のパターンの場合も、この実施の形態によれば、理想的に結合され、オーバーフローもアンダーフローも生じないようにできる。
【００７０】
このように、この実施の形態によれば、上記の接続に際して２つの符号化ビデオデータ信号を直接に繋いでも、ＭＰＥＧの規格に準拠しているため、予め結合することを意識しないで符号化された符号化ビデオデータ信号同士を、復号器のビットストリーム蓄積用のバッファを破綻させずに、結合することができる。
【００７１】
なお、上記のＡＣ符号削除処理を行う場合、この処理によってＭＰＥＧのＰピクチャやＩピクチャでは、その次の片方向ピクチャ間予測を巡回して行うので、誤差が蓄積して劣化が目立つ場合がある。その場合には、ＡＣ符号の削除は双方向ピクチャ間予測符号化されたＢピクチャに限定することも効果的である。これにより、巡回による誤差の蓄積を防ぐことができる。
【００７２】
次に、本発明の第４の実施の形態について説明する。この実施の形態では、ＭＰＥＧにおけるＰピクチャやＢピクチャのスキップト・マクロブロック（Ｓｋｉｐｐｅｄ−ＭＢ）なる概念を利用したものである。すなわち、あるマクロブロック（ＭＢ）において、予測した結果、動きベクトル（ＭＶ）も０で、かつ、予測画像と被予測画像の差分画像に着目した場合も全く誤差がない状態にあるＭＢは、ＤＣ（直流）やＡＣのデータを全く送らないモードが存在する（ただし、Ｂピクチャの場合は、動きベクトルが０でなくても、一つ前のＭＢの動きベクトルとの差分が０であればよい。）。
【００７３】
この状況のＭＢが、画面全体に存在すると仮定すると、最低限のピクチャやスライスのヘッダ以外、必要なくなる。例えば、ＭＰＥＧ１では、スライスの最初と最後のＭＢはスキップトＭＢにできないが、それ以外のほぼ画面全体のＭＢをスキップトＭＢとしたと仮定すると、スライスの構成（数）にもよるが、２５６〜１０００ビット余りで符号化できる。このコードを持つピクチャはＰピクチャでもＢピクチャでも予測画像から見て動きが全く無い状態であることを示しているのであり、これを積極的に使用することにより、動いている画像のＰピクチャやＢピクチャの符号の代わりに、この全体がスキップトＭＢであったと仮定した符号とすり替えることで、前の予測画像と同じ画像であったこととして符号化データを変更することが可能である。
【００７４】
これはＭＰＥＧの規格に準じたコードであり、実際に入力画像がその部分において全く動かない画像であったなら、結果として同じ符号化データを出力したはずのものである。全体がスキップトＭＢであったと仮定したピクチャの符号は、単純フレーム間予測（Ｎｏ ＭＣ）で、ＤＣＴ係数を持たない符号化不要（Ｎｏｔ Ｃｏｄｅｄ）な符号であるので、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコードという名称で定義すると、このＮｏＭＣ，ＮｏｔＣｏｄｅｄコードは、予測画像に依存せず、一意に決定できるので、予めこのコードをリード・オンリ・メモリ（ＲＯＭ）などに記憶しておき、必要に応じて、ＰピクチャやＢピクチャの符号をＮｏＭＣ，ＮｏｔＣｏｄｅｄコードに交換すればよい。
【００７５】
勿論、この場合、復号した画像は、静止するのはやむを得ないが、前述したＡＣ符号削除器３２の処理に比べると、高速でコストも安く実現可能である。また、ＡＣ削除に比べて大きくバッファ占有量を上げることが可能である。図８は、この機能を利用した本発明の第４の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。
【００７６】
図８において、前記バッファ占有値ＮＯＣ、ＯＣ、符号量ＤＢ及びＩＢからなる符号化情報は、記憶回路２１から追加／削除量計算器４３に供給され、ここで以下のような判断がなされて無効データ量ＳＢが計算され、かつ、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグが作成される。また、予め作成したＮｏＭＣ，ＮｏｔＣｏｄｅｄコードの量を、ＮＭＮＣビットとする。
【００７７】
すなわち、追加／削除量計算器４３は、入力符号化情報がＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）を満足するときは、前記（２）式に基づき無効データ量ＳＢを算出し、かつ、削除符号量（Ｄｅｌｅｔｅ Ｂｉｔｓ）ＤＥＢをゼロとする。入力符号化情報がＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ）を満足するときには、前記（４）式に基づいて削除符号量ＤＥＢを算出し、かつ、無効データ量ＳＢをゼロとすると共に、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグを”１”とし、ＤＢをＮＭＮＣと置き換える。
【００７８】
更に、追加／削除量計算器４３は、入力符号化情報が前記（１）式及び（３）式のいずれも満足しないとき、すなわち、ＮＯＣ＝（ＯＣ−ＤＢ＋ＩＢ）のときには、上記の削除符号量ＤＥＢと無効データ量ＳＢの両方を共にゼロとし、かつ、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグを”０”とする。追加／削除量計算器４３は、このようにして算出したＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグと無効データ量ＳＢのうち、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグはＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２に供給し、無効データ量ＳＢは無効データ付加器２５に供給する。
【００７９】
一方、符号化されている入力ビデオデータ信号＃１は、終了コード削除器２２により終了コードが削除された後、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２に供給される。ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２は、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグが”１”の場合のみ、入力されたピクチャ符号化データを上記のＮｏＭＣ，ＮｏｔＣｏｄｅｄコードに変換する。このＮｏＭＣ，ＮｏｔＣｏｄｅｄコードは、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコードＲＯＭ４１に予め記憶されているＮｏＭＣ，ＮｏｔＣｏｄｅｄコードを読み出して用いる。ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２は、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグが”０”の場合は、特に変換処理を行わない。
【００８０】
このように変換処理を受けたビデオデータ信号は、無効データ付加器２５に供給され、ここで追加／削除量計算器４３からの無効データ量ＳＢに応じた量の無効データが付加された後、ビデオデータ接続器２６に供給されて、次に結合されるべき符号化ビデオデータ信号＃２と直接に接続され、結合ビデオデータ信号として出力される。
【００８１】
この実施の形態によれば、上記の接続に際して２つの符号化ビデオデータ信号を直接に繋いでも、ＭＰＥＧの規格に準拠しているため、予め結合することを意識しないで符号化された符号化ビデオデータ信号同士を、復号器のビットストリーム蓄積用のバッファを破綻させずに、結合することができる。また、この実施の形態では、ＡＣ符号の削除を行わずに、最小限の符号でそのフレームをリピートするコードに置き換えているので、非常に簡便な方法で復号器のバッファの占有値を調整することができる。
【００８２】
なお、本発明は以上の実施の形態に限定されるものではなく、結合する可変長符号化データはビデオデータ以外の種類のデータでもよく、要は可変長符号化されたデータであって、バッファを復号器に持っているものであれば、どのような種類の符号化データにも適用可能である。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値との比較結果に応じたデータ量を計算し、そのデータ量を無効データとして第１の可変長符号化データの最後の圧縮部分データに追加し、その後に第２の可変長符号化データを結合することにより、無効データのデータ量だけ第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値を下げ、よって復号器のバッファを少なくともオーバーフローすることを防止できるため、結合によるデータの欠落を無くすことができ、またアンダーフローが生じても、結合時に１〜２フレーム程度のフリーズができるので、結合時の不都合を従来に比べて大幅に低減できる。
【００８５】
また、本発明によれば、第１の可変長符号化データの最後のシーンを、静止画又は静止画に近い画像のピクチャに符号化するようにしたため、最後のシーンの発生符号量を極めて少なくでき、バッファ占有値推移を最大値に近付けることができるため、上記の無効データの付加により、オーバーフローだけでなくアンダーフローも生じないようにでき、理想的な２つの可変長符号化データの結合ができる。
【図面の簡単な説明】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】本発明によるデータ結合動作を説明する図である。
【図３】図６の実施の形態によるデータ結合動作の一例を説明する図である。
【図４】本発明の第２の実施の形態におけるバッファ占有値の時間的変化を示す図である。
【図５】本発明装置の第３の実施の形態の要部のブロック図である。
【図６】本発明装置の第３の実施の形態の他の要部のブロック図である。
【図７】図６中の符号削除器の一例のブロック図である。
【図８】本発明装置の第４の実施の形態のブロック図である。
【図９】ＡＣ係数のジグザグスキャンを説明する図である。
【図１０】ＡＣ係数（符号）の一例を示す図である。
【図１１】ＡＣ係数コードの一例を示す図である。
【図１２】ＭＰＥＧのピクチャタイプにおける発生符号量の説明図である。
【図１３】復号器のバッファの占有値の時間的変化の一例を示す図である。
【図１４】２つのビデオデータ信号の結合の一例を説明する図である。
【図１５】アンダーフローが発生するときの２つのビデオデータ信号の復号器のバッファの占有値の時間的変化の一例と結合を説明する図である。
【図１６】オーバーフローが発生するときの２つのビデオデータ信号の復号器のバッファの占有値の時間的変化の一例と結合を説明する図である。
【符号の説明】
１１、２２ 終了コード削除器
１２ バッファ占有値計算器
１３ 無効データ量計算器
１４、２５ 無効データ付加器
１５、２６ ビデオデータ接続器
２０ 符号化情報観測器
２１ 記憶回路
２３ 符号削除器
２４、４３ 追加／削除量計算器
３１ ＶＬＤ器
３２ ＡＣ符号削除器
３３ 削除符号量制御回路
３４ バッファ
３５ 符号量カウンタ
４１ ＮｏＭＣ，ＮｏｔＣｏｄｅｄコードＲＯＭ
４２ ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器
【発明の属する技術分野】
本発明は可変長符号化データの処理方法及び装置に係り、特に可変長符号化データを複数繋ぎ合わせ処理する可変長符号化データの処理方法及び装置に関する。
【０００２】
【従来の技術】
情報を可変長符号化する代表的な例としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）が知られている。このＭＰＥＧでは、符号化ビットストリームはビデオ信号の場合１ピクチャ毎に可変長の符号量をもっている。これはＭＰＥＧが離散コサイン変換（ＤＣＴ）、量子化、ハフマン符号化という情報変換を用いると同時に、画質向上のためにピクチャ毎に配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。
【０００３】
図１２はこのＭＰＥＧによる符号化ビットストリームの一例を示し、Ｉピクチャ（フレーム内符号化画像）、Ｂピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ、Ｐピクチャ（双方向予測符号化画像）の順番で伝送される。ここで、例えば、Ｉピクチャは１２０ｋｂｉｔ、Ｐピクチャは、８０ｋｂｉｔ、Ｂピクチャは４０ｋｂｉｔであり、それぞれ可変長の符号量である。
【０００４】
このような可変長データを固定の転送レート（符号化レート）で符号化する場合、図１３のように復号器のバッファ量を最大値とすると、一定速度でデータが入力されて、所定の値だけ溜ったところから、所定の時間単位（ＮＴＳＣ方式のビデオ信号ならば１／２９．９７秒単位）で復号化を一瞬で行う仮想デコーダモデルを符号化器の出力に接続して使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがＭＰＥＧで規定されている。
【０００５】
なお、図１３中、Ｉ、Ｂ及びＰはＭＰＥＧ規定のＩピクチャ（フレーム内符号化画像）、Ｂピクチャ（フレーム間順方向予測符号化画像）及びＰピクチャ（双方向予測符号化画像）を示し、これらがバッファに蓄積されて各ピクチャの復号が１／２９．９７秒単位で一瞬に行われ、データはバッファより瞬時に抜き取られることが示されている。
【０００６】
これをＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）といい、これについての詳細は国際標準化機構（ＩＳＯ）によりＩＳＯ−１１１７２−２、ＩＳＯ１３８１８−２に記述されている。この規定を守っていれば、ＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長くとれば固定の転送レートとなり、ＭＰＥＧではこのことを固定レートであると定義する。
【０００７】
ところで、従来より上記のＭＰＥＧの圧縮符号化方式により可変長符号化されたビデオデータ信号が、画面単位で複数存在し、これらをユーザが任意の順番に、あるいは所定の順番に再生する場合（例えば、カラオケの背景動画をいろいろなパターンで結合して見せたり、宣伝用の各種画像を結合して見せるような場合）、２つのビデオデータ信号（これを以下、＃１，＃２という）を結合（接続）する必要がある。
【０００８】
このビデオデータ信号＃１と＃２を結合するためには、上記のＶＢＶのバッファがオーバーフローもアンダーフローも発生しないようにするために、時間的にビデオデータ信号＃１を先に符号化して、図１４に示すように、その終了時点でのＶＢＶバッファの占有値を、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値に引き継いで、結合部分（図１４に白丸で示す）では同一のバッファ占有値になるようにして、作成しなければならない。
【０００９】
【発明が解決しようとする課題】
従って、２つのビデオデータ信号を結合（接続）する従来の可変長符号化データの処理方法では、２つのビデオデータ信号の結合する順番を意識して予め符号化しなければならないため、自由にランダムに予め符号化してある２つのビデオデータ信号を結合することはできない。もし、結合を意識せずに符号化したビデオデータ信号を単純に結合すると、以下のような問題が起きるからである。
【００１０】
まず、第１のパターンとして結合することを意識しないで符号化した２つのビデオデータ信号＃１と＃２のデータのＶＢＶのバッファ占有値の時間的推移が、図１５（Ａ）に示すようになっていたと仮定する。これをみると、図１４とは違ってビデオデータ信号＃１とビデオデータ信号＃２共に先頭のピクチャのバッファ占有値は値ａで等しい。この２つのビデオデータ信号＃１と＃２を結合すると、図１５（Ｂ）に示すように、ビデオデータ信号＃１の終了時点でのバッファ占有値がｂであるために、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値を値ｂにする必要があり、そのためにビデオデータ信号＃２のバッファ占有値が全体に（ａ−ｂ）だけ下側にシフトされる。このため、図１５（Ｂ）にＩで示す区間でアンダーフローが生じてしまう。
【００１１】
次に、もう一つの第２のパターンとして、結合することを意識しないで符号化した２つのビデオデータ信号＃１及び＃２のデータのＶＢＶのバッファ占有値の時間的推移が図１６（Ａ）になっていたと仮定する。これも第１のパターンと同様に、図１４とは異なり、ビデオデータ信号＃１とビデオデータ信号＃２共に先頭のピクチャのバッファ占有値が値ａで等しい。この２つのビデオデータ信号＃１と＃２を結合すると、図１６（Ｂ）に示すように、ビデオデータ信号＃１の終了時点でのバッファ占有値が最大値ｃであるために、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値も最大値ｃにする必要があり、そのためにビデオデータ信号＃２のバッファ占有値が全体に（ｃ−ａ）だけ上側にシフトされる。このため、図１６（Ｂ）にＩＩで示す区間でオーバーフローが生じてしまう。
【００１２】
以上のアンダーフローやオーバーフローの発生は、次に符号化するビデオデータ信号＃２の先頭のピクチャのバッファ占有値を、先に符号化したビデオデータ信号＃１の終了時点のピクチャのバッファ占有値に結合することを考慮せずに符号化しているためで、図示しないビデオデータ信号＃２以降のビデオデータ信号との結合の際にも同様にアンダーフローやオーバーフローが発生する可能性は十分にある。
【００１３】
「アンダーフロー」とは、再生器（復号器）でそのピクチャを復号しようとした時間に、まだデータが届いていないことを意味する。従って、その場合には、再生器の作り方にもよるが、一般には一つ前のピクチャをもう一度再生する（フリーズ）などして、全部のデータが揃うまで待つことになる。
【００１４】
一方、「オーバーフロー」とは、復号器のバッファをオーバーフローすることにより、その分のデータが失われてしまうことを意味する。一般に、ＭＰＥＧではハフマン符号化が採用されていて、一部のデータが失われると、そのピクチャ全体が失われることもある。また、動き補償予測を行っているので、そのピクチャを参照して予測されている画像も失われ、面内だけでなく、時間方向の欠落を起こす可能性もある。
【００１５】
本発明は以上の点に鑑みなされたもので、それぞれ符号化された２つのビデオデータ信号を結合するに際し、復号器のバッファのオーバーフローによるデータ欠落を防止し、アンダーフローによる悪影響を最小限に止め得るように結合する可変長符号化データの処理方法及び装置を提供することを目的とする。
【００１６】
また、本発明の他の目的は、結合する２つのビデオデータ信号のうちの前半のビデオデータ信号の最後のシーンを所定の符号化を行うことにより、復号器のバッファのオーバーフロー及びアンダーフローを防止し得る可変長符号化データの処理方法及び装置を提供することにある。
【００１７】
更に、本発明の他の目的は、複数の符号化ビデオデータ信号をランダムに結合して、所定の時間連続して再生し得る可変長符号化データの処理方法及び装置を提供することにある。
【００１８】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の処理方法は、復号器のバッファの占有値がオーバーフロー及びアンダーフローしないようにそれぞれ可変長符号化された、後端に終了コードを有し、かつ、それぞれ複数の圧縮部分データからなる第１及び第２の可変長符号化データを結合して、復号器のバッファへ出力する可変長符号化データの処理方法において、第１の可変長符号化データの終了コードを削除した後、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値をＯＣ、最後の圧縮部分データの符号量をＤＢ、最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量をＩＢとしたとき、（ＯＣ−ＤＢ＋ＩＢ）で表される値である、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値とを大小比較し、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値をＮＯＣとしたとき、ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）のときは｛（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ｝で表され、ＮＯＣ≧（ＯＣ−ＤＢ＋ＩＢ）のときは０で表される無効データのデータ量を計算し、第１の可変長符号化データの最後の圧縮部分データに計算した無効データを追加した後、第２の可変長符号化データを結合して復号器のバッファへ出力するようにしたものである。
【００２４】
また、上記の目的を達成するため、本発明の第１の処理装置は、復号器のバッファの占有値がオーバーフロー及びアンダーフローしないようにそれぞれ可変長符号化された、後端に終了コードを有し、かつ、それぞれ複数の圧縮部分データからなる第１及び第２の可変長符号化データを結合して、復号器のバッファへ出力する可変長符号化データの処理装置において、第１の可変長符号化データの終了コードを削除する終了コード削除器と、終了コード削除器により終了コードが削除された第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値をＯＣ、最後の圧縮部分データの符号量をＤＢ、最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量をＩＢとしたとき、（ＯＣ−ＤＢ＋ＩＢ）で表される値である、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値とを大小比較し、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値をＮＯＣとしたとき、ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）のときは｛（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ｝で表され、ＮＯＣ≧（ＯＣ−ＤＢ＋ＩＢ）のときは０で表される無効データのデータ量を計算する計算器と、計算器により計算されたデータ量の無効データを、終了コードが削除されている第１の可変長符号化データの最後の圧縮部分データに追加する付加器と、付加器からの無効データが付加された第１の可変長符号化データに続いて第２の可変長符号化データを結合して復号器のバッファへ出力する接続器とを有する構成としたものである。
【００２５】
本発明装置では、本発明の第１の処理方法と同様に、無効データのデータ量だけ第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値を下げることができ、復号器のバッファを少なくともオーバーフローすることを防止できる。
【００２６】
また、本発明の第２の処理装置は、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値ＯＣと、最後の圧縮部分データの符号量ＤＢと、最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量ＩＢと、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値をＮＯＣとを、それぞれ予め符号化情報として記憶している記憶回路と、第１の可変長符号化データの終了コードを削除する終了コード削除器と、記憶回路から読み出した符号化情報に基づき、（ＯＣ−ＤＢ＋ＩＢ）で表される値を計算してバッファ占有値ＮＯＣと比較し、ＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ）のときにのみ、｛ＮＯＣ−（ＯＣ−ＤＢ＋ＩＢ）｝で表され、ＮＯＣ≦（ＯＣ−ＤＢ＋ＩＢ）のときには０を削除符号量として計算する計算器と、終了コード削除器から取り出された第１の可変長符号化データの少なくとも最後の圧縮部分データを含む所定数の圧縮部分データに記述されているデータの交流成分に対応する符号を、計算器から入力された削除符号量だけ削除する符号削除器と、符号削除器から出力された第１の可変長符号化データに、第２の可変長符号化データを結合する接続器とを有する構成としたものである。
【００２８】
更に、本発明の第３の処理装置は、第３の処理装置の計算器を、記憶回路から読み出した符号化情報に基づき、（ＯＣ−ＤＢ＋ＩＢ）で表される値を計算してバッファ占有値ＮＯＣと比較し、ＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ）のときにのみ、コード変換フラグを所定値とする構成とし、第３の処理装置の符号削除器に代えて、計算器からのコード変換フラグが所定値であるとき、終了コード削除器からの第１の可変長符号化データの少なくとも最後の圧縮部分データを含む所定数の圧縮部分データに記述されているデータに関して、動きベクトルが０であり、かつ、動き補償した誤差データが０であったとして符号化する変換手段を設ける構成としたものである。
【００２９】
この発明では、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値に関連した値よりも、第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値が大であるときでも、第１の可変長符号化データの少なくとも最後の圧縮部分データを含む所定数の圧縮部分データに記述されているデータに関して、動きベクトルが０であり、かつ、動き補償した誤差データが０であったとして符号化するようにしたため、第１の可変長符号化データの最後の圧縮部分データと第２の可変長符号化データの最初の圧縮部分データを、同じ復号器のバッファの占有値で結合できる。
【００３１】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる可変長符号化データの処理装置の第１の実施の形態のブロック図を示す。同図において、可変長符号化データの処理装置は、符号化されたビデオデータ信号＃１が入力される終了コード削除器１１と、終了コード削除器１１からのビデオデータ信号＃１が入力されるバッファ占有値計算器１２と、バッファ占有値計算器１２の出力信号が入力される無効データ計算器１３と、無効データ付加器１４と、符号化されたビデオデータ信号＃２と無効データ付加器１４の出力信号が入力されてそれらを接続（結合）するビデオデータ接続器１５とからなる。なお、上記の図１の構成は、通常、コンピュータのソフトウェアで実現される。
【００３２】
次に、この実施の形態の動作について説明する。ＭＰＥＧに従い予め可変長符号化された２つのビデオデータ信号＃１と＃２のうち、ビデオデータ信号＃１は終了コード削除器１１に入力され、もう一つのビデオデータ信号＃２はビデオデータ接続器１５に入力される。
【００３３】
ビデオデータ信号＃１及び＃２のそれぞれの最後には、所定値（例えば１６進数で０００００１Ｂ７）の終了コードが付加されている。終了コード削除器１１は、入力されたビデオデータ信号＃１の終端に次のビデオデータ信号＃２を結合させても再生動作に不都合が生じないように、上記のビデオデータ信号＃１の終端に付加されている終了コードを削除する。
【００３４】
バッファ占有値計算器１２は、終了コード削除器１１から終了コードが削除されたビデオデータ信号＃１が入力されて、その最後のピクチャのヘッダに記述されている、その最後のピクチャの復号タイミングにおけるバッファ占有値（復号器のバッファの占有率に相当する値：Ｏｃｃｕｐａｎｃｙ）ＯＣを検出し、更にビデオデータ信号＃１の最後の１ピクチャの符号量（Ｄａｔａ Ｂｉｔｓ）ＤＢと、最後の１ピクチャが復号化されてから次のビデオデータ信号＃２のピクチャがそのまま入力されたとしたときに最初に復号化されるまでの時間に再生器に入力される符号量（Ｉｎｐｕｔ Ｂｉｔｓ）ＩＢとをそれぞれ計算する。符号量ＩＢは、ヘッダ中に記述されている転送レートと既知の復号周期とから求められる一定値である。
【００３５】
無効データ量計算器１３は、バッファ占有値計算器１２から終了コードが削除されたビデオデータ信号＃１と共に、上記のバッファ占有値ＯＣ、ピクチャ符号量ＤＢ及び符号量ＩＢとが入力され、次に結合するビデオデータ信号＃２の最初のピクチャの復号タイミングにおける復号器のバッファの占有値（Ｎｅｘｔ Ｏｃｃｕｐａｎｃｙ）ＮＯＣが下記の不等式
ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ） （１）
を満足するかどうか比較判定する。ここで、上記のバッファ占有値ＮＯＣは、ビデオデータ信号＃２の最初のヘッダ中に記述されているが、通常はこれは各ビデオデータ信号において同一値であるので、既知の固定値として用いている。
【００３６】
続いて、無効データ量計算器１３は、上記の不等式を満足する場合は、次式に基づいて無効データ（Ｓｔｕｆｆ Ｂｉｔｓ）量ＳＢを計算する。
【００３７】
ＳＢ＝（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ （２）
また、上記の不等式を満足しない場合は、無効データ量計算器１３は、上記の無効データ量ＳＢの値を０とする。
【００３８】
無効データ付加器１４は、無効データ量計算器１３から終了コードが削除されたビデオデータ信号＃１と無効データ量ＳＢとを入力として受け、ビデオデータ信号＃１の最後の１ピクチャに無効データ量ＳＢに応じたビット数分の無効データを付加し、それらの信号をビデオデータ接続器１５に出力する。ここで、上記の無効データは、例えばオール０のデータである。
【００３９】
ビデオデータ接続器１５は、無効データ付加器１４からの無効データが付加されたビデオデータ信号＃１を出力した後、次に結合するビデオデータ信号＃２を出力する。これにより、ビデオデータ接続器１５から結合ビデオデータ信号が図示しない復号器のバッファに出力される。
【００４０】
次に、この実施の形態によるデータ結合動作について更に詳細に説明する。ビデオデータ信号＃１と＃２の結合状態は、図２と図３に示す計３つのパターンに分類できる。
【００４１】
第１のパターンは、図２（Ａ）にＥＯで示すように、ビデオデータ信号＃１の最後の１ピクチャのバッファ占有値ＯＣから、その最後の１ピクチャの符号量ＤＢを差し引いた値に、前記入力符号量ＩＢを加算した値（ＯＣ−ＤＢ＋ＩＢ）が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと同一の場合であり、この場合は前記（１）式を満足しないので、無効データ量ＳＢが０とされる。
【００４２】
従って、ビデオデータ接続器１５から得られる結合ビデオデータ信号は、ビデオデータ信号＃１にビデオデータ信号＃２がそのまま結合されて出力される。この第１のパターンは、そのまま結合してもオーバーフローもアンダーフローも発生しない理想的なパターンであり、非常に稀なケースである。
【００４３】
第２のパターンは、図２（Ｂ）にＥＯで示すように、このまま結合するとオーバーフローを起こす可能性のあるパターンで、前記の値（ＯＣ−ＤＢ＋ＩＢ）がバッファ占有値ＮＯＣよりも大きい場合で、前記（１）式が満足されるので、無効データ計算器１３により前記（２）式に基づいて計算された無効データ量ＳＢに応じたビット数分の無効データが、ビデオデータ信号＃１の最後の１ピクチャの後に追加されて、ビデオデータ接続器１５から出力され、その後にビデオデータ信号＃２が出力される。
【００４４】
従って、復号器のバッファの占有値は、ビデオデータ信号＃１の最後の１ピクチャから次のビデオデータ信号＃２の最初のピクチャ復号タイミングまでの間は、図２（Ｂ）に破線ＩＩＩで示す如くに変化するため、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと同一値で結合される。これにより、この第２のパターンの場合も、理想的に結合され、オーバーフローもアンダーフローも生じないようにできる。
【００４５】
最後の第３のパターンは、図２（Ｃ）及び図３にそれぞれＥＯで示すように、前記の値（ＯＣ−ＤＢ＋ＩＢ）が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣよりも小さい場合であり、この場合は
ＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ） （３）
なる不等式が成立する。従って、前記（１）式を満足しないので、無効データ量ＳＢが０とされる。
【００４６】
ただし、この第３のパターンではそのまま結合すると、図１５と共に説明したように、アンダーフローする可能性がある。この第３のパターンについては、第１の実施の形態では、ビデオデータ信号＃１の最後のピクチャが復号器のバッファに蓄積されてから、次のビデオデータ信号＃２の最初のピクチャが蓄積後復号されるまでの時間Ｔｗだけ待ってから復号が行われるため、ビデオデータ信号＃１の最後に復号される１ピクチャが２ピクチャ分表示される。しかし、図２（Ｃ）に示すように、ビデオデータ信号＃１の最後のピクチャは、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと結合され、オーバーフローすることはないので、データが欠落するという最悪事態を回避することができる。
【００４７】
このように、上記の実施の形態では、オーバーフローするようなデータ結合時は無効データを付加することで、オーバーフローもアンダーフローも生じない理想的なビデオデータ信号の結合ができ、また、アンダーフローする可能性のあるデータ結合時も最低限データ欠落は生じないようにできる。
【００４８】
以上は復号器側の構成であるが、本発明は符号器側での処理も併せて行うことも可能である。図４はこの場合の本発明の第２の実施の形態の動作を説明するバッファ占有値の時間的変化を示す。
【００４９】
この実施の形態では、ビデオデータ信号＃１の最後のシーンを静止画又は静止画に近い画像で符号化した点に特徴がある。この場合は、ビデオデータ信号＃１の最後のシーンが静止画又は静止画に近い画像であるので、それを圧縮符号化した場合差分をとって符号化するので、このシーンではヘッダに殆ど符号化データが存在しないような符号が発生されるため、小さな符号発生量である。
【００５０】
従って、ビデオデータ信号＃１の最後のシーンでは、復号器のバッファ占有値は図４にＩＶで示すように、殆ど減らず（復号してもデータ量が微小なため）、バッファ占有値は増加し最大値に近付く。そのため、稀には前記第１のパターンとなるが、殆ど前記第２のパターンとなり、第１の実施の形態を併用すると、前述したようにオーバーフロー及びアンダーフローの両方の可能性がなくなり、理想的な結合ができる。
【００５１】
次に、本発明の第３の実施の形態について説明する。図５は本発明になる可変長符号化データの処理装置の第３の実施の形態の要部のブロック図、図６は本発明になる可変長符号化データの処理装置の第３の実施の形態の他の要部のブロック図を示す。図５において、可変長符号化されているビデオデータ信号（符号化ビデオデータ信号＃１、＃２）は、符号化情報観測器２０に供給され、ここで▲１▼その符号化ビデオデータ信号のＭＰＥＧ規格で定められたピクチャヘッダー中に記述されているＶＢＶバッファ占有値と、▲２▼その符号化ビデオデータ信号の最後のピクチャの最後に記述されているＶＢＶバッファ占有値と、▲３▼その符号化ビデオデータ信号の最後のピクチャのピクチャスタートコードから終了コードまでの符号量値がそれぞれ読み取られて、それらの符号化情報が記憶回路２１に記憶される。
【００５２】
ここで、上記の▲１▼のＶＢＶバッファ占有値が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおける復号器のバッファの占有値（Ｎｅｘｔ Ｏｃｃｕｐａｎｃｙ）ＮＯＣに相当し、▲２▼のＶＢＶバッファ占有値が、ビデオデータ信号＃１の最後の１ピクチャのバッファ占有値（Ｏｃｃｕｐａｎｃｙ）ＯＣに相当し、▲３▼の符号量値が、ビデオデータ信号＃１の最後の１ピクチャの符号量（Ｄａｔａ Ｂｉｔｓ）ＤＢに相当する。
【００５３】
なお、最後の１ピクチャが復号化されてから次のビデオデータ信号＃２のピクチャがそのまま入力されたとしたときに最初に復号化されるまでの時間に再生器に入力される符号量（Ｉｎｐｕｔ Ｂｉｔｓ）ＩＢは、符号化情報観測器２０において転送レートを１ピクチャ区間の時間で除算して計算し、記憶回路２１に記憶する。このような処理は、複数の符号化ビデオデータ信号を繋ぐ前に、前後の符号化ビデオデータ信号の符号化情報と共に観測されている必要がある。
【００５４】
本発明の第３の実施の形態の要部は、図６に示すように、終了コード削除器２２、符号削除器２３、追加／削除量計算器２４、無効データ付加器２５及び図５と共に説明した記憶回路２１からなる。図６の動作について説明するに、記憶回路２１に記憶されている上記のバッファ占有値ＮＯＣ、ＯＣ、符号量ＤＢ及びＩＢからなる符号化情報は、追加／削除量計算器２４に供給され、ここで以下のような判断がなされて削除符号量と無効データ量が計算される。
【００５５】
すなわち、追加／削除量計算器２４は、入力符号化情報が前記（１）式を満足するときは、前記（２）式に基づき無効データ量ＳＢを算出し、かつ、削除符号量（Ｄｅｌｅｔｅ Ｂｉｔｓ）ＤＥＢをゼロとする。入力符号化情報が前記（３）式を満足するときには、次式
ＤＥＢ＝ＮＯＣ−（ＯＣ−ＤＢ＋ＩＢ） （４）
に基づいて削除符号量ＤＥＢを算出し、かつ、無効データ量ＳＢをゼロとする。また、追加／削除量計算器２４は、入力符号化情報が前記（１）式及び（３）式のいずれも満足しないとき、すなわち、ＮＯＣ＝（ＯＣ−ＤＢ＋ＩＢ）のときには、上記の削除符号量ＤＥＢと無効データ量ＳＢの両方を共にゼロとする。追加／削除量計算器２４は、このようにして算出した削除符号量ＤＥＢと無効データ量ＳＢのうち、削除符号量ＤＥＢは符号削除器２３に供給し、無効データ量ＳＢは無効データ付加器２５に供給する。
【００５６】
一方、符号化ビデオデータ信号＃１は、図１の終了コード削除器１１と同一目的で同一構成の終了コード削除器２２に供給されて、データの最後に記述されているＭＰＥＧ規格の４バイトの終了コードが削除された後、符号削除器２３に供給され、ここで、少なくとも最後のピクチャを含む数フレームに記述されているピクチャ符号化データのＡＣ（交流）成分に対応する符号が、追加／削除量計算器２４により計算された前記削除符号量ＤＥＢだけ削除される。バッファ占有値を合わせるためである。ただし、ＤＥＢ＝０のときには削除は行われない。
【００５７】
図７は上記の符号削除器２３の一例のブロック図を示す。この符号削除器２３では、符号化ビデオデータ信号＃１がＶＬＤ器３１に供給されて可変長復号化される。ここで、ＭＰＥＧ規格では、ピクチャのマクロブロックのＡＣ符号コードは表１に従って可変長符号（ＶＬＣ）化された、ハフマン符号である。
【００５８】
【表１】
【００５９】
マクロブロックの中には輝度信号４つ、色信号２つの計６つ分の８×８画素のブロックが存在する。これらのブロックのそれぞれにＡＣ符号が存在する。これらブロック内のハフマン符号事象は、図９に示すように、量子化された変換係数を低周波空間周波数成分から高周波に向かってジグザクに並べたとき、０以外の有効係数が検出されるまでの、０の継続個数を示すラン（ＲＵＮ）と、それに続く非ゼロの有効係数のレベル（ＬＥＶＥＬ）との組み合わせの事象によって表現されている。
【００６０】
すなわち、これらを展開したとすると、イントラ（フレーム内符号化）と非イントラとでは図９に示すように、最初の係数がＤＣ成分であるか否かの違いはあるが、いずれにしても図１０に示すように、８×８画素の領域に展開される。そして、上記のランとレベルの組み合わせに基づいて、表１により可変長符号化されたのが、符号化ビデオデータ信号である。
【００６１】
図７のＶＬＤ器３１は、このようにＡＣ符号（ＡＣ係数）の”ランとレベル”事象と、その符号長を検出して、図１１に示すようなＡＣ符号の送られてくる順番、すなわち低域の信号から並べたときの、その符号長の累積符号量と、ジグザクスキャンしたときの係数位置を示すアドレスを計算し、その情報をＶＬＤ情報として符号化ビデオデータ信号と共に、図７のＡＣ符号削除器３２へ出力する。
【００６２】
一方、図７の削除符号量制御回路３３は、図６に示した追加／削除量計算器２４から入力された削除符号量ＤＥＢと、図７に示す後述の符号量カウンタ３５からの削除対象のピクチャ符号量情報とに基づき、どのくらい削除するかの割合を計算し、その計算結果を削除割合情報としてＡＣ符号削除器３２に供給する。
【００６３】
ＡＣ符号削除器３２は、ＶＤＬ器３１からの符号化ビデオデータ信号及びＶＬＤ情報と、削除符号量制御回路３３からの削除割合情報とを入力として受け、これらに基づいて、符号化ビデオデータ信号中のＡＣ符号を削除する。ＶＬＤ情報は、ＡＣ符号とその符号長を含んでいる。ＡＣ符号削除器３２は、図１０に示したように、直交変換された係数を低域空間周波数成分から高周波に向かって並べて、その符号長の累積符号量の最後の値であるトータル符号量に、（１−削除割合）を乗じた値までを有効とし、それ以降の符号を削除する。削除後のＡＣ符号にＥＯＢ（エンド・オブ・ブロック）コードを出力する。この操作によって、各ブロックのＡＣ符号が削除割合分だけ削除される。
【００６４】
このようにして、全部のブロックについて削除処理がなされた符号化ビデオデータ信号は、１ピクチャ分バッファ３４に蓄積された後、ピクチャ全体の符号が符号量カウンタ３５でカウントされる。符号量カウンタ３５で得られたピクチャ全体の符号量を示すピクチャ符号量情報は、削除符号量制御回路３３に供給される。また、バッファ３４からの削除されたピクチャ符号化データは、符号量カウンタ３５を通してＶＬＤ器３１に送られる。
【００６５】
削除符号量制御回路３３により計算された削除割合が０以下になるまで、上記の動作が繰り返され、削除割合が０以下になると、最終的に削除する符号量分が削除されたので、ＡＣ符号削除器３２は削除動作を終了し、変換された符号化ビデオデータ信号としてバッファ３４に出力する。この場合、ＡＣ符号削除器３２は、ＡＣ符号以外の部分は何も操作せず、バッファ２７に送信する。
【００６６】
なお、削除するピクチャを１枚にする場合、１ピクチャだけに大きな劣化を伴う場合がある。また、１ピクチャだけでは予定の削除量を達成できない場合もあり、その場合には最後のピクチャだけでなく、最後から複数のピクチャに等分割したり、それらのピクチャの発生符号量比率で分割することで削除符号を分配してもよい。
【００６７】
再び図６に戻って説明するに、符号削除器２３で少なくとも最後のピクチャを含む数フレームに記述されているピクチャ符号化データのＡＣ（交流）成分に対応する符号が、追加／削除量計算器２４により計算された前記削除符号量ＤＥＢだけ削除されたビデオデータ信号は、無効データ付加器２５に供給され、ここで追加／削除量計算器２４からの無効データ量ＳＢに応じた量の無効データが付加されて、変換された符号化ビデオデータ信号として出力される。上記の無効データとしては、ＭＰＥＧで規定されている無効データ（ヌルデータ（０データ））がある。
【００６８】
このように処理された符号化ビデオデータ信号は、図１に示したビデオデータ接続器１５と同様のビデオデータ接続器２６に供給されて、次に結合されるべき符号化ビデオデータ信号＃２と直接に接続され、結合ビデオデータ信号として出力される。この実施の形態では、図２（Ａ）及び図２（Ｂ）及び図３に示したように、符号化された入力ビデオデータ信号＃１と符号化された入力ビデオデータ信号＃２とを直接に結合できる。
【００６９】
例えば、図３に示したように、ビデオデータ信号＃１の最後の１ピクチャのバッファ占有値ＯＣから、その最後の１ピクチャの符号量ＤＢを差し引いた値に、前記入力符号量ＩＢを加算した値（ＯＣ−ＤＢ＋ＩＢ）が、次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣよりも小さな第３のパターンの場合、追加／削除量計算器２４が（４）式に基づいて削除符号量ＤＥＢを算出し、かつ、無効データ量ＳＢをゼロとするようにしているため、ビデオデータ信号＃１の最後のピクチャは、図３に示すように次のビデオデータ信号＃２の最初のピクチャ復号タイミングにおけるバッファ占有値ＮＯＣと同一値で結合される。これにより、この第３のパターンの場合も、この実施の形態によれば、理想的に結合され、オーバーフローもアンダーフローも生じないようにできる。
【００７０】
このように、この実施の形態によれば、上記の接続に際して２つの符号化ビデオデータ信号を直接に繋いでも、ＭＰＥＧの規格に準拠しているため、予め結合することを意識しないで符号化された符号化ビデオデータ信号同士を、復号器のビットストリーム蓄積用のバッファを破綻させずに、結合することができる。
【００７１】
なお、上記のＡＣ符号削除処理を行う場合、この処理によってＭＰＥＧのＰピクチャやＩピクチャでは、その次の片方向ピクチャ間予測を巡回して行うので、誤差が蓄積して劣化が目立つ場合がある。その場合には、ＡＣ符号の削除は双方向ピクチャ間予測符号化されたＢピクチャに限定することも効果的である。これにより、巡回による誤差の蓄積を防ぐことができる。
【００７２】
次に、本発明の第４の実施の形態について説明する。この実施の形態では、ＭＰＥＧにおけるＰピクチャやＢピクチャのスキップト・マクロブロック（Ｓｋｉｐｐｅｄ−ＭＢ）なる概念を利用したものである。すなわち、あるマクロブロック（ＭＢ）において、予測した結果、動きベクトル（ＭＶ）も０で、かつ、予測画像と被予測画像の差分画像に着目した場合も全く誤差がない状態にあるＭＢは、ＤＣ（直流）やＡＣのデータを全く送らないモードが存在する（ただし、Ｂピクチャの場合は、動きベクトルが０でなくても、一つ前のＭＢの動きベクトルとの差分が０であればよい。）。
【００７３】
この状況のＭＢが、画面全体に存在すると仮定すると、最低限のピクチャやスライスのヘッダ以外、必要なくなる。例えば、ＭＰＥＧ１では、スライスの最初と最後のＭＢはスキップトＭＢにできないが、それ以外のほぼ画面全体のＭＢをスキップトＭＢとしたと仮定すると、スライスの構成（数）にもよるが、２５６〜１０００ビット余りで符号化できる。このコードを持つピクチャはＰピクチャでもＢピクチャでも予測画像から見て動きが全く無い状態であることを示しているのであり、これを積極的に使用することにより、動いている画像のＰピクチャやＢピクチャの符号の代わりに、この全体がスキップトＭＢであったと仮定した符号とすり替えることで、前の予測画像と同じ画像であったこととして符号化データを変更することが可能である。
【００７４】
これはＭＰＥＧの規格に準じたコードであり、実際に入力画像がその部分において全く動かない画像であったなら、結果として同じ符号化データを出力したはずのものである。全体がスキップトＭＢであったと仮定したピクチャの符号は、単純フレーム間予測（Ｎｏ ＭＣ）で、ＤＣＴ係数を持たない符号化不要（Ｎｏｔ Ｃｏｄｅｄ）な符号であるので、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコードという名称で定義すると、このＮｏＭＣ，ＮｏｔＣｏｄｅｄコードは、予測画像に依存せず、一意に決定できるので、予めこのコードをリード・オンリ・メモリ（ＲＯＭ）などに記憶しておき、必要に応じて、ＰピクチャやＢピクチャの符号をＮｏＭＣ，ＮｏｔＣｏｄｅｄコードに交換すればよい。
【００７５】
勿論、この場合、復号した画像は、静止するのはやむを得ないが、前述したＡＣ符号削除器３２の処理に比べると、高速でコストも安く実現可能である。また、ＡＣ削除に比べて大きくバッファ占有量を上げることが可能である。図８は、この機能を利用した本発明の第４の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。
【００７６】
図８において、前記バッファ占有値ＮＯＣ、ＯＣ、符号量ＤＢ及びＩＢからなる符号化情報は、記憶回路２１から追加／削除量計算器４３に供給され、ここで以下のような判断がなされて無効データ量ＳＢが計算され、かつ、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグが作成される。また、予め作成したＮｏＭＣ，ＮｏｔＣｏｄｅｄコードの量を、ＮＭＮＣビットとする。
【００７７】
すなわち、追加／削除量計算器４３は、入力符号化情報がＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）を満足するときは、前記（２）式に基づき無効データ量ＳＢを算出し、かつ、削除符号量（Ｄｅｌｅｔｅ Ｂｉｔｓ）ＤＥＢをゼロとする。入力符号化情報がＮＯＣ＞（ＯＣ−ＤＢ＋ＩＢ）を満足するときには、前記（４）式に基づいて削除符号量ＤＥＢを算出し、かつ、無効データ量ＳＢをゼロとすると共に、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグを”１”とし、ＤＢをＮＭＮＣと置き換える。
【００７８】
更に、追加／削除量計算器４３は、入力符号化情報が前記（１）式及び（３）式のいずれも満足しないとき、すなわち、ＮＯＣ＝（ＯＣ−ＤＢ＋ＩＢ）のときには、上記の削除符号量ＤＥＢと無効データ量ＳＢの両方を共にゼロとし、かつ、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグを”０”とする。追加／削除量計算器４３は、このようにして算出したＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグと無効データ量ＳＢのうち、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグはＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２に供給し、無効データ量ＳＢは無効データ付加器２５に供給する。
【００７９】
一方、符号化されている入力ビデオデータ信号＃１は、終了コード削除器２２により終了コードが削除された後、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２に供給される。ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２は、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグが”１”の場合のみ、入力されたピクチャ符号化データを上記のＮｏＭＣ，ＮｏｔＣｏｄｅｄコードに変換する。このＮｏＭＣ，ＮｏｔＣｏｄｅｄコードは、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコードＲＯＭ４１に予め記憶されているＮｏＭＣ，ＮｏｔＣｏｄｅｄコードを読み出して用いる。ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器４２は、ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換フラグが”０”の場合は、特に変換処理を行わない。
【００８０】
このように変換処理を受けたビデオデータ信号は、無効データ付加器２５に供給され、ここで追加／削除量計算器４３からの無効データ量ＳＢに応じた量の無効データが付加された後、ビデオデータ接続器２６に供給されて、次に結合されるべき符号化ビデオデータ信号＃２と直接に接続され、結合ビデオデータ信号として出力される。
【００８１】
この実施の形態によれば、上記の接続に際して２つの符号化ビデオデータ信号を直接に繋いでも、ＭＰＥＧの規格に準拠しているため、予め結合することを意識しないで符号化された符号化ビデオデータ信号同士を、復号器のビットストリーム蓄積用のバッファを破綻させずに、結合することができる。また、この実施の形態では、ＡＣ符号の削除を行わずに、最小限の符号でそのフレームをリピートするコードに置き換えているので、非常に簡便な方法で復号器のバッファの占有値を調整することができる。
【００８２】
なお、本発明は以上の実施の形態に限定されるものではなく、結合する可変長符号化データはビデオデータ以外の種類のデータでもよく、要は可変長符号化されたデータであって、バッファを復号器に持っているものであれば、どのような種類の符号化データにも適用可能である。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおけるバッファ占有値との比較結果に応じたデータ量を計算し、そのデータ量を無効データとして第１の可変長符号化データの最後の圧縮部分データに追加し、その後に第２の可変長符号化データを結合することにより、無効データのデータ量だけ第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおけるバッファ占有値を下げ、よって復号器のバッファを少なくともオーバーフローすることを防止できるため、結合によるデータの欠落を無くすことができ、またアンダーフローが生じても、結合時に１〜２フレーム程度のフリーズができるので、結合時の不都合を従来に比べて大幅に低減できる。
【００８５】
また、本発明によれば、第１の可変長符号化データの最後のシーンを、静止画又は静止画に近い画像のピクチャに符号化するようにしたため、最後のシーンの発生符号量を極めて少なくでき、バッファ占有値推移を最大値に近付けることができるため、上記の無効データの付加により、オーバーフローだけでなくアンダーフローも生じないようにでき、理想的な２つの可変長符号化データの結合ができる。
【図面の簡単な説明】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】本発明によるデータ結合動作を説明する図である。
【図３】図６の実施の形態によるデータ結合動作の一例を説明する図である。
【図４】本発明の第２の実施の形態におけるバッファ占有値の時間的変化を示す図である。
【図５】本発明装置の第３の実施の形態の要部のブロック図である。
【図６】本発明装置の第３の実施の形態の他の要部のブロック図である。
【図７】図６中の符号削除器の一例のブロック図である。
【図８】本発明装置の第４の実施の形態のブロック図である。
【図９】ＡＣ係数のジグザグスキャンを説明する図である。
【図１０】ＡＣ係数（符号）の一例を示す図である。
【図１１】ＡＣ係数コードの一例を示す図である。
【図１２】ＭＰＥＧのピクチャタイプにおける発生符号量の説明図である。
【図１３】復号器のバッファの占有値の時間的変化の一例を示す図である。
【図１４】２つのビデオデータ信号の結合の一例を説明する図である。
【図１５】アンダーフローが発生するときの２つのビデオデータ信号の復号器のバッファの占有値の時間的変化の一例と結合を説明する図である。
【図１６】オーバーフローが発生するときの２つのビデオデータ信号の復号器のバッファの占有値の時間的変化の一例と結合を説明する図である。
【符号の説明】
１１、２２ 終了コード削除器
１２ バッファ占有値計算器
１３ 無効データ量計算器
１４、２５ 無効データ付加器
１５、２６ ビデオデータ接続器
２０ 符号化情報観測器
２１ 記憶回路
２３ 符号削除器
２４、４３ 追加／削除量計算器
３１ ＶＬＤ器
３２ ＡＣ符号削除器
３３ 削除符号量制御回路
３４ バッファ
３５ 符号量カウンタ
４１ ＮｏＭＣ，ＮｏｔＣｏｄｅｄコードＲＯＭ
４２ ＮｏＭＣ，ＮｏｔＣｏｄｅｄコード変換器
Claims (2)
- 復号器のバッファの占有値がオーバーフロー及びアンダーフローしないようにそれぞれ可変長符号化された、後端に終了コードを有し、かつ、それぞれ複数の圧縮部分データからなる第１及び第２の可変長符号化データを結合して、復号器のバッファへ出力する可変長符号化データの処理方法において、
前記第１の可変長符号化データの終了コードを削除した後、前記第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおける前記バッファ占有値をＯＣ、前記最後の圧縮部分データの符号量をＤＢ、前記最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量をＩＢとしたとき、（ＯＣ−ＤＢ＋ＩＢ）で表される値である、前記第１の可変長符号データの最後の圧縮部分データの復号タイミングにおける前記バッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と前記第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおける前記バッファ占有値とを大小比較し、前記第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおける前記バッファ占有値をＮＯＣとしたとき、ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）のときは[（ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ]で表され、ＮＯＣ≧（ＯＣ−ＤＢ＋ＩＢ）のときは０で表される無効データのデータ量を計算し、前記第１の可変長符号化データの最後の圧縮部分データに前記計算した無効データを追加した後、前記第２の可変長符号化データを結合して復号器のバッファへ出力することを特徴とする可変長符号化データの処理方法。 - 復号器のバッファの占有値がオーバーフロー及びアンダーフローしないようにそれぞれ可変長符号化された、後端に終了コードを有し、かつ、それぞれ複数の圧縮部分データからなる第１及び第２の可変長符号化データを結合して、復号器のバッファへ出力する可変長符号化データの処理装置において、
前記第１の可変長符号化データの終了コードを削除する終了コード削除器と、 前記終了コード削除器により終了コードが削除された前記第１の可変長符号化データの最後の圧縮部分データの復号タイミングにおける前記バッファ占有値をＯＣ、前記最後の圧縮部分データの符号量をＤＢ、前記最後の圧縮部分データが復号化されてから次の圧縮部分データが復号化されるまでの時間に復号器に入力される符号量をＩＢとしたとき、（ＯＣ−ＤＢ＋ＩＢ）で表される値である、前記第１の可変長符号データの最後の圧縮部分データの復号タイミングにおける前記バッファ占有値又はＭＰＥＧに規定されているバッファ占有値に関連した値と前記第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおける前記バッファ占有値とを大小比較し、前記第２の可変長符号化データの最初の圧縮部分データの復号タイミングにおける前記バッファ占有値をＮＯＣとしたとき、ＮＯＣ＜（ＯＣ−ＤＢ＋ＩＢ）のときは [ （ＯＣ−ＤＢ＋ＩＢ）−ＮＯＣ ] で表され、ＮＯＣ≧（ＯＣ−ＤＢ＋ＩＢ）のときは０で表される無効データのデータ量を計算する計算器と、
前記計算器により計算されたデータ量の前記無効データを、前記終了コードが削除されている第１の可変長符号化データの最後の圧縮部分データに追加する付加器と、
前記付加器からの前記無効データが付加された第１の可変長符号化データに続いて前記第２の可変長符号化データを結合して復号器のバッファへ出力する接続器と
を有することを特徴とする可変長符号化データの処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP811098A JP3555729B2 (ja) | 1997-04-22 | 1998-01-19 | 可変長符号化データの処理方法及び装置 |
| TW87105736A TW395134B (en) | 1997-04-22 | 1998-04-15 | Method and device for processing variable length code data |
| US09/063,845 US6154494A (en) | 1997-04-22 | 1998-04-21 | Variable length coded data processing method and device for performing the same method |
| CNB981073433A CN1156796C (zh) | 1997-04-22 | 1998-04-21 | 可变长度编码数据的处理方法及装置 |
| KR1019980014124A KR100280592B1 (ko) | 1997-04-22 | 1998-04-21 | 가변 길이 부호화 데이터의 처리 방법 및 장치 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10495197 | 1997-04-22 | ||
| JP9-104951 | 1997-04-22 | ||
| JP811098A JP3555729B2 (ja) | 1997-04-22 | 1998-01-19 | 可変長符号化データの処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH118850A JPH118850A (ja) | 1999-01-12 |
| JP3555729B2 true JP3555729B2 (ja) | 2004-08-18 |
Family
ID=26342557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP811098A Expired - Lifetime JP3555729B2 (ja) | 1997-04-22 | 1998-01-19 | 可変長符号化データの処理方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6154494A (ja) |
| JP (1) | JP3555729B2 (ja) |
| KR (1) | KR100280592B1 (ja) |
| CN (1) | CN1156796C (ja) |
| TW (1) | TW395134B (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100664452B1 (ko) * | 1998-02-03 | 2007-01-04 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치 |
| EP0944261A3 (en) * | 1998-03-17 | 1999-10-06 | Matsushita Electric Industrial Co., Ltd. | Video signal processing apparatus |
| US6567554B1 (en) | 1999-03-12 | 2003-05-20 | Victor Company Of Japan, Limited | Data coding method and apparatus therefor |
| JP2002142192A (ja) * | 2000-11-01 | 2002-05-17 | Sony Corp | 信号処理装置および方法、ならびに、記録装置および方法 |
| US7752419B1 (en) | 2001-03-22 | 2010-07-06 | Qst Holdings, Llc | Method and system for managing hardware resources to implement system functions using an adaptive computing architecture |
| US20040133745A1 (en) | 2002-10-28 | 2004-07-08 | Quicksilver Technology, Inc. | Adaptable datapath for a digital processing system |
| US6836839B2 (en) | 2001-03-22 | 2004-12-28 | Quicksilver Technology, Inc. | Adaptive integrated circuitry with heterogeneous and reconfigurable matrices of diverse and adaptive computational units having fixed, application specific computational elements |
| US7962716B2 (en) | 2001-03-22 | 2011-06-14 | Qst Holdings, Inc. | Adaptive integrated circuitry with heterogeneous and reconfigurable matrices of diverse and adaptive computational units having fixed, application specific computational elements |
| US7489779B2 (en) | 2001-03-22 | 2009-02-10 | Qstholdings, Llc | Hardware implementation of the secure hash standard |
| US7653710B2 (en) | 2002-06-25 | 2010-01-26 | Qst Holdings, Llc. | Hardware task manager |
| US7400668B2 (en) | 2001-03-22 | 2008-07-15 | Qst Holdings, Llc | Method and system for implementing a system acquisition function for use with a communication device |
| US6577678B2 (en) | 2001-05-08 | 2003-06-10 | Quicksilver Technology | Method and system for reconfigurable channel coding |
| US7046635B2 (en) | 2001-11-28 | 2006-05-16 | Quicksilver Technology, Inc. | System for authorizing functionality in adaptable hardware devices |
| US6986021B2 (en) | 2001-11-30 | 2006-01-10 | Quick Silver Technology, Inc. | Apparatus, method, system and executable module for configuration and operation of adaptive integrated circuitry having fixed, application specific computational elements |
| US8412915B2 (en) | 2001-11-30 | 2013-04-02 | Altera Corporation | Apparatus, system and method for configuration of adaptive integrated circuitry having heterogeneous computational elements |
| US7602740B2 (en) | 2001-12-10 | 2009-10-13 | Qst Holdings, Inc. | System for adapting device standards after manufacture |
| US7215701B2 (en) | 2001-12-12 | 2007-05-08 | Sharad Sambhwani | Low I/O bandwidth method and system for implementing detection and identification of scrambling codes |
| US7403981B2 (en) | 2002-01-04 | 2008-07-22 | Quicksilver Technology, Inc. | Apparatus and method for adaptive multimedia reception and transmission in communication environments |
| US7493375B2 (en) | 2002-04-29 | 2009-02-17 | Qst Holding, Llc | Storage and delivery of device features |
| US7328414B1 (en) | 2003-05-13 | 2008-02-05 | Qst Holdings, Llc | Method and system for creating and programming an adaptive computing engine |
| US7660984B1 (en) | 2003-05-13 | 2010-02-09 | Quicksilver Technology | Method and system for achieving individualized protected space in an operating system |
| US8108656B2 (en) | 2002-08-29 | 2012-01-31 | Qst Holdings, Llc | Task definition for specifying resource requirements |
| US7937591B1 (en) | 2002-10-25 | 2011-05-03 | Qst Holdings, Llc | Method and system for providing a device which can be adapted on an ongoing basis |
| US7478031B2 (en) | 2002-11-07 | 2009-01-13 | Qst Holdings, Llc | Method, system and program for developing and scheduling adaptive integrated circuity and corresponding control or configuration information |
| US8276135B2 (en) | 2002-11-07 | 2012-09-25 | Qst Holdings Llc | Profiling of software and circuit designs utilizing data operation analyses |
| US7343087B2 (en) * | 2002-11-12 | 2008-03-11 | Matsushita Electric Industrial Co., Ltd. | Data stream playback device and method, digital broadcast receiver and related computer program |
| US7225301B2 (en) | 2002-11-22 | 2007-05-29 | Quicksilver Technologies | External memory controller node |
| US7609297B2 (en) | 2003-06-25 | 2009-10-27 | Qst Holdings, Inc. | Configurable hardware based digital imaging apparatus |
| KR100594459B1 (ko) * | 2004-11-23 | 2006-07-03 | 엘지전자 주식회사 | 화상데이터 최적디코딩기능이 구비된 이동통신단말기 및그 제어방법 |
| US20060256854A1 (en) * | 2005-05-16 | 2006-11-16 | Hong Jiang | Parallel execution of media encoding using multi-threaded single instruction multiple data processing |
| WO2011091323A1 (en) | 2010-01-21 | 2011-07-28 | Qst Holdings, Llc | A method and apparatus for a general-purpose, multiple-core system for implementing stream-based computations |
| US10395701B1 (en) * | 2018-05-09 | 2019-08-27 | Micron Technology, Inc. | Memory device with a latching mechanism |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100206261B1 (ko) * | 1992-02-28 | 1999-07-01 | 윤종용 | 디지탈 vtr의 영상신호 대역 압축장치 |
| US5666161A (en) * | 1993-04-26 | 1997-09-09 | Hitachi, Ltd. | Method and apparatus for creating less amount of compressd image data from compressed still image data and system for transmitting compressed image data through transmission line |
| JP3427505B2 (ja) * | 1994-08-25 | 2003-07-22 | 松下電器産業株式会社 | 画像符号化方法と編集装置 |
| US5825313A (en) * | 1995-08-01 | 1998-10-20 | Sony Corporation | Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof |
-
1998
- 1998-01-19 JP JP811098A patent/JP3555729B2/ja not_active Expired - Lifetime
- 1998-04-15 TW TW87105736A patent/TW395134B/zh not_active IP Right Cessation
- 1998-04-21 US US09/063,845 patent/US6154494A/en not_active Expired - Lifetime
- 1998-04-21 KR KR1019980014124A patent/KR100280592B1/ko not_active Expired - Lifetime
- 1998-04-21 CN CNB981073433A patent/CN1156796C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR19980081566A (ko) | 1998-11-25 |
| CN1210316A (zh) | 1999-03-10 |
| CN1156796C (zh) | 2004-07-07 |
| KR100280592B1 (ko) | 2001-02-01 |
| TW395134B (en) | 2000-06-21 |
| US6154494A (en) | 2000-11-28 |
| JPH118850A (ja) | 1999-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3555729B2 (ja) | 可変長符号化データの処理方法及び装置 | |
| JP2891772B2 (ja) | イメージフレームのランダムスキャンニングを用いるディジタルイメージコーディング法 | |
| JP3593988B2 (ja) | 動画像信号圧縮装置及び方法 | |
| US5592302A (en) | Coding method for coding pixel blocks and apparatus therefor | |
| JP3651941B2 (ja) | 画像再生装置 | |
| US7095448B2 (en) | Image processing circuit and method for modifying a pixel value | |
| JP3980659B2 (ja) | 動画像符号化方法及び装置、動画像復号化方法及び装置。 | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP4264571B2 (ja) | ディジタル画像復号装置及び方法、並びに記録媒体 | |
| JP3531186B2 (ja) | ビデオ信号符号化方法及び装置 | |
| JPWO2002080567A1 (ja) | 画像信号量子化装置およびその方法 | |
| US6064772A (en) | Image reproducing apparatus and image reproducing method | |
| JP3240024B2 (ja) | 画像処理方法 | |
| JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
| JPH10336586A (ja) | 画像処理装置および画像処理方法 | |
| JPH07231449A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
| JP3800965B2 (ja) | データレート変換装置 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP2000333180A (ja) | スキップマクロブロック禁止制御方法、スキップマクロブロック禁止制御装置およびスキップマクロブロック禁止制御プログラムを記録した媒体 | |
| JPH11205803A (ja) | 符号化装置及び符号化方法 | |
| JP2002354484A (ja) | 符号化画像のレート変換方法、及び符号化画像レート変換装置 | |
| US7095785B2 (en) | Determination of prediction direction in MPEG-4 | |
| US20030031259A1 (en) | Bit stream code lookup table for an MPEG-4 code word | |
| KR100210124B1 (ko) | 영상복호화기의 데이터 디포맷팅 회로 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031225 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040506 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |