JP4487374B2 - 符号化装置及び符号化方法並びに多重化装置及び多重化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ符号ストリームの符号化装置及び符号化方法並びに多重化装置及び多重化方法に関する。
【０００２】
【従来の技術】
動画像を示すビデオストリームを符号化する手法として、ＭＰＥＧ（Moving Picture Experts Group）規格がある。このＭＰＥＧ規格は、エンコーダ出力に接続される仮想的なデコーダモデルを規定している。すなわち、ＭＰＥＧ規格では、エンコードしたビデオストリームが入力されるデコーダ側のバッファのアンダーフロー及びオーバーフローを防止するために、エンコードを行うときに想定するデコーダ側のバッファ容量を制限している。このようにＭＰＥＧ規格では、デコーダモデルに含まれるバッファの占有量に対する制限によって、ビデオストリームをエンコードする処理に対する制限を規定している。ここで、上記仮想的なデコーダモデルはＶＢＶ（Video Buffering Verifier）と呼ばれ、上述の想定するデコーダ側のバッファはＶＢＶバッファと呼ばれている。
【０００３】
そして、ＭＰＥＧ規格に従ってビデオストリームをエンコードするときには、上記ＶＢＶバッファをアンダーフロー及びオーバーフローさせないように行う必要がある。例えばＭＰＥＧ２規格のＭＰ＠ＭＬ（Main Profile at Main Level）におけるＶＢＶバッファサイズは、１．７５Ｍｂｉｔと規定されている。
【０００４】
エンコーダは、各ピクチャに含まれランダムアクセス時のバッファの初期状態を示すvbv-delayという１６ビットのフィールドを符号化する。上記vbv-delayの値は、そのピクチャを復号するときにＶＢＶバッファに必要なビット占有量を表す。そして、仮想的なデコーダは、あるピクチャを復号するとき、そのピクチャに付加されたvbv_delayを読み出し、ＶＢＶバッファがvbv_delayで示されるビット占有量になったときにそのピクチャを復号する。
【０００５】
ところで、ＭＰＥＧ規格で符号化された２つのビデオストリームをピクチャ単位の精度で継ぎ合わせるように編集処理を行うとき、２つのビデオストリームを継ぎ合わせる点となる編集点の前後のピクチャの数枚を再エンコードする場合がある。このとき、編集処理されたビデオストリームをデコーダがシームレスに復号して画像の再生を行うためには、ＶＢＶバッファのオーバーフロー及びアンダーフローが発生しないように、ビデオストリームが編集され、再エンコードされていることを要する。そのため、編集されたビデオストリームにおいて、編集点に対して時間的に前に位置するアウト点側のピクチャと、編集点に対して時間的に後に位置するイン点側のピクチャとを次のように再エンコードする。
【０００６】
アウト点側のピクチャを再エンコードするときには、先ず、エンコーダは、再エンコードする最初のピクチャの一つ前のピクチャのvbv-delayを読み出す。次に、エンコーダは、再エンコードする最初のピクチャがＶＢＶによりデコードされるときのＶＢＶバッファの初期ビット占有量を、読み出したvbv-delayを用いて計算する。そして、エンコーダは、計算した初期ビット占有量からＶＢＶモデルに従って、ピクチャを再エンコードする。
【０００７】
また、イン点側のピクチャを再エンコードするときには、先ず、エンコーダは、再エンコードする最後のピクチャの次のピクチャのvbv-delayを読み出す。次に、エンコーダは、再エンコードする最後のピクチャがＶＢＶによりデコード終了するときのＶＢＶバッファに必要なビット占有量を、読み出したvbv-delayを用いて計算する。そして、エンコーダは、計算したビット占有量からＶＢＶモデルに従ってピクチャを再エンコードする。
【０００８】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ２規格においては、ピクチャ層のヘッダ情報にvbv_delayの値をエンコードしてビデオストリームに含めるか否かはオプションとなされている。したがって、上述のエンコーダは、ＭＰＥＧ２規格でエンコードされたビデオストリームのピクチャ層のヘッダ情報として含まれているvbv-delayの１６ビットのフィールドを“０×ＦＦＦＦ”という値としてエンコードすることが多かった。このようにvbv-delayの値をオプションとしてエンコードを行うと、任意のピクチャについてのＶＢＶバッファのビット占有量を正しく計算することができず、上述のエンコーダでは、編集処理を行うときにおいて、ビット占有量を計算して再エンコードをすることができない。
【０００９】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、編集処理行うときにおいてビデオストリームの一部を再エンコードするとき、ピクチャ層のパラメータとして含まれるvbv-delayを参照しなくても、ビデオストリームを再エンコードすることができる符号化装置及び符号化方法並びに多重化装置及び多重化方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決し上記目的を達成するため提案される本発明に係る符号化装置は、符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャで終了する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算する第１のビット占有量計算手段と、上記第１のビット占有量計算手段で計算した第１のビット占有量に基づいて、上記第１のピクチャの後に接続され第２のピクチャから開始し第３のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算する第２のビット占有量計算手段と、上記第２のビット占有量に基づいて、上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定する割り当てビット量決定手段と、上記割り当てビット量で生成される第２の符号化ストリームの第３のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第３のビット占有量を計算する第３のビット占有量計算手段と、上記第２の符号化ストリームの第３のピクチャの後に接続され第４のピクチャから開始する第３の符号化ストリームの第４のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算する初期ビット占有量計算手段と、上記第３のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、上記第３のビット占有量が上記初期ビット占有量より小さい場合、上記第３のビット占有量が上記初期ビット占有量以上となるように上記第２の符号化ストリームの第２のピクチャを上記第１の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する符号化制御手段とを備える。
【００１２】
ここで、上記仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものが用いられる。
【００１３】
また、本発明に係る符号化方法は、符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャで終了する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算し、上記第１のビット占有量に基づいて、上記第１のピクチャの後に接続され第２のピクチャから開始し第３のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算し、上記第２のビット占有量に基づいて、上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定し、上記割り当てビット量で生成される第２の符号化ストリームの第３のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第３のビット占有量を計算し、上記第２の符号化ストリームの第３のピクチャの後に接続され第４のピクチャから開始する第３の符号化ストリームの第４のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算し、上記第３のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、上記第３のビット占有量が上記初期ビット占有量より小さい場合、上記第３のビット占有量が上記初期ビット占有量以上となるように上記第２の符号化ストリームの第２のピクチャを上記第１の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する。
【００１５】
ここで、仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものが用いられる。
【００１６】
更に、本発明に係る符号化装置は、符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算する第１のビット占有量計算手段と、上記第１のビット占有量計算手段で計算した第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算する初期ビット占有量計算手段と、上記初期ビット占有量に基づいて、上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの各ピクチャの割り当てビット量を決定するビット量決定手段と、上記割り当てビット量で生成される第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算する第２のビット占有量計算手段と、上記第２のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、上記第２のビット占有量が上記初期ビット占有量より小さい場合、上記第２のビット占有量が上記初期ビット占有量以上となるように上記第１の符号化ストリームの第１のピクチャを上記第２の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する符号化制御手段とを備える符号化装置。
【００１７】
ここで、仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものが用いられる。
【００１８】
更にまた、本発明に係る符号化方法は、符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算し、上記第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算し、上記初期ビット占有量に基づいて、上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの各ピクチャの割り当てビット量を決定し、上記割り当てビット量で生成される第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算し、上記第２のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、上記第２のビット占有量が上記初期ビット占有量より小さい場合、上記第２のビット占有量が上記初期ビット占有量以上となるように上記第１の符号化ストリームの第１のピクチャを上記第２の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する。
【００１９】
更にまた、本発明に係る多重化装置は、符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算する第１のビット占有量計算手段と、上記第１のビット占有量計算手段で計算した第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算する初期ビット占有量計算手段と、上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量が、上記初期ビット占有量以上となるように上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定する割り当てビット量決定手段と、上記割り当てビット量に基づいて上記第２の符号化ストリームを生成して多重化する多重化手段と、上記仮想的なシステムターゲットデコーダモデルのビデオバッファに、上記第２の符号化ストリームに続いて上記第１の符号化ストリームの第１のピクチャが入力されるときの第３のビット占有量が所定の範囲内であるか否かを判定する判定手段と、上記第３のビット占有量が所定の範囲内でない場合、上記第１のピクチャの上記仮想的なシステムターゲットデコーダモデルへの入力時刻を遅らせるように上記第１のピクチャを含むビデオパックの入力時刻を書き換える多重化制御手段とを備える。
【００２０】
更にまた、本発明に係る多重化方法は、符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算し、上記第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算し、上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量が、上記初期ビット占有量以上となるように上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定し、上記割り当てビット量に基づいて上記第２の符号化ストリームを生成して多重化し、上記仮想的なシステムターゲットデコーダモデルのビデオバッファに、上記第２の符号化ストリームに続いて上記第１の符号化ストリームの第１のピクチャが入力されるときの第３のビット占有量が所定の範囲内であるか否かを判定し、上記第３のビット占有量が所定の範囲内でない場合、上記第１のピクチャの上記仮想的なシステムターゲットデコーダモデルへの入力時刻を遅らせるように上記第１のピクチャを含むビデオパックの入力時刻を書き換える。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２２】
本発明に係る動画像記録再生装置は、例えば図１に示すような構成を備える。この図１に示す動画像記録再生装置１は、光ディスク２に記録されているＭＰＥＧ２規格で圧縮符号化された動画像データを編集することによって、復号装置側で２つのビデオストリームを継ぎ合わせたときにおける再生がシームレスに行えるような動画像データを生成し、この動画像データを再度光ディスク２に記録する装置である。
【００２３】
以下この動画像記録再生装置１に用いられる光ディスク２には、ＭＰＥＧ２方式で符号化したビデオデータ及びオーディオデータがパック化され、このパック単位で時分割多重化された多重化ストリームが記録されている。また、２つのビデオストリームを継ぎ合わせて再生するの際のアウト点ピクチャが含まれる動画像プログラムをアウト点側プログラムと呼び、イン点ピクチャが含まれる動画像プログラムをイン点側プログラムと呼ぶ。また、再生の際のアウト点ピクチャが含まれるＧＯＰ（group of pictures ）をアウト点側ＧＯＰとも呼び、また、イン点ピクチャが含まれるＧＯＰをイン点側ＧＯＰとも呼ぶ。
【００２４】
この動画像記録再生装置１は、光ディスク２から多重化ストリームを読み出す読み出し部３と、読み出し部３により読み出された多重化ストリームを復調する復調部４と、復調部４により復調された多重化ストリームに誤り訂正処理を施す誤り訂正処理部５と、誤り訂正処理部５により誤り訂正処理が施された多重化ストリームを一時格納するバッファ６と、編集処理をして生成された多重化ストリームに誤り訂正符号を付加する誤り訂正符号付加部７と、誤り訂正符号付加部７により誤り訂正符号が付加された多重化ストリームを変調する変調部８と、変調部８により変調された多重化ストリームを光ディスク２に書き込む書き込み部９とを備えている。
【００２５】
また、動画像記録再生装置１は、バッファ６に格納されている多重化ストリームをビデオストリームとオーディオストリームとに分離するデマルチプレクサ１１と、デマルチプレクサ１１により分離されたビデオストリームを復号してビデオデータを生成するビデオデコーダ１２と、ビデオデコーダ１２により復号されたビデオデータを再符号化してビデオストリームを生成するビデオエンコーダ１３と、ビデオストリームとオーディオストリームと時分割多重化して多重化ストリームを生成するマルチプレクサ１４とを備えている。
【００２６】
更に、動画像記録再生装置１は、イン点ピクチャの情報及びアウト点ピクチャの情報等の再生をする際に必要となる編集情報を読み出し部３に入力する編集情報入力部１５を備えている。この編集情報入力部１５は、例えばユーザにより操作されるキーボード等からの操作入力命令に従って指定されたイン点ピクチャの情報及びアウト点ピクチャの情報等を用いて編集情報を生成して読み出し部３に出力する。
【００２７】
また、この動画像記録再生装置１は、編集情報入力部１５により入力された編集情報、デマルチプレクサ１１から供給される多重化ストリーム等を解析し、復号装置で再生をシームレスに行わせるために必要な編集処理情報を生成して、ビデオエンコーダ１３及びマルチプレクサ１４を制御する解析制御部１６を備えている。この解析制御部１６は、ビデオエンコーダ１３によりビデオストリームの再エンコード処理を実行するための方法をビデオエンコーダ１３に出力するとともに、マルチプレクサ１４により再多重化処理を実行するための方法を示す編集処理情報をマルチプレクサ１４に出力する。
【００２８】
また、この動画像記録再生装置１は、マルチプレクサ１４に供給するビデオストリームの供給元を切り換える切換器１７を備えている。切換器１７は、解析制御部１６の制御に応じて、デマルチプレクサ１１により分離されたビデオストリームをビデオデコーダ１２及びビデオエンコーダ１３により復号及び再エンコードさせてマルチプレクサ１４に供給するか、或いは、デマルチプレクサ１１により分離されたビデオストリームをそのままマルチプレクサ１４に供給するかを切り換える。なお、デマルチプレクサ１１により分離されたオーディオストリームは、復号及び再エンコードされずにそのままマルチプレクサ１４に供給される。
【００２９】
以上のような構成の動画像記録再生装置１は、解析制御部１６が光ディスク２に記録されている多重化ストリームを解析して、読み出し部３、ビデオデコーダ１２、ビデオエンコーダ１３、マルチプレクサ１４、及び切換器１７を制御することにより、復号装置で継ぎ合わせたビデオストリームの再生をシームレスに行うためのブリッジシーケンスを生成し、このブリッジシーケンスを光ディスク２に記録する。
【００３０】
次に、動画像記録再生装置１でのビデオストリームの再エンコード処理について説明する。
【００３１】
この動画像記録再生装置１では、復号装置において動画像プログラムの一部分をスキップ再生する際に、スキップ再生開始点であるアウト点ピクチャより時間的に前側のプログラムであるアウト点側プログラムと、スキップ再生到達点であるイン点ピクチャより時間的に後側のプログラムであるイン点側プログラムとをシームレスに継ぎ合わせることができるように、ビデオストリームの再エンコード処理をビデオエンコーダ１３、解析制御部１６により行う。
【００３２】
ＭＰＥＧ２規格に準じた画像群の単位であるＧＯＰには、他の画像からの予測符号化なしに画像が符号化された参照画像である少なくとも１つのＩ（Intra）ピクチャと、表示順序に順方向の予測符号化を用いて画像が符号化された順方向予測符号化画像であるＰ（predictive）ピクチャと、順方向及び逆方向の予測符号化を用いて画像が符号化された双方向予測符号化画像であるＢ（bidirectionally）ピクチャとの３種類の符号化画像が含まれている。
【００３３】
例えば、図２（ａ）に示すように、アウト点ピクチャ（Ｐｏｕｔ）が含まれるアウト点側ＧＯＰをＧＯＰ（１）とし、アウト点ピクチャをその中のＢピクチャであるＢ₁₄とする。このＧＯＰ（１）は、ＧＯＰ（０）から続くＧＯＰである。また、図２（ｂ）に示すように、イン点ピクチャ（Ｐｉｎ）が含まれるイン点側ＧＯＰをＧＯＰ（ｎ）とし、イン点ピクチャをその中のＢピクチャであるＢ_n4とする。このＧＯＰ（ｎ）には、ＧＯＰ（ｍ）が後に続いている。なお、ｉ番目のＧＯＰ（ｉ）における表示順序がｊ番目（すなわち、テンポラルリファレンスがｊ）のＩピクチャをＩ_ijと表記し、ｉ番目のＧＯＰ（ｉ）における表示順序がｊ番目のＰピクチャをＰ_ijと表記し、ｉ番目のＧＯＰ（ｉ）における表示順序がｊ番目のＢピクチャをＢ_ijと表記する。
【００３４】
具体的に、アウト点側ＧＯＰであるＧＯＰ（１）には、Ｉ₁₂，Ｂ₁₀，Ｂ₁₁，Ｐ₁₅，Ｂ₁₃，Ｂ₁₄，Ｐ₁₈，Ｂ₁₆，Ｂ₁₇の順序で光ディスク２に記録されるピクチャが含まれている。また、イン点側ＧＯＰであるＧＯＰ（ｎ）には、Ｉ_n2，Ｂ_n0，Ｂ_n1，Ｐ_n5，Ｂ_n3，Ｂ_n4，Ｐ_n8，Ｂ_n6，Ｂ_n7の順序で光ディスク２に記録されるピクチャが含まれている。
【００３５】
この図２（ａ）及び図２（ｂ）に示したようなアウト点側ＧＯＰ及びイン点側ＧＯＰを例にとって、動画像記録再生装置１のビデオエンコーダ１３により行う再エンコード処理について説明する。
【００３６】
先ず、アウト点ピクチャ（Ｐｏｕｔ）を含むアウト点側ＧＯＰであるＧＯＰ（１）を復号する。これに続いて、上記アウト点ピクチャ（Ｐｏｕｔ）が、表示順序でアウト点ピクチャ（Ｐｏｕｔ）よりも後の符号化画像を予測参照しなくても復号できるようにこのＧＯＰ（１）を再びエンコードする。図２（ａ）に示すようにアウト点側ＧＯＰであるＧＯＰ（１）のピクチャＢ₁₄がアウト点ピクチャ（Ｐｏｕｔ）である場合、ピクチャＰ₁₅に基づき予測符号化されているピクチャＢ₁₃、Ｂ₁₄を、このピクチャＰ₁₅に基づき予測参照しないで作れるように再エンコードを行い、図２（ｃ）に示すような新たなＧＯＰであるＧＯＰ（１−ｘ）を生成する。
【００３７】
具体的に、このＧＯＰ（１−ｘ）を生成するには、まず始めに、ピクチャＩ₁₂，Ｂ₁₀，Ｂ₁₁，Ｐ₁₅，Ｂ₁₃，Ｂ₁₄を復号して符号化していないビデオデータにビデオデコーダ１２により戻してから、ピクチャＢ₁₄をピクチャＩ₁₂に基づき予測符号化されたＰピクチャのピクチャＰ_14xに再エンコードする。続いて、ピクチャＢ₁₃をピクチャＩ₁₂とピクチャＰ_14xに基づき予測符号化されるＢピクチャのＢ_13xに再エンコードする。そして、ピクチャＩ₁₂，Ｂ₁₀，Ｂ₁₂は再エンコードを行わないで、ＧＯＰ（１）からコピーする。なお、これらのピクチャＩ₁₂，Ｂ₁₀，Ｂ₁₂についても再エンコードしてもよい。このように再エンコードされた結果、図２（ｃ）に示すような、Ｉ₁₂，Ｂ₁₀，Ｂ₁₁，Ｐ_14x，Ｂ_13xから構成されたＧＯＰ（１−ｘ）とＳＱＥ（Sequence-end-code）とが生成される。
【００３８】
次に、イン点ピクチャ（Ｐｉｎ）を含むイン点側ＧＯＰであるＧＯＰ（ｎ）を復号する。続いて、上記イン点ピクチャ（Ｐｉｎ）が、表示順序でイン点ピクチャより前の符号化画像を予測参照しなくても復号できるようにこのＧＯＰ（ｎ）を再び符号化する。すなわち、図２（ｂ）のようにイン点側ＧＯＰであるＧＯＰ（ｎ）のピクチャＢ_n4がイン点ピクチャ（Ｐｉｎ）である場合、ピクチャＩ_n2に基づき予測符号化されているピクチャＢ_n4を、予測参照しないで作れるように再エンコードを行い、図２（ｄ）に示すような新たなＧＯＰであるＧＯＰ（ｎ−ｘ）を生成する。
【００３９】
具体的に、このＧＯＰ（ｎ−ｘ）を生成するには、まず始めに、ピクチャＩ_n2，Ｂ_n0，Ｂ_n1，Ｐ_n5，Ｂ_n3，Ｂ_n4，Ｐ_n8，Ｂ_n6，Ｂ_n7を復号して符号化されていないビデオデータにビデオデコーダ１２により戻してから、ピクチャＰ_n5をＩピクチャのピクチャＩ_n5xに再エンコードする。そして、ピクチャＢ_n4，Ｐ_n8，Ｂ_n6，Ｂ_n7については、同じピクチャタイプのピクチャＢ_n4x，Ｐ_n8x，Ｂ_n6x，Ｂ_n7xに再エンコードする。このように再エンコードされた結果、図２（ｄ）に示すような、ＳＨ（Sequence Header）と、ピクチャＩ_n5x，Ｂ_n4x，Ｐ_n8x，Ｂ_n6x，Ｂ_n7xとから構成されたＧＯＰ（ｎ−ｘ）とを生成する。
【００４０】
動画像記録再生装置１では、以上のようなイン点側ＧＯＰ及びアウト点側ＧＯＰの再エンコード処理を、解析制御部１６がビデオデコーダ１２及びビデオエンコーダ１３並びに切換器１７を制御して行う。そして、この動画像記録再生装置１では、アウト点ピクチャＢ₁₄より表示順序で前側の画像（・・・Ｉ₁₂，Ｂ₁₀，Ｂ₁₁，Ｂ₁₃）と、イン点ピクチャＢ_n4より表示順序で後ろ側の画像（Ｐ_n5，Ｐ_n8，Ｂ_n6，Ｂ_n7・・・）とを再エンコードすることにより、図２（ｅ）に示すように、・・・Ｂ₁₀，Ｂ₁₁，Ｉ₁₂，Ｂ_13x，Ｐ_14x，Ｂ_n3x，Ｂ_n4x，Ｉ_n5x，Ｂ_n6x，Ｂ_n7x，Ｐ_n8x・・・といった順序で表示される動画像を生成する。
【００４１】
次に、動画像記録再生装置１に備えられたマルチプレクサ１４で行う多重化ストリームの再多重化処理について説明する。
【００４２】
解析制御部１６では、復号装置において動画像プログラムの一部分をスキップ再生する際に、スキップ再生開始点であるアウト点ピクチャより時間的に前側のプログラムであるアウト点側プログラムと、スキップ再生到達点であるイン点ピクチャより時間に後側のプログラムであるイン点側プログラムとをシームレスに継ぎ合わせることができるように、マルチプレクサ１４に多重化ストリームの再多重化処理を行わせる。
【００４３】
図３（ａ）に、アウト点側プログラムの多重化ストリームの構造の一例を示す。Ｃｌｉｐ−Ａは、アウト点側プログラムが含まれている多重化ストリームであって、例えば、ＭＰＥＧ２システム規格(ISO/IEC 13818-1)で定義されてる連続したＳＣＲ(System Clock Reference)が付加されているプログラムストリームである。Ｃｌｉｐ−Ａには、１本のビデオストリームと１本のオーディオストリームがパック単位で時分割多重化されている。図３において、ｖ０，ｖ１，ｖ２，ｖ３はＧＯＰ長のビデオストリームであり、ａ０，ａ１，ａ２，ａ３はＧＯＰ長のオーディオストリームである。例えば、Ｃｌｉｐ−Ａの中のバイト位置ＢａからＢｊｏの間に、ｖ１とａ０とがパック単位で時分割多重化されている。なお、１パックの大きさは、例えば、２０４８バイトである。
【００４４】
Ｃｌｉｐ−Ａの中のオーディオストリームは、同期再生されるビデオストリームに対して所定のバイト量（audio skew：AV多重化位相差)の距離を離れたバイト位置に存在している。この図３（ａ）に示す例では、このaudio skewを一定にしているが、この値はプログラムストリーム中で変化してもよい。本例では、ｖ０とａ０が同期しており、同様にｖ１とａ１、ｖ２とａ２、ｖ３とａ３が同期している。
【００４５】
ここで、Ｃｌｉｐ−Ａのｖ３のＧＯＰの中からアウト点ピクチャ（Ｐｏｕｔ）が選択されたとする。この場合、動画像記録再生装置１では、以下に示す手順でアウト点側のブリッジシーケンス(bridge sequence)を生成する。このブリッジシーケンスとは、編集点付近のビデオストリームを再エンコードして生成したビデオストリームを、再多重化した多重化ストリームである。
【００４６】
まず、第１の工程として、上述したビデオストリームの再エンコード処理に基づいて、アウト点ピクチャが含まれたｖ３のＧＯＰを再エンコードする。この場合、ｖ３のＧＯＰを再エンコードして、新たにｖ３’のＧＯＰを生成する。このｖ３’の時間長は、ｖ３の時間長よりも短い。
【００４７】
第２の工程として、Ｃｌｉｐ−Ａからアウト点側のブリッジシーケンスへのジャンプ点をＢｊｏとして、このＢｊｏ以降のバイト位置に存在するビデオストリームであってｖ３より前のビデオストリーム（この場合ｖ２）をＣｌｉｐ−Ａからコピーする。また、このＢｊｏ以降のバイト位置に存在するオーディオストリームであってｖ３’と同期したオーディオストリームより前のオーディオストリーム（この場合ａ１，ａ２）をＣｌｉｐ−Ａからコピーする。続いて、ｖ３’に同期するオーディオストリームを、ａ３内からコピーして、オーディオストリームａ３’を生成する。
【００４８】
第３の工程として、上記第１及び第２の工程で生成したビデオストリーム及びオーディオストリームを再多重化する。この場合、ｖ２，ｖ３’と、ａ１, ａ２，ａ３’とを再多重化して、図３（ｂ）に示すようなbridge sequence-Aを生成し、光ディスク２に記録する。
【００４９】
このようにbridge sequence-Aが記録された光ディスク２を復号装置で２つのビデオストリームを継ぎ合わせて再生する時に読み出す場合、アウト点側の多重化ストリームを再生するときにＣｌｉｐ−ＡをＢｊｏ点まで読み出した後、このbridge sequence-Aを読み出すようにする。
【００５０】
なお、動画像記録再生装置１では、Ｂｊｏ点までのＣｌｉｐ−Ａからbridge sequence-Aへと続くストリームを、ＳＣＲが連続したプログラムストリームとするように多重化を行わなければならない。
【００５１】
図４（ａ）に、イン点側プログラムの多重化ストリームの構造の一例を示す。Ｃｌｉｐ−Ｂは、イン点側プログラムが含まれている多重化ストリームであって、例えば、ＭＰＥＧ２システム規格で定義されてる連続したＳＣＲが付加されているプログラムストリームである。Ｃｌｉｐ−Ｂには、１本のビデオストリームと１本のオーディオストリームがパック単位で時分割多重化されている。図３と同様にして図４において、ｖ５，ｖ６，ｖ７，ｖ８はＧＯＰ長のビデオストリームであり、ａ５，ａ６，ａ７はＧＯＰ長のオーディオストリームである。例えば、Ｃｌｉｐ−Ｂのバイト位置ＢｊｉからＢｂの間にｖ８とａ７がパック単位で時分割多重化されている。Ｃｌｉｐ−Ｂの中のオーディオストリームは、同期再生されるビデオストリームに対して所定のバイト量（audio skew)の距離を離れたバイト位置に存在している。この図４（ａ）に示す例も、audio skewを一定にしているが、この値はプログラムストリーム中で変化してもよい。また、本例では、ｖ５とａ５が同期しており、同様にｖ６とａ６、ｖ７とａ７、ｖ８とａ８が同期している。
【００５２】
ここで、Ｃｌｉｐ−Ｂのｖ５の中からイン点ピクチャ（Ｐｉｎ）が選択されたとする。この場合、動画像記録再生装置１では、以下に示す手順でイン点側のブリッジシーケンスを生成する。
【００５３】
まず、第１の工程として、上述したビデオストリームの再エンコード処理に基づいて、イン点ピクチャが含まれたｖ５のＧＯＰを再エンコードする。この場合、ｖ５のＧＯＰを再エンコードして、新たにＶ５’のＧＯＰを生成する。このｖ５’の時間長は、ｖ５の時間長よりも短い。
【００５４】
第２の工程として、イン点側のブリッジシーケンスからＣｌｉｐ−Ｂへのジャンプ点をＢｊｉとして、ｖ５より後のビデオパックであってこのＢｊｉ以前のバイト位置に存在するビデオストリーム（この場合ｖ６，ｖ７）をＣｌｉｐ−Ｂからコピーする。また、ｖ５’と同期したオーディオストリームより後のオーディオストリームであってこのＢｊｉ以前のバイト位置に存在するオーディオストリーム（この場合ａ６）をＣｌｉｐ−Ｂからコピーする。続いて、ｖ５’に同期するオーディオストリームを、ａ５内からコピーして、オーディオストリームａ５’を生成する。
【００５５】
第３の工程として、上記第１及び第２の工程で生成したビデオストリーム及びオーディオストリームを再多重化する。ｖ５’，ｖ６，ｖ７と、ａ５’，ａ６とを再多重化して、図４（ｂ）に示すようなbridge sequence-Bを生成し、光ディスク２に記録する。
【００５６】
このようにbridge sequence-Bが記録された光ディスク２を復号装置で２つのビデオストリームを継ぎ合わせて再生する時に読み出す場合、イン点側プログラムを再生するときにこのbridge sequence-Bを読み出した後、Ｃｌｉｐ−ＢをＢｊｉ点から読み出すようにする。
【００５７】
なお、動画像記録再生装置１では、Bridge sequence-BからＢｊｉ点以後のＣｌｉｐ−Ｂへと続くストリームを、ＳＣＲが連続したプログラムストリームとするように多重化を行わなければならない。
【００５８】
動画像記録再生装置１では、以上のような再多重化をすることによって、図３（ｂ）に示すようなbridge sequence-Aと、図４（ｂ）に示すようなbridge sequence-Bを生成することができる。
【００５９】
図５に、Ｂｊｏ点以前のＣｌｉｐ−Ａからbridge sequence-Aへと続く多重化ストリームをＣｌｉｐ−１とし、bridge sequence-BからＢｊｉ点以後のＣｌｉｐ−Ｂへと続く多重化ストリームをＣｌｉｐ−２としたときの、編集点前後での多重化ストリームの構造を示す。復号装置側では、このＣｌｉｐ−１からＣｌｉｐ−２へ続く多重化ストリームを連続してデコードしたとき、シームレスにビデオ及びオーディオを再生する必要がある。動画像記録再生装置１では、復号装置側でビデオ及びオーディオをシームレスに再生させるために、Ｃｌｉｐ−１とＣｌｉｐ−２とのオーディオストリームに以下の制限を設けて、再エンコード及び再多重化を行う。
【００６０】
動画像記録再生装置１は、Ｃｌｉｐ−１の終端部とＣｌｉｐ−２の始端部の境界において、オーディオの表示時間のギャップが存在しないよう制限をする。すなわち、Ｃｌｉｐ−１のオーディオストリームはＣｌｉｐ−１のビデオが表示終了する時刻に表示されるオーディオサンプルを含むように再多重化をし、Ｃｌｉｐ−２のオーディオストリームはＣｌｉｐ−２のビデオが表示開始する時刻に表示されるオーディオサンプルを含むように再多重化をする。従って、この境界において、2 audio frame以下の表示時間のオーバーラップが存在する可能性がある。ここで、1 audio frameは、例えば、ＭＰＥＧ１のオーディオストリームの場合、２４ｍｓｅｃの長さの表示時間のオーディオストリームである。
【００６１】
なお、図５に示すV1LBI、A1LBI、V2FBI、A2FBIは以下のとおりである。
V1LBI : Ｃｌｉｐ−１の中のvideo-1の最後のパックの最終バイト位置
A1LBI : Ｃｌｉｐ−１の中のaudio-1の最後のパックの最終バイト位置
V2FBI : Ｃｌｉｐ−２の中のvideo-2の最初のパックの第１バイト位置
A2FBI : Ｃｌｉｐ−２の中のaudio-2の最初のパックの第１バイト位置
また、これらV1LBI、A1LBI、V2FBI、A2FBIの関係は以下のとおりである。
V1LBI < A1LBI
V2FBI < A2FBI
なお、上記以外の関係になることは、MPEGの規格上では可能であるが、実用上ではほとんど存在しない。
【００６２】
次に、上述の動画像記録再生装置１により再エンコード及び再多重化を行って光ディスク２に記録されたオーディオストリームとビデオストリームとがパック化されてなる多重化ストリーム（Ｃｌｉｐ−１及びＣｌｉｐ−２）を再生する仮想的なデコーダモデルであるシステムターゲットデコーダの構成について図６を用いて説明する。
【００６３】
ここで、多重化ストリームは、システムターゲットデコーダ２０への出力タイミングを示すＳＣＲ(System Clock Reference)、デコードタイミングを示すＤＴＳ（Decoding Time Stamp）及びデコードされたデータの出力タイミングを示すＰＴＳ（Presentation Time Stamp）が付加情報として付加されたビデオパックと、ビデオパックと同様にＳＣＲ、ＤＴＳ及びＰＴＳが付加情報として付加されたオーディオパックからなり、これら付加情報が参照されてデコードタイミング及び出力タイミングが制御される。
【００６４】
図６に示すシステムターゲットデコーダ２０は、光ディスク２から再生した多重化ストリーム（Ｃｌｉｐ−１及びＣｌｉｐ−２）が入力され、この多重化ストリームをビデオストリームとオーディオストリームに分離するデマルチプレクサ２１と、デマルチプレクサ２１により分離されたビデオストリームを一時格納するビデオバッファ２２と、デマルチプレクサ２１により分離されたオーディオストリームを一時格納するオーディオバッファ２３と、ビデオバッファ２２に格納されたビデオストリームを抜き出して復号するビデオデコーダ２４と、復号したビデオデータを一時格納するリオーダバッファ２５と、オーディオバッファ２３に格納されたオーディオストリームを抜き出して復号するオーディオデコーダ２６と、ビデオデコーダ２４により復号されたビデオデータとリオーダバッファ２５に格納されているビデオデータとを切り換えて出力する出力スイッチ２７とを備えている。
【００６５】
また、システムターゲットデコーダ２０は、デマルチプレクサ２１のビデオーストリームとオーディオストリームとの切り換えタイミング、ビデオデコーダ２４の復号タイミング、オーディオデコーダ２６の復号及び出力タイミング、出力スイッチ２７の出力タイミングを制御するための基準同期信号（ＳＴＣ：System Time Clock）を供給する時間制御部２８を備えている。
【００６６】
また、システムターゲットデコーダ２０は、時間制御部２８から供給されるＳＴＣ−１とＳＴＣ−２とで切り換える第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４を備えている。
【００６７】
デマルチプレクサ２１には、多重化ストリームに付加されているＳＣＲに応じてこの多重化ストリームを構成する各パケットが入力される。デマルチプレクサ２１は、この多重化ストリームを時間制御部２８から供給されるＳＴＣに基づいてビデオストリームとオーディオストリームとに分離する。そして、デマルチプレクサ２１は、ビデオストリーム及びオーディオストリームを所定の出力レートprogram_mux_rateでビデオバッファ２２及びオーディオバッファ２３に出力する。
【００６８】
ビデオデコーダ２４は、ビデオストリームに付加されているＤＴＳと、時間制御部２８から供給されたＳＴＣとが一致したときに、ビデオバッファ２２から所定のピクチャのデータを抜き出して復号する。そして、ビデオデコーダ２４は、ＰＴＳとＤＴＳとが一致したときに、復号したビデオデータを、出力スイッチ２７を介して外部に出力する処理或いは、リオーダバッファ２５に一旦格納された後出力スイッチ２７を介して出力する処理を行う。
【００６９】
オーディオデコーダ２６は、オーディオストリームに付加されているＤＴＳと、時刻制御部２８から供給されたＳＴＣとが一致したときに、オーディオバッファ２３からオーディオストリームを抜き出して復号する。そして、オーディオデコーダ２６は、ＰＴＳとＳＴＣとが一致したときに復号したオーディオデータをＳＴＣスイッチＳＷ３に出力する処理を行う。
【００７０】
なお、このオーディオデコーダ２６の前段にあるオーディオバッファ２３のバッファサイズは、MPEG-2 CSPS=1に規定されたバッファサイズに比べて、次に示すだけの大きさが必要である。
【００７１】
additional-buffer-size = (program_mux-rate-Ra)*Ra / program-mux-rate
ここで、“Ra”は、オーディオストリームの最大ビットレートである。“program-mux-rate”は、Ｃｌｉｐ−１ とＣｌｉｐ−２のプログラムストリームの最大ビットレートのうち、大きい方の値である。例えば、program-mux-rate=10 Mbps, Ra=256 kbpsであれば、オーディオバッファ２３のadditional-buffer-sizeは、0.249Ｍｂｉｔとなる。
【００７２】
出力スイッチ２７は、ビデオパックに付加されているＰＴＳと、時刻制御部２８から供給されたＳＴＣとが一致したときに、復号したビデオデータを出力する。なお、この出力スイッチ２７は、必要に応じて、リオーダバッファ２５に格納されたビデオデータを出力する。
【００７３】
時間制御部２８は、２つのビデオストリームを継ぎ合わせて再生する際のアウト点側プログラムからイン点側プログラムへの切り換え時に、アウト点側プログラムのＳＣＲに同期したＳＴＣと、イン点側プログラムのＳＣＲに同期したＳＴＣとの２つのＳＴＣを発生する。
【００７４】
時間制御部２８は、例えば、ＳＴＣを発生するＳＴＣ発生器２８ａと、ＳＴＣ発生器２８ａが発生したＳＴＣから所定のオフセット値（STC_delta）を減算する減算器２８ｂとを有しており、オフセット値が減算されていないＳＴＣ発生器２８ａから直接出力されたＳＴＣ（これはアウト点側プログラムのＳＣＲに同期したＳＴＣであり、以下ＳＴＣ−１と呼ぶ。）と、ＳＴＣ発生器２８ａから直接出力されるＳＴＣ−１からオフセット値（STC_delta）を減算したＳＴＣ（これはイン点側プログラムのＳＣＲに同期したＳＴＣであり、以下ＳＴＣ−２と呼ぶ。）との２つのＳＴＣを出力する。
【００７５】
すなわち、このオフセット値（STC delta）は、Ｃｌｉｐ−１とＣｌｉｐ−２との多重化ストリームの時間軸のオフセット量を示しており、Ｃｌｉｐ−１のビデオを表示終了する時のＣｌｉｐ−１の時間軸上での時刻とＣｌｉｐ−２のビデオを表示開始する時のＣｌｉｐ−２の時間軸上での時刻の差を示している。
【００７６】
例えば、ここで、Ｃｌｉｐ−１の時間軸上におけるアウト点ピクチャＰｏｕｔのＰＴＳを“PTS-Pout”とし、アウト点ピクチャＰｏｕｔの表示期間を“Tpp”とし、Ｃｌｉｐ−２の時間軸上におけるイン点ピクチャＰｉｎのＰＴＳを“PTS-Pin”とすると、オフセット値“STC delta”は、以下の式１に示すようになる。
PTS-Pout-end = PTS-Pout + Tpp
STC-delta = PTS-Pout-end−PTS-Pin （式１）
この時間制御部２８から出力される２つのＳＴＣ（ＳＴＣ−１，ＳＴＣ−２）は、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４によりいずれか一方が選択されて、デマルチプレクサ２１、ビデオデコーダ２４、オーディオデコーダ２６、出力スイッチ２７に供給される。第１のＳＴＣスイッチＳＷ１は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをデマルチプレクサ２１に供給する。第２のＳＴＣスイッチＳＷ２は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをビデオデコーダ２４に供給する。第３のＳＴＣスイッチＳＷ３は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをオーディオデコーダ２６に供給する。第４のＳＴＣスイッチＳＷ４は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣを出力スイッチ２７に供給する。
【００７７】
次に、このように構成されるシステムターゲットデコーダ２０の動作について説明する。
【００７８】
図７にＣｌｉｐ−１からＣｌｉｐ−２へと連続して続く２つの多重化ストリームが入力されたときのシステムターゲットデコーダ２０の動作タイミングを表すタイミングチャートを示す。
【００７９】
まず、Ｃｌｉｐ−１の最初のパックに示されているＳＣＲがＳＴＣ発生器２８ａにＳＴＣとしてセットされる。第１から第４の各ＳＴＣスイッチＳＷ１〜ＳＷ４は全て端子Ａ側に切り換えられ、ＳＴＣ−１（Ｃｌｉｐ−１のＳＣＲに同期したＳＴＣ）がデマルチプレクサ２１、ビデオデコーダ２４、オーディオデコーダ２６及び出力スイッチ２７に供給されている。すなわち、Ｃｌｉｐ−１に付加されたＳＣＲに基づき全ての機能が動作している。
【００８０】
時刻Ｔ１以前では、デマルチプレクサ２１には、Ｃｌｉｐ−１の各パックに付加されているＳＣＲと第１のＳＴＣスイッチの端子Ａから供給されるオフセットが加算されていないＳＴＣ−１とが一致したタイミングで入力される。続いて時刻Ｔ１となると、Ｃｌｉｐ−１の最後のビデオパックのデマルチプレクサ２１への入力が終了する。続いて時刻Ｔ１から時刻Ｔ２の間では、デマルチプレクサ２１には、Ｃｌｉｐ−１の各パックが、各パックに付加されたＳＣＲを無視して、Ｃｌｉｐ−１の最大ビットレートprogram_mux_rate1で入力される。この最大ビットレートprogram_mux-rate1は、例えば、光ディスク２からデータを読み出す際の最大転送レートであってもよい。
【００８１】
ここで、Ｃｌｉｐ−１の最後のビデオパックの次のパックから、Ｃｌｉｐ−１の最後のパックまでのデータ量を“Ｎ１”とすると、時刻Ｔ１から時刻Ｔ２までの時間“ΔＴ１”は、以下式２のようになる。
【００８２】
ΔT1 =T2−T1 = N1 / program-mux-rate1 （式２）
続いて時刻Ｔ２となると、Ｃｌｉｐ−１の最後のパック(オーディオパック)のデマルチプレクサ２１への入力が終了する。この時刻Ｔ２において、第１のＳＴＣスイッチＳＷ１は端子Ｂ側に切り換えられ、デマルチプレクサ２１にＳＴＣ−２（Ｃｌｉｐ−２のＳＣＲに同期したＳＴＣ）が供給される。そのため、デマルチプレクサ２１は、Ｃｌｉｐ−２に付加されたＳＣＲに基づき動作を開始する。続いて時刻Ｔ２から時刻Ｔ３の間では、Ｃｌｉｐ−２の最初のパケットがビデオパックでない場合、デマルチプレクサ２１には、Ｃｌｉｐ−２の最初のパックからＣｌｉｐ−２の最初のビデオパックの前のパックまでのパックが、各パックのＳＣＲを無視して、Ｃｌｉｐ−２の最大ビットレートprogram-mux-rate2で入力される。この最大ビットレートprogram_mux_rate2は、例えば、光ディスク２からデータを読み出す際の最大転送レートであってもよい。
【００８３】
ここで、Ｃｌｉｐ−２の最初のパックから、Ｃｌｉｐ−２の最初のビデオパックの前のパックまでのデータ量を“Ｎ２”とすると、時刻Ｔ２から時刻Ｔ３までの時間“ΔＴ２”は、以下の式３のようになる。
【００８４】
ΔT2 =T3−T2 = N2 / program-mux-rate2 （式３）
なお、ＭＰＥＧ２プログラムストリームは、一般的に、最初のパックがビデオパックであるため、ΔＴ２＝０である。
【００８５】
続いて時刻Ｔ３となると、Ｃｌｉｐ−２の最初のビデオパックのデマルチプレクサ２１への入力が開始し、以後デマルチプレクサ２１には、Ｃｌｉｐ−２の各パックのＳＣＲと第１のＳＴＣスイッチＳＷ１の端子Ｂから供給されるオフセットが加算されたＳＴＣ−１とが一致したタイミングで入力される。ここで、Ｃｌｉｐ−２の最初のビデオパックのＳＣＲは、次の式４を満たさなければならない。
【００８６】
SCR-video2-start > SCR-video1-end−STC-delta＋ΔT1＋ΔT2 （式４）
SCR-video1-end = SCR-last-video1＋pack_length/program-mux-rate1
“SCR-video2-start”はＣｌｉｐ−２の最初のビデオパックのＳＣＲであり、“SCR-video1-end”はＣｌｉｐ−１の最後のビデオパックがデマルチプレクサ２１へ入力終了する時のＣｌｉｐ−１の時間軸上での時刻である。これは、Ｃｌｉｐ−１の最後のビデオパックのsystem-clock-reference(SCR-last-video1)とprogram-mux-rate1とパック長(pack-length)から以下のように計算することができる値である。pack-lengthは、例えば、2048 byteである。
【００８７】
続いて時刻Ｔ４にとなると、第２のＳＴＣスイッチＳＷ２が端子Ａ側から端子Ｂ側に切り換えられ、ビデオデコーダ２４が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。ビデオデコーダ２４は、ビデオストリームの各ピクチャに付けられているＤＴＳを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のビデオストリームの復号を開始する。
【００８８】
続いて時刻Ｔ５となると、第３のＳＴＣスイッチＳＷ３が端子Ａ側から端子Ｂ側に切り換えられ、オーディオデコーダ２６が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。オーディオデコーダ２６は、オーディオストリームに付けられているＰＴＳを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のオーディオストリームの出力を開始する。なお、オーディオデコーダ２６は、Ｃｌｉｐ−１の終了部分のオーディオデータとＣｌｉｐ−２の開始部のオーディオデータに、データのオーバーラップがあるときには、どちらのオーディオのサンプルを表示するか選択する必要がある。
【００８９】
続いて時刻Ｔ６となると、第４のＳＴＣスイッチＳＷ４が端子Ａ側から端子Ｂ側に切り換えられ、出力スイッチ２７が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。出力スイッチ２７は、ビデオストリームの各ピクチャに付けられているＰＴＳを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のビデオストリームの出力を開始する。
【００９０】
そして、この時刻Ｔ６において、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４が全て端子Ｂ側に切り換えられると、ＳＴＣ発生器２８ａから発生されるＳＴＣの値が、[STC−STC-delta]にリセットされ、それとともに、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４がすべて端子Ａ側に切り換えられ、上述した時刻Ｔ１以前の状態と同一となる。
【００９１】
このような仮想的なデコーダモデルを規定したシステムターゲットデコーダ２０は、エンコードしたビデオストリームを入力したときにおいて、ビデオバッファ２２のアンダーフロー及びオーバーフローを防止するために、ビデオバッファ２２のバッファ容量を制限するように、動画像記録再生装置１によりビデオストリームをエンコード及び多重化する処理に対する制限を規定している。
【００９２】
そして、動画像記録再生装置１によりビデオストリームをエンコード及び多重化するときには、図８に示すＭＰＥＧ規格に準拠したＶＢＶ（Video Buffering Verifier）モデル３０を満たすようにビデオストリームを符号化して、図６のシステムターゲットデコーダのビデオバッファ２２をオーバーフローさせないように多重化を行う。
【００９３】
上記ＶＢＶモデル３０は、ビデオストリームが入力されるＶＢＶバッファ３１と、ＶＢＶバッファ３１から所定の出力タイミングでビデオストリームが入力されデコードを行う仮想ビデオデコーダ３２とからなり、仮想的な復号を行って復号ピクチャを出力するようになされている。
【００９４】
動画像記録再生装置１は、各ピクチャに含まれランダムアクセス時のＶＢＶバッファ３１の初期状態を示すvbv_delayという１６ビットのフィールドを符号化する。上記vbv_delayの値は、そのピクチャを復号するときにＶＢＶバッファ３１に必要なビット占有量を表す。そして、ＶＢＶモデル３０の仮想ビデオデコーダ３２は、あるピクチャを復号するとき、そのピクチャに付加されたvbv_delayを読み出し、ＶＢＶバッファ３１がvbv_delayで示されるビット占有量になったときにそのピクチャを復号する。
【００９５】
次に、上述したようなシステムターゲットデコーダ２０のような仮想的なデコーダモデルを規定しビデオストリームを再エンコード及び再多重化するときの制限に従って、動画像記録再生装置１によりビデオストリームの再エンコードを行って再多重化を行うときの処理手順について図９に示すフローチャートを用いて説明する。
【００９６】
この図９によれば、先ず、ステップＳＴ１において、動画像記録再生装置１は、ビデオエンコーダ１３で行う再エンコード及びマルチプレクサ１４で行う再多重化におけるシステムターゲットデコーダ２０で規定される制限に対応するための各種パラメータを決定する処理を行う。
【００９７】
すなわち、動画像記録再生装置１は、再エンコードするアウト点側プログラムのビデオのビットレートＲｖ１、再エンコードするイン点側プログラムのビデオのビットレートＲｖ２、再エンコードするイン点側プログラムの最初のピクチャをデコードするときのＶＢＶバッファ３１のビット占有量Ｂｖｓｄ、再エンコードしたアウト点側プログラムのビデオストリームとオーディオストリームとを多重化するときの多重化位相差時間Ｔａｓを決定する。なお、上記各種パラメータを設定するときの詳細な説明は後述する。
【００９８】
次のステップＳＴ２において、動画像記録再生装置１は、アウト点側プログラムのビデオストリームについて再エンコードをビデオエンコーダ１３により行って、再エンコードされたビデオストリームとオーディオストリームとをパック単位で時分割多重化する処理をマルチプレクサ１４により行う。なお、アウト点側プログラムについて行う再エンコード及び再多重化の処理の詳細については後述する。
【００９９】
次のステップＳＴ３において、動画像記録再生装置１は、イン点側プログラムのビデオストリームについて再エンコードをビデオエンコーダ１３により行って、再エンコードされたビデオストリームとオーディオストリームとをパック単位で時分割多重化する処理をマルチプレクサ１４により行って処理を終了する。なお、イン点側プログラムについて行う再エンコード及び多重化の処理の詳細については後述する。
【０１００】
次に、上述の図９に示したステップＳＴ１における再エンコードを行うときの各種パラメータについて説明する。
【０１０１】
動画像記録再生装置１は、ビデオエンコーダ１３により再エンコードを行うとき、Ｃｌｉｐ−１とＣｌｉｐ−２とからなる多重化ストリームのビデオストリームに編集処理を行うときにおいて、上記ビットレートＲｖ１、ビットレートＲｖ２、ビット占有量Ｂｖｓｄ、多重化位相差時間Ｔａｓを下記の式５を満たすように決定する。
（Tvs1−Tms1）＋（Tvs2−Tms2）＞△T1 （式５）
ここで、Tvs1＝Bvsd／Rv1、Tms1＝Bvsd／（Rm1−Ra1）、Tvs2＝Bvsd／Rv2、Tms2＝Bvsd／（Rm2−Ra2）、△T1＝Tas＊Ra1／Rm1である。
【０１０２】
上記Rm1はＣｌｉｐ−１の多重化ストリームのビットレートprogram_mux-rateであり、上記Ra1はＣｌｉｐ−１のオーディオストリームのビットレートである。また、上記Rm2はＣｌｉｐ−２の多重化ストリームのビットレートprogram-mux-rateであり、上記Ra2はＣｌｉｐ−２のオーディオストリームのビットレートである。上記Rm1及び上記Rm2は下記式６及び式７で表現される。
Rm1＝Ra1＋Rv1＋α （α＞０） （式６）
Rm2＝Ra2＋Rv2＋β （β＞０） （式７）
更に、上記BvsdはＶＢＶバッファ３１のビット占有量であり、例えばＣｌｉｐ−２のイン点ピクチャに含まれるＧＯＰの最初のＩピクチャをデコードするときのＶＢＶバッファ３１のビット占有量とする。
【０１０３】
ここで、上記Bvsdを、図２（ｂ）のＧＯＰ（ｎ）のピクチャＩ_n2をデコードするときのＶＢＶバッファ３１のビット占有量とする具体例を図１０を用いて説明する。図１０は、Ｃｌｉｐ−２についてのＳＴＣの時刻（ＳＴＣ−２）と、システムターゲットデコーダ２０にビデオストリーム及びオーディオストリームが入力されたときにおけるビデオバッファ２２のビット占有量（ＳＴＤバッファのビット占有量）との関係を示す図である。ここで、図中のＳＴＤバッファとは、システムターゲットデコーダ２０にビデオストリームとオーディオストリームとが多重化されたＣｌｉｐ−１及びＣｌｉｐ−２とが入力されているときにおけるビデオバッファ２２のビット占有量を示す。したがって、ビット占有量の傾きがゼロの直線（水平）の時間帯は、例えばデマルチプレクサ２１からオーディオバッファ２３にオーディオストリームが入力されている時間帯等であることにより、ビデオバッファ２２へのデータ入力が停止していることを表す。これに対し、後述の図１５は、ＶＢＶバッファ３１にビデオストリームのみが入力されているときのＶＢＶバッファ３１のビット占有量を示す。図１０における右上がりの直線の傾きは、多重化ストリームのビットレートである。また図１５における右上がりの直線の傾きは、ビデオストリームのビットレートである。
【０１０４】
図１０中ｓｃｒ（Ｉ_n2）は、ピクチャＩ_n2の先頭のビデオデータを含むビデオパックをシステムターゲットデコーダ２０に入力する時刻であり、ビデオパックのヘッダに含まれるＳＣＲに示される時刻である。ピクチャＩ_n2の先頭のデータを含むパックは、ＳＴＣとｓｃｒ（Ｉ_n2）とが一致したタイミングでシステムターゲットデコーダ２０に入力される。システムターゲットデコーダ２０にビデオパックのビデオストリームが入力されるときには、ビデオバッファ２２のビット占有量がビットレートRm2で増加する。また、図中ｄｔｓ（Ｉ_n2）は、ピクチャＩ_n2をデコードする時刻であり、ピクチャＩ_n2を含むビデオパックに付加されたＤＴＳで示される時刻である。そして、ｄｔｓ（Ｉ_n2）においてピクチャＩ_n2のビデオデータが引き抜かれてビット占有量が減少する。
【０１０５】
そして、図１０に示すようにｄｔｓ（Ｉ_n2）におけるシステムターゲットデコーダ２０のビデオバッファ２２のビット占有量を再エンコードするイン点側のビデオの最初のピクチャをデコードするときのＶＢＶバッファ３１のビット占有量Bvsdとする。
【０１０６】
更にまた、△Ｔ１は、上述したように、Ｃｌｉｐ−１の最後のビデオパックの次のパックから、Ｃｌｉｐ−１の最後のパックまでのデータ量を“Ｎ１”とすると、Ｃｌｉｐ−１の最後のビデオパックのデマルチプレクサ２１への入力が終了した時刻（Ｔ１）からＣｌｉｐ−１の最後のパック(オーディオパック)のデマルチプレクサ２１への入力が終了する時刻（Ｔ２）であり下記式８に示すように表現される。
ΔＴ１＝Ｔ２−Ｔ１＝Ｎ１／ program_mux-rate （式８）
そして、動画像記録再生装置１は、上述のように定義される上記ビットレートＲｖ１、ビットレートＲｖ２、ビット占有量Ｂｖｓｄ、多重化位相差時間Ｔａｓを上記式４を満たすように再エンコード及び再多重化を行う。
【０１０７】
更に、図１１に、Ｃｌｉｐ−１をエンコードするときにおける、時間とＶＢＶバッファ３１又はＳＴＤバッファ（ビデオバッファ２２）のビット占有量との関係を示す。この図１１によれば、ビットレート（Rm1−Ra1）でビデオバッファ２２にビデオストリームを入力したときのビット占有量Ｂｖｓｄに達するのに要する時間は上記Tms1であり、ビットレートRv1でＶＢＶバッファ３１にビデオストリームを入力したときのビット占有量Ｂｖｓｄに達するのに要する時間は上記Tvs1である。そして、Ｃｌｉｐ−１のビデオストリームをビデオバッファ２２に入力するときにおいて、上記式６におけるαが大きいほど、図中の時間Ｘ（＝Tvs1−Tms1）が大きくなり、Ｃｌｉｐ−１のビデオデータのビデオバッファ２２への入力終了する時刻（SCR-video1-end）を小さく（速く）することができる。
【０１０８】
更にまた、図１２に、Ｃｌｉｐ−２をエンコードするときにおける、時間とＶＢＶバッファ３１又はＳＴＤバッファ（ビデオバッファ２２）のビット占有量との関係を示す。この図１２によれば、ビットレート（Rm2-Ra2）でビデオバッファ２２にビデオストリームを入力したときのビット占有量Ｂｖｓｄに達するのに要する時間は上記Tms2であり、ビットレートRv2でＶＢＶバッファ３１にビデオストリームを入力したときのビット占有量Ｂｖｓｄに達するのに要する時間は上記Tvs2である。そして、Ｃｌｉｐ−２のビデオストリームをビデオバッファ２２に入力するときにおいて、上記式７におけるβが大きいほど、図中の時間Ｙ（＝Tvs2−Tms2）が大きくなり、Ｃｌｉｐ−２のビデオデータのビデオバッファ２２への入力する時刻（SCR_video2_start）を大きく（遅らせる）できる。
【０１０９】
次に、上述のステップＳＴ２において、動画像記録再生装置１によりアウト点側プログラムのビデオストリームの再エンコード及び再多重化を行うときの処理手順について図１３を参照して説明する。
【０１１０】
この図１３によれば、先ず、ステップＳＴ１１において、ビデオエンコーダ１３は、再エンコードをするビデオデータの各ピクチャのピクチャタイプを決定する処理を行う。すなわち、ビデオエンコーダ１３は、図２（ａ）及び図２（ｃ）を用いて説明したように、ピクチャＢ₁₄がアウト点ピクチャ（Ｐｏｕｔ）である場合、ピクチャＰ₁₈に基づき予測符号化されているピクチャＢ₁₄を、予測参照しないで作れるように再エンコードを行うときにピクチャタイプを変更する処理を行う。
【０１１１】
次のステップＳＴ１２において、ビデオエンコーダ１３は、アウト点側の多重化ストリームであって、再エンコードしないビデオストリームの最後のピクチャがシステムターゲットデコーダ２０のビデオバッファ２２（ＳＴＤバッファ）に入力終了したときのビット占有量Ｂａを計算する処理を行う。
【０１１２】
具体的には、上記再エンコードしないビデオストリームの最後のピクチャとは、再エンコードを行う直前のデータ、すなわち図２（ｃ）中のＧＯＰ（０）のＢ₀₇が相当する。
【０１１３】
図１４に、図２（ｃ）に示すアウト点側のビデオストリーム（・・・，Ｂ₀₇）が入力されたときのビデオバッファ２２のビット占有量（ＳＴＤバッファのビット占有量）と、ビデオパックに付加されたＳＣＲに従った時間制御部２８で生成するＳＴＣ−１との関係を示す。この図１４は、ピクチャＢ₀₄，Ｐ₀₈，Ｂ₀₆，Ｂ₀₇がパック化されてなるビデオパックがビデオバッファ２２に入力されたときのビット占有量を示している。
【０１１４】
図１４中のｓｃｒ（Ｂ₀₄）は、ピクチャＢ₀₄を含むビデオパックを最初にシステムターゲットデコーダ２０に入力する時刻である。そして、時間制御部２８からのＳＴＣ−１に従い、ｓｃｒ（Ｂ₀₄）と一致したときからビデオパックをＳＣＲに従って入力し、各ピクチャに付加されているＤＴＳに従ってビデオデコーダ２４でデコードを行う。すなわち、ビデオデコーダ２４は、ｄｔｓ（Ｂ₀₄）の時刻になったときにピクチャＢ₀₄をデコードし、ｄｔｓ（Ｐ₀₈）となったときにピクチャＰ₀₈をデコードし、ｄｔｓ（Ｂ₀₆）となったときにピクチャＢ₀₆をデコードし、ｄｔｓ（Ｂ₀₇）となったときにピクチャＢ₀₇をデコードする。
【０１１５】
そして、ＧＯＰ（０）に含まれる最後のピクチャＢ₀₇がシステムターゲットデコーダ２０に入力終了された時刻Ｔａにおけるビデオバッファ２２（ＳＴＤバッファ）のビット占有量Ｂａを計算する。
【０１１６】
また、時刻Ｔａ以降にデコードされるピクチャＰ₀₈，Ｂ₀₆，Ｂ₀₇についてのビット量（アクセスユニットサイズ）ａ（Ｐ₀₈），ａ（Ｂ₀₆），ａ（Ｂ₀₇）を調べておく。
【０１１７】
なお、図１４に示した一例においては、ＳＴＣ−１とｓｃｒ（Ｂ₀₄）とが一致したときからビット占有量Ｂａを計算する処理を開始しているが、ｓｃｒ（Ｂ₀₄）となる前の時刻からビット占有量Ｂａの計算を開始しても良く、要するに、ビット占有量Ｂａの計算開始時刻から時刻Ｔａの間に少なくとも１回のＤＴＳが存在していればよく、例えば図２（ｃ）のピクチャＩ₀₂からビット占有量Ｂａの計算を開始してもよい。
【０１１８】
次のステップＳＴ１３において、ビデオエンコーダ１３は、ステップＳＴ１２において計算したビット占有量Ｂａに基づいて、再エンコードするビデオストリームの最初のピクチャをデコードするときのＶＢＶバッファ３１のビット占有量Ｂｏｓを決定する処理を行う。
【０１１９】
具体的には、上記再エンコードするビデオストリームの最初のピクチャとは、図２（ｃ）中のＧＯＰ（１−ｘ）のピクチャＩ₁₂が相当する。
【０１２０】
図１５に、図２（ｃ）に示すアウト点側のビデオストリーム（Ｉ₁₂，・・・）が入力されたときのＶＢＶバッファ３１のビット占有量と、ビデオパックに付加されたＳＣＲに従った時間制御部２８で生成するＳＣＲ−１との関係を示す。ここで、図１５は、ピクチャＰ₀₈，Ｂ₀₆，Ｂ₀₇，Ｉ₁₂，Ｂ₁₀，Ｂ₁₁，Ｐ_14x，Ｐ_13xがＶＢＶバッファ３１に入力されたときのビット占有量を示している。
【０１２１】
そして、ビデオエンコーダ１３は、再エンコードするビデオストリームの最初のピクチャＩ₁₂をデコードするときのＶＢＶバッファ３１の初期ビット占有量Ｂｏｓを決める。このとき、ビデオエンコーダ１３は、先ず、ｄｔｓ（Ｐ₀₈）におけるＶＢＶバッファ３１のビット占有量を上記Ｂａに設定する。ここで、ビット占有量Ｂａが１．７５Ｍｂｉｔより大きいときはビット占有量Ｂａを１．７５Ｍｂｉｔと設定する。
【０１２２】
そして、ビデオエンコーダ１３は、上述のように設定したビット占有量Ｂａ、ステップＳＴ１３で調べたピクチャＰ₀₈，Ｂ₀₆，Ｂ₀₇についてのビット量（アクセスユニットサイズ）ａ（Ｐ₀₈），ａ（Ｂ₀₆），ａ（Ｂ₀₇）及びビットレートＲｖ１に基づいて、ビデオデコーダ２４によりピクチャＰ₀₈，Ｂ₀₆，Ｂ₀₇をデコードピクチャＢ₀₇をデコード終了した時刻（ｄｔｓ（Ｉ₁₂））におけるＶＢＶバッファ３１のビット占有量Ｂｏｓを求める。
【０１２３】
次のステップＳＴ１４において、ビデオエンコーダ１３は、再エンコードするビデオストリームの最後のピクチャ（Ｐ_13x）のデコード終了時におけるビット占有量Ｂｅｎｄ１を求める。そして、ビデオエンコーダ１３は、ＶＢＶバッファ３１のビット占有量Ｂｅｎｄ１が、イン点側のビデオストリームのピクチャをデコードするときのＶＢＶバッファ３１のビット占有量Ｂｖｓｄよりも大きくなるように、再エンコードするときのビデオストリームの割り当てビット量を決定する。
【０１２４】
次のステップＳＴ１５において、ビデオエンコーダ１３は上述のステップＳＴ１４において決定したビデオストリームの割り当てビット量に基づいて、アウト点側のビデオストリームを再エンコードして、マルチプレクサ１４により再多重化を行う。
【０１２５】
再多重化を行うとき、マルチプレクサ１４は、図１６に示す時刻Ｔａからアウト点側の最後のビデオパックがデマルチプレクサ２１へ入力終了する時刻SCR_video1_endまでに再エンコードされたビデオストリームの多重化を行う。これにより、マルチプレクサ１４は、Ｃｌｉｐ−Ａ及びbridge sequence-AからなるＣｌｉｐ−１の多重化を行う。
【０１２６】
図１６において、縦軸はビデオバッファ２２（ＳＴＤバッファ）のビット占有量を示し、ＢＳの値は例えばMPEG2 MP@MLでは232 kByteであり、横軸は時間制御部２８で生成するＳＴＣ−１及びＳＴＣ−２を示す。また、図１６中の点線で示したビット占有量は、Ｃｌｉｐ−１とＣｌｉｐ−２とが連続してビデオバッファ２２に入力されるときの軌跡である。
【０１２７】
次に、上述のステップＳＴ３において、動画像記録再生装置１によりイン点側プログラムのビデオストリームの再エンコード及び再多重化を行うときの処理手順について図１７のフローチャートを参照して説明する。
【０１２８】
この図１７によれば、先ず、ステップＳＴ２１において、ビデオエンコーダ１３は、再エンコードをするビデオデータの各ピクチャのピクチャタイプを決定する処理を行う。
【０１２９】
すなわち、ビデオエンコーダ１３は、図２（ｂ）及び図２（ｄ）を用いて説明したように、例えばピクチャＢ_n4がイン点ピクチャ（Ｐｉｎ）である場合、ピクチャＩ_n2に基づき予測符号化されているピクチャＰ_n5を、予測参照しないで作れるように再エンコードを行うときにピクチャタイプをＩピクチャに変更する処理を行う。
【０１３０】
次のステップＳＴ２２において、ビデオエンコーダ１３は、イン点側の多重化ストリームであって、再エンコードしないビデオストリームの最初のピクチャがシステムターゲットデコーダ２０のビデオバッファ２２（ＳＴＤバッファ）に入力したときの初期ビット占有量Ｂｊ’を計算する処理を行う。
【０１３１】
具体的には、上記再エンコードしないビデオストリームの最初のピクチャとは、再エンコードを行うＧＯＰ（ｎ）の直後のデータ、すなわち図２（ｄ）中のＧＯＰ（ｍ）のピクチャＩ_m2が相当する。
【０１３２】
図１８に、図２（ｄ）に示すイン点側のビデオストリーム（Ｉ_m2，Ｂ_m0，・・・）が入力されたときのビデオバッファ２２のビット占有量（ＳＴＤバッファのビット占有量）と、ビデオパックに付加されたＳＣＲに従った時間制御部２８で生成するＳＴＣ−２との関係を示す。この図１８は、ピクチャＩ_m2，Ｂ_m0，Ｂ_m1がパック化されてなるビデオパックがビデオバッファ２２に入力されたときのビット占有量を示している。
【０１３３】
図１８中のｓｃｒ（Ｉ_m2）は、ピクチャＩ_m2を含むビデオパックを最初にシステムターゲットデコーダ２０に入力する時刻である。そして、時間制御部２８からのＳＴＣ−２に従い、ｓｃｒ（Ｉ_m2）と一致したときからビデオパックをＳＣＲに従って入力し、各ピクチャに付加されているＤＴＳに従ってビデオデコーダ２４でデコードを行う。すなわち、ビデオデコーダ２４は、ｄｔｓ（Ｉ_m2）の時刻になったときにピクチャＩ_m2をデコードし、ｄｔｓ（Ｂ_m0）となったときにピクチャＢ_m0をデコードし、ｄｔｓ（Ｂ_m1）となったときにピクチャＢ_m1をデコードする。そして、ビデオエンコーダ１３は、ｄｔｓ（Ｉ_m2）におけるビデオバッファ２２（ＳＴＤバッファ）の初期ビット占有量Ｂｊ’を計算する。
【０１３４】
次のステップＳＴ２３において、ビデオエンコーダ１３は、上述のステップＳＴ２２で計算した初期ビット占有量Ｂｊ’に基づいて、再エンコードするビデオストリームの最初のピクチャをデコードするときのＶＢＶバッファ３１のビット占有量Ｂｊを決定する処理を行う。
【０１３５】
具体的には、上記再エンコードしないビデオストリームの最初のピクチャとは、図２（ｄ）中のＧＯＰ（ｍ）のピクチャＩ_m2が相当する。そして、本例では、ＶＢＶバッファ３１の初期ビット占有量ＢｊをステップＳＴ２２で求めたビット占有量Ｂｊ’とし、ビット占有量Ｂｊ’が１．７５Ｍｂｉｔより大きいときはビット占有量Ｂｊは１．７５Ｍｂｉｔとする。
【０１３６】
次のステップＳＴ２４において、ビデオエンコーダ１３は、再エンコードする最後のピクチャをデコード終了後のＶＢＶバッファ３１のビット占有量が上記初期ビット占有量Ｂｊよりも大きくなるように再エンコードするビデオデータの割り当てビット量を決定する。
【０１３７】
具体的には、図１９に示すように、図２（ｄ）の再エンコードするＧＯＰであるＧＯＰ（ｎ−ｘ）に含まれるピクチャＢ_n7xのデコードが終了した時刻におけるビット占有量Ｂｅｎｄ２が、ビット占有量Ｂｊよりも大きくなるように割り当てビット量を決定する。
【０１３８】
次のステップＳＴ２５において、ビデオエンコーダ１３は、上述のステップＳＴ２４で決定した割り当てビット量に基づいて、イン点側のビデオストリームのうち、再エンコードするＧＯＰであるＧＯＰ（ｎ−ｘ）を再エンコードする。
【０１３９】
次のステップＳＴ２６において、上述のステップＳＴ２５で再エンコードされたビデオストリームを再多重化する。このとき、マルチプレクサ１４は、図１６に示すように、再エンコードしたＣｌｉｐ−２のビデオストリームの再多重化をSCR_video2_startから開始する。このとき、マルチプレクサ１４は、システムターゲットデコーダ２０の時間制御部２８からのＳＴＣ−２に従ってSCR_video2_startを決定し、ビデオバッファ２２がオーバーフローしないように再多重化を行う。
【０１４０】
次のステップＳＴ２７において、動画像記録再生装置１は、ステップＳＴ２６で再多重化したビデオストリームから再多重化していないビデオストリームに移行したときにシステムターゲットデコーダ２０のビデオバッファ２２（ＳＴＤバッファ）がオーバーフローするか否かを判定する。
【０１４１】
すなわち、マルチプレクサ１４は、再多重化したＧＯＰ（ｎ−ｘ）とこのＧＯＰに続いて表示されるＧＯＰ（ｍ）を接続するときにビデオバッファ２２（ＳＴＤバッファ）がオーバーフローしないか否かを判定する。
【０１４２】
更に具体的には、例えば図２０に示すように、ｓｃｒ（Ｉ_n5x）で再多重化されたイン点側のＧＯＰを含むビデオパックが入力開始され（SCR_video2_start）、ｓｃｒ（Ｉ_m2）で多重化されたビデオストリームに続くビデオストリームが連続してビデオバッファ２２に入力開始されたときにおいて、図中の点線で示すようにビット占有量ＢＳ以下のビット占有量の軌跡であれば、ビデオバッファ２２（ＳＴＤバッファ）がオーバーフローすることなく、ｄｔｓ（Ｉ_m2）でピクチャＩ_m2のデコードが開始される。
【０１４３】
一方、図２１に示すように、ｓｃｒ（Ｉ_n5x）で再多重化されたイン点側のＧＯＰを含むビデオパックが入力開始され（SCR-video2-start）、ｓｃｒ（Ｉ_m2）で多重化されたビデオストリームに続くビデオストリームが連続してビデオバッファ２２に入力開始されたときにおいて、図中の点線で示すようにビット占有量ＢＳ以上のビット占有量の軌跡となると、ビデオバッファ２２（ＳＴＤバッファ）がオーバーフローしてしまう。すなわち、マルチプレクサ１４は、図２０を用いて説明したように再多重化されたビデオストリームに続いてｓｃｒ（Ｉ_m2）においてビデオストリームが入力開始されたときにおいてビデオバッファ２２（ＳＴＤバッファ）のオーバーフローが発生しないと判定したときには処理を終了し、図２１を用いて説明したように再多重化されたビデオストリームに続いてｓｃｒ（Ｉ_m2）においてビデオストリームが入力開始されたときにおいてビデオバッファ２２（ＳＴＤバッファ）のオーバーフローが発生すると判定したときにはステップＳＴ２８に進む。
【０１４４】
ステップＳＴ２８において、マルチプレクサ１４は、ビデオバッファ２２（ＳＴＤバッファ）のオーバーフローが発生しないように、再多重化したビデオストリームに続いて表示されるビデオストリームの最初のピクチャのデコード時刻以前に入力されたビデオパックの入力時刻を遅らせるようにビデオパックに付加されているＳＣＲを書き換える処理を行う。
【０１４５】
具体的には、マルチプレクサ１４は、図２２の点線で示すようにＳＴＣ−２が“０”の時刻からピクチャＩ_m2の入力開始するのに対して、図中Ｄで示す時間だけ遅らせて新たなｓｃｒ（Ｉ_m2）からピクチャＩ_m2を含むＧＯＰ（ｍ）をビデオバッファ２２に入力するように、ピクチャＩ_m2を含むビデオパックに付加されているＳＣＲを書き換える処理を行って、ｄｔｓ（Ｉ_m2）からピクチャＩ_m2のデコードを開始して処理を終了する。
【０１４６】
このような処理を行う動画像記録再生装置１は、図１３を用いて説明したように、再エンコードしないアウト点側のビデオストリームの最後のピクチャ（図２（ｃ）中のピクチャＢ₀₇）をビデオバッファ２２（ＳＴＤバッファ）に入力終了したときのビット占有量Ｂａを計算し、ビット占有量Ｂａに基づいて再エンコードされるビデオストリームの最初のピクチャ（図２（ｃ）中のピクチャＩ₁₂）をデコードするときのＶＢＶバッファ３１のビット占有量Ｂｏｓを求めて割り当てビット量を決定するので、再エンコードされたアウト点側のビデオストリームの最初のピクチャ（図２（ｃ）中のピクチャＩ₁₂）をデコードするときにビデオバッファ２２のオーバーフロー及びアンダーフローを発生させないようにアウト点側のビデオストリームについて再エンコード及び再多重化を行うことができる。また、動画像記録再生装置１は、図１７を用いて説明したように、再エンコードしないイン点側のビデオストリームの最初のピクチャ（図２（ｄ）中のピクチャＩ_m2）をデコードするときのビデオバッファ２２（ＳＴＤバッファ）のビット占有量Ｂｊ’を計算し、ビット占有量Ｂｊ’に基づいて再エンコードしないビデオストリームの最初のピクチャ（図２（ｄ）中のピクチャＩ_m2）をデコードするときのＶＢＶバッファ３１のビット占有量Ｂｊを求めるので、再エンコードしないビデオストリームの最初のピクチャ（図２（ｄ）中のピクチャＩ_m2）をデコードするときにビデオバッファ２２（ＳＴＤバッファ）のオーバーフロー及びアンダーフローを発生させないようにイン点側のビデオストリームについて再エンコード及び再多重化を行うことができる。
【０１４７】
したがって、この動画像記録再生装置１によれば、各ピクチャに付加されたvbv_delayを参照しなくても、ビデオバッファ２２のオーバーフロー及びアンダーフローを発生させずにイン点側及びアウト点側のビデオストリームの再エンコード及び再多重化を行うことにより、Ｃｌｉｐ−１とＣｌｉｐ−２とを継ぎ合わせて再生させるときにシームレスに再生させることがことができる。
【０１４８】
なお、マルチプレクサ１４は、上述のステップＳＴ２７及びステップＳＴ２８で説明した処理を行わないで、ステップＳＴ２６において再多重化する範囲を再エンコードをしたビデオストリームのみならず、SCR_video2_startから始まって、再エンコードしていない最初のピクチャのデコード開始時刻より前までにシステムターゲットデコーダ２０に入力されるビデオパックとしてもよい。すなわち、マルチプレクサ１４は、図１６において、SCR_video2_startからｄｔｓ（Ｉ_m2）までにシステムターゲットデコーダ２０に入力されるビデオパックを再多重化するようにしてもよい。これにより、マルチプレクサ１４は、再エンコードを行ったイン点側のビデオストリームについて再多重化を行うときに発生するビデオバッファ２２のオーバーフローを防止するとともに、ビデオパックに付加されているＳＣＲを書き換える処理等を行う必要がない。
【０１４９】
次に、上述した動画像記録再生装置１により再エンコード及び再多重化を行うときの他の一例について説明する。
【０１５０】
図２３に、ビデオエンコーダ１３で行うアウト点側のビデオストリームの再エンコードの一例について示す。
【０１５１】
ビデオエンコーダ１３は、図２３（ａ）に示すように光ディスク２に記録されたアウト点側のビデオストリームのうち、ＧＯＰ（１）のピクチャＢ₁₁がアウト点ピクチャ（Ｐｏｕｔ）として指定されたとき、図２３（ｂ）、図２３（ｃ）又は図２３（ｄ）に示すようにアウト点側のビデオストリームの再エンコードを行う。
【０１５２】
図２３（ｂ）によれば、ビデオエンコーダ１３は、アウト点側のビデオストリームのうち、ＧＯＰ（１）のみを再エンコードする。すなわち、ビデオエンコーダ１３は、ＧＯＰ（１）のピクチャＢ₁₀をＩピクチャのＩ_10xに再エンコードし、アウト点ピクチャのピクチャＢ₁₁をＰピクチャのＰ_11xに再エンコードして新たなＧＯＰ（１−ｘ）を生成する。
【０１５３】
また、図２３（ｃ）及び図２３（ｄ）によれば、ビデオエンコーダ１３は、ＧＯＰ（０）とＧＯＰ（１）の２つのＧＯＰを再エンコードする。
【０１５４】
図２３（ｃ）によれば、ビデオエンコーダ１３は、ＧＯＰ（０）とＧＯＰ（１）を一つのＧＯＰ（ａ−ｘ）として再エンコードする。このとき、ビデオエンコーダ１３は、ＧＯＰ（０）のピクチャＩ₀₂〜Ｂ₀₇をＧＯＰ（ａ−ｘ）にコピーし、ＧＯＰ（１）のピクチャＢ₁₀，Ｂ₁₁をそれぞれＧＯＰ（ａ−ｘ）のＰピクチャのピクチャＰ_10x，Ｐ_11xに再エンコードする。
【０１５５】
また、図２３（ｄ）によれば、ビデオエンコーダ１３は、ＧＯＰ（０）とＧＯＰ（１）を２つのＧＯＰ（ａ−ｘ１）とＧＯＰ（ａ−ｘ２）に再エンコードする。このとき、ビデオエンコーダ１３は、ＧＯＰ（０）のピクチャＩ₀₂〜Ｂ₀₄をＧＯＰ（ａ−ｘ１）にコピーし、ＧＯＰ（０）のピクチャＰ₀₈，Ｂ₀₆，Ｂ₀₇をそれぞれＧＯＰ（ａ−ｘ２）のピクチャＩ_8x，Ｂ_6x，Ｂ_7xに再エンコードし、ＧＯＰ（１）のピクチャＢ₁₀，Ｂ₁₁をＧＯＰ（ａ−ｘ２）のピクチャＰ_10x，Ｐ_11xに再エンコードする。なお、この図２３（ｄ）に示したビデオエンコーダ１３で行う再エンコードの一例は、ＧＯＰの最大長が５ピクチャに制限されている場合である。
【０１５６】
上述した再エンコードを行うビデオエンコーダ１３は、再エンコードを行うとき、図２３（ｂ）に示した再エンコードと図２３（ｃ）又は図２３（ｄ）とのいずれかの再エンコードを行うかを選択するかは、システムターゲットデコーダ２０に備えられているビデオバッファ２２による制限に基づいて決定する。
【０１５７】
図２４に、イン点側のビデオストリームの再エンコードの一例について示す。
ビデオエンコーダ１３は、図２４（ａ）に示すように光ディスク２に記録されたイン点側のビデオストリームのうち、ＧＯＰ（ｎ）のピクチャＰ_n8がイン点ピクチャ（Ｐｉｎ）として指定されたとき、図２４（ｂ）、図２４（ｃ）又は図２４（ｄ）に示すようにイン点側のビデオストリームの再エンコードを行う。
【０１５８】
図２４（ｂ）によれば、ビデオエンコーダ１３は、イン点側のビデオストリームのうち、ＧＯＰ（ｎ）のみを再エンコードする。すなわち、ビデオエンコーダ１３は、ＧＯＰ（ｎ）のピクチャＰ_n8，Ｂ_n6，Ｂ_n7を、それぞれピクチャＩ_8x，Ｂ_n6x，Ｂ_n7xに再エンコードして新たなＧＯＰ（ｎ−ｘ）を生成する。
【０１５９】
また、図２４（ｃ）及び図２４（ｄ）によれば、ビデオエンコーダ１３は、ＧＯＰ（ｎ）とＧＯＰ（ｍ）の２つのＧＯＰを再エンコードする。
【０１６０】
図２４（ｃ）によれば、ビデオエンコーダ１３は、ＧＯＰ（ｎ）とＧＯＰ（ｍ）を一つのＧＯＰ（ｂ−ｘ）として再エンコードする。このとき、ビデオエンコーダ１３は、ＧＯＰ（ｎ）のピクチャＰ_n8，Ｂ_n6，Ｂ_n7をピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xに再エンコードし、ＧＯＰ（ｍ）のピクチャＩ_m2をＰピクチャのピクチャＰ_m2xに再エンコードし、ＧＯＰ（ｍ）のピクチャＩ_m2より後ろのピクチャを同じピクチャタイプのピクチャに再エンコードして、新たなＧＯＰ（ｂ−ｘ）を生成する。
【０１６１】
また、図２４（ｄ）によれば、ビデオエンコーダ１３は、ＧＯＰ（ｎ）とＧＯＰ（ｍ）を２つのＧＯＰ（ｂ−ｘ１）とＧＯＰ（ｂ−ｘ２）に再エンコードする。このとき、ビデオエンコーダ１３は、ＧＯＰ（ｎ）のピクチャＰ_n8，Ｂ_n6，Ｂ_n7をピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xに再エンコードし、ＧＯＰ（ｍ）のピクチャＰ_m5をＧＯＰ（ｂ−ｘ２）のピクチャＩ_m5xに再エンコードし、ＧＯＰ（ｍ）のピクチャＰ_m5よりも後ろのピクチャを同じピクチャタイプのピクチャに再エンコードする。
【０１６２】
上述した再エンコードを行うビデオエンコーダ１３は、再エンコードを行うとき、図２４（ｂ）に示した再エンコードと図２４（ｃ）又は図２４（ｄ）とのいずれかの再エンコードを行うかを選択するかは、システムターゲットデコーダ２０に備えられているビデオバッファ２２による制限に基づいて決定する。
【０１６３】
次に、上述の図２３を用いて説明したビデオエンコーダ１３による再エンコードを行って、マルチプレクサ１４により再多重化を行うときの処理手順について図２５のフローチャートを用いて説明する。なお、図２５に示すフローチャートの説明において、図１３に示すフローチャートと同じ処理内容のステップについては同じステップ番号を付することによりその詳細な説明を省略する。
【０１６４】
図２５のフローチャートによれば、先ず、上述のステップＳＴ１１〜ステップＳＴ１３に示す処理を行う。
【０１６５】
すなわち、ビデオエンコーダ１３は、ステップＳＴ１１において、再エンコードをするビデオデータの各ピクチャのピクチャタイプを決定する処理、すなわち、図２３（ａ）及び図２３（ｂ）を用いて説明したように、ピクチャＢ₁₁がアウト点ピクチャ（Ｐｏｕｔ）である場合、ピクチャＰ₁₅に基づき予測符号化されているピクチャＢ₁₁を、予測参照しないで作れるように、ピクチャＢ₁₀をピクチャＩ_10xとし、ピクチャＢ₁₁をピクチャＰ_11xとなるようにピクチャタイプを決定する。そして、ビデオエンコーダ１３は、ステップＳＴ１２においてピクチャＢ₀₇がビデオバッファ２２に入力されたときのビット占有量Ｂａを計算し、ステップＳＴ１３においてビット占有量Ｂａに基づいてピクチャＩ_10xをデコードするときのＶＢＶバッファ３１のビット占有量Ｂｏｓを決めて、ステップＳＴ３１に進む。
【０１６６】
ステップＳＴ３１において、ビデオエンコーダ１３は、再エンコードするビデオストリームの各ピクチャＩ_10x，Ｐ_11xについての割り当てビット量を決定する。
【０１６７】
次のステップＳＴ３２において、ビデオエンコーダ１３は、上述のステップＳＴ３１で決定した割り当てビット量で再エンコードするとしたとき、再エンコードするビデオストリームの最後のピクチャＰ_11xのデコード終了後のＶＢＶバッファ３１のビット占有量Ｂｅｎｄ１を計算する。
【０１６８】
次のステップＳＴ３３において、ビデオエンコーダ１３は、上述のステップＳＴ３２で計算したビット占有量Ｂｅｎｄ１と、再エンコードするイン点側のビデオストリームの最初のピクチャをデコードするときのＶＢＶバッファ３１の初期ビット占有量Ｂｖｓｄとの大きさを比較する処理を行う。ここで、初期ビット占有量Ｂｖｓｄは、図２４の例を取って説明すると、ピクチャＩ_n8xをデコードするときのＶＢＶバッファ３１のビット占有量とする。
【０１６９】
そして、ビデオエンコーダ１３は、ビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄ以上であると判定したにはステップＳＴ１５に進み、ビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄよりも小さいと判定したときにはステップＳＴ３４に進む。
【０１７０】
このステップＳＴ３３において、ビデオエンコーダ１３によりビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄ以上となると判定されるときの一例を図２５に示す。
【０１７１】
図２６において、横軸の時間軸上の時刻ｔ（）は、再エンコードされるピクチャのデコード時刻を示し、例えばｔ（Ｐ₀₈）はピクチャＰ₀₈のデコード時刻を示す。また、図２６中のａ（）はピクチャのビット量を示し、例えばａ（Ｉ_10x）はピクチャＩ_10xのビット量を示す。この図２６において、上述のステップＳＴ３１で再エンコードするビデオストリームのピクチャＩ_10x，Ｐ_11xの割り当てビット量を決定したときには、各ピクチャＩ_10x，Ｐ_11xをデコードしたときにａ（Ｉ_10x）、ａ（Ｐ_11x）で示されるデータ量がバッファから削除され、ビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄ以上となると判定し、図２３（ｂ）に示すＧＯＰ（１−ｘ）を再エンコードするようにステップＳＴ１５に進む。
【０１７２】
一方、ステップＳＴ３３において、ビデオエンコーダ１３によりビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄより小さいと判定されるときの一例を図２７に示す。
【０１７３】
この図２７において、ビデオエンコーダ１３は、上述のステップＳＴ３１で再エンコードするビデオストリームのピクチャＩ_10x，Ｐ_11xの割り当てビット量を決定したときには、各ピクチャＩ_10x，Ｐ_11xをデコードしたときにａ（Ｉ_10x）、ａ（Ｐ_11x）で示されるデータ量がバッファから削除され、ビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄより小さくなると判定しステップＳＴ３４に進む。
【０１７４】
ステップＳＴ１５において、ビデオエンコーダ１３は、図２３（ｂ）に示したアウト点側のビデオストリームを再エンコードする。
【０１７５】
ステップＳＴ３４において、ビデオエンコーダ１３は、再エンコードを開始するピクチャを再エンコードをするＧＯＰの順序における前側のＧＯＰに属するピクチャに変更する。すなわち、ビデオエンコーダ１３は、図２３（ｂ）に示すように再エンコードするピクチャＩ_10xを、前のＧＯＰ（０）に属するピクチャＰ_10xとし、再エンコードするピクチャ数を変更する処理を行うことにより、図２３（ｃ）に示す再エンコードする新たなＧＯＰ（ａ−ｘ）を生成する。
【０１７６】
また、ビデオエンコーダ１３は、図２３（ｂ）に示すＧＯＰ（０）、ＧＯＰ（１−ｘ）から図２３（ｄ）に示すＧＯＰ（ａ−ｘ１）、ＧＯＰ（ａ−ｘ２）を生成するようにしてもよい。そして、ビデオエンコーダ１３は、ステップＳＴ３４からステップＳＴ１１に戻り、ステップＳＴ３４で変更された再エンコードを行うビデオストリームについてステップＳＴ１１からステップＳＴ３３までの処理を行ってステップＳＴ１５で再エンコード及び再多重化を行う。
【０１７７】
このようにステップＳＴ３４に示す処理を行うことにより、図２５に示したようなビデオバッファ２２のビット占有量を図２８に示すように変更する。図２８によれば、図２３（ｂ）のピクチャＩ_10xを図２３（ｃ）に示すピクチャＰ_10xと変更して、再度ステップＳＴ３１で再エンコードするビデオストリームのピクチャＰ_10x，Ｐ_11xの割り当てビット量を決定したときには、各ピクチャＰ_10x，Ｐ_11xをデコードしたときにａ（Ｐ_10x）、ａ（Ｐ_11x）で示されるデータ量がバッファから削除され、ビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄ以上となると判定し、図２３（ｃ）に示すＧＯＰ（ａ−ｘ）を再エンコードするようにステップＳＴ１５に進んで再エンコード及び再多重化を行うことができる。
【０１７８】
次に、上述の図２４を用いて説明したビデオエンコーダ１３による再エンコードを行って、マルチプレクサ１４により再多重化を行うときの処理手順について図２９のフローチャートを用いて説明する。なお、図２９に示すフローチャートの説明において、図１７に示すフローチャートと同じ処理内容のステップについては同じステップ番号を付することによりその詳細な説明を省略する。
【０１７９】
図２９のフローチャートによれば、先ず、上述のステップＳＴ２１〜ステップＳＴ２３に示す処理を行う。
【０１８０】
すなわち、ビデオエンコーダ１３は、ステップＳＴ２１において、再エンコードをするビデオデータの各ピクチャのピクチャタイプを決定する処理、すなわち、図２４（ａ）及び図２４（ｂ）を用いて説明したように、ピクチャＰ_n8がイン点ピクチャ（Ｐｉｎ）である場合、ピクチャＰ_n5に基づき予測符号化されているピクチャＰ_n8を、予測参照しないで作れるように、ピクチャＰ_n8をピクチャＩ_n8xとし、ピクチャＢ_n6をピクチャＢ_n6x、ピクチャＢ_n7をピクチャＢ_n7xとなるようにピクチャタイプを決定する。そして、ビデオエンコーダ１３は、ステップＳＴ２２においてピクチャＩ_m2をデコードするときの初期ビット占有量Ｂｊ’を計算し、ステップＳＴ２３において初期ビット占有量Ｂｊ’に基づいてピクチャＩ_m2をデコードするときのＶＢＶバッファ３１の初期ビット占有量Ｂｊを決めて、ステップＳＴ４１に進む。
【０１８１】
ステップＳＴ４１において、ビデオエンコーダ１３は、再エンコードするビデオストリームの各ピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xついての割り当てビット量を決定する。
【０１８２】
次のステップＳＴ４２において、ビデオエンコーダ１３は、上述のステップＳＴ４１で決定した割り当てビット量で再エンコードするとしたとき、再エンコードするビデオストリームの最後のピクチャＢ_n7xのデコード終了後のＶＢＶバッファ３１のビット占有量Ｂｅｎｄ２を計算する。
【０１８３】
次のステップＳＴ４３において、ビデオエンコーダ１３は、上述のステップＳＴ４２で計算したビット占有量Ｂｅｎｄ２と、初期ビット占有量Ｂｊとの大きさを比較する処理を行う。
【０１８４】
そして、ビデオエンコーダ１３は、ビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊ以上であると判定したにはステップＳＴ２５に進み、ビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊよりも小さいと判定したときにはステップＳＴ４４に進む。
【０１８５】
このステップＳＴ４３において、ビデオエンコーダ１３によりビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊ以上となると判定されるときの一例を図３０に示す。
【０１８６】
図３０において、上述のステップＳＴ４１で再エンコードするビデオストリームのピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xの割り当てビット量を決定したときには、各ピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xをデコードしたときにａ（Ｉ_n8x）、ａ（Ｂ_n6x）、ａ（Ｂ_n7x）で示されるデータ量がバッファから削除され、ビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊ以上となると判定し、図２４（ｂ）に示すＧＯＰ（ａ−ｘ）をデコードするようにステップＳＴ２５に進む。
【０１８７】
ビデオエンコーダ１３は、ステップＳＴ２５において図２４（ｂ）に示したイン点側のビデオストリームを再エンコードをし、ステップＳＴ２６において再エンコードしたビデオストリームを用いてビデオバッファ２２の制限に従いマルチプレクサ１４で再多重化を行い、多重化したデータを再生したときにビデオバッファ２２がオーバーフローしないようにステップＳＴ２７及びステップＳＴ２８を行って処理を終了する。
【０１８８】
一方、ステップＳＴ４３において、ビデオエンコーダ１３によりビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊより小さいと判定されるときの一例を図３１に示す。
【０１８９】
この図３１において、ビデオエンコーダ１３は、上述のステップＳＴ４１で再エンコードするビデオストリームのピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xの割り当てビット量を決定したときには、各ピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xをデコードしたときにａ（Ｉ_n8x）、ａ（Ｂ_n6x）、ａ（Ｂ_n7x）で示されるデータ量がバッファから削除され、ビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊより小さくなると判定する。
【０１９０】
また、この図３１によれば、ビデオエンコーダ１３は、再エンコードするＧＯＰ（ｎ−ｘ）と再エンコードしないＧＯＰ（ｍ）とを連続して再エンコードするときに、ビット占有量の軌跡が連続になるように再エンコードできないことが分かる。すなわち、ＧＯＰ（ｎ−ｘ）をＶＢＶバッファ３１に入力してデコードしたときのビット占有量の軌跡Ａと、ＧＯＰ（ｍ）をＶＢＶバッファ３１に入力してデコードしたときのビット占有量の軌跡Ｂとが一致していない。
【０１９１】
ステップＳＴ４４において、ビデオエンコーダ１３は、ＧＯＰ（ｎ）とＧＯＰ（ｍ）を一つのＧＯＰ（ｂ−ｘ）として再エンコードするようにピクチャタイプの変更を行ってステップＳＴ２１に戻る。すなわち、ビデオエンコーダ１３は、図２４（ｂ）に示すピクチャＩ_m2をピクチャＰ_m2xとし、再エンコードするピクチャ数を変更する処理を行うことにより、図２４（ｃ）に示す再エンコードする新たなＧＯＰ（ｂ−ｘ）を生成する。そして、ビデオエンコーダ１３は、ステップＳＴ４４において新たに生成した再エンコードするビデオデータについてステップＳＴ２１〜ステップＳＴ４２までの処理を行ってステップＳＴ２５以降の処理を行う。このようにステップＳＴ４４に示す処理を行うことにより、ビデオエンコーダ１３は、図３１に示したようなビデオバッファ２２のビット占有量を図３２に示すように変更させる。
【０１９２】
図３２によれば、動画像記録再生装置１は、図２４（ｂ）のピクチャＩ_m2を図２４（ｃ）に示すピクチャＰ_m2xに変更して、再度ステップＳＴ４１で再エンコードするビデオストリームのピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xの割り当てビット量を決定したときには、各ピクチャＩ_n8x，Ｂ_n6x，Ｂ_n7xをデコードしたときにａ（Ｉ_n8x）、ａ（Ｂ_n6x）、ａ（Ｂ_n7x）で示されるデータ量が発生し、ビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊ以上となると判定し、図２４（ｃ）に示すＧＯＰ（ａ−ｘ）をデコードするようにステップＳＴ２５に進んで再エンコード及び再多重化を行うことができる。
【０１９３】
また、この図３２によれば、ビデオエンコーダ１３は、再エンコードするＧＯＰ（ｎ−ｘ）と再エンコードしないＧＯＰ（ｍ）とを連続して再エンコードするときに、ビット占有量の軌跡が連続になるように再エンコードできることが分かる。すなわち、ピクチャＢ_n7xとピクチャＰ_m2を連続してデコードしたときにビット占有量の軌跡が連続していることが分かる。
【０１９４】
上述したように、動画像記録再生装置１は、ステップＳＴ３３においてビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄよりも小さいと判定したときにはステップＳＴ３４において、例えば図２３（ｂ）に示すように再エンコードするピクチャＩ_10xを、前のＧＯＰ（０）に属するピクチャＰ_10xとし、図２３（ｃ）に示す再エンコードする新たなＧＯＰ（ａ−ｘ）を生成することにより、図２７及び図２８に示すように、ビデオバッファ２２のビット占有量の急激な減少を抑制することができる。したがって、この動画像記録再生装置１によれば、アウト点側のビデオデータを更に高画質に再エンコードをして、高画質に再多重化を行うことができる。
【０１９５】
また、動画像記録再生装置１は、ステップＳＴ４３においてビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊよりも小さいと判定したときにはステップＳＴ４４において、例えば図２４（ｂ）に示すように再エンコードするピクチャＩ_m2を、ピクチャＰ_m2xとし、図２４（ｃ）に示す再エンコードする新たなＧＯＰ（ｂ−ｘ）を生成することにより、図３１及び図３２に示すように、イン点側のビデオデータを再エンコードするときに、ビデオバッファ２２のビット占有量を連続とすることができる。したがって、この動画像記録再生装置１によれば、アウト点側のビデオデータを更に高画質に再エンコードをして、高画質に再多重化を行うことができる。
【０１９６】
なお、以上説明した動画像記録再生装置１の説明においては、ＭＰＥＧ２システム規格で定義されてる連続したＳＣＲが付加されているプログラムストリームであるときの一例について説明したが、これに限られず、複数プログラム（マルチプログラム）を多重化するためのトランスポートストリームである場合でも適用することができる。トランスポートストリームの場合、動画像記録再生装置１は、ＳＣＲに代えてＰＣＲ（Program Clock Reference）を参照し、またＳＴＤをＴ−ＳＴＤのモデルとし、ビデオバッファ２２のビット占有量の計算を行う。
【０１９７】
ここで、トランスポートストリーム形式の多重化ストリームは、システムターゲットデコーダ４０への出力タイミングを示すＰＣＲ（Program Clock Reference）を格納するＰＣＲパケットと、デコードタイミングを示すＤＴＳ及びデコードされたデータの出力タイミングを示すＰＴＳが付加情報として追加されたビデオのＰＥＳ（Packetized Elementary Stream）パケットをトランスポートパケットに分割したものと、ＰＴＳが付加情報として付加されたオーディオのＰＥＳパケットをトランスポートパケットに分割したものと、その他にシステムデータを送るためのトランスポートパケットなどを含み、複数のプログラムが時分割で多重化されている。多重化ストリームは、付加情報が参照されてデコードタイミング及び出力タイミングが制御される。
【０１９８】
図３３は動画像記録再生装置１が多重化した多重化ストリームを復号するシステムターゲットデコーダ４０をトランスポートストリームの場合について示したブロック図である。なお、上述のシステムターゲットデコーダ２０と同じ部分については同じ符号を付することによりその詳細な説明を省略する。
【０１９９】
システムターゲットデコーダ４０には、トランスポートストリームが多重化された多重化ストリームが入力される点で、前述の図６のシステムターゲットデコーダ２０と異なる。
【０２００】
多重化ストリームが入力されたデマルチプレクサ４１は、多重化された各トランスポートストリームのパケットヘッダに含まれるＰＩＤ（Packet Identifier、パケット識別子）を読み出し、ＰＩＤの値によってペイロードに格納されたデータの種類がビデオ、オーディオ、システムデータのいずれであるかを判定する。デマルチプレクサ４１は、ＰＩＤによる判定結果に基づいて、ビデオトランスポートパケット、オーディオトランスポートパケット及びシステムトランスポートパケットをビデオトランスポートバッファ４２、オーディオトランスポートバッファ４３及びシステムトランスポートバッファ４４に出力する。このとき、デマルチプレクサ４１は、ＰＩＤに従って接続部４１ａと各バッファ４２〜４４に接続された端子と接続切換する。
【０２０１】
ビデオトランスポートバッファ４２からは、ビデオトランスポートパケットのペイロードの部分（ＰＥＳパケット）のみが多重バッファ４５へ送られ、さらにエレメンタリーストリームとしてビデオエレメンタリーバッファ４６へと送られる。
【０２０２】
ビデオトランスポートパケット以外のオーディオトランスポートパケット及びシステムトランスポートパケットは、オーディオトランスポートバッファ４３、システムトランスポートバッファ４４からオーディオエレメンタリーストリーム、システムエレメンタリーストリームとして、直接オーディオメインバッファ４７、システムメインバッファ４８へ送られる。
【０２０３】
ビデオエレメンタリーバッファ４６、オーディオメインバッファ４７及びシステムメインバッファ４８に格納されたエレメンタリーストリームは、ＤＴＳによって指定された時刻に各バッファ４６〜４８から除かれて各デコーダ４９〜５１に入力され、デコーダ４９〜５１においてデコードされる。
【０２０４】
時間制御部２８は、アウト点及びイン点のビデオストリームを継ぎ合わせて再生する際のアウト点側プログラムからイン点側プログラムへの切り換え時に、アウト点側プログラムのＰＣＲに同期したＳＴＣ−１と、イン点側プログラムのＰＣＲに同期したＳＴＣ−２との２つのＳＴＣを発生する。
【０２０５】
トランスポートストリームの場合における再エンコードは、プログラムストリームの場合と同様にビデオエレメンタリーバッファ４６がオーバーフロー及びアンダーフローしない条件に従って行う。
【０２０６】
トランスポートストリームの場合における再多重化は、Ｔ−ＳＴＤの各バッファがＭＰＥＧ２規格で既定された条件（１）〜（３）を満たすように行う。
【０２０７】
（１）各種パケットが格納される各トランスポートバッファ４２〜４４がオーバーフローせず１秒間に最低１回は空になること
（２）ビデオ多重バッファ４５がオーバーフローせず１秒間に最低１回は空になること
（３）ビデオエレメンタリーバッファ４６及びその他のストリームのメインバッファ４７，４８はオーバーフロー及びアンダーフローを起こさないこと
システムターゲットデコーダ４０では、編集点の前後でＰＣＲの値が不連続になるときを除いて、再多重化時には以上の条件（１）〜（３）を満たすことが必要である。なお、このシステムターゲットデコーダ４０において、編集点の前後でのＳＴＣ−１からＳＴＣ−２への時間軸の切替はプログラムストリームの場合と同様である。
【０２０８】
システムターゲットデコーダ４０では、プログラムストリームの場合と異なり、トランスポートストリームの場合はＰＡＴ（Program Association Table）とＰＭＴ（Program Map Table）によって送信されるシステムデータ及びＰＣＲを取得した後でなければビデオやオーディオのエレメンタリーストリームのデコードを開始することができない。このため、編集点の前後でのＰＩＤが１つでも異なる場合、再多重化後のＣＬＩＰ−２の先頭はＰＡＴ、ＰＭＴ、ＰＣＲパケットの順に開始していなければならない。
【０２０９】
編集点の前後でＰＣＲが不連続になるため、このことをシステムターゲットデコーダに知らせるためにＤＩＴ（DISCONTINUITY INFORMATION TABLE）を編集点に挿入してもよい。
【０２１０】
また、上述した動画像記録再生装置１の説明においては、アウト点ピクチャ及びイン点ピクチャが指定されたときに、アウト点ピクチャを含むＣｌｉｐ−１と、イン点ピクチャを含むＣｌｉｐ−２とを継ぎ合わせる編集処理を行うときに、ビデオストリームを再エンコードして再多重化を行う一例について説明したが、これに限らず、例えば多重化ストリームに新たなビデオストリームを挿入するような編集処理であっても本発明が適用可能である。このとき、動画像記録再生装置１は、新たなビデオストリームが挿入される前後の多重化ストリームについて、上述したようにビデオバッファ２２がオーバーフロー及びアンダーフローが発生しないように、ビデオバッファ２２のビット占有量を計算して再エンコード及び再多重化を行う。
【０２１１】
【発明の効果】
以上詳細に説明したように、本発明に係る符号化装置及び方法は、第１のピクチャで終了する第１の符号化ストリームの第１のピクチャが入力終了したときの第１のビット占有量を計算し、第１のピクチャの後に接続され第２のピクチャから開始する第２の符号化ストリームの第２のピクチャについてＶＢＶモデルに従ってデコードを開始するときのＶＢＶバッファの第２のビット占有量を計算し、第２のビット占有量に基づいて第２の符号化ストリームの符号化をするので、ビデオストリームの一部を再エンコードするとき、ピクチャ層のパラメータとして含まれるvbv_delayを参照しなくても、ビデオストリームを再エンコードすることができる。
【０２１２】
また、本発明に係る他の符号化装置及び方法は、第１のピクチャが復号されるときの第１のビット占有量を計算し、第１のピクチャの前に接続され第２のピクチャで終了する第２の符号化ストリームの第２のピクチャについてのＶＢＶモデルに従ってデコードを終了するときのＶＢＶバッファの第２のビット占有量を計算し、第２のビット占有量に基づいて第２の符号化ストリームの符号化をするので、ビデオストリームの一部を再エンコードするとき、ピクチャ層のパラメータとして含まれるvbv_delayを参照しなくても、ビデオストリームを再エンコードすることができる。
【０２１３】
更に、本発明に係る多重化装置及び方法は、システムターゲットデコーダモデルのビデオバッファの第１の符号化ストリームの先頭に位置する第１のピクチャが復号されるときの第１のビット占有量を計算し、第１のビット占有量に基づいて、第１のピクチャの前に接続され第２のピクチャで終了する第２の符号化ストリームの第２のピクチャについてのＶＢＶモデルに従ってデコードを終了するときのＶＢＶバッファの第２のビット占有量を計算し、第２のビット占有量に基づいて、第２の符号化ストリームの符号化をして多重化するので、ビデオストリームの一部を再エンコードするとき、ピクチャ層のパラメータとして含まれるvbv_delayを参照しなくても、ビデオストリームを再エンコードして多重化することができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像記録再生装置のブロック図である。
【図２】（ａ）はアウト点側のビデオストリームを示す図であり、（ｂ）はイン点側のビデオストリームを示す図であり、（ｃ）はアウト点側のビデオストリームにおいて上記動画像記録再生装置により再エンコード及び再多重化される部分を示す図であり、（ｄ）はイン点側のビデオストリームにおいて上記動画像記録再生装置により再エンコード及び再多重化される部分を示す図であり、（ｅ）は上記動画像記録再生装置により再エンコード及び再多重化されたビデオストリームの表示順序を示す図である。
【図３】（ａ）は上記動画像記録再生装置が再多重化するアウト点側プログラムの多重化ストリームを示す図であり、（ｂ）は再多重化して生成したブリッジシーケンスを示す図である。
【図４】（ａ）は上記動画像記録再生装置が再多重化するイン点側プログラムの多重化ストリームを示す図であり、（ｂ）は再多重化して生成したブリッジシーケンスを示す図である。
【図５】アウト点側プログラムとイン点側プログラムの編集点前後の多重化ストリームの構造を示す図である。
【図６】上記動画像記録再生装置が多重化した多重化ストリームを復号するシステムターゲットデコーダのブロック図である。
【図７】上記動画像記録再生装置により多重化された多重化ストリームが入力されたときの上記システムターゲットデコーダの動作タイミングを表すタイミングチャートである。
【図８】ＭＰＥＧ規格に準拠したＶＢＶモデルを示す図である。
【図９】上記動画像記録再生装置によりビデオストリームの再エンコードを行って再多重化を行うときの処理手順について説明するための図である。
【図１０】Ｃｌｉｐ−２についてのＳＴＣの時刻と、ビデオバッファに入力されるビット占有量（ＳＴＤバッファのビット占有量）との関係を示す図である。
【図１１】Ｃｌｉｐ−１をエンコードするときにおける、時間とビデオバッファのビット占有量（ＳＴＤバッファのビット占有量）との関係を示す図である。
【図１２】Ｃｌｉｐ−２をエンコードするときにおける、時間とビデオバッファ（ＳＴＤバッファのビット占有量）のビット占有量との関係を示す図である。
【図１３】動画像記録再生装置によりアウト点側プログラムのビデオストリームの再エンコード及び再多重化を行うときの処理手順について説明するための図である。
【図１４】アウト点側のビデオストリーム（・・・、Ｂ₀₇）が入力されたときのＳＴＤのビデオバッファのビット占有量と、ビデオパックに付加されたＳＣＲに従ったＳＴＣ−１との関係を示す図である。
【図１５】アウト点側のビデオストリーム（Ｉ₁₂、・・・）が入力されたときのＶＢＶバッファのビット占有量と、ビデオパックに付加されたＳＣＲに従ったＳＣＲ−１との関係を示す図である。
【図１６】アウト点側のビデオストリームが入力され、続いてイン点側のビデオストリームが入力されるときのＳＴＤのビデオバッファのビット占有量と、ＳＴＣ−１及びＳＴＣ−２との関係を示す図である。
【図１７】動画像記録再生装置によりイン点側プログラムのビデオストリームの再エンコード及び再多重化を行うときの処理手順について説明するための図である。
【図１８】イン点側のビデオストリーム（Ｉ_m2，Ｂ_m0，・・・）が入力されたときのＳＴＤのビデオバッファのビット占有量と、ビデオパックに付加されたＳＣＲに従ったＳＴＣ−２との関係を示す図である。
【図１９】再エンコードするＧＯＰであるＧＯＰ（ｎ−ｘ）に含まれるピクチャＢ_n7xのデコードが終了した時刻におけるＶＢＶバッファのビット占有量Ｂｅｎｄ２が、ビット占有量Ｂｊよりも大きくなるように割り当てビット量を決定することを説明するための図である。
【図２０】ｓｃｒ（Ｉ_n5x）から再多重化されたイン点側のＧＯＰを含むビデオパックが入力開始され（SCR_video2_start）、それに続いてｓｃｒ（Ｉ_m2）以後のビデオパックをＳＴＤのビデオバッファに入力したときにおける、ＳＴＤのビデオバッファのビット占有量と、ＳＴＣ−２との関係を示す図である。
【図２１】ｓｃｒ（Ｉ_n5x）から再多重化されたイン点側のＧＯＰを含むビデオパックが入力開始され（SCR_video2_start）、それに続いてｓｃｒ（Ｉ_m2）以後のビデオパックをＳＴＤのビデオバッファに入力したときにおける、ＳＴＤのビデオバッファのビット占有量と、ＳＴＣ−２との関係を示す図である。
【図２２】所定の時間だけ遅らせてイン点側のビデオデータをビデオバッファに入力するように、ビデオパックに付加されているＳＣＲを書き換える処理について説明するための図である。
【図２３】上記動画像記録再生装置により行うアウト点側のビデオストリームの再エンコードの他の一例について示す図であり、（ａ）はアウト点ピクチャを含むアウト点側のビデオストリームを示す図であり、（ｂ）はアウト点側のビデオストリームにおいて上記動画像記録再生装置による再エンコード及び再多重化について示す図であり、（ｃ）はアウト点側のビデオストリームにおいて上記動画像記録再生装置による再エンコード及び再多重化の他の一例について示す図であり、（ｄ）はアウト点側のビデオストリームにおいて上記動画像記録再生装置による再エンコード及び再多重化の更に他の一例について示す図である。
【図２４】上記動画像記録再生装置により行うイン点側のビデオストリームの再エンコードの他の一例について示す図であり、（ａ）はイン点ピクチャを含むアウト点側のビデオストリームを示す図であり、（ｂ）はイン点側のビデオストリームにおいて上記動画像記録再生装置による再エンコード及び再多重化について示す図であり、（ｃ）はイン点側のビデオストリームにおいて上記動画像記録再生装置による再エンコード及び再多重化の他の一例について示す図であり、（ｄ）はイン点側のビデオストリームにおいて上記動画像記録再生装置による再エンコード及び再多重化の更に他の一例について示す図である。
【図２５】上記動画像記録再生装置により、図２３を用いて説明したビデオエンコーダによる再エンコードを行って、マルチプレクサにより再多重化を行うときの処理手順を示すフローチャートである。
【図２６】ビデオエンコーダによりビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄ以上となると判定されるときの一例について説明するための図である。
【図２７】ビデオエンコーダによりビット占有量Ｂｅｎｄ１が初期ビット占有量Ｂｖｓｄより小さいと判定されるときの一例について説明するための図である。
【図２８】図２７に示したようなビデオバッファのビット占有量を変更することについて説明するための図である。
【図２９】図２４を用いて説明したビデオエンコーダによる再エンコードを行って、マルチプレクサにより再多重化を行うときの処理手順を示すフローチャートである。
【図３０】ビデオエンコーダによりビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊ以上となると判定されるときの一例について説明するための図である。
【図３１】ビデオエンコーダによりビット占有量Ｂｅｎｄ２が初期ビット占有量Ｂｊより小さいと判定されるときの一例について説明するための図である。
【図３２】図３１に示したようなビデオバッファのビット占有量を変更することについて説明するための図である。
【図３３】上記動画記録再生装置がトランスポートストリーム形式で多重化した多重化ストリームを複合するシステムターゲットデコーダのブロック図である。
【符号の説明】
１ 動画像記録再生装置、１３ ビデオエンコーダ、１４ マルチプレクサ、２０ システムターゲットデコーダ、２２ ビデオバッファ、２４ ビデオデコーダ

Claims (22)

1. 符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャで終了する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算する第１のビット占有量計算手段と、
   上記第１のビット占有量計算手段で計算した第１のビット占有量に基づいて、上記第１のピクチャの後に接続され第２のピクチャから開始し第３のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算する第２のビット占有量計算手段と、
   上記第２のビット占有量に基づいて、上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定する割り当てビット量決定手段と、
   上記割り当てビット量で生成される第２の符号化ストリームの第３のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第３のビット占有量を計算する第３のビット占有量計算手段と、
   上記第２の符号化ストリームの第３のピクチャの後に接続され第４のピクチャから開始する第３の符号化ストリームの第４のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算する初期ビット占有量計算手段と、
   上記第３のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、上記第３のビット占有量が上記初期ビット占有量より小さい場合、上記第３のビット占有量が上記初期ビット占有量以上となるように上記第２の符号化ストリームの第２のピクチャを上記第１の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する符号化制御手段と
   を備える符号化装置。
2. 上記符号化制御手段は、上記第３のビット占有量が上記初期ビット占有量より小さい場合、上記第３のビット占有量が上記初期ビット占有量以上となるように上記第１の符号化ストリームのピクチャタイプを変更し、再度割り当てビット量を決定して上記第１の符号化ストリームの一部のピクチャを含む符号化ストリームと、上記第１の符号化ストリームの一部を除く他部のピクチャ及び上記第２の符号化ストリームのピクチャを含む符号化ストリームとを生成する請求項１記載の符号化装置。
3. 上記第２の符号化ストリームは、アウト点ピクチャを含み、上記第３の符号化ストリームは、イン点ピクチャを含み、再生時には上記アウト点ピクチャとイン点ピクチャとが接続される請求項１記載の符号化装置。
4. 上記仮想的なシステムターゲットデコーダは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものである請求項１記載の符号化装置。
5. 上記仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものである請求項１記載の符号化装置。
6. 符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャで終了する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算し、
   上記第１のビット占有量に基づいて、上記第１のピクチャの後に接続され第２のピクチャから開始し第３のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算し、
   上記第２のビット占有量に基づいて、上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定し、
   上記割り当てビット量で生成される第２の符号化ストリームの第３のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第３のビット占有量を計算し、
   上記第２の符号化ストリームの第３のピクチャの後に接続され第４のピクチャから開始する第３の符号化ストリームの第４のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算し、
   上記第３のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、
   上記第３のビット占有量が上記初期ビット占有量より小さい場合、上記第３のビット占有量が上記初期ビット占有量以上となるように上記第２の符号化ストリームの第２のピクチャを上記第１の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する符号化方法。
7. 上記第３のビット占有量が上記初期ビット占有量より小さい場合、上記第３のビット占有量が上記初期ビット占有量以上となるように上記第１の符号化ストリームのピクチャタイプを変更し、再度割り当てビット量を決定して上記第１の符号化ストリームの一部のピクチャを含む符号化ストリームと、上記第１の符号化ストリームの一部を除く他部のピクチャ及び上記第２の符号化ストリームのピクチャを含む符号化ストリームとを生成する請求項６記載の符号化方法。
8. 上記第２の符号化ストリームは、アウト点ピクチャを含み、上記第３の符号化ストリームは、イン点ピクチャを含み、再生時には上記アウト点ピクチャとイン点ピクチャとが接続される請求項６記載の符号化方法。
9. 上記仮想的なシステムターゲットデコーダは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであることを特徴とする請求項６記載の符号化方法。
10. 上記仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであることを特徴とする請求項６記載の符号化方法。
11. 符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算する第１のビット占有量計算手段と、
    上記第１のビット占有量計算手段で計算した第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算する初期ビット占有量計算手段と、
    上記初期ビット占有量に基づいて、上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの各ピクチャの割り当てビット量を決定するビット量決定手段と、
    上記割り当てビット量で生成される第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算する第２のビット占有量計算手段と、
    上記第２のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、上記第２のビット占有量が上記初期ビット占有量より小さい場合、上記第２のビット占有量が上記初期ビット占有量以上となるように上記第１の符号化ストリームの第１のピクチャを上記第２の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する符号化制御手段と
    を備える符号化装置。
12. 上記第２の符号化ストリームは、イン点ピクチャを含んでいる請求項１１記載の符号化装置。
13. 上記仮想的なシステムターゲットデコーダは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであることを特徴とする請求項１１記載の符号化装置。
14. 上記仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであるであることを特徴とする請求項１１記載の符号化装置。
15. 符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算し、
    上記第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算し、
    上記初期ビット占有量に基づいて、上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの各ピクチャの割り当てビット量を決定し、
    上記割り当てビット量で生成される第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量を計算し、
    上記第２のビット占有量が上記初期ビット占有量以上である場合、上記割り当てビット量で第２の符号化ストリームを生成し、
    上記第２のビット占有量が上記初期ビット占有量より小さい場合、上記第２のビット占有量が上記初期ビット占有量以上となるように上記第１の符号化ストリームの第１のピクチャを上記第２の符号化ストリームに属するピクチャタイプに変更し、再度割り当てビット量を決定して上記第１の符号化ストリームのピクチャと上記第２の符号化ストリームのピクチャとを含む符号化ストリームを生成する符号化方法。
16. 上記第２の符号化ストリームは、イン点ピクチャを含んでいる請求項１５記載の符号化方法。
17. 符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算する第１のビット占有量計算手段と、
    上記第１のビット占有量計算手段で計算した第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算する初期ビット占有量計算手段と、
    上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量が、上記初期ビット占有量以上となるように上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定する割り当てビット量決定手段と、
    上記割り当てビット量に基づいて上記第２の符号化ストリームを生成して多重化する多重化手段と、
    上記仮想的なシステムターゲットデコーダモデルのビデオバッファに、上記第２の符号化ストリームに続いて上記第１の符号化ストリームの第１のピクチャが入力されるときの第３のビット占有量が所定の範囲内であるか否かを判定する判定手段と、
    上記第３のビット占有量が所定の範囲内でない場合、上記第１のピクチャの上記仮想的なシステムターゲットデコーダモデルへの入力時刻を遅らせるように上記第１のピクチャを含むビデオパックの入力時刻を書き換える多重化制御手段と
    を備える多重化装置。
18. 上記仮想的なシステムターゲットデコーダは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであることを特徴とする請求項１７記載の多重化装置。
19. 上記仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであることを特徴とする請求項１７記載の多重化装置。
20. 符号化ストリームをデコードする仮想的なシステムターゲットデコーダモデルのビデオバッファに、第１のピクチャから開始する第１の符号化ストリームの第１のピクチャが入力されるときの第１のビット占有量を計算し、
    上記第１のビット占有量に基づいて、上記第１の符号化ストリームの第１のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの初期ビット占有量を計算し、
    上記第１の符号化ストリームの前に接続され第２のピクチャで終了する第２の符号化ストリームの第２のピクチャについて仮想的なビデオデコーダモデルに従ってデコードするときの当該ビデオデコーダモデルのビデオバッファの第２のビット占有量が、上記初期ビット占有量以上となるように上記第２の符号化ストリームの各ピクチャの割り当てビット量を決定し、
    上記割り当てビット量に基づいて上記第２の符号化ストリームを生成して多重化し、
    上記仮想的なシステムターゲットデコーダモデルのビデオバッファに、上記第２の符号化ストリームに続いて上記第１の符号化ストリームの第１のピクチャが入力されるときの第３のビット占有量が所定の範囲内であるか否かを判定し、
    上記第３のビット占有量が所定の範囲内でない場合、上記第１のピクチャの上記仮想的なシステムターゲットデコーダモデルへの入力時刻を遅らせるように上記第１のピクチャを含むビデオパックの入力時刻を書き換える多重化方法。
21. 上記仮想的なシステムターゲットデコーダは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであることを特徴とする請求項２０記載の多重化方法。
22. 上記仮想的なビデオデコーダモデルは、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したものであるしたものであることを特徴とする請求項２０記載の多重化方法。

Images