JP3918332B2 - 多重化装置、多重化方法及び記録媒体 - Google Patents
多重化装置、多重化方法及び記録媒体 Download PDFInfo
- Publication number
- JP3918332B2 JP3918332B2 JP34594698A JP34594698A JP3918332B2 JP 3918332 B2 JP3918332 B2 JP 3918332B2 JP 34594698 A JP34594698 A JP 34594698A JP 34594698 A JP34594698 A JP 34594698A JP 3918332 B2 JP3918332 B2 JP 3918332B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- stream
- time
- pack
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオ符号ストリームの多重化装置、多重化方法及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来の光ディスク等の記録再生装置では、一般に、ＭＰＥＧ（Moving Picture Experts Group）方式で画像の圧縮及び伸張を行うエンコーダ及びデコーダを備え、このＭＰＥＧ方式で画像圧縮又は伸張を行って、映像信号の記録再生をしている。
【０００３】
このＭＰＥＧ方式では、動画像を構成する画面（フレーム或いはフィールドの画面）を、Ｉピクチャ，Ｐピクチャ，Ｂピクチャのいずれかのピクチャタイプに符号化して、画像圧縮を行っている。
【０００４】
Ｉピクチャは、画面内で符号化が完結しているもので、他画面とは独立して符号化したものである。このため、このＩピクチャは、例えば、ランダムアクセスのエントリーポイントとして用いられたり、エラーを回復するために用いられたりする。
【０００５】
Ｐピクチャは、時間的に過去に存在するＩピクチャ或いはＰピクチャから予測符号化したものである。従って、このＰピクチャを復号するためには、時間的に過去のＩピクチャ或いはＰピクチャが復号されていなければならない。
【０００６】
Ｂピクチャは、時間的に過去に存在するＩピクチャ或いはＰピクチャと、時間的に未来に存在するＩピクチャ或いはＰピクチャから、前方向、後方向又は双方向の予測符号化がされたものである。このため、このＢピクチャを復号するためには、時間的に過去及び未来のＩピクチャ又はＰピクチャが復号されていなければならない。
【０００７】
このようにＭＰＥＧ方式では、ピクチャ間予測符号化して画像圧縮を行い、動画像を効率的に圧縮するとともに、圧縮した動画像に対してランダムにアクセスができるようになっている。
【０００８】
また、ＭＰＥＧ方式では、これらの各ピクチャを任意の枚数でグループ化した画面群（ＧＯＰ：Group of pictures）単位で構成されるデータストリームに圧縮している。ＭＰＥＧ方式では、このＧＯＰ内に少なくとも１枚のＩピクチャを設けることを規定している。そのため、このＧＯＰ単位で圧縮した動画像に対してランダムアクセスができるようになっている。
【０００９】
ここで、上述したような従来の記録再生装置で、ＭＰＥＧ方式で画像圧縮された信号を再生する場合について考えてみる。
【００１０】
例えば、記録媒体には、図１０（Ａ）に示すようなデータストリームの符号化データが記録されている。従来の記録再生装置は、この図１０（Ａ）に示すように記録されているデータストリームを復号して、図１０（Ｂ）に示すようなピクチャの順番で表示を行う。ここで、各ピクチャに符号として付けている“Ｉ”，“Ｐ”，“Ｂ”は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの区別を示しており、各添字は、ＧＯＰ（Group of Pictures）内の表示順序を表すいわゆるテンポラリリファレンスを示している。
【００１１】
従来の記録再生装置は、図１０（Ａ）に示すようなデータストリームの符号化データを再生する為に、まず、Ｉ0の復号を行う。Ｉピクチャは画面内で符号化が完結しているものであるので、従来の記録再生装置では他のピクチャを復号することなくＩ0を単独で復号することができる。続いて、従来の記録再生装置は、復号したＩ0に基づき、順方向予測符号化がされたＰ2の復号を行う。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャから予測符号化がされるものであるので、従来の記録再生装置はこのＰ2を復号する前にＩ0を復号していなければならない。続いて、従来の記録再生装置は、復号したＩ0及びＰ2に基づき、双方向予測符号化がされたＢ1の復号を行う。Ｂピクチャは時間的に前後のＩピクチャ又はＰピクチャから双方向符号化がされるものであるので、従来の記録再生装置はこのＢ1を復号する前にＩ0とＰ2を復号していなければならない。このように、この従来の記録再生装置では、図１０（Ａ）に示すようなデータストリームの符号化データを、Ｉ0→Ｐ2→Ｂ1→Ｐ4→Ｂ3→Ｐ6→Ｂ5→Ｉ8→Ｂ7→Ｐ10→Ｂ9→・・・といった順序で復号を行う。
【００１２】
そして、従来の記録再生装置では、このような順序で復号した各ピクチャを表示する場合には、図１０（Ｂ）に示すようにその順序を入れ換えて、Ｉ0→Ｂ1→Ｐ2→Ｂ3→Ｐ4→Ｂ5→Ｐ6→Ｂ7→Ｉ8→Ｂ9→Ｐ10→・・・といった順序で表示を行う。
【００１３】
【発明が解決しようとする課題】
ところで、従来の記録再生装置では、記録媒体がランダムアクセス可能となっていれば、ＭＰＥＧ方式で記録された符号化データに対してランダムアクセスが可能となる。従って、従来の記録再生装置は、例えば、図１１で示しているストリームを、まずＳA点で示すＰピクチャまで再生し、これ以降の各ピクチャの再生をせず、ＳB点で示すＢピクチャ（ピクチャＢ３）から再生を再開するといったピクチャを一部跳ばして再生することが可能である。ここで、ピクチャを一部跳ばすことを以後スキップと呼び、あるピクチャから別の離れたピクチャまでスキップさせて再生することをスキップ再生と呼ぶ。また、スキップが開始する直前のピクチャ（例えば図１１に示すＳAのピクチャ）をアウト点ピクチャと呼び、スキップが終了して最初に再生が開始するピクチャ（例えば図１１に示すＳBのピクチャ）をイン点ピクチャと呼ぶ。
【００１４】
ところが、このような従来の記録再生装置でこのスキップ再生を行った場合には、再生した映像の時間的な連続性が途切れてしまう場合がある。
【００１５】
例えば、イン点ピクチャがＢピクチャである場合には、このＢピクチャを復号するために必要なＩピクチャ又はＰピクチャを復号しておかなければならず、この場合には、再生した映像の時間的な連続性が途切れてしまう。具体的に図１１で示した例を用いて説明すると、従来の記録再生装置は、イン点ピクチャがＢ3であるので、このＢ3を復号するために少なくともＩ0，Ｐ2，Ｐ4を復号しなければならない。そのため、従来の記録再生装置では、このＩ0，Ｐ2，Ｐ4を復号している間は、ピクチャを表示することができず、映像の連続性が途切れてしまうこととなる。
【００１６】
以上のように従来の記録再生装置では、スキップ再生をした場合に、スキップした前後のピクチャをシームレスに再生することができない。
【００１７】
なお、以上の例においては、ＭＰＥＧ方式で画像圧縮した場合について考えたが、例えば、画像間に相関があることを利用し、画像間の差分を求め、この差分を符号化するようなピクチャ間予測符号化を用いた場合であっても、同様にスキップ再生時における時間的な連続性が途切れてしまう。
【００１８】
本発明は、このような実情を鑑みてなされたものであり、スキップ点の前後における動画像の連続性を保ちスキップ再生をすることができる動画像データを符号化する多重化装置、多重化方法及び記録媒体を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明にかかる多重化装置は、第１のピクチャで表示終了する第１のビデオ符号化ストリームと、スキップ再生の際にこの第１のピクチャに続けて表示される第２のピクチャから表示開始する第２のビデオ符号化ストリームの符号化をするビデオ符号化手段と、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して第１の多重化ストリームを生成し、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して第２の多重化ストリームを生成する多重化手段と、上記第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）と、上記第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）を求め、上記第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）を求め、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）を求め、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）を求め、上記第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように上記ビデオ符号化手段を制御する制御手段とを備えることを特徴とする。
【００２０】
この多重化装置では、第２のビデオ符号化ストリームがデコーダのビデオバッファへ入力開始する時刻から、上記第１のビデオ符号化ストリームの第１のピクチャの復号終了する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように符号化する。
【００２１】
本発明にかかる多重化方法は、第１のピクチャで表示終了する第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）とスキップ再生の際にこの第１のピクチャに続けて表示される第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）を求め、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとがパック化され生成される第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）を求め、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）を求め、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）を求め、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して生成される第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化をし、上記第１の多重化ストリームと第２の多重化ストリームとを生成することを特徴とする。
【００２２】
この多重化方法では、第２のビデオ符号化ストリームがデコーダのビデオバッファへ入力開始する時刻から、上記第１のビデオ符号化ストリームの第１のピクチャの復号終了する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように符号化する。
【００２３】
本発明にかかる記録媒体は、第１のピクチャで表示終了する第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）とスキップ再生の際にこの第１のピクチャに続けて表示される第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）と、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して多重化された第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）と、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）と、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）とに基づき、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して多重化された第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化を行い、上記第１の多重化ストリームと上記第２の多重化ストリームとを生成する多重化方法により生成されるデータが記録された領域を有し記録可能であることを特徴とする。
【００２４】
この記録媒体には、第２のビデオ符号化ストリームがデコーダのビデオバッファへ入力開始する時刻から、上記第１のビデオ符号化ストリームの第１のピクチャの復号終了する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように、第１のビデオ符号化ストリーム及び第２のビデオ符号化ストリームが記録される領域を有し記録可能であることを特徴とする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した動画像記録再生装置について、図面を参照しながら説明する。
【００２６】
図１に、上記本発明を適用した動画像記録再生装置のブロック図を示す。
【００２７】
この図１に示す動画像記録再生装置１は、光ディスク２に記録されているＭＰＥＧ２方式で圧縮符号化された動画像データを編集することによって、復号装置側でスキップ再生がシームレスに行えるような動画像データを生成し、この動画像データを再度光ディスク２に記録する装置である。
【００２８】
以下この動画像記録再生装置１を説明するにあたり、光ディスク２には、ＭＰＥＧ２方式で符号化したビデオデータ及びオーディオデータがパック化されており、このパック単位で時分割多重化された多重化ストリームが記録されているものとする。また、スキップ再生の際のアウト点ピクチャが含まれる動画像プログラムをアウト点側プログラムと呼び、イン点ピクチャが含まれる動画像プログラムをイン点側プログラムと呼ぶ。また、スキップ再生の際のアウト点ピクチャが含まれるＧＯＰをアウト点側ＧＯＰとも呼び、また、イン点ピクチャが含まれるＧＯＰをイン点側ＧＯＰとも呼ぶものとする。
【００２９】
この動画像記録再生装置１は、光ディスク２から多重化ストリームを読み出す読み出し部３と、読み出し部３により読み出された多重化ストリームを復調する復調部４と、復調部４により復調された多重化ストリームに誤り訂正を施す誤り訂正処理部５と、誤り訂正処理部５により誤り訂正が施された多重化ストリームを一時格納するバッファ６と、編集処理をして生成された多重化ストリームに誤り訂正符号を付加する誤り訂正符号付加部７と、誤り訂正符号付加部７により誤り訂正符号が付加された多重化ストリームを変調する変調部８と、変調部８により変調された多重化ストリームを光ディスク２に書き込む書き込み部９とを備えている。
【００３０】
また、この動画像記録再生装置１は、バッファ６に格納されている多重化ストリームをビデオストリームとオーディオストリームとに分離するデマルチプレクサ１１と、デマルチプレクサ１１により分離されたビデオストリームを復号して画像データを生成するビデオデコーダ１２と、ビデオデコーダ１２により復号された画像データを再符号化してビデオストリームを生成するビデオエンコーダ１３と、ビデオストリームとオーディオストリームと時分割多重化して多重化ストリームを生成するマルチプレクサ１４とを備えている。
【００３１】
また、この動画像記録再生装置１は、イン点ピクチャの情報及びアウト点ピクチャの情報等のスキップ再生をする際に必要となる編集情報を読み出し部３に入力する編集情報入力部１５を備えている。
【００３２】
また、この動画像記録再生装置１は、編集情報入力部１５により入力された編集情報、デマルチプレクサ１１から供給される多重化ストリーム等を解析し、復号装置でスキップ再生をシームレスに行わせるために必要な編集処理（ビデオストリームの再エンコード処理及び再多重化処理）方法を決定して、ビデオデコーダ１２、ビデオエンコーダ１３及びマルチプレクサ１４を制御する解析制御部１６を備えている。
【００３３】
また、この動画像記録再生装置１は、デマルチプレクサ１１により分離されたビデオストリームの供給先を切り換える第１の切換器１７とマルチプレクサ１４に供給するビデオストリームの供給元を切り換える第２の切換器１８とを備えている。第１の切換器１７及び第２の切換器１８は、解析制御部１６の制御に応じて、デマルチプレクサ１１により分離されたビデオストリームをビデオデコーダ１２及びビデオエンコーダ１３により復号及び再符号化させてマルチプレクサ１４に供給するか、或いは、デマルチプレクサ１１により分離されたビデオストリームをそのままマルチプレクサ１４に供給するかを切り換える。なお、デマルチプレクサ１１により分離されたオーディオストリームは、復号及び再符号化されずにそのままマルチプレクサ１４に供給される。
【００３４】
以上のような構成の動画像記録再生装置１では、解析制御部１６が光ディスク２に記録されている多重化ストリームを解析して、読み出し部３、ビデオデコーダ１２、ビデオエンコーダ１３、マルチプレクサ１４、第１の切換器１７、及び第２の切換器１８を制御することにより、復号装置でスキップ再生をシームレスに行うためのブリッジシーケンス（詳細は後述する。）を生成し、このブリッジシーケンスを光ディスク２に記録する。
【００３５】
つぎに、動画像記録再生装置１でのビデオストリームの再エンコード処理について説明する。
【００３６】
この動画像記録再生装置１では、復号装置において動画像プログラムの一部分をスキップ再生する際に、スキップ再生開始点であるアウト点ピクチャより時間的に前側のプログラムであるアウト点側プログラムと、スキップ再生到達点であるイン点ピクチャより時間に後側のプログラムであるイン点側プログラムとをシームレスに接続できるように、ビデオストリームの再エンコード処理を行う。
【００３７】
ＭＰＥＧ２規格に準じた画像群の単位であるＧＯＰ（group of pictures ）には、他の画像からの予測符号化なしに画像が符号化された参照画像である少なくとも１つのＩ（Intra）ピクチャと、表示順序に順方向の予測符号化を用いて画像が符号化された順方向予測符号化画像であるＰ（predictive）ピクチャと、順方向及び逆方向の予測符号化を用いて画像が符号化された双方向予測符号化画像であるＢ（bidirectionally）ピクチャとの３種類の符号化画像が含まれている。
【００３８】
例えば、図２（Ａ）に示すように、アウト点ピクチャＰｏｕｔが含まれるアウト点側ＧＯＰをＧＯＰ（０）とし、アウト点ピクチャをその中のＢピクチャであるＢ04とする。このＧＯＰ（０）は、ＧＯＰ（−１）から続くＧＯＰである。また、図２（Ｂ）に示すように、イン点ピクチャＰｉｎが含まれるイン点側ＧＯＰをＧＯＰ（ｎ）とし、イン点ピクチャをその中のＰピクチャであるＰn5とする。このＧＯＰ（ｎ）には、ＧＯＰ（ｎ＋１）が後に続いている。なお、ここでは、表示順序がｉ番目のＧＯＰをＧＯＰ−ｉと表記する。また、ｉ番目のＧＯＰにおける表示順序がｊ番目（すなわち、テンポラルリファレンスがｊ）のＩピクチャをＩijと表記し、ｉ番目のＧＯＰにおける表示順序がｊ番目のＰピクチャをＰijと表記し、表示順序がｊ番目のＢピクチャをＢijと表記する。
【００３９】
具体的に、アウト点側ＧＯＰであるＧＯＰ（０）には、Ｉ02，Ｂ00，Ｂ01，Ｐ05，Ｂ03，Ｂ04，Ｐ08，Ｂ06，Ｂ07の順序で配列されたピクチャが含まれている。また、イン点側ＧＯＰであるＧＯＰ−ｎには、Ｉn2，Ｂn0，Ｂn1，Ｐn5，Ｂn3，Ｂn4，Ｐn8，Ｂn6，Ｂn7の順序で配列されたピクチャが含まれいている。
【００４０】
この図２（Ａ），（Ｂ）に示したようなプログラムを例にとって、動画像記録再生装置１における再エンコード処理を説明する。
【００４１】
まず、アウト点ピクチャＰｏｕｔを含むアウト点側ＧＯＰであるＧＯＰ−０を復号する。続いて、上記アウト点ピクチャＰｏｕｔが、表示順序でアウト点ピクチャＰｏｕｔよりも後ろの符号化画像を予測参照しなくても復号できるようにこのＧＯＰ−０を再びエンコードする。例えば、図２（Ａ）のようにアウト点側ＧＯＰであるＧＯＰ−０のピクチャＢ04がアウト点ピクチャＰｏｕｔである場合、ピクチャＰ05に基づき予測符号化されているピクチャＢ03、Ｂ04を、このピクチャＰ05に基づき予測参照しないで作れるように再エンコードを行い、新たなＧＯＰであるＧＯＰ（ｎｅｗ−０）を生成する。具体的に、このＧＯＰ（ｎｅｗ−０）を生成するには、まず始めに、ピクチャＩ02，Ｂ00，Ｂ01，Ｐ05，Ｂ03，Ｂ04を復号して圧縮していない画像データに戻してから、ピクチャＢ04をピクチャＩ02に基づき予測符号化されたＰピクチャのピクチャＰ04xに再エンコードする。続いて、ピクチャＢ03をピクチャＩ02とピクチャＰ04xに基づき予測符号化されるＢピクチャのＢ03xに再エンコードする。そして、ピクチャＩ02，Ｂ00，Ｂ02は再エンコードを行わないで、ＧＯＰ−０からコピーする。なお、これらのピクチャＩ02，Ｂ00，Ｂ02についても再エンコードしても良い。このように再エンコードされた結果、図２（Ｃ）に示すような、Ｉ02，Ｂ00，Ｂ02，Ｐ04x，Ｂ03xから構成されたＧＯＰ（ｎｅｗ−０）が生成される。
【００４２】
次に、イン点ピクチャＰｉｎを含むイン点側ＧＯＰであるＧＯＰ−ｎを復号する。続いて、上記イン点ピクチャＰｉｎが、表示順序でイン点ピクチャより前の符号化画像を予測参照しなくても復号できるようにこのＧＯＰ−ｎを再び符号化する。すなわち、図２（Ｂ）のようにイン点側ＧＯＰであるＧＯＰ−ｎのピクチャＰn5がイン点ピクチャＰｉｎである場合、ピクチャＩn2に基づき予測符号化されているピクチャＰn5を、このピクチャＩn2を予測参照しないで作れるように再エンコードを行い、新たなＧＯＰであるＧＯＰ（ｎｅｗ−ｎ）を生成する。具体的に、このＧＯＰ（ｎｅｗ−ｎ）を生成するには、まず始めに、ピクチャＩn2，Ｂn0，Ｂn1，Ｐn5を復号して圧縮されていない画像データに戻してから、ピクチャＰn5を独立に復号することができるＩピクチャのピクチャＩn5xに再エンコードする。そして、ピクチャＰn8，Ｂn6，Ｂn7については、再エンコードを行わないで、ＧＯＰ−ｎからコピーする。なお、これらのピクチャＰn8，Ｂn6，Ｂn7についても再エンコードしても良い。このように再エンコードされた結果、図２（Ｃ）に示すような、Ｉn5x，Ｐn8，Ｂn6，Ｂn7から構成されたＧＯＰ（ｎｅｗ−ｎ）が生成される。
【００４３】
動画像記録再生装置１では、以上のようなイン点側ＧＯＰ及びアウト点側ＧＯＰの再エンコード処理を、解析制御部１６がビデオデコーダ１２及びビデオエンコーダ１３並びに第１の切換器１７及び第２の切換器１８を制御して行う。そして、この動画像記録再生装置１では、アウト点ピクチャＢ04より表示順序で前側の画像（・・・Ｉ02，Ｂ00，Ｂ01，Ｂ03，Ｂ04）と、イン点ピクチャＰn5より表示順序で後ろ側の画像（Ｐn5，Ｐn8，Ｂn6，Ｂn7・・・）とを再エンコードすることにより、図２（Ｄ）に示すように、・・・Ｂ00，Ｂ01，Ｉ02，Ｂ03x，Ｐ04x，Ｉn5x，Ｂn6，Ｂn7，Ｐn8・・・といった順序で表示される動画像を生成することができる。そのため、動画像記録再生装置１では、イン点ピクチャより前側の動画像とアウト点の後ろ側の動画像を継ぎ目なくシームレスに再生させることができる。
【００４４】
つぎに、動画像記録再生装置１での多重化ストリームの再多重化処理について説明する。
【００４５】
この動画像記録再生装置１では、復号装置において動画像プログラムの一部分をスキップ再生する際に、スキップ再生開始点であるアウト点ピクチャより時間的に前側のプログラムであるアウト点側プログラムと、スキップ再生到達点であるイン点ピクチャより時間に後側のプログラムであるイン点側プログラムとをシームレスに接続できるように、多重化ストリームの再多重化処理を行う。
【００４６】
図３（Ａ）に、アウト点側プログラムの多重化ストリームの構造の一例を示す。Ｃｌｉｐ−Ａは、アウト点側プログラムが含まれている多重化ストリームであって、例えば、ＭＰＥＧ２システム規格(ISO/IEC 13818-1)で定義されてる連続したＳＣＲ(System Clock Reference)が付加されているプログラムストリームである。Ｃｌｉｐ−Ａには、１本のビデオストリームと１本のオーディオストリームがパック単位で時分割多重化されている。図４において、ｖ０，ｖ１，ｖ２，ｖ３はＧＯＰ長のビデオストリームであり、ａ０，ａ１，ａ２，ａ３はＧＯＰ長のオーディオストリームである。例えば、Ｃｌｉｐ−Ａの中のバイト位置ＢａからＢｊｏの間に、ｖ１とａ０とがパック単位で時分割多重化されている。なお、１パックの大きさは、例えば、２０４８バイトである。
【００４７】
Ｃｌｉｐ−Ａの中のオーディオストリームは、同期再生されるビデオストリームに対して所定のバイト量（audio skew：AV多重化位相差)の距離を離れたバイト位置に存在している。この図３（Ａ）に示す例では、このaudio skewを一定にしているが、この値はプログラムストリーム中で変化しても良い。本例では、ｖ０とａ０が同期しており、同様にｖ１とａ１、ｖ２とａ２、ｖ３とａ３が同期している。
【００４８】
ここで、Ｃｌｉｐ−Ａのｖ３のＧＯＰの中からアウト点ピクチャＰｏｕｔが選択されたとする。この場合、動画像記録再生装置１では、以下に示す手順でアウト点側のブリッジシーケンス(bridge sequence)を生成する。ブリッジシーケンスとは、編集点付近のビデオストリームを再エンコードして生成したビデオストリームを、再多重化した多重化ストリームである。
【００４９】
まず、第１に、上述したビデオストリームの再エンコード処理に基づいて、アウト点ピクチャが含まれたｖ３のＧＯＰを再エンコードする。この場合、ｖ３のＧＯＰを再エンコードして、新たにｖ３′のＧＯＰを生成する。このｖ３′の時間長は、ｖ３の時間長よりも短い。
【００５０】
第２に、Ｃｌｉｐ−Ａからアウト点側のブリッジシーケンスへのジャンプ点をＢｊｏとして、このＢｊｏ以降のバイト位置に存在するビデオストリームであってｖ３より前のビデオストリーム（この場合ｖ２）をＣｌｉｐ−Ａからコピーする。また、このＢｊｏ以降のバイト位置に存在するオーディオストリームであってｖ３′と同期したオーディオストリームより前のオーディオストリーム（この場合ａ１，ａ２）をＣｌｉｐ−Ａからコピーする。続いて、ｖ３′に同期するオーディオストリームを、ａ３内からコピーして、オーディオストリームａ３′を生成する。
【００５１】
第３に、上記第１及び第２の処理で生成したビデオストリーム及びオーディオストリームを再多重化する。この場合、ｖ２，ｖ３′と、ａ１, ａ２,ａ３′とを再多重化して、図３（Ｂ）に示すようなbridge sequence-Aを生成し、光ディスク２に記録する。
【００５２】
このようにbridge sequence-Aが記録された光ディスク２を復号装置でスキップ再生時に読み出す場合、アウト点側の多重化ストリームを再生するときにＣｌｉｐ−ＡをＢｊｏ点まで読み出した後、このbridge sequence-Aを読み出すようにする。
【００５３】
なお、動画像記録再生装置１では、Ｂｊｏ点までのＣｌｉｐ−Ａからbridge sequence-Aへと続くストリームを、ＳＣＲが連続したプログラムストリームとするように多重化を行わなければならない。
【００５４】
図４（Ａ）に、イン点側プログラムの多重化ストリームの構造の一例を示す。Ｃｌｉｐ−Ｂは、イン点側プログラムが含まれている多重化ストリームであって、例えば、ＭＰＥＧ２システム規格で定義されてる連続したＳＣＲが付加されているプログラムストリームである。Ｃｌｉｐ−Ｂには、１本のビデオストリームと１本のオーディオストリームがパック単位で時分割多重化されている。図３と同様にして図４において、ｖ５，ｖ６，ｖ７はＧＯＰ長のビデオストリームであり、ａ６，ａ７，ａ８はＧＯＰ長のオーディオストリームである。例えば、Ｃｌｉｐ−Ｂのバイト位置ＢｊｉからＢｂの間にｖ８とａ７がパック単位で時分割多重化されている。Ｃｌｉｐ−Ｂの中のオーディオストリームは、同期再生されるビデオストリームに対して所定のバイト量（audio skew)の距離を離れたバイト位置に存在している。この図４（Ａ）に示す例も、audio skewを一定にしているが、この値はプログラムストリーム中で変化しても良い。また、本例では、ｖ５とａ５が同期しており、同様にｖ６とａ６、ｖ７とａ７、ｖ８とａ８が同期している。
【００５５】
ここで、Ｃｌｉｐ−Ｂのｖ５の中からイン点ピクチャＰｉｎが選択されたとする。この場合、動画像記録再生装置１では、以下に示す手順でイン点側のブリッジシーケンスを生成する。
【００５６】
まず、第１に、上述したビデオストリームの再エンコード処理に基づいて、イン点ピクチャが含まれたｖ５のＧＯＰを再エンコードする。この場合、ｖ５のＧＯＰを再エンコードして、新たにＶ５′のＧＯＰを生成する。このｖ５′の時間長は、ｖ５の時間長よりも短い。
【００５７】
第２に、イン点側のブリッジシーケンスからＣｌｉｐ−Ｂへのジャンプ点をＢｊｉとして、ｖ５より後のビデオパックであってこのＢｊｉ以前のバイト位置に存在するビデオストリーム（この場合ｖ６，ｖ７）をＣｌｉｐ−Ｂからコピーする。また、ｖ５′と同期したオーディオストリームより後のオーディオストリームであってこのＢｊｉ以前のバイト位置に存在するオーディオストリーム（この場合ａ６）をＣｌｉｐ−Ｂからコピーする。続いて、ｖ５′に同期するオーディオストリームを、ａ５内からコピーして、オーディオストリームａ５′を生成する。
【００５８】
第３に、上記第１及び第２の処理で生成したビデオストリーム及びオーディオストリームを再多重化する。ｖ５′，ｖ６，ｖ７と、ａ５′，ａ６とを再多重化して、図４（Ｂ）に示すようなbridge sequence-Bを生成し、光ディスク２に記録する。
【００５９】
このようにbridge sequence-Bが記録された光ディスク２を復号装置でスキップ再生時に読み出す場合、イン点側プログラムを再生するときにこのbridge sequence-Bを読み出した後、Ｃｌｉｐ−ＢをＢｊｉ点から読み出すようにする。
【００６０】
なお、動画像記録再生装置１では、Bridge sequence-BからＢｊｉ点以後のＣｌｉｐ−Ｂへと続くストリームを、ＳＣＲが連続したプログラムストリームとするように多重化を行わなければならない。
【００６１】
動画像記録再生装置１では、以上のような再多重化をすることによって、図３（Ｂ）に示すようなbridge sequence-Aと、図４（Ｂ）に示すようなbridge sequence-Bを生成することができる。
【００６２】
図５に、Ｂｊｏ点以前のＣｌｉｐ−Ａからbridge sequence-Aへと続く多重化ストリームをＣｌｉｐ−１とし、bridge sequence-BからＢｊｉ点以後のＣｌｉｐ−Ｂへと続く多重化ストリームをＣｌｉｐ−２としたときの、編集点前後での多重化ストリームの構造を示す。復号装置側では、このＣｌｉｐ−１からＣｌｉｐ−２へ続く多重化ストリームを連続してデコードしたとき、シームレスにビデオ及びオーディオを表示する必要がある。動画像記録再生装置１では、復号装置側でビデオ及びオーディオをシームレスに再生させるために、Ｃｌｉｐ−１とＣｌｉｐ−２とのオーディオストリームに以下の制限を設けて、符号化及び多重化を行う。
【００６３】
Ｃｌｉｐ−１の終端部とＣｌｉｐ−２の始端部の境界において、オーディオの表示時間のギャップが存在しないよう制限をする。すなわち、Ｃｌｉｐ−１のオーディオストリームはＣｌｉｐ−１のビデオが表示終了する時刻に表示されるオーディオサンプルを含むように再多重化をし、Ｃｌｉｐ−２のオーディオストリームはＣｌｉｐ−２のビデオが表示開始する時刻に表示されるオーディオサンプルを含むように再多重化をする。従って、この境界において、2 audio frame以下の表示時間のオーバーラップが存在する可能性がある。ここで、1 audio frameは、例えば、ＭＰＥＧ１のオーディオストリームの場合、２４ｍｓｅｃの長さの表示時間のオーディオストリームである。
【００６４】
なお、図５に示すV1LBI、A1LBI、V2FBI、A2FBIは以下のとおりである。
V1LBI : Ｃｌｉｐ−１の中のvideo-1の最後のpackの最終バイト位置
A1LBI : Ｃｌｉｐ−１の中のaudio-1の最後のpackの最終バイト位置
V2FBI : Ｃｌｉｐ−２の中のvideo-2の最初のpackの第１バイト位置
A2FBI : Ｃｌｉｐ−２の中のaudio-2の最初のpackの第１バイト位置
【００６５】
また、これらV1LBI、A1LBI、V2FBI、A2FBIの関係は以下のとおりである。
V1LBI < A1LBI
V2FBI < A2FBI
なお、上記以外の関係になることは、MPEGの規格上では可能であるが、実用上では、ほとんど存在しない。
【００６６】
つぎに、この動画像記録再生装置１により生成した上記Ｃｌｉｐ−１及びＣｌｉｐ−２を再生する仮想的なデコーダモデルであるシステムターゲットデコーダのブロック図を図６に示し、このシステムターゲットデコーダにおけるスキップ再生処理について説明する。
【００６７】
この図６に示すシステムターゲットデコーダ２０は、光ディスク２から再生した多重化ストリーム（Ｃｌｉｐ−１及びＣｌｉｐ−２）が入力され、この多重化ストリームをビデオストリームとオーディオストリームに分離するデマルチプレクサ２１と、デマルチプレクサ２１により分離されたビデオストリームを一時格納するビデオバッファ２２と、デマルチプレクサ２１により分離されたオーディオストリームを一時格納するオーディオバッファ２３と、ビデオバッファ２２に格納されたビデオストリームを抜き出して復号するビデオデコーダ２４と、復号した画像データを一時格納するリオーダバッファ２５と、オーディオバッファ２３に格納されたオーディオストリームを抜き出して復号するオーディオデコーダ２６と、ビデオデコーダ２４により復号された画像データとリオーダバッファ２５に格納されている画像データとを切り換えて出力する出力スイッチ２７とを備えている。
【００６８】
また、システムターゲットデコーダ２０は、デマルチプレクサ２１の切り換えタイミング、ビデオデコーダ２４の復号タイミング、オーディオデコーダ２６の復号及び出力タイミング、出力スイッチ２７の出力タイミングを制御するための基準同期信号（ＳＴＣ：Systemu Time Clock）を供給する時間制御部２８を備えている。
【００６９】
また、システムターゲットデコーダ２０は、時間制御部２８から供給されるＳＴＣを切り換える第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４を備えている。
【００７０】
デマルチプレクサ２１には、多重化ストリームに付加されているＳＣＲ(System Clock Reference)に応じてこの多重化ストリームを構成する各パケットが入力される。デマルチプレクサ２１は、この多重化ストリームを時間制御部２８から供給されるＳＴＣに基づいてビデオストリームとオーディオストリームとに分離する。
【００７１】
ビデオデコーダ２５は、ビデオストリームに付加されているＤＴＳ（Decoding Time Stamp）と、時間制御部２８から供給されたＳＴＣとが一致したときに、ビデオバッファ２４から所定のピクチャのデータを抜き出して復号する。復号した画像データは、このビデオデコーダ２４から直接出力スイッチ２７を介して外部に出力されるか、或いは、リオーダバッファ２５に一旦格納された後出力スイッチ２７を介して出力される。
【００７２】
オーディオデコーダ２６は、オーディオストリームを復号し、このオーディオストリームに付加されているＰＴＳ（Presentation Time Stamp）と、時刻制御部２９から供給されたＳＴＣとが一致したときに、復号したオーディオデータを出力する。
【００７３】
なお、このオーディオデコーダ２６の前段にあるオーディオバッファ２３のバッファサイズ（additional_buffer_size）は、MPEG~2 CSPS=1に規定されたバッファサイズに比べて、次に示すだけの大きさが必要である。
【００７４】
additional_buffer_size = (program_mux_rate ~ Ra)*Ra / program_mux_rate
ここで、“Ra”は、オーディオストリームの最大ビットレートである。“program_mux_rate”は、Ｃｌｉｐ−１ とＣｌｉｐ−２のプログラムストリームの最大ビットレートのうち、大きいほうの値である。例えば、 program_mux_rate=10 Mbps, Ra=256 kbpsであれば、オーディオバッファ２３のバッファサイズ（additional_buffer_size）は、0.249Ｍｂｉｔとなる。
【００７５】
出力スイッチ２７は、ビデオストリームに付加されているＰＴＳと、時刻制御部２９から供給されたＳＴＣとが一致したときに、復号したビデオデータを出力する。なお、この出力スイッチ２７は、必要に応じて、リオーダバッファ２５に格納されたビデオデータを出力する。
【００７６】
時間制御部２８は、スキップ再生の際のアウト点側プログラムからイン点側プログラムへの切り換え時に、アウト点側プログラムのＳＣＲに同期したＳＴＣと、イン点側プログラムのＳＣＲに同期したＳＴＣとの２つのＳＴＣを発生する。
【００７７】
時間制御部２８は、例えば、ＳＴＣを発生するＳＴＣ発生器２８ａと、ＳＴＣ発生器２８ａが発生したＳＴＣから所定のオフセット値（STC_delta）を減算する減算器２８ｂとを有しており、オフセット値が減算されていないＳＴＣ発生器２８ａから直接出力されたＳＴＣ（これはアウト点側プログラムのＳＣＲに同期したＳＴＣであり、以下ＳＴＣ−１と呼ぶ。）と、ＳＴＣ発生器２８ａから直接出力されるＳＴＣ−１からオフセット値（STC_delta）を減算したＳＴＣ（これはイン点側プログラムのＳＣＲに同期したＳＴＣであり、以下ＳＴＣ−２と呼ぶ。）との２つのＳＴＣを出力する。
【００７８】
すなわち、このオフセット値（STC delta）は、Ｃｌｉｐ−１とＣｌｉｐ−２との多重化ストリームの時間軸のオフセット量を示しており、Ｃｌｉｐ−１のビデオを表示終了する時のＣｌｉｐ−１の時間軸上での時刻とＣｌｉｐ−２のビデオを表示開始する時のＣｌｉｐ−２の時間軸上での時刻の差を示している。
【００７９】
例えば、ここで、Ｃｌｉｐ−１の時間軸上におけるアウト点ピクチャＰｏｕｔのＰＴＳを“PTS_Pout”とし、アウト点ピクチャＰｏｕｔの表示期間を“Tpp”とし、Ｃｌｉｐ−２の時間軸上におけるイン点ピクチャＰｉｎのＰＴＳを“PTS_Pin”とすると、オフセット値“STC delta”は、以下の式に示すようになる。
【００８０】
PTS_Pout_end = PTS_Pout + Tpp
STC_delta = PTS_Pout_end ~ PTS_Pin ・・・（１）
この時間制御部２８から出力される２つのＳＴＣ（ＳＴＣ−１，ＳＴＣ−２）は、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４によりいずれか一方が選択されて、デマルチプレクサ２１、ビデオデコーダ２４、オーディオデコーダ２６、出力スイッチ２７に供給される。第１のＳＴＣスイッチＳＷ１は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをデマルチプレクサ２１に供給する。第２のＳＴＣスイッチＳＷ２は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをビデオデコーダ２４に供給する。第３のＳＴＣスイッチＳＷ３は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをオーディオデコーダ２６に供給する。第４のＳＴＣスイッチＳＷ４は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣを出力スイッチ２７に供給する。
【００８１】
続いてこのように構成されるシステムターゲットデコーダ２０の動作について説明する。
【００８２】
図７にＣｌｉｐ−１からＣｌｉｐ−２へと連続して続く２つの多重化ストリームが入力されたときのシステムターゲットデコーダ２０の動作タイミングを表すタイミングチャートを示す。
【００８３】
まず、Ｃｌｉｐ−１の最初のパックに示されているＳＣＲがＳＴＣ発生器２８ａにＳＴＣとしてセットされる。第１から第４の各ＳＴＣスイッチＳＷ１〜ＳＷ４は全て端子Ａ側に切り換えられ、ＳＴＣ−１（Ｃｌｉｐ−１のＳＣＲに同期したＳＴＣ）がデマルチプレクサ２１、ビデオデコーダ２４、オーディオデコーダ２６及び出力スイッチ２７に供給されている。すなわち、Ｃｌｉｐ−１に付加されたＳＣＲに基づき全ての機能が動作している。
【００８４】
時刻Ｔ１以前では、デマルチプレクサ２１には、Ｃｌｉｐ−１の各パックに付加されているsystem_clock_referenceと第１のＳＴＣスイッチの端子Ａから供給されるオフセットが加算されていないＳＴＣ−１とが一致したタイミングで入力される。
【００８５】
続いて時刻Ｔ１となると、Ｃｌｉｐ−１の最後のvideo packのデマルチプレクサ２１への入力が終了する。
【００８６】
続いて時刻Ｔ１から時刻Ｔ２の間では、デマルチプレクサ２１には、Ｃｌｉｐ−１の各packが、各packに付加されたsystem_clock_referenceを無視して、Ｃｌｉｐ−１の最大ビットレートprogram_mux_rate1で入力される。この最大ビットレートprogram_mux_rate1は、例えば、光ディスク２からデータを読み出す際の最大転送レートであってもよい。
【００８７】
ここで、Ｃｌｉｐ−１の最後のビデオパックの次のパックから、Ｃｌｉｐ−１の最後のパックまでのデータ量を“N1”とすると、時刻Ｔ１から時刻Ｔ２までの時間“ΔT1”は、以下のようになる。
【００８８】
ΔT1 =T2 ~ T1 = N1 / program_mux_rate1 ・・・（２）
続いて時刻Ｔ２となると、Ｃｌｉｐ−１の最後のpack(audio pack)のデマルチプレクサ２１への入力が終了する。この時刻Ｔ２において、第１のＳＴＣスイッチＳＷ１は端子Ｂ側に切り換えられ、デマルチプレクサ２１にＳＴＣ−２（Ｃｌｉｐ−２のＳＣＲに同期したＳＴＣ）が供給される。そのため、デマルチプレクサ２１は、Ｃｌｉｐ−２に付加されたＳＣＲに基づき動作を開始する。
【００８９】
続いて時刻Ｔ２から時刻Ｔ３の間では、Ｃｌｉｐ−２の最初のパケットがvideo packでない場合、デマルチプレクサ２１には、Ｃｌｉｐ−２の最初のpackからＣｌｉｐ−２の最初のvideo packの前のパックまでのパックが、各packのsystem_clock_referenceを無視して、Ｃｌｉｐ−２の最大ビットレートprogram_mux_rate2で入力される。この最大ビットレートprogram_mux_rate2は、例えば、光ディスク２からデータを読み出す際の最大転送レートであってもよい。
【００９０】
ここで、Ｃｌｉｐ−２の最初のパックから、Ｃｌｉｐ−２の最初のビデオパックの前のパックまでのデータ量を“N2”とすると、時刻Ｔ２から時刻Ｔ３までの時間“ΔT2”は、以下のようになる。
【００９１】
ΔT2 =T3 ~ T2 = N2 / program_mux_rate2 ・・・（３）
なお、ＭＰＥＧ２プログラムストリームは、一般的に、最初のパックがvideo packであるため、ΔT2=0である。
【００９２】
続いて時刻Ｔ３となると、Ｃｌｉｐ−２の最初のvideo packのデマルチプレクサ２１への入力が開始し、以後デマルチプレクサ２１には、Ｃｌｉｐ−２の各packのsystem_clock_referenceと第１のＳＴＣスイッチＳＷ１の端子Ｂから供給されるオフセットが加算されたＳＴＣ−１とが一致したタイミングで入力される。
【００９３】
ここで、Ｃｌｉｐ−２の最初のvideo packの system_clock_referenceは、次の不等式を満たさなければならない。
【００９４】
SCR_video2_start > SCR_video1_end ~ STC_delta +ΔT1+ΔT2・・・（４）
SCR_video1_end = SCR_last_video1 + pack_length/program_mux_rate1
【００９５】
“SCR_video2_start”はＣｌｉｐ−２の最初のvideo packのsystem_clock_referenceであり、“SCR_video1_end”はＣｌｉｐ−１の最後のvideo packがデマルチプレクサ２１へ入力終了する時のＣｌｉｐ−１の時間軸上での時刻である。これは、Ｃｌｉｐ−１の最後のvideo packのsystem_clock_reference(SCR_last_video1)とprogram_mux_rate1とパック長(pack_length)から以下のように計算することができる値である。pack_lengthは、例えば、2048 byteである。
【００９６】
SCR_video1_end=SCR_last_video1 + pack_length/program_mux_rate1
【００９７】
続いて時刻Ｔ４にとなると、第２のＳＴＣスイッチＳＷ２が端子Ａ側から端子Ｂ側に切り換えられ、ビデオデコーダ２４が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。ビデオデコーダ２４は、ビデオストリームの各ピクチャに付けられているdecoding_time_stampを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のビデオストリームの復号を開始する。
【００９８】
続いて時刻Ｔ５となると、第３のＳＴＣスイッチＳＷ３が端子Ａ側から端子Ｂ側に切り換えられ、オーディオデコーダ２６が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。オーディオデコーダ２６は、オーディオストリームに付けられているpresentation_time_stampを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のオーディオストリームの出力を開始する。なお、オーディオデコーダ２６は、Ｃｌｉｐ−１の終了部分のオーディオデータとＣｌｉｐ−２の開始部のオーディオデータに、データのオーバーラップがあるときには、どちらのオーディオのサンプルを表示するか選択する必要がある。
【００９９】
続いて時刻Ｔ６となると、第４のＳＴＣスイッチＳＷ４が端子Ａ側から端子Ｂ側に切り換えられ、出力スイッチ２７が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。出力スイッチ２７は、ビデオストリームの各ピクチャに付けられているpresentation_time_stampを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のビデオストリームの出力を開始する。
【０１００】
そして、この時刻Ｔ６において、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４が全て端子Ｂ側に切り換えられると、ＳＴＣ発生器２８ａから発生されるＳＴＣの値が、[STC~STC_delta]にリセットされ、それとともに、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４がすべて端子Ａ側に切り換えられ、上述した時刻Ｔ１以前の状態と同一となる。
【０１０１】
つぎに、動画像記録再生装置１において再エンコードして生成するブリッジシーケンスのレートコントロールと、ブリッジシーケンスの再多重化処理の制限について説明する。
【０１０２】
光ディスク２に記録するＣｌｉｐ−１とＣｌｉｐ−２は、ともにMPEG2システムで定義されるＰ−ＳＴＤ(Program stream System Target Decoder)の動作を満たすプログラムストリームとなるように再エンコード及び再多重化をしなければならない。動画像記録再生装置１では、Ｃｌｉｐ−１及びＣｌｉｐ−２の再エンコード及び再多重化を以下のような制限のもとで行う。
【０１０３】
動画像記録再生装置１は、Ｃｌｉｐ−１からＣｌｉｐ−２へ多重化ストリームを連続してデコードするときにＰ−ＳＴＤのビデオバッファがアンダーフローおよびオーバーフローしないように再エンコード及び再多重化を行う。例えば、上述したシステムターゲットデコーダ２０であれば、Ｃｌｉｐ−１に続いてＣｌｉｐ−２のビデオパケットをビデオバッファ２２へ入力する場合に、このビデオバッファ２２がオーバーフローおよびアンダーフローしないように、Ｃｌｉｐ−１の時間軸とＣｌｉｐ−２の時間軸とを同じ時間軸に換算してＣｌｉｐ−２のビデオパケットがビデオバッファ２２へ入力される時刻を制限し、ブリッジシーケンスの再エンコード及び再多重化を行う。
【０１０４】
上記システムターゲットデコーダ２０のビデオバッファ２２のビット占有量を図示し、ブリッジシーケンスのレートコントロールとその再多重化処理の制限について具体的に説明する。
【０１０５】
図８に、Ｃｌｉｐ−１の多重化ストリームのシステムターゲットデコーダ２０におけるビデオバッファ２２のビット占有量の変化を示す。ここで、横軸time1は、Ｃｌｉｐ−１の時間軸上での時刻を表す。縦軸は、ビデオバッファ２２のビット占有量を示し、ＢＳの値は、例えば、MPEG2 MP@MLでは232 kByteである。
【０１０６】
図８中のa1(i)は、Ｃｌｉｐ−１ の復号順でi番目の符号化ピクチャのビット量を表す。t1(i)は、a1(i)が復号される時刻を表し、この値はＤＴＳとしてビットストリーム中に付加されている。また、a1(n)は、Ｃｌｉｐ−１の最後に復号されるピクチャのビット量を表し、t1(n)は、a1(n)がデコードされる時刻を表す。図中のバッファ占有量の軌跡が、右上がりになっている時間帯は、ビデオバッファ２２へデータが、Ｃｌｉｐ−１のビットレートprogram_mux_rate1で入力されていることを表す。また、傾きゼロの直線（水平）の時間帯は、ビデオバッファ２２へのデータ入力が停止していることを表す。
【０１０７】
時刻SCR_video1_endは、Ｃｌｉｐ−１の最後のビデオパック（図３に示すbridge sequence~Aの最後のvideo pack）のデータがビデオバッファ２２に入力終了する時刻である。Ｂｂは、時刻SCR_video1_endにおけるビデオバッファ２２のビット占有量である。時刻SCR_video1_end以降は、ＤＴＳで決められた時刻にデータがバッファから引き抜かれるだけで、ビデオバッファ２２にはデータが入力されず、ビット占有量が減少していく。
【０１０８】
t1(n+1)は、a1(n)がデコード終了する時刻を表す。t1(n+1)は、ビットストリーム中には現れない時間である。(t1(n+1)~t1(n))は、a1(n)のpicture_structure, picture_coding_type, repeat_first_field, a1(n)の直前のcoded~I~frameまたはcode~P~frameのrepeat_first_fieldであるprev_IP_repeat_firat_fieldから次のように計算できる。
【０１０９】
【数１】
【０１１０】
図９は、Ｃｌｉｐ−２の多重化ストリームのシステムターゲットデコーダ２０におけるビデオバッファ２２のビット占有量の変化を示す。ここで、横軸time2は、Ｃｌｉｐ−２の時間軸上での時刻を表す。縦軸は、ビデオバッファ２２のビット占有量を示し、ＢＳの値は、例えば、MPEG2 MP@MLでは232 kByteである。
【０１１１】
図９中のa2(i)は、Ｃｌｉｐ−２の復号順でｉ番目の符号化ピクチャのビット量を表す。t2(i)は、a2(i)が復号される時刻を表し、この値はＤＴＳとしてビットストリーム中に付加されている。また、a2(0)は、Ｃｌｉｐ−２の最初に復号されるピクチャのビット量を表し、t2(0)は、a2(0)がデコードされる時刻を表す。図中のバッファ占有量の軌跡が、右上がりになっている時間帯は、ビデオバッファ２２へデータが、Ｃｌｉｐ−２のビットレートprogram_mux_rate2で入力されていることを表す。また、傾きゼロの直線（水平）の時間帯は、ビデオバッファ２２へのデータ入力が停止していることを表す。
【０１１２】
時刻SCR_video2_startは、Ｃｌｉｐ−２の最初のビデオパック（図４に示すbridge sequence-Bの最初のvideo pack）がビデオバッファ２２に入力開始する時刻である。時刻SCR_video2_startは、Ｃｌｉｐ−２の最初のビデオパックに符号化されているＳＣＲに示されている時刻である。SCR_video2_startは、上述した（４）式を満たさねばならない。
【０１１３】
また、Ｃｌｉｐ−２のビット占有量の軌跡は、Ｃｌｉｐ−１の終端部分でのビデオバッファ２２のビット占有量から制限を受ける。すなわち、Ｃｌｉｐ−１とＣｌｉｐ−２のそれぞれの時間軸を同じ時間軸に換算して、Ｃｌｉｐ−１に続いてＣｌｉｐ−２のビデオパケットを同一のビデオバッファ２２へ入力する場合に、このビデオバッファ２２がオーバーフローおよびアンダーフローしないように、Ｃｌｉｐ−２のビデオパケットがビデオバッファへ入力される時刻が制限されていなければならない。
【０１１４】
この図９において、time2=SCR_video1_end - STC_delta は、time1=SCR_video1_endをtime2上の値に換算した時刻である。ここで、STC_deltaは、上述した式（１）により定義される値である。時刻time2=SCR_video1_end - STC_deltaから始まる階段状の軌跡の図面上側の斜線領域は、Ｃｌｉｐ−１の終端部分におけるビデオデータのビット占有量の変化を表す。Ｃｌｉｐ−１からＣｌｉｐ−２へ続けて、ビデオパケットをビデオバッファ２２へ入力するときに、このビデオバッファ２２がオーバーフローしないためには、この図９に示すＣｌｉｐ−２のビット占有量の軌跡が図面の斜線領域の下側となっているようにbridge sequence-Bを再エンコードと多重化しなければならない。
【０１１５】
この関係を式で表すと次のようになる。
【０１１６】
b1(time1) + b2(time1-STC_delta) <= BS
ここで、“b1”は、Clip-1の時間軸上の時刻time1におけるP-STDのビデオバッファのビット占有量の変化である。また、“b2”は、Clip-2の時間軸上の時刻time2= time1-STC_deltaにおけるP-STDのビデオバッファのビット占有量の変化である。
【０１１７】
以上のように動画像記録再生装置１では、再エンコードして生成するブリッジシーケンスのレートコントロールとブリッジシーケンスの再多重化処理の制限することによって、Ｃｌｉｐ−２のビデオストリームがデコーダのビデオバッファに入力開始する時刻から、Ｃｌｉｐ−１のビデオストリームがデコーダのビデオバッファに入力開始する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように符号化して、スキップ点の前後における動画像の連続性を保ちスキップ再生をし、スキップ再生時にデコーダのビデオバッファをオーバーフロー及びアンダーフローさせることなく再生の連続性を確保することができる。
【０１１８】
なお、デコードしたブリッジシーケンスが高画質となるようにエンコードするための例を以下に挙げる。
【０１１９】
例えば、図８における (t(n+1)~ SCR_video1_end)をできるだけ大きくする。
【０１２０】
そのためには、Clip~1のビデオのバッファへの入力をできるだけ早く終了するように、プログラムストリームを多重化する必要がある。
【０１２１】
また、例えば、図９における斜線領域を、Clip~1の画質を考慮してできるだけ小さくする。
【０１２２】
この斜線領域が大きいほどtime2=SCR_video2_startからt2(0)までの間にビデオバッファへ入力できるデータ量が制限を受ける。すなわち、この斜線領域が大きいほど、Clip~2のBridge sequenceのビデオの再エンコードにおいて、ピクチャのビット量を小さくしなければならなくなる。具体的には、Clip~1の最後のピクチャから２、３フレーム以内にI~pictureがある場合、上記斜線領域が大きくなる場合がある。このような場合、以下に示すように、そのＩピクチャをＰピクチャに変更して再エンコードすることにより、発生ビット量を小さくすることができるので、上記斜線領域を小さくすることができる。
【０１２３】
改善前 I2 B0 B1 P5 B3 B4 P8 B6 B7 I11 B9 B10
改善後 I2 B0 B1 P5 B3 B4 P8 B6 B7 P11 B9 B10
【０１２４】
【発明の効果】
本発明にかかる多重化装置及び多重化方法では、第２の多重化ストリームの最初のビデオパックをデコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームを符号化する。
【０１２５】
このことにより本発明にかかる多重化装置及び多重化方法では、デコーダ側で、スキップ点の前後における動画像の連続性を保ちスキップ再生をし、スキップ再生時にデコーダのビデオバッファをオーバーフロー及びアンダーフローさせることなく再生の連続性を確保することができる。
【０１２６】
また、本発明にかかる記録媒体は、第２の多重化ストリームの最初のビデオパックをデコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化を行い、上記第１の多重化ストリームと上記第２の多重化ストリームとを生成する多重化方法により生成されるデータが記録された領域を有する。
【０１２７】
このことにより本発明にかかる記録媒体では、この記録媒体の再生装置に対して、スキップ点の前後における動画像の連続性を保ちスキップ再生をし、スキップ再生時にデコーダのビデオバッファをオーバーフロー及びアンダーフローさせることなく再生の連続性を確保させることができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像記録再生装置のブロック図である。
【図２】上記動画像記録再生装置が再エンコードするビデオストリーム及び再エンコードしたビデオストリームを示す図である。
【図３】上記動画像記録再生装置が再多重化するアウト点側プログラムの多重化ストリーム及び再多重化して生成したブリッジシーケンスを示す図である。
【図４】上記動画像記録再生装置が再多重化するイン点側プログラムの多重化ストリーム及び再多重化して生成したブリッジシーケンスを示す図である。
【図５】アウト点側プログラムとイン点側プログラムの編集点前後の多重化ストリームの構造を示す図である。
【図６】上記動画像記録再生装置が多重化した多重化ストリームを復号するシステムターゲットデコーダのブロック図である。
【図７】上記動画像記録再生装置により多重化された多重化ストリームが入力されたときの上記システムターゲットデコーダの動作タイミングを表すタイミングチャートである。
【図８】上記システムターゲットデコーダのビデオバッファにアウト点側プログラムが入力されたときのビット占有量の変位を表す図である。
【図９】上記システムターゲットデコーダのビデオバッファにイン点側プログラムが入力されたときのビット占有量の変位を表す図である。
【図１０】ＭＰＥＧ方式で符号化された各ピクチャを説明する図である。
【図１１】ＭＰＥＧ方式で符号化された符号化データのスキップ再生について説明する図である。
【符号の説明】
１ 動画像記録再生装置、２ 光ディスク、１１ デマルチプレクサ、１２ ビデオデコーダ、１３ ビデオエンコーダ、１４ マルチプレクサ、１５ 編集情報入力部、１６ 解析制御部、２０ システムターゲットデコーダ、２１ デマルチプレクサ、２２ ビデオバッファ、２３ オーディオバッファ、２４ ビデオデコーダ、２６ オーディオデコーダ、２８ 時間管理部
【発明の属する技術分野】
本発明は、ビデオ符号ストリームの多重化装置、多重化方法及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来の光ディスク等の記録再生装置では、一般に、ＭＰＥＧ（Moving Picture Experts Group）方式で画像の圧縮及び伸張を行うエンコーダ及びデコーダを備え、このＭＰＥＧ方式で画像圧縮又は伸張を行って、映像信号の記録再生をしている。
【０００３】
このＭＰＥＧ方式では、動画像を構成する画面（フレーム或いはフィールドの画面）を、Ｉピクチャ，Ｐピクチャ，Ｂピクチャのいずれかのピクチャタイプに符号化して、画像圧縮を行っている。
【０００４】
Ｉピクチャは、画面内で符号化が完結しているもので、他画面とは独立して符号化したものである。このため、このＩピクチャは、例えば、ランダムアクセスのエントリーポイントとして用いられたり、エラーを回復するために用いられたりする。
【０００５】
Ｐピクチャは、時間的に過去に存在するＩピクチャ或いはＰピクチャから予測符号化したものである。従って、このＰピクチャを復号するためには、時間的に過去のＩピクチャ或いはＰピクチャが復号されていなければならない。
【０００６】
Ｂピクチャは、時間的に過去に存在するＩピクチャ或いはＰピクチャと、時間的に未来に存在するＩピクチャ或いはＰピクチャから、前方向、後方向又は双方向の予測符号化がされたものである。このため、このＢピクチャを復号するためには、時間的に過去及び未来のＩピクチャ又はＰピクチャが復号されていなければならない。
【０００７】
このようにＭＰＥＧ方式では、ピクチャ間予測符号化して画像圧縮を行い、動画像を効率的に圧縮するとともに、圧縮した動画像に対してランダムにアクセスができるようになっている。
【０００８】
また、ＭＰＥＧ方式では、これらの各ピクチャを任意の枚数でグループ化した画面群（ＧＯＰ：Group of pictures）単位で構成されるデータストリームに圧縮している。ＭＰＥＧ方式では、このＧＯＰ内に少なくとも１枚のＩピクチャを設けることを規定している。そのため、このＧＯＰ単位で圧縮した動画像に対してランダムアクセスができるようになっている。
【０００９】
ここで、上述したような従来の記録再生装置で、ＭＰＥＧ方式で画像圧縮された信号を再生する場合について考えてみる。
【００１０】
例えば、記録媒体には、図１０（Ａ）に示すようなデータストリームの符号化データが記録されている。従来の記録再生装置は、この図１０（Ａ）に示すように記録されているデータストリームを復号して、図１０（Ｂ）に示すようなピクチャの順番で表示を行う。ここで、各ピクチャに符号として付けている“Ｉ”，“Ｐ”，“Ｂ”は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの区別を示しており、各添字は、ＧＯＰ（Group of Pictures）内の表示順序を表すいわゆるテンポラリリファレンスを示している。
【００１１】
従来の記録再生装置は、図１０（Ａ）に示すようなデータストリームの符号化データを再生する為に、まず、Ｉ0の復号を行う。Ｉピクチャは画面内で符号化が完結しているものであるので、従来の記録再生装置では他のピクチャを復号することなくＩ0を単独で復号することができる。続いて、従来の記録再生装置は、復号したＩ0に基づき、順方向予測符号化がされたＰ2の復号を行う。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャから予測符号化がされるものであるので、従来の記録再生装置はこのＰ2を復号する前にＩ0を復号していなければならない。続いて、従来の記録再生装置は、復号したＩ0及びＰ2に基づき、双方向予測符号化がされたＢ1の復号を行う。Ｂピクチャは時間的に前後のＩピクチャ又はＰピクチャから双方向符号化がされるものであるので、従来の記録再生装置はこのＢ1を復号する前にＩ0とＰ2を復号していなければならない。このように、この従来の記録再生装置では、図１０（Ａ）に示すようなデータストリームの符号化データを、Ｉ0→Ｐ2→Ｂ1→Ｐ4→Ｂ3→Ｐ6→Ｂ5→Ｉ8→Ｂ7→Ｐ10→Ｂ9→・・・といった順序で復号を行う。
【００１２】
そして、従来の記録再生装置では、このような順序で復号した各ピクチャを表示する場合には、図１０（Ｂ）に示すようにその順序を入れ換えて、Ｉ0→Ｂ1→Ｐ2→Ｂ3→Ｐ4→Ｂ5→Ｐ6→Ｂ7→Ｉ8→Ｂ9→Ｐ10→・・・といった順序で表示を行う。
【００１３】
【発明が解決しようとする課題】
ところで、従来の記録再生装置では、記録媒体がランダムアクセス可能となっていれば、ＭＰＥＧ方式で記録された符号化データに対してランダムアクセスが可能となる。従って、従来の記録再生装置は、例えば、図１１で示しているストリームを、まずＳA点で示すＰピクチャまで再生し、これ以降の各ピクチャの再生をせず、ＳB点で示すＢピクチャ（ピクチャＢ３）から再生を再開するといったピクチャを一部跳ばして再生することが可能である。ここで、ピクチャを一部跳ばすことを以後スキップと呼び、あるピクチャから別の離れたピクチャまでスキップさせて再生することをスキップ再生と呼ぶ。また、スキップが開始する直前のピクチャ（例えば図１１に示すＳAのピクチャ）をアウト点ピクチャと呼び、スキップが終了して最初に再生が開始するピクチャ（例えば図１１に示すＳBのピクチャ）をイン点ピクチャと呼ぶ。
【００１４】
ところが、このような従来の記録再生装置でこのスキップ再生を行った場合には、再生した映像の時間的な連続性が途切れてしまう場合がある。
【００１５】
例えば、イン点ピクチャがＢピクチャである場合には、このＢピクチャを復号するために必要なＩピクチャ又はＰピクチャを復号しておかなければならず、この場合には、再生した映像の時間的な連続性が途切れてしまう。具体的に図１１で示した例を用いて説明すると、従来の記録再生装置は、イン点ピクチャがＢ3であるので、このＢ3を復号するために少なくともＩ0，Ｐ2，Ｐ4を復号しなければならない。そのため、従来の記録再生装置では、このＩ0，Ｐ2，Ｐ4を復号している間は、ピクチャを表示することができず、映像の連続性が途切れてしまうこととなる。
【００１６】
以上のように従来の記録再生装置では、スキップ再生をした場合に、スキップした前後のピクチャをシームレスに再生することができない。
【００１７】
なお、以上の例においては、ＭＰＥＧ方式で画像圧縮した場合について考えたが、例えば、画像間に相関があることを利用し、画像間の差分を求め、この差分を符号化するようなピクチャ間予測符号化を用いた場合であっても、同様にスキップ再生時における時間的な連続性が途切れてしまう。
【００１８】
本発明は、このような実情を鑑みてなされたものであり、スキップ点の前後における動画像の連続性を保ちスキップ再生をすることができる動画像データを符号化する多重化装置、多重化方法及び記録媒体を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明にかかる多重化装置は、第１のピクチャで表示終了する第１のビデオ符号化ストリームと、スキップ再生の際にこの第１のピクチャに続けて表示される第２のピクチャから表示開始する第２のビデオ符号化ストリームの符号化をするビデオ符号化手段と、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して第１の多重化ストリームを生成し、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して第２の多重化ストリームを生成する多重化手段と、上記第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）と、上記第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）を求め、上記第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）を求め、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）を求め、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）を求め、上記第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように上記ビデオ符号化手段を制御する制御手段とを備えることを特徴とする。
【００２０】
この多重化装置では、第２のビデオ符号化ストリームがデコーダのビデオバッファへ入力開始する時刻から、上記第１のビデオ符号化ストリームの第１のピクチャの復号終了する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように符号化する。
【００２１】
本発明にかかる多重化方法は、第１のピクチャで表示終了する第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）とスキップ再生の際にこの第１のピクチャに続けて表示される第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）を求め、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとがパック化され生成される第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）を求め、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）を求め、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）を求め、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して生成される第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化をし、上記第１の多重化ストリームと第２の多重化ストリームとを生成することを特徴とする。
【００２２】
この多重化方法では、第２のビデオ符号化ストリームがデコーダのビデオバッファへ入力開始する時刻から、上記第１のビデオ符号化ストリームの第１のピクチャの復号終了する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように符号化する。
【００２３】
本発明にかかる記録媒体は、第１のピクチャで表示終了する第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）とスキップ再生の際にこの第１のピクチャに続けて表示される第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）と、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して多重化された第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）と、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）と、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）とに基づき、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して多重化された第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化を行い、上記第１の多重化ストリームと上記第２の多重化ストリームとを生成する多重化方法により生成されるデータが記録された領域を有し記録可能であることを特徴とする。
【００２４】
この記録媒体には、第２のビデオ符号化ストリームがデコーダのビデオバッファへ入力開始する時刻から、上記第１のビデオ符号化ストリームの第１のピクチャの復号終了する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように、第１のビデオ符号化ストリーム及び第２のビデオ符号化ストリームが記録される領域を有し記録可能であることを特徴とする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した動画像記録再生装置について、図面を参照しながら説明する。
【００２６】
図１に、上記本発明を適用した動画像記録再生装置のブロック図を示す。
【００２７】
この図１に示す動画像記録再生装置１は、光ディスク２に記録されているＭＰＥＧ２方式で圧縮符号化された動画像データを編集することによって、復号装置側でスキップ再生がシームレスに行えるような動画像データを生成し、この動画像データを再度光ディスク２に記録する装置である。
【００２８】
以下この動画像記録再生装置１を説明するにあたり、光ディスク２には、ＭＰＥＧ２方式で符号化したビデオデータ及びオーディオデータがパック化されており、このパック単位で時分割多重化された多重化ストリームが記録されているものとする。また、スキップ再生の際のアウト点ピクチャが含まれる動画像プログラムをアウト点側プログラムと呼び、イン点ピクチャが含まれる動画像プログラムをイン点側プログラムと呼ぶ。また、スキップ再生の際のアウト点ピクチャが含まれるＧＯＰをアウト点側ＧＯＰとも呼び、また、イン点ピクチャが含まれるＧＯＰをイン点側ＧＯＰとも呼ぶものとする。
【００２９】
この動画像記録再生装置１は、光ディスク２から多重化ストリームを読み出す読み出し部３と、読み出し部３により読み出された多重化ストリームを復調する復調部４と、復調部４により復調された多重化ストリームに誤り訂正を施す誤り訂正処理部５と、誤り訂正処理部５により誤り訂正が施された多重化ストリームを一時格納するバッファ６と、編集処理をして生成された多重化ストリームに誤り訂正符号を付加する誤り訂正符号付加部７と、誤り訂正符号付加部７により誤り訂正符号が付加された多重化ストリームを変調する変調部８と、変調部８により変調された多重化ストリームを光ディスク２に書き込む書き込み部９とを備えている。
【００３０】
また、この動画像記録再生装置１は、バッファ６に格納されている多重化ストリームをビデオストリームとオーディオストリームとに分離するデマルチプレクサ１１と、デマルチプレクサ１１により分離されたビデオストリームを復号して画像データを生成するビデオデコーダ１２と、ビデオデコーダ１２により復号された画像データを再符号化してビデオストリームを生成するビデオエンコーダ１３と、ビデオストリームとオーディオストリームと時分割多重化して多重化ストリームを生成するマルチプレクサ１４とを備えている。
【００３１】
また、この動画像記録再生装置１は、イン点ピクチャの情報及びアウト点ピクチャの情報等のスキップ再生をする際に必要となる編集情報を読み出し部３に入力する編集情報入力部１５を備えている。
【００３２】
また、この動画像記録再生装置１は、編集情報入力部１５により入力された編集情報、デマルチプレクサ１１から供給される多重化ストリーム等を解析し、復号装置でスキップ再生をシームレスに行わせるために必要な編集処理（ビデオストリームの再エンコード処理及び再多重化処理）方法を決定して、ビデオデコーダ１２、ビデオエンコーダ１３及びマルチプレクサ１４を制御する解析制御部１６を備えている。
【００３３】
また、この動画像記録再生装置１は、デマルチプレクサ１１により分離されたビデオストリームの供給先を切り換える第１の切換器１７とマルチプレクサ１４に供給するビデオストリームの供給元を切り換える第２の切換器１８とを備えている。第１の切換器１７及び第２の切換器１８は、解析制御部１６の制御に応じて、デマルチプレクサ１１により分離されたビデオストリームをビデオデコーダ１２及びビデオエンコーダ１３により復号及び再符号化させてマルチプレクサ１４に供給するか、或いは、デマルチプレクサ１１により分離されたビデオストリームをそのままマルチプレクサ１４に供給するかを切り換える。なお、デマルチプレクサ１１により分離されたオーディオストリームは、復号及び再符号化されずにそのままマルチプレクサ１４に供給される。
【００３４】
以上のような構成の動画像記録再生装置１では、解析制御部１６が光ディスク２に記録されている多重化ストリームを解析して、読み出し部３、ビデオデコーダ１２、ビデオエンコーダ１３、マルチプレクサ１４、第１の切換器１７、及び第２の切換器１８を制御することにより、復号装置でスキップ再生をシームレスに行うためのブリッジシーケンス（詳細は後述する。）を生成し、このブリッジシーケンスを光ディスク２に記録する。
【００３５】
つぎに、動画像記録再生装置１でのビデオストリームの再エンコード処理について説明する。
【００３６】
この動画像記録再生装置１では、復号装置において動画像プログラムの一部分をスキップ再生する際に、スキップ再生開始点であるアウト点ピクチャより時間的に前側のプログラムであるアウト点側プログラムと、スキップ再生到達点であるイン点ピクチャより時間に後側のプログラムであるイン点側プログラムとをシームレスに接続できるように、ビデオストリームの再エンコード処理を行う。
【００３７】
ＭＰＥＧ２規格に準じた画像群の単位であるＧＯＰ（group of pictures ）には、他の画像からの予測符号化なしに画像が符号化された参照画像である少なくとも１つのＩ（Intra）ピクチャと、表示順序に順方向の予測符号化を用いて画像が符号化された順方向予測符号化画像であるＰ（predictive）ピクチャと、順方向及び逆方向の予測符号化を用いて画像が符号化された双方向予測符号化画像であるＢ（bidirectionally）ピクチャとの３種類の符号化画像が含まれている。
【００３８】
例えば、図２（Ａ）に示すように、アウト点ピクチャＰｏｕｔが含まれるアウト点側ＧＯＰをＧＯＰ（０）とし、アウト点ピクチャをその中のＢピクチャであるＢ04とする。このＧＯＰ（０）は、ＧＯＰ（−１）から続くＧＯＰである。また、図２（Ｂ）に示すように、イン点ピクチャＰｉｎが含まれるイン点側ＧＯＰをＧＯＰ（ｎ）とし、イン点ピクチャをその中のＰピクチャであるＰn5とする。このＧＯＰ（ｎ）には、ＧＯＰ（ｎ＋１）が後に続いている。なお、ここでは、表示順序がｉ番目のＧＯＰをＧＯＰ−ｉと表記する。また、ｉ番目のＧＯＰにおける表示順序がｊ番目（すなわち、テンポラルリファレンスがｊ）のＩピクチャをＩijと表記し、ｉ番目のＧＯＰにおける表示順序がｊ番目のＰピクチャをＰijと表記し、表示順序がｊ番目のＢピクチャをＢijと表記する。
【００３９】
具体的に、アウト点側ＧＯＰであるＧＯＰ（０）には、Ｉ02，Ｂ00，Ｂ01，Ｐ05，Ｂ03，Ｂ04，Ｐ08，Ｂ06，Ｂ07の順序で配列されたピクチャが含まれている。また、イン点側ＧＯＰであるＧＯＰ−ｎには、Ｉn2，Ｂn0，Ｂn1，Ｐn5，Ｂn3，Ｂn4，Ｐn8，Ｂn6，Ｂn7の順序で配列されたピクチャが含まれいている。
【００４０】
この図２（Ａ），（Ｂ）に示したようなプログラムを例にとって、動画像記録再生装置１における再エンコード処理を説明する。
【００４１】
まず、アウト点ピクチャＰｏｕｔを含むアウト点側ＧＯＰであるＧＯＰ−０を復号する。続いて、上記アウト点ピクチャＰｏｕｔが、表示順序でアウト点ピクチャＰｏｕｔよりも後ろの符号化画像を予測参照しなくても復号できるようにこのＧＯＰ−０を再びエンコードする。例えば、図２（Ａ）のようにアウト点側ＧＯＰであるＧＯＰ−０のピクチャＢ04がアウト点ピクチャＰｏｕｔである場合、ピクチャＰ05に基づき予測符号化されているピクチャＢ03、Ｂ04を、このピクチャＰ05に基づき予測参照しないで作れるように再エンコードを行い、新たなＧＯＰであるＧＯＰ（ｎｅｗ−０）を生成する。具体的に、このＧＯＰ（ｎｅｗ−０）を生成するには、まず始めに、ピクチャＩ02，Ｂ00，Ｂ01，Ｐ05，Ｂ03，Ｂ04を復号して圧縮していない画像データに戻してから、ピクチャＢ04をピクチャＩ02に基づき予測符号化されたＰピクチャのピクチャＰ04xに再エンコードする。続いて、ピクチャＢ03をピクチャＩ02とピクチャＰ04xに基づき予測符号化されるＢピクチャのＢ03xに再エンコードする。そして、ピクチャＩ02，Ｂ00，Ｂ02は再エンコードを行わないで、ＧＯＰ−０からコピーする。なお、これらのピクチャＩ02，Ｂ00，Ｂ02についても再エンコードしても良い。このように再エンコードされた結果、図２（Ｃ）に示すような、Ｉ02，Ｂ00，Ｂ02，Ｐ04x，Ｂ03xから構成されたＧＯＰ（ｎｅｗ−０）が生成される。
【００４２】
次に、イン点ピクチャＰｉｎを含むイン点側ＧＯＰであるＧＯＰ−ｎを復号する。続いて、上記イン点ピクチャＰｉｎが、表示順序でイン点ピクチャより前の符号化画像を予測参照しなくても復号できるようにこのＧＯＰ−ｎを再び符号化する。すなわち、図２（Ｂ）のようにイン点側ＧＯＰであるＧＯＰ−ｎのピクチャＰn5がイン点ピクチャＰｉｎである場合、ピクチャＩn2に基づき予測符号化されているピクチャＰn5を、このピクチャＩn2を予測参照しないで作れるように再エンコードを行い、新たなＧＯＰであるＧＯＰ（ｎｅｗ−ｎ）を生成する。具体的に、このＧＯＰ（ｎｅｗ−ｎ）を生成するには、まず始めに、ピクチャＩn2，Ｂn0，Ｂn1，Ｐn5を復号して圧縮されていない画像データに戻してから、ピクチャＰn5を独立に復号することができるＩピクチャのピクチャＩn5xに再エンコードする。そして、ピクチャＰn8，Ｂn6，Ｂn7については、再エンコードを行わないで、ＧＯＰ−ｎからコピーする。なお、これらのピクチャＰn8，Ｂn6，Ｂn7についても再エンコードしても良い。このように再エンコードされた結果、図２（Ｃ）に示すような、Ｉn5x，Ｐn8，Ｂn6，Ｂn7から構成されたＧＯＰ（ｎｅｗ−ｎ）が生成される。
【００４３】
動画像記録再生装置１では、以上のようなイン点側ＧＯＰ及びアウト点側ＧＯＰの再エンコード処理を、解析制御部１６がビデオデコーダ１２及びビデオエンコーダ１３並びに第１の切換器１７及び第２の切換器１８を制御して行う。そして、この動画像記録再生装置１では、アウト点ピクチャＢ04より表示順序で前側の画像（・・・Ｉ02，Ｂ00，Ｂ01，Ｂ03，Ｂ04）と、イン点ピクチャＰn5より表示順序で後ろ側の画像（Ｐn5，Ｐn8，Ｂn6，Ｂn7・・・）とを再エンコードすることにより、図２（Ｄ）に示すように、・・・Ｂ00，Ｂ01，Ｉ02，Ｂ03x，Ｐ04x，Ｉn5x，Ｂn6，Ｂn7，Ｐn8・・・といった順序で表示される動画像を生成することができる。そのため、動画像記録再生装置１では、イン点ピクチャより前側の動画像とアウト点の後ろ側の動画像を継ぎ目なくシームレスに再生させることができる。
【００４４】
つぎに、動画像記録再生装置１での多重化ストリームの再多重化処理について説明する。
【００４５】
この動画像記録再生装置１では、復号装置において動画像プログラムの一部分をスキップ再生する際に、スキップ再生開始点であるアウト点ピクチャより時間的に前側のプログラムであるアウト点側プログラムと、スキップ再生到達点であるイン点ピクチャより時間に後側のプログラムであるイン点側プログラムとをシームレスに接続できるように、多重化ストリームの再多重化処理を行う。
【００４６】
図３（Ａ）に、アウト点側プログラムの多重化ストリームの構造の一例を示す。Ｃｌｉｐ−Ａは、アウト点側プログラムが含まれている多重化ストリームであって、例えば、ＭＰＥＧ２システム規格(ISO/IEC 13818-1)で定義されてる連続したＳＣＲ(System Clock Reference)が付加されているプログラムストリームである。Ｃｌｉｐ−Ａには、１本のビデオストリームと１本のオーディオストリームがパック単位で時分割多重化されている。図４において、ｖ０，ｖ１，ｖ２，ｖ３はＧＯＰ長のビデオストリームであり、ａ０，ａ１，ａ２，ａ３はＧＯＰ長のオーディオストリームである。例えば、Ｃｌｉｐ−Ａの中のバイト位置ＢａからＢｊｏの間に、ｖ１とａ０とがパック単位で時分割多重化されている。なお、１パックの大きさは、例えば、２０４８バイトである。
【００４７】
Ｃｌｉｐ−Ａの中のオーディオストリームは、同期再生されるビデオストリームに対して所定のバイト量（audio skew：AV多重化位相差)の距離を離れたバイト位置に存在している。この図３（Ａ）に示す例では、このaudio skewを一定にしているが、この値はプログラムストリーム中で変化しても良い。本例では、ｖ０とａ０が同期しており、同様にｖ１とａ１、ｖ２とａ２、ｖ３とａ３が同期している。
【００４８】
ここで、Ｃｌｉｐ−Ａのｖ３のＧＯＰの中からアウト点ピクチャＰｏｕｔが選択されたとする。この場合、動画像記録再生装置１では、以下に示す手順でアウト点側のブリッジシーケンス(bridge sequence)を生成する。ブリッジシーケンスとは、編集点付近のビデオストリームを再エンコードして生成したビデオストリームを、再多重化した多重化ストリームである。
【００４９】
まず、第１に、上述したビデオストリームの再エンコード処理に基づいて、アウト点ピクチャが含まれたｖ３のＧＯＰを再エンコードする。この場合、ｖ３のＧＯＰを再エンコードして、新たにｖ３′のＧＯＰを生成する。このｖ３′の時間長は、ｖ３の時間長よりも短い。
【００５０】
第２に、Ｃｌｉｐ−Ａからアウト点側のブリッジシーケンスへのジャンプ点をＢｊｏとして、このＢｊｏ以降のバイト位置に存在するビデオストリームであってｖ３より前のビデオストリーム（この場合ｖ２）をＣｌｉｐ−Ａからコピーする。また、このＢｊｏ以降のバイト位置に存在するオーディオストリームであってｖ３′と同期したオーディオストリームより前のオーディオストリーム（この場合ａ１，ａ２）をＣｌｉｐ−Ａからコピーする。続いて、ｖ３′に同期するオーディオストリームを、ａ３内からコピーして、オーディオストリームａ３′を生成する。
【００５１】
第３に、上記第１及び第２の処理で生成したビデオストリーム及びオーディオストリームを再多重化する。この場合、ｖ２，ｖ３′と、ａ１, ａ２,ａ３′とを再多重化して、図３（Ｂ）に示すようなbridge sequence-Aを生成し、光ディスク２に記録する。
【００５２】
このようにbridge sequence-Aが記録された光ディスク２を復号装置でスキップ再生時に読み出す場合、アウト点側の多重化ストリームを再生するときにＣｌｉｐ−ＡをＢｊｏ点まで読み出した後、このbridge sequence-Aを読み出すようにする。
【００５３】
なお、動画像記録再生装置１では、Ｂｊｏ点までのＣｌｉｐ−Ａからbridge sequence-Aへと続くストリームを、ＳＣＲが連続したプログラムストリームとするように多重化を行わなければならない。
【００５４】
図４（Ａ）に、イン点側プログラムの多重化ストリームの構造の一例を示す。Ｃｌｉｐ−Ｂは、イン点側プログラムが含まれている多重化ストリームであって、例えば、ＭＰＥＧ２システム規格で定義されてる連続したＳＣＲが付加されているプログラムストリームである。Ｃｌｉｐ−Ｂには、１本のビデオストリームと１本のオーディオストリームがパック単位で時分割多重化されている。図３と同様にして図４において、ｖ５，ｖ６，ｖ７はＧＯＰ長のビデオストリームであり、ａ６，ａ７，ａ８はＧＯＰ長のオーディオストリームである。例えば、Ｃｌｉｐ−Ｂのバイト位置ＢｊｉからＢｂの間にｖ８とａ７がパック単位で時分割多重化されている。Ｃｌｉｐ−Ｂの中のオーディオストリームは、同期再生されるビデオストリームに対して所定のバイト量（audio skew)の距離を離れたバイト位置に存在している。この図４（Ａ）に示す例も、audio skewを一定にしているが、この値はプログラムストリーム中で変化しても良い。また、本例では、ｖ５とａ５が同期しており、同様にｖ６とａ６、ｖ７とａ７、ｖ８とａ８が同期している。
【００５５】
ここで、Ｃｌｉｐ−Ｂのｖ５の中からイン点ピクチャＰｉｎが選択されたとする。この場合、動画像記録再生装置１では、以下に示す手順でイン点側のブリッジシーケンスを生成する。
【００５６】
まず、第１に、上述したビデオストリームの再エンコード処理に基づいて、イン点ピクチャが含まれたｖ５のＧＯＰを再エンコードする。この場合、ｖ５のＧＯＰを再エンコードして、新たにＶ５′のＧＯＰを生成する。このｖ５′の時間長は、ｖ５の時間長よりも短い。
【００５７】
第２に、イン点側のブリッジシーケンスからＣｌｉｐ−Ｂへのジャンプ点をＢｊｉとして、ｖ５より後のビデオパックであってこのＢｊｉ以前のバイト位置に存在するビデオストリーム（この場合ｖ６，ｖ７）をＣｌｉｐ−Ｂからコピーする。また、ｖ５′と同期したオーディオストリームより後のオーディオストリームであってこのＢｊｉ以前のバイト位置に存在するオーディオストリーム（この場合ａ６）をＣｌｉｐ−Ｂからコピーする。続いて、ｖ５′に同期するオーディオストリームを、ａ５内からコピーして、オーディオストリームａ５′を生成する。
【００５８】
第３に、上記第１及び第２の処理で生成したビデオストリーム及びオーディオストリームを再多重化する。ｖ５′，ｖ６，ｖ７と、ａ５′，ａ６とを再多重化して、図４（Ｂ）に示すようなbridge sequence-Bを生成し、光ディスク２に記録する。
【００５９】
このようにbridge sequence-Bが記録された光ディスク２を復号装置でスキップ再生時に読み出す場合、イン点側プログラムを再生するときにこのbridge sequence-Bを読み出した後、Ｃｌｉｐ−ＢをＢｊｉ点から読み出すようにする。
【００６０】
なお、動画像記録再生装置１では、Bridge sequence-BからＢｊｉ点以後のＣｌｉｐ−Ｂへと続くストリームを、ＳＣＲが連続したプログラムストリームとするように多重化を行わなければならない。
【００６１】
動画像記録再生装置１では、以上のような再多重化をすることによって、図３（Ｂ）に示すようなbridge sequence-Aと、図４（Ｂ）に示すようなbridge sequence-Bを生成することができる。
【００６２】
図５に、Ｂｊｏ点以前のＣｌｉｐ−Ａからbridge sequence-Aへと続く多重化ストリームをＣｌｉｐ−１とし、bridge sequence-BからＢｊｉ点以後のＣｌｉｐ−Ｂへと続く多重化ストリームをＣｌｉｐ−２としたときの、編集点前後での多重化ストリームの構造を示す。復号装置側では、このＣｌｉｐ−１からＣｌｉｐ−２へ続く多重化ストリームを連続してデコードしたとき、シームレスにビデオ及びオーディオを表示する必要がある。動画像記録再生装置１では、復号装置側でビデオ及びオーディオをシームレスに再生させるために、Ｃｌｉｐ−１とＣｌｉｐ−２とのオーディオストリームに以下の制限を設けて、符号化及び多重化を行う。
【００６３】
Ｃｌｉｐ−１の終端部とＣｌｉｐ−２の始端部の境界において、オーディオの表示時間のギャップが存在しないよう制限をする。すなわち、Ｃｌｉｐ−１のオーディオストリームはＣｌｉｐ−１のビデオが表示終了する時刻に表示されるオーディオサンプルを含むように再多重化をし、Ｃｌｉｐ−２のオーディオストリームはＣｌｉｐ−２のビデオが表示開始する時刻に表示されるオーディオサンプルを含むように再多重化をする。従って、この境界において、2 audio frame以下の表示時間のオーバーラップが存在する可能性がある。ここで、1 audio frameは、例えば、ＭＰＥＧ１のオーディオストリームの場合、２４ｍｓｅｃの長さの表示時間のオーディオストリームである。
【００６４】
なお、図５に示すV1LBI、A1LBI、V2FBI、A2FBIは以下のとおりである。
V1LBI : Ｃｌｉｐ−１の中のvideo-1の最後のpackの最終バイト位置
A1LBI : Ｃｌｉｐ−１の中のaudio-1の最後のpackの最終バイト位置
V2FBI : Ｃｌｉｐ−２の中のvideo-2の最初のpackの第１バイト位置
A2FBI : Ｃｌｉｐ−２の中のaudio-2の最初のpackの第１バイト位置
【００６５】
また、これらV1LBI、A1LBI、V2FBI、A2FBIの関係は以下のとおりである。
V1LBI < A1LBI
V2FBI < A2FBI
なお、上記以外の関係になることは、MPEGの規格上では可能であるが、実用上では、ほとんど存在しない。
【００６６】
つぎに、この動画像記録再生装置１により生成した上記Ｃｌｉｐ−１及びＣｌｉｐ−２を再生する仮想的なデコーダモデルであるシステムターゲットデコーダのブロック図を図６に示し、このシステムターゲットデコーダにおけるスキップ再生処理について説明する。
【００６７】
この図６に示すシステムターゲットデコーダ２０は、光ディスク２から再生した多重化ストリーム（Ｃｌｉｐ−１及びＣｌｉｐ−２）が入力され、この多重化ストリームをビデオストリームとオーディオストリームに分離するデマルチプレクサ２１と、デマルチプレクサ２１により分離されたビデオストリームを一時格納するビデオバッファ２２と、デマルチプレクサ２１により分離されたオーディオストリームを一時格納するオーディオバッファ２３と、ビデオバッファ２２に格納されたビデオストリームを抜き出して復号するビデオデコーダ２４と、復号した画像データを一時格納するリオーダバッファ２５と、オーディオバッファ２３に格納されたオーディオストリームを抜き出して復号するオーディオデコーダ２６と、ビデオデコーダ２４により復号された画像データとリオーダバッファ２５に格納されている画像データとを切り換えて出力する出力スイッチ２７とを備えている。
【００６８】
また、システムターゲットデコーダ２０は、デマルチプレクサ２１の切り換えタイミング、ビデオデコーダ２４の復号タイミング、オーディオデコーダ２６の復号及び出力タイミング、出力スイッチ２７の出力タイミングを制御するための基準同期信号（ＳＴＣ：Systemu Time Clock）を供給する時間制御部２８を備えている。
【００６９】
また、システムターゲットデコーダ２０は、時間制御部２８から供給されるＳＴＣを切り換える第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４を備えている。
【００７０】
デマルチプレクサ２１には、多重化ストリームに付加されているＳＣＲ(System Clock Reference)に応じてこの多重化ストリームを構成する各パケットが入力される。デマルチプレクサ２１は、この多重化ストリームを時間制御部２８から供給されるＳＴＣに基づいてビデオストリームとオーディオストリームとに分離する。
【００７１】
ビデオデコーダ２５は、ビデオストリームに付加されているＤＴＳ（Decoding Time Stamp）と、時間制御部２８から供給されたＳＴＣとが一致したときに、ビデオバッファ２４から所定のピクチャのデータを抜き出して復号する。復号した画像データは、このビデオデコーダ２４から直接出力スイッチ２７を介して外部に出力されるか、或いは、リオーダバッファ２５に一旦格納された後出力スイッチ２７を介して出力される。
【００７２】
オーディオデコーダ２６は、オーディオストリームを復号し、このオーディオストリームに付加されているＰＴＳ（Presentation Time Stamp）と、時刻制御部２９から供給されたＳＴＣとが一致したときに、復号したオーディオデータを出力する。
【００７３】
なお、このオーディオデコーダ２６の前段にあるオーディオバッファ２３のバッファサイズ（additional_buffer_size）は、MPEG~2 CSPS=1に規定されたバッファサイズに比べて、次に示すだけの大きさが必要である。
【００７４】
additional_buffer_size = (program_mux_rate ~ Ra)*Ra / program_mux_rate
ここで、“Ra”は、オーディオストリームの最大ビットレートである。“program_mux_rate”は、Ｃｌｉｐ−１ とＣｌｉｐ−２のプログラムストリームの最大ビットレートのうち、大きいほうの値である。例えば、 program_mux_rate=10 Mbps, Ra=256 kbpsであれば、オーディオバッファ２３のバッファサイズ（additional_buffer_size）は、0.249Ｍｂｉｔとなる。
【００７５】
出力スイッチ２７は、ビデオストリームに付加されているＰＴＳと、時刻制御部２９から供給されたＳＴＣとが一致したときに、復号したビデオデータを出力する。なお、この出力スイッチ２７は、必要に応じて、リオーダバッファ２５に格納されたビデオデータを出力する。
【００７６】
時間制御部２８は、スキップ再生の際のアウト点側プログラムからイン点側プログラムへの切り換え時に、アウト点側プログラムのＳＣＲに同期したＳＴＣと、イン点側プログラムのＳＣＲに同期したＳＴＣとの２つのＳＴＣを発生する。
【００７７】
時間制御部２８は、例えば、ＳＴＣを発生するＳＴＣ発生器２８ａと、ＳＴＣ発生器２８ａが発生したＳＴＣから所定のオフセット値（STC_delta）を減算する減算器２８ｂとを有しており、オフセット値が減算されていないＳＴＣ発生器２８ａから直接出力されたＳＴＣ（これはアウト点側プログラムのＳＣＲに同期したＳＴＣであり、以下ＳＴＣ−１と呼ぶ。）と、ＳＴＣ発生器２８ａから直接出力されるＳＴＣ−１からオフセット値（STC_delta）を減算したＳＴＣ（これはイン点側プログラムのＳＣＲに同期したＳＴＣであり、以下ＳＴＣ−２と呼ぶ。）との２つのＳＴＣを出力する。
【００７８】
すなわち、このオフセット値（STC delta）は、Ｃｌｉｐ−１とＣｌｉｐ−２との多重化ストリームの時間軸のオフセット量を示しており、Ｃｌｉｐ−１のビデオを表示終了する時のＣｌｉｐ−１の時間軸上での時刻とＣｌｉｐ−２のビデオを表示開始する時のＣｌｉｐ−２の時間軸上での時刻の差を示している。
【００７９】
例えば、ここで、Ｃｌｉｐ−１の時間軸上におけるアウト点ピクチャＰｏｕｔのＰＴＳを“PTS_Pout”とし、アウト点ピクチャＰｏｕｔの表示期間を“Tpp”とし、Ｃｌｉｐ−２の時間軸上におけるイン点ピクチャＰｉｎのＰＴＳを“PTS_Pin”とすると、オフセット値“STC delta”は、以下の式に示すようになる。
【００８０】
PTS_Pout_end = PTS_Pout + Tpp
STC_delta = PTS_Pout_end ~ PTS_Pin ・・・（１）
この時間制御部２８から出力される２つのＳＴＣ（ＳＴＣ−１，ＳＴＣ−２）は、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４によりいずれか一方が選択されて、デマルチプレクサ２１、ビデオデコーダ２４、オーディオデコーダ２６、出力スイッチ２７に供給される。第１のＳＴＣスイッチＳＷ１は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをデマルチプレクサ２１に供給する。第２のＳＴＣスイッチＳＷ２は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをビデオデコーダ２４に供給する。第３のＳＴＣスイッチＳＷ３は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣをオーディオデコーダ２６に供給する。第４のＳＴＣスイッチＳＷ４は、端子ＡにＳＴＣ−１が入力され、端子ＢにＳＴＣ−２が入力され、いずれか一方の端子を選択して選択した端子に入力されたＳＴＣを出力スイッチ２７に供給する。
【００８１】
続いてこのように構成されるシステムターゲットデコーダ２０の動作について説明する。
【００８２】
図７にＣｌｉｐ−１からＣｌｉｐ−２へと連続して続く２つの多重化ストリームが入力されたときのシステムターゲットデコーダ２０の動作タイミングを表すタイミングチャートを示す。
【００８３】
まず、Ｃｌｉｐ−１の最初のパックに示されているＳＣＲがＳＴＣ発生器２８ａにＳＴＣとしてセットされる。第１から第４の各ＳＴＣスイッチＳＷ１〜ＳＷ４は全て端子Ａ側に切り換えられ、ＳＴＣ−１（Ｃｌｉｐ−１のＳＣＲに同期したＳＴＣ）がデマルチプレクサ２１、ビデオデコーダ２４、オーディオデコーダ２６及び出力スイッチ２７に供給されている。すなわち、Ｃｌｉｐ−１に付加されたＳＣＲに基づき全ての機能が動作している。
【００８４】
時刻Ｔ１以前では、デマルチプレクサ２１には、Ｃｌｉｐ−１の各パックに付加されているsystem_clock_referenceと第１のＳＴＣスイッチの端子Ａから供給されるオフセットが加算されていないＳＴＣ−１とが一致したタイミングで入力される。
【００８５】
続いて時刻Ｔ１となると、Ｃｌｉｐ−１の最後のvideo packのデマルチプレクサ２１への入力が終了する。
【００８６】
続いて時刻Ｔ１から時刻Ｔ２の間では、デマルチプレクサ２１には、Ｃｌｉｐ−１の各packが、各packに付加されたsystem_clock_referenceを無視して、Ｃｌｉｐ−１の最大ビットレートprogram_mux_rate1で入力される。この最大ビットレートprogram_mux_rate1は、例えば、光ディスク２からデータを読み出す際の最大転送レートであってもよい。
【００８７】
ここで、Ｃｌｉｐ−１の最後のビデオパックの次のパックから、Ｃｌｉｐ−１の最後のパックまでのデータ量を“N1”とすると、時刻Ｔ１から時刻Ｔ２までの時間“ΔT1”は、以下のようになる。
【００８８】
ΔT1 =T2 ~ T1 = N1 / program_mux_rate1 ・・・（２）
続いて時刻Ｔ２となると、Ｃｌｉｐ−１の最後のpack(audio pack)のデマルチプレクサ２１への入力が終了する。この時刻Ｔ２において、第１のＳＴＣスイッチＳＷ１は端子Ｂ側に切り換えられ、デマルチプレクサ２１にＳＴＣ−２（Ｃｌｉｐ−２のＳＣＲに同期したＳＴＣ）が供給される。そのため、デマルチプレクサ２１は、Ｃｌｉｐ−２に付加されたＳＣＲに基づき動作を開始する。
【００８９】
続いて時刻Ｔ２から時刻Ｔ３の間では、Ｃｌｉｐ−２の最初のパケットがvideo packでない場合、デマルチプレクサ２１には、Ｃｌｉｐ−２の最初のpackからＣｌｉｐ−２の最初のvideo packの前のパックまでのパックが、各packのsystem_clock_referenceを無視して、Ｃｌｉｐ−２の最大ビットレートprogram_mux_rate2で入力される。この最大ビットレートprogram_mux_rate2は、例えば、光ディスク２からデータを読み出す際の最大転送レートであってもよい。
【００９０】
ここで、Ｃｌｉｐ−２の最初のパックから、Ｃｌｉｐ−２の最初のビデオパックの前のパックまでのデータ量を“N2”とすると、時刻Ｔ２から時刻Ｔ３までの時間“ΔT2”は、以下のようになる。
【００９１】
ΔT2 =T3 ~ T2 = N2 / program_mux_rate2 ・・・（３）
なお、ＭＰＥＧ２プログラムストリームは、一般的に、最初のパックがvideo packであるため、ΔT2=0である。
【００９２】
続いて時刻Ｔ３となると、Ｃｌｉｐ−２の最初のvideo packのデマルチプレクサ２１への入力が開始し、以後デマルチプレクサ２１には、Ｃｌｉｐ−２の各packのsystem_clock_referenceと第１のＳＴＣスイッチＳＷ１の端子Ｂから供給されるオフセットが加算されたＳＴＣ−１とが一致したタイミングで入力される。
【００９３】
ここで、Ｃｌｉｐ−２の最初のvideo packの system_clock_referenceは、次の不等式を満たさなければならない。
【００９４】
SCR_video2_start > SCR_video1_end ~ STC_delta +ΔT1+ΔT2・・・（４）
SCR_video1_end = SCR_last_video1 + pack_length/program_mux_rate1
【００９５】
“SCR_video2_start”はＣｌｉｐ−２の最初のvideo packのsystem_clock_referenceであり、“SCR_video1_end”はＣｌｉｐ−１の最後のvideo packがデマルチプレクサ２１へ入力終了する時のＣｌｉｐ−１の時間軸上での時刻である。これは、Ｃｌｉｐ−１の最後のvideo packのsystem_clock_reference(SCR_last_video1)とprogram_mux_rate1とパック長(pack_length)から以下のように計算することができる値である。pack_lengthは、例えば、2048 byteである。
【００９６】
SCR_video1_end=SCR_last_video1 + pack_length/program_mux_rate1
【００９７】
続いて時刻Ｔ４にとなると、第２のＳＴＣスイッチＳＷ２が端子Ａ側から端子Ｂ側に切り換えられ、ビデオデコーダ２４が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。ビデオデコーダ２４は、ビデオストリームの各ピクチャに付けられているdecoding_time_stampを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のビデオストリームの復号を開始する。
【００９８】
続いて時刻Ｔ５となると、第３のＳＴＣスイッチＳＷ３が端子Ａ側から端子Ｂ側に切り換えられ、オーディオデコーダ２６が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。オーディオデコーダ２６は、オーディオストリームに付けられているpresentation_time_stampを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のオーディオストリームの出力を開始する。なお、オーディオデコーダ２６は、Ｃｌｉｐ−１の終了部分のオーディオデータとＣｌｉｐ−２の開始部のオーディオデータに、データのオーバーラップがあるときには、どちらのオーディオのサンプルを表示するか選択する必要がある。
【００９９】
続いて時刻Ｔ６となると、第４のＳＴＣスイッチＳＷ４が端子Ａ側から端子Ｂ側に切り換えられ、出力スイッチ２７が参照しているＳＴＣがＳＴＣ−１からＳＴＣ−２に切り換えられる。出力スイッチ２７は、ビデオストリームの各ピクチャに付けられているpresentation_time_stampを参照するためのＳＴＣが切り換えられることにより、Ｃｌｉｐ−２のビデオストリームの出力を開始する。
【０１００】
そして、この時刻Ｔ６において、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４が全て端子Ｂ側に切り換えられると、ＳＴＣ発生器２８ａから発生されるＳＴＣの値が、[STC~STC_delta]にリセットされ、それとともに、第１から第４のＳＴＣスイッチＳＷ１〜ＳＷ４がすべて端子Ａ側に切り換えられ、上述した時刻Ｔ１以前の状態と同一となる。
【０１０１】
つぎに、動画像記録再生装置１において再エンコードして生成するブリッジシーケンスのレートコントロールと、ブリッジシーケンスの再多重化処理の制限について説明する。
【０１０２】
光ディスク２に記録するＣｌｉｐ−１とＣｌｉｐ−２は、ともにMPEG2システムで定義されるＰ−ＳＴＤ(Program stream System Target Decoder)の動作を満たすプログラムストリームとなるように再エンコード及び再多重化をしなければならない。動画像記録再生装置１では、Ｃｌｉｐ−１及びＣｌｉｐ−２の再エンコード及び再多重化を以下のような制限のもとで行う。
【０１０３】
動画像記録再生装置１は、Ｃｌｉｐ−１からＣｌｉｐ−２へ多重化ストリームを連続してデコードするときにＰ−ＳＴＤのビデオバッファがアンダーフローおよびオーバーフローしないように再エンコード及び再多重化を行う。例えば、上述したシステムターゲットデコーダ２０であれば、Ｃｌｉｐ−１に続いてＣｌｉｐ−２のビデオパケットをビデオバッファ２２へ入力する場合に、このビデオバッファ２２がオーバーフローおよびアンダーフローしないように、Ｃｌｉｐ−１の時間軸とＣｌｉｐ−２の時間軸とを同じ時間軸に換算してＣｌｉｐ−２のビデオパケットがビデオバッファ２２へ入力される時刻を制限し、ブリッジシーケンスの再エンコード及び再多重化を行う。
【０１０４】
上記システムターゲットデコーダ２０のビデオバッファ２２のビット占有量を図示し、ブリッジシーケンスのレートコントロールとその再多重化処理の制限について具体的に説明する。
【０１０５】
図８に、Ｃｌｉｐ−１の多重化ストリームのシステムターゲットデコーダ２０におけるビデオバッファ２２のビット占有量の変化を示す。ここで、横軸time1は、Ｃｌｉｐ−１の時間軸上での時刻を表す。縦軸は、ビデオバッファ２２のビット占有量を示し、ＢＳの値は、例えば、MPEG2 MP@MLでは232 kByteである。
【０１０６】
図８中のa1(i)は、Ｃｌｉｐ−１ の復号順でi番目の符号化ピクチャのビット量を表す。t1(i)は、a1(i)が復号される時刻を表し、この値はＤＴＳとしてビットストリーム中に付加されている。また、a1(n)は、Ｃｌｉｐ−１の最後に復号されるピクチャのビット量を表し、t1(n)は、a1(n)がデコードされる時刻を表す。図中のバッファ占有量の軌跡が、右上がりになっている時間帯は、ビデオバッファ２２へデータが、Ｃｌｉｐ−１のビットレートprogram_mux_rate1で入力されていることを表す。また、傾きゼロの直線（水平）の時間帯は、ビデオバッファ２２へのデータ入力が停止していることを表す。
【０１０７】
時刻SCR_video1_endは、Ｃｌｉｐ−１の最後のビデオパック（図３に示すbridge sequence~Aの最後のvideo pack）のデータがビデオバッファ２２に入力終了する時刻である。Ｂｂは、時刻SCR_video1_endにおけるビデオバッファ２２のビット占有量である。時刻SCR_video1_end以降は、ＤＴＳで決められた時刻にデータがバッファから引き抜かれるだけで、ビデオバッファ２２にはデータが入力されず、ビット占有量が減少していく。
【０１０８】
t1(n+1)は、a1(n)がデコード終了する時刻を表す。t1(n+1)は、ビットストリーム中には現れない時間である。(t1(n+1)~t1(n))は、a1(n)のpicture_structure, picture_coding_type, repeat_first_field, a1(n)の直前のcoded~I~frameまたはcode~P~frameのrepeat_first_fieldであるprev_IP_repeat_firat_fieldから次のように計算できる。
【０１０９】
【数１】
図９は、Ｃｌｉｐ−２の多重化ストリームのシステムターゲットデコーダ２０におけるビデオバッファ２２のビット占有量の変化を示す。ここで、横軸time2は、Ｃｌｉｐ−２の時間軸上での時刻を表す。縦軸は、ビデオバッファ２２のビット占有量を示し、ＢＳの値は、例えば、MPEG2 MP@MLでは232 kByteである。
【０１１１】
図９中のa2(i)は、Ｃｌｉｐ−２の復号順でｉ番目の符号化ピクチャのビット量を表す。t2(i)は、a2(i)が復号される時刻を表し、この値はＤＴＳとしてビットストリーム中に付加されている。また、a2(0)は、Ｃｌｉｐ−２の最初に復号されるピクチャのビット量を表し、t2(0)は、a2(0)がデコードされる時刻を表す。図中のバッファ占有量の軌跡が、右上がりになっている時間帯は、ビデオバッファ２２へデータが、Ｃｌｉｐ−２のビットレートprogram_mux_rate2で入力されていることを表す。また、傾きゼロの直線（水平）の時間帯は、ビデオバッファ２２へのデータ入力が停止していることを表す。
【０１１２】
時刻SCR_video2_startは、Ｃｌｉｐ−２の最初のビデオパック（図４に示すbridge sequence-Bの最初のvideo pack）がビデオバッファ２２に入力開始する時刻である。時刻SCR_video2_startは、Ｃｌｉｐ−２の最初のビデオパックに符号化されているＳＣＲに示されている時刻である。SCR_video2_startは、上述した（４）式を満たさねばならない。
【０１１３】
また、Ｃｌｉｐ−２のビット占有量の軌跡は、Ｃｌｉｐ−１の終端部分でのビデオバッファ２２のビット占有量から制限を受ける。すなわち、Ｃｌｉｐ−１とＣｌｉｐ−２のそれぞれの時間軸を同じ時間軸に換算して、Ｃｌｉｐ−１に続いてＣｌｉｐ−２のビデオパケットを同一のビデオバッファ２２へ入力する場合に、このビデオバッファ２２がオーバーフローおよびアンダーフローしないように、Ｃｌｉｐ−２のビデオパケットがビデオバッファへ入力される時刻が制限されていなければならない。
【０１１４】
この図９において、time2=SCR_video1_end - STC_delta は、time1=SCR_video1_endをtime2上の値に換算した時刻である。ここで、STC_deltaは、上述した式（１）により定義される値である。時刻time2=SCR_video1_end - STC_deltaから始まる階段状の軌跡の図面上側の斜線領域は、Ｃｌｉｐ−１の終端部分におけるビデオデータのビット占有量の変化を表す。Ｃｌｉｐ−１からＣｌｉｐ−２へ続けて、ビデオパケットをビデオバッファ２２へ入力するときに、このビデオバッファ２２がオーバーフローしないためには、この図９に示すＣｌｉｐ−２のビット占有量の軌跡が図面の斜線領域の下側となっているようにbridge sequence-Bを再エンコードと多重化しなければならない。
【０１１５】
この関係を式で表すと次のようになる。
【０１１６】
b1(time1) + b2(time1-STC_delta) <= BS
ここで、“b1”は、Clip-1の時間軸上の時刻time1におけるP-STDのビデオバッファのビット占有量の変化である。また、“b2”は、Clip-2の時間軸上の時刻time2= time1-STC_deltaにおけるP-STDのビデオバッファのビット占有量の変化である。
【０１１７】
以上のように動画像記録再生装置１では、再エンコードして生成するブリッジシーケンスのレートコントロールとブリッジシーケンスの再多重化処理の制限することによって、Ｃｌｉｐ−２のビデオストリームがデコーダのビデオバッファに入力開始する時刻から、Ｃｌｉｐ−１のビデオストリームがデコーダのビデオバッファに入力開始する時刻までの間におけるこのビデオバッファのビット占有量を、上記ビデオバッファの容量以下で０以上となるように符号化して、スキップ点の前後における動画像の連続性を保ちスキップ再生をし、スキップ再生時にデコーダのビデオバッファをオーバーフロー及びアンダーフローさせることなく再生の連続性を確保することができる。
【０１１８】
なお、デコードしたブリッジシーケンスが高画質となるようにエンコードするための例を以下に挙げる。
【０１１９】
例えば、図８における (t(n+1)~ SCR_video1_end)をできるだけ大きくする。
【０１２０】
そのためには、Clip~1のビデオのバッファへの入力をできるだけ早く終了するように、プログラムストリームを多重化する必要がある。
【０１２１】
また、例えば、図９における斜線領域を、Clip~1の画質を考慮してできるだけ小さくする。
【０１２２】
この斜線領域が大きいほどtime2=SCR_video2_startからt2(0)までの間にビデオバッファへ入力できるデータ量が制限を受ける。すなわち、この斜線領域が大きいほど、Clip~2のBridge sequenceのビデオの再エンコードにおいて、ピクチャのビット量を小さくしなければならなくなる。具体的には、Clip~1の最後のピクチャから２、３フレーム以内にI~pictureがある場合、上記斜線領域が大きくなる場合がある。このような場合、以下に示すように、そのＩピクチャをＰピクチャに変更して再エンコードすることにより、発生ビット量を小さくすることができるので、上記斜線領域を小さくすることができる。
【０１２３】
改善前 I2 B0 B1 P5 B3 B4 P8 B6 B7 I11 B9 B10
改善後 I2 B0 B1 P5 B3 B4 P8 B6 B7 P11 B9 B10
【０１２４】
【発明の効果】
本発明にかかる多重化装置及び多重化方法では、第２の多重化ストリームの最初のビデオパックをデコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームを符号化する。
【０１２５】
このことにより本発明にかかる多重化装置及び多重化方法では、デコーダ側で、スキップ点の前後における動画像の連続性を保ちスキップ再生をし、スキップ再生時にデコーダのビデオバッファをオーバーフロー及びアンダーフローさせることなく再生の連続性を確保することができる。
【０１２６】
また、本発明にかかる記録媒体は、第２の多重化ストリームの最初のビデオパックをデコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、 SCR_video2_start>SCR_video1_end - STC_delta + Δ T1 の関係を満たすように第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化を行い、上記第１の多重化ストリームと上記第２の多重化ストリームとを生成する多重化方法により生成されるデータが記録された領域を有する。
【０１２７】
このことにより本発明にかかる記録媒体では、この記録媒体の再生装置に対して、スキップ点の前後における動画像の連続性を保ちスキップ再生をし、スキップ再生時にデコーダのビデオバッファをオーバーフロー及びアンダーフローさせることなく再生の連続性を確保させることができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像記録再生装置のブロック図である。
【図２】上記動画像記録再生装置が再エンコードするビデオストリーム及び再エンコードしたビデオストリームを示す図である。
【図３】上記動画像記録再生装置が再多重化するアウト点側プログラムの多重化ストリーム及び再多重化して生成したブリッジシーケンスを示す図である。
【図４】上記動画像記録再生装置が再多重化するイン点側プログラムの多重化ストリーム及び再多重化して生成したブリッジシーケンスを示す図である。
【図５】アウト点側プログラムとイン点側プログラムの編集点前後の多重化ストリームの構造を示す図である。
【図６】上記動画像記録再生装置が多重化した多重化ストリームを復号するシステムターゲットデコーダのブロック図である。
【図７】上記動画像記録再生装置により多重化された多重化ストリームが入力されたときの上記システムターゲットデコーダの動作タイミングを表すタイミングチャートである。
【図８】上記システムターゲットデコーダのビデオバッファにアウト点側プログラムが入力されたときのビット占有量の変位を表す図である。
【図９】上記システムターゲットデコーダのビデオバッファにイン点側プログラムが入力されたときのビット占有量の変位を表す図である。
【図１０】ＭＰＥＧ方式で符号化された各ピクチャを説明する図である。
【図１１】ＭＰＥＧ方式で符号化された符号化データのスキップ再生について説明する図である。
【符号の説明】
１ 動画像記録再生装置、２ 光ディスク、１１ デマルチプレクサ、１２ ビデオデコーダ、１３ ビデオエンコーダ、１４ マルチプレクサ、１５ 編集情報入力部、１６ 解析制御部、２０ システムターゲットデコーダ、２１ デマルチプレクサ、２２ ビデオバッファ、２３ オーディオバッファ、２４ ビデオデコーダ、２６ オーディオデコーダ、２８ 時間管理部
Claims (6)
- 第１のピクチャで表示終了する第１のビデオ符号化ストリームと、スキップ再生の際にこの第１のピクチャに続けて表示される第２のピクチャから表示開始する第２のビデオ符号化ストリームとの符号化をするビデオ符号化手段と、
上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して第１の多重化ストリームを生成し、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して第２の多重化ストリームを生成する多重化手段と、
上記第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（ PTS_Pout_end ）と、上記第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（ PTS_Pin ）との時間差（ STC_delta=PTS_Pout_end-PTS_Pin ）を求め、上記第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（ SCR_video1_end ）を求め、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（ N1 ）を求め、上記データ量 (N1) を上記デコーダへ入力する際に要する時間（Δ T1 ）を求め、上記第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（ SCR_video2_start ）が、
SCR_video2_start>SCR_video1_end - STC_delta + Δ T1
上式の関係を満たすように上記ビデオ符号化手段を制御する制御手段とを備えること
を特徴とする多重化装置。 - 上記制御手段は、上記第２の多重化ストリームの最初のパックがビデオパックでない場合には、上記第２の多重化ストリームの最初のパックからこの第２の多重化ストリームの最初のビデオパックの直前のパックまでのデータ量（N2）を求め、上記データ量(N2)を上記デコーダへ入力する際に要する時間（ΔT2）を求め、上記第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（SCR_video2_start）が、
SCR_video2_start>SCR_video1_end - STC_delta + ΔT1+ ΔT2
上式の関係を満たすように上記ビデオ符号化手段を制御することを特徴とする請求項１記載の多重化装置。 - 第１のピクチャで表示終了する第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（PTS_Pout_end）とスキップ再生の際にこの第１のピクチャに続けて表示される第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（PTS_Pin）との時間差（STC_delta=PTS_Pout_end-PTS_Pin）を求め、
上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとがパック化され生成される第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（SCR_video1_end）を求め、
上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（N1）を求め、
上記データ量(N1)を上記デコーダへ入力する際に要する時間（ΔT1）を求め、
上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して生成される第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（SCR_video2_start）が、
SCR_video2_start>SCR_video1_end - STC_delta +ΔT1
上式の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化をし、
上記第１の多重化ストリームと第２の多重化ストリームとを生成すること
を特徴とする多重化方法。 - 上記第２の多重化ストリームの最初のパックがビデオパックでない場合には、
上記第２の多重化ストリームの最初のパックからこの第２の多重化ストリームの最初のビデオパックの直前のパックまでのデータ量（N2）を求め、
上記データ量(N2)を上記デコーダへ入力する際に要する時間（ΔT2）を求め、
上記第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（SCR_video2_start）が、
SCR_video2_start>SCR_video1_end - STC_delta + ΔT1+ ΔT2
上式の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化をすること
を特徴とする請求項３記載の多重化方法。 - 第１のピクチャで表示終了する第１のビデオ符号化ストリームの時間軸上における上記第１のピクチャの表示終了時刻（PTS_Pout_end）とスキップ再生の際にこの第１のピクチャに続けて表示される第２のビデオ符号化ストリームの時間軸上における上記第２のピクチャの表示開始時刻（PTS_Pin）との時間差（STC_delta=PTS_Pout_end-PTS_Pin）と、上記第１のビデオ符号化ストリームとこの上記第１のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して多重化された第１の多重化ストリームの最後のビデオパックをデコーダのビデオバッファへ入力終了する上記第１のビデオ符号化ストリームの時間軸上における時刻（SCR_video1_end）と、上記第１の多重化ストリームの最後のビデオパックの次のパックからこの第１の多重化ストリームの最後のパックまでのデータ量（N1）と、上記データ量(N1)を上記デコーダへ入力する際に要する時間（ΔT1）とに基づき、上記第２のビデオ符号化ストリームとこの第２のビデオ符号化ストリームに同期したオーディオ符号化ストリームとをパック化して多重化された第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（SCR_video2_start）が、
SCR_video2_start>SCR_video1_end - STC_delta +ΔT1
上式の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化を行い、上記第１の多重化ストリームと上記第２の多重化ストリームとを生成する多重化方法により生成されるデータが記録された領域を有し記録可能であることを特徴とする記録媒体。 - 上記第２の多重化ストリームの最初のパックがビデオパックでない場合には、上記第２の多重化ストリームの最初のパックからこの第２の多重化ストリームの最初のビデオパックの直前のパックまでのデータ量（N2）と、上記データ量(N2)を上記デコーダへ入力する際に要する時間（ΔT2）とに基づき、上記第２の多重化ストリームの最初のビデオパックを上記デコーダのビデオバッファへ入力開始する上記第２のビデオ符号化ストリームの時間軸上における時刻（SCR_video2_start）が、
SCR_video2_start>SCR_video1_end - STC_delta + ΔT1+ ΔT2
上式の関係を満たすように上記第１のビデオ符号化ストリーム及び上記第２のビデオ符号化ストリームの符号化を行い、上記第１の多重化ストリームと上記第２の多重化ストリームとを生成する多重化方法により生成されるデータが記録された領域を有し記録可能であることを特徴とする請求項５記載の記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34594698A JP3918332B2 (ja) | 1998-12-04 | 1998-12-04 | 多重化装置、多重化方法及び記録媒体 |
| US09/454,956 US6785464B1 (en) | 1998-12-04 | 1999-12-03 | Multiplexing method for continuous reproduction of encoded pictures during skipping |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34594698A JP3918332B2 (ja) | 1998-12-04 | 1998-12-04 | 多重化装置、多重化方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175152A JP2000175152A (ja) | 2000-06-23 |
| JP3918332B2 true JP3918332B2 (ja) | 2007-05-23 |
Family
ID=18380084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34594698A Expired - Lifetime JP3918332B2 (ja) | 1998-12-04 | 1998-12-04 | 多重化装置、多重化方法及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6785464B1 (ja) |
| JP (1) | JP3918332B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW518844B (en) * | 2001-03-21 | 2003-01-21 | Ind Tech Res Inst | Transmission method of multimedia data packet in network system |
| US7577333B2 (en) * | 2001-08-04 | 2009-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same |
| WO2004091204A1 (ja) * | 2003-04-04 | 2004-10-21 | Victor Company Of Japan, Limited | オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム |
| JP4902935B2 (ja) * | 2003-05-08 | 2012-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び記録媒体 |
| JP2005057657A (ja) * | 2003-08-07 | 2005-03-03 | Canon Inc | 画像処理装置 |
| US7706377B2 (en) * | 2004-03-03 | 2010-04-27 | Nxp B.V. | Video processing circuit and method of video processing |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69422960T2 (de) * | 1993-12-01 | 2000-06-15 | Matsushita Electric Ind Co Ltd | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
| JP3752694B2 (ja) * | 1995-04-07 | 2006-03-08 | ソニー株式会社 | 圧縮映像信号編集装置、編集方法、及び復号化装置 |
| JP2795223B2 (ja) * | 1995-07-18 | 1998-09-10 | 日本電気株式会社 | 画像信号の符号化方法 |
| US6400886B1 (en) * | 1996-11-15 | 2002-06-04 | Futuretel, Inc. | Method and apparatus for stitching edited video segments |
| JP3763172B2 (ja) * | 1996-12-16 | 2006-04-05 | ソニー株式会社 | ディジタル信号復号方法及び装置、並びにディジタル信号再生装置 |
| JP4099547B2 (ja) * | 1997-01-23 | 2008-06-11 | ソニー株式会社 | ディジタル信号編集装置及び方法 |
| US5982436A (en) * | 1997-03-28 | 1999-11-09 | Philips Electronics North America Corp. | Method for seamless splicing in a video encoder |
| JPH10285548A (ja) * | 1997-04-03 | 1998-10-23 | Sony Corp | 符号化装置及び方法、復号装置及び方法、編集方法 |
| JPH10285529A (ja) * | 1997-04-04 | 1998-10-23 | Sony Corp | 画像編集装置および画像編集方法 |
| JPH1169301A (ja) * | 1997-08-08 | 1999-03-09 | Sony Corp | 復号方法及び復号再生装置、並びに記録媒体 |
| WO1999014756A2 (en) * | 1997-09-17 | 1999-03-25 | Matsushita Electric Industrial Co., Ltd. | Video data editing apparatus and computer-readable recording medium storing an editing program |
| US6301428B1 (en) * | 1997-12-09 | 2001-10-09 | Lsi Logic Corporation | Compressed video editor with transition buffer matcher |
| JP3305999B2 (ja) * | 1997-12-26 | 2002-07-24 | 日本ビクター株式会社 | 画像圧縮ストリーム編集装置及びその方法 |
-
1998
- 1998-12-04 JP JP34594698A patent/JP3918332B2/ja not_active Expired - Lifetime
-
1999
- 1999-12-03 US US09/454,956 patent/US6785464B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6785464B1 (en) | 2004-08-31 |
| JP2000175152A (ja) | 2000-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4487374B2 (ja) | 符号化装置及び符号化方法並びに多重化装置及び多重化方法 | |
| JP4538908B2 (ja) | データ変換装置及び方法 | |
| US6240137B1 (en) | Encoding apparatus and method, decoding apparatus and method, and editing method | |
| JP4902935B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び記録媒体 | |
| JP3918332B2 (ja) | 多重化装置、多重化方法及び記録媒体 | |
| KR100975170B1 (ko) | 화상 데이터 재생 장치 및 방법 | |
| JP2003052040A (ja) | Ｍｐｅｇデータ再生装置 | |
| US20080260026A1 (en) | Moving-picture coding apparatus, method and program | |
| JP2003052010A (ja) | Ｍｐｅｇデータ記録方法 | |
| KR20040010173A (ko) | 화상 데이터 재생 장치 및 방법 | |
| JP2005198350A (ja) | アフレコ信号再生方法 | |
| JP2000316158A (ja) | 符号化装置及び符号化方法 | |
| JP3748243B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP2001268513A (ja) | 動画像再生装置および動画像記録再生システム | |
| JP2005198349A (ja) | 記録媒体 | |
| JP2004297829A (ja) | Ｍｐｅｇデータ再生装置 | |
| JP2003052018A (ja) | Ｍｐｅｇデータ記録装置 | |
| JP2003111026A (ja) | Ｍｐｅｇデータ記録方法 | |
| JP2003052021A (ja) | Ｍｐｅｇデータ再生方法 | |
| JP2003092734A (ja) | Ｍｐｅｇデータ記録装置 | |
| JP2003116106A (ja) | Ｍｐｅｇデータ記録方法 | |
| JP2003116107A (ja) | Ｍｐｅｇデータ記録方法 | |
| JP2005245006A (ja) | アフレコ信号再生装置 | |
| JP2005237021A (ja) | アフレコ信号再生用プログラム | |
| JP2005198351A (ja) | アフレコ信号再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |