JP4045553B2 - 編集装置、編集方法、再符号化装置、再符号化方法、スプライシング装置及びスプライシング方法 - Google Patents

Description

本発明は、複数の映像素材を編集することによって編集された映像素材を生成する編集装置および方法、複数のビットストリームをスプライシングすることによってシームレスなスプライシングストリームを生成するビットストリームスプライシング装置及び方法、ならびにビデオデータを再符号化する再符号化装置及び方法に関する。

近年、大容量のディジタルデータを記録可能な光ディスクであるＤＶＤ（ディジタル・バーサタイル・ディスクまたはディジタル・ビデオ・ディスク）のような蓄積メディアを用いて、圧縮符号化した画像データの記録や再生を行う記録再生システムや、複数の圧縮符号化された放送素材（プログラム）を多重化して伝送する多重伝送システムが提案されている。これらのシステムでは、ＭＰＥＧ（Moving Picture Experts Group）規格による画像データの圧縮符号化技術が利用されている。

このＭＰＥＧ規格では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ（intra coded picture ）、Ｐピクチャ（predictive coded picture）およびＢピクチャ（bidirectionally predictive coded picture）と呼ばれる。また、Ｉ，Ｐ，Ｂの各ピクチャを適切に組み合わせて、ランダムアクセスの単位となるＧＯＰ（Group of Picture）が構成される。一般的には、各ピクチャの発生符号量は、Ｉピクチャが最も多く、次にＰピクチャが多く、Ｂピクチャが最も少ない。

ＭＰＥＧ規格のようにピクチャ毎にビット発生量が異なる符号化方法では、得られる符号化ビットストリーム（以下、単にストリームとも言う。）を適切に伝送及び復号して画像を得るためには、画像復号化装置における入力バッファ内のデータ占有量を、画像符号化装置側で把握していなければならない。そこで、ＭＰＥＧ規格では、画像復号化装置における入力バッファに対応する仮想的なバッファであるＶＢＶ（Video Buffering Verifier）バッファを想定し、画像符号化装置側では、ＶＢＶバッファを破綻、つまりアンダフローやオーバフローさせないように、ストリームを生成しなければならない。

ここで、図１を参照して、ＭＰＥＧ規格に従った伝送システムおよび記録再生システムの概略について説明する。なお、図１は、ＩＳＯ／ＩＥＣ１３８１８−１（ＭＰＥＧ１），ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ２）を実現できるように構成された伝送システムを表している。

この伝送システムは、符号化装置１１０側の構成として、入力されるビデオデータＤV をエンコード（符号化）して、符号化ビットストリームであるビデオエレメンタリストリーム（ビデオＥＳ）を出力するビデオエンコーダ１１１と、このビデオエンコーダ１１１より出力されるビデオエレメンタリストリームにヘッダ等を付加してパケット化し、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）を出力するパケッタイザ１１２と、入力されるオーディオデータＤA をエンコードして、符号化ビットストリームであるオーディオエレメンタリストリーム（オーディオＥＳ）を出力するオーディオエンコーダ１１３と、このオーディオエンコーダ１１３より出力されるオーディオエレメンタリストリームにヘッダ等を付加してパケット化し、オーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）を出力するパケッタイザ１１４と、パケッタイザ１１２より出力されるビデオパケッタイズドエレメンタリストリームとパケッタイザ１１４より出力されるオーディオパケッタイズドエレメンタリストリームとを多重化し、１８８バイトのトランスポートストリームパケットを作成し、トランスポートストリーム（ＴＳ）として出力するトランスポートストリームマルチプレクサ（図では、ＴＳＭＵＸと記す。）１１５とを備えている。

また、図１に示した伝送システムは、復号化装置１２０側の構成として、トランスポートストリームマルチプレクサ１１５より出力され伝送メディア１１６を介して伝送されるトランスポートストリームを入力し、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）とオーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）とに分離して出力するトランスポートストリームデマルチプレクサ（図では、ＴＳＤＥＭＵＸと記す。）１２１と、このトランスポートストリームデマルチプレクサ１２１より出力されるビデオパケッタイズドエレメンタリストリームをデパケット化し、ビデオエレメンタリストリーム（ビデオＥＳ）を出力するデパケッタイザ１２２と、このデパケッタイザ１２２より出力されるビデオエレメンタリストリームをデコード（復号化）してビデオデータＤV を出力するビデオデコーダ１２３と、トランスポートストリームデマルチプレクサ１２１より出力されるオーディオパケッタイズドエレメンタリストリームをデパケット化し、オーディオエレメンタリストリーム（オーディオＥＳ）を出力するデパケッタイザ１２４と、このデパケッタイザ１２４より出力されるオーディオエレメンタリストリームをデコードしてオーディオデータＤA を出力するオーディオデコーダ１２５とを備えている。

図１における復号化装置１２０は、一般に、インテリジェントレシーバデコーダ（ＩＲＤ）と呼ばれる。

なお、符号化されたデータをストレージメディアに記録する記録再生システムの場合には、図１におけるトランスポートストリームマルチプレクサ１１５の代わりに、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとを多重化してプログラムストリーム（ＰＳ）を出力するプログラムストリームマルチプレクサが設けられ、伝送メディア１１６の代わりに、プログラムストリームを記録する蓄積メディアが用いられ、トランスポートストリームデマルチプレクサ１２１の代わりに、プログラムストリームをビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離するプログラムストリームデマルチプレクサが設けられる。

次に、ビデオデータを符号化処理、伝送処理及び復号化処理する場合を例にあげて、図１に示したシステムの動作について説明する。

まず、符号化装置１１０側では、各ピクチャが同じビット量を持つ入力ビデオデータＤV は、ビデオエンコーダ１１１によってエンコードされ、各ピクチャ毎に、その冗長度に応じて異なるビット量に変換、圧縮され、ビデオエレメンタリストリームとして出力される。パケッタイザ１１２は、ビデオエレメンタリストリームを入力し、そのビットストリーム時間軸上のビット量の変動を吸収（平均）するためにパケット化し、ビデオパケッタイズドエレメンタリストリーム（ＰＥＳ）として出力する。このパケッタイザ１１２によってパケット化されるＰＥＳパケットは、１アクセスユニット又は複数のアクセスユニットから構成される。一般的には、この１アクセスユニットは、１フレームから構成される。トランスポートストリームマルチプレクサ１１５は、ビデオパケッタイズドエレメンタリストリームとパケッタイザ１１４より出力されるオーディオパケッタイズドエレメンタリストリームとを多重化してトランスポートストリームパケットを作成し、トランスポートストリーム（ＴＳ）として、伝送メディア１１６を介して、復号化装置１２０に送る。

復号化装置１２０側では、トランスポートストリームデマルチプレクサ１２１によって、トランスポートストリームが、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離される。デパケッタイザ１２２は、ビデオパケッタイズドエレメンタリストリームをデパケット化して、ビデオエレメンタリストリームを出力し、ビデオデコーダ１２３は、ビデオエレメンタリストリームをデコードしてビデオデータＤV を出力する。

復号化装置１２０は、一定の伝送レートで伝送されたストリームをＶＢＶバッファにバッファリングすると共に、予めピクチャ毎に設定されたデコーデッドタイムスタンプ（ＤＴＳ）に基いてＶＢＶバッファからピクチャ毎にデータを引き出す。このＶＢＶバッファの容量は、伝送される信号の規格に応じて決められており、メインプロファイル・メインレベル（ＭＰ＠ＭＬ）のスタンダードビデオ信号の場合であれば、１．７５Ｍビットの容量を有している。符号化装置１１０側では、このＶＢＶバッファをオーバフローやアンダフローさせないように、各ピクチャのビット発生量をコントロールしなければならない。

次に、図２を参照して、ＶＢＶバッファについて説明する。図２において、折れ線はＶＢＶバッファに記憶されるデータ占有量の変化を表し、その傾き１３１は伝送ビットレートを表し、垂直に落ちている部分１３２は各ピクチャの再生のためにビデオデコーダ１２３がＶＢＶバッファから引き出すビット量を表している。ビデオデコーダ１２３が引き出すタイミングは、プレゼンテーションタイムスタンプ（ＰＴＳ）と呼ばれる情報又デコーデッドタイムスタンプ（ＤＴＳ）と呼ばれる情報によって指定される。このＰＴＳ及びＤＴＳの間隔は、一般的には１フレーム期間である。なお、図２中、Ｉ，Ｐ，Ｂは、それぞれＩピクチャ，Ｐピクチャ，Ｂピクチャを表している。これは、他の図においても同様である。また、図２中、vbv＿delay は、ＶＢＶバッファの占有量が零の状態から一杯に満たされるまでの時間であり、ＴP はプレゼンテーションタイム周期を表している。デコーダ側において、図２に示したように、伝送されたストリームによって一定のビットレート１３１でＶＢＶバッファが満たされ、プレゼンテーションタイムに従ったタイミングで各ピクチャ毎にデータがこのＶＢＶバッファから引き出される。

次に、図３を参照して、ＭＰＥＧ規格の双方向予測符号化方式におけるピクチャの並べ替えについて説明する。図３において、（ａ）はエンコーダに対して供給される入力ビデオデータのピクチャ順を表し、（ｂ）はエンコーダにおいて並べ替えが行われた後のピクチャの順番を表し、（ｃ）はエンコーダより出力されるビデオストリームのピクチャ順を表している。図３に示したように、エンコーダでは、入力ビデオフレームは、エンコード時にピクチャの種類（Ｉ，Ｐ，Ｂ）に応じて並べ替えが行われて、並べ替え後の順番でエンコードされる。具体的には、Ｂピクチャは、Ｉピクチャ又はＰピクチャから予測符号化されるので、図３（ｂ）に示されるように、予測符号化に使用されるＩピクチャ又はＰピクチャの後に位置するように並び替えられる。エンコーダは、並び替えられたピクチャの順に符号化処理を行い、図３（ｂ）及び（ｃ）に示される順で、符号化された各ピクチャをビデオストリームとして出力する。出力された符号化ストリームは、伝送路を介してデコーダ又は蓄積メディアに供給される。なお、図３では、１５枚のピクチャでＧＯＰが構成されるものとしている。

図４は、図３において説明した予測符号化方式において、各ピクチャが、どのピクチャを使用して予測符号化処理されるかを示すための図であって、エンコーダにおけるピクチャの並べ替えと予測符号化処理との関係を表している。図４において、（ａ）はエンコーダに対する入力ビデオデータにおけるピクチャの順番を表し、（ｂ）はエンコーダにおいて並べ替えが行われた後のピクチャの順番を表し、（ｃ），（ｄ）はそれぞれエンコーダ内の２つのフレームメモリＦＭ１，ＦＭ２に保持されるピクチャを表し、（ｅ）はエンコーダより出力されるエレメンタリストリーム（ＥＳ）を表している。なお、図中、Ｉ，Ｐ，Ｂに付随した数字はピクチャの順番を表している。エンコーダでは、図４（ａ）に示したような入力ビデオデータは、図４（ｂ）に示したようなピクチャの順番に並べ替えられる。また、２つのフレームメモリＦＭ１，ＦＭ２には、それぞれ図４（ｃ），（ｄ）に示したようなピクチャが保持される。そして、エンコーダは、入力ビデオデータがＩピクチャの場合は入力ビデオデータ（Ｉピクチャ）のみに基づいて符号化処理を行い、入力ビデオデータがＰピクチャの場合は入力ビデオデータとフレームメモリＦＭ１に保持されているＩピクチャまたはＰピクチャとに基づいて予測符号化処理を行い、入力ビデオデータがＢピクチャの場合は入力ビデオデータとフレームメモリＦＭ１，ＦＭ２に保持されている２つのピクチャとに基づいて予測符号化処理を行う。図４（ｅ）中の符号は、符号化処理に用いられるピクチャを表している。

次に、図５を参照して、ＭＰＥＧ規格の双方向予測復号化方式におけるピクチャの並べ替えについて説明する。図５において、（ａ）はエンコーダから伝送路を介してデコーダに供給された符号化ビデオストリームのピクチャの順番を表し、（ｂ）はエンコーダから伝送路を介してデコーダに供給された符号化ビデオストリームを表わし、（ｃ）はデコーダより出力されるビデオデータのピクチャ順を表している。図５に示したように、このデコーダでは、Ｂピクチャは、エンコード時にＩピクチャ又はＰピクチャを使用して予測符号化処理されているので、この予測符号化処理に使用されたピクチャと同じピクチャを用いて復号化処理を行なう。その結果、図５（ｃ）に示されるように、このデコーダから出力されるビデオデータのピクチャの順番は、ＩピクチャやＰピクチャよりＢピクチャが早く出力される。

図６は、図５において説明した復号化処理をさらに詳しく説明するための図である。図６において、（ａ）はデコーダに対して供給される符号化されたビデオエレメンタリストリーム（ＥＳ）のピクチャの順番を表し、（ｂ），（ｃ）はそれぞれデコーダ内の２つのフレームメモリＦＭ１，ＦＭ２に保持されるピクチャを表し、（ｄ）はデコーダより出力される出力ビデオデータを表している。図４と同様に、図中、Ｉ，Ｐ，Ｂに付随した数字はピクチャの順番を表している。デコーダでは、図６（ａ）に示したような入力エレメンタリストリーム（ＥＳ）が入力されると、予測符号化処理に使用した２つのピクチャを記憶しなければいけないので、２つのフレームメモリＦＭ１，ＦＭ２には、それぞれ図６（ｂ），（ｃ）に示したようなピクチャが保持される。そして、デコーダは、入力エレメンタリストリームがＩピクチャの場合は入力エレメンタリストリーム（Ｉピクチャ）のみに基づいて復号化処理を行い、入力エレメンタリストリームがＰピクチャの場合は入力エレメンタリストリームとフレームメモリＦＭ１に保持されているＩピクチャまたはＰピクチャとに基づいて復号化処理を行い、入力エレメンタリストリームがＢピクチャの場合は入力エレメンタリストリームとフレームメモリＦＭ１，ＦＭ２に保持されている２つのピクチャとに基づいて復号化処理を行って、図６（ｄ）に示したような出力ビデオデータを生成する。

次に、図７を参照して、ＭＰＥＧ規格の双方向予測符号化方式における動き検出および動き補償について説明する。図７は、入力ビデオフレーム順に並んだピクチャ間の予測方向（差分をとる方向）を矢印で示したものである。ＭＰＥＧ規格では、より高圧縮を可能とする動き補償が採用されている。エンコーダでは、動き補償を行うために、エンコード時に、図７に示した予測方向に従って、動き検出を行って動きベクトルを得る。ＰピクチャおよびＢピクチャは、この動きベクトルと、動きベクトルに従って得たサーチ画または予測画との差分値で構成される。デコード時には、この動きベクトルと差分値に基づいて、ＰピクチャおよびＢピクチャが再構成される。

一般的に、図７に示されるように、Ｉピクチャは、そのＩピクチャ内の情報から符号化されたピクチャで、フレーム間予測を使用せずに生成されたピクチャである。Ｐピクチャは、過去のＩピクチャ又はＰピクチャからの予測を行なうことによって生成されたピクチャである。Ｂピクチャは、過去のＩ又はＰピクチャ及び未来のＩ又はＰピクチャの双方向から予測されたピクチャ、過去のＩ又はＰピクチャの順方向から予測されたピクチャ、又はＩ又はＰの逆方向から予測されたピクチャのいずれかである。

ところで、放送局の編集システムにおいては、取材現場においてカムコーダやデジタルＶＴＲを使用して収録したビデオ素材や、地方局や番組供給会社から伝送されてきたビデオ素材等を編集して、１つのオンエア用のビデオプログラムを生成するようにしている。近年、カムコーダやデジタルＶＴＲを使用して収録されたビデオ素材及び地方局や番組供給会社等から供給されたビデオ素材は、前述したＭＰＥＧ技術を使用して、圧縮符号化された符号化ストリームとして供給されることがほとんどである。その理由は、圧縮されていないベースバンドのビデオデータをそのまま記録媒体に記録するよりも、ＭＰＥＧ技術を使用して圧縮符号化した方が記録媒体の記録エリアを有効に活用できるという理由や、圧縮されていないベースバンドのビデオデータをそのまま伝送するよりも、ＭＰＥＧ技術を使用して圧縮符号化した方が伝送路を有効に活用できるという理由からである。

この従来の編集システムにおいては、例えば２つの符号化ビデオストリームを編集して１つのオンエア用のビデオプログラムを生成するためには、編集処理の前に、一端符号化ストリームの全データをデコードして、ベースバンドのビデオデータに戻さなければいけない。なぜなら、ＭＰＥＧ規格に準じた符号化ストリームに含まれる各ピクチャの予測方向は、前後のピクチャの予測方向と相互に関連しているので、ストリーム上の任意の位置において符号化ストリームを接続することができないからである。もし強引に２つの符号化ストリームをつなげたとすると、つなぎめが不連続になってしない、正確にデコードできなくなってしまうことが発生する。

従って、従来の編集システムにおいて供給された２つの符号化ストリームを編集しようとすると、２つのソース符号化ストリームを一端デコードして２つのベースバンドのビデオデータを生成するデコード処理と、２つのベースバンドのビデオデータを編集してオンエア用の編集されたビデオデータを生成する編集処理と、編集されたビデオデータを再び符号化して、符号化ビデオストリームを生成するという符号化処理とを行なわなくてはいけない。

しかしながら、ＭＰＥＧ符号化は１００％可逆の符号化ではないので、このように編集処理だけのために復号化処理及び符号化処理を行なうと画質が劣化してしまうという問題があった。つまり、従来の編集システムにおいて編集処理するためには、必ず復号化処理と符号化処理とが必要であったので、その分だけ画質が劣化するという問題があった。

その結果、近年では、供給された符号化ストリームの全ての復号化処理せずに、符号化ストリームの状態のまま編集することを可能にする技術が要求されるようになってきた。尚、このように符号化されたビットストリームレベルで、異なる２つの符号化ビットストリームを連結し、連結されたビットストリームを生成することを「スプライシング」と呼んでいる。つまり、スプライシングとは、符号化ストリームの状態のままで複数のストリームを編集することを意味する。

しかしながら、このスプライシングを実現するためには以下のような３つの大きな問題点がある。

第１の問題点は、ピクチャプレゼンテーション順の観点からくる問題点である。このピクチャプレゼンテーション順とは、各ビデオフレームの表示順のことである。この第1の問題点について、図８および図９を参照して説明する。

図８および図９は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係を示したものである。図８はピクチャプレゼンテーションの順番に問題が生じない場合について示し、図９はピクチャプレゼンテーションの順番に問題が生じている場合について示している。また、図８および図９において、（ａ）はスプライスされる一方のビデオストリームＡを示し、（ｂ）はスプライスされる他方のビデオストリームＢを示し、（ｃ）はスプライス後のストリームを示し、（ｄ）はプレゼンテーションの順番を示している。また、ＳＰA はストリームＡにおけるスプライスポイントを示し、ＳＰB はストリームＢにおけるスプライスポイントを示し、ＳＴA はストリームＡを示し、ＳＴB はストリームＢを示し、ＳＴSPは、スプライシングされたストリームを示している。

エンコーダにおいてピクチャの並べ替えを行うことから、エンコード後の符号化ストリームにおけるピクチャの順番とデコード後のプレゼンテーションの順番とは異なる。しかしながら、図８に示したスプライス処理は、ストリームＡのＢピクチャの後にスプライスポイントＳＰAが設定され、ストリームＢのＰピクチャの前にスプライスポイントＳＰBが設定された例を示している図である。この図８（ｄ）に示されるように、ストリームＡとストリームＢの境界ＳＰを境にして、ストリームＡのピクチャがストリームＢのピクチャより後に表示されたり、ストリームＢのピクチャがストリームＡのピクチャの前に表示されるというような現象はおきていない。つまり、図８に示したスプライスポイントＳＰA及びＳＰBにおいてスプライシングする場合であれば、プレゼンテーションの順番に問題は生じない。

一方、図９に示したスプライス処理は、ストリームＡのＰピクチャの後にスプライスポイントＳＰAが設定され、ストリームＢのＢピクチャの前にスプライスポイントＳＰBが設定された例を示している図である。この図８（ｄ）に示されるように、ストリームＡとストリームＢの境界ＳＰを境にして、ストリームＡの最後のピクチャがストリームＢのピクチャより後に表示されたり、ストリームＢの２つのピクチャがストリームＡの最後のピクチャより前に表示されるとい現象が起こっている。つまり、このような順でピクチャが表示されたとすると、スプライスポイントの近傍において、ストリームＡのビデオイメージからストリームＢのビデオイメージに切り替わり、その２フレーム後に再びストリームＡのビデオイメージが１フレームだけ表示されるという奇妙なイメージになってしまう。つまり、図９に示したスプライスポイントＳＰA及びＳＰBにおいてスプライシングする場合であれば、プレゼンテーションの順番に問題が生じる。

よって、任意のピクチャ位置でスプライスを実現するためには、このようなプレゼンテーション順に関する問題が発生することがある。

第２の問題点は、動き補償の観点からくる問題点である。この問題点について、図１０ないし図１２を参照して説明する。これらの図は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係を示したものである。図１０は動き補償に関して問題が生じない場合の例を示し、図１１および図１２は動き補償に関して問題が生じる場合の例を示している。なお、図１１および図１２は、それぞれ、図８および図９に示したスプライスを行った場合について示している。また、各図において、（ａ）はスプライス後のストリームを示し、（ｂ）はプレゼンテーションの順番を示している。

図１０に示した例では、ストリームＢがクローズドＧＯＰ（以前のＧＯＰに予測が依存しない閉じたＧＯＰ）であり、且つ、ちょうどＧＯＰの切れ目でスプライスを行っているため、過不足なく動き補償が行われ、問題なくピクチャのデコードが行われる。

これに対し、図１１および図１２では、デコード時に、異なるストリームにおけるピクチャを参照する動き補償が行われるため、動き補償に問題が生じる。具体的には、ストリームＡのＰピクチャを参照してストリームＢのＢピクチャやＰピクチャは作れないという理由から、図中、破線で示した予測方向での動きベクトルによる動き補償は無効（図ではＮＧと記す。）である。従って、図１１および図１２に示した例では、次のＩピクチャまで、ピクチャが破綻したままになる。

任意のピクチャ単位でスプライスを行う場合、単純なストリーム上のスプライスでは、この問題は解決することができない。

第３の問題点は、ＶＢＶバッファの観点からくる問題点である。この問題点について、図１３ないし図１８を参照して説明する。図１３は、ピクチャプレゼンテーションの順番、動き補償およびＶＢＶバッファの条件を満たす理想的なストリームスプライスを行った場合の例を示している。なお、図中、ＳＴA ，ＳＴB ，ＳＴC は、それぞれストリームＡ，ストリームＢ，ストリームＣを示している。図１３において、（ａ）はデコーダ側のＶＢＶバッファの状態を示し、（ｂ）はスプライス後のストリームを示し、（ｃ）はエンコーダにおける並べ替え後の各ピクチャの発生タイミングを示し、（ｄ）はデコード後のピクチャの順番を示している。なお、図１３において、ＳＰV はＶＢＶバッファにおけるスプライス点を示し、ＶOCはスプライス点ＳＰV におけるＶＢＶバッファの占有量を示し、ＳＰS はストリームにおけるスプライス点を示している。図１３に示した例では、ＶＢＶバッファの観点から見るとき、スプライスによりＶＢＶバッファのオーバフローやアンダフロー等のＶＢＶバッファの破綻が起きていない。

しかし、一般的には、任意のピクチャ単位にスプライスを行うときには、ＶＢＶバッファの破綻を起こさないという条件を満たすとは限らない。このことを図１４ないし図１８を参照して説明する。図１４および図１５は、それぞれ、ＶＢＶバッファの制約を満たす正常なストリームＡおよびストリームＢを表し、（ａ）はデコーダ側のＶＢＶバッファの状態を示し、（ｂ）はストリームＡ，Ｂを示している。このようなストリームＡ，Ｂを任意の位置で単純にスプライスした場合の３通りの例を、図１６ないし図１８に示す。これらの図において、（ａ）はデコーダ側のＶＢＶバッファの状態を示し、（ｂ）はスプライス後のストリームを示している。これらの図に示したように、ストリームＡ，Ｂをどこでスプライスするかによって、ＶＢＶバッファの状態が異なっている。図１６に示した例では、スプライス後のストリームもＶＢＶバッファの制約を満たしているが、図１７に示した例では、符号１４１で示したオーバフローが発生しており、ＶＢＶバッファの制約を満たしていない。また、図１８に示した例では、符号１４２で示したアンダフローが発生しており、ＶＢＶバッファの制約を満たしていない。デコーダ（ＩＲＤ）側では、ＶＢＶバッファのアンダフローまたはオーバフローが発生すると、ＶＢＶバッファの破綻によりピクチャデコードに失敗し、シームレスな画像再生を実現することができない。そのときの画像再生の状態は、エンコーダ（ＩＲＤ）の機能によって画像スキップ、フリーズ、処理ストップ等、様々である。任意のピクチャ単位でスプライスを行う場合、単純なストリーム上のスプライスでは、この問題は解決することができない。

このように、従来は、ストリーム上のシームレスなスプライスを実現する有効な手段がないという問題点があった。

なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１〜３）。

特開平０８−２０５０７９号公報 特開平０８−３７６４０号公報 特開平０６−２５３３３１号公報

本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、復号化装置側の入力バッファに対応する仮想的バッファの破綻や仮想的バッファにおけるデータ占有量の不連続が発生することがないように、複数の符号化ストリームをシームレスにスプライシングすることを実現するスプライシング装置及び編集装置を提供することにある。

本発明の第２の目的は、上記目的に加え、スプライシングポイント近傍における画質劣化を低減すると共に、再エンコード処理における画質劣化を防止するようにしたスプライシング装置、編集装置、及び再符号化装置を提供することにある。

本発明の編集装置は、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正手段と、目標符号量補正手段により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、再符号化手段の再符号化処理を制御する制御手段と、第１の符号化ストリーム及び第２の符号化ストリームと再符号化手段により生成された再符号化ストリームとを、第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段とを備えたものである。

本発明の編集装置では、第１の切換点及び第１の編集点を含む所定区間が復号処理されることで第１の画像データが生成されると共に、第２の編集点及び第２の切換点を含む所定区間が復号処理されることで第２の画像データが生成される。また、第１の画像データ及び第２の画像データが第１の編集点と第２の編集点とで接続されて再符号化処理され、再符号化ストリームが生成される。また、第１の画像データ及び第２の画像データが再符号化処理される際の目標符号量に対するオフセット値が演算され、再符号化処理する際の発生符号量とこのオフセット値とを用いて、目標符号量が補正される。そして、この補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように再符号化処理に対する制御がなされ、第１の符号化ストリーム及び第２の符号化ストリームと再符号化ストリームとが第１の切換点及び第２の切換点で切り換えて出力されることにより、編集された編集符号化ストリームが生成される。

本発明の編集方法は、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算工程と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正工程と、目標符号量補正工程により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、再符号化工程の再符号化処理を制御する制御工程と、第１の符号化ストリーム及び第２の符号化ストリームと再符号化工程により生成された再符号化ストリームとを、第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集工程とを含むようにしたものである。

本発明の第１の再符号化装置は、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正手段と、目標符号量補正手段により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、再符号化手段の再符号化処理を制御する制御手段とを備えたものである。

本発明の第１の再符号化方法は、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、第１の画像データ及び第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算工程と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正工程と、目標符号量補正工程により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、再符号化工程の再符号化処理を制御する制御工程とを含むようにしたものである。

本発明の第２の再符号化装置は、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して得られる第１の画像データ、ならびに第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して得られる第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正手段と、目標符号量補正手段により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、再符号化手段の再符号化処理を制御する制御手段とを備えたものである。

本発明の第２の再符号化方法は、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して得られる第１の画像データ、ならびに第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して得られる第２の画像データを、第１の編集点と第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算工程と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正工程と、目標符号量補正工程により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、再符号化工程の再符号化処理を制御する制御工程とを含むようにしたものである。

本発明のスプライシング装置は、第１の符号化ストリームに設定された第１のスプライシングポイントを含む所定区間を復号処理して得られる第１の画像データ及び第２の符号化ストリームに設定された第２のスプライシングポイントを含む所定区間を復号処理して得られる第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正手段と、目標符号量補正手段により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当て、第１の符号化ストリームと第２の符号化ストリームとをスプライシングするスプライシング手段とを備えたものである。

本発明のスプライシング方法は、第１の符号化ストリームに設定された第１のスプライシングポイントを含む所定区間を復号処理して得られる第１の画像データ及び第２の符号化ストリームに設定された第２のスプライシングポイントを含む所定区間を復号処理して得られる第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手工程と、再符号化処理する際の発生符号量とオフセット値とを用いて、目標符号量を補正する目標符号量補正工程と、目標符号量補正工程により補正された目標符号量に基づいて、再符号化対象ストリームの発生符号量を割り当て、第１の符号化ストリームと第２の符号化ストリームとをスプライシングするスプライシング工程とを含むようにしたものである。

本発明の編集装置または編集方法によれば、第１の切換点及び第１の編集点を含む所定区間を復号処理することで第１の画像データを生成すると共に第２の編集点及び第２の切換点を含む所定区間を復号処理することで第２の画像データを生成し、第１の画像データ及び第２の画像データを第１の編集点と第２の編集点とで接続して再符号化処理することで再符号化ストリームを生成し、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算し、再符号化処理する際の発生符号量とこのオフセット値とを用いて目標符号量を補正し、この補正された目標符号量に基づいて再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように再符号化処理を制御し、第１の符号化ストリーム及び第２の符号化ストリームと再符号化ストリームとを第１の切換点及び第２の切換点で切り換えて出力することにより、編集された編集符号化ストリームを生成するようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。

また、本発明の第１の再符号化装置または第１の再符号化方法によれば、第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に第２の編集点及び第２の切換点を含む所定区間を復号処理して第２の画像データを生成し、第１の画像データ及び第２の画像データを第１の編集点と第２の編集点とで接続して再符号化処理することで再符号化ストリームを生成し、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算し、再符号化処理する際の発生符号量とこのオフセット値とを用いて目標符号量を補正し、この補正された目標符号量に基づいて再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように再符号化処理を制御するようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。

また、本発明の第２の再符号化装置または第２の再符号化方法によれば、第１の切換点及び第１の編集点を含む所定区間を復号処理して得られる第１の画像データ、ならびに第２の編集点及び第２の切換点を含む所定区間を復号処理して得られる第２の画像データを第１の編集点と第２の編集点とで接続して再符号化処理することで再符号化ストリームを生成し、第１の画像データ及び第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算し、再符号化処理する際の発生符号量とこのオフセット値とを用いて目標符号量を補正し、この補正された目標符号量に基づいて再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように再符号化処理を制御するようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。

また、本発明のスプライシング装置またはスプライシング方法によれば、第１のスプライシングポイントを含む所定区間を復号処理して得られる第１の画像データ及び第２のスプライシングポイントを含む所定区間を復号処理して得られる第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算し、再符号化処理する際の発生符号量とこのオフセット値とを用いて目標符号量を補正し、この補正された目標符号量に基づいて再符号化対象ストリームの発生符号量を割り当て、第１の符号化ストリームと第２の符号化ストリームとをスプライシングするようにしたので、符号化ストリームをシームレスに編集することが可能となるという効果を奏する。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１９は、本発明の一実施の形態に係るスプライシング装置及び編集装置の構成を示すブロック図である。このスプライシング装置及び編集装置は、例えば複数の映像素材のビデオデータＶＤA ，ＶＤB をエンコーダ１Ａ，１ＢによってＭＰＥＧ規格による双方向予測符号化方式に従ってエンコードして得られた複数の符号化ビットストリーム（以下、単にストリームと言う。）ＳＴA ，ＳＴB を入力するようになっている。なお、本実施の形態におけるストリームは、エレメンタリストリーム、パケッタイズドエレメンタリストリーム、トランスポートストリームのいずれでもよい。

本実施の形態に係るスプライシング装置及び編集装置は、ストリームＳＴA ，ＳＴB を入力し、これらを一時的に記憶するためのバッファメモリ１０と、ストリームＳＴA ，ＳＴB のビット数をカウントするストリームカウンタ１１と、ストリームＳＴA ，ＳＴBのシンタックスを解析するストリーム解析部１２と、スプライシング処理を行なうために後述する各ブロックをコントロールするためのスプライスコントローラ１３とを備えている。

スプライシング装置及び編集装置は、更に、それぞれ、バッファメモリ１０より出力されるストリームＳＴA ，ＳＴB をＭＰＥＧ規格に従ってデコードして、ベースバンドビデオデータを出力するＭＰＥＧデコーダ１４Ａ，１４Ｂと、これらのＭＰＥＧデコーダ１４Ａ，１４Ｂからの出力ビデオデータをスイッチングするスイッチ１５と、このスイッチ１５から出力された出力ビデオデータを再エンコードするＭＰＥＧエンコーダ１６と、バッファメモリ１０より出力されるストリームＳＴA ，ＳＴB およびＭＰＥＧエンコーダ１６より出力される再エンコードストリームＳＴREを切り換えて出力することにより、スプライスされたストリームＳＴSPを出力するスイッチ１７とを備えている。

以下に、上述した各ブロックについて詳細に説明する。

バッファメモリ１０は、後述するスプライスコントローラ１３からの書込みコマンドに応答して、供給された２つのストリームＳＴA ，ＳＴBを一時的に記憶し、スプライスコントローラ１３からの読み出しコマンドに応答して、記憶されたストリームＳＴA ，ＳＴBをそれぞれ読み出す。これによって、ストリームＳＴA ，ＳＴBのそれぞれに対して設定されたスプライシングポイントにおいてスプライスを行なうために、ストリームＳＴA ，ＳＴBのスプライシングポイントの位相及びタイミングの合わせることができる。

ストリームカウンタ１１は、ストリームＳＴA ，ＳＴB を受取り、これらのストリームのビット数をそれぞれカウントし、そのカウント値をスプライスコントローラ１３にそれぞれ供給する。このように供給されたビットストリームＳＴA ，ＳＴBのビット数をカウントする理由は、ストリームＳＴA ，ＳＴBに対応するＶＢＶバッファのデータ占有量の軌跡を仮想的に把握するためである。

ストリーム解析部１２は、ストリームＳＴA ，ＳＴBのシンタックスを解析することによって、シーケンス層、ＧＯＰ層、ピクチャ層、及びマクロブロック層から適切な情報を抽出する。例えば、ピクチャのタイプ（Ｉ、Ｂ又はＰ）を示すピクチャタイプ、動きベクトル、量子化ステップ、及び量子化マトリックス等のエンコード情報を抽出して、それらの情報をスプライスコントローラ１３に出力する。

これらのエンコード情報は、エンコーダ１Ａ及び１Ｂにおける過去のエンコード処理において生成された符号化情報であって、本発明のスプライシング装置においては、これらの過去のエンコード情報を再エンコード処理時において選択的に使用する。

このスプライスコントローラ１３は、ストリームカウンタ１１から出力されたカウント値、ストリーム解析部１２から出力されたエンコード情報、再エンコード区間を設定するためのパラメータｎ0 ，ｍ0 およびスプライスポイントを指示するためのパラメータｐ0 を受取り、それらの情報に基いて、スイッチ１５、ＭＰＥＧエンコーダ１６及びスイッチ１７を制御する。具体的には、スプライスコントローラ１３は、入力されたパラメータｐ0 に応じてスイッチ１５のスイッチングタイミングを制御し、パラメータｎ0 ，ｍ0 ，ｐ0 に応じてスイッチ１７のスイッチングタイミングを制御するようになっている。

また、スプライスコントローラ１３は、ストリームカウンタ１１及びストリーム解析部１２から供給されたカウント値とストリーム解析部１２から供給されたエンコード情報とに基いて、スプライシングされたストリームによってＶＢＶバッファがオーバーフロー／アンダーフローしないようにすると共に、スプライシングされたストリームによってＶＢＶバッファのデータ占有量の軌跡が不連続にならないように、再エンコード区間内の各ピクチャ対して新たな目標符号量を演算する。

さらに、プライスコントローラ１３は、例えば、バッファメモリ１０の書き込みアドレスおよび読み出しアドレスを制御することによって、バッファメモリ１０における各ストリームＳＴA ，ＳＴB の遅延量を調整して、プレゼンテーションタイムを基準にして、各ストリームＳＴA ，ＳＴB のスプライスポイントの位相を調整するようになっている。

図２０は、図１９におけるＭＰＥＧデコーダ１４Ａ，１４ＢとＭＰＥＧエンコーダ１６の構成を示すブロック図である。なお、この図では、ＭＰＥＧデコーダ１４Ａ，１４Ｂを代表してＭＰＥＧデコーダ１４として示し、ストリームＳＴA ，ＳＴB を代表してストリームＳＴとして示している。

ＭＰＥＧデコーダ１４は、ストリームＳＴを入力し、可変長復号化する可変長復号化回路（図ではＶＬＤと記す。）２１と、この可変長復号化回路２１の出力データを逆量子化する逆量子化回路（図ではＩＱと記す。）２２と、この逆量子化回路２２の出力データに対して逆ＤＣＴ（逆離散コサイン変換）を行う逆ＤＣＴ回路（図ではＩＤＣＴと記す。）２３と、この逆ＤＣＴ回路２３の出力データと予測画像データとを加算する加算回路２４と、逆ＤＣＴ回路２３の出力データと加算回路２４の出力データの一方を選択的にＭＰＥＧデコーダ１４の出力データとして出力するスイッチ２５と、加算回路２４の出力データを保持するための２つのフレームメモリ（図では、ＦＭ１，ＦＭ２と記す。）２６，２７と、フレームメモリ２６，２７に保持されたデータとストリームＳＴに含まれる動きベクトルの情報とに基づいて、動き補償を行って予測画像データを生成し、この予測画像データを加算回路２４に出力する動き補償部（図ではＭＣと記す。）２８とを備えている。

ＭＰＥＧエンコーダ１６は、ＭＰＥＧデコーダ１４から供給された出力ビデオデータに対してエンコードのための前処理等を行うエンコーダ前処理部３０を備えている。このエンコーダ前処理部３０は、双方向予測符号化方式による符号化のためのピクチャの並べ替えや、１６×１６画素のマクロブロック化や、各ピクチャの符号化難易度の演算等の処理を行うようになっている。

ＭＰＥＧエンコーダ１６は、更に、エンコーダ前処理部３０の出力データと予測画像データとの差分をとる減算回路３１と、エンコーダ前処理部３０の出力データと減算回路３１の出力データの一方を選択的に出力するスイッチ３２と、このスイッチ３２の出力データに対して、ＤＣＴ（離散コサイン変換）ブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路（図ではＤＣＴと記す。）３３と、このＤＣＴ回路３３の出力データを量子化する量子化回路（図ではＱと記す。）３４と、この量子化回路３４の出力データを可変長符号化して、再エンコードストリームＳＴREとして出力する可変長符号化回路（図ではＶＬＣと記す。）３５とを備えている。

ＭＰＥＧエンコーダ１６は、更に、量子化回路３４の出力データを逆量子化する逆量子化回路（図ではＩＱと記す。）３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路（図ではＩＤＣＴと記す。）３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持するための２つのフレームメモリ（図では、ＦＭ１，ＦＭ２と記す。）３９，４０と、フレームメモリ３９，４０に保持されたデータと動きベクトル情報とに基づいて、動き補償を行って予測画像データを生成し、この予測画像データを減算回路３１および加算回路３８に出力する動き補償部（図ではＭＣと記す。）４１とを備えている。

ＭＰＥＧエンコーダ１６は、更に、フレームメモリ３９，４０に保持されたデータとエンコーダ前処理部３０の出力データとに基づいて動きベクトルを検出し、動きベクトル情報を出力する動き検出回路（図ではＭＥと記す。）４２と、スプライスコントローラ１３から供給されたエンコード情報と目標符号量とを受取り、これらの情報に基いて、量子化回路３４，逆量子化回路３６およびフレームメモリ３９，４０を制御するエンコードコントローラ４３と、このエンコードコントローラ４３によって制御され、エンコードコントローラ４３から出力される動きベクトルの情報と動き検出回路４２から出力される動きベクトルの情報の一方を選択的に動き補償部４１に対して出力するスイッチ４４とを備えている。

次に、図２０に示したＭＰＥＧデコーダ１４およびＭＰＥＧエンコーダ１６の動作の概略について説明する。

まず、ＭＰＥＧデコーダ１４では、ストリームＳＴは、可変長復号化回路２１によって可変長復号化され、逆量子化回路２２によって逆量子化され、逆ＤＣＴ回路２３によって逆ＤＣＴが行われ、逆ＤＣＴ回路２３の出力データが加算回路２４およびスイッチ２５に入力される。Ｉピクチャの場合には、逆ＤＣＴ回路２３の出力データが、スイッチ２５を介してＭＰＥＧデコーダ１４の出力データとして出力される。ＰピクチャまたはＢピクチャの場合には、加算回路２４によって逆ＤＣＴ回路２３の出力データと動き補償部２８より出力される予測画像データとが加算されてＰピクチャまたはＢピクチャが再現され、加算回路２４の出力データが、スイッチ２５を介してＭＰＥＧデコーダ１４の出力データとして出力される。また、ＩピクチャまたはＰピクチャは、適宜、フレームメモリ２６，２７に保持され、動き補償部２８による予測画像データの生成に利用される。

一方、ＭＰＥＧエンコーダ１６では、ＭＰＥＧデコーダ１４の出力データはエンコーダ前処理部３０に入力され、このエンコーダ前処理部３０によって、ピクチャの並べ替えやマクロブロック化等が行われる。ここで、エンコーダ前処理部３０は、スプライスコントローラ１３からのピクチャタイプの情報に基づいてピクチャの並べ替えを行う。

エンコーダ前処理部３０の出力データは、減算回路３１およびスイッチ３２に入力される。Ｉピクチャの場合には、スイッチ３２は、エンコーダ前処理部３０の出力データを選択的に出力する。ＰピクチャまたはＢピクチャの場合には、減算回路３１によってエンコーダ前処理部３０の出力データから動き補償部４１より出力される予測画像データが減算され、スイッチ３２は、減算回路３１の出力データを選択的に出力する。

スイッチ３２の出力データは、ＤＣＴ回路３３によってＤＣＴが行われ、ＤＣＴ回路３３の出力データが量子化回路３４によって量子化され、可変長符号化回路３５によって可変長符号化され、ストリームＳＴREとして出力される。

また、Ｉピクチャの場合には、量子化回路３４の出力データは、逆量子化回路３６によって逆量子化され、逆ＤＣＴ回路３７によって逆ＤＣＴが行われ、逆ＤＣＴ回路３７の出力データが、フレームメモリ３９またはフレームメモリ４０に保持される。Ｐピクチャの場合には、量子化回路３４の出力データは、逆量子化回路３６によって逆量子化され、逆ＤＣＴ回路３７によって逆ＤＣＴが行われ、加算回路３８によって逆ＤＣＴ回路３７の出力データと動き補償部４１からの予測画像データとが加算されてフレームメモリ３９またはフレームメモリ４０に保持される。フレームメモリ３９またはフレームメモリ４０に保持されたＩピクチャまたはＰピクチャは、適宜、動き補償部４１による予測画像データの生成に利用される。また、動き検出回路４２は、フレームメモリ３９，４０に保持されたデータとエンコーダ前処理部３０の出力データとに基づいて動きベクトルを検出し、動きベクトルの情報を出力する。

エンコードコントローラ４３は、スプライスコントローラ１３から供給されたエンコード情報及び各ピクチャ毎の目標符号量を受取り、それらの情報に基いて、量子化回路３４，逆量子化回路３６、フレームメモリ３９，４０およびスイッチ４４を制御する。

具体的には、エンコードコントローラ４３は、スプライスコントローラ１３から供給されたエンコード情報に含まれている動きベクトルを再利用するときには、その動きベクトルの情報をスイッチ４４を介して動き補償部４１に入力させ、スプライスコントローラ１３から供給されたエンコード情報に含まれている動きベクトルを再利用しないときには動き検出回路４２において新たに生成された動きベクトルの情報が動き補償部４１に入力されるようにスイッチ４４を制御する。また、エンコードコントローラ４３は、スプライスコントローラ１３から供給されたエンコード情報に含まれるピクチャタイプに基づいて、予測画像データの生成に必要なピクチャがフレームメモリ３９，４０に保持されるようにフレームメモリ３９，４０を制御する。

更に、エンコードコントローラ４３は、可変長符号化回路３５の発生符号量を監視すると共に、可変長符号化回路３５を制御するようになっている。そして、エンコードコントローラ４３は、設定された目標符号量に対して発生符号量が不足してＶＢＶバッファがオーバフローしそうなときには、目標符号量に対する発生符号量の不足分を補うためにダミーデータの付加、すなわちスタッフィングを行うようになっている。また、エンコードコントローラ４３は、設定された目標符号量に対して発生符号量が超過してＶＢＶバッファがアンダフローしそうなときには、マクロブロック単位の符号化処理の停止処理であるスキップドマクロブロック処理（ＩＳＯ／ＩＥＣ１３８１８−２ ７．６．６）を行うようになっている。

次に、図２１ないし図２６を参照して、本発明の実施の形態におけるピクチャの並べ替え制御と動き補償制御に関して詳しく説明する。

図２１はＭＰＥＧデコーダ１４Ａ，１４Ｂによってデコードして得られたビデオデータ（以下、プレゼンテーションビデオデータと言う。）におけるスプライス点および再エンコード区間の一例を示す説明図である。図２１（ａ）はストリームＡ（ＳＴA ）に対応するプレゼンテーションビデオデータ、図２１（ｂ）はストリームＢ（ＳＴB ）に対応するプレゼンテーションビデオデータを示している。まず、スプライス点を決めるときには、プレゼンテーションビデオデータ上でピクチャを指定する。スプライスポイントの指定は、パラメータ ｐ0 によって行う。また、スプライス点を含むスプライス点前後の所定区間として、再エンコード区間を設定する。再エンコード区間の設定は、パラメータｎ0 ，ｍ0 によって行う。

以下の説明では、図２１に示したように、パラメータｐ0 を用いて、ストリームＳＴA に対応するプレゼンテーションビデオデータにおけるスプライス点のピクチャをＡn-P0と表わすと、スプライス点のピクチャＡn-P0よりも未来のピクチャは、Ａ(n-P0)+1、Ａ(n-P0)+2、Ａ(n-P0)+3、Ａ(n-P0)+4、・・・・・・と表わすことができ、スプライス点のピクチャＡn-P0よりも過去のピクチャは、Ａ(n-P0)-1、Ａ(n-P0)-2、Ａ(n-P0)-3、Ａ(n-P0)-4、・・・・・・と表わすことができる。同様に、ストリームＳＴBに対応するプレゼンテーションビデオデータにおけるスプライス点のピクチャをＢm-P0と表わすと、スプライス点のピクチャＢ0よりも未来のピクチャは、Ｂ(m-P0)+1、Ｂ(m-P0)+2、Ｂ(m-P0)+3、Ｂ(m-P0)+4、・・・・・・と表わすことができ、スプライス点のピクチャＢ0よりも過去のピクチャは、Ｂ(m-P0)-1、Ｂ(m-P0)-2、Ｂ(m-P0)-3、Ｂ(m-P0)-4、・・・・・・と表わすことができる。

再エンコード区間は、ストリームＳＴA に対応するプレゼンテーションビデオデータについては、スプライス点より前にｎ0 枚、ストリームＳＴB に対応するプレゼンテーションビデオデータについては、スプライス点より後にｍ0 枚とする。従って、再エンコード区間は、ピクチャＡ(n-P0)+n0 〜ピクチャＡn-P0 ピクチャＢm-P0〜ピクチャＢ(m-P0)-m0 となる。

本実施の形態では、このように設定された再エンコード区間について、再エンコード処理を行なうようにしている。この再エンコード処理とは、供給されたソース符号化ストリームＳＴA 及びＳＴB をデコードすることによってベースバンドビデオデータに戻し、スプライスポイントでこのデコードされた２つのビデオデータをつなげた後、このビデオデータを再エンコードして、新たなストリームＳＴREを作成するという処理である。

この再エンコード処理によって、ピクチャの並べ替えと動き補償に関する問題はなくなる。このことを、以下で説明する。

図２２は、図２１に示した例におけるデコード前後のピクチャの並びを示したものである。図２２において、（ａ）は再エンコード区間近傍のストリームＳＴA を示し、（ｂ）は再エンコード区間近傍のストリームＳＴA に対応するプレゼンテーションビデオデータを示し、（ｃ）は再エンコード区間近傍のストリームＳＴB に対応するプレゼンテーションビデオデータを示し、（ｄ）は再エンコード区間近傍のストリームＳＴBを示している。なお、図中、ＲＥＰA は、ストリームＳＴA に対応するプレゼンテーションビデオデータ中の再エンコード対象ピクチャを示し、ＲＥＰB は、ストリームＳＴB に対応するプレゼンテーションビデオデータ中の再エンコード対象ピクチャを示している。また、図中、曲線の矢印は、予測方向を表している。

図２３は、図２１及び図２２に示したストリームＳＴAとストリームＳＴBとをスプライシング処理した後の状態を示しており、図２３（ａ）は、２つのストリームをスプライシングした後のプレゼンテーションビデオデータを示し、図２３（ｂ）は２つのストリームをスプライシングした後のストリームＳＴSPを示している。図２３（ｂ）に示したストリームＳＴSPは、再エンコード区間について図２３（ａ）に示した画像データを再エンコードして新たなストリームＳＴREを生成し、更に、再エンコード区間の前におけるオリジナルストリームＳＴA （以下、ＯＳＴA と記す。）と再エンコード区間内の新たなストリームＳＴREと再エンコード区間の後におけるオリジナルストリームＳＴB （以下、ＯＳＴB と記す。）とを連結して形成される。なお、図中、ＴREは再エンコード期間を示している。

図２１ないし図２３に示した例では、スプライス点の近傍において、異なるストリームに属するピクチャを利用した予測符号化処理は行われていないので、ピクチャのプレゼンテーション順に関しては、問題は生じていない。

次に、図２１ないし図２３に示した例とは、スプライスポイントが異なる他の例を、図２４ないし図２６に示す。

図２４はプレゼンテーションビデオデータにおけるスプライス点および再エンコード区間の他の例を示す説明図である。図２４において、（ａ）はストリームＳＴA に対応するプレゼンテーションビデオデータ、（ｂ）はストリームＳＴB に対応するプレゼンテーションビデオデータを示している。

図２５は、図２４に示した例におけるデコード前後のピクチャの並びを示したものである。図２５において、（ａ）は再エンコード区間近傍のストリームＳＴA を示し、（ｂ）は再エンコード区間近傍のストリームＳＴA に対応するプレゼンテーションビデオデータを示し、（ｃ）は再エンコード区間近傍のストリームＳＴB に対応するプレゼンテーションビデオデータを示し、（ｄ）は再エンコード区間近傍のストリームＳＴB を示している。

図２６は、図２４に示した例におけるスプライス後のピクチャの並びを示したものである。図２６において、（ａ）は、図２５（ｂ）に示したプレゼンテーションビデオデータと図２５（ｃ）に示したプレゼンテーションビデオデータとを連結した後の画像データを示し、（ｂ）はスプライスされたストリームＳＴSPを示している。（ｂ）に示したストリームＳＴSPは、再エンコード区間について（ａ）に示した画像データを再エンコードして新たなストリームＳＴREを生成し、更に、再エンコード区間の前における元のストリームＳＴA （ＯＳＴA ）と再エンコード区間内の新たなストリームＳＴREと再エンコード区間の後における元のストリームＳＴB （ＯＳＴB ）とを連結して形成される。

図２３ないし図２６に示した例では、スプライス点のピクチャＢm-P0がＰピクチャであるため、ピクチャタイプの再構成を行わずにそのまま図２５（ｂ）に示したプレゼンテーションビデオデータと図２５（ｃ）に示したプレゼンテーションビデオデータとを連結すると、ピクチャＢm-P0の再エンコード時に、異なるストリームＳＴA に属するピクチャを利用した予測符号化処理が行われてしまい、画質劣化が生じてしまう。そこで、本実施の形態では、スプライス点近傍において、異なるストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行う。図２６（ａ）は、このピクチャタイプの再構成の結果、ピクチャＢm-P0がＰピクチャからＩピクチャに変えられた後の状態を示している。

また、図２６（ａ）では、ピクチャＡn-P0がＢピクチャとなっており、このピクチャＡn-P0は、本来、双方向からの予測符号化処理が行われるピクチャであるが、そうすると、ピクチャＡn-P0の再エンコード時に、異なるストリームＳＴB に属するピクチャを利用した予測符号化処理が行われてしまい、画質劣化が生じてしまう。そこで、本実施の形態では、Ｂピクチャであっても、再エンコード時に、異なるストリームに属するピクチャ側からの予測は用いずに予測符号化処理を行なう。従って、図２６（ａ）に示した例では、ピクチャＡn-P0については、その前のＰピクチャ（ Ａ(n-P0)+1 ）のみを用いた予測符号化処理を行う。

以上のようなピクチャタイプの再構成の設定は、スプライスコントローラ１３によって行われ、ピクチャタイプの再構成の設定の情報がＭＰＥＧエンコーダ１６のエンコードコントローラ４３に与えられる。エンコードコントローラ４３は、ピクチャタイプの再構成の設定に従って、符号化処理を行う。動きベクトル等の過去の符号化処理において生成されたエンコード情報の再利用も、ピクチャタイプの再構成の設定に従って行われる。

なお、本実施の形態によるスプライス処理では、単純なストリーム上のスプライスとは異なるため、図２５（ｄ）に示したようにストリームＳＴB においてピクチャＢm-P0の後(過去)に存在していたＢピクチャ（Ｂ(m-P0)+2及びＢ(m-P0)+1 ）は、図２５（ｃ）に示したようにデコード後に捨てられるため、再エンコード後のピクチャ列では存在しない。

次に、図２７から図３０を参照して、本実施の形態における再エンコード区間内の画像データに対する新たな目標符号量の算出方法について説明する。

２つのストリームを単純にスプライスすると、スプライスポイント後に、スプライスされたストリームのＶＢＶバッファがアンダーフロー又はオーバーフローしてしまったり、又は、スプライスされたストリームのＶＢＶバッファのデータ占有量の軌跡が不連続になることが起こる。これらの問題点を解決するための本発明のスプライシング装置の再エンコード処理について図２７から図３０を参照して説明する。

まず、図２７を参照して、スプライスストリームのＶＢＶバッファがアンダーフロー及びＶＢＶバッファのデータ占有量が不連続になる問題について説明する。

図２７は、先に説明した図２３に対応する単純なスプライス処理を行なった場合の例であって、図２７（ａ）は、再エンコード対象ストリームＳＴRE' のＶＢＶバッファのデータ占有量の軌跡を示した図であって、図２７（ｂ）は、再エンコード対象ストリームＳＴRE'を示した図である。図２７において、ＴREは、再エンコードコントロール期間を示し、ＯＳＴAは、オリジナルストリームＡを示し、ＳＴRE' は再エンコードの対象となる再エンコード対象ストリームを示している。尚、この再エンコード対象ストリームＳＴRE'とは実際に再エンコードされた再エンコードストリームＳＴREとは異なり、単純なスプライス処理を行った場合にこのようなストリームＳＴRE'になると想定されるストリームを示している。また、ＯＳＴBは、オリジナルストリームＢを示し、ＳＰVBVは、ＶＢＶバッファにおけるスプライスポイントを示し、ＳＰはストリームにおけるスプライスポイントを示している。

図２７（ａ）に示されるように、スプライス処理の対象となるストリームＳＴRE'のＶＢＶバッファの軌跡は、スプライスポイントＳＰの前では、ストリームＡ（ＳＴA ）のＶＢＶバッファのデータ占有量の軌跡となり、スプライスポイントＳＰの後では、ストリームＢ（ＳＴB ）のＶＢＶバッファのデータ占有量の軌跡となる。ストリームＡとストリームＢとを単純にスプライシングすると、ストリームＡ（ＳＴA）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルと、ストリームＢ（ＳＴB）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルとは異なるので、ＶＢＶバッファのデータ占有量の軌跡が不連続になる。

ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の軌跡と、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の軌跡とが連続しているようなシームレスなスプライシングを実現するためには、図２７（ａ）のように、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の開始レベルを、ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の終了レベルに一致させなければいけない。つまり、それらのレベルを一致させるためには、図２７（ａ）に示される例では、再エンコード制御期間ＴREにおいて、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろう軌跡よりもレベルを低くしなければいけない。尚、このデータ占有量の軌跡が本来有していただであろう軌跡とは、供給されたストリームＢがスプライシング処理されなかったと仮定した場合のストリームＢに関するＶＢＶバッファのデータ占有量を軌跡であって、図２７（ａ）のＶＢＶOST＿Bの延長軌跡によって示される。

その結果、図２７（ａ）に示されるように、ＶＢＶバッファからの引き出しビット量が最も多いＩピクチャの引き出しタイミングで、このＶＢＶバッファがアンダーフローしてしまう。

本発明の実施の形態では、図２８（ａ）に示したようにＶＢＶバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、アンダーフローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。

また、スプライシングされたストリームのＶＢＶバッファのデータ占有量の軌跡が、スプラスポイントにおいて連続になるように、ストリームＢのＶＢＶバッファのデータ占有量の軌跡を単純に下げると、アンダーフローが発生するばかりでなく、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が不連続になってしまう。

本発明の実施の形態では、さらに、図２８（ａ）に示したように再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリームＯＳＴBに対応する
ＶＢＶバッファのデータ占有量の軌跡ＶＢＶOST＿Bを制御しない理由は、軌跡ＶＢＶOST
＿Bとは、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろ
う軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡ＶＢＶOST＿Bは、オリジナルストリームＯＳＴBがオーバーフロー又はアンダーフ
ローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとオーバーフロー又はアンダーフローが発生する可能性があるからである。

次に、ＶＢＶのアンダーフローの問題に関する説明と同じように、図２９を参照して、スプライスストリームのＶＢＶバッファがオーバーフローする問題について説明する。
図２９は、先に説明した図２６に対応するスプライス処理を行った場合の例であって、図２９（ａ）は、スプライシングストリームＳＴSP のＶＢＶバッファのデータ占有量の軌跡を示した図であって、図２９（ｂ）は、スプライシングストリームＳＴSP を示した図である。図２９において、ＴREは、スプライシング制御されるスプライス期間を示し、ＯＳＴAは、オリジナルストリームＡを示し、ＳＴREは再エンコード対象ストリームを示し、ＯＳＴBは、オリジナルストリームＢを示し、ＳＰVBVは、ＶＢＶバッファにおけるスプライスポイントを示し、ＳＰはストリームにおけるスプライスポイントを示している。

図２９（ａ）に示されるように、スプライスされた再エンコード対象ストリームＳＴRE'のＶＢＶバッファの軌跡は、スプライスポイントＳＰの前では、ストリームＡ（ＳＴA ）のＶＢＶバッファのデータ占有量の軌跡となり、スプライスポイントＳＰの後では、ストリームＢ（ＳＴB ）のＶＢＶバッファのデータ占有量の軌跡となる。ストリームＡとストリームＢとを単純にスプライシングすると、ストリームＡ（ＳＴA ）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルと、ストリームＢ（ＳＴB ）のＶＢＶバッファのデータ占有量のスプライスポイントにおけるレベルとは異なるので、ＶＢＶバッファのデータ占有量の軌跡が不連続になる。

ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の軌跡と、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の軌跡とが連続しているようなシームレスなスプライシングを実現するためには、図２９（ａ）のように、スプライスポイントにおけるストリームＢのＶＢＶのデータ占有量の開始レベルを、ストリームＡのスプライスポイントにおけるＶＢＶのデータ占有量の終了レベルに一致させなければいけない。つまり、それらのレベルを一致させるためには、図２９（ａ）に示される例では、再エンコード処理制御期間ＴREにおいて、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろう軌跡よりもレベルを高くしなければいけない。尚、このデータ占有量の軌跡が本来有していただであろう軌跡とは、供給されたストリームＢがスプライシング処理されなかったと仮定した場合のストリームＢに関するＶＢＶバッファのデータ占有量を軌跡であって、図２９（ａ）のＶＢＶOST＿Bの延長軌跡によって示される。

その結果、図２９（ａ）に示されるように、ＶＢＶバッファからの引き出しビット量が少ないＢピクチャやＰピクチャのいくつかが連続してＶＢＶバッファから引き出された後に、このＶＢＶバッファがオーバーフローしてしまう。

本発明の実施の形態では、図３０（ａ）に示したようにＶＢＶバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、オーバーフローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。

また、スプライシングされたストリームのＶＢＶバッファのデータ占有量の軌跡が、スプラスポイントにおいて連続になるように、ストリームＢのＶＢＶバッファのデータ占有量の軌跡を単純に上げると、オーバーフローが発生するばかりでなく、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が不連続になってしまう。

本発明の実施の形態では、さらに、図３０（ａ）に示したように再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとの切り替わりポイントで、ＶＢＶバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリームＯＳＴBに対応する
ＶＢＶバッファのデータ占有量の軌跡ＶＢＶOST＿Bを制御しない理由は、軌跡ＶＢＶOST
＿Bとは、ストリームＢのＶＢＶバッファのデータ占有量の軌跡が本来有していたであろ
う軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡ＶＢＶOST＿Bは、オリジナルストリームＯＳＴBがオーバーフロー又はアンダーフ
ローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとオーバーフロー又はアンダーフローが発生する可能性があるからである。

次に、上述したＶＢＶバッファのアンダーフロー又はオーバーフローを回避する本発明のスプライス制御方法、及びＶＢＶバッファのデータ占有量が不連続にならない本発明のスプライス制御方法について説明する。

図２７から図３０において、vbv＿underは、ＶＢＶバッファのアンダーフロー量を示し、vbv＿overは、ＶＢＶバッファのオーバーフロー量を示し、vbv＿gapは、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとのスイッチングポイントにおけるＶＢＶバッファのギャップ値を示すデータである。

まず、スプライスコントローラ１３は、ストリームカウンタ１１から供給されたストリームＡのビットカウント値及びストリームＢのビットカウント値に基いて、オリジナルストリームＯＳＴAのＶＢＶバッファのデータ占有量の軌跡、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡、及びストリームＡとストリームＢとを単純にスプライシングした場合の再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を演算する。各ＶＢＶバッファのデータ占有量の軌跡の演算は、プレゼンテーション時間毎に、ストリームカンウンタ１１から供給されるビットカウント値のから、プレゼンテーション時間に応じてＶＢＶバッファから出力されるビット量を減算することによって容易に演算することができる。従って、スプライスコントローラ１３は、オリジナルストリームＯＳＴAのＶＢＶバッファのデータ占有量の軌跡、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡、及びストリームＡとストリームＢとを単純にスプライシングした場合の再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を仮想的に把握することができる。

次に、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を参照することによって、再エンコード対象ストリームＳＴRE'のアンダーフロー量（vbv＿under）又はオーバーフロー量（vbv＿over）を演算する。さらに、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡（ＶＢＶOST＿B）とを参照することによって、 再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとのスイッチングポイントにおけるＶＢＶバッファのギャップ値（vbv＿gap）を演算する。

そして、スプライスコントローラ１３は、以下の式（１）及び（２）により目標符号量のオフセット量vbv＿off を求める。

vbv＿off ＝ −（ vbv＿under - vbv＿gap ） ・・・（１）
vbv＿off ＝ ＋（ vbv＿over - vbv＿gap ） ・・・（２）

尚、図２７（ａ）に示した例のようにＶＢＶバッファがアンダーフローする場合には、式（１）を使用してオフセット量vbv＿off を演算し、図２９（ａ）に示した例のようにＶＢＶバッファがオーバーフローする場合には、式（２）を使用してオフセット量vbv＿off を演算する。

スプライスコントローラ１３は、次に、式（１）または式（２）によって求めたオフセット量vbv＿offを使用して、以下の式（３）によって、目標符号量（目標ビット量）ＴＢP0を求める。

なお、この目標ビット量ＴＢP0は、再エンコード処理を行なうピクチャに対して割当てられる目標ビット量を示している値である。（３）において、GB＿Aは、ストリームＡにおけるピクチャＡn-P0からピクチャＡ(n-P0)+n0までのいずれかのピクチャのビット発生量を示す値であって、ΣGB＿A(n-P0)+iは、ピクチャＡn-P0からピクチャＡ(n-P0)+n0までの各ピクチャの発生ビット量を合計した値である。同様に、式（３）において、GB＿Bは、ストリームＢにおけるピクチャＢm-P0からピクチャＢ(m-P0)-m0までのいずれかのピクチャの発生ビット量を示す値であって、ΣGB＿B(m-P0)-i は、ピクチャＢm-P0からピクチャＢ(m-P0)-m0までの各ピクチャのビット発生量を合計した値である。

即ち、式（３）によって示される目標符号量ＴＢP0は、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0の合計発生ビット量に、ＶＢＶのオフセット値vbv＿offを加算した値である。このように、オフセット値vbv＿offを加算して目標ビット量ＴＢP0を補正することによって、再エンコード対象ストリームＳＴSPとオリジナルストリームＯＳＴBの切換えポイントにおけるデータ占有量の軌跡のギャップを０にすることができる。よって、つなぎめの無いシームレスなスプライシングを実現することができる。

次に、スプライスコントローラ１３は、式（３）に基いて得られた目標ビット量ＴＢP0を、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対して割り当てる。通常は、目標ビット量ＴＢP0を、単純にＩピクチャ：Ｐピクチャ：Ｂピクチャが４：２：１の比率になるように分配するように、各ピクチャの量子化特性を決定している。

しかしながら、本発明のスプライシング装置では、単純にＩピクチャ：Ｐピクチャ：Ｂピクチャに対して４：２：１の固定比率で目標ビット量ＴＢP0を分配するような量子化特性を用いるのではなく、各ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0の過去の量子化ステップ及び量子化マトリックス等の量子化特性を参照して、新たな量子化特性を決定する。具体的には、エンコードコントローラ４３は、ストリームＡ及びストリームＢに含まれている量子化ステップや量子化マトリクスの情報を参照して、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理時の量子化特性と大きく異なることがないように、再エンコード時の量子化特性を決定する。ただし、ピクチャの再構成によりピクチャタイプが変更されたピクチャに関しては、量子化ステップや量子化マトリクスの情報を参照せずに、再エンコード時に新たに量子化特性を演算する。

図２８は、図２７において説明したＶＢＶバッファのアンダーフローの問題を解決するために、スプライスコントローラ１３において演算された目標ビット量ＴＢP0によって再エンコード処理を行った場合のＶＢＶバッファのデータ占有量を示すための図である。また、図３０は、図２９において説明したＶＢＶバッファのオーバーフローの問題を解決するために、スプライスコントローラ１３において演算された目標ビット量ＴＢP0によって再エンコード処理を行った場合のＶＢＶバッファのデータ占有量を示すための図である

よって、再エンコードされた後の再エンコードストリームＳＴRE は、図２８及び図３０に示されるように、図２７（ａ）における再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、図２８（ａ）における再エンコードストリームＳＴRE のＶＢＶバッファのデータ占有量の軌跡とは似た軌跡になり、図２９（ａ）における再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、図３０（ａ）における再エンコードストリームＳＴRE のＶＢＶバッファのデータ占有量の軌跡とは似た軌跡になる。

次に、本実施の形態に係るスプライシング装置及び編集装置の動作について、図３１及び図３２を参照して説明する。また、本実施の形態は、ＩＳＯ１３８１８−２，ＩＳＯ１１１７２−２のＡｎｎｅｘＣの規定とＩＳＯ１３８１８−１のＡｎｎｅｘＬの規定を満たしているものである。

まず、ステップＳ１０において、スプライスコントローラ１３は、ストリームＳＴA ，ＳＴB を任意のピクチャ位置でスプライスするためのスプライスポイントｐ0及びスプライシング処理における再エンコード区間ｎ0 ，ｍ0を受け取る。実際には、オペレータが外部からこれらのパラメータを入力することになるが、再エンコード区間ｎ0 ，ｍ0については、ストリームのＧＯＰの構成等に応じて自動で設定するようにしても良い。なお、以下の説明では、スプライス点において、ストリームＳＴA からストリームＳＴB に切り換える場合を例にとって説明するが、もちろん逆でもかまわない。

ステップＳ１１において、スプライスコントローラ１３は、ストリームＳＴA及び ストリームＳＴBを、それぞれ、バッファメモリ１０に一時的に記憶されるようにバッファメモリ１０の書込み動作を制御すると共に、プレゼンテーションタイムを基準にしてストリームＳＴA及び ストリームＳＴBのスプライシングポイントの位相が同期するように、バッファメモリ１０の読み出し動作を制御する。

ステップＳ１２において、スプライスコントローラ１３は、ストリームＳＴAに設定されたスプライスポイントのピクチャＡn-P0よりも未来のピクチャを出力しないように、ストリームＳＴAのピクチャを選択し、ストリームＳＴBに設定されたスプライスポイントのピクチャＢm-P0よりも過去のピクチャを出力しないように、ストリームＳＴBのピクチャを選択する。例えば、図２５（ａ）及び図２５（ｂ）に示された例では、ピクチャＡ(n-P0)-2であるＰピクチャは、ストリームＳＴA上では、スプライスポイントのピクチャＡn-P0よりは過去であるが、プレゼンテーション順では、ピクチャＡn-P0よりは未来のピクチャである。よって、このピクチャＡ(n-P0)-2であるＰピクチャは、出力されない。また、図２５（ｃ）及び（ｄ）に示された例では、ピクチャＢ(m-P0)+2及びピクチャＢ(m-P0)+1であるＢピクチャは、ストリームＳＴB上では、スプライスポイントのピクチャＢm-P0よりは未来であるが、プレゼンテーション順では、ピクチャＢm-P0よりは過去のピクチャである。よって、この、ピクチャＢ(m-P0)+2及びピクチャＢ(m-P0)+1であるＢピクチャは、出力されない。なお、スプライスコントローラ１３がデコーダ１４Ａ、１４Ｂを制御することによって、このステップにおいて選択されなかったピクチャは、エンコーダ１６には供給されない。

このように、プレゼンテーション順を基準として出力すべきピクチャを選択しているので、スプライシング処理を行なったとしても図９において説明したようなプレゼンテーション順に関する問題は発生することは無い。

ステップＳ１３において、スプライスコントローラ１３は、再エンコード処理を行なう際の、ピクチャの再構成処理のために必要な符号化パラメータを設定するための処理をスタートする。このピクチャ再構成処理は、以下のステップＳ１４からステップＳ３０まで処理のことを意味し、この処理において設定されるパラメータは、ピクチャタイプ、予測方向及び動きベクトル等である。

ステップＳ１４において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＡn-P0であるか否かを判断する。もし、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＡn-P0である場合には、次のステップＳ１５に進む。一方、そうでない場合、つまり、ピクチャ再構成処理の対象となっているピクチャがピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1である場合には、ステップＳ２０に進む。

ステップＳ１５において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャであるのか、Ｐピクチャであるのか、又はＩピクチャであるのかを判断する。ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャである場合には、ステップＳ１７に進み、ピクチャ再構成処理の対象となっているピクチャが、Ｐ又はＩピクチャである場合には、ステップＳ１８に進む。

ステップＳ１６では、スプライスコントローラ１３は、スプライシングされたスプライスストリームＳＴSPにおいて、ピクチャＡn-P0の前に２つ以上のＢピクチャが存在するか否かを判断する。例えば、図２６（ｂ）に示されるように、ピクチャＡn-P0の前に、２つのＢピクチャ（ピクチャＡ(n-P0)+2とピクチャＡ(n-P0)+3 ）がある場合には、ステップＳ１８に進む。そうで無い場合には、ステップＳ１７に進む。

ステップＳ１７では、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＡn-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ａにおける過去のエンコード処理において設定されたピクチャタイプ（Ｂピクチャ）と同じピクチャタイプを設定する。よって、後述する再エンコード処理時に、ピクチャＡn-P0を再びＢピクチャとして符号化することになる。

ステップＳ１８において、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプをＢピクチャからＰピクチャに変更する。このようにピクチャタイプを変更する理由について説明する。このステップＳ１８のステップに到達するということは、Ｂピクチャ（ピクチャＡn-P0）の前に、２つのＢピクチャ（図８におけるピクチャＡ(n-P0)+2とピクチャＡ(n-P0)+3 ）が存在していることを意味している。即ち、再エンコード対象スト
リームＳＴRE'において、３つのＢピクチャが並んでいるということである。通常のＭＰ
ＥＧデコーダでは、予測されているピクチャを一時的に記憶するために、２つのフレームメモリしか有していないので、３つのＢピクチャがストリーム上において連続して配列されている場合には、最後のＢピクチャをデコードできないことになってしまう。よって、図２６において説明したように、ピクチャＡn-P0のピクチャタイプをＢピクチャからＰピクチャに変更することによって、ピクチャＡn-P0を確実にデコードすることができる。

ステップＳ１９では、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＡn-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ａにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ又はＰピクチャ）と同じピクチャタイプを設定する。

ステップＳ２０では、スプライスコントローラ１３は、ピクチャＡn-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＡn-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ａにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ、Ｐピクチャ又はＢピクチャ））と同じピクチャタイプを設定する。

ステップＳ２１では、スプライスコントローラ１３は、各ピクチャに対して予測方向の設定及び動きベクトルに関するパラメータの設定を行なう。例えば、図２５及び図２６の例において示されているように、ピクチャ再構成処理の対象となっているピクチャＡn-P0がオリジナルストリームＯＳＴAにおいてＢピクチャであった場合には、ピクチャ再構成処理の対象となっているピクチャＡn-P0は、Ａ(n-P0)+1のＰピクチャ及びＡ(n-P0)-2のＰピクチャの両方のピクチャから双方向予測されていたピクチャである。つまり、エンコーダ１Ａにおける過去のエンコード処理において、ピクチャＡn-P0は、Ａ(n-P0)+1のＰピクチャ及びＡ(n-P0)-2のＰピクチャの両方のピクチャから双方向予測さされ生成されたピクチャであるということである。ステップＳ１２において説明したように、Ａ(n-P0)-2のＰピクチャはスプライシングストリームとしては出力されないので、ピクチャ再構成処理の対象となっているピクチャＡn-P0の逆方向予測ピクチャとして、Ａ(n-P0)-2のＰピクチャを指定することはできない。

よって、ステップＳ１７においてピクチャタイプの変更無しと設定されたピクチャＡn-P0（Ｂピクチャ）に対しては、Ａ(n-P0)+1のＰピクチャのみを予測するようような順方向片側予測が行われなくてはいけない。従って、この場合には、スプライスコントローラ１３は、ピクチャＡn-P0に対して、Ａ(n-P0)+1のＰピクチャのみを予測するようような順方向の片側予測を設定する。また、ステップＳ１８においてＢピクチャからＰピクチャに変更されたピクチャＡn-P0についても、同様に、Ａ(n-P0)+1のＰピクチャのみを予測するような片側予測のパラメータを設定する。

ステップＳ１９においてピクチャタイプの変更無しと設定されたピクチャＡn-P0（Ｐピクチャ）においては、予測方向は変更されない。つまりこの場合には、スプライスコントローラ１３は、ピクチャＡn-P0に対して、エンコーダ１Ａにおける過去のエンコード処理時に予測したピクチャと同じピクチャのみを予測するようような順方向の片側予測を設定する。

ステップＳ２０においてピクチャタイプの変更無しと設定されたピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1のピクチャについては、予測方向の変更は必要ない。つまりこの場合には、スプライスコントローラ１３は、ピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1に対して、エンコーダ１Ａにおける過去のエンコード処理時に予測したピクチャと同じピクチャを予測するようような予測方向を設定する。但し、ピクチャＡ(n-P0)+1及びピクチャＡn-P0の両ピクチャが、順方向のＰピクチャ又はＩピクチャと、逆方向のＩピクチャ又はＰピクチャの双方向のピクチャから予測されているＢピクチャである場合には、ピクチャＡn-P0だけでは無く、ピクチャＡ(n-P0)+1も順方向のピクチャのみから予測するような片側予測に変更されなければいけない。

さらに、このステップＳ２１において、スプライスコントローラ１３は、新しく設定された予測方向に基いて、各ピクチャに対してエンコーダ１Ａにおける過去のエンコード処理によって設定された動きベクトルを、再エンコード処理時に再利用するか否かを決定する。

上述したように予測方向の変更の無かったＰピクチャやＢピクチャについては、再エンコード処理時において、エンコーダ１Ａにおける過去のエンコード処理に使用した動きベクトルをそのまま使用する。例えば、図２３及び図２６に示した例では、ピクチャＡ(n-P0)+n0からピクチャＡ(n-P0)+1については、それぞれエンコーダ１Ａにおける過去のエンコード処理に使用した動きベクトルを、再エンコード時に再利用する。

また、ピクチャＡ(n-P0)+1及びピクチャＡn-P0が、順方向のＰピクチャ又はＩピクチャと、逆方向のＩピクチャ又はＰピクチャの双方向から予測されているＢピクチャである場合には、順方向のピクチャのみから予測するような片側予測に変更されているので、それに伴なって、順方向のピクチャに対応する動きベクトルのみを使用する必要がある。つまり、スプライスコントローラ１３は、このステップＳ２１において、ピクチャＡ(n-P0)+1及びピクチャＡn-P0がＢピクチャである場合には、これらのピクチャに対して、順方向のピクチャに関する動きベクトルを使用し、逆方向のピクチャの動きベクトルを使用しないという設定を行なう。

もし、エンコーダ１Ａにおける過去のエンコード処理において、ピクチャＡn-P0が未来のピクチャであるＡ(n-P0)-2からのみ逆方向の片側予測されていたピクチャであったならば、再エンコード処理時において、エンコーダ１Ａにおける過去のエンコード処理時に生成した動きベクトルは一切使用せずに、Ａ(n-P0)+1に対応する新たな動きベクトルを生成する。つまり、スプライスコントローラ１３は、このステップＳ２１において、過去の動きベクトルを一切使用しないという設定を行なう。

次に、ステップＳ２２において、スプライスコントローラ１３は、ピクチャＡ(n-P0)+n0からピクチャＡn-P0の全てのピクチャに対して、ピクチャタイプ、予測方向及び過去の動きベクトルに関するパタメータが設定されたか否かを判断する。

ステップＳ２３において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＢm-P0であるか否かを判断する。もし、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャＢm-P0である場合には、次のステップＳ２４に進む。一方、そうでない場合、つまり、ピクチャ再構成処理の対象となっているピクチャがピクチャＢ(m-P0)-1からピクチャＢ(m-P0)+m0である場合には、ステップＳ２８に進む。

ステップＳ２４において、スプライスコントローラ１３は、ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャであるのか、Ｐピクチャであるのか、又はＩピクチャであるのかを判断する。ピクチャ再構成処理の対象となっているピクチャが、Ｂピクチャである場合には、ステップＳ２５に進み、ピクチャ再構成処理の対象となっているピクチャが、Ｐピクチャである場合には、ステップＳ２６に進み、ピクチャ再構成処理の対象となっているピクチャがＩピクチャである場合には、ステップＳ２７に進む。

ステップＳ２５では、スプライスコントローラ１３は、図２２及び図２３に示された例のように、再エンコード処理時におけるピクチャＢm-P0のピクチャタイプの変更は必要無しと判断し、ピクチャＢm-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ｂにおける過去のエンコード処理において設定されたピクチャタイプ（Ｂピクチャ）と同じピクチャタイプを設定する。

ステップＳ２６において、スプライスコントローラ１３は、図２５及び図２６に示した例のように、ピクチャＢm-P0のピクチャタイプをＰピクチャからＩピクチャに変更する。このようにピクチャタイプを変更する理由について説明する。Ｐピクチャは、順方向のＩピクチャ又はＰピクチャから予測される片側予測のピクチャであるので、ストリーム上においてそれらの予測されたピクチャよりは必ず後ろの位置に存在するピクチャである。もし、ストリームＳＴBけるスプライスポイントの最初のピクチャＢm-P0がＰピクチャであ
るとすると、このピクチャＢm-P0より前に存在するストリームＳＴAの順方向のピクチャ
から予測しなければいけない。ストリームＳＴAとストリームＳＴBとは全く異なるので、最初のピクチャＢm-P0のピクチャタイプをＰピクチャに設定すると、このピクチャをデコードしたとしても画質のかなり劣化した絵になることはあきらかである。

よって、スプライスコントローラ１３は、ストリームＳＴBけるスプライスポイントの最初のピクチャＢm-P0のピクチャタイプがＰピクチャであった場合には、このピクチャＢm-P0のピクチャタイプをＩピクチャに変更する。

ステップＳ２７において、スプライスコントローラ１３は、ピクチャＢm-P0のピクチャタイプの変更の必要は無しと判断し、ピクチャＢm-P0の再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ｂにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ）と同じピクチャタイプを設定する。

ステップＳ２８では、スプライスコントローラ１３は、ピクチャＢ(m-P0)-1からピクチャＢ(m-P0)-m0のピクチャタイプの変更の必要は無しと判断し、それらのピクチャの再エンコード処理時におけるピクチャタイプとして、エンコーダ１Ｂにおける過去のエンコード処理において設定されたピクチャタイプ（Ｉピクチャ、Ｐピクチャ又はＢピクチャ）と同じピクチャタイプを設定する。

ステップＳ２９では、スプライスコントローラ１３は、各ピクチャに対して予測方向の設定及び動きベクトル関する設定を行なう。例えば、図２２及び図２３に示された例のように、ピクチャ再構成処理の対象となっているピクチャＢm-P0がオリジナルストリームＯＳＴBにおいてＢピクチャであった場合には、ピクチャ再構成処理の対象となっているピクチャＢm-P0は、Ｂ(m-P0)+1のＰピクチャ及びＢ(m-P0)-2のＩピクチャの両方のピクチャから双方向予測されていたピクチャである。つまり、エンコーダ１Ｂにおける過去のエンコード処理において、ピクチャＢm-P0は、Ｂ(m-P0)+1のＰピクチャ及びＢ(m-P0)-2のＩピクチャの両方のピクチャから双方向予測されて生成されたピクチャであるということである。ステップＳ１２において説明したように、Ｂ(m-P0)+1のＰピクチャはスプライシングストリームとしては出力されないので、ピクチャ再構成処理の対象となっているピクチャＢm-P0の順方向予測ピクチャとして、Ｂ(m-P0)+1のＰピクチャを指定することはできない。

よって、ステップＳ２５においてピクチャタイプの変更無しと設定されたピクチャＢm-P0（Ｂピクチャ）に対しては、Ｂ(m-P0)-2のＩピクチャのみを予測するようような逆方向片側予測が行われなくてはいけない。よってこの場合には、スプライスコントローラ１３は、ピクチャＢm-P0に対して、Ｂ(m-P0)-2のＩピクチャのみを予測するようような逆方向の片側予測を行なうように予測方向を設定する。

ステップＳ２８においてピクチャタイプの変更無しと設定されたピクチャＢ(m-P0)+m0からピクチャＢ(m-P0)+1のピクチャについては、予測方向の変更は必要ない。つまりこの場合には、スプライスコントローラ１３は、ピクチャＢ(m-P0)+m0からピクチャＢ(m-P0)+1に対して、エンコーダ１Ｂにおける過去のエンコード処理時に予測したピクチャと同じピクチャを予測するようような予測方向を設定する。但し、Ｂ(m-P0)-1がＢピクチャである場合には、ピクチャＢm-P0の場合と同様に、ピクチャＢ(m-P0)-1に対して、Ｂ(m-P0)-2のＩピクチャのみを予測するようような逆方向の片側予測を行なうような予測方向が設定される。

さらに、このステップＳ２９において、スプライスコントローラ１３は、新しく設定された予測方向に基いて、各ピクチャに対してエンコーダ１Ｂにおける過去のエンコード処理によって設定された動きベクトルを、再エンコード処理時に再利用するか否かを決定する。

上述したように予測方向の変更の無かったＰピクチャやＢピクチャについては、再エンコード処理時において、エンコーダ１Ｂにおける過去のエンコード処理に使用した動きベクトルをそのまま使用する。例えば、図２２及び図２３においては、Ｂ(m-P0)-2のＩピクチャからＢ(m-P0)-m0までのＰピクチャまでの各ピクチャに対しては、過去のエンコード時に使用した動きベクトルをそのまま使用する。

エンコーダ１Ｂにおける過去のエンコード処理において、Ｂ(m-P0)+1のＰピクチャ及びＢ(m-P0)-2のＩピクチャの両方のピクチャから双方向予測されていたピクチャＢm-P0及びピクチャＢ(m-P0)-1に対しては、Ｂ(m-P0)-2のＩピクチャのみを予測するような片側予測に予測方向が変更されているので、ピクチャＢ(m-P0)+1に対応する動きベクトルを使用せずに、ピクチャＢm-P0に対してはピクチャＢ(m-P0)-2に対応する動きベクトルのみを使用する必要がある。つまり、スプライスコントローラ１３は、このステップＳ２９において、ピクチャＢm-P0及びピクチャＢ(m-P0)-1に対しては、一方向のみの過去の動きベクトルを再使用し、他方の過去の動きベクトルを使用しないという設定を行なう。

次に、ステップＳ３０において、スプライスコントローラ１３は、ピクチャＢm-P0からピクチャＢ(m-P0)-m0全てのピクチャに対して、ピクチャタイプ、予測方向及び動きベクトルに関するパラメータが設定されたか否かを判断する。

ステップＳ３１において、スプライスコントローラ１３は、既に説明した式（３）に基いて、再エンコード期間に発生すべき目標ビット量（ＴＢP0）を演算する。以下に具体的に説明する。まず、スプライスコントローラ１３は、ストリームカウンタ１１から供給されたストリームＡのビットカウント値及びストリームＢのビットカウント値に基いて、オリジナルストリームＯＳＴAのＶＢＶバッファのデータ占有量の軌跡、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡、及びストリームＡとストリームＢとを単純にスプライシングした場合の再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を演算する。

次に、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡を解析することによって、再エンコード対象ストリームＳＴRE'のアンダーフロー量（vbv＿under）又はオーバーフロー量（vbv＿over）を演算する。さらに、スプライスコントローラ１３は、仮想的に求められた再エンコード対象ストリームＳＴRE'のＶＢＶバッファのデータ占有量の軌跡と、オリジナルストリームＯＳＴBのＶＢＶバッファのデータ占有量の軌跡（ＶＢＶOST＿B）とを比較することによって、再エンコード対象ストリームＳＴRE'とオリジナルストリームＯＳＴBとのスイッチングポイントにおけるＶＢＶバッファのギャップ値（vbv＿gap）を演算する。
続いて、スプライスコントローラ１３は、既に説明した式（１）及び（２）により目標符号量のオフセット量vbv＿off を求め、さらに、式（１）または式（２）によって求めたオフセット量vbv＿offを使用して、既に説明した式（３）によって、目標符号量（目標ビット量）ＴＢP0を求める。

次に、ステップＳ３２において、スプライスコントローラ１３は、式（３）に基いて得られた目標ビット量ＴＢP0を、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対して割り当てに基いて、各ピクチャに対して設定される量子化特性を決定する。本発明のスプライシング装置では、各ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0のエンコーダ１Ａ，１Ｂにおける過去の量子化ステップ及び量子化マトリックス等の量子化特性を参照して、新たな量子化特性を決定する。具体的には、スプライシングコントローラ１３は、まず、ストリームＡ及びストリームＢに含まれている量子化ステップや量子化マトリクス等のエンコーダ１Ａ，１Ｂにおける過去の符号化処理において生成された符号化パラメータ情報をストリーム解析部１２から受取る。

そして、スプライシングコントローラ１３は、式（３）に基いて得られた目標ビット量ＴＢP0を、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対して割り当てられた符号量のみから量子化特性を決定するのでは無く、この目標ビット量ＴＢP0から割当てられた符号量とこれらの過去の符号化パラメータ情報を参照して、エンコーダ１Ａ，１Ｂにおけるエンコード時の量子化特性と大きく異なることがないように、再エンコード時の量子化特性を決定する。ただし、ステップＳ１８やステップＳ２６において説明したように、ピクチャの再構成処理によりピクチャタイプが変更されたピクチャに関しては、量子化ステップや量子化マトリクスの情報を参照せずに、再エンコード処理時に新たに量子化特性を演算する。

次に、ステップＳ３３において、スプライスコントローラ１３は、再エンコード期間に含まれるピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0をデコードする。

次に、ステップＳ３４において、スプライスコントローラ１３、ステップＳ３２において各ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0に対してそれぞれ設定された量子化特性を使用して、発生ビット量のコントロールを行いながら、ピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0 を再エンコードする。

この再エンコード処理において、スプライスコントローラ１３は、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理において使用した動きベクトルを再利用する場合には、スイッチ４４を介して動き補償部４１に供給するようにエンコードコントローラに制御信号を与え、エンコーダ１Ａ，１Ｂにおける過去のエンコード処理において使用した動きベクトルを使用しない場合には、新しく動き検出部４２において生成された動きベクトルをスイッチ４４を介して動き補償部４１に供給するようにエンコードコントローラ４３を制御する。その際、エンコードコントローラ４３は、スプライスコントローラ１３からのピクチャタイプの情報に基づいて、予測画像データの生成に必要なピクチャがフレームメモリ３９，４０に保持されるようにフレームメモリ３９，４０を制御する。また、エンコードコントローラ４３は、スプライスコントローラ１３から供給された再エンコード区間内の各ピクチャに対して設定された量子化特性を、量子化回路３４と逆量子化回路３６に対して設定する。

ステップＳ３５において、スプライスコントローラ１３は、スイッチ１７を制御して、バッファメモリ１０より出力されるストリームＳＴA ，ＳＴB およびＭＰＥＧエンコーダ１６より出力される再エンコード区間内の新たなストリームＳＴREのうちの一つを選択的に出力することによって、再エンコード区間の前におけるストリームＳＴA と再エンコード区間内の新たなストリームＳＴREと再エンコード区間の後におけるストリームＳＴB とを連結して、スプライスされたストリームＳＴSPとして出力する。

本実施の形態では、このようにＭＰＥＧエンコーダ１６において目標ビット量ＴＢP0に従ってレートコントロールしながら再エンコードを行って得られた再エンコード区間内の新たなストリームＳＴREを、スイッチ１７によって、元のストリームにおけるピクチャＡ(n-P0)+n0 〜ピクチャＢ(m-P0)-m0 の位置にはめ込む。これにより、シームレスなスプライスが実現される。

ストリームＳＴA にストリームＳＴB をスプライスするとき、スプライス後のストリームＳＴB で、ＶＢＶバッファのオーバフロー、アンダフローを起こさないためには、ストリームＳＴB のスプライス後のＶＢＶバッファの状態を、スプライス以前の状態に合わせることが、連続なピクチャプレゼンテーションを保証するためのバッファ制御上の条件となる。本実施の形態では、この条件を、原則として、上述のような新たな目標符号量（目標ビット量）の設定によって満たすようにする。

以上説明したように、本実施の形態によれば、複数のストリームのスプライス点を含む再エンコード区間内における各ストリームを復号化して、得られた再エンコード区間内の画像データを新たな目標符号量に従って再エンコードして、再エンコード区間内の新たなストリームを生成し、再エンコード区間の前後における元のストリームと新たなストリームとを連結して出力するようにしたので、復号化装置（ＩＲＤ）側のＶＢＶバッファを破綻させず、且つスプライス点前後でピクチャプレゼンテーションが連続で画像を破綻させることもなく、ストリーム上の任意のピクチャ単位で、複数の映像素材をシームレスにスプライスすることができる。

また、本実施の形態では、再エンコード時に、動きベクトル等の復号化の際に使用される情報を再利用するようにしている。すなわち、本実施の形態では、スプライス点近傍において、動き検出が無効になるピクチャ以外のピクチャについては、以前のエンコード時に検出された動きベクトル等の動き検出の情報を再利用しているので、再エンコード処理によって画質が劣化することは無い。

更に、再エンコード時における量子化特性を決定する際には、復号化の際に使用される量子化ステップや量子化マトリクスの情報を参照するようにしている。従って、本実施の形態によれば、デコードと再エンコードの繰り返しによる画質の劣化を極力抑えることができ、画像再構成の精度を保証することができる。
また、本実施の形態によれば、複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリームを復号化して所定区間内の画像データを出力し、所定区間内の画像データを、新たな目標符号量に従って符号化して、所定区間内の新たな符号化ビットストリームを出力し、所定区間内の元の符号化ビットストリームを、所定区間内の新たな符号化ビットストリームに置き換えて、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとを連結して出力するようにしたので、復号化装置側の入力バッファに対応する仮想的バッファの破綻や画像の破綻をきたすことなく、符号化ビットストリーム上の任意のピクチャ単位で、複数の映像素材を接続することができるという効果を奏する。
また、元の符号化ビットストリームに含まれ、復号化の際に使用される情報を利用して符号化を行うようにしたので、更に、接続点近傍における画質劣化を低減することができるという効果を奏する。
また、元の符号化ビットストリームが双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われている場合に、所定区間内の画像データの符号化の際に、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って符号化を行うようにしたので、更に、双方向予測符号化方式による符号化を行う場合であっても画像の破綻をきたすことがないという効果を奏する。
また、復号化装置側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定するようにしたので、更に、仮想的バッファの破綻をより確実に防止することができるという効果を奏する。

なお、ＭＰＥＧ規格による圧縮符号化過程では、直交変換の演算精度や、ミスマッチ処理（ＤＣＴ係数の高域に誤差を入れる処理）等の非線形演算から、復号化の際に使用される情報の再利用だけでは抑えることのできない再構成誤差が持ち込まれる。そのため、再エンコード時に、復号化の際に使用される情報を再利用したとしても完全な画像の再構成はできない。従って、画質劣化が存在することを考慮すれば、デコード、再エンコードを行うのは、スプライス点を含むスプライス点近傍の一定区間のピクチャに留めるべきである。そこで、本実施の形態では、ストリームを全てデコード、再エンコードするのではなく、再エンコード区間を設定して、その区間だけ、デコード、再エンコードを行うようにしている。これによっても、画質の劣化を防止することができる。なお、再エンコード区間は、画質の劣化の程度等やＧＯＰ長やＧＯＰ構造に応じて自動出で設定できるようにしても良い。

なお、本発明は上記実施の形態に限定されず、例えば、再エンコード区間に対する新たな目標符号量の算出方法は、式（１）〜（３）に示した方法に限らず、適宜に設定可能である。

ＭＰＥＧ規格に従った伝送システムの概略の構成を示すブロック図である。 ＶＢＶバッファについて説明するための説明図である。 ＭＰＥＧ規格の双方向予測符号化方式において必要となるエンコーダにおけるピクチャの並べ替えについて説明するための説明図である。 エンコーダにおけるピクチャの並べ替えと符号化処理との関係を表す説明図である。 デコーダにおけるピクチャの並べ替えについて説明するための説明図である。 デコーダにおけるピクチャの並べ替えと復号化処理との関係を表す説明図である。 ＭＰＥＧ規格の双方向予測符号化方式における動き検出および動き補償について説明するための説明図である。 ストリームの単純なスプライスを行ったときのスプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係の一例を示す説明図である。 ストリームの単純なスプライスを行ったときのスプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係の他の例を示す説明図である。 ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の一例を示す説明図である。 ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の他の例を示す説明図である。 ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の更に他の例を示す説明図である。 ピクチャプレゼンテーションの順番、動き補償およびＶＢＶバッファの条件を満たす理想的なストリームスプライスの例を示す説明図である。 ＶＢＶバッファの制約を満たす正常なストリームを示す説明図である。 ＶＢＶバッファの制約を満たす正常な他のストリームを示す説明図である。 ２つのストリームを任意の位置で単純にスプライスした場合の一例を説明するための説明図である。 ２つのストリームを任意の位置で単純にスプライスした場合の他の例を説明するための説明図である。 ２つのストリームを任意の位置で単純にスプライスした場合の更に他の例を説明するための説明図である。 本発明の一実施の形態に係るスプライシング装置及びストリーム編集装置の構成を示すブロック図である。 図１９におけるＭＰＥＧデコーダとＭＰＥＧエンコーダの構成を示すブロック図である。 図１９におけるＭＰＥＧデコーダによってデコードして得られたプレゼンテーションビデオデータにおけるスプライス点および再エンコード区間の一例を示す説明図である。 図２１に示した例における２つのストリームのデコード前後のピクチャの並びを示す説明図である。 図２１に示した例におけるスプライス後のスプライスストリームのピクチャの並びを示す説明図である。 図１９におけるＭＰＥＧデコーダによってデコードして得られたプレゼンテーションビデオデータにおけるスプライス点および再エンコード区間の他の例を示す説明図である。 図２４に示した例におけるデコード前後の２つのストリームのピクチャの並びを示す説明図である。 図２４に示した例におけるスプライス後のスプライスストリームのピクチャの並びを示す説明図である。 ＶＢＶバッファのデータ占有量にアンダーフローが生じる例を示す説明図である。 図２７において説明したアンダーフローを、本発明のスプライシング装置によって改善した例を示す説明図である。 ＶＢＶバッファのデータ占有量にオーバフローが生じる例を示す説明図である。 図２９において説明したオーバーフローを、本発明のスプライシング装置によって改善した例を示す説明図である。 本発明のスプライシング装置及びストリーム編集装置の動作を説明するためのフローチャートである。 本発明のスプライシング装置及びストリーム編集装置の動作を説明するためのフローチャートである。

符号の説明

１Ａ，１Ｂ…エンコーダ、１０…バッファメモリ、１１…ストリームカウンタ、１２…ストリーム解析部、１３…スプライスコントローラ、１４Ａ，１４Ｂ…ＭＰＥＧデコーダ、１５…スイッチ、１６…ＭＰＥＧエンコーダ、１７…スイッチ、ＶＤA ，ＶＤB…ビデオデータ、ＳＴA，ＳＴB…符号化ストリーム、ＳＴRE…再エンコードストリーム、ＳＴSP…スプライシングされたストリーム、ｎ0，ｍ0，ｐ0…パラメータ。

Claims (15)

1. 第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する編集装置において、
   上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、
   上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、
   上記第１の画像データ及び上記第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、
   再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正手段と、
   上記目標符号量補正手段により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、上記再符号化手段の再符号化処理を制御する制御手段と、
   上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記再符号化手段により生成された上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段と
   を備えたことを特徴とする編集装置。
2. 上記編集手段は、上記第１の符号化ストリームに設定された第１の編集点に対して、プレゼンテーション時間軸において過去のピクチャを出力するとともに、上記第２の符号化ストリームに設定された第２の編集点に対して、プレゼンテーション時間軸において未来のピクチャを出力することにより、上記編集符号化ストリームを生成する
   ことを特徴とする請求項１記載の編集装置。
3. 上記第１の符号化ストリームにおける第１の編集点及び上記第２の符号化ストリームにおける第２の編集点を設定する編集点設定手段を更に備えた
   ことを特徴とする請求項１記載の編集装置。
4. 上記第１の編集点を含む所定区間及び上記第２の編集点を含む所定区間を設定する設定手段を更に備えた
   ことを特徴とする請求項１記載の編集装置。
5. 復号手段の入力バッファに対応する仮想バッファにおける、上記第１の符号化ストリーム及び上記第２の符号化ストリームのバッファ占有量及び再符号化処理の対象になる再符号化対象ストリームのバッファ占有量を演算し、演算されたバッファ占有量を参照することにより、上記仮想バッファのアンダーフロー量又は上記オーバーフロー量を演算するバッファ占有量演算手段と、
   上記バッファ占有量演算手段により演算された上記再符号化対象ストリームのバッファ占有量と、上記演算手段により演算された上記アンダーフロー量又は上記オーバーフロー量とを参照することにより、上記仮想バッファのギャップ値を演算するギャップ値演算手段とを更に備えた
   ことを特徴とする請求項１記載の編集装置。
6. 上記オフセット値演算手段は、アンダーフロー量又はオーバーフロー量と上記ギャップ値とから、上記目標符号量に対するオフセット値を演算する
   ことを特徴とする請求項５記載の編集装置。
7. 上記バッファ占有量演算手段は、上記第１の符号化ストリーム及び上記第２の符号化ストリームのビットカウント値に基づいて、上記第１の符号化ストリーム及び上記第２の符号化ストリームのバッファ占有量を演算する
   ことを特徴とする請求項５記載の編集装置。
8. 上記バッファ占有量演算手段は、上記第１の符号化ストリーム及び上記第２の符号化ストリームのビットカウント値に基づいて、上記第１の符号化ストリームと上記第２の符号化ストリームとを接続した場合における上記再符号化対象ストリームのバッファ占有量を演算する
   ことを特徴とする請求項５記載の編集装置。
9. 第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する編集方法において、
   上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、
   上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、
   上記第１の画像データ及び上記第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算工程と、
   再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正工程と、
   上記目標符号量補正工程により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、上記再符号化工程の再符号化処理を制御する制御工程と、
   上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記再符号化工程により生成された上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集工程と
   を含むことを特徴とする編集方法。
10. 第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化装置において、
    上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号手段と、
    上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、
    上記第１の画像データ及び上記第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、
    再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正手段と、
    上記目標符号量補正手段により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、上記再符号化手段の再符号化処理を制御する制御手段と
    を備えたことを特徴とする再符号化装置。
11. 第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化方法において、
    上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して、第２の画像データを生成する復号工程と、
    上記第１の画像データ及び上記第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、
    上記第１の画像データ及び上記第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算工程と、
    再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正工程と、
    上記目標符号量補正工程により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、上記再符号化工程の再符号化処理を制御する制御工程と
    を含むことを特徴とする再符号化方法。
12. 第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化装置において、
    上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して得られる第１の画像データ、ならびに上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して得られる第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化手段と、
    上記第１の画像データ及び上記第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、
    再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正手段と、
    上記目標符号量補正手段により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、上記再符号化手段の再符号化処理を制御する制御手段と
    を備えたことを特徴とする再符号化装置。
13. 第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する再符号化方法において、
    上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む所定区間を復号処理して得られる第１の画像データ、ならびに上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む所定区間を復号処理して得られる第２の画像データを、上記第１の編集点と上記第２の編集点とで接続して再符号化処理し、再符号化ストリームを生成する再符号化工程と、
    上記第１の画像データ及び上記第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算工程と、
    再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正工程と、
    上記目標符号量補正工程により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当てて再符号化処理するように、上記再符号化工程の再符号化処理を制御する制御工程と
    を含むことを特徴とする再符号化方法。
14. 第１の符号化ストリームと第２の符号化ストリームとをスプライシングポイントにおいてスプライシングするスプライシング装置において、
    上記第１の符号化ストリームに設定された第１のスプライシングポイントを含む所定区間を復号処理して得られる第１の画像データ及び上記第２の符号化ストリームに設定された第２のスプライシングポイントを含む所定区間を復号処理して得られる第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手段と、
    再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正手段と、
    上記目標符号量補正手段により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当て、上記第１の符号化ストリームと上記第２の符号化ストリームとをスプライシングするスプライシング手段と
    を備えたことを特徴とするスプライシング装置。
15. 第１の符号化ストリームと第２の符号化ストリームとをスプライシングポイントにおいてスプライシングするスプライシング方法において、
    上記第１の符号化ストリームに設定された第１のスプライシングポイントを含む所定区間を復号処理して得られる第１の画像データ及び上記第２の符号化ストリームに設定された第２のスプライシングポイントを含む所定区間を復号処理して得られる第２の画像データを再符号化処理する際の目標符号量に対するオフセット値を演算するオフセット値演算手工程と、
    再符号化処理する際の発生符号量と上記オフセット値とを用いて、上記目標符号量を補正する目標符号量補正工程と、
    上記目標符号量補正工程により補正された目標符号量に基づいて、上記再符号化対象ストリームの発生符号量を割り当て、上記第１の符号化ストリームと上記第２の符号化ストリームとをスプライシングするスプライシング工程と
    を含むことを特徴とするスプライシング方法。

Images