WO1999005864A1

WO1999005864A1 - Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage

Info

Publication number: WO1999005864A1
Application number: PCT/JP1998/003332
Authority: WO
Inventors: Hiromi Yoshinari
Original assignee: Sony Corporation
Priority date: 1997-07-25
Filing date: 1998-07-27
Publication date: 1999-02-04
Also published as: US20070047662A1; JP3736808B2; JP2005323386A; JP2005295587A; JP4088799B2; US8923409B2; KR20050103248A; KR20000068626A; EP0923243A1; CN1236522A; EP1467563A1; DE69841897D1; US20030067989A1; JP2005253116A; US7711051B2; CN1161989C; KR100604631B1; US8798143B2; KR100555164B1; EP1445773A1

Description

明細書 - 編集装置、編集方法、スプライシング装置、スプライシング方法、符号化装置及び符号化方法技術分野

本発明は、複数の映像素材を編集することによって編集された映像素材を生成する編集装置および方法、複数のビットストリームをスプライシングすることによってシ一ムレスなスプライシンダストリームを生成するビットストリームスプライシング装置及び方法、及び、ビデオデータを符号化する符号化装置及び方法に関する。背景技術

近年、大容量のディジタルデータを記録可能な光ディスクである D V D (ディジタル .バーサタイル ·ディスクまたはディジタル · ビデオ ·ディスク）のような蓄積メディアを用いて、圧縮符号化した画像データの記録や再生を行う記録再生システムや、複数の圧縮符号化された放送素材（プログラム）を多重化して伝送する多重伝送システムが提案されている。これらのシステムでは、 M P E G (Moving Picture Experts Group) 規格による画像データの圧縮符号化技術が利用されている。

この M P E G規格では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の 3つのタイプの符号化が行われ、各符号化タィプによる画像は、それぞれ I ピクチャ（intra coded picture ) 、 Pピクチャ (predictive coded pictureノおよひ βヒクテャ (bidirectionally predictive coded picture) と呼ばれる。また、 I， P， Bの各ピクチャを適切に組み合わせて、ランダムアクセスの単位となる G O P (Group of Picture) が構成される。一般的には、各ピクチャの発生符号量は、 I ピクチャが最も多く、次に Pピクチャが多く、 Bピクチャが最も少ない。

M P E G規格のようにピクチャ毎にビット発生量が異なる符号化方法では、得られる符号化ビットストリーム（以下、単にストリームとも言う。）を適切に伝 - 送及ぴ復号して画像を得るためには、画像復号化装置における入力バッファ内のデータ占有量を、画像符号化装置側で把握していなければならない。そこで、 M P E G規格では、画像復号化装置における入カバッファに対応する仮想的なバッファである VBV (Video Buffering Verifier) バッファを想定し、画像符号化装置側では、 VBVバッファを破綻、つまりアンダフローやオーバフローさせないように、ストリームを生成しなければならない。

ここで、図 1を参照して、 MP EG規格に従った伝送システムおよび記録再生システムの概略について説明する。なお、図 1は、 I S O/ I E C 1 3 8 1 8 - 1 (MP EG 1 ) , I S O/ I E C 1 3 8 1 8 - 2 (MP EG 2) を実現できるように構成された伝送システムを表している。

この伝送システムは、符号化装置 1 1 0側の構成として、入力されるビデオデ —タ D V をエンコード（符号化）して、符号化ビットストリームであるビデオェレメンタリストリーム（ビデオ E S) を出力するビデオエンコーダ 1 1 1 と、このビデオエンコーダ 1 1 1 より出力されるビデオエレメンタリストリームにへッダ等を付加してバケツトイ匕し、ビデオバケツタイズドエレメンタリストリーム (ビデオ P E S) を出力するバケツタイザ 1 1 2と、入力されるオーディオデータ D _A をェンコ一ドして、符号化ビットストリームであるオーディオエレメンタリストリーム（オーディオ E S) を出力するオーディオエンコーダ 1 1 3と、このオーディオエンコーダ 1 1 3より出力されるオーディオエレメンタリストリームにヘッダ等を付加してバケツト化し、ォ一ディォバケツタイズドエレメンタリストリーム（オーディオ P E S) を出力するバケツタイザ 1 1 4と、バケツタイザ 1 1 2より出力されるビデオバケツタイズドエレメンタリストリームとバケツタイザ 1 1 4より出力されるオーディオバケツタイズドエレメンタリストリームとを多重化し、 1 8 8バイトのトランスポートストリームパケットを作成し、トランスポートストリーム（T S) として出力するトランスポートストリームマルチプレクサ（図では、 T SMUXと記す。） 1 1 5とを備えている。

また、図 1に示した伝送システムは、複号化装置 1 2 0側の構成として、トランスポ一トストリームマルチプレクサ 1 1 5より出力され伝送メディア 1 1 6を介して伝送されるトランスポートストリームを入力し、ビデオバケツタイズドエ - レメンタリストリーム（ビデオ P E S ) とオーディオバケツタイズドエレメンタリストリーム（オーディオ P E S ) とに分離して出力するトランスポートストリ —ムデマルチプレクサ（図では、 T S D E MU Xと記す。） 1 2 1と、このトランスポートストリームデマルチプレクサ 1 2 1より出力されるビデオバケツタイズドエレメンタリストリ一ムをデバケツトイ匕し、ビデオエレメンタリストリーム

(ビデオ E S ) を出力するデバケツタイザ 1 2 2と、このデバケツタイザ 1 2 2 より出力されるビデオエレメンタリストリームをデコード（復号化）してビデオデータ D V を出力するビデオデコーダ 1 2 4と、トランスポートストリームデマルチプレクサ 1 2 1より出力されるオーディオバケツタイズドエレメンタリストリームをデパケット化し、オーディオエレメンタリストリーム（オーディオ E S ) を出力するデバケツタイザ 1 2 4と、このデバケツタイザ 1 2 4より出力されるオーディオエレメンタリストリームをデコードしてオーディオデータ D A を出力するオーディオデコーダ 1 2 5とを備えている。

図 1における複号化装置 1 2 0は、一般に、インテリジェントレシーバデコーダ（ I R D) と呼ばれる。

なお、符号化されたデータをストレージメディアに記録する記録再生システムの場合には、図 1におけるトランスポートストリームマルチプレクサ 1 1 5の代わりに、ビデオバケツタイズドエレメンタリストリームとオーディオバケツタイズドエレメンタリストリームとを多重化してプログラムストリーム（P S ) を出力するプログラムストリームマルチプレクサが設けられ、伝送メディア 1 1 6の代わりに、プログラムストリームを記録する蓄積メディアが用いられ、トランスポ一トストリームデマルチプレクサ 1 2 1の代わりに、プログラムストリームをビデオパケッタイズドエレメンタリストリームとオーディォパケッタイズドエレメンタリストリームとに分離するプログラムストリームデマルチプレクサが設けられる。

次に、ビデオデータを符号化処理、伝送処理及ぴ復号化処理する場合を例にあげて、図 1に示したシステムの動作について説明する。

まず、符号化装置 1 1 0側では、各ピクチャが同じビット量を持つ入力ビデオデータ D v は、ビデオエンコーダ 1 1 1によってエンコードされ、各ピクチャ毎- に、その冗長度に応じて異なるビット量に変換、圧縮され、ビデオエレメンタリストリームとして出力される。バケツタイザ 1 1 2は、ビデオエレメンタリストリームを入力し、そのビットストリーム時間軸上のビット量の変動を吸収（平均）するためにパケット化し、ビデオバケツタイズドエレメンタリストリーム

(PE S) として出力する。このバケツタイザ 1 1 2によってパケット化される P E Sパケットは、 1アクセスュニット又は複数のアクセスュニットから構成される。一般的には、この 1アクセスユニットは、 1フレームから構成される。トランスポートストリームマルチプレクサ 1 1 5は、ビデオバケツタイズドエレメンタリストリームとバケツタイザ 1 1 4より出力されるオーディオバケツタイズドエレメンタリストリームとを多重化してトランスポートストリームバケツトを作成し、トランスポートストリーム（T S) として、伝送メディア 1 1 6を介して、復号化装置 1 20に送る。

復号化装置 1 20側では、トランスポートストリームデマルチプレクサ 1 2 1 によって、トランスポ一トストリ一ムが、ビデオバケツタイズドエレメンタリストリ一ムとオーディオパケッタイズドエレメンタリストリームとに分離される。デバケツタイザ 1 22は、ビデオバケツタイズドエレメンタリストリームをデパケット化して、ビデオエレメンタリストリームを出力し、ビデオデコーダ 1 23 は、ビデオエレメンタリストリームをデコードしてビデオデータ D V を出力する。復号化装置 1 20は、一定の伝送レートで伝送されたストリームを VB Vバッファにバッファリングすると共に、予めピクチャ毎に設定されたデコーデッドタィムスタンプ（DT S) に基いて VBVバッファからピクチャ毎にデータを引き出す。この VBVバッファの容量は、伝送される信号の規格に応じて決められており、メインプロフアイノレ ' メインレベル（MP @ML) のスタンダードビデオ信号の場合であれば、 1. 75Mビットの容量を有している。符号化装置 1 1 0 側では、この VBVバッファをオーバフローやアンダフローさせないように、各ピクチャのビット発生量をコントロールしなければならない。

次に、図 2を参照して、 VBVバッファについて説明する。図 2において、折れ線は VBVバッファに記憶されるデータ占有量の変化を表し、その傾き 1 3 1 は伝送ビットレートを表し、垂直に落ちている部分 1 32は各ピクチャの再生の ^_ ためにビデオデコーダ 1 2 3が VBVバッファから引き出すビット量を表している。ビデオデコーダ 1 2 3が引き出すタイミングは、プレゼンテーションタイムスタンプ（PTS) と呼ばれる情報又デコーデッドタイムスタンプ（DTS) と呼ばれる情報によって指定される。この PTS及び DTSの間隔は、一般的には 1フレーム期間である。なお、図 2中、 I， P, Bは、それぞれ I ピクチャ， P ピクチャ， Bピクチャを表している。これは、他の図においても同様である。また、図 2中、 vbv_delay は、 V B Vバッファの占有量が零の状態から一杯に満たされるまでの時間であり、 T p はプレゼンテーションタイム周期を表している。デコーダ側において、図 2に示したように、伝送されたストリームによって一定のビットレート 1 3 1で VBVバッファが満たされ、プレゼンテーションタイムに従ったタイミングで各ピクチャ毎にデータがこの V B Vバッファから引き出される。

次に、図 3を参照して、 MP E G規格の双方向予測符号化方式におけるピクチャの並べ替えについて説明する。図 3において、（a) はエンコーダに対して供給される入力ビデオデータのピクチャ順を表し、（b) はエンコーダにおいて並ベ替えが行われた後のピクチャの順番を表し、（c) はエンコーダより出力されるビデオストリームのピクチャ順を表している。図 3に示したように、ェンコ一ダでは、入力ビデオフレームは、エンコード時にピクチャの種類（ 1， P， B) に応じて並べ替えが行われて、並べ替え後の順番でエンコードされる。具体的には、 Bピクチャは、 I ピクチャ又は Pピクチャから予測符号化されるので、図 3

(b) に示されるように、予測符号化に使用される I ピクチャ又は Pピクチャの後に位置するように並び替えられる。エンコーダは、並ぴ替えられたピクチャの順に符号化処理を行い、図 3 (b) 及び（c) に示される順で、符号化された各ピクチャをビデオストリームとして出力する。出力された符号化ストリームは、伝送路を介してデコーダ又は蓄積メディアに供給される。なお、図 3では、 1 5 枚のピクチャで GO Pが構成されるものとしている。

図 4は、図 3において説明した予測符号化方式において、各ピクチャが、どのピクチャを使用して予測符号化処理されるかを示すための図であって、ェンコ一ダにおけるピクチャの並べ替えと予測符号化処理との関係を表している。図 4に— おいて、（a) はエンコーダに対する入力ビデオデータにおけるピクチャの順番を表し、（b) はエンコーダにおいて並べ替えが行われた後のピクチャの順番を表し、（c) , ( d) はそれぞれエンコーダ内の 2つのフレームメモリ FM1， FM2に保持されるピクチャを表し、（e) はエンコーダより出力されるエレメンタリストリーム（E S) を表している。なお、図中、 I， P， Bに付随した数字はピクチャの順番を表している。エンコーダでは、図 4 (a) に示したような入力ビデオデータは、図 4 (b) に示したようなピクチャの順番に並べ替えられる。また、 2つのフレームメモリ FM 1 , FM2には、それぞれ図 4 ( c ) ，

(d) に示したようなピクチャが保持される。そして、エンコーダは、入力ビデォデータが I ピクチャの場合は入力ビデオデータ（ I ピクチャ）のみに基づいて符号化処理を行い、入力ビデオデータが Pピクチャの場合は入力ビデオデータとフレームメモリ FM1に保持されている I ピクチャまたは Pピクチャとに基づいて予測符号化処理を行い、入力ビデオデータが Bピクチャの場合は入力ビデオデータとフレームメモリ FM1 , FM2に保持されている 2つのピクチャとに基づいて予測符号化処理を行う。図 4 (e) 中の符号は、符号化処理に用いられるピクチャを表している。

次に、図 5を参照して、 MP E G規格の双方向予測複号化方式におけるピクチャの並べ替えについて説明する。図 5において、（a) はエンコーダから伝送路を介してデコーダに供給された符号化ビデオストリームのピクチャの順番を表し、

(b) はエンコーダから伝送路を介してデコーダに供給された符号化ビデオストリームを表わし、（c) はデコーダより出力されるビデオデータのピクチャ順を表している。図 5に示したように、このデコーダでは、 Bピクチャは、ェンコ一ド時に I ピクチャ又は Pピクチャを使用して予測符号化処理されているので、この予測符号化処理に使用されたピクチャと同じピクチャを用いて復号化処理を行なう。その結果、図 5 (c) に示されるように、このデコーダから出力されるビデォデータのピクチャの順番は、 I ピクチャや Pピクチヤより Bピクチャが早く出力される。

図 6は、図 5において説明した複号化処理をさらに詳しく説明するための図である。図 6において、（a) はデコーダに対して供給される符号化されたビデオ一エレメンタリストリーム（E S) のピクチャの順番を表し、（b) , (c) はそれぞれデコーダ内の 2つのフレームメモリ FM1， FM 2に保持されるピクチャを表し、（d) はデコーダより出力される出力ビデオデータを表している。図 4 と同様に、図中、 I， P， Bに付随した数字はピクチャの順番を表している。デコーダでは、図 6 (a) に示したような入力エレメンタリストリーム（ES) 力 S 入力されると、予測符号化処理に使用した 2つのピクチャを記憶しめければいけないので、 2つのフレームメモリ FM 1， FM2には、それぞれ図 6 (b ) ，

(c) に示したようなピクチャが保持される。そして、デコーダは、入力エレメンタリストリームが I ピクチャの場合は入力エレメンタリストリーム（ I ピクチャ）のみに基づいて復号化処理を行い、入力エレメンタリストリームが Pピクチャの場合は入力エレメンタリストリームとフレームメモリ FM1に保持されている I ピクチャまたは Pピクチャとに基づいて復号化処理を行い、入力エレメンタリストリームが Bピクチヤの場合は入力エレメンタリストリ一ムとフレームメモリ FM1， FM2に保持されている 2つのピクチャとに基づいて復号化処理を行つて、図 6 (d) に示したような出力ビデオデータを生成する。

次に、図 7を参照して、 MP EG規格の双方向予測符号化方式における動き検出および動き補償について説明する。図 7は、入力ビデオフレーム順に並んだピクチャ間の予測方向（差分をとる方向）を矢印で示したものである。 MP EG規格では、より高圧縮を可能とする動き補償が採用されている。エンコーダでは、動き補償を行うために、エンコード時に、図 7に示した予測方向に従って、動き検出を行って動きベクトルを得る。 Pピクチャおよび Bピクチャは、この動きべクトルと、動きべクトルに従って得たサーチ画または予測画との差分値で構成される。デコード時には、この動きベクトルと差分値に基づいて、 Pピクチャおよび Bピクチャが再構成される。

一般的に、図 7に示されるように、 I ピクチャは、その I ピクチャないの情報から符号化されたピクチャで、フレーム間予測を使用せずに生成されたピクチャである。 Pピクチャは、過去の I ピクチャ又は Pピクチャからの予測を行なうことによって生成されたピクチャである。 Bピクチャは、過去の I又は Pピクチャ及ぴ未来の I又は Pピクチャの双方向から予測されたピクチャ、過去の I又は P— ピクチャの順方向から予測されたピクチャ、又は I又は Pの逆方向から予測されたピクチャのいずれかである。

ところで、放送局の編集システムにおいては、取材現場においてカムコーダやデジタル V T Rを使用して収録したビデオ素材や、地方局や番組供給会社から伝送されてきたビデオ素材等を編集して、 1つのオンエア用のビデオプログラムを生成するようにしている。近年、カムコーダやデジタル V T Rを使用して収録されたビデオ素材及び地方局や番組供給会社等から供給されたビデオ素材は、前述した M P E G技術を使用して、圧縮符号化された符号化ストリームとして供給されることがほとんどである。その理由は、圧縮されていないベースバンドのビデォデータをそのまま記録媒体に記録するよりも、 M P E G技術を使用して圧縮符号化した方が記録媒体の記録エリアを有効に活用できるという理由や、圧縮されていないベースバンドのビデオデータをそのまま伝送するよりも、 M P E G技術を使用して圧縮符号化した方が伝送路を有効に活用できるという理由からである。この従来の編集システムにおいては、例えば 2つの符号化ビデオストリ一ムを編集して 1つのオンエア用のビデオプログラムを生成するためには、編集処理の前に、一端符号化ストリームの全データをデコードして、ベースバンドのビデオデータに戻さなければいけない。なぜなら、 M P E G規格に準じた符号化ストリ —ムに含まれる各ピクチャの予測方向は、前後のピクチャの予測方向と相互に関連しているので、ストリーム上の任意の位置において符号化ストリームを接続することができないからである。もし強引に 2つの符号化ストリームをつなげたとすると、つなぎめが不連続になってしない、正確にデコードできなくなってしまうことが発生する。

従って、従来の編集システムにおいて供給された 2つの符号化ストリームを編集しようとすると、 2つのソース符号化ストリームを一端デコードして 2つのべ —スバンドのビデオデータを生成するデコード処理と、 2つのベースバンドのビデォデータを編集してオンエア用の編集されたビデオデータを生成する編集処理と、編集されたビデオデータを再び符号化して、符号化ビデオストリームを生成するという符号化処理とを行なわなくてはいけない。しかしながら、 M P E G符号化は 1 0 0 %可逆の符号化ではないので、このよ- うに編集処理だけのために復号化処理及び符号化処理を行なうと画質が劣化してしまうという問題があった。つまり、従来の編集システムにおいて編集処理するためには、必ず複号化処理と符号化処理とが必要であったので、その分だけ画質が劣化するという問題があった。

その結果、近年では、供給された符号化ストリームの全ての複号化処理せずに、符号化ストリームの状態のまま編集することを可能にする技術が要求されるようになってきた。尚、このように符号化されたビットストリームレベルで、異なる 2つの符号化ビットストリ一ムを連結し、連結されたビットストリームを生成することを「スプライシング」と呼んでいいる。つまり、スプライシングとは、符号化ストリームの状態のままで複数のストリームを編集することを意味する。

しかしながら、このスプライシングを実現するためには以下のような 3つの大きな問題点がある。

第 1の問題点は、ピクチャプレゼンテーション順の観点からくる問題点である。このピクチャプレゼンテーション順とは、各ビデオフレームの表示順のことである。この第 1の問題点について、図 8およぴ図 9を参照して説明する。

図 8および図 9は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係を示したものである。図 8はピクチャプレゼンテーシヨンの順番に問題が生じない場合について示し、図 9はピクチャプレゼンテーシヨンの順番に問題が生じている場合について示している。また、図 8および図 9において、（a ) はスプライスされる一方のビデオストリーム Aを示し、

( b ) はスプライスされる他方のビデオストリーム Bを示し、（c ) はスプライス後のストリームを示し、（d ) はプレゼンテーションの順番を示している。また、 S P _A はストリーム Aにおけるスプライスポイントを示し、 S P _B はストリーム Bにおけるスプライスポイントを示し、 S T _A はストリーム Aを示し、 S T B はストリーム Bを示し、 S T _Spは、スプライシングされたストリームを示している。

エンコーダにおいてピクチャの並べ替えを行うことから、ェンコ一ド後の符号化ストリームにおけるピクチャの順番とデコード後のプレゼンテーションの順番— とは異なる。しかしながら、図 8に示したスプライス処理は、ストリーム Aの B ピクチャの後にスプライスポイント S P A が設定され、ストリーム Bの Pピクチャの前にスプライスポイント S P B が設定された例を示している図である。この図 8 ( d ) に示されるように、ストリーム Aとストリーム Bの境界 S Pを境にして、ストリーム Aのピクチャがストリーム Bのピクチャより後に表示されたり、ストリーム Bのピクチャがストリーム Aのピクチャの前に表示されるというような現象はおきていない。つまり、図 8に示したスプライスポイント S P A及び S P B においてスプライシングする場合であれば、プレゼンテーションの順番に問題は生じない。

一方、図 9に示したスプライス処理は、ストリーム Aの Pピクチヤの後にスプライスポイント S P _A が設定され、ストリーム Bの Bピクチヤの前にスプライスポイント S P _B が設定された例を示している図である。この図 8 ( d ) に示されるように、ストリーム Aとストリーム Bの境界 S Pを境にして、ストリーム Aの最後のピクチャがストリーム Bのピクチャより後に表示されたり、ストリーム B の 2つのピクチャがストリーム Aの最後のピクチャより前に表示されるとい現象が起こったいる。つまり、このような順でピクチヤが表示されたとすると、スプライスポィントの近傍におうて、ストリーム Aのビデオイメージからストリーム Bのビデオイメージに切り替わり、その 2フレーム後に再びストリーム Aのビデォイメージが 1フレームだけ表示されるという奇妙なイメージになってしまう。つまり、図 9に示したスプライスポイント S P A及び S P B においてスプライシングする場合であれば、プレゼンテーションの順番に問題が生じる。

よって、任意のピクチャ位置でスプライスを実現するためには、このようなプレゼンテーシヨン順に関する問題が発生することがある。

第 2の問題点は、動き補償の観点からくる問題点である。この問題点について、図 1 0ないし図 1 2を参照して説明する。これらの図は、いずれも、ストリームの単純なスプライスを行ったときの、スプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係を示したものであ。図 1 0は動き補償に関して問題が生じない場合の例を示し、図 1 1および図 1 2は動き補償に関して問題が生じる場合の例を示している。なお、図 1 1および図 1 2— は、それぞれ、図 8および図 9に示したスプライスを行った場合について示している。また、各図において、（a) はスプライス後のストリームを示し、（b) はプレゼンテーションの順番を示している。

図 1 0に示した例では、ストリーム Bがクローズド GO P (以前の GOPに予測が依存しない閉じた GO P) であり、且つ、ちょうど GO Pの切れ目でスプライスを行っているため、過不足なく動き補償が行われ、問題なくピクチャのデコ一ドが行われる。

これに対し、図 1 1および図 1 2では、デコード時に、異なるストリームにおけるピクチャを参照する動き補償が行われるため、動き補償に問題が生じる。具体的には、ストリーム Aの Pピクチャを参照してストリーム Bの Bピクチャや P ピクチャは作れないという理由から、図中、破線で示した予測方向での動きべクトルによる動き補償は無効（図では NGと記す。）である。従って、図 1 1およぴ図 1 2に示した例では、次の I ピクチャまで、ピクチャが破綻したままになる。任意のピクチャ単位でスプライスを行う場合、単純なストリーム上のスプライスでは、この問題は解決することができない。

第 3の問題点は、 V B Vバッファの観点からくる問題点である。この問題点について、図 1 3ないし図 1 8を参照して説明する。図 1 3は、ピクチャプレゼンテーションの順番、動き補償および VBVバッファの条件を満たす理想的なストリームスプライスを行った場合の例を示している。なお、図中、 ST _A， ST _B，

S T C は、それぞれストリ一ム A，ストリーム B, ストリーム Cを示している。図 1 3において、（a) はデコーダ側の VBVバッファの状態を示し、（b) はスプライス後のストリームを示し、（c) はエンコーダにおける並べ替え後の各ピクチャの発生タイミングを示し、（d) はデコード後のピクチャの順番を示している。なお、図 1 3において、 S P V は VBVバッファにおけるスプライス点を示し、 V 0Cはスプライス点 S P V における VB Vバッファの占有量を示し、 S P S はストリームにおけるスプライス点を示している。図 1 3に示した例では、 VBVバッファの観点から見るとき、スプライスにより VBVバッファのオーバフローやアンダフロー等の VBVバッファの破綻が起きていない。しかし、一般的には、任意のピクチャ単位にスプライスを行うときには、 VB— Vバッファの破綻を起こさないという条件を満たすとは限らない。このことを図 1 4ないし図 1 8を参照して説明する。図 1 4および図 1 5は、それぞれ、 VB Vバッファの制約を満たす正常なストリーム Aおよぴストリーム Bを表し、

(a) はデコーダ側の VBVバッファの状態を示し、（b) はストリーム A， B を示している。このようなストリーム A， Bを任意の位置で単純にスプライスした場合の 3通りの例を、図 1 6ないし図 1 8に示す。これらの図において、

(a) はデコーダ側の VBVバッファの状態を示し、（b) はスプライス後のストリ一ムを示している。これらの図に示したように、ストリーム A， Bをどこでスプライスするかによって、 VBVバッファの状態が異なっている。図 1 6に示した例では、スプライス後のストリームも VBVバッファの制約を満たしているが、図 1 7に示した例では、符号 1 4 1で示したオーバフローが発生しており、 VBVバッファの制約を満たしていない。また、図 1 8に示した例では、符号 1 42で示したアンダフローが発生しており、 VBVバッファの制約を満たしていない。デコーダ（ I RD) 側では、 VBVバッファのアンダフ口一またはオーバフローが発生すると、 VBVバッファの破綻によりピクチャデコ一ドに失敗し、シ一ムレスな画像再生を実現することができない。そのときの画像再生の状態は、エンコーダ（ I RD) の機能によって画像スキップ、フリーズ、処理ストップ等、様々である。任意のピクチャ単位でスプライスを行う場合、単純なストリーム上のスプライスでは、この問題は解決することができない。

このように、従来は、ストリーム上のシームレスなスプライスを実現する有効な手段がないという問題点があつた。発明の開示

本発明はかかる問題点に鑑みてなされたもので、その第 1の目的は、復号化装置側の入カバッファに対応する仮想的バッファの破綻や仮想的バッファびおけるデータ占有量の不連続が発生することがないように、複数の符号化ストリームをシームレスにスプライシングすることを実現するスプライシング装置及ぴストリーム編集装置を提供することにある。本発明の第 2の目的は、上記目的に加え、スプライシングポイント近傍におけ— る画質劣化を低減すると共に、再ェンコ一ド処理における画質劣化を防止するようにしたスプライシング装置、ストリーム編集装置、及び符号化装置を提供することにある。

本発明のストリーム編集装置は、複数の映像素材を符号化して得られる複数の符号化ビットストリ一ムを入力して、この複数の符号化ビットストリームを接続するためのストリ一ム編集装置であって、複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリ一ムを復号化して、所定区間内の画像データを出力する複号化手段と、この複号化手段によって出力される所定区間内の画像データに対する新たな目標符号量を設定する目標符号量設定手段と、複号化手段によって出力される所定区間内の画像データを、目標符号量設定手段によって設定される新たな目標符号量に従って符号化して、所定区間内の新たな符号化ビットストリームを出力する符号化手段と、所定区間内の元の符号化ビットストリ一ムを、符号化手段によって出力される所定区間内の新たな符号化ビットストリームに置き換えて、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとを連結して出力する符号化ビットストリーム出力手段とを備えたものである。

本発明のストリーム編集装置では、復号化手段によって、複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリームが復号化されて、所定区間内の画像データが出力され、目標符号量設定手段によって、所定区間内の画像データに対する新たな目標符号量が設定され、符号化手段によって、所定区間内の画像データが、新たな目標符号量に従って符号化され、所定区間内の新たな符号化ビットストリームが出力される。そして、符号化ビットストリーム出力手段によって、所定区間内の元の符号化ビットストリームが、所定区間内の新たな符号化ビットストリームに置き換えられ、所定区間の前後における元の符号化ビットストリームと新たな符号化ビットストリームとが連結されて出力される。

本発明のスプライシング装置は、複数のソース符号化ストリームに対して、それぞれスプライシングポィントを設定するスプライシングポイント設定手段と、― 複数のソース符号化ストリームのスプライシングポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード手段と、デコ ―ドされたビデオデータを再ェンコ一ドし、再エンコードストリームを出力する再ェンコ一ド手段と、ソース符号化ストリ一ムと再エンコードストリームとを切り換えて出力することによって、スプライシングされたスプライシンダストリームを生成するスプライシンダストリーム生成手段と、スプライシングストリームがデコード時に不連続とならないように再ェンコ一ド手段及ぴスプライシングストリ一ム生成手段を制御するスプライス制御手段とを備えたことを特徴としている装置である。

また、本発明のスプライシング装置のスプライス制御手段は、 V B Vバッファにオーバ一フロー及びアンダーフローが発生しないように、再ェンコ一ド手段における再ェンコ一ドの目標ビット量を演算するという機能を備えている。

また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリ一ムと再ェンコ一ドストリームの切換えポィント又は再ェンコ一ドストリームのスプライスポイントにおいて、 V B Vバッファのデータ占有量の軌跡が不連続にならないように、再ェンコ一ド手段における再ェンコ一ドの目標ビット量を演算するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、再エンコードストリ一ムに対応する V B Vバッファのデータ占有量の軌跡が、ソース符号化ストリームが本来有していたであろうと想定できる V B Vバッファのデータ占有量の軌跡に近くなるように、再ェンコ一ド手段を制御する機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームに含まれる符号化バタメータを抽出し、抽出された符号パラメータを、再ェンコ一ド手段における再ェンコ一ド処理時に選択的に再利用することによつて、スプライシングストリームの画質劣化を防止するという機能を有している。また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、抽出された量子化特性に基いて再ェンコ一ド手段における再エンコード処理を行なうように再ェンコ一ド手段を制御するという機能を有している。 " また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、 V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、再ェンコ一ド手段における再ェンコ一ド処理における各ピクチャ目標ビット量を演算し、ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、ソ一ス符号化ストリームから抽出された量子化特性と、演算された目標ビット量とに基いて、新たな量子化特性を演算し、演算された新たな量子化特性に基いて再ェンコ一ド処理を行なうように再エンコード手段を制御するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、 V B Vバッファにオーバーフロー及ぴアンダーフローが発生しないように、再ェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、ソース符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、目標ビット量を、再エンコード処理すべき各ピクチャに対して割当て、各ピクチャに割当てられた目標ビット量に従って、各ピクチャ毎に再ェンコ一ド処理を行なうように再ェンコ一ド手段を制御するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、 V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、再ェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、各ピクチャに割当てられた目標ビット量に従って、各ピクチャ毎に再エンコード処理を行なうように再ェンコ一ド手段を制御するという機能を備えている。

また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームから抽出された動きべクトル情報を、再エンコード手段における再ェンコード処理時に選択的に再利用することによって、スプライシンダストリームの画質劣化を防止するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、ソース符号化ストリームから抽出された動きべクトル情報を、再エンコード手段における再ェン— コード処理時に利用するか否かを判断し、再利用すると判断された場合には、動き検出手段において検出された動きべクトルではなくて、ストリームから抽出された動きべクトルを、再エンコード手段の動き補償回路に供給するように再ェンコード手段を制御するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、スプライスボイントを挟んで異なるソース符号化ストリームのピクチャから予測されることが無いように、再ェンコ一ド手段の再ェンコ一ド処理が行われるスプライスポイントの近傍のピクチャに対して予測方向を設定するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、再エンコード手段によって再ェンコ一ドされるスプライスポイント近傍のピクチャのピクチャタイブを選択的に変更することによって、スプライシングストリームのスプライスボイントの近傍のピクチャの画質劣化を防止するという機能を有している。

また、本発明のスプライシング装置のスプライス制御手段は、スプライスボイントを跨いで異なるソース符号化ストリームのピクチャから予測されることが無いように、再ェンコ一ド手段によって再ェンコ一ドされるスプライスポイント近傍のピクチャのピクチャタイプを選択的に変更するという機能を有している。図面の簡単な説明

図 1は、 M P E G規格に従った伝送システムの概略の構成を示すプロック図である。

図 2は、 V B Vバッファについて説明するための説明図である。

図 3は、 M P E G規格の双方向予測符号化方式において必要となるエンコーダにおけるピクチャの並べ替えについて説明するための説明図である。

図 4は、エンコーダにおけるピクチャの並べ替えと符号化処理との関係を表す説明図である。

図 5は、デコーダにおけるピクチャの並べ替えについて説明するための説明図である。

図 6は、デコーダにおけるピクチャの並べ替えと複号化処理との関係を表す説明図である。 " 図 7は、 M P E G規格の双方向予測符号化方式における動き検出および動き補償について説明するための説明図である。

図 8は、ストリームの単純なスプライスを行ったときのスプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係の一例を示す説明図である。

図 9は、ストリームの単純なスプライスを行ったときのスプライス前後のストリームにおけるピクチャの順番とスプライス後のピクチャプレゼンテーションの順番との関係の他の例を示す説明図である。

図 1 0は、ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の一例を示す説明図である。

図 1 1は、ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の他の例を示す説明図である。

図 1 2は、ストリームの単純なスプライスを行ったときのスプライス後のストリームにおけるピクチャの順番とピクチャプレゼンテーションの順番との関係の更に他の例を示す説明図である。

図 1 3は、ピクチャプレゼンテーションの順番、動き補償および V B Vバッファの条件を満たす理想的なストリームスプライスの例を示す説明図である。

図 1 4は、 V B Vバッファの制約を満たす正常なストリームを示す説明図である。

図 1 5は、 V B Vバッファの制約を満たす正常な他のストリームを示す説明図である。

図 1 6は、 2つのストリームを任意の位置で単純にスプライスした場合の一例を説明するための説明図である。

図 1 7は、 2つのストリームを任意の位置で単純にスプライスした場合の他の例を説明するための説明図である。

図 1 8は、 2つのストリームを任意の位置で単純にスプライスした場合の更に他の例を説明するための説明図である。 " 図 1 9は、本発明の一実施の形態に係るスプライシング装置及びストリーム編集装置の構成を示すプロック図である。

図 2 0は、図 1 9における M P E Gデコーダと M P E Gエンコーダの構成を示すブロック図である。

図 2 1は、図 1 9における M P E Gデコーダによってデコードして得られたプレゼンテーシヨンビデオデータにおけるスプライス点および再ェンコード区間の一例を示す説明図である。

図 2 2は、図 2 1に示した例における 2つのストリームのデコード前後のピクチヤの並ぴを示す説明図である。

図 2 3は、図 2 1に示した例におけるスプライス後のスプライスストリームのピクチャの並ぴを示す説明図である。

図 2 4は、図 1 9における M P E Gデコーダによってデコードして得られたプレゼンテーシヨンビデオデータにおけるスプライス点および再ェンコード区間の他の例を示す説明図である。

図 2 5は、図 2 4に示した例におけるデコード前後の 2つのストリームのピクチヤの並ぴを示す説明図である。

図 2 6は、図 2 4に示した例におけるスプライス後のスプライスストリームのピクチャの並びを示す説明図である。

図 2 7は、 V B Vバッファのデータ占有量にアンダーフローが生じる例を示す説明図である。

図 2 8は、図 2 7において説明したアンダーフローを、本発明のスプライシング装置によって改善した例を示す説明図である。

図 2 8は、 V B Vバッファのデータ占有量にオーバフローが生じる例を示す説明図である。

図 2 9は、図 2 8において説明したオーバーフローを、本発明のスプライシング装置によって改善した例を示す説明図である。

図 3 0及び図 3 1は、本発明のスプライシング装置及ぴストリーム編集装置の動作を説明するためのフローチャートである。発明を実施するための最良の形態

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図 1 9は、本発明の一実施の形態に係るスプライシング装置及び編集装置の構成を示すブロック図である。このスプライシング装置及び編集装置は、例えば複数の映像素材のビデオデータ VD A , VD _B をエンコーダ 1 A， I Bによって M

P EG規格による双方向予測符号化方式に従ってェンコ一ドして得られた複数の符号化ビットストリ―ム（以下、単にストリームと言う。） ST _A， ST B を入力するようになっている。なお、本実施の形態におけるストリームは、エレメンタリストリ—ム、バケツタイズドエレメンタリストリーム、トランスポートストリームのいずれでもよい。

本実施の形態に係るスプライシング装置及び編集装置は、ストリーム S T A， ST B を入力し、これらを一時的に記憶するためのバッファメモリ 10と、ストリーム ST _A， S T B のビット数をカウントするストリームカウンタ 1 1と、ストリーム ST _A， ST B のシンタックスを解析するストリーム解析部 1 2と、スプライシング処理を行なうために後述する各ブロックをコントロールするためのスプライスコントローラ 1 3とを備えている。

スプライシング装置及び編集装置は、更に、それぞれ、バッファメモリ 1 0より出力されるストリーム S T A， S T B を MPEG規格に従ってデコードして、ベースバンドビデオデータを出力する MP EGデコーダ 1 4 A， 1 4 Bと、これらの MP EGデコーダ 1 4 A， 1 4 Bからの出力ビデオデータをスィツチングするスィッチ 1 5と、このスィッチ 1 5から出力された出力ビデオデータを再ェンコードする MP EGエンコーダ 1 6と、バッファメモリ 1 0より出力されるストリーム S T _A， S T B および MPEGエンコーダ 1 6より出力される再ェンコ一ドストリーム ST _REを切り換えて出力することにより、スプライスされたストリーム S T _Spを出力するスィツチ 1 7とを備えている。

以下に、上述した各ブロックについて詳細に説明する。

バッファメモリ 1 0は、後述するスプライスコントローラ 1 3からの書込みコマンドに応答して、供給された 2つのストリーム ST _A， S T B を一時的に記憶し、スプライスコントローラ 1 3からの読み出しコマンドに応答して、記憶され— たストリーム S T _A， S T B をそれぞれ読み出す。これによつて、ストリーム S T A， S T B のそれぞれに対して設定されたスプライシングポイントにおいてスプライスを行なうために、ストリーム S T A， S T _Bのスプライシングポイントの位相及ぴタイミングの合わせることができる。

ストリームカウンタ 1 1は、ストリーム S T _A， S T B を受取り、これらのストリームのビット数をそれぞれカウントし、そのカウント値をスプライスコントローラ 1 3にそれぞれ供給する。このように供給されたビットストリーム S T _A ， S T B のビット数をカウントする理由は、ストリーム S T _A， S T _Bに対応する V B Vバッファのデータ占有量の軌跡を仮想的に把握するためである。

ストリーム解析部 1 2は、ストリーム S T A， S T Bのシンタックスを解析することによって、シーケンス層、 G O P層、ピクチャ層、及びマクロブロック層から適切な情報を抽出する。例えば、ピクチャのタイプ（ 1、 B又は P ) を示すピクチャタイプ、動きベクトル、量子化ステップ、及び量子化マトリックス等のェンコ一ド情報を抽出して、それらの情報をスプライスコントローラ 1 3に出力する。

これらのェンコ一ド情報は、エンコーダ 1 A及び 1 Bにおける過去のェンコ一ド処理において生成された符号化情報であって、本発明のスプライシング装置においては、これらの過去のェンコ一ド情報を再ェンコ一ド処理時において選択的に使用する。

このスプライスコントローラ 1 3は、ストリームカウンタ 1 1から出力されたカウント値、ストリーム解析部 1 2から出力されたエンコード情報、再ェンコ一ド区間を設定するためのパラメータ n ₀ , m ₀ およぴスプライスポイントを指示するためのパラメータ P 0 を受取り、それらの情報に基いて、スィッチ 1 5、 M P E Gエンコーダ 1 6及びスィッチ 1 7を制御する。具体的には、スプライスコントローラ 1 3は、入力されたパラメータ p 0 に応じてスィッチ 1 5のスィッチングタイミングを制御し、パラメータ n 0， m ₀ , p ₀ に応じてスィッチ 1 7のスィツチングタイミングを制御するようになっている。

また、スプライスコントローラ 1 3は、ストリームカウンタ 1 1及ぴストリーム解析部 1 2から供給されたカウント値とストリーム解析部 1 2から供給されたェンコ一ド情報とに基いて、スプライシングされたストリームによって VB Vバッファがオーバーフローノアンダーフローしないようにすると共に、スプライシングされたストリームによって VBVバッファのデータ占有量の軌跡が不連続にならないように、再ェンコ一ド区間内の各ピクチャ対して新たな目標符号量を演算する。

さらに、プライスコントローラ 1 3は、例えば、バッファメモリ 1 0の書き込みァドレスおよび読み出しァドレスを制御することによって、バッファメモリ 1 0における各ストリーム S T _A， S T B の遅延量を調整して、プレゼンテーションタイムを基準にして、各ストリーム ST _A， S T B のスプライスポイントの位相を調整するようになっている。

図 20は、図 1 9における MP E Gデコーダ 1 4 A， 1 4 Bと MPEGェンコ —ダ 1 6の構成を示すブロック図である。なお、この図では、 MPEGデコーダ 14 A, 14 Bを代表して MP EGデコーダ 14として示し、ストリーム ST_A， S T B を代表してストリーム S Tとして示している。

MP EGデコーダ 1 4は、ストリーム STを入力し、可変長複号化する可変長復号化回路（図では VLDと記す。） 2 1と、この可変長複号化回路 2 1の出力データを逆量子化する逆量子化回路（図では I Qと記す。） 22と、この逆量子化回路 22の出力データに対して逆 DCT (逆離散コサイン変換）を行う逆 DC T回路（図では I DCTと記す。） 23と、この逆 D CT回路 23の出力データと予測画像データとを加算する加算回路 24と、逆 DC T回路 23の出力データと加算回路 24の出力データの一方を選択的に MP EGデコーダ 1 4の出力データとして出力するスィツチ 25と、加算回路 24の出力データを保持するための 2つのフレームメモリ（図では、 FM1， FM2と記す。） 26， 27と、フレームメモリ 26， 27に保持されたデータとストリーム STに含まれる動きべクトルの情報とに基づいて、動き補償を行って予測画像データを生成し、この予測画像データを加算回路 24に出力する動き補償部（図では MCと記す。） 28とを備えている。

MP EGエンコーダ 1 6は、 MP EGデコーダ 1 4から供給された出力ビデオデータに対してェンコ一ドのための前処理等を行うエンコーダ前処理部 30を備ーえている。このエンコーダ前処理部 30は、双方向予測符号化方式による符号化のためのピクチャの並べ替えや、 1 6 X 1 6画素のマクロブロックィヒや、各ピクチヤの符号化難易度の演算等の処理を行うようになっている。

MP E Gエンコーダ 1 6は、更に、エンコーダ前処理部 30の出力データと予測画像データとの差分をとる減算回路 3 1 と、エンコーダ前処理部 30の出力データと減算回路 3 1の出力データの一方を選択的に出力するスィツチ 3 2と、このスィッチ 32の出力データに対して、 DCT (離散コサイン変換）ブロック単位で DC Tを行い、 0〇丁係数を出カする001：回路（図では DC Tと記す。）

33と、この DC T回路 3 3の出力データを量子化する量子化回路（図では Qと記す。） 34と、この量子化回路 34の出力データを可変長符号化して、再ェンコードストリーム S T _RE として出力する可変長符号化回路（図では VLCと記す。） 35とを備えている。

MP EGエンコーダ 1 6は、更に、量子化回路 34の出力データを逆量子化する逆量子化回路（図では I Qと記す。） 36と、この逆量子化回路 36の出力データに対して逆 DCTを行う逆 DCT回路（図では I DCTと記す。） 3 7と、この逆 DCT回路 3 7の出力データと予測画像データとを加算して出力する加算回路 3 8と、この加算回路 38の出力データを保持するための 2つのフレームメモリ（図では、 FM 1， FM 2と記す。） 39， 40と、フレームメモリ 39 ,

40に保持されたデータと動きべクトル情報とに基づいて、動き補償を行って予測画像データを生成し、この予測画像データを減算回路 3 1および加算回路 3 8 に出力する動き補償部（図では MCと記す。） 41とを備えている。

MP EGエンコーダ 1 6は、更に、フレームメモリ 39, 40に保持されたデータとエンコーダ前処理部 30の出力データとに基づいて動きべクトルを検出し、動きベクトル情報を出力する動き検出回路（図では MEと記す。） 42と、スプライスコントローラ 1 3から供給されたェンコ一ド情報と目標符号量とを受取り、これらの情報に基いて、量子化回路 34，逆量子化回路 36およびフレームメモリ 3 9， 40を制御するエンコードコントローラ 43と、このエンコードコントローラ 43によって制御され、エンコードコントローラ 43から出力される動きべクトルの情報と動き検出回路 42から出力される動きべクトルの情報の一方を ― 選択的に動き補償部 41に対して出力するスィツチ 44とを備えている。

次に、図 20に示した MP EGデコーダ 14および MP EGエンコーダ 1 6の動作の概略について説明する。

まず、 MP EGデコーダ 1 4では、ストリーム STは、可変長復号化回路 21 によって可変長復号化され、逆量子化回路 22によって逆量子化され、逆 DCT 回路 23によって逆 DC Tが行われ、逆 DC T回路 23の出力データが加算回路 24およびスィッチ 25に入力される。 I ピクチャの場合には、逆 DC T回路 2 3の出力データが、スィツチ 25を介して MPEGデコーダ 14の出力データとして出力される。 Pピクチャまたは Bピクチャの場合には、加算回路 24によつて逆 DCT回路 23の出力データと動き補償部 28より出力される予測画像データとが加算されて Pピクチヤまたは Bピクチャが再現され、加算回路 24の出力データが、スィツチ 25を介して MPEGデコーダ 14の出力データとして出力される。また、 I ピクチャまたは Pピクチャは、適宜、フレームメモリ 26， 2 7に保持され、動き補償部 28による予測画像データの生成に利用される。

一方、 MP EGエンコーダ 1 6では、 MPEGデコーダ 14の出力データはェンコーダ前処理部 30に入力され、このエンコーダ前処理部 30によって、ピクチヤの並べ替えやマクロブロック化等が行われる。ここで、エンコーダ前処理部 30は、スプライスコントローラ 1 3からのピクチャタイプの情報に基づいてピクチャの並べ替えを行う。

エンコーダ前処理部 30の出力データは、減算回路 3 1およびスィツチ 32に入力される。 I ピクチャの場合には、スィッチ 32は、エンコーダ前処理部 30 の出力データを選択的に出力する。 Pピクチャまたは Bピクチャの場合には、減算回路 3 1によってエンコーダ前処理部 30の出力データから動き補償部 4 1より出力される予測画像データが減算され、スィッチ 3 2は、減算回路 3 1の出力データを選択的に出力する。

スィッチ 32の出力データは、 DCT回路 33によって DCTが行われ、 DC T回路 3 3の出力データが量子化回路 34によって量子化され、可変長符号化回路 35によって可変長符号化され、ストリーム ST _REとして出力される。また、 I ピクチャの場合には、量子化回路 3 4の出力データは、逆量子化回路

3 6によって逆量子化され、逆 D C T回路 3 7によって逆 D C Tが行われ、逆 D C T回路 3 7の出力データが、フレームメモリ 3 9またはフレームメモリ 4 0に保持される。 Pピクチャの場合には、量子化回路 3 4の出力データは、逆量子化回路 3 6によって逆量子化され、逆 D C T回路 3 7によって逆 D C Tが行われ、加算回路 3 8によって逆 D C T回路 3 7の出力データと動き補償部 4 1からの予測画像データとが加算されてフレームメモリ 3 9またはフレームメモリ 4 0に保持される。フレームメモリ 3 9またはフレームメモリ 4 0に保持された I ピクチャまたは Pピクチャは、適宜、動き補償部 4 1による予測画像データの生成に利用される。また、動き検出回路 4 2は、フレームメモリ 3 9 , 4 0に保持されたデータとエンコーダ前処理部 3 0の出力データとに基づいて動きべクトルを検出し、動きべクトルの情報を出力する。

エンコードコントローラ 4 3は、スプライスコントローラ 1 3から供給されたェンコ一ド情報及ぴ各ピクチャ毎の目標符号量を受取り、それらの情報に基いて、量子化回路 3 4，逆量子化回路 3 6、フレームメモリ 3 9， 4 0およびスィッチ

4 4を制御する。

具体的には、エンコードコントローラ 4 3は、スプライスコントローラ 1 3力ら供給されたェンコ一ド情報に含まれている動きべクトルを再利用するときには、その動きべクトルの情報をスィツチ 4 4を介して動き補償部 4 1に入力させ、スプライスコントローラ 1 3から供給されたェンコ一ド情報に含まれている動きべクトルを再利用しないときには動き検出回路 4 2において新たに生成された動きべクトルの情報が動き補償部 4 1に入力されるようにスィッチ 4 4を制御する。また、エンコードコントローラ 4 3は、スプライスコントローラ 1 3から供給されたェンコード情報に含まれるピクチャタイプに基づいて、予測画像データの生成に必要なピクチャがフレームメモリ 3 9， 4 0に保持されるようにフレームメモリ 3 9， 4 0を制御する。

更に、エンコードコントローラ 4 3は、可変長符号化回路 3 5の発生符号量を監視すると共に、可変長符号化回路 3 5を制御するようになっている。そして、ェンコ一ドコントローラ 4 3は、設定された目標符号量に対して発生符号量が不足して VBVバッファがオーバフローしそうなときには、目標符号量に対する発生符号量の不足分を補うためにダミーデータの付加、すなわちスタッフイングを行うようになっている。また、エンコードコントローラ 43は、設定された目標符号量に対して発生符号量が超過して V B Vバッファがアンダフローしそうなときには、マクロプロック単位の符号化処理の停止処理であるスキップドマクロブ口ック処理（ I S O/ I EC 1 381 8-2 7. 6. 6) を行うようになっている。

次に、図 21ないし図 26を参照して、本発明の実施の形態におけるピクチャの並べ替え制御と動き補償制御に関して詳しく説明する。

図 21は MP E Gデコーダ 14 A， 14 Bによってデコードして得られたビデォデータ（以下、プレゼンテーションビデオデータと言う。）におけるスプライス点および再エンコード区間の一例を示す説明図である。図 21 (a) はストリーム A (ST _A ) に対応するプレゼンテーションビデオデータ、図 21 (b) はストリーム B (S T B ) に対応するプレゼンテーションビデオデータを示している。まず、スプライス点を決めるときには、プレゼンテーションビデオデータ上でピクチャを指定する。スプライスポイントの指定は、パラメータ p ₀ によって行う。また、スプライス点を含むスプライス点前後の所定区間として、再ェンコ —ド区間を設定する。再エンコード区間の設定は、パラメータ n ₀ , m ₀ によつて行う。

以下の説明では、図 21に示したように、パラメータ p ₀ を用いて、ストリーム S T A に対応するプレゼンテーションビデオデータにおけるスプライス点のピクチャを A _n__Poと表わすと、スプライス点のピクチャ A _n-p₀よりも未来のピクチャは、 A_(n— p₀₎₊₁、 A_(n—p₀₎₊₂、 A(_n— p₀₎₊₃、 A_(n—_Po)+4、と表わすことができ、スプライス点のピクチャ A _n__Po よりも過去のピクチャは、 A(_n— po)—^ A

(n-P₀)-2> Α(_η一 ρο)一 3、 Α_(η—_Ρο)一 ₄、と表わすことができる。同様に、ストリーム S T Β に対応するプレゼンテーションビデオデータにおけるスプライス点のピクチャを B _m-_Po と表わすと、スプライス点のピクチャ B ₀よりも未来のピクチヤは、 B (_m一 p₀₎₊₁、 B(_m一 p₀₎₊2、 B(_m— p₀₎₊₃、 B (_m_p₀₎₊₄、と表わすことができ、スプライス点のピクチャ B 0 よりも過去のピクチャは、 B(_m_p₀)一 B (m- PO)- 2、 ^B (m- Ρθ) - 3、 B _(m一 _Po)— 4、と表わすことができる。

再エンコード区間は、ストリーム ST A に対応するプレゼンテーションビデオデータについては、スプライス点より前に n ₀ 枚、ストリーム ST _B に対応するプレゼンテーションビデオデータについては、スプライス点より後に m 0 枚とする。従って、再エンコード区間は、ピクチャ A_(n— p_0)+n0 〜ピクチャ A _n__Po ピクフ-ャ > _m— p₀〜ピクャ D (_m-po) -_m0 となる。

本実施の形態では、このように設定された再エンコード区間について、再ェンコード処理を行なうようにしている。この再エンコード処理とは、供給されたソース符号化ストリーム ST A 及び S T _B をデコードすることによってベースパンドビデオデータに戻し、スプライスポイントでこのデコードされた 2つのビデォデータをつなげた後、このビデオデータを再エンコードして、新たなストリーム S T _REを作成するという処理である。

この再ェンコ一ド処理によって、ピクチャの並べ替えと動き補償に関する問題はなくなる。このことを、以下で説明する。

図 2 2は、図 2 1に示した例におけるデコード前後のピクチャの並びを示したものである。図 2 2において、（a) は再エンコード区間近傍のストリーム S T A を示し、（b) は再エンコード区間近傍のストリーム ST A に対応するプレゼンテ一シヨンビデオデータを示し、（c) は再エンコード区間近傍のストリーム S T B に対応するプレゼンテーションビデオデータを示し、（d) は再エンコード区間近傍のストリーム S T Bを示している。なお、図中、 REP _A は、ストリーム S T A に対応するプレゼンテーションビデオデータ中の再エンコード対象ピクチヤを示し、 RE P _B は、ストリーム S T B に対応するプレゼンテーションビデォデータ中の再エンコード対象ピクチャを示している。また、図中、曲線の矢印は、予測方向を表している。

図 2 3は、図 2 1及び図 2 2に示したストリーム ST A とストリーム S T _B とをスプライシング処理した後の状態を示しており、図 23 (a) は、 2つのストリームをスプライシングした後のプレゼンテーションビデオデータを示し、図 2 3 (b) は 2つのストリームをスプライシングした後のストリーム ST _SPを示している。図 23 (b) に示したストリーム ST _SPは、再エンコード区間について図 23 (a) に示した画像データを再エンコードして新たなストリーム ST _REを— 生成し、更に、再エンコード区間の前におけるオリジナルストリーム S T _A (以下、 OST _A と記す。）と再エンコード区間内の新たなストリーム ST _REと再ェンコード区間の後におけるオリジナルストリーム S T B (以下、 O S T _B と記す。）とを連結して形成される。なお、図中、 T _REは再エンコード期間を示している。

図 21ないし図 23に示した例では、スプライス点の近傍において、異なるストリームに属するピクチャを利用した予測符号化処理は行われていないので、ピクチャのプレゼンテーション順に関しては、問題は生じていない。

次に、図 21ないし図 23に示した例とは、スプライスポイントが異なる他の例を、図 24ないし図 26に示す。

図 24はプレゼンテーションビデオデータにおけるスプライス点おょぴ再ェンコード区間の他の例を示す説明図である。図 24において、（a) はストリーム ST A に対応するプレゼンテーションビデオデータ、（b) はストリーム ST B に対応するプレゼンテーションビデオデータを示している。

図 25は、図 24に示した例におけるデコード前後のピクチャの並ぴを示したものである。図 25において、（a) は再エンコード区間近傍のストリーム S T _A を示し、（b) は再エンコード区間近傍のストリーム S T A に対応するプレゼンテーシヨンビデオデータを示し、（c) は再エンコード区間近傍のストリーム S T B に対応するプレゼンテーションビデオデータを示し、（d) は再エンコード区間近傍のストリーム ST B を示している。

図 26は、図 24に示した例におけるスプライス後のピクチャの並びを示したものである。図 26において、（a) は、図 25 (b) に示したプレゼンテーシヨンビデオデータと図 25 (c) に示したプレゼンテーションビデオデータとを連結した後の画像データを示し、（b) はスプライスされたストリーム ST _SPを示している。（b) に示したストリーム ST sp は、再エンコード区間について ( a ) に示した画像データを再ェンコ一ドして新たなストリーム S T _REを生成し、更に、再エンコード区間の前における元のストリーム ST A (OST _A ) と再ェンコード区間内の新たなストリーム ST _RE と再エンコード区間の後における元のストリーム S T _B (O S T B ) とを連結して形成される。 ― 図 23ないし図 26に示した例では、スプライス点のピクチャ B _m— poが Pピクチヤであるため、ピクチャタイプの再構成を行わずにそのまま図 25 (b) に示したプレゼンテーションビデオデータと図 25 (c) に示したプレゼンテーションビデオデータとを連結すると、ピクチャ B _m-_P() の再エンコード時に、異なるストリーム ST A に属するピクチャを利用した予測符号化処理が行われてしまい、画質劣化が生じてしまう。そこで、本実施の形態では、スプライス点近傍において、異なるストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行う。図 26 (a) は、このピクチャタイプの再構成の結果、ピクチャ B _m-_Poが Pピクチヤから Iピクチャに変えられた後の状態を示している。

また、図 26 (a) では、ピクチャ A n—poが Bピクチヤとなっており、このピクチャ A _n-p₀ は、本来、双方向からの予測符号化処理が行われるピクチャである、そうすると、ピクチャ A _n__Poの再ェンコ一ド時に、異なるストリーム ST B に属するピクチャを利用した予測符号化処理が行われてしまい、画質劣化が生じてしまう。そこで、本実施の形態では、 Bピクチャであっても、再エンコード時に、異なるストリームに属するピクチャ側からの予測は用いずに予測符号化処理を行なう。従って、図 26 (a) に示した例では、ピクチャ A _n_p₀ については、その前の Ρピクチャ（ Α_(η— _Ρο)+1 ) のみを用いた予測符号化処理を行う。

以上のようなピクチャタイプの再構成の設定は、スプライスコントローラ 1 3 によって行われ、ピクチャタイプの再構成の設定の情報が MP EGェンコ一ド 1 7のェンコ一ドコントローラ 43に与えられる。エンコードコントローラ 43は、ピクチャタイプの再構成の設定に従って、符号化処理を行う。動きベクトル等の過去の符号化処理において生成されたェンコ一ド情報の再利用も、ピクチャタイプの再構成の設定に従って行われる。

なお、本実施の形態によるスプライス処理では、単純なストリーム上のスプライスとは異なるため、図 25 (d) に示したようにストリーム S T B においてピクチャ B _m—_Po の後（過去）に存在していた Bピクチャ（B _(m— _Po)+2 及び B (_m_ P_o)+1 ) は、図 25 (c) に示したようにデコード後に捨てられるため、再ェンコード後のピクチャ列では存在しない。 ― 次に、図 2 7から図 3 0を参照して、本実施の形態における再エンコード区間内の画像データに対する新たな目標符号量の算出方法について説明する。

2つのストリームを単純にスプライスすると、スプライスポイント後に、スプライスされたストリームの VBVバッファがアンダーフロー又はオーバーフローしてしまったり、又は、スプライスされたストリ一ムの VBVバッファのデータ占有量の軌跡が不連続になることが起こる。これらの問題点を解決するための本発明のスプライシング装置の再ェンコ一ド処理について図 2 7から図 3 0を参照して説明する。

まず、図 2 7を参照して、スプライスストリームの VBVバッファがアンダーフ口一及ぴ V B Vバッファのデータ占有量が不連続になる問題について説明する。図 2 7は、先に説明した図 23に対応する単純なスプライス処理を行なった場合の例であって、図 27 (a) は、再エンコード対象ストリーム S T _RE' の VB

Vバッファのデータ占有量の軌跡を示した図であって、図 27 (b) は、再ェンコード対象ストリーム S T _RE，を示した図である。図 2 7において、 T _RE は、再エンコードコントロール期間を示し、 OS T _A は、オリジナルストリーム Aを示し、 S T _RE' は再エンコードの対象となる再エンコード対象ストリームを示している。尚、この再エンコード対象ストリーム S T _RE'とは実際に再エンコードされた再エンコードストリーム S T _RE とは異なり、単純なスプライス処理を行った場合にこのようなストリーム S T _RE，になると想定されるストリームを示している。また、 OST _B は、オリジナルストリーム Bを示し、 S P _VBV は、 VBVバッファにおけるスプライスポィントを示し、 S Pはストリームにおけるスプライスポイントを示している。

図 27 (a) に示されるように、スプライス処理の対象となるストリーム S T RE'の VB Vバッファの軌跡は、スプライスポイント S Pの前では、ストリーム A (S T A ) の VBVバッファのデータ占有量の軌跡となり、スプライスポイント S Pの後では、ストリーム B (S T B ) の VBVバッファのデータ占有量の軌跡となる。ストリーム Aとストリーム Bとを単純にスプライシングすると、ストリーム A (S T _A) の VBVバッファのデータ占有量のスプライスポイントにおけるレべノレと、ストリーム B (ST_B) の VBVバッファのデータ占有量のスプライス一ボイントにおけるレベルとは異なるので、 VBVバッファのデータ占有量の軌跡が不連続になる。

ストリーム Aのスプライスポイントにおける VBVのデータ占有量の軌跡と、スプライスポイントにおけるストリーム Bの VBVのデータ占有量の軌跡とが連続しているようなシームレスなスプライシングを実現するためには、図 2 7 (a) のように、スプライスポイントにおけるストリーム Bの VBVのデータ占有量の開始レベルを、ストリーム Aのスプライスポィントにおける VBVのデータ占有量の終了レベルに一致させなければいけない。つまり、それらのレベルを一致させるためには、図 27 (a) に示される例では、再エンコード制御期間 T _RE において、ストリーム Bの VB Vバッファのデータ占有量の軌跡が本来有していたであろう軌跡よりもレベルを低くしなければいけない。尚、このデータ占有量の軌跡が本来有していただであろう軌跡とは、供給されたストリーム Bがスプライシング処理されなかったと仮定した場合のストリーム Bに関する VB Vパッファのデータ占有量を軌跡であって、図 2 7 (a) の VB V _0ST B の延長軌跡によって示される。

その結果、図 2 7 (a) に示されるように、 VBVバッファからの引き出しビット量が最も多い I ピクチャの引き出しタイミングで、この VB Vバッファがァンダ一フローしてしまう。

本発明の実施の形態では、図 27 (a) に示したように VBVバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、ァンダ一フローが発生しないように再ェンコ一ド期間の各ピクチャに対して新たな目標符号量を設定するようにしている。

また、スプライシングされたストリームの VBVバッファのデータ占有量の軌跡が、スプラスポイントにおいて連続になるように、ストリーム Bの VBVバッファのデータ占有量の軌跡を単純に下げると、アンダーフローが発生するばかりでなく、再ェンコ一ド対象ストリーム ST RE'とオリジナルストリーム OS T Bとの切り替わりボイントで、 VBVバッファのデータ占有量の軌跡が不連続になつてしまう。本発明の実施の形態では、さらに、図 27 (a) に示したように再エンコード対象ストリーム ST _RE- とオリジナルストリーム OS T B との切り替わりポイントで、 VBVバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリ一ム O S T B に対応する VBVバッファのデータ占有量の軌跡 VB V _0ST Bを制御しない理由は、軌跡 VBV _{0ST B} とは、ストリーム Bの VB Vバッファのデータ占有量の軌跡が本来有していたであろう軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡 VB V _{0ST B}は、オリジナルストリーム OS T B がオーバ一フロー又はアンダーフローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとォ一バーフロー又はアンダーフローが発生する可能性があるからである。

次に、 VBVのアンダーフローの問題に関する説明と同じように、図 29を参照して、スプライスストリームの VBVバッファがオーバーフローする問題について説明する。

図 29は、先に説明した図 26に対応するスプライス処理を行った場合の例であって、図 29 (a) は、スプライシンダストリーム ST sp の VBVバッファのデータ占有量の軌跡を示した図であって、図 29 (b) は、スプライシンダストリーム ST sp を示した図である。図 29において、 T _RE は、スプライシング制御されるスプライス期間を示し、 OST A は、オリジナルストリーム Aを示し、 S T _REは再エンコード対象ストリームを示し、 OST _Bは、オリジナルストリーム Bを示し、 S P _VBV は、 VBVバッファにおけるスプライスポイントを示し、 S Pはストリームにおけるスプライスボイントを示している。

図 29 (a) に示されるように、スプライスされた再エンコード対象ストリーム S T _RE，の VB Vバッファの軌跡は、スプライスポイント S Pの前では、ストリーム A (S T A ) の VBVバッファのデータ占有量の軌跡となり、スプライスポイント S Pの後では、ストリーム B (S T B ) の VBVバッファのデータ占有量の軌跡となる。ストリーム Aとストリーム Bとを単純にスプライシングすると、ストリーム A (S T A ) の VBVバッファのデータ占有量のスプライスポイントにおけるレベルと、ストリーム B (S T B ) の VBVバッファのデータ占有量のスプライスポィントにおけるレベルとは異なるので、 VBVバッファのデータ占有量の軌跡が不連続になる。

ストリーム Aのスプライスポイントにおける VBVのデータ占有量の軌跡と、スプライスポイントにおけるストリーム Bの VBVのデータ占有量の軌跡とが連続しているようなシームレスなスプライシングを実現するためには、図 29 (a) のように、スプライスポイントにおけるストリーム Bの VBVのデータ占有量の開始レベルを、ストリーム Aのスプライスポイントにおける VBVのデータ占有量の終了レベルに一致させなければいけない。つまり、それらのレベルを一致させるためには、図 29 (a) に示される例では、再エンコード処理制御期間 T _REにおいて、ストリーム Bの VBVバッファのデータ占有量の軌跡が本来有していたであろう軌跡よりもレベルを高くしなければいけない。尚、このデータ占有量の軌跡が本来有していただであろう軌跡とは、供給されたストリーム Bがスプライシング処理されなかったと仮定した場合のストリーム Bに関する VB V バッファのデータ占有量を軌跡であって、図 29 (a) の VBV _{0ST B} の延長軌跡によって示される。

その結果、図 29 (a) に示されるように、 VBVバッファからの引き出しビット量が少ない Bピクチャや Pピクチャのいくつかが連続して VBVバッファから引き出された後に、この VBVバッファがオーバーフローしてしまう。

本発明の実施の形態では、図 29 (a) に示したように VBVバッファのデータ占有量の軌跡がスプライス点において連続し、かつ、スプライス点の後に、ォーバ—フローが発生しないように再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。

また、スプライシングされたストリームの VBVバッファのデータ占有量の軌跡が、スプラスポイントにおいて連続になるように、ストリーム Bの VBVバッファのデータ占有量の軌跡を単純に上げると、オーバーフローが発生するばかりでなく、再ェンコ一ド対象ストリ一AS T RE'とオリジナルストリーム O S T Bとの切り替わりポイントで、 V B Vバッファのデータ占有量の軌跡が不連続になつてしまう。

本発明の実施の形態では、さらに、図 29 (a) に示したように再エンコード対象ストリーム ST _RE，とオリジナルストリーム OS T Bとの切り替わりポイント— で、 VBVバッファのデータ占有量の軌跡が連続するように、再エンコード期間の各ピクチャに対して新たな目標符号量を設定するようにしている。尚、オリジナルストリーム OS T B に対応する VBVバッファのデータ占有量の軌跡 VBV _0ST Bを制御しない理由は、軌跡 VB V _0ST B とは、ストリーム Bの VB Vバッファのデータ占有量の軌跡が本来有していたであろう軌跡であって、この軌跡をコントロールすることはできないからである。なぜなら、この軌跡 VB V _0ST Bは、オリジナルストリーム O S T B がオーバーフロー又はアンダーフローしないように決定された最適な軌跡であって、もしこの最適な軌跡のレベルを制御するとォーバ一フロー又はアンダーフローが発生する可能性があるからである。

次に、上述した VBVバッファのアンダーフロー又はオーバーフローを回避する本発明のスプライス制御方法、及ぴ VBVバッファのデータ占有量が不連続にならない本発明のスプライス制御方法について説明する。

図 27力ら図 30において、 vbv_under は、 V B Vバッファのアンダーフロー量を示し、 vbv— overは、 V B Vバッファのオーバーフロー量を示し、 vbv_gapは、再ェンコ一ド対象ストリ一ム S T _RE 'とオリジナルス卜リーム OS T Bとのスィッチングポイントにおける V B Vバッファのギヤップ値を示すデータである。

まず、スプライスコントローラ 1 3は、ストリームカウンタ 1 1から供給されたストリーム Aのビットカウント値及ぴストリーム Bのビットカウント値に基いて、オリジナルストリーム〇 S T _A の VBVバッファのデータ占有量の軌跡、ォリジナルストリーム OS T B の VBVバッファのデータ占有量の軌跡、及びストリーム Aとストリーム Bとを単純にスプライシングした場合の再ェンコ一ド対象ストリーム S T _RE，の VBVバッファのデータ占有量の軌跡を演算する。各 VB V バッファのデータ占有量の軌跡の演算は、プレゼンテーション時間毎に、ストリームカンゥンタ 1 1から供給されるビットカウント値のから、プレゼンテーション時間に応じて V B Vバッファから出力されるビット量を減算することによって容易に演算することができる。従って、スプライスコントローラ 1 3は、オリジナルストリーム OS T _A の VBVバッファのデータ占有量の軌跡、オリジナルストリーム O S T B の VBVバッファのデータ占有量の軌跡、及びストリーム Aとストリーム Bとを単純にスプライシングした場合の再ェンコ一ド対象ストリーム S T R_E，の V B Vバッファのデータ占有量の軌跡を仮想的に把握することができる。次に、スプライスコントローラ 1 3は、仮想的に求められた再エンコード対象ストリーム ST _RE，の VBVバッファのデータ占有量の軌跡を参照することによつて、再エンコード対象ストリーム S T _RE 'のアンダーフロー量（vbv— under) 又はオーバ一フロー量（vbv— over) を演算する。さらに、スプライスコントローラ 1 3は、仮想的に求められた再ェンコ一ド対象ストリーム ST _RE'の VBVバッファのデータ占有量の軌跡と、オリジナルストリーム OS T B の VBVバッファのデ —タ占有量の軌跡（VB V _0ST とを参照することによって、再エンコード対象ストリーム S T _RE 'とオリジナルストリーム OS T Bとのスィツチングポィントにおける VBVバッファのギャップ値（vbv— gap) を演算する。

そして、スプライスコントローラ 1 3は、以下の式（ 1 ) 及ぴ（2) により目標符号量のオフセット量 vbv— off を求める。 vov_off = — ( vbv— under - vbv— gap ) … (1)

vbv— off = + ( vbv_over - vbv— gap ) … (2) 尚、図 2 7 (a) に示した例のように VBVバッファがアンダーフローする場合には、式（1) を使用してオフセット量 vbv— off を演算し、図 29 (a) に示した例のように VBVバッファがオーバーフローする場合には、式（2) を使用してオフセット量 vbv_off を演算する。

スプライスコントローラ 1 3は、次に、式（1) または式（2) によって求めたオフセット量 vbv_off を使用して、以下の式（3) によって、目標符号量（目標ビット量） TB ροを求める。 no mo

T B po = ∑ GB— A_(n— _P0)+i + ∑ GB— B_(m一 p^—i + vbv一 off ·· ( 3 ) i=0 i=0

なお、この目標ビット量 TB poは、再エンコード処理を行なうピクチャに対して割当てられる目標ビット量を示している値である。（3) において、 GB_A は、 ― ストリーム Aにおけるピクチャ A _n-p₀からピクチャ A_(n— _Po)+noまでのいずれかのピクチャのビット発生量を示す値であって、 ∑ GB_A_(n__Po)+i は、ピクチャ A _n__Po からピクチャ A(_n-_Po)_+n0 までの各ピクチャの発生ビット量を合計した値である。同様に、式（3) において、 GB_Bは、ストリーム Bにおけるピクチャ B _m__Poからピクチャ B (_m-_Po)—_m0までのレ、ずれかのピクチャの発生ビット量を示す値であって、 ∑ GB_B(_m— p₀₎— i は、ピクチャ B _m-_Poからピクチャ B _(m— p₀)__m0までの各ピクチャのビット発生量を合計した値である。

即ち、式（3) によって示される目標符号量 TB po は、ピクチャ Α_(η— ρ_0)+η0

〜ピクチャ B _(m— _Po)-_m0の合計発生ビット量に、 VBVのオフセット値 vbv— off を加算した値である。このように、オフセット値 vbv_off を加算して目標ビット量 TB p₀ を補正することによって、再ェンコ一ド対象ストリーム ST _Sp とオリジナルストリーム〇ST B の切換えポイントにおけるデータ占有量の軌跡のギヤップを 0にすることができる。よって、つなぎめの無いシームレスなスプライシングを実現することができる。

次に、スプライスコントローラ 1 3は、式（3) に基いて得られた目標ビット量 TB po を、ピクチャ A_(n— p_0)+n0 〜ピクチャ B_(m— p₀₎— _m0 に対して割り当てる。通常は、目標ビット量 TB p₀ を、単純に I ピクチャ： Pピクチャ： Bピクチャが

4 : 2 : 1の比率になるように分配するように、各ピクチャの量子化特性を決定している。

しかしながら、本発明のスプライシング装置では、単純に I ピクチャ： Pピクチヤ： Bピクチャに対して 4 ： 2 ： 1の固定比率で目標ビット量 TB _Poを分配するような量子化特性を用いるのではなく、各ピクチャ A(_n-p₀)_+n0 〜ピクチャ B (m-Po)-moの過去の量子化ステップ及び量子化マトリックス等の量子化特性を参照して、新たな量子化特性を決定する。具体的には、エンコードコントローラ 43 は、ストリーム A及ぴストリーム Bに含まれている量子化ステップや量子化マトリクスの情報を参照して、エンコーダ 1 A， 1 Bにおける過去のエンコード処理時の量子化特性と大きく異なることがないように、再ェンコ一ド時の量子化特性を決定する。ただし、ピクチャの再構成によりピクチャタイプが変更されたピクチヤに関しては、量子化ステップや量子化マトリクスの情報を参照せずに、再ェンコード時に新たに量子化特性を演算する。

図 28は、図 27において説明した VBVバッファのアンダーフローの問題を解決するために、スプライスコントローラ 1 3において演算された目標ビット量 TB poによって再ェンコ一ド処理を行った場合の VBVバッファのデータ占有量を示すための図である。また、図 30は、図 29において説明した VBVバッファのオーバーフローの問題を解決するために、スプライスコントローラ 13において演算された目標ビット量 TB poによって再ェンコ一ド処理を行った場合の V

BVバッファのデータ占有量を示すための図である

よって、再ェンコ一ドされた後の再ェンコ一ドストリーム S T _RE は、図 28及び図 30に示されるように、図 27 (a) における再エンコード対象ストリーム S T _RE，の VB Vバッファのデータ占有量の軌跡と、図 28 (a) における再ェンコードストリーム ST の VBVバッファのデータ占有量の軌跡とは似た軌跡になり、図 29 (a) における再エンコード対象ストリーム S T _RE'の VBVバッファのデータ占有量の軌跡と、図 30 (a) における再エンコードストリーム S T _RE の VBVバッファのデータ占有量の軌跡とは似た軌跡になる。

次に、本実施の形態に係るスプライシング装置及び編集装置の動作について、図 3 1及び図 32を参照して説明する。また、本実施の形態は、 I S01 381 8— 2， I S01 1 1 72— 2の An n e x Cの規定と I S01 381 8— 1の Ann e x Lの規定を満たしているものである。

まず、ステップ S 10において、スプライスコントローラ 1 3は、ストリーム ST A , S T B を任意のピクチャ位置でスプライスするためのスプライスポイント p 0及びスプライシング処理における再エンコード区間 n 0， m₀を受け取る。実際には、オペレータが外部からこれらのパラメータを入力することになるが、再エンコード区間 n ₀， m 0 については、ストリームの GO Pの構成等に応じて自動で設定するようにしても良い。なお、以下の説明では、スプライス点において、ストリーム S T A からストリーム S T B に切り換える場合を例にとって説明するが、もちろん逆でもかまわない。

ステップ S 1 1において、スプライスコントローラ 1 3は、ストリーム ST _A 及びストリーム ST Bを、それぞれ、バッファメモリ 10に一時的に記憶されるようにバッファメモリ 1 0の書込み動作を制御すると共に、プレゼンテーションタイムを基準にしてストリーム S T A及びストリーム ST Bのスプライシングポイントの位相が同期するように、バッファメモリ 10の読み出し動作を制御する。ステップ S 1 2において、スプライスコントローラ 1 3は、ストリーム ST A に設定されたスプライスボイントのピクチャ A _n__Po よりも未来のピクチャを出力しないように、ストリーム ST A のピクチャを選択し、ストリーム ST B に設定されたスプライスポイントのピクチャ B _m— ρο よりも過去のピクチャを出力しないように、ストリーム ST B のピクチャを選択する。例えば、図 25 (a) 及ぴ図 25 (b) に示された例では、ピクチャ A(_n-p₀₎— ₂ である Pピクチャは、ストリ —ム S T _A上では、スプライスボイントのピクチャ A _n-_Poよりは過去であるが、プレゼンテーション順では、ピクチャ A n—po よりは未来のピクチャである。よつて、このピクチャ Α(_η— ρ₀₎— ₂ である Ρピクチャは、出力されない。また、図 25 (c) 及び（d) に示された例では、ピクチャ B_(m一 p₀₎₊₂及びピクチャ B_(m_p₀)+i である Bピクチャは、ストリーム ST _B 上では、スプライスポイントのピクチャ B _m— poよりは未来であるが、プレゼンテーション順では、ピクチャ B _m-_P()よりは過去のピクチャである。よって、この、ピクチャ B (_m— p₀)₊₂ 及ぴピクチャ B (_m— _P())₊₁ である Bピクチャは、出力されない。なお、スプライスコントローラ 1 3がデコーダ 14 A、 14 Bを制御すことによって、このステップにおいて選択されなかったピクチャは、エンコーダ 1 6には供給されない。

このように、プレゼンテーション順を基準として出力すべきピクチャを選択しているので、スプライシング処理を行なったとしても図 9において説明したようなプレゼンテーション順に関する問題は発生することは無い。

ステップ S 1 3において、スプライスコントローラ 13は、再エンコード処理を行なう際の、ピクチャの再構成処理のために必要な符号化パラメータを設定するための処理をスタートする。このピクチャ再構成処理は、以下のステップ S 1 4からステップ S 30まで処理のことを意味し、この処理において設定されるパラメ一タは、ピクチャタイプ、予測方向及び動きベクトル等であるる。

ステップ S 14において、スプライスコントローラ 1 3は、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャ A _n__Poである力否かを判断する。もし、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャ A _n— poである場合には、次のステップ S 1 5に進む。一方、そうでない場合、つまり、ピクチャ再構成処理の対象となっているピクチャがピクチャ Α (_η— _{Ρο) +η0}からピクチャ Α (_η_ρ_{0) +1} である場合には、ステップ S 2

0に進む。

ステップ S 1 5において、スプライスコントローラ 1 3は、ピクチャ再構成処理の対象となっているピクチヤが、 Βピクチャであるのか、 Ρピクチャであるの力、又は I ピクチャであるのかを判断する。ピクチャ再構成処理の対象となっているピクチャが、 Βピクチャである場合には、ステップ S 1 7に進み、ピクチャ再構成処理の対象となっているピクチヤが、 Ρ又は I ピクチャである場合には、ステップ S 1 8に進む。

ステップ S 1 6では、スプライスコントローラ 1 3は、スプライシングされたスプライスストリーム S T _Spにおいて、ピクチャ A η—ροの前に 2つ以上の Βピクチヤが存在するか否かを判断する。例えば、図 2 6 ( b ) に示されるように、ピクチャ A n-po の前に、 2つの Βピクチャ（ピクチャ Α _(η_ρ_{0) +2} とピクチャ Α (_η- _{Ρο) +}3 ) がある場合には、ステップ S 1 8に進む。そうで無い場合には、ステツプ S 1 7に進む。

ステップ S 1 7では、スプライスコントローラ 1 3は、ピクチャ A _n__Po のピクチヤタイプの変更の必要は無しと判断し、ピクチャ A _n__Po の再エンコード処理時におけるピクチャタイプとして、エンコーダ 1 Aにおける過去のエンコード処理において設定されたピクチャタイプ（Bピクチャ）と同じピクチャタイプを設定する。よって、後述する再エンコード処理時に、ピクチャ A _n— po を再び Βピクチャとして符号化することになる。

ステップ S 1 8において、スプライスコントローラ 1 3は、ピクチャ Α _η_ρ()のピクチャタイプを Βピクチヤから Ρピクチャに変更する。このようにピクチャタイブを変更する理由について説明する。このステップ S 1 8のステップに到達するということは、 Βピクチャ（ピクチャ A _η一 po) の前に、 2つの Bピクチャ（図 8におけるピクチャ A _(n一 p_{0) +2} とピクチャ A _(n一 p_{0) +3} ) が存在していることを意味している。即ち、再エンコード対象ストリーム S T _RE'において、 3つの Bピクーチヤが並んでいるということである。通常の M P E Gデコーダでは、予測されているピクチャを一時的に記憶するために、 2つのフレームメモリしか有していないので、 3つの Bピクチャがストリーム上において連続して配列されるている場合には、最後の Bピクチャをデコードできないことになつてしまう。よって、図 2 6において説明したように、ピクチャ A _η-ροのピクチャタイプを Βピクチャから Ρピクチヤに変更することによって、ピクチャ A _n__Po を確実にデコードすることができる。

ステップ S 1 9では、スプライスコントローラ 1 3は、ピクチャ A _η__Ροのピクチヤタイプの変更の必要は無しと判断し、ピクチャ A _n-_P() の再エンコード処理時におけるピクチャタイプとして、エンコーダ 1 Aにおける過去のェンコ一ド処理において設定されたピクチャタイプ（ I ピクチャ又は Pピクチャ）と同じピクチャタイプを設定する。

ステップ S 2 0では、スプライスコントローラ 1 3は、ピクチャ A _n-p₀のピクチヤタイプの変更の必要は無しと判断し、ピクチャ A _η__Ρο の再エンコード処理時におけるピクチャタイプとして、エンコーダ 1 Aにおける過去のェンコ一ド処理において設定されたピクチャタイプ（ I ピクチャ、 Pピクチャ又は Bピクチャ））と同じピクチャタイプを設定する。

ステップ S 2 1では、スプライスコントローラ 1 3は、各ピクチャに対して予測方向の設定及び動きベクトルに関するパラメータの設定を行なう。例えば、図 2 5及び図 2 6の例において示されているように、ピクチャ再構成処理の対象となっているピクチャ A _η-_Ροがオリジナルストリーム O S T Aにおいて Bピクチャであった場合には、ピクチャ再構成処理の対象となっているピクチャ A _η-ροは、 Α (_η__{Ρο) +1} の Ρピクチャ及ぴ Α (_η-_Ρ())— ₂ の Ρピクチヤの両方のピクチャから双方向予測されていたピクチャである。つまり、エンコーダ 1 Αにおける過去のェンコード処理において、ピクチャ Α _η— ροは、 A _(n— p_{0) +1}の Pピクチャ及び A _(n— p₀)_

₂のピクチヤの両方のピクチャから双方向予測さされ生成されたピクチャであるということである。ステップ S 1 2において説明したように、 A _(n一 p₀₎一 ₂ の Pピクチャはスプライシングストリームとしては出力されないので、ピクチャ再構成処理の対象となっているピクチャ A n-poの逆方向予測ピクチャとして、 Α (_η-_Ρ())二

₂の？ピクチヤを指定することはできない。

よって、ステップ S 1 7においてピクチャタイプの変更無しと設定されたピクチヤ A n-po ( Bピクチャ）に対しては、 A _(n— p_{0) +1} の Pピクチヤのみを予測するようような順方向片側予測が行われなくてはいけない。従って、この場合には、スプライスコントローラ 1 3は、ピクチャ A _n— ροに対して、 A _(n— p_{0) +1} の Pピクチヤのみを予測するようような順方向の片側予測を設定する。また、ステップ S 1 8において Bピクチャから Pピクチャに変更されたピクチャ A _n__P()についても、同様に、 A (_n— p_{0) +1} の Pピクチヤのみを予測するような片側予測のパラメータを設定する。

ステップ S 1 9においてピクチャタイプの変更無しと設定されたピクチャ A _n_ _Po ( Pピクチャ）においては、予測方向は変更されない。つまりこの場合には、スプライスコントローラ 1 3は、ピクチャ A _n— p₀ に対して、エンコーダ 1 Αにおける過去のエンコード処理時に予測したピクチャと同じピクチャのみを予測するようような順方向の片側予測を設定する。

ステップ S 2 0においてピクチャタイプの変更無しと設定されたピクチャ A (_n_ _{Po) +n0} からピクチャ A _(n— p_{0) +1} のピクチャについては、予測方向の変更は必要なレ、。つまりこの場合には、スプライスコントローラ 1 3は、ピクチャ A _(n_p_{0) +n0} からピクチャ A _(n— p_{0) +1} に対して、エンコーダ 1 Aにおける過去のエンコード処理時に予測したピクチャと同じピクチャを予測するようような予測方向を設定する。但し、ピクチャ A _(n-p_{0) +1}及びピクチャ A _n一 poの両ピクチャが、順方向の P ピクチャ又は I ピクチャと、逆方向の I ピクチャ又は Pピクチャの双方向のピクチヤから予測されている Bピクチャである場合には、ピクチャ A _n_p₀だけでは無く、ピクチャ A (_n一 ρ₀) ₊ι も順方向のピクチャのみから予測するような片側予測に変更されなければいけない。

さらに、このステップ S 2 1において、スプライスコントローラ 1 3は、新しく設定された予測方向に基いて、各ピクチャに対してエンコーダ 1 Aにおける過去のエンコード処理によって設定された動きべクトルを、再エンコード処理時に再利用するか否かを決定する。上述したように予測方向の変更の無かった Pピクチャや Bピクチャについては、再ェンコ一ド処理時において、エンコーダ 1 Aにおける過去のェンコ一ド処理に使用した動きベクトルをそのまま使用する。例えば、図 2 3及び図 2 6に示した例では、ピクチャ A _(n— _{Po) +n0}からピクチャ A _(n_p_{0) +1} については、それぞれェンコーダ 1 Aにおける過去のエンコード処理に使用した動きべクトルを、再ェンコ一ド時に再利用する。

また、ピクチャ Α _(η— ρ_{0) +}ι 及ぴピクチャ A _n_p₀力順方向の Pピクチャ又は I ピクチャと、逆方向の I ピクチャ又は Pピクチャの双方向から予測されている B ピクチャである場合には、順方向のピクチャのみから予測するような片側予測に変更されているので、それに伴なつて、順方向のピクチャに対応する動きべクトルのみを使用する必要がある。つまり、スプライスコントローラ 1 3は、このステツプ S 2 1において、ピクチャ A _(n— p_{0) +1}及ぴピクチャ A _n__Poが Bピクチヤである場合には、これらのピクチャに対して、順方向のピクチャに関する動きべクトルを使用し、逆方向のピクチャの動きべクトルをしないという設定を行なう。もし、エンコーダ 1 Aにおける過去のエンコード処理において、ピクチャ A _n_ P₀ が未来のピクチャである Α _(η— ρ₀₎— 2 からのみ逆方向の片側予測されていたピクチヤであったならば、再エンコード処理時において、エンコーダ 1 Αにおける過去のエンコード処理時に生成した動きべクトルは一切使用せずに、 A (_n__P())₊₁ に対応する新たな動きベクトルを生成する。つまり、スプライスコントローラ 1 3 は、このステップ S 2 1において、過去の動きベクトルを一切使用しないという設定を行なう。

次に、ステップ S 2 2において、スプライスコントローラ 1 3は、ピクチャ A (_n- PO) +noからピクチャ A n-Poの全てのピクチャに対して、ピクチャタイプ、予測方向及び過去の動きべクトルに関するパタメータが設定されたか否かを判断する。ステップ S 2 3において、スプライスコントローラ 1 3は、ピクチャ再構成処理の対象となっているピクチャがスプライスボイントのピクチャ B _m__Poであるか否かを判断する。もし、ピクチャ再構成処理の対象となっているピクチャがスプライスポイントのピクチャ B _m-p₀である場合には、次のステップ S 2 4に進む。一方、そうでない場合、つまり、ピクチャ再構成処理の対象となっているピクチャがピクチャ B _(m— p₀₎ -i からピクチャ B (_m一 _{Po) +m0}である場合には、ステップ S 2— 8に進む。

ステップ S 2 4において、スプライスコントローラ 1 3は、ピクチャ再構成処理の対象となっているピクチャが、 Bピクチャであるのか、 Pピクチャであるの力、又は I ピクチャであるのかを判断する。ピクチャ再構成処理の対象となっているピクチャが、 Bピクチャである場合には、ステップ S 2 5に進み、ピクチャ再構成処理の対象となっているピクチャが、 Pピクチャである場合には、ステツプ S 2 6に進み、ピクチャ再構成処理の対象となっているピクチャが I ピクチャである場合には、ステップ S 2 7に進む。

ステップ S 2 5では、スプライスコントローラ 1 3は、図 2 2及ぴ図 2 3に示された例のように、再エンコード処理時におけるピクチャ B _m-_Poのピクチャタイプの変更は必要無しと判断し、ピクチャ B _m—p₀の再エンコード処理時におけるピクチャタイプとして、エンコーダ 1 Bにおける過去のェンコ一ド処理において設定されたピクチャタイプ（Bピクチャ）と同じピクチャタイプを設定する。

ステップ S 2 6において、スプライスコントローラ 1 3は、図 2 5及び図 2 6 に示した例のように、ピクチャ B _m— po のピクチャタイプを Pピクチヤから I ピクチヤに変更する。このようにピクチャタイプを変更する理由について説明する。 Pピクチャは、 jlll方向の I ピクチャ又は Pピクチャから予測される片側予測のピクチャであるので、ストリ一ム上においてそれらの予測されたピクチャよりは必ず後ろの位置に存在するピクチャである。もし、ストリーム S T B けるスプライスポイントの最初のピクチャ B _M—_Poが Pピクチヤであるとすると、このピクチャ B _m-_Poより前に存在するストリーム S T Aの順方向のピクチャから予測しなければいけない。ストリーム S T _A とストリーム S T B とは全くことなるので、最初のピクチャ B _m-p₀ のピクチャタイプを Pピクチヤに設定すると、このピクチャをデコードしたとしても画質のかなり劣化した絵になることはあきらかである。よって、スプライスコントローラ 1 3は、ストリーム S T _B けるスプライスポィントの最初のピクチャ B _m-_Poのピクチャタイプが Pピクチャであった場合には、このピクチャ B _m-_P()のピクチャタイプを Iピクチャに変更する。

ステップ S 2 7において、スプライスコントローラ 1 3は、ピクチャ B _m__P()のピクチャタイプの変更の必要は無しと判断し、ピクチャ B _m-poの再エンコード処— 理時におけるピクチャタイプとして、エンコーダ 1 Bにおける過去のェンコ一ド処理において設定されたピクチャタイプ（ I ピクチャ）と同じピクチャタイプを設定する。

ステップ S 2 8では、スプライスコントローラ 1 3は、ピクチャ B (m-po)^ 力らピクチャ B _(m一 p₀₎— _m0のピクチャタイプの変更の必要は無しと判断し、それらのピクチャの再ェンコ一ド処理時におけるピクチャタイプとして、エンコーダ 1 B における過去のエンコード処理において設定されたピクチャタイプ（I ピクチャ、 Pピクチャ又は Bピクチャ）と同じピクチャタイプを設定する。

ステップ S 2 9では、スプライスコントローラ 1 3は、各ピクチャに対して予測方向の設定及ぴ動きべクトル関する設定を行なう。例えば、図 2 2及び図 2 3 に示された例のように、ピクチャ再構成処理の対象となっているピクチャ B _m__Po がオリジナルストリーム O S T B において Bピクチャであった場合には、ピクチャ再構成処理の対象となっているピクチャ B _m-_Poは、 B (_m一 ρ₀)₊ι の Pピクチヤ及び Β θη-Ρο) - 2 の I ピクチャの両方のピクチャから双方向予測されていたピクチャである。つまり、エンコーダ 1 Βにおける過去のエンコード処理において、ピクチヤ B _m-_Poは、 B (_m— ρ₀) +ι の Ρピクチャ及び B (_m-p₀₎— ₂ の Iピクチャの両方のピクチャから双方向予測されて生成されたピクチャであるということである。ステップ S 1 2において説明したように、 B (_m— p₀) ₊₁ の Pピクチャはスプライシングストリームとしては出力されないので、ピクチャ再構成処理の対象となっているピクチャ B _m__P()の順方向予測ピクチャとして、 B _(m— ρ_{0) +}ι の Pピクチヤを指定することはできない。

よって、ステップ S 2 5においてピクチャタイプの変更無しと設定されたピクチヤ B _m-_Po ( Bピクチャ）に対しては、 B _(m— p₀₎— ₂ の Iピクチャのみを予測するようような逆方向片側予測が行われなくてはいけない。よってこの場合には、スプライスコントローラ 1 3は、ピクチャ B _m— poに対して、 B (_m— ρ₀)-₂ の Iピクチャのみを予測するようような逆方向の片側予測を行なうように予測方向を設定する。

ステップ S 2 8においてピクチャタイプの変更無しと設定されたピクチャ B (_m一 P0) +m0からピクチャ ^B (m- P0) +1 のピクチャについては、予測方向の変更は必要な— レ、。つまりこの場合には、スプライスコントローラ 1 3は、ピクチャ B (_m— _P()) _+m() からピクチャ B _(m_p₀) +i に対して、エンコーダ 1 Bにおける過去のエンコード処理時に予測したピクチャと同じピクチャを予測するようような予測方向を設定する。但し、 B ^p^ -i が Bピクチヤである場合には、ピクチャ B _m-_Poの場合と同様に、ピクチャ B _(m— p₀₎— 1 に対して、 B _{( 2} の Iピクチャのみを予測するようような逆方向の片側予測を行なうような予測方向が設定される。

さらに、このステップ S 2 9において、スプライスコントローラ 1 3は、新しく設定された予測方向に基いて、各ピクチャに対してエンコーダ 1 Bにおける過去のエンコード処理によって設定された動きべクトルを、再エンコード処理時に再利用するか否かを決定する。

上述したように予測方向の変更の無かった Pピクチャや Bピクチャについては、再ェンコ一ド処理時において、エンコーダ 1 Bにおける過去のェンコ一ド処理に使用した動きベクトルをそのまま使用する。例えば、図 2 2及び図 2 3においては、 B (_m-p₀) -₂ の I ピクチャから B (_{m m0} までの Pピクチャまでの各ピクチャに対しては、過去のエンコード時に使用した動きべクトルをそのまま使用する。エンコーダ 1 Bにおける過去のエンコード処理において、 B _(m_p₀) ₊₁ の Pピクチヤ及ぴ B (_m-_P()) -₂ の I ピクチャの両方のピクチャから双方向予測されていたピクチャ B _m— ρο及びピクチャ B _(m— ρ₀₎_ι に対しては、 B _(m-_Po)— ₂ の I ピクチャのみを予測するような片側予測に予測方向が変更されているので、ピクチャ B (_m一 _P()) ₊₁ に対応する動きべクトルを使用せずに、ピクチャ B _m— poに対してはピクチャ B (_m_ P_o)_2 に対応する動きべクトルのみを使用する必要がある。つまり、スプライスコントローラ 1 3は、このステップ S 2 9において、ピクチャ B _{m Po}及びピクチャ B (_m-_Po) -i に対しては、一方向のみの過去の動きベクトルを再使用し、他方の過去の動きべクトルを使用しないという設定を行なう。

次に、ステップ S 3 0において、スプライスコントローラ 1 3は、ピクチャ B m__PQからピクチャ B (_m— p₀)— _mo全てのピクチャに対して、ピクチャタイプ、予測方向及び動きべクトルに関するパラメータが設定されたか否かを判断する。

ステップ S 3 1において、スプライスコントローラ 1 3は、既に説明した式 (3) に基いて、再エンコード期間に発生すべき目標ビット量（TB _Po) を演算— する。以下に具体的に説明する。まず、スプライスコントローラ 1 3は、ストリームカウンタ 1 1から供給されたストリーム Aのビットカウント値及びストリーム Bのビットカウント値に基いて、オリジナルストリーム O S Τ _Λ の VBVパッファのデータ占有量の軌跡、オリジナルストリーム OST Β の VB Vバッファのデータ占有量の軌跡、及びストリーム Αとストリーム Bとを単純にスプライシングした場合の再ェンコ一ド対象ストリーム ST _RE，の VB Vバッファのデータ占有量の軌跡を演算する。

次に、スプライスコントローラ 1 3は、仮想的に求められた再エンコード対象ストリーム ST _RE，の VBVバッファのデータ占有量の軌跡を解析することによつて、再エンコード対象ストリーム S T _RE'のアンダーフロー量（vbv— under) 又はオーバーフロー量（vbv— over) を演算する。さらに、スプライスコントローラ 1 3は、仮想的に求められた再ェンコ一ド対象ストリーム S T _RE>の VBVバッファのデータ占有量の軌跡と、オリジナルストリーム OST B の VBVバッファのデータ占有量の軌跡（VBV _{0ST B}) とを比較することによって、再エンコード対象ストリ一ム S T _RE-とオリジナルストリーム O S T Bとのスィツチングポィントにおける VBVバッファのギャップ値（vbv_gap) を演算する。

続いて、スプライスコントローラ 1 3は、既に説明した式（1) 及び（2) により目標符号量のオフセット量 vbv_off を求め、さらに、式（ 1 ) または式

(2) によって求めたオフセット量 vbv— off を使用して、既に説明した式（3) によって、目標符号量（目標ビット量） TB p₀を求める。

次に、ステップ S 32において、スプライスコントローラ 1 3は、式（3) に基いて得られた目標ビット量 TB po を、ピクチャ Α(_η— ρ₀)_+η0 〜ピクチャ B (_m一 p。)__mQ に対して割り当てに基いて、各ピクチャに対して設定される量子化特性を決定する。本発明のスプライシング装置では、各ピクチャ A_(n— p_0)+n() 〜ピクチャ B (_m-Po)-_m0 のエンコーダ 1 A， 1 Bにおける過去の量子化ステップ及び量子化マトリックス等の量子化特性を参照して、新たな量子化特性を決定する。具体的には、スプライシングコントローラ 1 3は、まず、ストリーム A及ぴストリーム B に含まれている量子化ステップや量子化マトリクス等のエンコーダ 1 A， 1 Bにおける過去の符号化処理において生成された符号化パラメータ情報をストリーム— 解析部 1 2から受取る。

そして、スプライシングコントローラ 1 3は、式（3 ) に基いて得られた目標ビット量 T B poを、ピクチャ A _(n_p_{0) +n()} 〜ピクチャ B _(m— p₀₎— _m0に対して割り当てられた符号量のみから量子化特性を決定するのでは無く、この目標ビット量 T B p₀から割当てられた符号量とこれらの過去の符号化パラメータ情報を参照して、エンコーダ 1 A， 1 Bにおけるェンコ一ド時の量子化特性と大きく異なることがないように、エンコード時の量子化特性を決定する。ただし、ステップ S 1 8 やステップ S 2 6において説明したように、ピクチャの再構成処理によりピクチャタイプが変更されたピクチャに関しては、量子化ステップや量子化マトリクスの情報を参照せずに、再ェンコ一ド処理時に新たに量子化特性を演算する。

次に、ステップ S 3 3において、スプライスコントローラ 1 3は、再ェンコ一ド期間に含まれるピクチャ A (_n-p₀) _+n0 〜ピクチャ B (_m-p₀)—_m0をデコードする。次に、ステップ S 3 4において、スプライスコントローラ 1 3、ステップ S 3 2【こおレヽてヒクラ Ύ A (_n-po) +no 〜ピクラャ B (_m-p₀)一 _mo に対してそれぞれ設定された量子化特性を使用して、発生ビット量のコントロールを行いながら、ピクチヤ A _(n— p_{0) +n0} 〜ピクチャ B _(m__Po)— _m0 を再エンコードする。

この再ェンコ一ド処理において、スプライスコントローラ 1 3は、エンコーダ 1 A, 1 Bにおける過去のエンコード処理において使用した動きべクトノレを再禾I 用する場合には、スィツチ 4 4を介して動き補償部 4 1に供給するようにェンコードコントローラに制御信号を与え、エンコーダ 1 A， I Bにおける過去のェンコード処理において使用した動きべクトルを使用しない場合には、新しく動き検出部 4 2において生成された動きべクトルをスィツチ 4 1を介して動き補償部 4 1に供給するようにエンコードコントローラ 4 3を制御する。その際、ェンコ一ドコントローラ 4 3は、スプライスコントローラ 1 3からのピクチャタイプの情報に基づいて、予測画像データの生成に必要なピクチャがフレームメモリ 3 9， 4 0に保持されるようにフレームメモリ 3 9， 4 0を制御する。また、ェンコ一ドコントローラ 4 3は、スプライスコントローラ 1 3から供給された再ェンコ一ド区間内の各ピクチャに対して設定された量子化特性を、量子化回路 3 4と逆量子化回路 3 6に対して設定する。

ステップ S 3 5において、スプライスコントローラ 1 3は、スィッチ 1 7を制御して、バッファメモリ 1 0より出力されるストリーム ST A， S T B および M PEGエンコーダ 1 6より出力される再ェンコ一ド区間内の新たなストリーム S T _REのうちの一つを選択的に出力することによって、再エンコード区間の前におけるストリーム ST _A と Sエンコード区間内の新たなストリーム S T _REと再ェンコード区間の後におけるストリーム S T B とを連結して、スプライスされたストリーム S T _SPとして出力する。

本実施の形態では、このように MP EGエンコーダ 1 7において目標ビット量 TB p₀に従ってレートコントロールしながら再ェンコ一ドを行って得られた再ェンコード区間内の新たなストリ一ム S T _REを、スィツチ 1 7によって、元のストリームにおけるピクチャ Α_(η— ρ_0)+η0 〜ピクチャ B(_m— p₀₎— _m0 の位置にはめ込む。これにより、シームレスなスプライスが実現される。

ストリーム S T _A にストリーム S T B をスプライスするとき、スプライス後のストリーム S T B で、 VBVバッファのオーバフロー、アンダフローを起こさないためには、ストリーム S T B のスプライス後の VBVバッファの状態を、スプライス以前の状態に合わせることが、連続なピクチャプレゼンテーションを保証するためのバッファ制御上の条件となる。本実施の形態では、この条件を、原則として、上述のような新たな目標符号量（目標ビット量）の設定によって満たすようにする。

以上説明したように、本実施の形態によれば、複数のストリームのスプライス点を含む再ェンコ一ド区間内における各ストリ一ムを復号化して、得られた再ェンコード区間内の画像データを新たな目標符号量に従って再ェンコ一ドして、再ェンコ一ド区間内の新たなストリームを生成し、再ェンコ一ド区間の前後における元のストリームと新たなストリームとを連結して出力するようにしたので、復号化装置（ I RD) 側の VBVバッファを破綻させず、且つスプライス点前後でピクチャプレゼンテーションが連続で画像を破綻させることもなく、ストリーム上の任意のピクチャ単位で、複数の映像素材をシームレスにスプライスすることができる。また、本実施の形態では、再エンコード時に、動きベクトル等の複号化の際に使用される情報を再利用するようにしている。すなわち、本実施の形態では、スプライス点近傍において、動き検出が無効になるピクチャ以外のピクチャについては、以前のエンコード時に検出された動きべクトル等の動き検出の情報を再利用しているので、再ェンコ一ド処理によって画質が劣化することは無い。

更に、再エンコード時における量子化特性を決定する際には、復号化の際に使用される量子化ステップや量子化マトリクスの情報を参照するようにしている。従って、本実施の形態によれば、デコードと再エンコードの繰り返しによる画質の劣化を極力抑えることができ、画像再構成の精度を保証することができる。なお、 M P E G規格による圧縮符号化過程では、直交変換の演算精度や、ミスマッチ処理（D C T係数の高域に誤差を入れる処理）等の非線形演算から、復号化の際に使用される情報の再利用だけでは抑えることのできない再構成誤差が持ち込まれる。そのため、再エンコード時に、複号化の際に使用される情報を再利用したとしても完全な画像の再構成はできない。従って、画質劣化が存在することを考慮すれば、デコード、再エンコードを行うのは、スプライス点を含むスプライス点近傍の一定区間のピクチャに留めるべきである。そこで、本実施の形態では、ストリームを全てデコード、再エンコードするのではなく、再エンコード区間を設定して、その区間だけ、デコード、再エンコードを行うようにしている。これによつても、画質の劣化を防止することができる。なお、再エンコード区間は、画質の劣化の程度等や G O P長や G O P構造に応じて自動出で設定できるようにしても良い。を考慮して、任意に設定することができる。

なお、本発明は上記実施の形態に限定されず、例えば、再エンコード区間に対する新たな目標符号量の算出方法は、式（1 ) 〜（3 ) に示した方法に限らず、適宜に設定可能である。

以上説明したように、本発明のスプライシング装置及び編集方法によれば、複数の符号化ビットストリームの接続点を含む接続点前後の所定区間内における各符号化ビットストリ一ムを復号化して所定区間内の画像データを出力し、所定区間内の画像データを、新たな目標符号量に従って符号化して、所定区間内の新たな符号化ビットストリームを出力し、所定区間内の元の符号化ビットストリームを、所定区間内の新たな符号化ビットストリームに置き換えて、所定区間の前後— における元の符号化ビットストリームと新たな符号化ビットストリームとを連結して出力するようにしたので、復号化装置側の入力バッファに対応する仮想的パッファの破綻や画像の破綻をきたすことなく、符号化ビットストリーム上の任意のピクチャ単位で、複数の映像素材を接続することができるという効果を奏する。また、本発明のスプライシング装置及び編集装置によれば、元の符号化ビットストリームに含まれ、複号化の際に使用される情報を利用して符号化を行うようにしたので、更に、接続点近傍における画質劣化を低減することができるという効果を奏する。

また、本発明のスプライシング装置及び編集装置によれば、元の符号化ビットストリ一ムが双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われている場合に、所定区間内の画像データの符号化の際に、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って符号化を行うようにしたので、更に、双方向予測符号化方式による符号化を行う場合であっても画像の破綻をきたすことがないという効果を奏する。

また、本発明のスプライシング装置及び編集装置によれば、複号化装置側の入カバッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定するようにしたので、更に、仮想的バッファの破綻をより確実に防止することができるという効果を奏する。

Claims

求の範囲

1 . 複数の映像素材を符号化して得られる複数の符号化ビットストリームを入力して、この複数の符号ィ匕ビットストリームを接続するための編集装置であって、複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームの接続点を含む接続点前後の各符号化ビットストリームを復号化して、符号化画口

像データを出力する復号化手段と、

符号化画像データに対する新たな目標符号量を設定する目標符号量設定手段と、上記複号化手段から出力された符号化画像データを、上記目標符号量設定手段によって設定される新たな目標符号量に従って符号化して、新たな符号化ビットストリームを生成する符号化手段と、

上記供給された元の符号化ビットストリームと上記符号化手段によって出力される新たな符号化ビットストリームとを、上記接続点において切り換えて出力することによって、編集されたビットストリームを出力する出力手段とを備えたことを特徴とする編集装置。

2 . 上記符号化手段は、元の符号化ビットストリームに含まれる符号化パラメ一タを再利用して符号化を行うことを特徴とする請求項 1記載の編集装置。

3 . 元の符号化ビットストリームは、双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われているものであり、

上記符号化手段は、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って、双方向予測符号化方式による符号化を行うことを特徴とする請求項 1記載の編集装置。

4 . 上記目標符号量設定手段は、復号化装置側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定することを特徴とする請求項 1記載の編集装置。

5 . 上記符号化手段は、設定された目標符号量に対する発生符号量の不足分を補うためにダミ一データの付加を行う機能を有することを特徴とする請求項 1記載の編集装置。

6 . 上記符号化手段は、設定された目標符号量に対して発生符号量が超過したときに、所定単位の符号化処理の停止を行う機能を有することを特徴とする請求項 1記載の編集装置。

7 . 複数の映像素材を符号化して得られる複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームを接続するための編集方法であって、複数の符号化ビットストリームを入力して、この複数の符号化ビットストリームの接続点を含む接続点前後の各符号化ビットストリームを復号化して、符号化画像データを出力する復号化工程と、

符号化画像データに対する新たな目標符号量を設定する目標符号量設定工程と、上記複号化工程から出力された符号化画像データを、上記目標符号量設定工程によって設定される新たな目標符号量に従って符号化して、新たな符号化ビットストリームを生成する符号化工程と、

上記供給された元の符号化ビットストリームと上記符号化工程によって出力される新たな符号化ビットストリームとを、上記接続点において切り換えて出力することによって、編集されたビットストリームを出力する出力工程とから構成される編集方法。

8 . 上記符号化工程は、元の符号化ビットストリームに含まれる符号化パラメ一タを再利用して符号化を行うことを特徴とする請求項 1記載の編集方法。

9 . 元の符号化ビットストリームは、双方向予測符号化方式による符号化のためにピクチャの並べ替えが行われているものであり、

上記符号化工程は、異なる符号化ビットストリームに属するピクチャを利用した予測符号化処理が行われないようにピクチャタイプの再構成を行って、双方向予測符号化方式による符号化を行うことを特徴とする請求項 7記載の編集方法。

1 0 . 上記目標符号量設定工程は、複号化方法側の入力バッファに対応する仮想的バッファのデータ占有量の軌跡の接続点前後におけるずれを減ずるように、新たな目標符号量を設定することを特徴とする請求項 7記載の編集方法。

1 1 . 上記符号化工程は、設定された目標符号量に対する発生符号量の不足分を補うためにダミーデータの付加を行う機能を有することを特徴とする請求項 7記載の編集方法。

1 2 . 上記符号化工程は、設定された目標符号量に対して発生符号量が超過したときに、所定単位の符号化処理の停止を行う機能を有することを特徴とする請求一項 7記載の編集方法。

1 3 . 複数のソース符号化ストリームを編集する編集装置において、

上記複数のソース符号化ストリ一ムに対して、それぞれ編集ボイントを設定する編集ポイント設定手段と、

上記複数のソース符号化ストリームの上記編集ボイント付近のピクチャをそれぞれデコ一ドし、デコードされたビデオデータを出力するデコード手段と、上記デコードされたビデオデータを再ェンコ一ドし、再ェンコ一ドストリームを出力する再ェンコ一ド手段と、

上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、編集された編集ストリームを生成する編集ストリーム生成手段と、

上記上記編集ストリームがデコード時に不連続とならないように上記再ェンコ一ド手段及び上記編集ストリーム生成手段を制御する編集制御手段

とを備えたことを特徴とする編集装置。

1 4 . 上記編集制御手段は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ドの目標ビット量を演算し、

上記再ェンコ一ド手段は、

上記編集制御手段から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項 1 3項記載の編集装置。

1 5 . 上記編集制御手段は、

上記ソース符号化ストリームと上記再エンコードストリームの切換えポイント又は上記再ェンコ一ドストリームの上記編集ポィントにおいて、 V B Vバッファのデータ占有量の軌跡が不連続にならないように、上記再ェンコ一ド手段における再ェンコ一ドの目標ビット量を演算し、

上記再ェンコ一ド手段は、

1 6 . 上記編集制御手段は、

上記再ェンコ一ドストリ一ムに対応する V B Vバッファのデータ占有量の軌跡が、上記ソース符号化ストリームが本来有していたであろうと想定できる V B Vバッファのデータ占有量の軌跡に近くなるように、上記再ェンコード手段を制御する請求項 1 3項記載の編集装置。

1 7 . 上記編集制御手段は、

上記ソース符号化ストリームに含まれる符号化バタメータを抽出し、上記抽出された符号パラメータを、上記再ェンコ一ド手段における再ェンコ一ド処理時に選択的に再利用することによって、上記編集ストリームの画質劣化を防止することを特徴とする請求項 1 3項記載の編集装置。

1 8 . 上記編集制御手段は、

上記ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記再ェンコ一ド手段における再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御することを特徴とする請求項 1 3項記載の編集装置。

1 9 . 上記編集制御手段は、

上記ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、

V B Vバッファにオーバーフロ一及ぴアンダーフローが発生しないように、上記再ェンコ一ド手段における再エンコード処理における各ピクチャ目標ビット量を演算し、

上記ソース符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記ソース符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、

上記演算された新たな量子化特性に基いて上記再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御することを特徴とする請求項 1 3項記載の編集装置。

2 0 . 上記編集制御手段は、

V B Vバッファにオーバーフロー及ぴアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、上記ソース符号化ストリームに含まれる過去の符号化処理において生成された量— 子化特性を参照することによって、上記目標ビット量を、再エンコード処理すベき各ピクチャに対して割当て、

上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御することを特徴とする請求項 1 3項記載の編集装置。

2 1 . 上記編集制御手段は、

V B Vバッファにオーバーフロー及ぴアンダーフローが発生しないように、上記再ェンコ一ド手段における再エンコード処理における目標ビット量を演算し、上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、

上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再エンコード手段を制御することを特徴とする請求項 1 3項記載の編集装置。

2 2 . 上記編集制御手段は、

上記ソース符号化ストリームから抽出された動きべクトル情報を、再ェンコ一ド手段における再ェンコ一ド処理時に選択的に再利用することによって、上記編集ストリームの画質劣化を防止することを特徴とする請求項 1 3項記載の編集装置。

2 3 . 上記再エンコード手段は、

各ピクチャの動きを検出して、動きべクトルを生成する動き検出手段と、上記動き検出手段によって検出された動きべクトルに基いて動き補償を行なう動き補償手段を備え、

上記編集制御手段は、

上記ソース符号化ストリームから抽出された動きべクトル情報を、再エンコード手段における再ェンコ一ド処理時に再利用するか否かを判断し、

再利用すると判断された場合には、上記動き検出手段において検出された動きべクトルではなくて、上記ストリームから抽出された動きベクトルを、上記再ェンコード手段の動き補償回路に供給するように上記再ェンコ一ド手段を制御することを特徴とする請求項 1 3項記載の編集装置。 - 2 4 . 上記編集制御手段は、

上記編集ポイントを挟んで異なるソース符号化ストリ一ムのピクチャから予測されることが無いように、上記再ェンコ一ド手段の再ェンコ一ド処理が行われる上記編集ボイントの近傍のピクチヤに対して予測方向を設定することを特徴とする請求項 1 3項記載の編集装置。

2 5 . 上記編集制御手段は、

上記再ェンコ一ド手段によって再ェンコ一ドされる上記編集ボイント近傍のピクチヤのピクチャタイプを選択的に変更することによって、上記編集ストリームの上記編集ボイントの近傍のピクチャの画質劣化を防止することを特徴とする請求項 1 3項記載の編集装置。

2 6 . 上記編集制御手段は、

上記編集ポイントを跨いで異なるソース符号化ストリームのピクチャから予測されることが無いように、上記再ェンコ一ド手段によって再ェンコ一ドされる上記編集ポイント近傍のピクチャのピクチャタイプを選択的に変更することを特徴とする請求項 1 3項記載の編集装置。

2 7 . 上記複数のソース符号化ストリームは、少なくとも第 1の符号化ストリームと第 2の符号化ストリームを含み、

上記編集制御手段は、

上記第 1の符号化ストリームを構成する複数のピクチャのうち、上記第 1の符号化ストリームに設定された第 1の編集ボイントに対して、プレゼンテ一ション時間軸において未来のピクチャを上記編集ストリームとして出力しないように出力ピクチャを選択し、

且つ、上記第 2の符号化ストリームを構成する複数のピクチャのうち、第 2の符号化ストリームに設定された第 2の編集ポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択することを特徴とする請求項 1 3項記載の編集装置。

2 8 . 上記複数のソース符号化ストリームは、少なくとも第 1の符号化ストリームと第 2の符号化ストリ一ムを含み、上記編集制御手段は、

上記第 1の符号化ストリームを構成する複数のピクチャのうち、上記第 1の符号化ストリ一ムに設定された第 1の編集ポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記編集ストリームとして出力しないように出力ピクチャを選択し、

且つ、上記第 2の符号化ストリームを構成する複数のピクチャのうち、第 2の符号化ストリームに設定された第 2の編集ポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択し、上記再ェンコ一ド手段によって再ェンコ一ドされるピクチャの上記編集ボイントの近傍のピクチャタイプ及び予測方向を設定し、

上記ソース符号化ストリームから抽出された動きべクトル情報を、再ェンコ一ド手段における再ェンコ一ド処理時に再利用するピクチャに対して設定し、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、

上記各ピクチャに割当てられた目標ビット量、予測方向、ピクチャタイプ及び動きべクトルに従って、上記各ピクチャ毎に上記再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御する

ことを特徴とする請求項 1 3項記載の編集装置。

2 9 . 複数のソース符号化ストリームを編集して、編集されたストリームを生成する編集方法において、

上記複数のソース符号化ストリームに対して、それぞれ編集ポイントを設定する編集ポイント設定工程と、

上記複数のソース符号化ストリームの上記編集ボイント付近のピクチャをそれぞれデコ一ドし、デコードされたビデオデータを出力するデコードエ程と、上記デコードされたビデオデータを再エンコードし、再エンコードストリームを出力する再ェンコ一ドエ程と、上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、編集された編集ストリームを生成する編集ストリーム生成ェ程と、

上記上記編集ストリームがデコード時に不連続とならないように上記再ェンコ一ドエ程及び上記編集ストリーム生成工程を制御する編集制御工程

とを備えたことを特徴とする編集方法。

3 0 . 複数のソース符号化ストリ一ムをスプライシングするスプライシング装置において、

上記複数のソース符号化ストリームに対して、それぞれスプライシングポイントを設定するスプライシングポィント設定手段と、

上記複数のソース符号化ストリームの上記スプライシングポィント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコード手段と、

上記デコードされたビデオデータを再ェンコ一ドし、再ェンコ一ドストリームを出力する再ェンコ一ド手段と、

上記ソース符号化ストリームと上記再ェンコ一ドストリ一ムとを切り換えて出力することによって、スプライシングされたスプライシングストリームを生成するスプライシングストリーム生成手段と、

上記上記スプライシンダストリームがデコード時に不連続とならないように上記再ェンコ一ド手段及び上記スプライシンダストリーム生成手段を制御するスプライス制御手段

とを備えたことを特徴とするスプライシング装置。

3 1 . 上記スプライス制御手段は、

V B Vバッファにォ一バーフロー及びアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ドの目標ビット量を演算し、

上記再ェンコ一ド手段は、

上記スプライス制御手段から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項 3 0項記載のスプライシング装置。

3 2 . 上記スプライス制御手段は、 ― 上記ソース符号化ストリームと上記再エンコードストリームの切換えポイント又は上記再ェンコ一ドストリームの上記スプライスポィントにおいて、 V B Vバッファのデータ占有量の軌跡が不連続にならないように、上記再ェンコ一ド手段における再ェンコ一ドの目標ビット量を演算し、

上記再ェンコ一ド手段は、

3 3 . 上記スプライス制御手段は、

上記再ェンコ一ドストリームに対応する V B Vバッファのデータ占有量の軌跡が、上記ソース符号化ストリームが本来有していたであろうと想定できる V B Vバッファのデータ占有量の軌跡に近くなるように、上記再ェンコ一ド手段を制御する請求項 3 0項記載のスプライシング装置。

3 4 . 上記スプライス制御手段は、

上記ソース符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記再ェンコ一ド手段における再ェンコ一ド処理時に選択的に再利用することによって、上記スプライシンダストリームの画質劣化を防止することを特徴とする請求項 3 0項記載のスプライシング装置。

3 5 . 上記スプライス制御手段は、

上記ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記再ェンコ一ド手段における再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御することを特徴とする請求項 3 0項記載のスプライシング装置。

3 6 . 上記スプライス制御手段は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ド処理における各ピクチャ目標ビット量を演算し、

上記演算された新たな量子化特性に基いて上記再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御することを特徴とする請求項 3 0項記載のスプライシング装置。

3 7 . 上記スプライス制御手段は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、上記ソース符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すベき各ピクチャに対して割当て、

上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再ェンコ一ド処理を行なうように上記再ェンコ一ド手段を制御することを特徴とする請求項 3 0項記載のスプライシング装置。

3 8 . 上記スプライス制御手段は、

3 9 . 上記スプライス制御手段は、

上記ソース符号化ストリームから抽出された動きべクトル情報を、界ェンコード手段における再ェンコ一ド処理時に選択的に再利用することによって、上記スプライシンダストリームの画質劣化を防止することを特徴とする請求項 3 0項記載のスプライシング装置。

4 0 . 上記!？エンコード手段は、

上記スプライス制御手段は、

上記ソース符号化ストリームから抽出された動きべクトル情報を、再ェンコ一ド手段における再ェンコ一ド処理時に再利用するか否かを判断し、

再利用すると判断された場合には、上記動き検出手段において検出された動きべクトルではなくて、上記ストリームから抽出された動きベクトルを、上記再ェンコード手段の動き補償回路に供給するように上記再ェンコ一ド手段を制御することを特徴とする請求項 3 0項記載のスプライシング装置。

4 1 . 上記スプライス制御手段は、

上記スプライスポイントを挟んで異なるソース符号化ストリームのピクチャから予測されることが無いように、上記再ェンコ一ド手段の再ェンコ一ド処理が行われる上記スプライスボイントの近傍のピクチャに対して予測方向を設定することを特徴とする請求項 3 0項記載のスプライシング装置。

4 2 . 上記スプライス制御手段は、

上記再ェンコ一ド手段によって再ェンコ一ドされる上記スプライスボイント近傍のピクチャのピクチャタイプを選択的に変更することによって、上記スプライシングストリームの上記スプライスポィントの近傍のピクチャの画質劣化を防止することを特徴とする請求項 3 0項記載のスプライシング装置。

4 3 . 上記スプライス制御手段は、

上記スプライスボイントを跨いで異なるソース符号化ストリ一ムのピクチャから予測されることが無いように、上記再ェンコ一ド手段によって再ェンコ一ドされる上記スプライスボイント近傍のピクチャのピクチャタイプを選択的に変更することを特徴とする請求項 3 0項記載のスプライシング装置。

4 4 . 上記複数のソース符号化ストリームは、少なくとも第 1の符号化ストリームと第 2の符号化ストリームを含み、上記スプライス制御手段は、

上記第 1の符号化ストリームを構成する複数のピクチャのうち、上記第 1の符号化ストリームに設定された第 1のスプライスポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記スプライシングストリ一ムとして出力しないように出力ピクチャを選択し、

且つ、上記第 2の符号化ストリームを構成する複数のピクチャのうち、第 2の符号化ストリームに設定された第 2のスプライシングポイントに対して、プレゼンテ一ション時間軸において過去のピクチャを出力しないように出力ピクチャを選択することを特徴とする請求項 3 0項記載のスプライシング装置。

4 5 . 上記複数のソース符号化ストリームは、少なくとも第 1の符号化ストリームと第 2の符号化ストリームを含み、

上記スプライス制御手段は、

上記第 1の符号化ストリームを構成する複数のピクチャのうち、上記第 1の符号化ストリームに設定された第 1 のスプライスポイントに対して、プレゼンテーション時間軸において未来のピクチャを上記スプライシンダストリームとして出力しないように出力ピクチャを選択し、

且つ、上記第 2の符号化ストリームを構成する複数のピクチャのうち、第 2の符号化ストリームに設定された第 2のスプライシングポイントに対して、プレゼンテーション時間軸において過去のピクチャを出力しないように出力ピクチャを選択し、

上記再ェンコ一ド手段によって再ェンコ一ドされるピクチャの上記スプライスポイントの近傍のピクチャタイプ及び予測方向を設定し、

V B Vバッファにオーバーフロー及ぴアンダーフローが発生しないように、上記再ェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、上記ソース符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、上記各ピクチャに割当てられた目標ビット量、予測方向、ピクチャタイプ及び動— きべクトルに従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記再ェンコ一ド手段を制御する

ことを特徴とする請求項 3 0項記載のスプライシング装置。

4 6 . 複数のソース符号化ストリ一ムをスプライシングするスプライシング方法において、

上記複数のソース符号化ストリームに対して、それぞれスプライシングポィントを設定するスプライシングポイント設定工程と、

上記複数のソース符号化ストリームの上記スプライシングポイント付近のピクチャをそれぞれデコードし、デコードされたビデオデータを出力するデコードエ程と、

上記デコードされたビデオデータを再ェンコ一ドし、再ェンコ一ドストリームを出力する再ェンコ一ドエ程と、

上記ソース符号化ストリームと上記再エンコードストリームとを切り換えて出力することによって、スプライシングされたスプライシングストリームを生成するスプライシンダストリーム生成工程と、

上記上記スプライシングストリームがデコード時に不連続とならないように上記再ェンコ一ドエ程及び上記スプライシンダストリーム生成工程を制御するスプライス制御工程

とを備えたことを特徴とするスプライシング装置。

4 7 . 上記スプライス制御工程は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記再ェンコ一ドエ程における再ェンコ一ドの目標ビット量を演算し、

上記再ェンコ一ドエ程は、

上記スプライス制御工程から供給された上記目標ビット量に基いて、上記ソース符号化ストリームを符号化することを特徴とする請求項 4 6項記載のスプライシング方法。

4 8 . 上記スプライス制御工程は、

上記ソース符号化ストリームと上記再ェンコ一ドストリームの切換えポィント又は上記再ェンコ一ドストリームの上記スプライスポィントにおいて、 V B Vバッファのデータ占有量の軌跡が不連続にならないように、上記再ェンコ一ドエ程における再ェンコ一ドの目標ビット量を演算し、

上記再エンコード工程は、

4 9 . 上記スプライス制御工程は、

上記再ェンコ一ドストリームに対応する V B Vバッファのデータ占有量の軌跡が、上記ソース符号化ストリームが本来有していたであろうと想定できる V B Vバッファのデータ占有量の軌跡に近くなるように、上記再ェンコ一ドエ程を制御する請求項 4 6項記載のスプライシング方法。

5 0 . 上記スプライス制御工程は、

上記ソース符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記再ェンコ一ドエ程における再ェンコ一ド処理時に選択的に再利用することによって、上記スプライシンダストリームの画質劣化を防止することを特徴とする請求項 4 6項記載のスプライシング方法。

5 1 . 上記スプライス制御工程は、

上記ソース符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記再ェンコ一ドエ程における再ェンコ一ド処理を行なうように上記再ェンコ一ドエ程を制御することを特徴とする請求項 4 6項記載のスプライシング方法。

5 2 . 供給されたソースビデオデータを符号化する符号化装置において、上記ソースビデオデータを符号化し、第 1 の符号化ストリームを出力する第 1 のェンコ一ド手段と、

上記第 1のェンコ一ド手段によって符号化された符号化ストリームをデコードし、デコードされたビデオデータを出力するデコード手段と、

上記第 1 の符号化ストリームに含まれる上記第 1 の符号化時において使用した符号化パラメータを選択的に使用して、上記デコード手段によってデコードされたビデオデータを再ェンコ一ドして再ェンコ一ドストリ一ムとして出力する第 2のェンコ一ド手段と、

上記再エンコードストリームに対応する V B Vバッファにオーバーフロー及ぴァンダ一フローが発生しないように、上記第 2のェンコ一ド手段を制御するェンコード制御手段と

を備えたことを特徴とする符号化装置。

5 3 . 上記エンコード制御手段は、

V B Vバッファのデータ占有量の軌跡が不連続にならないように、上記第 2のェンコ一ド手段における再ェンコ一ドの目標ビット量を演算し、

上記第 2のェンコ一ド手段は、

上記エンコード制御手段から供給された上記目標ビット量に基いて、上記デコードされたビデオデータを符号化することを特徴とする請求項 5 2項記載の符号化

5 4 . 上記エンコード制御手段は、

上記第 1の符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記第 2のェンコ一ド手段における再ェンコ一ド処理時に選択的に再利用することによって、上記再ェンコ一ドストリームの画質劣化を防止することを特徴とする請求項 5 2項記載の符号化装置。

5 5 . 上記エンコード制御手段は、

上記第 1の符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記第 2のェンコ一ド手段における再ェンコ一ド処理を行なうように上記第 2のェンコ一ド手段を制御することを特徴とする請求項 5 2項記載の符号化装置。

5 6 . 上記ェンコード制御手段は、

上記第 1の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、

V B Vバッファにオーバ一フロー及ぴアンダーフローが発生しないように、上記第 2のェンコ一ド手段における再ェンコ一ド処理における各ピクチャ目標ビット量を演算し、上記第 1の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記第 1の符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、

上記演算された新たな量子化特性に基いて上記再ェンコ一ド処理を行なうように上記第 2のェンコ一ド手段を制御することを特徴とする請求項 5 2項記載の符号化装置。

5 7 . 上記エンコード制御手段は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記第 2のェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、上記第 1の符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すベき各ピクチャに対して割当て、

上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再ェンコ一ド処理を行なうように上記第 2のェンコ一ド手段を制御することを特徴とする請求項 5 2項記載の符号化装置。

5 8 . 上記エンコード制御手段は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記第 2のェンコ一ド手段における再ェンコ一ド処理における目標ビット量を演算し、上記第 1の符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、

上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再エンコード処理を行なうように上記第 2のエンコード手段を制御することを特徴とする請求項 5 2項記載の符号化装置。

5 9 . 上記エンコード制御手段は、

上記第 1の符号化ストリームから抽出された動きべクトル情報を、第 2のェンコ ―ド手段における再ェンコ一ド処理時に選択的に再利用することによって、上記再ェンコ一ドストリームの画質劣化を防止することを特徴とする請求項 5 2項記載の符号化装置。

6 0 . 上記第 2のエンコード手段は、

上記エンコード制御手段は、

上記第 1の符号化ストリームから抽出された動きべクトル情報を、第 2のェンコ一ド手段における再ェンコ一ド処理時に再利用するか否かを判断し、

再利用すると判断された場合には、上記動き検出手段において検出された動きべクトルではなくて、上記ストリームから抽出された動きベクトルを、上記第 2のェンコ一ド手段の動き補償回路に供給するように上記第 2のェンコ一ド手段を制御することを特徴とする請求項 5 2項記載の符号化装置。

6 1 . 供給されたソースビデオデータを符号化する符号化方法において、上記ソースビデオデータを符号化し、第 1 の符号化ストリームを出力する第 1 のェンコ一ドエ程と、

上記第 1のェンコ一ドエ程によって符号化された符号化ストリームをデコードし、デコードされたビデオデ一タを出力するデコードエ程と、

上記第 1 の符号化ストリ一ムに含まれる上記第 1 の符号化時において使用した符号化パラメータを選択的に使用して、上記デコードエ程によってデコードされたビデオデータを再ェンコ一ドして再ェンコ一ドストリームとして出力する第 2のェンコ一ドエ程と、

上記再ェンコ一ドストリームに対応する V B Vバッファにオーバーフロー及ぴァンダ一フローが発生しないように、上記第 2のエンコード工程を制御するェンコ —ド制御工程と

を備えたことを特徴とする符号化方法。

6 2 . 上記ェンコ一ド制御工程は、

V B Vバッファのデータ占有量の軌跡が不連続にならないように、上記第 2のェンコードエ程における再ェンコ一ドの目標ビット量を演算し、

上記第 2のェンコ一ドエ程は、

上記エンコード制御工程から供給された上記目標ビット量に基いて、上記デコードされたビデオデータを符号化することを特徴とする請求項 6 1項記載の符号化方法。

6 3 . 上記エンコード制御工程は、

上記第 1の符号化ストリームに含まれる符号化パタメータを抽出し、上記抽出された符号パラメータを、上記第 2のェンコ一ドエ程における再ェンコ一ド処理時に選択的に再利用することによって、上記再ェンコ一ドストリームの画質劣化を防止することを特徴とする請求項 6 1項記載の符号化方法。

6 4 . 上記エンコード制御工程は、

上記第 1の符号化ストリームに含まれる量子化特性に関する情報を抽出し、上記抽出された量子化特性に基いて上記第 2のェンコ一ドエ程における再ェンコ一ド処理を行なうように上記第 2のェンコ一ドエ程を制御することを特徴とする請求項 6 1項記載の符号化方法。

6 5 . 上記エンコード制御工程は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記第 2のェンコ一ドエ程における再ェンコ一ド処理における各ピクチャ目標ビット量を演算し、

上記第 1の符号化ストリームに含まれる量子化特性に関する情報を各ピクチャ毎に抽出し、上記第 1の符号化ストリームから抽出された量子化特性と、上記演算された目標ビット量とに基いて、新たな量子化特性を演算し、

上記演算された新たな量子化特性に基いて上記再ェンコ一ド処理を行なうように上記第 2のェンコ一ドエ程を制御することを特徴とする請求項 6 1項記載の符号化方法。

6 6 . 上記ェンコ一ド制御工程は、

V B Vバッファにオーバーフロー及ぴアンダーフローが発生しないように、上記第 2のェンコ一ドエ程における再ェンコ一ド処理における目標ビット量を演算し、上記第 1の符号化ストリームに含まれる過去の符号化処理において生成された量子化特性を参照することによって、上記目標ビット量を、再エンコード処理すベき各ピクチャに対して割当て、

上記各ピクチャに割当てられた目標ビット量に従って、上記各ピクチャ毎に上記再ェンコ一ド処理を行なうように上記第 2のェンコ一ドエ程を制御することを特徴とする請求項 6 1項記載の符号化方法。

6 7 . 上記エンコード制御工程は、

V B Vバッファにオーバーフロー及びアンダーフローが発生しないように、上記第 2のェンコ一ドエ程における再ェンコ一ド処理における目標ビット量を演算し、上記第 1の符号化ストリームの過去の符号化処理における各ピクチャ毎の発生ビット量に近くなるように、上記目標ビット量を、再エンコード処理すべきピクチャに対してそれぞれ割当て、

6 8 . 上記ェンコ一ド制御工程は、

上記第 1の符号化ストリ一ムから抽出された動きべクトル情報を、第 2のェンコ一ドエ程における再ェンコ一ド処理時に選択的に再利用することによって、上記再エンコードストリームの画質劣化を防止することを特徴とする請求項 6 1項記載の符号化方法。

6 9 . 上記第 2のエンコード工程は、

各ピクチャの動きを検出して、動きべクトルを生成する動き検出工程と、上記動き検出工程によって検出された動きべクトルに基いて動き補償を行なう動き補償工程を備え、

上記エンコード制御工程は、

上記第 1の符号化ストリームから抽出された動きべクトル情報を、第 2のェンコ一ドエ程における再ェンコ一ド処理時に再利用するか否かを判断し、

再利用すると判断された場合には、上記動き検出工程において検出された動きべタトルではなくて、上記ストリームから抽出された動きベクトルを、上記第 2のェンコ一ドエ程の動き補償回路に供給するように上記第 2のェンコ一ドエ程を制御することを特徴とする請求項 6 1項記載の符号化方法。