WO2004071085A1

WO2004071085A1 - コード変換方法及びその装置

Info

Publication number: WO2004071085A1
Application number: PCT/JP2004/001015
Authority: WO
Inventors: Akihiro Watabe; Noboru Mizuguchi; Eiji Miyagoshi; Takayuki Morishige
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-02-04
Filing date: 2004-02-02
Publication date: 2004-08-19
Also published as: EP1599043A4; JPWO2004071085A1; CN1717931A; JP4676331B2; US20060153290A1; EP1599043A1; CN100369481C; US7940799B2

Description

明細書

コード変換方法及びその装置

技術分野

本発明は、圧縮符号ィ匕されたマルチメディア情報のコード変換（code translation) の方法及びその装置に関し、特にユーザデータのフォーマツト変換や追加に関するものである。

背景技術

一般に MP EG— 2 (Moving Picture Experts Group Phase 2) と呼ばれるマルチメディァ情報の圧縮符号化技術に関する規格として、 I S 013818— 2が知られている。 MP EG— 2のビデオストリームは階層構造を有し、最上位から順にシ一ケンス層、 GOP (Group of Pictures) 層、ピクチャ層、スライス層、マクロプロヅク層及びブロック層からなる。各層の最初にはスタートコードと呼ばれる 4バイト長の特殊なパターンが揷入されている。このスタートコードは、 0x00、 0x00、 Ox 01の 3バイトで始まり、その次の 1バイトで当該ス夕一トコ一ドに続くデ一夕の種類を示すものである（Oxは 16進数表記であることを表す。以下同じ）。例えば、シーケンス層、 GOP層、ピクチャ層、スライス層の各々のスタートコードの 4バイト目は、それそれ 0xB3、 0xB8、 0x00、 OxAFである。

MPEG— 2では、シーケンス層、 GOP層、ピクチャ層の各々においてユーザ拡張領域の設定が許容されており、ユーザデータのスタートコードが 0x00、 0x0 0、 0x01、 OxB 2からなる 4バイトと決められているだけで、独自のュ一ザ拡張に基づく任意フォーマツトのユーザデータをいずれのユーザ拡張領域にも配置することができる。

実際に、 DVD (Digital Versatile Disk ) などのデジタル蓄積メディアや、 DVB (Digital Video Broadcasting ) などのデジタル放送では、 MP EG— 2に準拠しながら各々独自のユーザ拡張が行われている。例えばクローズドキャプションのためのュ —ザデータの規格は統一されておらず、ユーザデ一夕間のフォーマツト変換を要するのが実状である。なお、英語字幕情報などの文字情報を G 0 Pへッダ中にユーザデータとして格納するためのリアルタイム符号化技術が知られている（曰本国特開 2 0 0 1— 1 4 5 0 6 7号公報参照）。

また、 T S (Transport Stream) 間の変換において処理量を削減できるビットレート変換装置（トランスコーダ）も提案されている（日本国特閧 2 0 0 1 - 2 5 1 6 1 6号公報参照） o

さて、ユーザデータのフォーマットを変換するための最も簡便な方法は、一方のシステムのデコーダと他方のシステムのエンコーダとをつなぐ方法である。ただし、ュ一ザデータ以外のデータ、つまりメインデータについて無 1；な処理がなされることになり、また画質劣化の原因ともなる。

そうかと言って、入力コード中のユーザデ一夕のみのフォ一マヅトを単純に変換して出力コードを得る場合には、当該変換によりデータ量が大幅に変化すると、レート制御に破綻を来す可能性がある。デ一夕量の許容範囲を決定するパラメ一夕として、ビットレート値及び V B V (Video Buffering Verifier ) ノヅフアサイズ値がシ一ケンスヘッダ中に、 V B Vディレイ値がピクチャヘッダ中にそれそれ含まれており、これらのパラメ一夕に基づくレート制御が破綻する虞れがあるのである。また、入力コ一ドにユーザデー夕を追加して出力コードとする場合も同様である。

発明の開示

本発明の目的は、レート制御に破綻を来すことなくユーザデ一夕のフォーマヅト変換ゃ追加を実現できるコード変換方法及びその装置を提供することにある。

この目的を達成するため、本発明は、ある規格に準拠した入力コードを受け取り、かつ当該入カコード中のユーザ拡張領域に配置されたユーザデ一夕のフォーマツトを変換して出力コードとし、又は当該入力コードにユーザデ一夕を追カ卩して出力コードとするに際し、入力コード中のデータ量の許容範囲を決定するパラメ一夕をユーザデ一夕のフォーマヅト変換又は追加に対応できるように変更したうえ、変更後のパラメ —夕に応じて出カコードを生成するように、パラメ一夕変更後の入力コードとユーザデ一夕とを所定のフォーマットで多重化することとしたものである。図面の簡単な説明

図 1は、本発明に係るコ一ド変換装置の構成例を示すブロック図である。

図 2、図 3及び図 4は、図 1のコード変換装置におけるデータフォーマット図であつて、図 2は入力コードを、図 3は中間コードを、図 4は出力コードをそれそれ表す。図 5は、図 1中のデータ解析部の内部構成例を示すプロック図である。

図 6は、図 1中の多重化部の内部構成例を示すプロヅク図である。

図 7は、図 6中のメインデ一夕再処理部の内部構成例を示すブロック図である。発明を実施するための最良の形態

以下、図面を参照しながら、コード変換に係る本発明の実施の形態を詳細に説明する。ただし、問題を単純^ iする。まず、入力コ一ドは MP E G— 2のビデオストリームであり、これを所定のフォーマットの出力コードに変換するものとする。入カコードは G O P層のユーザ拡張領域（G O Pュ一ザデ一夕領域）に、出力コードは個々のピクチャ層のユーザ拡張領域（ピクチャユーザデ一夕領域）に、それそれ例えばクロ —ズドキャプションのためのユーザデータが配置されるものとする。また、 1 G O P は最大 1 5フレームからなり、かつ 1 G O P中にいくつかの先頭フレームに対応するユーザデータのみが入っているものとする。つまり、毎ピクチャに対応するユーザデ一夕が入っているとは限らないものとしておく。変換前は 1 5フレームのうち 1フレ —ムしか 4バイトのスタートコードが付かなかったが、変換後は毎フレームにユーザデ一夕の 4バイトのスタートコードが付く。したがって、スタートコードだけを考えた場合でも、 1秒あたり 3 0フレームとして、変換により（1 4/ 1 5 ) X 3 0 X 4 X 8 b p sだけビットレートが増加することになる。また、変換後のユーザデータの位置は厳密ではないものとする。例えばクローズドキャプションのためのユーザデー夕では、ピクチャデ一夕との完全な同期は要求されない。

以上のようなュ一ザデ一夕位置の仮定や、必ずしも全フレームに対応するュ一ザデ一夕が存在しないような状況は、クローズドキャプションなどの現在用いられているシステムでは妥当な仮定である。

図 1は、本発明に係るコード変換装置の構成例を示している。図 1のコード変換装置は、デ一夕解析部 1 0 1と、デ一夕バッファ 1 0 2と、多重化部 1 0 3とから構成されている。例えば、データ解析部 1 0 1と多重化部 1 0 3とはストリームコント口ーラ 1 0 4と呼ばれる 1個の L S Iを構成し、データバッファ 1 0 2として機能するメモリが当該 L S Iに外付けされる。データ解析部 1 0 1は、入力コード 1 2 1を解祈して、当該入力コード 1 2 1中のデータ量の許容範囲を決定するパラメ一夕（ビヅトレート値、 V B Vバッファサイズ値、及び V B Vディレイ値）をユーザデ一夕のフォ—マツト変換に対応できるように変更し、かつ当該入力コード 1 2 1中のユーザデ一夕をそれ以外のメインデータから識別するための付加情報を生成する機能を有する。データバッファ 1 0 2は、パラメ一夕変更後の入力コードを付加情報とともに一時格納するためのメモリである。 1 2 2はデータ解析部 1 0 1からデ一夕バッファ 1 0 2 への書き込みアドレス、 1 2 3はデータ解析部 1 0 1からデータバッファ 1 0 2への書き込みデ一夕、 1 2 4はデータ解析部 1 0 1から多重化部 1 0 3へ通知される書き込みデ一夕サイズである。多重化部 1 0 3は、変更後のパラメ一夕に応じて出カコード 1 2 7を生成するように、パラメ一夕変更後の入力コードとユーザデ一夕とをデー夕バッファ 1 0 2中の付加情報に従って所定のフォーマツトで多重化する機能を有する。 1 2 5は多重化部 1 0 3からデ一タパヅファ 1 0 2への読み出しアドレス、 1 2 6はデータバッファ 1 0 2から多重化部 1 0 3への読み出しデ一夕である。

図 2は入力コード 1 2 1を、図 3はデ一夕バッファ 1 0 2に格納される中間コードを、図 4は出力コード 1 2 7をそれそれ表すデータフォーマツト図である。

図 2において、 2 0 1はシ一ケンスヘッダ、 2 0 2は00 へヅダ、 2 0 3は G O Pユーザデ一夕、 2 0 4はピクチャヘッダ、 2 0 5はピクチャデ一夕である。 G O P ユーザデータ 2 0 3の領域は、クローズドキャプションのためのユーザデ一夕を含んでいる。図 2に示しているのは 1ピクチャのみであり、実際には「ピクチャヘッダ 2 0 4 +ピクチャデータ 2 0 5」がピクチャ数だけ繰り返される。

図 3に示す中間コードにおいて、 3 0 5はシーケンスヘッダ、 3 0 6は00卩へッダ、 3 0 7は G O Pユーザデ一夕、 3 0 8はピクチャヘッダ、 3 0 9はピクチャデ一夕であって、それそれ図 2中のシーケンスヘッダ 2 0 1、 00 へヅダ2 0 2、 G O pユーザデ一夕 2 0 3、ピクチャヘッダ 2 0 4、ピクチャデ一夕 2 0 5に対応している。この中間コードは、ピクチャデ一夕 3 0 9などのメインデータから G O Pユーザデータ 3 0 7を識別するための付加情報 3 0 0を更に備えている。付加情報 3 0 0において、 3 0 1はピクチャサイズ及びピクチャタイプを含むピクチャ情報、 3 0 2はユーザデ—夕位置、 3 0 3はユーザデータサイズ、 3 0 4はピクチャデ一夕位置である。このうちビクチャ情報 3 0 1中のピクチャサイズは当該処理単位に含まれるピクチヤの全体サイズを、ピクチャタイプは I (Intra) ピクチャ、 P (Predictive) ピクチャ、 B (Bidirectionally predictive ) ピクチャというコ一デイングタイプの区別をそれそれ表している。また、 G O Pユーザデ一夕 3 0 7の先頭位置及びサイズがユーザデ一夕位置 3 0 2及びユーザデータサイズ 3 0 3によりそれそれ示され、ピクチャデー夕 3 0 9の先頭位置がピクチャデ一夕位置 3 0 4により示されている。

データ解析部 1 0 1は、図 3に示すような付加情報 3 0 0を持ったデータをデ一夕バッファ 1 0 2に格納する。デ一夕の区切りには 4バイト長の特殊なパターンであるス夕一トコ一ドが必ず入るので、ランダムアクセスが可能なメモリであればこのようなデ一夕構造は簡単に作成できる。しかも、付加情報 3 0 0を設けることで、 G 0 P ユーザデータ 3 0 7と他のデ一夕とを区別したデ一夕バッファアクセスが簡単になる。また、ピクチャサイズを含んだピクチャ情報 3 0 1があるので、図 3のデ一夕構造の最後、つまり次の付加情報 3 0 0の開始点も簡単にアクセスできる。

さて、ビットレート値及び VB Vバッファサイズ値はデータ量の上限を、 V B Vディレイ値は C B R (Constant Bit Rate：—定ビットレート）の場合のデ一夕量の下限をそれそれ決定するものである。ただし、 V B Vディレイ値が O x f f f fである場合には V B R (Variable Bit Rate：可変ビットレート）とみなされ、デ一夕量の下限に関する制約が外されることになつている。

そこで、シーケンスヘッダ 3 0 5中のビヅトレート値及び V B Vバッファサイズ値、ピクチャへヅダ 3 0 8中の V B Vディレイ値は、ュ一ザデータのフォーマツト変換に対応できるように、それそれデ一夕解析部 1 0 1によって既に書き換えられている。例えば、ユーザデータのフォーマット変換によるビットレート増加予想値である（ 1 4/15) X 30x4x8 bpsだけビットレート値を増加させ、 VBVバッファサィズ値は規格で許される最大値に変更し、 VBVディレイ値を Ox f f f f とすることで VBRの設定にする。ただし、もしユーザデ一夕がフォーマット変換により少なくなるのであれば、書き換え後のビットレート値は元のビットレ一ト値より小さくてもよい。書き換え後の VBVバッファサイズ値は、予想される最大のピクチャサイズ以上であればよく、また元の VBVバッファサイズ値をそのまま利用してもよい。 V BRの設定を止めて、 CBRのままで VBVディレイ値を再計算してスタッフイングを行う方法も採用できる。また、これらのパラメ一夕変更を多重化部 103で行ってもよい。

多重化部 103は、図 4に示すようなフォーマツトを持つ出力コード 127を生成するように、データバッファ 102中の付加情報 300に従って GO Pユーザデータ 307とそれ以外のメインデ一夕とを多重化する。

図 4において、 401はシーケンスヘッダ、 402は GO Pヘッダ、 403はピクチヤヘッダ、 404はピクチャユーザデータ、 405はピクチャデータであって、それそれ図 3中のシーケンスヘッダ 305、 GOPへッダ306、ピクチャヘッダ 30 8、 GOPユーザデ一夕 307、ピクチャデ一夕 309に対応している。図 4に示しているのは 1ピクチャのみであり、実際には「ピクチャへヅダ 403+ピクチャユーザデータ 404 +ピクチャデータ 405」がピクチャ数だけ繰り返される。

以下、図 5及び図 6を参照して、データ解析部 101及び多重化部 103の各々の詳細を説明する。

図 5は、図 1中のデータ解析部 101の内部構成例を示している。図 5のデ一夕解析部 101は、第 1、第 2、第 3及び第 4入力レジス夕 501, 502， 503, 5 04と、スタートコード検出部 505と、全体を制御するためのデータ解析制御部 5 06と、付加情報 300の挿入のためのセレクタ 507とで構成されている。

データ解析部 101は、 1バイト毎に以下のステップ 1〜7を繰り返す。すなわち、ステップ 1でデ一夕が取り込まれ、既に入力された 3バイトのデ一夕と合わせてス夕 —トコ一ドであるかどうかがステップ 2で判定される。そのとき、所定条件を満たせばステップ 3の付加情報書き込み処理がなされる。この処理の後、次のピクチャに対する付加情報を書き込むための準備として、データ書き込み用のボイン夕を所定サイズだけ増加させておく。ステップ 4では、スタートコードに基づいて各種フラグが設定される。ステップ 5では、ビットレート値、 VBVバヅファサイズ値、 VBVディレイ値がそれそれ変更される。ステップ 6では、各種カウン夕を増加させる。ステヅプアでは多重化デ一夕がデ一夕バッファ 102に書き込まれる。

以下、個々のステップの詳細を説明する前に、データ解析制御部 506が有する各種フラグ、カウン夕を説明する。まず、 P I CS I ZEは処理単位であるビクチャのサイズを示すカウン夕であり、レート制御や、次の付加情報位置を検出するために用いられる。 USER— COUNTはユーザデ一夕の閧始位置を示すカウン夕、 USE RS I ZEはユーザデ一夕のサイズを示すカウン夕、 P I CD AT A— COUNTはピクチャデ一夕の閧始位置を示すカウン夕である。これら 4つのカウン夕は、図 3におけるピクチャ情報 301中のピクチャサイズ、ユーザデータ位置 302、ュ一ザデ一夕サイズ 303、ピクチャデ一夕位置 304にそれそれ対応している。 SEQHE AD— FLAG、 GOPHEAD— FLAG、 P I CHEAD_FLAG, USER —FLAG及び SL I CE— FLAGは、それそれシーケンスヘッダ、 GOPヘッダ、ピクチャヘッダ、ユーザデータ、スライスの各々のスタートコードを検出したことを示すフラグである。 P I CTOP_COUNTは、ピクチャヘッダ中のバイト数を示すカウン夕であり、 VBVディレイ値を変更する際に用いられる。 BP及び WPはデ —夕バッファ 102のボイン夕であり、 BPは付加情報 300の書き込み位置を示す第 1ボイン夕、 WPは他のデ一夕の書き込み位置を示す第 2ボイン夕である。

〈ステップ 1 ：入力デ一夕取り込み〉

第 4入力レジス夕 504に第 3入力レジス夕 503の値が書き込まれる。以下順に値が書き込まれ、第 1入力レジス夕 501に入力コード 121の 1バイトデ一夕が書き込まれる。

〈ステップ 2 ：ス夕一トコ一ド検出〉

ス夕一トコ一ド検出部 505は、第 1〜第 4入力レジス夕 501〜504の 4バイトのデ一夕がスタートコードに一致するか、あるいは全てのバイトが Ox 00であるかを判定する。

〈ステップ 3：付加情報書き込み〉

ステップ 3の全体は、（a) シーケンスへヅダを検出した場合、 (b) SEQHEAD — FLAG=0であり、かつ GOPへヅダを検出した場合、 (c) SEQHEAD— F LAG=0、 GOPHEAD— FLAG=0かつピクチャヘッダを検出した場合のうちのいずれかの場合に限って、以下のような処理を行う。

ステップ 3における最初の動作は、付加情報 300を所定フォーマヅトでデ一夕バヅファ 102に書き込む処理である。ここでは、 PICSIZE、 USER_COU NTs USERS I ZE, P I CD AT A— COUNTの各々の値を第 1ポインタ B Pで示されたァドレスに書き込んでいく。

次に、第 1及び第 2ポインタ BP, WPの更新を行う。具体的には、第 1ポインタ BPに第 2ポインタ WPの値を代入し、第 2ポインタ WPの値を付加情報 300のサィズだけ増加させる。この動作により、第 1ポインタ BPには次のピクチャの付加情報の位置が書き込まれ、第 2ボイン夕 WPには付加情報の次の位置が書き込まれる。最後に、各種フラグ、カウン夕の初期化がなされる。具体的には P I CS I ZE、 USER一 COUNT、 USERS I ZEs P I CD AT A— C OUNT及ぴ P I C TOP— COUNTが全て 0に初期化され、 SEQHEAD_FLAG、 GOPHE AD— FLAG、 P I C H E AD— F L AG及び U S E R_F L AGの全てが 0にクリアされる。

〈ステップ 4：フラグ更新処理〉

スタートコード検出の結果を受けて、該当するフラグをクリア、設定する。具体的には、（1) シーケンスヘッダが検出されたとき、 SEQHEAD— FLAG= 1、 G OPHEAD— FLAG=0、 P I CHE AD_F L AG= 0 USER— FLAG =0にする。（2) GOPヘッダが検出されたとき、 GOPHEAD— FLAG= 1、 P I CHEAD— FLAG=0、 U S ER— F L AG= 0にする。（3) ピクチャへヅダが検出されたとき、 P I CHEAD— FLAG= 1、 U S E R— F L AG= 0にする。（ユーザデ一夕のスタートコードが検出されたとき、 USER— FLAGに G OPHEAD— FLAGの内容を設定する。（5)スライスのスタートコードが検出されたとき、 SEQHEAD一 FLAG=0、 GO P HE AD_F L AG= 0, PIC

1にする ο

〈ステップ 5 ：デ一夕書き換え処理〉

ビットレート値、 VBVバッファサイズ値、 VBVディレイ値を前述のように変更する。 SEQHEAD— FLAG= 1のとき、 P I C S I Z Eはシーケンスヘッダからのバイト数を示し、その値によってビットレート値、 VBVバッファサイズ値に該当するかどうかが判定できる。また、 P I CTOP— COUNTを利用して VBVディレイ値の 2バイトを決定して書き換える。

〈ステップ 6 ：カウン夕増加〉

ステップ 6と次のステップ 7は、第 1〜第 4入力レジス夕 501〜504の値が全て 0x00のときは動作しないものとする。つまり、データ書き込みのステップ 7がスキップされる結果、スタッフイングされたゼロ（メインデ一夕中の冗長デ一夕）が削除される。規格により、このようなパ夕一ンを削除しても悪影響が出ないようになつている。

第 1〜第 4入力レジス夕 501〜504のいずれかが 0x00以外であれば、以下のように動作する。すなわち、 PICSIZEは、フラグに依存せずに増加する。 U SER— COUNTは、 113£1^ー八0=0かっ？ I CHE AD_F L AG= 0 のときのみ増加する。 USERSIZEは、 USER— FLAG= 1のときのみ増加する。 P I CDATA— COUNTは、 S L I C E— F L AG= 0のときのみ増加する。 P I CTOP— COUNTは、 P I CHEAD— FLAG= 1のときのみ増加する。これらにより、各種カウン夕はスタートコードの発生に従って所定のサイズを力ゥントできる。

〈ステップ 7 ：デ一夕書き込み〉

第 1〜第 4入力レジス夕 501〜504のいずれかが 0x00以外であれば、第 4 入力レジス夕 5 0 4の値を第 2ポインタ WPで指定されるデータバッファ 1 0 2のァドレス位置に書き込み、かつ第 2ポインタ WPを 1だけ増加させる。

なお、書き込みデ一夕サイズ 1 2 4は、データ解析制御部 1 0 6の第 1ポインタ； B Pの値がそのまま出力される。つまり、書き込みデータサイズ 1 2 4は、付加情報 3 0 0が最後に書き込まれたアドレスを示している。

以上説明してきたようなフローでデ一夕バッファ 1 0 2にデータを書き込めば、図 3に示すようなフォーマットを実現できる。ここで最も重要なポイントは、デ一夕バヅファ 1 0 2が G O Pユーザデ一夕 3 0 7の領域と、それ以外のメインデ一夕の領域とを区別してアクセスできるようになつている点である。このような区別ができていれば、例えばバッファを別領域にしておくなどの他の手法を用いることもできる。しかし、別バッファを持つよりも単一バッファ上に付加情報 3 0 0を付ける形でデ一夕を識別しておく方が、バッファの利用効率は向上する。この付加情報 3 0 0に更に元のデ—夕サイズなどの他の情報を付加して利用することもできる。

図 6は、図 1中の多重化部 1 0 3の内部構成例を示している。図 6の多重化部 1 0 3は、付加情報を順に出力する付加情報読み出し部 6 0 1と、付加情報を保持するためのメイン付加情報バッファ 6 0 2と、メインデ一夕を順に出力するメインデ一夕読み出し部 6 0 3と、ユーザデ一夕を順に出力するユーザデ一夕読み出し部 6 0 4と、このユーザデ一夕読み出し部 6 0 4で参照する付加情報を保持するためのユーザ付加情報バヅファ 6 0 5と、多重化制御部 6 0 6と、メインデ一夕再処理部 7 0 1とから構成されている。メイン付加情報バッファ 6 0 2は、メインデ一夕の多重化の際に用いられ、 1ピクチャを多重化する毎に付加情報が削除されていくものである。一方、ユーザ付加情報バッファ 6 0 5は、ユーザデ一夕の多重化の際に用いられ、ユーザデ —夕を多重化できたときにのみ付加情報が削除されるものである。 6 2 1及び 7 0 2 はメインデ一夕、 6 2 2及び 7 0 3はメインデ一夕バリヅド信号、 6 2 3はユーザデ一夕、 6 2 4はユーザデ一夕バリッド信号、 6 2 5はフレーム番号、 7 0 4はサイズ変更指令である。多重化制御部 6 0 6は、メインデ一夕 7 0 2、ュ一ザデ一夕 6 2 3、スタートコードなどを適切なタイミングで出力することによって、図 4に示すようなフォーマヅトの出力コード 1 2 7を出力する。なお、書き込みデータサイズ 1 2 4はデータ解析部 1 0 1がどこまでデータを書き込んだかを示すもので、書き込まれていないデータを多重化部 1 0 3が誤って処理してしまわない働きをしている。メインデ一夕再処理部 7 0 1の機能については後述する。

多重化制御部 6 0 6の大まかな動作は、メィン付加情報バヅファ 6 0 2のデ一夕に基づいて各ピクチャ層に配置可能なユーザデータ量をまず計算し、図 3中のシーケンスヘッダ 3 0 5、 G O Pヘッダ 3 0 6、ピクチャヘッダ 3 0 8を順に出力した後、配置可能なデ一夕量だけ G O Pュ一ザデ一夕 3 0 7を多重化し、その後ピクチャデータ 3 0 9を出力する。これにより、図 4に示すようなシーケンスヘッダ 4 0 1、 G O P ヘッダ 4 0 2、ピクチャヘッダ 4 0 3、ピクチャュ一ザデ一夕 4 0 4、ピクチャデ一夕 4 0 5が得られる。

ここで、ピクチャユーザデ一夕 4 0 4の配置によって変換後のデ一夕量が増大することになるが、所要のユーザデータは複数フレーム中に必ず配置可能である。また、配置できるデ一夕量を予め計算しているため、この配置処理によってレート制御が破綻することはない。ビットレート値を元の値よりも増大させているので、配置不可能なデータ量が連続することはない。

更に詳細に説明すると、付加情報読み出し部 6 0 1は、内部にリードポインタとピクチャサイズ用のカウン夕とを持っており、書き込みアドレス 1 2 2がリードポイン夕よりも大きくなり、かつメイン付加情報バッファ 6 0 2に空きがあるときに動作を開始する。最初に、リードポインタを用いてデータバッファ 1 0 2から付加情報 3 0 0を読み出し、メイン付加情報バッファ 6 0 2に書き込む。次に、ピクチャ情報 3 0 1から得たピクチャサイズの情報を使ってその次の付加情報の位置を割り出し、その位置にデータバッファ 1 0 2のリードポインタを増加させる。メイン付加情報バヅファ 6 0 2は、複数組の付加情報を格納することができる。

メインデータ読み出し部 6 0 3は、メイン付加情報バッファ 6 0 2に格納されている付加情報をもとに、メインデ一夕のみを順に読み出し、これをメインデータ再処理部 7 0 1へ出力する。詳細は後述するが、メインデ一夕再処理部 7 0 1は、通常は与えられたメインデータ 6 2 1をそのまま多重化制御部 6 0 6ヘメインデ一夕 7 0 2として供給する。 1ピクチャの読み出しが終了すれば、メイン付加情報バッファ 6 0 2 の該当付加情報を削除する。メインデ一夕読み出し部 6 0 3は、有効なメインデータ 6 2 1の準備ができるとメインデータバリヅド信号 6 2 2を 1とし、準備ができていることを、メインデ一夕再処理部 7 0 1を介して多重化制御部 6 0 6へ知らせる。この際、メインデータ再処理部 7 0 1は、与えられたメインデータバリッド信号 6 2 2 をそのまま多重化制御部 6 0 6ヘメインデータバリツド信号 7 0 3として供給する。ユーザデ—夕読み出し部 6 0 4は、付加情報を順にユーザ付加情報バッファ 6 0 5 に書き込み、この情報に従って G O Pユーザデータ 3 0 7の読み出しのみを順に行つていく。このとき、ユーザデ一夕のサイズが 0のものに対しては次のピクチャを探す c このユーザデータ読み出し部 6 0 4は、有効なュ一ザデータ 6 2 3の準備ができるとユーザデータバリヅド信号 6 2 4を 1とし、かつそのュ一ザデ一夕 6 2 3に対応するフレーム番号 6 2 5を出力する。フレーム番号 6 2 5は、このデ一夕が含まれるピクチヤが先頭から何番目かという情報と、次に読み出されるユーザデ一夕が最初から何ワード目かという情報とを含むものであって、該当ユーザデ一夕を何フレーム目のュ一ザデータとして配置すべきかという情報を示している。

多重化制御部 6 0 6は、 1ピクチャ毎にメインデ一夕バリヅド信号 7 0 3が 1になるのを待って以下のように動作する。最初に、現在の多重化対象ピクチャにユーザデ一夕を配置すぺきかどうかを決定する。つまり、 V B Vバッファが破綻を来さないようにシミュレーションを行いながら、最適なユーザデー夕配置ピクチャを決定する。まず、ユーザデータバリヅド信号 6 2 4が 0の場合には、ユーザデ一夕を配置しない o

ユーザデータバリッド信号 6 2 4が 1で、かつフレーム番号 6 2 5が多重化対象のメインデータのピクチャ番号以下のときには、なるべく現在処理中のピクチャに配置する。したがって、ユーザデ一夕を配置したと仮定したバッファシミュレーションを現在のピクチャに対して行い、破綻がなければ配置する。具体的には、メイン付加情報バッファ 6 0 2から得られるピクチャ情報 3 0 1中のピクチャサイズ及びユーザデ一夕サイズ 3 0 3からユーザデータ配置後のピクチャサイズを計算し、このユーザデ一夕配置後のピクチャサイズよりも現在の VB Vバッファ占有量が大きいかどうかで判断する。

ユーザデ—夕バリッド信号 6 2 4が 1で、かつフレーム番号 6 2 5が多重化対象のメインデータのピクチャ番号より大きいときには、現在のピクチャにユーザデータを配置した場合、その次のピクチャに配置した場合、というように 1ピクチャずつ配置する位置を変更し、フレーム番号 6 2 5に一致するフレームに対して配置した場合まで処理を可能な限り繰り返す。これらのシミュレーションが可能であるのは、メイン付加情報バッファ 6 0 2に該当フレームまでの付加情報が格納されている場合である。もしもメイン付加情報バッファ 6 0 2にフレーム番号 6 2 5に対応するピクチャの付加情報が含まれていない場合には、ュ一ザデー夕を配置しない。

これら一連の処理で、 V B Vバッファが破綻しない位置が現在の多重化対象ピクチャのみであれば、現在のピクチャにユーザデ一夕を配置する。

以上の条件判断によって、ピクチャユーザデータ 4 0 4を配置するかしないかが決定される。ここでもし配置するという判断がなされれば、ピクチャヘッダ 4 0 3の次に、ユーザスタートコードとともにピクチャュ一ザデータ 4 0 4が配置される。

なお、ピクチャデータ 3 0 9の先頭位置は付加情報 3 0 0中のピクチャデ一夕位置 3 0 4で示されているため、ピクチャデータ 4 0 5の多重化はきわめて簡単に行える。最後に、出力コード 1 2 7の多重化データ量に基づいて V B Vバッファ占有量の値を計算する。この値は次のピクチャの多重化の際に利用される。

以上のように、図 6の多重化部 1 0 3は、可能な限り、フレーム番号 6 2 5で示される位置にピクチャュ一ザデータ 4 0 4を多重化するように動作する。つまり、出力コード 1 2 7中のメインデ一夕とユーザデータとの同期ずれを最小限に抑えるのである o

フレーム番号 6 2 5が多重化対象のメインデ一夕のピクチャ番号より大きい場合にバッファシミュレーションを行わず、ピクチャュ一ザデータ 4 0 4を配置しないとして処理してもよい。この場合には、それ以降の処理単位であるピクチャに書き込まれることになる。この手法を用いた場合、メイン付加情報バッファ 6 0 2が 1ピクチャ分だけあればよく、処理を簡略化できる。

以上のとおり、本実施形態によれば、ユーザデ一夕のみのフォーマットを変換する際に発生するデ一夕量の増大に対し、ビットレート値を上げるなどのようにしてデ一夕量の上限を上げ、また C B Rから V B Rに変更することによってデータ量の下限を下げ、かつ配置できるデ一夕量だけユーザデータをピクチャ層に挿入することで、コ —ド変換が達成される。ユーザデ一夕のみをフォーマット変換の対象としたので、ビクチャデ一夕に関する無駄な処理が省かれる結果、コード変換が高速化され、かつ画質劣化を生じない。

さて、以上の動作では出力コード 1 2 7中のメインデータとユーザデータとの同期ずれが所定量以内に収まらない場合、メインデータのデ一夕量を変更するようにメインデ一夕再処理部 7 0 1が機能する。

図 7は、図 6中のメインデータ再処理部 7 0 1の内部構成例を示している。図 7のメインデータ再処理部 7 0 1は、 Iピクチャデコーダ 8 0 1と、 Iピクチヤエンコーダ 8 0 2と、セレクタ 8 0 3と、サイズ制御部 8 0 4とから構成されており、メインデータ読み出し部 6 0 3からのメインデ一夕 6 2 1が Iピクチャである場合に限り、出力コード 1 2 7中のメインデ一夕とュ一ザデ一夕との同期ずれが所定量を超えることをサイズ変更指令 7 0 4が示すときに、当該メインデ一夕 6 2 1をデコードし、かつ当該デコードの結果を再エンコードすることにより、メインデータ 7 0 2のデータ量を削減するものである。ただし、サイズ変更指令 7 0 4が与えられない場合には、メインデ一夕読み出し部 6 0 3から供給されたメインデータ 6 2 1及びメインデ一夕バリ、J、ド信号 6 2 2をセレクタ 8 0 3が選択することにより、これらメインデ一夕 6 2 1及びメィンデ一夕バリヅド信号 6 2 2がそのままメインデ一夕 7 0 2及びメィンデ一夕バリヅド信号 7 0 3として多重化制御部 6 0 6へ供給される。

ここで特に問題となるのは、 1フレームのデ一夕量が多いためにュ一ザデータ揷入ができないような場合である。このようなことは、 Pピクチャ及び Bピクチャに比べて、他のピクチャを参照しない Iピクチャで多く発生する。そこで、多重化制御部 6 0 6は、ピクチャ情報 3 0 1中のピクチャタイプを監視し、 Iピクチャにおいてユーザデータ挿入によりバヅファ破綻が生じることが V B Vバッファシミュレーションで判明した場合に限り、サイズ変更指令 7 0 4をサイズ制御部 8 0 4に与えることとす

•^ ο

サイズ変更指令 7 0 4を受け取ったサイズ制御部 8 0 4は、 Iピクチャエンコーダ 8 0 2にサイズ指定 8 0 5を与える。 Iピクチャエンコーダ 8 0 2は、 Iピクチャデコーダ 8 0 1によるデコードの結果を再エンコードすることにより、デ一夕量が削減されたメインデ一夕を生成するとともに、メインデ一夕バリツド信号 6 2 2に代わるメインデータバリヅド信号を出力する。セレクタ 8 0 3は、サイズ制御部 8 0 4から. の切換信号 8 0 6に従って、 Iピクチャエンコーダ 8 0 2からのメインデ一夕及びメィンデ一夕バリッド信号を多重化制御部 6 0 6へのメィンデ一夕 7 0 2及びメィンデ —夕バリッド信号 7 0 3として供給する。

ただし、ここで問題にしている状況が頻発することはあまり考えられない。本実施形態によれば、このような特別の場合にのみメインデ一夕再処理部 7 0 1で再ェンコ —ドを実行することとしているので、処理速度の劣化をあまり招くことなく、同期ずれを抑える効果がある。

なお、ユーザデ一夕のフォーマット変換に限らず、ユーザデ一夕の追加にも本発明は適用可能である。

産業上の利用の可能性

以上説明してきたとおり、本発明に係るコード変換方法及びその装置によれば、レート制御に破綻を来すことなくユーザデータのフォーマツト変換や追加を実現することができ、圧縮符号化されたマルチメディァ情報のコ一ド変換に有用である。

Claims

請求の範囲

1 . ある規格に準拠した入力コードを受け取り、かつ前記入力コード中のユーザ拡張領域に配置されたユーザデータのフォーマツトを変換して出力コードとし、又は前記入力コードにユーザデ一夕を追加して出力コードとするコード変換方法であって、前記入力コード中のデータ量の許容範囲を決定するパラメ一夕を前記ユーザデータのフォーマット変換又は追加に対応できるように変更するステップと、

前記変更後のパラメ一夕に応じて前記出力コードを生成するように、前記パラメ一夕変更後の入カコードと前記ユーザデータとを所定のフォーマットで多重化するステップとを備えたことを特徴とするコード変換方法。

2 . 請求項 1記載のコード変換方法において、

前記変更されるパラメータは、マルチメディア情報の圧縮符号化におけるビットレート値、 V B V (Video Buffering Verifier ) ノ、"ヅフアサイズ値、 V B Vディレイ値のうちの少なくとも 1つであることを特徴とするコード変換方法。

3 . 請求項 2記載のコード変換方法において、

前記ビヅトレート値をコード変換によるビヅトレート変化予想値だけ変化させるステツプを更に備えたことを特徴とするコード変換方法。

4 . 請求項 2記載のコード変換方法において、

前記 V B Vバヅフアサイズ値を前記規格で許される最大値に変更するステツプを更に備えたことを特徴とするコード変換方法。

5 . 請求項 2記載のコード変換方法において、

前記 V B Vディレイ値を変更することにより前記出力コードを可変ビットレートの設定にするステップを更に備えたことを特徴とするコード変換方法。

6 . 請求項 1記載のコード変換方法において、

前記入カコード中のュ一ザデータをそれ以外のメィンデ一夕から識別するための付加情報を生成するステップを更に備え、

前記出カコードの生成を前記付加情報に従って進めることを特徴とするコード変換方 ¾s。

7 . 請求項 6記載のコ一ド変換方法において、

前記出力コード中のメインデータとユーザデ一夕との同期ずれを最小限に抑えるステツプを更に備えたことを特徴とするコード変換方法。

8 . 請求項 7記載のコ一ド変換方法において、

前記出カコード中のメィンデ一夕とユーザデータとの同期ずれが所定量を超える場合に、前記メインデ一夕のデ一夕量を変更するステップを更に備えたことを特徴とするコード変換方法。

9 . 請求項 8記載のコード変換方法において、

前記メインデータ中の特定タイプのデータのみをデコードし、かつ当該デコードの結果を再エンコードすることにより、前記メインデータのデータ量変更を達成するステツプを更に備えたことを特徴とするコード変換方法。

1 0 . 請求項 6記載のコード変換方法において、

前記メインデ一夕に含まれる冗長なデータを削除するステップを更に備えたことを特徴とするコード変換方法。

1 1 . ある規格に準拠した入力コードを受け取り、かつ前記入力コード中のユーザ拡張領域に配置されたユーザデータのフォ一マツトを変換して出力コードとするコード変換装置であって、

前記入力コードを解析して、前記入力コード中のデータ量の許容範囲を決定するパラメ一夕を前記ユーザデ一夕のフォーマヅト変換に対応できるように変更し、かつ前記入力コード中のユーザデ一夕をそれ以外のメインデータから識別する付加情報を生成するためのデータ解析部と、

前記変更後のパラメ一夕に応じて前記出力コードを生成するように、前記パラメ一夕変更後の入カコードと前記ユーザデ一夕とを前記付加情報に従って所定のフォーマットで多重化するための多重化部とを備えたことを特徴とするコード変換装置。

1 2 . 請求項 1 1記載のコード変換装置において、

前記パラメ一夕変更後の入カコードを前記付加情報とともに一時格納するためのデ —夕バッファを更に備えたことを特徴とするコード変換装置。

1 3 . 請求項 1 2記載のコード変換装置において、

前記デ一夕解析部は、前記入力コ一ド中の複数の処理単位の各々について前記付加情報を順次生成して前記デ一夕バッファに書き込む機能を有し、

各付加情報は前記データバッファ中の次の付加情報の位置を特定するための位置情報を含み、かつ前記多重化部は前記次の付加情報を読み出す際に前記位置情報を用いて前記デ一夕バッファをアクセスすることを特徴とするコード変換装置。