JPH11239326A - 多重化同期方法およびそのシステム - Google Patents

Abstract

(57)【要約】 【課題】ＭＰＥＧビデオエンコーダあるいはＭＰＥＧオ
ーディオエンコーダによる符号化時の情報を効率的に利
用してＭＰＥＧシステムエンコーダの回路規模あるいは
負荷の軽減を行う。 【解決手段】ＭＰＥＧビデオエンコーダ１内に設けられ
た情報取得部３は、ＭＰＥＧビデオビットストリーム内
のピクチャヘッダ生成時に用いたピクチャタイプＰＣＴ
及び再生順を示すテンポラルリファレンスＴＲを取得し
ておき、デコーダ５は、ＭＰＥＧビデオビットストリー
ムが一時格納される出力バッファからピクチャヘッダを
デコードして検出し、この検出したピクチャ切り分けタ
イミングＤ１、ピクチャタイプＰＣＴ、及びテンポラル
リファレンスＴＲを、対応するピクチャヘッダの送出タ
イミングに合わせてＭＰＥＧシステムエンコーダ７に送
出する。一方、ＭＰＥＧオーディオエンコーダ２内設け
られた情報取得部４は、デコーダ６によってオーディオ
フレーム切り分けタイミングＤ２を検出し、対応するオ
ーディオフレームヘッダの送出タイミングに合わせてＭ
ＰＥＧシステムエンコーダ７に送出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像情
報をエンコードしてビデオビットストリームを生成する
ビデオエンコーダ及び入力された音声情報をエンコード
してオーディオビットストリームを生成するオーディオ
エンコーダを含み、少なくとも該ビデオエンコーダが生
成したビデオビットストリームと該オーディオエンコー
ダが生成したオーディオビットストリームとをシステム
エンコーダで同期させつつ多重化されたビットストリー
ムを生成する多重化同期方法及びそのシステムに関す
る。

【０００２】

【従来の技術】近年のＩＳＤＮやＣＤ−ＲＯＭの普及に
より、マルチメディア技術が注目を集めている。特に、
ＭＰＥＧは動画像情報の符号／復号方式の国際基準とし
て確立し、上述したＩＳＤＮやＣＤ−ＲＯＭ等に利用さ
れている。動画像、音声、静止画、テキスト等の情報
は、マルチメディア多重化技術によって多重化され、上
述したＩＳＤＮ等のマルチメディア伝送媒体を介して伝
送され、あるいはＣＤ−ＲＯＭ等のマルチメディア蓄積
媒体によって蓄積され、再生等がなされる。

【０００３】このマルチメディア多重化技術は、例えば
図１１に示すようなシステムによって実現される。すな
わち、動画像情報であるビデオ入力は、ＭＰＥＧビデオ
エンコーダ１００によってＭＰＥＧ方式の符号化が行わ
れ、ＭＰＥＧビデオビットストリーム（ＭＰＥＧ規格の
ビデオ層）としてＭＰＥＧシステムエンコーダ１０４に
入力される。一方、音声情報であるオーディオ入力は、
ＭＰＥＧオーディオエンコーダ１０２によってＭＰＥＧ
方式の符号化が行われ、ＭＰＥＧオーディオビットスト
リーム（ＭＰＥＧ規格のオーディオ層）としてＭＰＥＧ
システムエンコーダ１０４に入力される。ＭＰＥＧシス
テムエンコーダ１０４は、ＭＰＥＧ規格に基づいて入力
されたＭＰＥＧビデオビットストリームが示す動画像情
報とＭＰＥＧオーディオビットストリームが示す音声情
報とを同期をとりつつ、多重化を行って一つのＭＰＥＧ
システムビットストリーム（ＭＰＥＧ規格のシステム
層）を生成する。この場合、ＭＰＥＧシステムエンコー
ダ１０４内の多重化処理部１１０は、ＭＰＥＧビデオビ
ットストリームをある単位、例えばビデオ１フレーム
（ピクチャ）で切り分けるとともに、ＭＰＥＧオーディ
オビットストリームをある単位、例えばオーディオ１フ
レームで切り分け、この切り分けた単位を時分割で同期
をとりつつ多重化する。従って、多重化処理部１１０
は、ＭＰＥＧビデオビットストリーム及びＭＰＥＧオー
ディオビットストリームの切り分けタイミングを知る必
要がある。また、多重化を行う場合、動画像情報及び音
声情報の再生を考慮して、切り分けられたビデオ１フレ
ーム毎及び切り分けられたオーディオ１フレーム毎に再
生出力の時刻管理情報であるタイムスタンプ（ＰＴＳ：
Presentation Time Stamp）をヘッダ情報として付加し
なければならず、このタイムスタンプは、ＭＰＥＧビデ
オビットストリーム内の各ピクチャの種別、例えばＩピ
クチャか、Ｐピクチャか、Ｂピクチャか等のピクチャタ
イプＰＣＴ（Picture Coding Type）と、各ピクチャの
再生順すなわちテンポラルリファレンスＴＲ（Temporal
Reference）の値とを少なくとも知る必要がある。

【０００４】このため、従来のＭＰＥＧシステムエンコ
ーダ１０４内には、ＭＰＥＧビデオエンコーダ１００か
ら入力されたＭＰＥＧビデオビットストリームをデコー
ドするデコーダ１０６を有し、多重化処理部１１０は、
このデコーダ１０６によってデコードされた切り分けタ
イミング、ピクチャタイプＰＣＴ、テンポラルリファレ
ンスＴＲの情報をもとにタイムスタンプＰＴＳを生成し
ヘッダ情報として付加し、また、ＭＰＥＧオーディオエ
ンコーダ１０２から入力ＭＰＥＧオーディオビットスト
リームをデコードするデコーダ１０８を有し、多重化処
理部１１０は、このデコーダ１０８によってデコードさ
れた切り分けタイミングの情報をもとにタイムスタンプ
ＰＴＳを生成しヘッダ情報として付加していた。

【０００５】なお、ＭＰＥＧビデオビットストリームに
おけるピクチャタイプＰＣＴ、テンポラルリファレンス
ＴＲを必要とするのは、ＭＰＥＧビデオの場合には、フ
レーム間において双方向予測をも行うため、符号化処理
から復号化処理を行うまでの間のフレーム順序が現画像
フレームのフレーム順序と異なるためである。

【０００６】また、ＣＤ−ＲＯＭ等にＭＰＥＧシステム
ビットストリームを記憶する場合、記録単位、例えばセ
クタ（２０４８バイト）毎に先頭をＧＯＰデータの開始
位置に合わせる。このＧＯＰデータは、ＭＰＥＧビデオ
ビットストリームにおいて、フレーム順序が異なる所定
の複数のフレームを一まとまりとした単位である。従っ
て、ＣＤ−ＲＯＭ等に多重化されたＭＰＥＧシステムビ
ットストリームを記憶する場合には、このＭＰＥＧシス
テムビットストリーム内にＧＯＰデータの開始位置の情
報を付加する必要がある。この場合、上述したＭＰＥＧ
システムビットストリームの多重化に際し、デコーダ１
０６は、ＧＯＰヘッダをデコードし、このデコードされ
たＧＯＰ単位の切り分けタイミング情報をもとに多重化
を行っている。このようなＧＯＰ単位に記憶しておくこ
とにより、高速ランダムアクセスや簡易編集が可能とな
る。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た切り分けタイミング、ピクチャタイプＰＣＴ、テンポ
ラルリファレンスＴＲの情報は、ＭＰＥＧビデオエンコ
ーダ１００及びＭＰＥＧオーディオエンコーダ１０２の
符号化処理の時点で知ることができるのにもかかわら
ず、上述した従来のＭＰＥＧ多重化同期システムでは、
ＭＰＥＧシステムエンコーダ１０４内のデコーダ１０
６，１０８によって符号化されたビットストリームを更
に復号するという重複した処理を行っているため、ＭＰ
ＥＧシステムエンコーダ１０４の回路規模が大きくなる
とともに、該ＭＰＥＧシステムエンコーダ１０４をソフ
トウェアで実現する場合には該ソフトウェアを実行する
コンピュータにかかる負担が大きいという問題点があっ
た。

【０００８】そこで、本発明は、かかる問題点を除去
し、ＭＰＥＧビデオエンコーダあるいはＭＰＥＧオーデ
ィオエンコーダによる符号化時の情報を効率的に利用し
てＭＰＥＧシステムエンコーダの回路規模あるいは負荷
の軽減を行うことができるマルチメディア多重化同期方
法及びそのシステムを提供することを目的とする。

【０００９】

【課題を解決するための手段】第１の発明は、入力され
た画像情報をビデオエンコーダによってエンコードした
ビデオビットストリームと入力された音声情報をオーデ
ィオエンコーダによってエンコードしたオーディオビッ
トストリームとをシステムエンコーダにおいて同期させ
つつ多重化されたビットストリームを生成する多重化同
期方法において、少なくとも前記ビデオエンコーダまた
は前記オーディオエンコーダのいずれか一方は、前記シ
ステムビットストリームの生成に必要な同期用補助情報
を前記システムエンコーダに送出し、前記システムエン
コーダは、前記同期用補助情報を使って前記ビットスト
リームを生成することを特徴とする。

【００１０】すなわち、第１の発明では、ビデオエンコ
ーダあるいはオーディオエンコーダによるエンコード時
の情報を有効に利用してシステムエンコーダ側に該シス
テムエンコーダによるエンコード時に必要な同期用補助
情報を送出するようにしているので、システムエンコー
ダ側においてビデオビットストリームまたはオーディオ
ビットストリームを再度デコードする必要がなく、シス
テムエンコーダ側の回路規模の縮小あるいは負荷が軽減
され、システム全体の効率も向上する。

【００１１】なお、ビデオエンコーダのみが同期用補助
情報をシステムエンコーダに送出し、システムエンコー
ダ側でオーディオビットストリームのみをデコードする
構成としてもよいし、オーディオエンコーダのみが同期
用補助情報をシステムエンコーダに送出し、システムエ
ンコーダ側でビデオビットストリームのみをデコードす
る構成としてもよいし、さらにビデオエンコーダ及びオ
ーディオエンコーダの双方がそれぞれ同期用補助情報を
システムエンコーダに送出し、システムエンコーダ側
は、この同期用補助情報を使用してビットストリームを
生成する構成としてもよい。また、ビデオエンコーダに
入力される画像情報は、動画像情報及び静止画情報の双
方を含む。

【００１２】第２の発明は、第１の発明において、前記
ビデオエンコーダから送出される前記同期用補助情報
は、前記ビデオビットストリーム内の各ピクチャの種
別、各ピクチャの再生順、及び各ピクチャの区切りを示
す情報であることを特徴とする。

【００１３】これにより、システムエンコーダがピクチ
ャ毎に多重化する場合、ビデオビットストリームをデコ
ードせずに、確実に同期をとって多重化することができ
る。

【００１４】第３の発明は、第１または第２の発明にお
いて、前記ビデオエンコーダから送出される前記同期用
補助情報には、前記ビデオビットストリーム内の各ＧＯ
Ｐデータの区切りを示す情報が含まれることを特徴とす
る。

【００１５】これにより、ビットストリームを例えばＣ
Ｄ−ＲＯＭ等の記憶媒体に記憶する場合、ＧＯＰ単位で
の高速ランダムアクセスを可能とし、記憶された情報の
編集処理を簡易に行うことができる。

【００１６】第４の発明は、第１から第３の発明におい
て、前記オーディオエンコーダから送出される前記同期
用補助情報は、前記オーディオビットストリーム内の各
オーディオフレームの区切りを示す情報であることを特
徴とする。

【００１７】これにより、システムエンコーダがオーデ
ィオデータ毎に多重化する場合、オーディオビットスト
リームをデコードせずに、確実に同期をとって多重化す
ることができる。

【００１８】第５の発明は、第１から第４の発明におい
て、前記同期用補助情報は、前記ビデオビットストリー
ム内のＧＯＰヘッダ、ピクチャヘッダ、及び／または前
記オーディオビットストリーム内のオーディオフレーム
ヘッダをデコードして獲得した情報であることを特徴と
する。

【００１９】第５の発明では、同期用補助情報を、ビデ
オビットストリーム内のＧＯＰヘッダまたはピクチャヘ
ッダまたはオーディオビットストリーム内のオーディオ
フレームヘッダのみをデコードして獲得した情報とする
構成であってもよいし、あるいはＧＯＰヘッダとピクチ
ャヘッダのいずれもデコードして獲得した情報とする構
成であってもよいし、さらには、ＧＯＰヘッダとピクチ
ャヘッダとオーディオフレームヘッダとのいずれもデコ
ードして獲得した情報とする構成であってもよく、各ヘ
ッダのデコードに対する任意の組み合わせが可能であ
る。

【００２０】これにより、システムエンコーダ側の回路
規模の縮小あるいは負荷を軽減することができる。

【００２１】第６の発明は、第１から第４の発明におい
て、前記同期用補助情報のうちの各ピクチャの種別及び
各ピクチャの再生順を示す情報は、ビデオビットストリ
ーム内のピクチャヘッダ生成時に使用する情報から取得
された情報であり、前記同期用補助情報のうちの各ＧＯ
Ｐデータ、各ピクチャまたは各オーディオフレームの区
切りを示す情報は、前記ビデオビットストリーム内のＧ
ＯＰヘッダ、ピクチャヘッダまたは前記オーディオビッ
トストリーム内のオーディオフレームヘッダをデコード
して獲得した情報であることを特徴とする。

【００２２】第６の発明では、同期用補助情報のうちの
各ピクチャの種別と各ピクチャの再生順を示す情報は、
ピクチャヘッダからデコードして獲得するのではなく、
該ピクチャヘッダ生成時に用いた情報から獲得するよう
にし、その他同期用補助情報は、第５の発明と同様にビ
デオビットストリームあるいはオーディオビットストリ
ームの各ヘッダをデコードして獲得するようにしてい
る。

【００２３】ここで、各ピクチャの種別及び各ピクチャ
の再生順を示す情報は、実際にはビデオエンコーダ内の
画像並び替え回路によって得ているが、ビデオエンコー
ダ内の他の構成部分から獲得するような構成でもよい。
例えば、最終的なビデオビットストリームを生成する可
変長符号化回路でピクチャヘッダを生成する際に獲得す
るような構成であってもよい。

【００２４】これにより、ビデオエンコーダあるいはオ
ーディオエンコーダのエンコード時に用いた情報を有効
に活用して、システムエンコーダ側の回路規模の縮小及
び負荷の軽減を図ることができる。

【００２５】第７の発明は、第１から第４の発明におい
て、前記ビデオビットストリーム内の各ＧＯＰヘッダ、
各ピクチャヘッダ、及び／または前記オーディオビット
ストリーム内の各オーディオフレームヘッダの各先頭に
並列に、該ＧＯＰヘッダ、該ピクチャヘッダ、及び／ま
たは該オーディオフレームヘッダの先頭位置であること
を示すビットを付加し、前記ビットをデコードすること
によって各ＧＯＰデータ、各ピクチャ、及び／または各
オーディオフレームの区切りを示す情報を取得すること
を特徴とする。

【００２６】第７の発明では、各ＧＯＰヘッダの各先頭
にのみ並列にビットを付加してもよいし、各ピクチャヘ
ッダの各先頭にのみ並列にビットを付加してもよいし、
各オーディオフレームヘッダの各先頭にのみ並列にビッ
トを付加してもよい。さらに、各ＧＯＰヘッダ及び各ピ
クチャヘッダの双方にビットを付加してもよいし、各Ｇ
ＯＰヘッダと各ピクチャヘッダと各オーディオフレーム
ヘッダの全てのヘッダに対応させてビットを付加するよ
うにしてもよい。

【００２７】これにより、デコード処理を余裕をもって
行うことができるとともに、デコーダの回路を簡易にす
ることができる。

【００２８】第８の発明は、第１から第７の発明におい
て、前記ビデオエンコーダから送出される前記同期用補
助情報として各ピクチャの種別、各ピクチャの再生順、
及び各ピクチャの区切りを示す情報が取得される場合、
該同期用補助情報は前記ビデオビットストリームの各ピ
クチャヘッダに同期して送出し、前記ビデオエンコーダ
から送出される前記同期用補助情報として各ＧＯＰデー
タの区切りを示す情報が取得される場合、該同期用補助
情報は前記ビデオビットストリームの各ＧＯＰヘッダに
同期して送出し、前記オーディオエンコーダから送出さ
れる前記同期用補助情報が取得される場合、該同期用補
助情報は前記オーディオビットストリームの各オーディ
オフレームヘッダに同期して送出することを特徴とす
る。

【００２９】第８の発明では、各ピクチャの種別、各ピ
クチャの再生順、及び各ピクチャの区切りを示す情報が
取得された場合にのみ、これらの同期用補助情報をピク
チャヘッダに同期して送出する構成としてもよいし、Ｇ
ＯＰデータの区切りを示す情報が取得された場合にの
み、この同期用補助情報をＧＯＰヘッダに同期して送出
する構成としてもよいし、オーディオフレームの区切り
を示す情報が取得された場合にのみ、この同期用補助情
報をオーディオフレームヘッダに同期して送出する構成
としてもよし、さらに、これらを適宜組み合わせた構成
としてもよい。

【００３０】これにより、システムエンコーダ側は、ピ
クチャヘッダあるいはオーディオヘッダとともに送られ
た情報を直ちに多重化のための情報として用いることが
でき、回路規模の削減及び負荷の軽減が図れる。

【００３１】第９の発明は、入力された画像情報をビデ
オエンコーダによってエンコードしたビデオビットスト
リームと入力された音声情報をオーディオエンコーダに
よってエンコードしたオーディオビットストリームとを
システムエンコーダにおいて同期させつつ多重化された
ビットストリームを生成する多重化同期システムにおい
て、少なくとも前記ビデオエンコーダまたは前記オーデ
ィオエンコーダのいずれか一方は、前記ビットストリー
ムの生成に必要な同期用補助情報をデコードするデコー
ダを具備したことを特徴とする。

【００３２】これにより、第１の発明と同様に、ビデオ
エンコーダあるいはオーディオエンコーダによるエンコ
ード時の情報を有効に利用してシステムエンコーダ側に
該システムエンコーダによるエンコード時に必要な情報
が送出されるので、システムエンコーダ側においてビデ
オビットストリームまたはオーディオビットストリーム
を再度デコードする必要がなく、システムエンコーダ側
の回路規模の縮小あるいは負荷が軽減され、システム全
体の効率も向上する。

【００３３】第１０の発明は、第９の発明において、前
記ビデオエンコーダ内のデコーダがデコードする前記同
期用補助情報は、前記ビデオビットストリーム内の各ピ
クチャの種別、各ピクチャの再生順、及び各ピクチャの
区切りを示す情報であることを特徴とする。

【００３４】これにより、第２の発明と同様に、システ
ムエンコーダがピクチャ毎に多重化する場合、ビデオビ
ットストリームをデコードせずに、確実に同期をとって
多重化することができる。

【００３５】第１１の発明は、第９または第１０の発明
において、前記ビデオエンコーダ内のデコーダがデコー
ドする前記同期用補助情報には、前記ビデオビットスト
リーム内の各ＧＯＰデータの区切りを示す情報が含まれ
ることを特徴とする。

【００３６】これにより、第３の発明と同様に、ビット
ストリームを例えばＣＤ−ＲＯＭ等の記憶媒体に記憶す
る場合、ＧＯＰ単位での高速ランダムアクセスを可能と
し、記憶された情報の編集処理を簡易に行うことができ
る。

【００３７】第１２の発明は、第９から第１１の発明に
おいて、前記オーディオエンコーダ内のデコーダがデコ
ードする前記同期用補助情報は、前記オーディオビット
ストリーム内の各オーディオフレームの区切りを示す情
報であることを特徴とする。

【００３８】これにより、第の発明と同様に、システム
エンコーダがオーディオデータ毎に多重化する場合、オ
ーディオビットストリームをデコードせずに、確実に同
期をとって多重化することができる。

【００３９】第１３の発明は、第９または第１０の発明
において、前記ビデオエンコーダ内のデコーダは、ビデ
オビットストリーム内のピクチャヘッダ生成時に使用す
る各ピクチャの種別及び各ピクチャの再生順を示す情報
を該ピクチャヘッダ生成時に取得する取得手段をさらに
具備し、前記ビデオビットストリームからデコードした
各ピクチャの区切りを示す情報とともに前記取得手段に
よって取得された各ピクチャの種別及び各ピクチャの再
生順を示す情報を前記同期用補助情報として前記システ
ムエンコーダに送出することを特徴とする。

【００４０】これにより、ビデオエンコーダのエンコー
ド時の情報を有効に活用することができ、システムエン
コーダの回路規模の縮小または負荷の軽減を実現するこ
とができる。

【００４１】第１４の発明は、第９から第１２の発明に
おいて、前記ビデオエンコーダの前記デコーダは、前記
ビデオビットストリーム内の各ＧＯＰヘッダ及び／また
は各ピクチャヘッダの各先頭に並列に、該ＧＯＰヘッダ
及び／または該ピクチャヘッダの先頭位置であることを
示すビットを付加するビット付加回路をさらに具備し、
前記ビット付加回路によって付加されたビットをデコー
ドすることによって各ＧＯＰデータ及び／または各ピク
チャの区切りを示す情報を取得することを特徴とする。

【００４２】第１４の発明では、ＧＯＰヘッダにのみビ
ットを付加する構成としてもよいし、ピクチャヘッダに
のみビットを付加する構成としてもよいし、さらにこれ
らの構成を組み合わせた構成としてもよい。

【００４３】これにより、デコーダを簡易な構成とする
ことができるとともに、ＧＯＰデータ、ピクチャ、及び
オーディオフレームの区切りを示す情報を迅速に検出で
きる。

【００４４】第１５の発明は、第９から第１２の発明に
おいて、前記オーディオエンコーダの前記デコーダは、
前記オーディオビットストリーム内の各オーディオフレ
ームヘッダの各先頭に並列に、該オーディオフレームヘ
ッダの先頭位置であることを示すビットを付加するビッ
ト付加回路をさらに具備し、前記ビット付加回路によっ
て付加されたビットをデコードすることによって各オー
ディオフレームの区切りを示す情報を取得することを特
徴とする。

【００４５】これにより、デコーダを簡易な構成とする
ことができるとともに、オーディオフレームの区切りを
示す情報を迅速に検出できる。

【００４６】第１６の発明は、第９から第１５の発明に
おいて、前記ビデオエンコーダの前記デコーダは、前記
同期用補助情報を出力するためのバッファをさらに具備
し、前記バッファに一時格納された前記同期用補助情報
を前記ビデオビットストリームの各ＧＯＰヘッダまたは
各ピクチャヘッダの送出に同期させて送出することを特
徴とする。

【００４７】これにより、システムエンコーダは、ピク
チャヘッダとともに送られた情報を直ちに多重化のため
の情報として用いることができ、回路規模の削減及び負
荷の軽減が図れる。

【００４８】第１７の発明は、第９から第１５の発明に
おいて、前記オーディオエンコーダの前記デコーダは、
前記同期用補助情報を出力するためのバッファをさらに
具備し、前記バッファに一時格納された前記同期用補助
情報を前記オーディオビットストリームの各オーディオ
フレームヘッダの送出に同期させて送出することを特徴
とする。

【００４９】これにより、システムエンコーダは、オー
ディオフレームヘッダとともに送られた情報を直ちに多
重化のための情報として用いることができ、回路規模の
削減及び負荷の軽減が図れる。

【００５０】第１８の発明は、第９から第１７の発明に
おいて、前記ビデオエンコーダ内の前記取得手段あるい
は前記ビット付加回路は、ビデオビットストリームを生
成する可変長符号化手段内に設けたことを特徴とする。

【００５１】これにより、ビデオエンコーダ内におい
て、第９から第１７の発明を具体的に実現することがで
きる。

【００５２】第１９の発明は、入力された画像情報をエ
ンコードしてビデオビットストリームを生成するビデオ
エンコーダにおいて、前記ビデオビットストリームの多
重化に必要な同期用補助情報を取得し、前記ビデオビッ
トストリームに同期して該同期用補助情報を出力する情
報取得手段を具備したことを特徴とする。

【００５３】これにより、ビデオビットストリームを用
いて行う処理、例えば多重化処理においてビデオビット
ストリームを再度デコードする必要がなく、効率的な処
理を行うことができる。

【００５４】第２０の発明は、第１９の発明において、
前記情報取得手段は、前記ビデオビットストリーム内の
ピクチャの区切りを示す情報をデコードするデコーダ
と、前記ビデオビットストリーム内のピクチャヘッダ生
成時に使用する各ピクチャの種別及び各ピクチャの再生
順を示す情報を取得する取得手段とを具備し、前記デコ
ーダがデコードした各ピクチャの区切りを示す情報と前
記取得手段によって取得された各ピクチャ種別及び各ピ
クチャの再生順を示す情報とを各ピクチャヘッダに同期
して出力することを特徴とする。

【００５５】これにより、第１９の発明と同様な作用を
奏するとともに、ビデオビットストリームを用いた処
理、例えば多重化処理された後においても、ビデオビッ
トストリーム内の画像の再生を確実に行うことができ
る。

【００５６】第２１の発明は、第１９の発明において、
前記情報取得手段は、前記ビデオビットストリーム内の
ピクチャの区切りを示す情報、各ピクチャの種別及び各
ピクチャの再生順を示す情報を該ビデオビットストリー
ムからデコードするデコーダを具備し、前記デコーダが
デコードした各ピクチャの区切りを示す情報と各ピクチ
ャ種別及び各ピクチャの再生順を示す情報とを各ピクチ
ャヘッダに同期して出力することを特徴とする。

【００５７】これにより、第１９の発明と同様な作用を
奏するとともに、第２０の発明と同様に、例えば多重化
処理された後においても、ビデオビットストリーム内の
画像の再生を確実に行うことができる。

【００５８】第２２の発明は、第２０または第２１の発
明において、前記デコーダは、前記ビデオビットストリ
ーム内のＧＯＰデータの区切りを示す情報をさらにデコ
ードし、前記ＧＯＰデータの区切りを示す情報を各ＧＯ
Ｐヘッダに同期して出力することを特徴とする。

【００５９】これにより、第２０または第２１の発明の
作用を奏するとともに、ＧＯＰデータの区切りを示す情
報をもとにＧＯＰデータの先頭位置の情報が、ビデオビ
ットストリームを用いて処理された後のデータに含める
ことができ、このデータを、例えばＣＤ−ＲＯＭ等の記
憶媒体に記憶する場合、有効に利用することができ、Ｃ
Ｄ−ＲＯＭ等の記憶媒体に記憶されたデータをＧＯＰ単
位で高速にランダムアクセスすることができる。

【００６０】第２３の発明は、第２０から第２２の発明
において、前記ビデオビットストリーム内の各ピクチャ
ヘッダの各先頭に並列に、該ピクチャヘッダの先頭位置
であることを示すビットを付加するビット付加回路をさ
らに具備し、前記デコーダは、前記ビット付加回路によ
って付加されたビットをデコードすることを特徴とす
る。

【００６１】これにより、デコーダを簡易な構成とする
ことができるとともに、高速検出が可能となる。

【００６２】第２４の発明は、第２０から第２２の発明
において、前記ビット付加回路は、前記ビデオビットス
トリーム内の各ＧＯＰヘッダ及び各ピクチャヘッダの各
先頭に、該ＧＯＰヘッダ及び該ピクチャヘッダの先頭位
置であることを示すビットを付加するビット付加回路を
さらに具備し、前記デコーダは、前記ビット付加回路に
よって付加されたビットをデコードすることを特徴とす
る。

【００６３】これにより、ＧＯＰデータの先頭位置とピ
クチャの先頭位置とを確実かつ高速に検出することがで
きる。

【００６４】第２５の発明は、入力された画像情報をエ
ンコードしてオーディオビットストリームを生成するオ
ーディオエンコーダにおいて、前記オーディオビットス
トリームの多重化に必要な同期用補助情報を取得し、前
記オーディオビットストリームに同期して該同期用補助
情報を出力する情報取得手段を具備したことを特徴とす
る。

【００６５】これにより、オーディオビットストリーム
を用いて行う処理、例えば多重化処理においてオーディ
オビットストリームを再度デコードする必要がなく、効
率的な処理を行うことができる。

【００６６】第２６の発明は、第２５の発明において、
前記情報取得手段は、前記オーディオビットストリーム
内のオーディオフレームの区切りを示す情報をデコード
するデコーダを具備し、前記デコーダがデコードした各
オーディオフレームの区切りを示す情報を各オーディオ
フレームヘッダに同期して出力することを特徴とする。

【００６７】これにより、オーディオビットストリーム
を用いて行う処理を短時間かつ効率的に行うことができ
る。

【００６８】第２７の発明は、第２６の発明において、
前記オーディオビットストリーム内の各オーディオフレ
ームヘッダの各先頭に並列に、該オーディオフレームヘ
ッダの先頭位置であることを示すビットを付加するビッ
ト付加回路をさらに具備し、前記デコーダは、前記ビッ
ト付加回路によって付加されたビットをデコードするこ
とを特徴とする。

【００６９】これにより、デコーダを簡易な構成とする
ことができるとともに、高速検出が可能となる。

【００７０】なお、上述した第１から第２７の発明にお
いて、デコードは、前記ビデオビットストリーム及び前
記オーディオビットストリームを前記システムエンコー
ダに出力する各出力バッファから各ビットストリームを
取り出して行うようにするとよい。この場合、最終的な
ビデオビットストリームあるいはオーディオビットスト
リーム内のＧＯＰデータ、ピクチャあるいはオーディオ
フレーム等の区切りを示す情報を確実に検出することが
できる。

【００７１】また、上述した第１から第２７の発明にお
いて、ビデオエンコーダあるいはオーディオエンコーダ
とシステムエンコーダとの間に前記同期用補助情報を伝
送するための情報伝送線を、前記ビデオビットストリー
ム及び前記オーディオビットストリームを伝送するため
の伝送線とはそれぞれ別個に設けるとよい。この場合、
ビデオビットストリームあるいはオーディオビットスト
リームの構成を変えずに、同期用補助情報を各ビデオビ
ットストリームあるいはオーディオビットストリームに
対応させて送出することができる。

【００７２】さらに、上述した第１から第２７の発明に
おいて、前記ビデオエンコーダに対応する前記情報伝送
線を、前記各ピクチャの種別、各ピクチャの再生順、及
び各ピクチャの区切りを示す情報を並列に伝送するパラ
レル伝送線にするとよい。この場合、同期用補助情報
を、ビデオビットストリームあるいはオーディオビット
ストリームに確実に対応させて伝送することができる。

【００７３】なお、上述したビデオビットストリーム、
オーディオビットストリーム、及び多重化されたビット
ストリームは、例えばＭＰＥＧ２規格またはこれに準拠
したものによって構成されたものが好適であるが、これ
に限らず、ＭＰＥＧ１規格またはこれに準拠したもの等
のＭＰＥＧ規格あるいは他の規格またはこれに準拠した
ものに基づいた多重化処理等にも適用可能である。

【００７４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。

【００７５】まず、図１を参照して、本発明の第１の実
施の形態の概要について説明する。図１は、ＭＰＥＧ多
重化同期システム１０の概要構成を示し、ＭＰＥＧビデ
オエンコーダ１は入力された動画像情報であるビデオ入
力をＭＰＥＧ規格に従って圧縮符号化したＭＰＥＧビデ
オビットストリームを生成し、線ＬＡを介してＭＰＥＧ
システムエンコーダ７に出力するとともに、同期用補助
情報である、ＧＯＰ切り分けタイミングＤ０、ピクチャ
切り分けタイミングＤ１、ピクチャタイプＰＣＴ、及び
テンポラルリファレンスＴＲを取得する情報取得部３を
有し、情報取得部３は取得した同期用補助情報を取得し
たピクチャの送出タイミングに一致させて線Ｌ１からＭ
ＰＥＧシステムエンコーダ７に出力する。

【００７６】情報取得部３は、ＭＰＥＧビデオエンコー
ダ１から最終的に出力されるＭＰＥＧビデオビットスト
リームからＧＯＰ切り分けタイミングＤ０であるＧＯＰ
ヘッダとピクチャ切り分けタイミングＤ１であるピクチ
ャヘッダとを検出するデコーダ５を有する。また、情報
取得部３は、ＭＰＥＧビデオビットストリーム生成時に
生成したピクチャヘッダからピクチャタイプＰＣＴ及び
テンポラルリファレンスＴＲを取得する。そして、情報
取得部３は、線Ｌ１を介し、ＧＯＰヘッダに同期して該
ＧＯＰヘッダに対応するＧＯＰ切り分けタイミングＤ０
をＭＰＥＧシステムエンコーダ７に送出するとともに、
ピクチャヘッダに同期して該ピクチャヘッダに対応する
ピクチャ切り分けタイミングＤ１をＭＰＥＧシステムエ
ンコーダに送出する。なお、ＭＰＥＧビデオビットスト
リーム及びＭＰＥＧシステムビットストリームの構成に
ついては後述する。

【００７７】ＭＰＥＧオーディオエンコーダ２は、入力
された音声情報であるオーディオ入力をＭＰＥＧ規格に
従って圧縮符号化したＭＰＥＧオーディオビットストリ
ームを生成し、線ＬＢを介してＭＰＥＧシステムエンコ
ーダ７に出力する。ＭＰＥＧオーディオエンコーダ２
は、同期用補助情報である、オーディオフレーム切り分
けタイミングＤ２を取得する情報取得部４を有する。情
報取得部４は、線Ｌ２を介し、オーディオフレームヘッ
ダに同期してオーディオフレーム切り分けタイミングＤ
２をＭＰＥＧシステムエンコーダ７に送出する。

【００７８】情報取得部４は、オーディオフレームヘッ
ダを検出するデコーダ６を有し、このデコーダ６によっ
てオーディオフレーム切り分けタイミングＤ２が検出さ
れる。なお、ＭＰＥＧオーディオビットストリームの構
成については後述する。

【００７９】ＭＰＥＧシステムエンコーダ７は、ＭＰＥ
Ｇビデオビットストリームを構成するピクチャと同時に
入力される同期用補助情報のうちのピクチャ切り分けタ
イミングＤ１によってＭＰＥＧビデオビットストリーム
をピクチャ毎に切り分け、同期用補助情報のうちのピク
チャタイプＰＣＴ及びテンポラルリファレンスＴＲをも
とにタイムスタンプＰＴＳを生成し、この生成したＰＴ
Ｓを切り分けたピクチャのヘッダ内容として付加し、Ｍ
ＰＥＧシステムビットストリームの一部を形成する。

【００８０】また、ＭＰＥＧシステムエンコーダ７は、
ＭＰＥＧオーディオビットストリームを構成するオーデ
ィオフレームと同時に入力される同期用補助情報である
オーディオフレーム切り分けタイミングＤ２をもとにＭ
ＰＥＧオーディオビットフレームからオーディオデータ
を切り分け、この切り分けたオーディオデータのヘッダ
内容としてＰＴＳを付加し、ＭＰＥＧシステムビットス
トリームの一部を形成する。なお、オーディオフレーム
は、オーディオの特性上、固定長であり、フレーム順序
も変わらないため、ＭＰＥＧビデオビットストリームを
多重化する際のように、ピクチャタイプＰＣＴやテンポ
ラルリファレンスＴＲ等の情報は必要ない。

【００８１】ここで、図２から図４を参照して上述した
ＭＰＥＧビデオビットストリーム、ＭＰＥＧオーディオ
ビットストリーム及びＭＰＥＧシステムビットストリー
ムの構成について説明する。

【００８２】図２（ａ）は、ＭＰＥＧビデオビットスト
リームの構成を示す図である。図２（ａ）において、Ｍ
ＰＥＧビデオビットストリームは、シーケンスヘッダと
ＧＯＰ（Group of Pictures）データとからなる複数の
シーケンス単位から構成され、各ＧＯＰデータは、さら
に複数のピクチャ単位を有し、各ピクチャ単位は、ピク
チャヘッダとピクチャとから構成される。また、各ＧＯ
Ｐデータの先頭には、ＧＯＰヘッダを有する。この各シ
ーケンス単位はランダムアクセスが可能な単位である。
ＧＯＰデータ内は通常１５個のピクチャ（０．５秒程
度）でグループ化され、各ピクチャは、前画像を参照し
てフレーム間予測符号化されるＰピクチャ、前画像及び
後画像を参照してフレーム間予測符号化されるＢピクチ
ャ、及び参照画像によるフレーム間予測符号化を行わな
いＩピクチャとが所定の順序で並んで構成される。

【００８３】例えば、ピクチャが１５個であり、Ｉピク
チャあるいはＰピクチャとの間のＢピクチャの数を２と
すると、ビデオ入力である現画像は図３（ａ）に示すよ
うに、「Ｂ０→Ｂ１→Ｉ２→Ｂ３→Ｂ４→Ｐ５→Ｂ６→
Ｂ７→Ｐ８→Ｂ９→Ｂ１０→Ｐ１１→Ｂ１２→Ｂ１３→
Ｐ１４」の順に入力される。ここで、各符号の前に付さ
れた値はピクチャタイプＰＣＴを意味し、後に付された
値は現画像の入力順序（ＴＲ）を意味し、例えばＢ３
は、３番目に入力されたＢピクチャを示している。この
原画像は、ＭＰＥＧビデオエンコーダ１によって符号化
処理され、符号化処理の特性によって、その順序は、図
３（ｂ）に示すように「Ｉ２→Ｂ０→Ｂ１→Ｐ５→Ｂ３
→Ｂ４→Ｐ８→Ｂ６→Ｂ７→Ｐ１１→Ｂ９→Ｂ１０→Ｐ
１４→Ｂ１２→Ｂ１３」となり、この順序がＭＰＥＧビ
デオビットストリーム内の各ピクチャの順序となる。各
ピクチャは、この符号化処理された順序で、伝送媒体あ
るいは記録媒体等のメディア上に伝送あるいは記憶され
る（図３（ｃ））。さらに、復号処理でも、各ピクチャ
は、この符号化処理された順序で入力される（図３
（ｄ））。そして、復号化処理後の再生画像で再び、図
３（ｅ）に示すように、もとの画像順序に戻る。この再
生画像の順序を適正に行うため、各ピクチャにはピクチ
ャヘッダが付けられ、このピクチャヘッダには、上述し
たピクチャタイプＰＣＴやテンポラルリファレンスＴＲ
が含まれる。また、必要な場合に、ＧＯＰデータの先頭
位置を示す情報が含まれる。

【００８４】なお、ピクチャタイプＰＣＴは３ビットで
あり、例えばＩピクチャの場合は「００１」、Ｐピクチ
ャの場合は「０１０」、Ｂピクチャの場合は「０１１」
等となる。また、テンポラルリファレンスは１０ビット
であり、ＧＯＰヘッダによりリセットされるＧＯＰ内の
画面再生順で、１０２４の余りで示される。

【００８５】図２（ｂ）は、ＭＰＥＧオーディオビット
ストリームの構成を示す図であり、ＭＰＥＧビデオビッ
トストリームは、複数のオーディオフレームから構成さ
れる。各オーディオフレームは、オーディオフレームヘ
ッダとオーディオデータとから構成され、このオーディ
オフレームは、例えば２０ｍｓｅｃで送出される。

【００８６】オーディオフレームは、音声情報の特性
上、フレーム順序はオーディオ入力順であり、そのデー
タ量も固定である。これに対し、上述したピクチャのデ
ータ量は、符号化による圧縮度により変化する可変量で
ある。

【００８７】図４は、ＭＰＥＧシステムビットストリー
ムの構成の一例を示す図であり、ここでのＭＰＥＧシス
テムビットストリームは、ＭＰＥＧビデオビットストリ
ームから切り分けたピクチャをパケット化したＰＥＳパ
ケットとＭＰＥＧオーディオビットストリームから切り
分けたオーディオデータをパケット化したＰＥＳパケッ
トとが混在する複数のＰＥＳパケットからなるパックの
並びとなる。各ＰＥＳパケットのヘッダには、同期用補
助情報をもとに生成されたＰＴＳが含まれる。また、各
パックにはパックヘッダを有し、パック長等のデータが
含まれる。

【００８８】次に、図１に示したＭＰＥＧビデオエンコ
ーダの構成について図５を参照して説明する。図５に示
すＭＰＥＧビデオエンコーダは、ＭＰＥＧ２規格によっ
てＭＰＥＧビデオビットストリームを生成するものであ
る。

【００８９】図５において、画像並び替え回路１１は、
入力された動画像信号（ビデオ入力）の画面順を並び替
える回路である。すなわち、時間的に後の画像を参照画
像として採用する場合、後の画像が先にメモリに格納さ
れている必要があるため、後の画像が先に処理されるよ
うに画像の並び替えが行われる。上述したように、前画
像を参照してフレーム間予測符号化される画像をＰピク
チャ、前画像や後画像を参照してフレーム間予測符号化
される画像をＢピクチャ、参照画像によるフレーム間予
測符号化の行われない画像をＩピクチャという。

【００９０】走査変換マクロブロック化回路１２は、各
画像を８×８画素のブロックに分割する回路で、動きベ
クトル等は４ブロックのマクロブロック単位で算出さ
れ、ＤＣＴ（離散コサイン変換）、量子化の処理は８×
８画素のブロック単位で実行される。

【００９１】減算器１４は、走査変換マクロブロック化
回路１２から供給された現画像の各画素データから参照
画像の各画素データを減算する回路であり、減算結果で
ある各画素の差分データは、ＤＣＴ回路１６に供給され
て離散コサイン変換される。

【００９２】ＤＣＴ回路１６は、ブロック単位（８×８
画素）で離散コサイン変換を行う回路であり、８×８画
素の各ブロックを低周波数項〜高周波数項の８行８列の
係数行列Ｃijに変換する。各係数は、重み付け量子化回
路１８に供給される。

【００９３】重み付け量子化回路１８は、各係数Ｃijを
Ｑijで除算し、その余りを丸めることにより量子化して
データ量を削減する回路である。なお、量子化ステップ
幅は、ビットレート制御回路２４から供給される。

【００９４】量子化後、低周波数項〜高周波数項の順番
で出力される係数データは、可変長符号化回路２０によ
って可変長符号化（ＶＬＣ）され、さらにデータ量が削
減される。可変長符号化後のデータは、バッファメモリ
２２に一時的に蓄えられた後、所定のビットレートで読
み出され、ＭＰＥＧビデオビットストリームとして出力
される。

【００９５】逆量子化回路２６、逆ＤＣＴ回路２８は、
参照画像として供するための前画像及び後画像の画像デ
ータを再現するためのローカルデコーダであり、再現さ
れた画像は、フレームメモリ３２に格納されて減算器１
４に出力される。なお、加算器３０は、ローカルデコー
ダ２６、２８で復号された画像データが差分データであ
る場合に、該差分データに動き補償付きの参照画像デー
タを加算して画像完成させるための回路である。

【００９６】画像メモリ３２は、少なくとも２画面分の
画像データを蓄えるメモリであり、端子３２ｂからは参
照用の画像データがマクロブロック単位で出力される。
また、端子３２ａからは動きベクトル算出のための画像
データが動き検出回路３８に供給される。

【００９７】動き検出回路３８は、現画像内の現マクロ
ブロックに最も類似する参照マクロブロックを検出し、
その位置ずれを動きベクトルとして検出する。検出され
た動きベクトルは、可変長符号化（ＶＬＣ）回路２０に
出力され、定められたｆコード値で符号化される。

【００９８】また、動き補償回路３４は、動きベクトル
情報で指示される領域（参照マクロブロック領域）を画
像メモリ３２の端子３２ｂから出力させる。これによ
り、参照マクロブロックの画像データが減算器１４に供
給され、上述したように現マクロブロックと参照マクロ
ブロックの差分が演算される。なお、動き補償回路３４
の処理は、モード判定回路３６から供給されるマクロブ
ロックタイプ情報ＭＢＴを参照して実行される。すなわ
ち、画像メモリ３２から前画像を出力するか、後画像を
出力するか、前画像及び後画像を出力するか、出力しな
いかの選択はこのＭＢＴに基づいて行われる。

【００９９】ところで、上述した可変長符号化回路２０
は、可変長符号化とともに、この可変長符号化されたデ
ータをピクチャ単位にピクチャヘッダを付加し、さらに
図２（ａ）に示したようなＧＯＰヘッダを付加したＧＯ
Ｐデータ、さらにシーケンスヘッダを付加したＭＰＥＧ
ビデオビットストリームを生成する。

【０１００】ここで、可変長符号化回路２０は、ピクチ
ャヘッダを付加する際に該ピクチャヘッダに含まれるピ
クチャタイプＰＣＴ及びテンポラルリファレンスＴＲの
情報を画像並び替え回路１１から得ている。なお、ピク
チャタイプＰＣＴ及びテンポラルリファレンスＴＲの情
報は、必ずしも画像並び替え回路１１から得られる必要
はなく、ＭＰＥＧビデオエンコーダ１内のいずれか任意
のところから得られればよい。

【０１０１】ここで、情報取得部３は、可変長符号化回
路２０から、これから送出されるＭＰＥＧビデオビット
ストリーム内の各ピクチャのピクチャタイプＰＣＴ及び
テンポラルリファレンスＴＲの情報を取得し、バッファ
３ａに一時格納するとともに、デコーダ５は、バッファ
２２に出力されたＭＰＥＧビデオビットストリームをバ
ッファ２２の途中から取り出し、取り出したデータをデ
コードしてピクチャヘッダを検出し、検出したピクチャ
切り分けタイミングＤ１をＭＰＥＧシステムエンコーダ
７に出力する（図６（ｄ））。このデコーダ５により検
出されたピクチャ切り分けタイミングＤ１の情報出力
は、検出したピクチャヘッダがバッファ２２から送出さ
れるタイミングで同期して送出される（図６（ｂ），
（ｄ））。このため、デコーダ５は、バッファ２２の途
中からデータを取り出してデコードしている。また、バ
ッファ３ａに格納されたピクチャタイプＰＣＴとテンポ
ラルリファレンスＴＲの情報は、デコーダ５がピクチャ
切り分けタイミングＤ１をＭＰＥＧシステムエンコーダ
７に送出するタイミングで同期して送出される（図６
（ｅ），（ｆ））。

【０１０２】従って、バッファ２２から送出される各ピ
クチャヘッダの送出と同時に、情報取得部３からピクチ
ャ切り分けタイミングＤ１、ピクチャタイプＰＣＴ、及
びテンポラルリファレンスＴＲが送出される。この動作
は、ＭＰＥＧビデオビットストリーム内のピクチャヘッ
ダが送出される毎に繰り返される。

【０１０３】また、デコーダ５は、ピクチャ切り分けタ
イミングＤ１と同様にして、ＧＯＰヘッダを検出する。
この検出されたＧＯＰヘッダが示すＧＯＰ切り分けタイ
ミングＤ０は、デコーダ５が検出したＧＯＰヘッダに同
期してＭＰＥＧシステムエンコーダ７に送出される（図
６（ｃ））。なお、このＧＯＰ切り分けタイミングＤ０
の送出処理を行うか否かは任意に設定可能である。

【０１０４】図１に示すＭＰＥＧオーディオエンコーダ
に付加された情報取得部４内のデコーダ６の動作は、デ
コーダ５と同様である。すなわち、図７において、エン
コーダ４０は、オーディオ入力をエンコードして図２に
示すようなＭＰＥＧオーディオビットストリームを生成
し、この生成したＭＰＥＧオーディオビットストリーム
は、バッファ４１に一時格納されて、ＭＰＥＧシステム
エンコーダ７に出力される。デコーダ６は、バッファ４
１の途中からデータを取り出してＭＰＥＧオーディオビ
ットストリームをデコードし、オーディオフレームヘッ
ダを検出し、オーディオフレーム切り分けタイミングＤ
２をＭＰＥＧシステムエンコーダ７に出力する。この場
合、デコーダ５と同様に、バッファ４１からオーディオ
フレームヘッダが送出されるタイミングで、このオーデ
ィオフレームヘッダに対応するオーディオフレーム切り
分けタイミングＤ２が送出されるよう、デコーダ６のデ
コード処理を勘案してバッファ４１からのデータの取り
出し位置を設定している。

【０１０５】このように第１の実施の形態では、ＭＰＥ
Ｇビデオエンコーダ１側に情報取得部３を設け、またＭ
ＰＥＧオーディオエンコーダ２側に情報取得部４を設
け、ＭＰＥＧシステムエンコーダ７側に、ＭＰＥＧビデ
オビットストリーム及びＭＰＥＧオーディオビットスト
リームに対応した同期用補助情報を送出するようにして
いるので、ＭＰＥＧシステムエンコーダ７がＭＰＥＧシ
ステムビットストリームを生成する際に、入力されたＭ
ＰＥＧビデオビットストリーム及びＭＰＥＧオーディオ
ビットストリームをデコードする必要がない。

【０１０６】次に、図８を参照して、本発明の第２の実
施の形態について説明する。図８に示す第２の実施の形
態は、図５に示す第１の実施の形態の構成における情報
取得部３の構成が情報取得部５０の構成に代わるのみ
で、その他の構成は第１の実施の形態と同様である。

【０１０７】すなわち、情報取得部５０では、デコーダ
５１がバッファ２２の途中からＭＰＥＧビデオビットス
トリームのデータを取り出してビクチャヘッダをデコー
ドし、このデコード結果である、ピクチャ切り出しタイ
ミングＤ１、ビクチャタイプＰＣＴ、及びテンポラルリ
ファレンスＴＲをバッファ５２に一時格納し、この一時
格納した同期用補助情報を、バッファ２２から対応する
ピクチャヘッダの送出タイミングに合わせてＭＰＥＧシ
ステムエンコーダ７側に送出するようにしている。ま
た、必要に応じて、デコーダ５１がＧＯＰヘッダを検出
し、この検出結果をＧＯＰ切り出しタイミングＤ０とし
て、ＧＯＰヘッダに同期してＭＰＥＧシステムエンコー
ダ７に送出している。

【０１０８】これにより、第１の実施の形態と同様に、
ＭＰＥＧシステムエンコーダ７側は、ＭＰＥＧシステム
ビットストリーム生成に際し、ＭＰＥＧビデオビットス
トリーム及びＭＰＥＧオーディオビットストリームをデ
コードする必要がない。

【０１０９】但し、第２の実施の形態では、全ての同期
用補助情報をデコードするようにしているので、第１の
実施の形態に比べてデコード時間がかかるため、バッフ
ァ２２のバッファ容量を大きくする必要がある。

【０１１０】次に、図９を参照して、本発明の第３の実
施の形態について説明する。図９に示す第３の実施の形
態は、図５に示す第２の実施の形態の構成における可変
長符号化回路２０内にピクチャヘッダの先頭に並列にビ
ットを付加するビット付加回路６１を設けるとともに、
デコーダ５の代わりに、ビット付加回路６１で付加され
たビットを検出するデコーダ６２を有した情報取得部６
０とした構成としている点で第１の実施の形態の構成と
異なり、他の構成は同じである。

【０１１１】すなわち、図１０に示すように、ビット付
加部６１は、可変長符号化回路２０内において、ピクチ
ャヘッダが形成される際、このピクチャヘッダの先頭バ
イトに並列に、先頭であることを示すビット”１”（フ
ラグ）を付加する。また、先頭でない場合には、先頭で
ないことを示すビット”０”（フラグ）を付加する。従
って、ＭＰＥＧビデオビットストリームがバイト単位で
伝送される場合、１ビット付加されるため、９ビット並
列でバッファ２２に出力されることになる。

【０１１２】また、可変長符号化回路２０からは、第１
の実施の形態と同様に、ピクチャヘッダ生成時のピクチ
ャタイプＰＣＴ及びテンポラルリファレンスＴＲの情報
が情報取得部６２に送出され、この情報は、バッファ６
３に送出され、一時格納される。

【０１１３】デコーダ６２は、バッファ２２内の途中か
らビット付加部６１によって付加されたビットをデコー
ドし、ビット”１”を検出する。そして、このビット”
１”の検出を、ピクチャ切り出しタイミングＤ１とし、
この検出タイミングでバッファ６３に一時格納されてい
たピクチャタイプＰＣＴ及びテンポラルリファレンスＴ
Ｒがピクチャ切り出しタイミングＤ１と同時にＭＰＥＧ
システムエンコーダ７側に送出される。この場合、もち
ろん、バッファ２２から送出されるのはＭＰＥＧビデオ
ビットストリームのみである。また、ＭＰＥＧビデオビ
ットストリーム内のピクチャヘッダの送出とこのピクチ
ャヘッダに対応する情報取得部６０からの同期用補助情
報の送出とは同時に同期して行われる。

【０１１４】また、必要に応じて、ビット付加回路６１
は、ピクチャヘッダと同様に、ＧＯＰヘッダの先頭バイ
トに並列に、先頭であることを示すビット”１”を付加
するようにしてもよい。この場合、デコーダ６２は、ピ
クチャ切り出しタイミングＤ１の検出と同様にして、Ｇ
ＯＰ切り出しタイミングＤ０を検出する。その後、検出
したＧＯＰ切り出しタイミングＤ０は、ＧＯＰヘッダに
同期してＭＰＥＧシステムエンコーダ７に送出される。
但し、ビット付加回路６１によって付加されるビット”
１”は、ＧＯＰヘッダの先頭とピクチャヘッダの先頭と
のいずれにも付加されるため、デコーダ６２による峻別
ができない。このため、ビット付加回路６１は、異なる
２ビット並列あるいは２ビット連続のビットを付加し、
デコーダ６２が、この２ビットのデコードを行う。異な
る２ビットを２ビット並列で付加する場合には、ビット
検出に遅延は生じないが、異なる２ビットを２ビット連
続でビットを付加する場合には、ビット検出が遅延する
ため、図１０（ａ）に示すように、２ビット連続に配置
した異なる２ビットを１ビットずらして先行的に配置す
るようにする。図１０（ａ）では、ＧＯＰヘッダにはビ
ット”１１”を割り当て、ピクチャヘッダにはビット”
１０”を割り当てているとともに、ＧＯＰヘッダの先頭
位置は、ビット”１１”における２ビット目のビット”
１”とし、ピクチャヘッダの先頭位置は、ビット”１
０”における２ビット目のビット”０”として検出され
る。

【０１１５】ここで、ビット付加回路６１と同様なビッ
ト付加回路の構成は、ＭＰＥＧオーディオエンコーダ２
内にも設けることができる。すなわち、ＭＰＥＧオーデ
ィオエンコーダ２がＭＰＥＧオーディオビットストリー
ムを生成する際、オーディオフレームの先頭に並列にビ
ット”１”を付加するビット付加回路を設け、デコーダ
６は、このビット”１”をデコードすることによって高
速にオーディオフレーム切り分けタイミングＤ２を検出
することができる。

【０１１６】なお、ビット付加回路６１は、ピクチャヘ
ッダの先頭位置を示すためのビットを付加するようにし
ているが、これに限らず、さらにピクチャタイプＰＣＴ
やテンポラルリファレンスＴＲの情報をもさらに並列に
付加するようにしてもよい。この場合、デコーダ６２
は、付加されたビットのみをデコードすればよく、しか
も、ピクチャヘッダの先頭のタイミングでデコードする
ため、デコード処理に余裕ができる。これは、第２の実
施の形態の場合、ピクチャヘッダ内に格納されたピクチ
ャタイプＰＣＴやテンポラルリファレンスＴＲをピクチ
ャヘッダの先頭が過ぎた時点でデコードして検出してい
るが、ビットを付加する場合には、ピクチャヘッダの先
頭位置においてデコードすることができるからである。

【０１１７】また、このビット付加回路６１及びこの付
加されたビットを検出するデコーダ６２の構成は、ＭＰ
ＥＧオーディオエンコーダ２にも容易に適用することが
できる。

【０１１８】なお、上述した第１から第３の実施の形態
では、ビデオ（動画像情報）とオーディオ（音声情報）
との多重化同期について説明したが、その他のデータ、
例えばテキスト情報等をさらに多重化する場合にも、容
易に適用できる。

【０１１９】

【発明の効果】以上詳細に説明したように、第１から第
２２の発明では、システムエンコーダがエンコードする
のに必要な同期用補助情報を、ビデオエンコーダまたは
オーディオエンコーダ側あるいはビデオエンコーダ及び
オーディオエンコーダの双方でデコードし、あるいはこ
のデコードと前記同期用補助情報の取得とを行って、該
同期用補助情報をシステムエンコーダ側に送出するよう
にしているので、システムエンコーダ側の回路規模の削
減あるいは負荷の軽減を図ることができ、システム全体
としても効率的なエンコードが実現されるという効果を
有する。

【０１２０】その結果、付帯的にシステム全体としての
低消費電力化、低価格化を実現できる。

【０１２１】特に、動画像及び音声情報等のマルチメデ
ィアを多重化処理する多重化同期システムでは、ビデオ
エンコーダ及びオーディオエンコーダが圧縮符号化を行
うという特性から、ビデオエンコーダ及びオーディオエ
ンコーダはハードウェアで実現され、システムエンコー
ダが多重化を行うという特性から、システムエンコーダ
はソフトウェアで実現される場合が多く、このような場
合、システムエンコーダ側を制御するコンピュータの負
荷が軽減され、いずれもハードウェアで実現される場合
には、システムエンコーダ側の回路規模が削減されるこ
とになる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態であるＭＰＥＧ多重
化同期システムの概要構成を示す図である。

【図２】ＭＰＥＧビデオビットストリーム及びＭＰＥＧ
オーディオビットストリームの構成を示す図である。

【図３】ＭＰＥＧビデオビットストリーム内の画面の順
序と再生順序との関係を示す図である。

【図４】ＭＰＥＧシステムビットストリームの構成を示
す図である。

【図５】ＭＰＥＧビデオエンコーダの詳細構成を示す図
である。

【図６】ピクチャ切り分けタイミングＤ１、ピクチャタ
イプＰＣＴ、及びテンポラルリファレンスＴＲの送出タ
イミングチャートである。

【図７】ＭＰＥＧオーディオエンコーダの構成を示す図
である。

【図８】本発明の第２の実施の形態におけるＭＰＥＧビ
デオエンコーダの詳細構成を示す図である。

【図９】本発明の第３の実施の形態におけるＭＰＥＧビ
デオエンコーダの詳細構成を示す図である。

【図１０】第３の実施の形態が適用された場合のピクチ
ャ切り分けタイミングＤ１、ピクチャタイプＰＣＴ、及
びテンポラルリファレンスＴＲの送出タイミングチャー
トである。

【図１１】従来のＭＰＥＧ多重化同期システムの概要構
成を示す図である。

【符号の説明】

１…ＭＰＥＧビデオエンコーダ ２…ＭＰＥＧオーディオエンコーダ ３，４…情報取得部 ５，６，５１，６２…デコーダ ７…ＭＰＥＧシステムエンコーダ １０…ＭＰＥＧ多重化同期システム Ｄ１…ピクチャ切り分けタイミング Ｄ２…オーディオフレーム切り分けタイミング ＰＣＴ…ピクチャタイプ ＴＲ…テンポラルリファレンス ＬＡ，ＬＢ，Ｌ１，Ｌ２…伝送線 ３ａ，５２，６３…バッファ ６１…ビット付加回路

Claims (27)

【特許請求の範囲】
1. 【請求項１】 入力された画像情報をビデオエンコーダ
   によってエンコードしたビデオビットストリームと入力
   された音声情報をオーディオエンコーダによってエンコ
   ードしたオーディオビットストリームとをシステムエン
   コーダにおいて同期させつつ多重化されたビットストリ
   ームを生成する多重化同期方法において、 少なくとも前記ビデオエンコーダまたは前記オーディオ
   エンコーダのいずれか一方は、前記システムビットスト
   リームの生成に必要な同期用補助情報を前記システムエ
   ンコーダに送出し、 前記システムエンコーダは、前記同期用補助情報を使っ
   て前記ビットストリームを生成することを特徴とする多
   重化同期方法。
2. 【請求項２】 前記ビデオエンコーダから送出される前
   記同期用補助情報は、 前記ビデオビットストリーム内の各ピクチャの種別、各
   ピクチャの再生順、及び各ピクチャの区切りを示す情報
   であることを特徴とする請求項１に記載の多重化同期方
   法。
3. 【請求項３】 前記ビデオエンコーダから送出される前
   記同期用補助情報には、前記ビデオビットストリーム内
   の各ＧＯＰデータの区切りを示す情報が含まれることを
   特徴とする請求項１または２に記載の多重化同期方法。
4. 【請求項４】 前記オーディオエンコーダから送出され
   る前記同期用補助情報は、 前記オーディオビットストリーム内の各オーディオフレ
   ームの区切りを示す情報であることを特徴とする請求項
   １〜３のうちのいずれか１項に記載の多重化同期方法。
5. 【請求項５】 前記同期用補助情報は、前記ビデオビッ
   トストリーム内のＧＯＰヘッダ、ピクチャヘッダ、及び
   ／または前記オーディオビットストリーム内のオーディ
   オフレームヘッダをデコードして獲得した情報であるこ
   とを特徴とする請求項１〜４のうちのいずれか１項に記
   載の多重化同期方法。
6. 【請求項６】 前記同期用補助情報のうちの各ピクチャ
   の種別及び各ピクチャの再生順を示す情報は、 ビデオビットストリーム内のピクチャヘッダ生成時に使
   用する情報から取得された情報であり、 前記同期用補助情報のうちの各ＧＯＰデータ、各ピクチ
   ャまたは各オーディオフレームの区切りを示す情報は、 前記ビデオビットストリーム内のＧＯＰヘッダ、ピクチ
   ャヘッダまたは前記オーディオビットストリーム内のオ
   ーディオフレームヘッダをデコードして獲得した情報で
   あることを特徴とする請求項１〜４のうちのいずれか１
   項に記載の多重化同期方法。
7. 【請求項７】 前記ビデオビットストリーム内の各ＧＯ
   Ｐヘッダ、各ピクチャヘッダ、及び／または前記オーデ
   ィオビットストリーム内の各オーディオフレームヘッダ
   の各先頭に並列に、該ＧＯＰヘッダ、該ピクチャヘッ
   ダ、及び／または該オーディオフレームヘッダの先頭位
   置であることを示すビットを付加し、 前記ビットをデコードすることによって各ＧＯＰデー
   タ、各ピクチャ、及び／または各オーディオフレームの
   区切りを示す情報を取得することを特徴とする請求項１
   〜４のうちのいずれか１項に記載の多重化同期方法。
8. 【請求項８】 前記ビデオエンコーダから送出される前
   記同期用補助情報として各ピクチャの種別、各ピクチャ
   の再生順、及び各ピクチャの区切りを示す情報が取得さ
   れる場合、該同期用補助情報は前記ビデオビットストリ
   ームの各ピクチャヘッダに同期して送出し、 前記ビデオエンコーダから送出される前記同期用補助情
   報として各ＧＯＰデータの区切りを示す情報が取得され
   る場合、該同期用補助情報は前記ビデオビットストリー
   ムの各ＧＯＰヘッダに同期して送出し、 前記オーディオエンコーダから送出される前記同期用補
   助情報が取得される場合、該同期用補助情報は前記オー
   ディオビットストリームの各オーディオフレームヘッダ
   に同期して送出することを特徴とする請求項１〜７のう
   ちのいずれか１項に記載の多重化同期方法。
9. 【請求項９】 入力された画像情報をビデオエンコーダ
   によってエンコードしたビデオビットストリームと入力
   された音声情報をオーディオエンコーダによってエンコ
   ードしたオーディオビットストリームとをシステムエン
   コーダにおいて同期させつつ多重化されたビットストリ
   ームを生成する多重化同期システムにおいて、 少なくとも前記ビデオエンコーダまたは前記オーディオ
   エンコーダのいずれか一方は、 前記ビットストリームの生成に必要な同期用補助情報を
   デコードするデコーダを具備したことを特徴とする多重
   化同期システム。
10. 【請求項１０】 前記ビデオエンコーダ内のデコーダが
    デコードする前記同期用補助情報は、 前記ビデオビットストリーム内の各ピクチャの種別、各
    ピクチャの再生順、及び各ピクチャの区切りを示す情報
    であることを特徴とする請求項９に記載の多重化同期シ
    ステム。
11. 【請求項１１】 前記ビデオエンコーダ内のデコーダが
    デコードする前記同期用補助情報には、 前記ビデオビットストリーム内の各ＧＯＰデータの区切
    りを示す情報が含まれることを特徴とする請求項９また
    は１０に記載の多重化同期システム。
12. 【請求項１２】 前記オーディオエンコーダ内のデコー
    ダがデコードする前記同期用補助情報は、 前記オーディオビットストリーム内の各オーディオフレ
    ームの区切りを示す情報であることを特徴とする請求項
    ９〜１１のうちのいずれか１項に記載の多重化同期シス
    テム。
13. 【請求項１３】 前記ビデオエンコーダ内のデコーダ
    は、 ビデオビットストリーム内のピクチャヘッダ生成時に使
    用する各ピクチャの種別及び各ピクチャの再生順を示す
    情報を取得する取得手段をさらに具備し、 前記ビデオビットストリームからデコードした各ピクチ
    ャの区切りを示す情報とともに前記取得手段によって取
    得された各ピクチャの種別及び各ピクチャの再生順を示
    す情報を前記同期用補助情報として前記システムエンコ
    ーダに送出することを特徴とする請求項９または１０に
    記載の多重化同期システム。
14. 【請求項１４】 前記ビデオエンコーダの前記デコーダ
    は、 前記ビデオビットストリーム内の各ＧＯＰヘッダ及び／
    または各ピクチャヘッダの各先頭に並列に、該ＧＯＰヘ
    ッダ及び／または該ピクチャヘッダの先頭位置であるこ
    とを示すビットを付加するビット付加回路をさらに具備
    し、 前記ビット付加回路によって付加されたビットをデコー
    ドすることによって各ＧＯＰデータ及び／または各ピク
    チャの区切りを示す情報を取得することを特徴とする請
    求項９〜１２のうちのいずれか１項に記載の多重化同期
    システム。
15. 【請求項１５】 前記オーディオエンコーダの前記デコ
    ーダは、 前記オーディオビットストリーム内の各オーディオフレ
    ームヘッダの各先頭に並列に、該オーディオフレームヘ
    ッダの先頭位置であることを示すビットを付加するビッ
    ト付加回路をさらに具備し、 前記ビット付加回路によって付加されたビットをデコー
    ドすることによって各オーディオフレームの区切りを示
    す情報を取得することを特徴とする請求項９〜１２のう
    ちのいずれか１項に記載の多重化同期システム。
16. 【請求項１６】 前記ビデオエンコーダの前記デコーダ
    は、 前記同期用補助情報を出力するためのバッファをさらに
    具備し、 前記バッファに一時格納された前記同期用補助情報を前
    記ビデオビットストリームの各ＧＯＰヘッダまたは各ピ
    クチャヘッダの送出に同期させて送出することを特徴と
    する請求項９〜１５のうちのいずれか１項に記載の多重
    化同期システム。
17. 【請求項１７】 前記オーディオエンコーダの前記デコ
    ーダは、 前記同期用補助情報を出力するためのバッファをさらに
    具備し、 前記バッファに一時格納された前記同期用補助情報を前
    記オーディオビットストリームの各オーディオフレーム
    ヘッダの送出に同期させて送出することを特徴とする請
    求項９〜１５のうちのいずれか１項に記載の多重化同期
    システム。
18. 【請求項１８】 前記ビデオエンコーダ内の前記取得手
    段あるいは前記ビット付加回路は、 ビデオビットストリームを生成する可変長符号化手段内
    に設けたことを特徴とする請求項９〜１７のうちのいず
    れか１項に記載の多重化同期システム。
19. 【請求項１９】 入力された画像情報をエンコードして
    ビデオビットストリームを生成するビデオエンコーダに
    おいて、 前記ビデオビットストリームの多重化に必要な同期用補
    助情報を取得し、前記ビデオビットストリームに同期し
    て該同期用補助情報を出力する情報取得手段を具備した
    ことを特徴とするビデオエンコーダ。
20. 【請求項２０】 前記情報取得手段は、 前記ビデオビットストリーム内のピクチャの区切りを示
    す情報をデコードするデコーダと、 前記ビデオビットストリーム内のピクチャヘッダ生成時
    に使用する各ピクチャの種別及び各ピクチャの再生順を
    示す情報を取得する取得手段とを具備し、 前記デコーダがデコードした各ピクチャの区切りを示す
    情報と前記取得手段によって取得された各ピクチャ種別
    及び各ピクチャの再生順を示す情報とを各ピクチャヘッ
    ダに同期して出力することを特徴とする請求項１９に記
    載のビデオエンコーダ。
21. 【請求項２１】 前記情報取得手段は、 前記ビデオビットストリーム内のピクチャの区切りを示
    す情報、各ピクチャの種別及び各ピクチャの再生順を示
    す情報を該ビデオビットストリームからデコードするデ
    コーダを具備し、 前記デコーダがデコードした各ピクチャの区切りを示す
    情報と各ピクチャ種別及び各ピクチャの再生順を示す情
    報とを各ピクチャヘッダに同期して出力することを特徴
    とする請求項１９に記載のビデオエンコーダ。
22. 【請求項２２】 前記デコーダは、 前記ビデオビットストリーム内のＧＯＰデータの区切り
    を示す情報をさらにデコードし、 前記ＧＯＰデータの区切りを示す情報を各ＧＯＰヘッダ
    に同期して出力することを特徴とする請求項２０または
    ２１に記載のビデオエンコーダ。
23. 【請求項２３】 前記ビデオビットストリーム内の各ピ
    クチャヘッダの各先頭に並列に、該ピクチャヘッダの先
    頭位置であることを示すビットを付加するビット付加回
    路をさらに具備し、 前記デコーダは、前記ビット付加回路によって付加され
    たビットをデコードすることを特徴とする請求項２０〜
    ２２のうちのいずれか１項に記載のビデオエンコーダ。
24. 【請求項２４】 前記ビット付加回路は、 前記ビデオビットストリーム内の各ＧＯＰヘッダ及び各
    ピクチャヘッダの各先頭に、該ＧＯＰヘッダ及び該ピク
    チャヘッダの先頭位置であることを示すビットを付加す
    るビット付加回路をさらに具備し、 前記デコーダは、前記ビット付加回路によって付加され
    たビットをデコードすることを特徴とする請求項２０〜
    ２２のうちのいずれか１項に記載のビデオエンコーダ。
25. 【請求項２５】 入力された画像情報をエンコードして
    オーディオビットストリームを生成するオーディオエン
    コーダにおいて、 前記オーディオビットストリームの多重化に必要な同期
    用補助情報を取得し、前記オーディオビットストリーム
    に同期して該同期用補助情報を出力する情報取得手段を
    具備したことを特徴とするオーディオエンコーダ。
26. 【請求項２６】 前記情報取得手段は、 前記オーディオビットストリーム内のオーディオフレー
    ムの区切りを示す情報をデコードするデコーダを具備
    し、 前記デコーダがデコードした各オーディオフレームの区
    切りを示す情報を各オーディオフレームヘッダに同期し
    て出力することを特徴とする請求項２５に記載のオーデ
    ィオエンコーダ。
27. 【請求項２７】 前記オーディオビットストリーム内の
    各オーディオフレームヘッダの各先頭に並列に、該オー
    ディオフレームヘッダの先頭位置であることを示すビッ
    トを付加するビット付加回路をさらに具備し、 前記デコーダは、前記ビット付加回路によって付加され
    たビットをデコードすることを特徴とする請求項２６に
    記載のオーディオエンコーダ。