JPH05236009A

JPH05236009A - マルチメディア多重化方式

Info

Publication number: JPH05236009A
Application number: JP3185092A
Authority: JP
Inventors: Kazuhiro Matsuzaki; 一博松崎; Atsumichi Murakami; 篤道村上
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-02-19
Filing date: 1992-02-19
Publication date: 1993-09-10
Anticipated expiration: 2013-10-27
Also published as: JP2814819B2

Abstract

(57)【要約】【目的】様々な属性（例えば、情報源、メディア、符
号化方式、品質など）を有するマルチメディアデータの
中から、特定の属性を有するデータセットだけを選択的
にアクセスできるマルチメディア多重化方式を得ること
を目的とする。【構成】入力されるマルチメディアデータをそれぞれ
のデータごとに所定長さの単位に分割し、呼識別、対地
識別情報１、２、パケット番号３、メディアの種別を示
すメディアＩＤ４、他のパケットとの対応を示すリンク
情報５および同期を取るためのシステムクロックレファ
レンス６をヘッダ部として付加したパケットを生成し、
パケット単位に多重化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、各種メディアのデー
タを多重化して伝送または記録するマルチメディア多重
化方式に関するものである。

【０００２】

【従来の技術】図６は、例えば安田浩編著「マルチメデ
ィアの国際標準」（丸善株式会社、pp.230-232、1991年
6月発行）で述べられているマルチメディア多重化方式
の一実施例を示すものである。多重化は、基本的にはビ
デオの１フレーム相当の時間長の単位で行われ、この時
間長に対応する各メディアのデータ列（データストリー
ム）をここではパケットと呼ぶ。オーディオデータやビ
デオデータは、他のメディアデータに比べて単位時間当
りのデータ量が大きいため、符号化を行って冗長度を取
り除いた後のデータ列に対してパケット化を行う。符号
化データ列中には、ビデオの１フレーム相当の時間毎に
ユニークワードが挿入されており、それを目印にしてパ
ケット化が行われる。

【０００３】各パケットは、図７に示すようにヘッダと
情報フィールドとから構成される。情報フィールドには
多重化すべきデータ列が収納される。ヘッダは以下のよ
うな情報から構成される。・スタートコード：メディア種別を示し、多重化分離
（デマルチプレックス）するための境界を検出するため
のコード。・システムクロックリファレンス：各メディアの同期を
とるための時刻情報（タイムスタンプ）。・データ長：情報フィールド長を与える情報。

【０００４】一方、多重化分離（デマルチプレクス）に
おいては、上記多重化により生成した一連のパケット列
から個々のパケットを抽出し、各パケットのメディア種
別を行った後、各メディア間で信号の同期をとった上で
メディア別にデータ列が再生される。パケット列１０２
からのパケットの抽出は、ヘッダを検出することにより
行われる。メディア種別には、スタートコードを利用す
る。

【０００５】図８にメディア間の同期を確保するための
一実施例を示す。図８において、２００は多重化分離器
（デマルチプレクサ）、２０５はビデオ復号器、２０６
はオーディオ復号器、２０７は同期情報比較器、２０８
は遅延メモリである。各メディアの同期をとるために、
各メディアデータを遅延メモリ２０８にそれぞれ一時的
に格納し、同期情報比較器２０７からのタイミングパル
ス３０４が各遅延メモリ２０８に入力されると、各遅延
メモリ２０８からメディアデータ３０１が一斉に読み出
されるようになっている。同期情報比較器２０７では、
各メディアのパケットのタイムスタンプ３０３を比較
し、最も遅いタイムスタンプを有するメディア信号に同
期するようなタイミングパルス３０４を発生させる。

【０００６】ＣＤ−ＲＯＭのような蓄積媒体に情報が記
録されている場合には、ユーザの使用目的に応じて高速
再生・逆転再生・一部のメディア情報のみを選択しての
再生（例えば、ビデオのみ、オーディオのみの再生）等
の特殊再生機能が要求される。これらの機能は、上記多
重化された一連のパケット列に対してランダムアクセス
を行うことにより実現される。ランダムアクセスでは、
ヘッダ内のデータ長情報を読みとり次のヘッダにジャン
プする動作の繰り返しによって、目的のパケットまでア
クセスする。

【０００７】

【発明が解決しようとする課題】従来のマルチメディア
多重化方式は以上のように構成されているので、多重化
データの中から複数のメディアを同時に再生する場合、
ヘッダを検出してメディアの種別を判定するといった処
理を順次繰り返さなければならず、高速な処理が必要で
あった。また、ビデオの１フレームに相当する時間間隔
でパケット化がなされているため、多重化・送信・受信
・多重化分離という一連の通信処理を行う場合、多重化
するメディアの数が多くなると遅延が無視できなくなる
等の問題点があった。

【０００８】この発明は上記のような問題点を解消する
ためになされたもので、情報源、メディア及び品質（例
えば、ビデオでは解像度、オーディオではモノラルとス
テレオ）や符号化方式等の属性が異なるマルチポイント
・マルチメディアデータのセットの中から、特定のデー
タセットに選択的にアクセスできるマルチメディア多重
化方式を得ることを目的とする。また、あるメディア
を選択再生している際に関連する異種メディアを参照で
きるマルチメディア多重化方式を得ることを目的とす
る。

【０００９】

【課題を解決するための手段】この発明に係わるマルチ
メディア多重化方式は、データ列を分割する手段と、分
割したデータ列に対して各種情報を付加してパケットを
生成する手段と、各パケットを単位に多重化を行う手段
とを有することを特徴とする。

【００１０】

【作用】この発明に係わるマルチメディア多重化方式
は、マルチメディアデータ列を情報源別、メディア別及
びメディアの属性別に分割し、分割した各データに対し
て同期情報やパケット間の対応関係等を示す各種情報を
付加してパケットを生成し、パケット単位に多重化す
る。

【００１１】

【実施例】実施例１．以下、この発明の一実施例を図１
をもとに説明する。図１はこの発明の一実施例における
多重化方式であり、各メディアのデータを情報源別、メ
ディア別及びメディアの属性別に等長に分割し、各種識
別情報を付加して、多重化する。

【００１２】各パケットは、呼識別情報１（ビット長：
ｂ₁ ビット）、対地識別情報２（ビット長：ｂ₂ ビッ
ト）、パケット番号３（ビット長：ｂ₃ ビット）、メデ
ィアＩＤ４（ビット長：ｂ₄ ビット）、リンク情報５
（ビット長：ｂ₅ ビット）、システムクロックリファレ
ンス６（ビット長：ｂ₆ ビット）から成るヘッダと情報
フィールド（ビット長：ｂ₇ ビット）とから構成され
る。これらのパケット構成要素は、それぞれ固定のビッ
ト長をもつ。

【００１３】呼識別情報１と対地識別情報２は、伝送路
を介してパケットの送受信を行う際に利用される。呼識
別情報１は送信側を識別するための情報で、発呼番号が
用いられる。対地識別情報２は受信側を識別するための
情報で、着信呼番号が用いられる。

【００１４】パケット番号３はパケット自身を特定する
もので、Ｍ（Ｍは２の冪乗で表され、 log₂ Ｍ＝ｂ₃ で
ある）の剰余(modulo Ｍ）でパケットの送信順に時系列
的に番号付けされる。

【００１５】メディアＩＤ４は、パケットで送られてく
る情報を識別するためのもので、メディアタイプ４１
（ビット長：ｂ₄₁ビット）と同一メディア識別情報４２
（ビット長：ｂ₄₂ビット）とから構成される。メディア
タイプ４１は、表１に示すようにオーディオ（モノラ
ル、ステレオ）、静止画（低解像度、高解像度）、ビデ
オ（低解像度、高解像度）等の各メディアに対応して割
り当てられたメディア識別コードで表される。同一メデ
ィア識別情報４２は、メディアタイプ４１が同じである
が情報源が異なるパケットを識別するためのものであ
る。

【００１６】

【表１】

【００１７】リンク情報５は、多重化パケット列の中で
現在のパケットと他のパケットとの対応を示すもので、
メディア内リンク情報５１（ビット長：ｂ₅₁ビット）と
メディア間リンク情報５２（ｂ₅₂ビット）とから構成さ
れる。

【００１８】メディア内リンク情報５１は、同一のメデ
ィアＩＤ４をもつパケット間の対応関係を示すもので、
過去パケット番号５１１（ビット長：ｂ₅₁₁ ビット）と
シーケンス番号５１２（ビット長：ｂ₅₁₂ ビット）とか
ら構成される。過去パケット番号５１１には、現在のパ
ケットと同一のメディアＩＤ４をもち、かつ時間的に後
続するパケットのパケット番号３が収納される。シーケ
ンス番号５１２は、同一のメディアＩＤ４を有するパケ
ット毎にＮ（Ｎは２の冪乗で表され、 log₂ Ｎ＝ｂ₅₁₂
である）の剰余(modulo Ｎ）でパケットの送信順に時系
列的に割り当てられる。なお、ｂ₅₁₁ ＝ｂ₃ である。

【００１９】メディア間リンク情報５２は、現在のパケ
ットと異なるメディアＩＤ４をもつパケット間での対応
関係を示すもので、他メディアリンク数５２１（ビット
長：ｂ₅₂₁ ビット）と、複数の他メディアパケット番号
５２２（ビット長：各ｂ₅₂₂ビット）で構成される。他
メディアリンク数５２１は、現在のパケットと時間的に
対応し、かつ異なるメディアＩＤ４をもつパケットの総
数Ｋを示す。他メディアパケット番号５２２は、現在の
パケットと時間的に対応し、かつ異なるメディアＩＤ４
をもつパケットのパケット番号３であり、前記他メディ
アリンク数５２１の後にＫ個の他メディアパケット番号
５２２が続く。メディア間リンク情報５２中の残りのビ
ット（ビット長：ｂ₅₂₃ビット、ｂ₅₂₃ ＝ｂ₅₂−ｂ₅₂₁
−Ｋ＊ｂ₅₂₂）は、空きビット（stuffing bits)であ
る。

【００２０】図２は本発明における多重化器（マルチプ
レクサ）の一実施例の構成を示すブロック図であり、図
において、１００は多重化器、１０１はビデオ符号器、
１０２はオーディオ符号器、１０３は情報フィールド生
成部、１０４はクロック生成部、１０５は同期情報付加
部、１０６はパケット番号／メディアＩＤ／リンク情報
付加部、１０７は呼識別／対地識別情報付加部である。

【００２１】次に動作について説明する。多重化器１０
０では、まず情報フィールド生成部１０３において、入
力された各メディアデータ３０１をそれぞれ分割し、情
報フィールドデータを生成する。なお、ビデオデータと
オーディオデータについては、それぞれビデオ符号器１
０１、オーディオ符号器１０２で符号化された後、多重
化器１００に入力される。次に同期情報付加部１０５
で、情報フィールドデータに対してシステムクロックリ
ファレンス６の付加を行う。システムクロックリファレ
ンス６の付加においては、クロック生成部１０４で生成
したクロック信号を用いてタイムスタンプが作られる。
システムクロックリファレンス６が付加されたメディア
別の情報フィールドデータは、パケット番号／メディア
ＩＤ／リンク情報付加部１０６でパケット番号３、メデ
ィアＩＤ４及びリンク情報５が付加され、付加されたパ
ケット番号順に出力される。更に、呼識別／対地識別情
報付加部１０７において呼識別情報と対地識別情報が付
加され、一連のパケット列３０２として多重化器１００
から出力される。

【００２２】図３は本発明における多重化分離器（デマ
ルチプレクサ）の一実施例の構成を示すブロック図であ
り、図において、２００は多重化分離器、２０１は呼識
別／対地識別情報分離部、２０２はパケット番号／メデ
ィアＩＤ／リンク情報分離部、２０３は同期情報分離
部、２０４は情報フィールド合成部、２０５はビデオ復
号器、２０６はオーディオ復号器、２０７は同期情報比
較器、２０８は遅延メモリである。

【００２３】次に動作について説明する。多重化分離器
２００では、まず呼識別／対地識別情報分離部２０１
で、一連のパケット列３０２中の各パケットから呼識別
情報１と対地識別情報２との分離処理を行う。次にパケ
ット番号／メディアＩＤ／リンク情報分離部２０２でパ
ケット番号３、メディアＩＤ４及びリンク情報５を分離
し、システムクロックリファレンス６と情報フィールド
とで構成されるデータがメディア別に出力される。更に
同期情報分離部２０３においてそれぞれシステムクロッ
クリファレンス６が分離され、情報フィールドデータが
出力される。メディア別の情報フィールドデータは、情
報フィールド合成部２０４で互いに情報フィールドが合
成されて各メディアデータが生成される。各種メディア
データの中でビデオデータとオーディオデータは、ビデ
オ復号器２０５、オーディオ復号器２０６でそれぞれ復
号される。メディア間の同期を確保するために、従来の
実施例と同様、前記同期情報分離部２０３にて分離した
メディア毎のタイムスタンプ３０３を同期情報比較器２
０７に入力して比較し、最も遅いタイムスタンプを有す
るメディア信号に同期するよう遅延処理を施す。

【００２４】実施例２．上記実施例１では、メディア内
リンク情報５１を過去パケット番号５１１とシーケンス
番号５１２とで構成していたが、図５に示すように、現
在のパケットと同一のメディアＩＤ４をもち、かつ時間
的に先行するパケットのパケット番号３が格納される未
来パケット番号５１０と、過去パケット番号５１１と、
シーケンス番号５１２とで構成してもよく、これによ
り、蓄積媒体に記録したマルチメディアデータへのアク
セスがより容易になり、高速再生が可能となる。

【００２５】実施例３．上記実施例１及び２では、シス
テムクロックリファレンス６に書かれたタイムスタンプ
を用いてメディア間の同期をとっていたが、図５に示す
ようにシステムクロックリファレンス６の代わりに他メ
ディアパケットとの時間差５２３を用いてメディア間の
同期を確保しても良い。

【００２６】実施例４．上記実施例１、２及び３では、
パケット毎に呼識別情報１と対地識別情報２を付加して
いたが、本多重化方式を通信以外の分野にて使用する場
合には、呼識別情報１と対地識別情報２を省略しても良
い。また、用途によっては、その他の識別情報の付加を
省略しても良い。

【００２７】実施例５．上記実施例１、２及び３におけ
る空きビットに、ある種の識別情報を入れても勿論良
い。

【００２８】

【発明の効果】以上のように、本発明によればマルチメ
ディアデータをデータの属性（情報源、メディア、符号
化方式、品質など）別に等長パケットを単位として多重
化し、各パケット中に同一及び異種の属性を有するパケ
ットとの対応関係を示す情報を付加したため、多重化デ
ータの中から一部分または複数のデータを抽出して再生
することが容易にできる。例えば、本多重化方式によれ
ば、一連のデータ列の中から特定ユーザからの送信デー
タを抽出したり、階層的符号化したビデオデータの中か
ら特定の階層のビデオデータを抽出し復号することが容
易に実現できる。また、蓄積媒体上に本多重化方式を用
いてマルチメディアデータを記録した場合には、高速再
生・逆転再生・一部のメディアのみを選択した再生等の
特殊再生が容易に実現できる。

【図面の簡単な説明】

【図１】この発明の実施例１における多重化方式の説明
図である。

【図２】この発明の一実施例を示す多重化器のブロック
図である。

【図３】この発明の一実施例を示す多重化分離器のブロ
ック図である。

【図４】この発明の実施例２における多重化方式の説明
図である。

【図５】この発明の実施例２、３における多重化方式の
説明図である。

【図６】従来のマルチメディア多重化方式の説明図であ
る。

【図７】従来のマルチメディア多重化方式におけるパケ
ット構造の説明図である。

【図８】メディア間の同期を確保するための装置構成例
である。

【符号の説明】

１呼識別情報２対地識別情報３パケット番号４メディアＩＤ５リンク情報６システムクロックリファレンス４１メディアタイプ４２同一メディア識別情報５１メディア内リンク情報５２メディア間リンク情報１００多重化器１０１ビデオ符号器１０２オーディオ符号器１０３情報フィールド生成部１０４クロック生成部１０５同期情報付加部１０６パケット番号／メディアＩＤ／リンク情報付加
部１０７呼識別／対地識別情報付加部２００多重化分離器２０１呼識別／対地識別情報分離部２０２パケット番号／メディアＩＤ／リンク情報分離
部２０３同期情報分離部２０４情報フィールド合成部２０５ビデオ復号器２０６オーディオ復号器２０７同期情報比較器２０８遅延メモリ３０１メディアデータ３０２パケット列３０３タイムスタンプ３０４タイミングパルス５１０未来パケット番号５１１過去パケット番号５１２シーケンス番号５２１他メディアリンク数５２２他メディアパケット番号５２３時間差

Claims

【特許請求の範囲】

【請求項１】マルチメディアデータを多重化して伝送
または記録するフレーミングフォーマットの構成におい
て、マルチメディアデータをメディア別および情報源別
に多重化の単位となるパケットに収納し、各パケットの
ヘッダ部分には、個々のパケットを識別するための情
報、メディアを種別するためのメディア識別情報、情報
源を識別するための情報およびパケット間の対応関係を
示すためのリンク情報を付加し、特定のメディアデータ
および特定の情報源からのデータを選択的にアクセスで
きるよう上記付加情報を階層的に配列したことを特徴と
するマルチメディア多重化方式。
【請求項２】前記メディア識別情報は、音声、ビデオ
などのメディアの種類を識別するための情報と、品質、
符号化方式などのメディアの属性を識別するための情報
とから構成されることを特徴とする請求項１記載のマル
チメディア多重化方式。
【請求項３】前記リンク情報は属性の同じデータを収
納するパケット間の対応関係を示す情報と、属性の異な
るデータを収納するパケット間の対応関係を示す情報と
から構成されることを特徴とする請求項１記載のマルチ
メディア多重化方式。
【請求項４】マルチメディアデータを多重化して伝送
または記録するフレーミングフォーマットの構成におい
て、各メディアデータを等長のパケットに収納して多重
化することを特徴とする請求項１、２または請求項３記
載のマルチメディア多重化方式。