JP3027816B2 - マルチメディア多重方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、各種メディアの
データを多重化して伝送または記録するマルチメディア
多重方式に関するものである。

【０００２】

【従来の技術】図６は、例えば安田浩編著「マルチメデ
ィアの国際標準」（丸善株式会社、pp.230-232、1991年
6月発行）で述べられているマルチメディア多重化方式
の一実施例を示すものである。多重化は、基本的にはビ
デオの１フレーム相当の時間長の単位で行われ、この時
間長に対応する各メディアのデータ列（データストリー
ム）をここではパケットと呼ぶ。オーディオデータやビ
デオデータは、他のメディアデータに比べて単位時間当
りのデータ量が大きいため、符号化を行って冗長度を取
り除いた後のデータ列に対してパケット化を行う。符号
化データ列中には、ビデオの１フレーム相当の時間毎に
ユニークワードが挿入されており、それを目印にしてパ
ケット化が行われる。

【０００３】各パケットは、図７に示すようにヘッダと
情報フィールドとから構成される。情報フィールドには
多重化すべきデータ列が収納される。ヘッダは以下のよ
うな情報から構成される。 ・スタートコード：メディア種別を示し、多重化分離
（デマルチプレックス）するための境界を検出するため
のコード。 ・システムクロックリファレンス：各メディアの同期を
とるための時刻情報（タイムスタンプ）。 ・データ長：情報フィールド長を与える情報。

【０００４】一方、多重化分離（デマルチプレクス）に
おいては、上記多重化により生成した一連のパケット列
から個々のパケットを抽出し、各パケットのメディア種
別を行った後、各メディア間で信号の同期をとった上で
メディア別にデータ列が再生される。パケット列１０２
からのパケットの抽出は、ヘッダを検出することにより
行われる。メディア種別には、スタートコードを利用す
る。

【０００５】図８にメディア間の同期を確保するための
一実施例を示す。図８において、２００は多重化分離器
（デマルチプレクサ）、２０５はビデオ復号器、２０６
はオーディオ復号器、２０７は同期情報比較器、２０８
は遅延メモリである。各メディアの同期をとるために、
各メディアデータを遅延メモリ２０８にそれぞれ一時的
に格納し、同期情報比較器２０７からのタイミングパル
ス３０４が各遅延メモリ２０８に入力されると、各遅延
メモリ２０８からメディアデータ３０１が一斉に読み出
されるようになっている。同期情報比較器２０７では、
各メディアのパケットのタイムスタンプ３０３を比較
し、最も遅いタイムスタンプを有するメディア信号に同
期するようなタイミングパルス３０４を発生させる。

【０００６】ＣＤ−ＲＯＭのような蓄積媒体に情報が記
録されている場合には、ユーザの使用目的に応じて高速
再生・逆転再生・一部のメディア情報のみを選択しての
再生（例えば、ビデオのみ、オーディオのみの再生）等
の特殊再生機能が要求される。これらの機能は、上記多
重化された一連のパケット列に対してランダムアクセス
を行うことにより実現される。ランダムアクセスでは、
ヘッダ内のデータ長情報を読みとり次のヘッダにジャン
プする動作の繰り返しによって、目的のパケットまでア
クセスする。

【０００７】

【発明が解決しようとする課題】従来のマルチメディア
多重化方式は以上のように構成されているので、多重化
データの中から複数のメディアを同時に再生する場合、
ヘッダを検出してメディアの種別を判定するといった処
理を順次繰り返さなければならず、高速な処理が必要で
あった。また、ビデオの１フレームに相当する時間間隔
でパケット化がなされているため、多重化・送信・受信
・多重化分離という一連の通信処理を行う場合、多重化
するメディアの数が多くなると遅延が無視できなくなる
等の問題点があった。

【０００８】この発明は上記のような問題点を解消する
ためになされたもので、メディア間の再生同期をとり、
かつ、複数の異種類メディアおよび複数の同一種類メデ
ィアを情報源とするマルチメディアデータを多重できる
マルチメディア多重方式を得ることを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、本発明のマルチメディア多重方式は、複数の異種類
メディア及び複数の同一種類メディアが情報源であるマ
ルチメディアデータを多重するマルチメディア多重方式
であって、以下の手段を備えたものである。 （ａ）前記各情報源のマルチメディアデータをそれぞれ
所定単位のパケットデータに分割する分割手段； （ｂ）前記分割手段により分割された各パケットデータ
の前記複数の異種類メディア及び複数の同一種類メディ
アの情報源を識別する情報源識別情報を生成し、前記分
割された各パケットデータに、前記情報源識別情報と、
各メディアの再生同期をとるための時刻情報として他の
パケットデータの再生時刻からの時間差情報と、を多重
する手段。

【００１０】

【発明の実施の形態】実施の形態１．以下、この発明の
一実施の形態を図１をもとに説明する。

【００１１】図１はこの発明の一実施の形態における多
重化方式であり、各メディアのデータを情報源別、メデ
ィア別及びメディアの属性別に等長に分割し、各種識別
情報を付加して、多重化する。

【００１２】各パケットは、呼識別情報１（ビット長：
ｂ1 ビット）、対地識別情報２（ビット長：ｂ2 ビッ
ト）、パケット番号３（ビット長：ｂ3 ビット）、メデ
ィアＩＤ４（ビット長：ｂ4 ビット）、リンク情報５
（ビット長：ｂ5 ビット）、システムクロックリファレ
ンス６（ビット長：ｂ6 ビット）から成るヘッダと情報
フィールド（ビット長：ｂ7 ビット）とから構成され
る。これらのパケット構成要素は、それぞれ固定のビッ
ト長をもつ。

【００１３】呼識別情報１と対地識別情報２は、伝送路
を介してパケットの送受信を行う際に利用される。呼識
別情報１は送信側を識別するための情報で、発呼番号が
用いられる。対地識別情報２は受信側を識別するための
情報で、着信呼番号が用いられる。

【００１４】パケット番号３はパケット自身を特定する
もので、Ｍ（Ｍは２の冪乗で表され、 log2 Ｍ＝ｂ3 で
ある）の剰余(modulo Ｍ）でパケットの送信順に時系列
的に番号付けされる。

【００１５】メディアＩＤ４は、パケットで送られてく
る情報を識別するためのもので、メディアタイプ４１
（ビット長：ｂ41ビット）と同一メディア識別情報４２
（ビット長：ｂ42ビット）とから構成される。メディア
タイプ４１は、表１に示すようにオーディオ（モノラ
ル、ステレオ）、静止画（低解像度、高解像度）、ビデ
オ（低解像度、高解像度）等の各メディアに対応して割
り当てられたメディア識別コードで表される。同一メデ
ィア識別情報４２は、メディアタイプ４１が同じである
が情報源が異なるパケットを識別するためのものであ
る。

【００１６】

【表１】

【００１７】リンク情報５は、多重化パケット列の中で
現在のパケットと他のパケットとの対応を示すもので、
メディア内リンク情報５１（ビット長：ｂ51ビット）と
メディア間リンク情報５２（ｂ52ビット）とから構成さ
れる。

【００１８】メディア内リンク情報５１は、同一のメデ
ィアＩＤ４をもつパケット間の対応関係を示すもので、
過去パケット番号５１１（ビット長：ｂ511 ビット）と
シーケンス番号５１２（ビット長：ｂ512 ビット）とか
ら構成される。過去パケット番号５１１には、現在のパ
ケットと同一のメディアＩＤ４をもち、かつ時間的に先
行するパケットのパケット番号３が収納される。シーケ
ンス番号５１２は、同一のメディアＩＤ４を有するパケ
ット毎にＮ（Ｎは２の冪乗で表され、log2 Ｎ＝ｂ512
である）の剰余(modulo Ｎ）でパケットの送信順に時系
列的に割り当てられる。なお、ｂ511 ＝ｂ3である。

【００１９】メディア間リンク情報５２は、現在のパケ
ットと異なるメディアＩＤ４をもつパケット間での対応
関係を示すもので、他メディアリンク数５２１（ビット
長：ｂ521 ビット）と、複数の他メディアパケット番号
５２２（ビット長：各ｂ522ビット）で構成される。他
メディアリンク数５２１は、現在のパケットと時間的に
対応し、かつ異なるメディアＩＤ４をもつパケットの総
数Ｋを示す。他メディアパケット番号５２２は、現在の
パケットと時間的に対応し、かつ異なるメディアＩＤ４
をもつパケットのパケット番号３であり、前記他メディ
アリンク数５２１の後にＫ個の他メディアパケット番号
５２２が続く。メディア間リンク情報５２中の残りのビ
ット（ビット長：ｂ523ビット、ｂ523 ＝ｂ52−ｂ521
−Ｋ＊ｂ522 ）は、空きビット（stuffing bits)であ
る。

【００２０】図２は実施の形態１における多重化器（マ
ルチプレクサ）の構成を示すブロック図であり、図にお
いて、１００は多重化器、１０１はビデオ符号器、１０
２はオーディオ符号器、１０３は情報フィールド生成
部、１０４はクロック生成部、１０５は同期情報付加
部、１０６はパケット番号／メディアＩＤ／リンク情報
付加部、１０７は呼識別／対地識別情報付加部である。

【００２１】なお、情報フィールド生成部１０３は、マ
ルチメディアデータを情報源別のデータに分割する分割
手段としての機能を有する。また、クロック生成部１０
４、同期情報付加部１０５、パケット番号／メディアＩ
Ｄ／リンク情報付加部１０６、呼識別／対地識別情報付
加部１０７は、分割したデータに対する各種情報、例え
ばデータの情報源を示す情報源識別情報としてのメディ
アＩＤ４や、リンク情報５、システムクロックリファレ
ンス６等の各種情報を生成し、この各種情報と分割した
データとを多重する生成手段としての機能を有する。次
に動作について説明する。多重化器１００では、まず情
報フィールド生成部１０３において、入力された情報源
が異なる各メディアデータ３０１を分割し、情報フィー
ルドデータを生成する。なお、ビデオデータとオーディ
オデータについては、それぞれビデオ符号器１０１、オ
ーディオ符号器１０２で符号化された後、多重化器１０
０に入力される。次に同期情報付加部１０５で、情報フ
ィールドデータに対してシステムクロックリファレンス
６の付加を行う。システムクロックリファレンス６の付
加においては、クロック生成部１０４で生成したクロッ
ク信号を用いてタイムスタンプが作られる。システムク
ロックリファレンス６が付加された情報源別の情報フィ
ールドデータは、パケット番号／メディアＩＤ／リンク
情報付加部１０６でパケット番号３、メディアＩＤ４及
びリンク情報５が付加され、付加されたパケット番号順
に出力される。更に、呼識別／対地識別情報付加部１０
７において呼識別情報と対地識別情報が付加され、一連
のパケット列３０２として多重化器１００から出力され
る。

【００２２】図３は実施の形態１における多重化分離器
（デマルチプレクサ）の構成を示すブロック図であり、
図において、２００は多重化分離器、２０１は呼識別／
対地識別情報分離部、２０２はパケット番号／メディア
ＩＤ／リンク情報分離部、２０３は同期情報分離部、２
０４は情報フィールド合成部、２０５はビデオ復号器、
２０６はオーディオ復号器、２０７は同期情報比較器、
２０８は遅延メモリである。

【００２３】次に動作について説明する。多重化分離器
２００では、まず呼識別／対地識別情報分離部２０１
で、一連のパケット列３０２中の各パケットから呼識別
情報１と対地識別情報２との分離処理を行う。次にパケ
ット番号／メディアＩＤ／リンク情報分離部２０２でパ
ケット番号３、メディアＩＤ４及びリンク情報５を分離
し、システムクロックリファレンス６と情報フィールド
とで構成されるデータが情報源別に出力される。更に同
期情報分離部２０３においてそれぞれシステムクロック
リファレンス６が分離され、情報フィールドデータが出
力される。情報源別の情報フィールドデータは、情報フ
ィールド合成部２０４でそれぞれ情報フィールドが合成
されて各メディアデータが生成される。情報源が異なる
各種メディアデータの中でビデオデータとオーディオデ
ータは、ビデオ復号器２０５、オーディオ復号器２０６
でそれぞれ復号される。メディア間の同期を確保するた
めに、従来の実施例と同様、前記同期情報分離部２０３
にて分離したメディア毎のタイムスタンプ３０３を同期
情報比較器２０７に入力して比較し、最も遅いタイムス
タンプを有するメディア信号に同期するよう遅延処理を
施す。以上のように、この実施例によればマルチメディ
アデータを属性（情報源、メディア、符号化方式、品質
など）別にパケットを単位として多重化し、各パケット
の属性等を示す情報あるいはパケット間の対応関係を示
す情報を多重したため、多重化データの中から一部分ま
たは複数のデータを抽出して再生することが容易にでき
る。例えば、一連のデータ列の中から特定ユーザからの
送信データを抽出したり、符号化したビデオデータの中
から特定のビデオデータを抽出し復号することが容易に
実現できる。また、蓄積媒体上に本方式を用いてマルチ
メディアデータを記録した場合には、高速再生・逆転再
生・一部のメディアのみを選択した再生等の特殊再生が
容易に実現できる。

【００２４】実施の形態２．上記実施の形態１では、メ
ディア内リンク情報５１を過去パケット番号５１１とシ
ーケンス番号５１２とで構成していたが、図４に示すよ
うに、現在のパケットと同一のメディアＩＤ４をもち、
かつ時間的に後続するパケットのパケット番号３が格納
される未来パケット番号５１０と、過去パケット番号５
１１と、シーケンス番号５１２とで構成してもよく、こ
れにより、蓄積媒体に記録したマルチメディアデータへ
のアクセスがより容易になり、高速再生が可能となる。

【００２５】実施の形態３．上記実施の形態１及び２で
は、システムクロックリファレンス６に書かれたタイム
スタンプを用いてメディア間の同期をとっていたが、図
５に示すようにシステムクロックリファレンス６の代わ
りに他メディアパケットとの時間差５２３を用いてメデ
ィア間の同期を確保しても良い。

【００２６】実施の形態４．上記実施の形態１、２及び
３では、パケット毎に呼識別情報１と対地識別情報２を
付加していたが、本多重化方式を通信以外の分野にて使
用する場合には、呼識別情報１と対地識別情報２を省略
しても良い。また、用途によっては、その他の識別情報
の付加を省略しても良い。

【００２７】実施の形態５．上記実施の形態１、２及び
３における空きビットに、ある種の識別情報を入れても
勿論良い。

【００２８】

【発明の効果】以上のように、本発明によれば、複数の
異種類メディア及び複数の同一種類メディアが情報源で
あるマルチメディアデータをそれぞれ所定単位のパケッ
トデータに分割し、分割された各パケットデータの前記
複数の異種類メディア及び複数の同一種類メディアの情
報源を識別する情報源識別情報を生成し、前記分割され
た各パケットデータに、前記情報源識別情報と、各メデ
ィアの再生同期をとるための時刻情報として他のパケッ
トデータの再生時刻からの時間差情報と、を多重するよ
うにしたので、メディア間の再生同期をとりつつ、複数
の異種類メディアおよび複数の同一種類メディアを情報
源とするマルチメディアデータを多重することができ
る。

【図面の簡単な説明】

【図１】 この発明の実施の形態１における多重化方式
の説明図である。

【図２】 この発明の実施の形態１における多重化器の
構成を示すブロック図である。

【図３】 この発明の実施の形態１における多重化分離
器の構成を示すブロック図である。

【図４】 この発明の実施の形態２における多重化方式
の説明図である。

【図５】 この発明の実施の形態３における多重化方式
の説明図である。

【図６】 従来のマルチメディア多重化方式の説明図で
ある。

【図７】 従来のマルチメディア多重化方式におけるパ
ケット構造の説明図である。

【図８】 メディア間の同期を確保するための装置構成
例である。

【符号の説明】

１ 呼識別情報、２ 対地識別情報、３ パケット番
号、４ メディアＩＤ、５ リンク情報、６ システム
クロックリファレンス、４１ メディアタイプ、４２
同一メディア識別情報、５１ メディア内リンク情報、
５２ メディア間リンク情報、１００ 多重化器、１０
１ ビデオ符号器、１０２ オーディオ符号器、１０３
情報フィールド生成部、１０４ クロック生成部、１
０５ 同期情報付加部、１０６ パケット番号／メディ
アＩＤ／リンク情報付加部、１０７呼識別／対地識別情
報付加部、２００ 多重化分離器、２０１ 呼識別／対
地識別情報分離部、２０２ パケット番号／メディアＩ
Ｄ／リンク情報分離部、２０３ 同期情報分離部、２０
４ 情報フィールド合成部、２０５ ビデオ復号器、２
０６ オーディオ復号器、２０７ 同期情報比較器、２
０８ 遅延メモリ、３０１ メディアデータ、３０２
パケット列、３０３ タイムスタンプ、３０４ タイミ
ングパルス、５１０ 未来パケット番号、５１１ 過去
パケット番号、５１２ シーケンス番号、５２１ 他メ
ディアリンク数、５２２ 他メディアパケット番号、５
２３ 時間差。

フロントページの続き (56)参考文献 特開 平２−5660（ＪＰ，Ａ) 特開 平５−145909（ＪＰ，Ａ) 特開 平３−191636（ＪＰ，Ａ) 特開 平３−273736（ＪＰ，Ａ) 特開 平３−191638（ＪＰ，Ａ) テレビジョン学会技術報告第14巻第44 号Ｐ．31−36 テレビジョン学会技術報告第15巻第35 号Ｐ．31−36 テレビジョン学会技術報告第15巻第25 号Ｐ．７−12 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04L 12/56 H04J 3/00 H04N 7/08 H04N 7/081 H04N 7/24

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 以下の手段を備え、複数の異種類メディ
   ア及び複数の同一種類メディアが情報源であるマルチメ
   ディアデータを多重するマルチメディア多重方式。 （ａ）前記各情報源のマルチメディアデータをそれぞれ
   所定単位のパケットデータに分割する分割手段； （ｂ）前記分割手段により分割された各パケットデータ
   の前記複数の異種類メディア及び複数の同一種類メディ
   アの情報源を識別する情報源識別情報を生成し、前記分
   割された各パケットデータに、前記情報源識別情報と、
   各メディアの再生同期をとるための時刻情報として他の
   パケットデータの再生時刻からの時間差情報と、を多重
   する手段。