JPH09284732A

JPH09284732A - 音声・映像データ生成装置およびその方法

Info

Publication number: JPH09284732A
Application number: JP9567596A
Authority: JP
Inventors: Tomoji Miyazawa; 智司宮澤; Takeshi Oda; 剛小田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-17
Filing date: 1996-04-17
Publication date: 1997-10-31

Abstract

(57)【要約】【課題】ＰＥＳヘッダのオーディオＰＴＳの生成処理を
簡易にする。【解決手段】ＣＰＵ４２４は、データ量ＩＦ３０ｂから
入力されるデータサイズSIZEを変数size sumに累加算す
る。ＣＰＵ４２４は、変数size sumの値がオーディオエ
ンコーダ２４が１秒間当たりに生成するオーディオスト
リームのデータ量SIZE SEC以上であるか否かを判断し、
変数size sumの値がデータ量SIZE SEC以下である場合に
は整数演算によりオーディオＰＴＳの値を算出し、デー
タ量SIZESEC以上である場合には、オーディオＰＴＳの
値を補正する。このように、ＣＰＵ４２４が、例えば、
１秒ごとに、整数演算により生じたオーディオＰＴＳの
誤差を補正し、ＰＥＳのＰＥＳヘッダに付加することに
より、整数演算によって生じるオーディオＰＴＳの値の
誤差の蓄積を防ぐ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像データ、音声
データおよびサブタイトル等の付加データを多重化し、
伝送するためのトランスポートストリームを生成する音
声・映像データ生成装置およびその方法であって、特
に、ＭＰＥＧ方式等により圧縮符号化したオーディオス
トリームおよびビデオストリームを扱う音声・映像デー
タ生成装置およびその方法に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】映画
あるいは音楽プロモーション等の音声データおよび映像
データのディジタルテレビジョン放送が実用化されてい
る。このようなディジタルテレビジョン放送において
は、例えば、音楽の音声データをいわゆるサラウンド(s
urround)対応のデータにする、音声データを数カ国語対
応に用意する、あるいは、映像データに数カ国語の字幕
を付す等の処理を行った音声データ、映像データおよび
付加データを多重化してトランスポートストリームを生
成し、視聴者に配信したいという要請がある。

【０００３】また、非圧縮映像データおよび非圧縮音声
データを圧縮符号化して生成したビデオデータストリー
ムを再度、伸長符号化し、両者のタイミングを合わせて
表示する場合には、オーディオストリームおよびビデオ
ストリームを収容するパケッタイズドエレメンタリース
トリーム（ＰＥＳ）のＰＥＳヘッダに、プレゼンテーシ
ョンタイムスタンプ（ＰＴＳ）と呼ばれるデータを付加
する必要がある。しかしながら、ＰＴＳの基準周波数で
ある９０ｋＨｚと映像データのフレーム周期とは同期す
るが、ＰＴＳの基準周波数である９０ｋＨｚと音声デー
タの圧縮符号化の周期（オーディオフレーム）とは同期
がずれることがあるので、オーディオＰＴＳとビデオＰ
ＴＳとの同期をとるための処理が複雑になりがちであ
る。

【０００４】本発明は上述のような要請に応えるために
なされたものであり、ディジタルテレビジョン放送等に
おいて、音声データ、映像データおよび付加データの多
重化に適した音声・映像データ生成装置およびその方法
を提供することを目的とする。また、本発明は、ディジ
タルテレビジョン放送用等の音声データ、映像データお
よび付加データの高速多重化に好適で、しかも、付加デ
ータの種類および処理の変更に柔軟に対応しうる音声・
映像データ生成装置およびその方法を提供することを目
的とする。また、本発明は、簡単な処理により、オーデ
ィオストリームに付加するオーディオＰＴＳと、ビデオ
ストリームに付加するビデオＰＴＳとの同期をとること
ができる音声・映像データ生成装置およびその方法を提
供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る音声・映像データ生成装置は、音声・
映像データに含まれる映像データを圧縮し、圧縮映像デ
ータを生成する映像データ圧縮手段と、所定の音声圧縮
周期ごとに、前記音声・映像データに含まれる音声デー
タを圧縮し、一定のデータ量の圧縮音声データを生成す
る音声データ圧縮手段と、生成した前記圧縮映像データ
を伸長して表示する時刻を示す映像表示時刻データを生
成する映像表示時刻データ生成手段と、生成した前記音
声データのデータ量を、前記所定の音声圧縮周期ごとに
計数する音声データ量計数手段と、計数した前記音声デ
ータのデータ量に基づいて、生成した前記圧縮音声デー
タを伸長して表示する時刻を示す音声表示時刻データを
生成する音声表示時刻データ生成手段と、生成した前記
圧縮映像データ、前記圧縮音声データ、前記映像表示時
刻データおよび前記音声表示時刻データを対応付けて所
定の伝送パケットに収容し、伝送ビットストリームを生
成する伝送ビットストリーム生成手段とを有する。

【０００６】好適には、前記音声表示時刻データ生成手
段は、前記音声圧縮周期ごとに生成した前記圧縮音声デ
ータのデータ量の累加算を算出し、算出した累加算値が
所定の補正周期ごとに生成される前記圧縮音声データの
データ量を超えた場合に、算出した累加算値から前記所
定の補正周期ごとに生成する前記圧縮音声データのデー
タ量を減算して、前記音声表示時刻データを生成する。

【０００７】好適には、前記音声表示時刻データ生成手
段は、前記累加算値が前記所定の補正周期ごとに生成さ
れる前記圧縮音声データのデータ量を超えた場合に、所
定のオフセット値を前記累加算値時刻データに加算し
て、前記音声表示時刻データを生成する。

【０００８】本発明に係る音声・映像データ生成装置に
おいて、映像データ圧縮手段は、音声・映像データに含
まれる映像データを、例えば、ＭＰＥＧ方式により圧縮
する。音声データ圧縮手段は、所定の音声圧縮周期（オ
ーディオフレーム）ごとに、音声・映像データに含まれ
る音声データを、映像データと同様に、ＭＰＥＧ方式に
より圧縮し、一定のデータ量、つまり、ほぼ一定のデー
タレート圧縮音声データ（オーディオフレーム）を生成
する。

【０００９】映像表示時刻データ生成手段は、圧縮した
映像データ（ビデオストリーム）を、再度、伸長復号し
て表示する時刻を示すビデオＰＴＳを生成し、ビデオス
トリームを収容するＰＥＳのＰＥＳパケットに付加す
る。音声データ量計数手段は、音声データ圧縮手段が生
成したオーディオストリームの音声データのデータ量
を、上記オーディオフレームごとに計数する。

【００１０】音声表示時刻データ生成手段は、計数した
音声データのデータ量に基づいて、生成した圧縮音声デ
ータを伸長して表示する時刻を示す音声表示時刻データ
（オーディオＰＴＳ）を、整数演算処理により生成す
る。さらに、音声表示時刻データ生成手段は、音声圧縮
周期ごとに生成した圧縮音声データのデータ量の累加算
を算出し、所定のデータ量を超えた場合、つまり、所定
の補正周期ごとに、音声表示時刻データを補正し、整数
演算処理により生じるオーディオＰＴＳの誤差の蓄積を
防止する。伝送ビットストリーム生成手段は、生成した
ビデオストリーム、オーディオストリーム、ビデオＰＴ
ＳおよびオーディオＰＴＳを対応付け、所定の伝送パケ
ット（ＰＥＳ）に収容し、伝送ビットストリーム（トラ
ンスポートストリーム）を生成する。

【００１１】また、本発明に係る音声・映像データ生成
方法は、音声・映像データに含まれる映像データを圧縮
して圧縮映像データを生成し、所定の音声圧縮周期ごと
に、前記音声・映像データに含まれる音声データを圧縮
し、一定のデータ量の圧縮音声データを生成し、生成し
た前記圧縮映像データを伸長して表示する時刻を示す映
像表示時刻データを生成し、生成した前記音声データの
データ量を計数し、計数した前記音声データのデータ量
および前記所定の音声圧縮周期に基づいて、生成した前
記圧縮音声データを伸長して表示する時刻を示す音声表
示時刻データを生成し、生成した前記圧縮映像データ、
前記圧縮音声データ、前記映像表示時刻データおよび前
記音声表示時刻データを対応付けて所定の伝送パケット
に収容し、伝送ビットストリームを生成する。

【００１２】

【発明の実施の形態】第１実施形態以下、本発明の第１の実施形態を説明する。図１は、第
１の実施形態における本発明に係る音声・映像データ生
成装置１の構成を示す図である。図１に示すように、音
声・映像データ生成装置１は、ビデオエンコーダ(video
encoder) ２０、オーディオエンコーダ(audio encoder)
２４およサブタイトルエンコーダ(subtitle encoder)
２８および多重化装置(multiplexer) １０から構成さ
れ、多重化装置１０は、バッファメモリ(buffer)１００
およびトランスポートストリーム生成装置(transport s
tream maker)１０２から構成される。

【００１３】音声・映像データ生成装置１は、これらの
構成部分により、ビデオエンコーダ２０、オーディオエ
ンコーダ２４およびサブタイトルエンコーダ２８それぞ
れによりエンコードされた映画あるいは音楽プロモーシ
ョン用のビデオストリーム(video stream)、オーディオ
ストリーム(audio stream)およびサブタイトルストリー
ム(subtitle stream) を１つに多重化してトランスポー
トストリーム(transport stream)を生成する。

【００１４】ビデオエンコーダ２０は、編集装置等の外
部機器（図示せず）から入力されるディジタル非圧縮映
像データを、例えばＭＰＥＧ２方式等により圧縮符号化
し、ビデオストリームとして多重化装置１０のバッファ
メモリ１００に対して出力する。オーディオエンコーダ
２４は、外部機器から入力されるディジタル非圧縮音声
データを、例えばＭＰＥＧ２方式等により１，１５２サ
ンプリング周期（１オーディオフレーム;1 audio fram
e）ごとに圧縮符号化し、オーディオストリームとして
多重化装置１０のバッファメモリ１００に対して出力す
る。サブタイトルエンコーダ２８は、サブタイトルデー
タを生成する外部機器から入力されるサブタイトルデー
タを、線形量子化処理および固定長符号化処理によりエ
ンコードし、サブタイトルストリームとして多重化装置
１０のバッファメモリ１００に対して出力する。

【００１５】多重化装置１０のバッファメモリ１００
は、ビデオエンコーダ２０、オーディオエンコーダ２４
およびサブタイトルエンコーダ２８からそれぞれ入力さ
れるビデオストリーム、オーディオストリームおよびサ
ブタイトルストリームをバッファリングしてトランスポ
ートストリーム生成装置１０２に対して出力する。トラ
ンスポートストリーム生成装置１０２は、例えば、マイ
クロプロセッサ（ＣＰＵ）等を用いた高速コンピュータ
から構成され、バッファメモリ１００にバッファリング
されたビデオストリーム、オーディオストリームおよび
サブタイトルストリーム（それぞれをエレメンタリスト
リームとも記す）を所定のタイミングで読み出してスケ
ジューリングを行い、トランスポートストリームの伝送
フォーマットに合わせてヘッダ等を付加してトランスポ
ートストリームを生成し、出力する。

【００１６】第１の実施形態に示した音声・映像データ
生成装置１によれば、映画等の音声データ、映像データ
およびサブタイトルデータをＭＰＥＧ方式等により圧縮
符号化し、圧縮符号化したこれらのデータを多重化して
１つのトランスポートストリームを生成し、出力するこ
とができる。また、第１の実施形態に示した音声・映像
データ生成装置１は、映画あるいは音楽プロモーション
等の音声データおよび映像データのディジタルテレビジ
ョン放送を行う際に、例えば、音楽の音声データをいわ
ゆるサラウンド(surround)対応のデータとし、音声デー
タを数カ国語対応に用意し、さらに、映像データに数カ
国語の字幕を付す等の処理を行った音声データ、映像デ
ータおよび付加データを多重化してトランスポートスト
リームを生成することができる。

【００１７】第２実施形態以下、本発明の第２の実施形態を説明する。第１の実施
形態に示した音声・映像データ生成装置１は、バッファ
メモリ１００が全てのエレメンタリストリームをバッフ
ァメモリ１００に一度、蓄積し、さらに、トランスポー
トストリーム生成装置１０２のＣＰＵがスケジューリン
グおよびヘッダ(header)の付加等の処理を行ってトラン
スポートストリームを生成する。このように、処理を行
うＣＰＵが直接、ＣＰＵがエレメンタリストリームの各
ワード（バイト）に対してデータバスを介してアクセス
して処理を行うことによりトランスポートストリームを
生成する方法は、トランスポートストリーム生成装置１
０２のデータバスに生じるバスネック等が原因となって
高速処理ができず、高速なトランスポートストリームの
生成に適用しえない。

【００１８】第２の実施形態において説明する本発明に
係る音声・映像データ生成装置２は、かかる音声・映像
データ生成装置１の問題点を解決するための装置であ
り、エレメンタリストリーム多重化のスケジューリング
を行う制御系と、直接にエレメンタリストリームを多重
化する多重化系とを分離することにより高速なトランス
ポートストリームの生成を可能としている。

【００１９】図２は、第２の実施形態における本発明に
係る音声・映像データ生成装置２の構成を示す図であ
る。図３は、図２に示したビデオエンコーダ２０の構成
を示す図である。図４は、図２に示したオーディオエン
コーダ２４の構成を示す図である。図２に示すように、
音声・映像データ生成装置２は、ビデオエンコーダ２
０、オーディオエンコーダ２４、サブタイトルエンコー
ダ２８、多重化系１２および制御系４２から構成され
る。多重化系１２は、入力用のＦＩＦＯメモリ３２ａ，
３２ｂ，３２ｃ、第１のスイッチ回路(swich) ３４、第
２のスイッチ回路３６、出力用のＦＩＦＯメモリ３８お
よひＳＣＳＩ(small computer system interface) イン
ターフェース回路（ＳＣＳＩＩＦ回路）４０から構成さ
れる。

【００２０】制御系４２は、データサイズ計数用インタ
ーフェース回路（データサイズＩＦ）３０ａ，３０ｂ，
３０ｃ、イーサネットインターフェース回路（ether-ne
t interface;ＥＮＩＦ回路）４２０、シリアルインター
フェース回路（serial interface; ＳＩＦ回路）４２
２、ＣＰＵ４２４、処理用ＲＡＭ４２６および制御デー
タ用ＲＡＭ４２８がＣＰＵバスで相互に接続されて構成
される。ビデオエンコーダ２０は、図３に示すように、
加算回路２０２、ＤＣＴ回路２０４、量子化回路(quant
ize)２０６、逆量子化回路(I quantize)２０８、逆ＤＣ
Ｔ回路(I DCT) ２１０、加算回路２１２、フレームメモ
リ回路２１６、可変長符号化回路（ＶＬＣ回路）２１
８、ビットレート制御回路(bit rate control)２２０、
可変長符号バッファ（ＶＬＣバッファ）２２２から構成
され、外部機器から入力される映像データVideoIN をＭ
ＰＥＧ２方式により圧縮符号化し、ビデオストリーム(M
PEG Video stream) を生成し、音声・映像データ生成装
置２のデータサイズＩＦ３０ａおよびＦＩＦＯメモリ３
２ａに対して出力する。

【００２１】オーディオエンコーダ２４は、図４に示す
ように、サブバンド分析フィルタバンク（ＳＡＦＢ）２
４０、線形量子化回路２４２、ビット圧縮回路２４４、
ＦＦＴ(fast fourier transfer) 回路２４６、心理聴覚
モデル２４８、動的ビット割り当て回路２５０、スケー
ルファクタ選択情報記憶回路２５２、スケールファクタ
抽出回路２５４、サイド情報符号化回路２５６およびビ
ットストリーム生成回路２５８から構成され、外部機器
から入力された音声データ（Ａｕｄｉｏ入力）を、ＭＰ
ＥＧ２方式により圧縮符号化し、オーディオストリーム
(MPEG Audio stream) を生成し、音声・映像データ生成
装置２のデータサイズＩＦ３０ｂおよびＦＩＦＯメモリ
３２ｂに対して出力する。サブタイトルエンコーダ２８
は、第１の実施形態と同様に、外部機器から入力される
サブタイトルデータ等の付加データをエンコードする。

【００２２】多重化系１２（図１）において、ＦＩＦＯ
メモリ３２ａ，３２ｂ，３２ｃはそれぞれ、ビデオエン
コーダ２０、オーディオエンコーダ２４およびサブタイ
トルエンコーダ２８からそれぞれ入力されるビデオスト
リーム、オーディオストリームおよびサブタイトルスト
リームをバッファリングし、スイッチ回路３４の入力端
子ａ，ｂ，ｃに対して出力する。

【００２３】スイッチ回路３４は、制御信号(control)
を介した多重化系１２の制御に従って、入力端子ａ，
ｂ，ｃのいずれかを選択し、これらの入力端子それぞれ
に入力されるエレメンタリストリームのいずれかを選択
して多重化し、スイッチ回路３６の入力端子ｂに対して
出力する。なお、スイッチ回路３４は、入力端子のいず
れにも入力されるエレメンタリストリームがない場合、
あるいは、スタッフィング処理を行う場合等は、入力端
子ａ，ｂ，ｃのいずれかも選択せず、所定のブランクデ
ータ（連続した論理値１または０）を出力する。

【００２４】スイッチ回路３６は、制御信号(control)
を介した多重化系１２の制御に従って、入力端子ａ，ｂ
のいずれかを選択し、入力端子ａにスイッチ回路３４か
ら入力されるエレメンタリストリームのいずれか、また
は、入力端子ｂに処理用ＲＡＭ４２６から入力される付
加データストリーム（ヘッダ情報）を選択して多重化
し、ＦＩＦＯメモリ３８およびＳＣＳＩＩＦ回路４０に
対して出力する。ＦＩＦＯメモリ３８は、スイッチ回路
３６が多重化したデータストリームをバッファリング
し、トランスポートストリームとして通信回線等の外部
機器（図示せず）に対して出力する。ＳＣＳＩＩＦ回路
４０は、スイッチ回路３６が多重化したデータストリー
ムを、ハードディスク装置(HDD) あるいは光磁気ディス
ク装置(MOD) の記録装置等（図示せず）に対して出力
し、記録させる。

【００２５】制御系４２において、データサイズＩＦ３
０ａ，３０ｂ，３０ｃはそれぞれ、ビデオエンコーダ２
０、オーディオエンコーダ２４およびサブタイトルエン
コーダ２８から入力されるビデオストリーム、オーディ
オストリームおよびサブタイトルストリームのデータサ
イズ(size)を計数し、ＣＰＵバスを介してＣＰＵ４２４
に対して出力する。ＥＮＩＦ回路４２０は、イーサネッ
ト等のＬＡＮ（図示せず）を介して入力されてくる字幕
用の付加データ(private data)を受け入れ、ＣＰＵバス
を介してＣＰＵ４２４に対して出力する。ＳＩＦ回路４
２２は、例えばコンピュータから入力されるシリアル形
式の付加データを受け入れ、ＣＰＵ４２４に対して出力
する。

【００２６】ＣＰＵ４２４は、ＣＰＵ４２４は、例え
ば、マイクロプロセッサおよびプログラム格納用のＲＯ
Ｍおよびこれらの周辺回路から構成され、データサイズ
ＩＦ３０ａ，３０ｂ，３０ｃから入力されるデータサイ
ズを処理用ＲＡＭ４２６に記憶し、処理用ＲＡＭ４２６
に記憶したデータサイズに基づいて、エレメンタリスト
リームの多重化の順番、多重化のタイミング調整および
スケジューリング等の多重化方法の計画を行い、計画し
た多重化方法に従ってスイッチ回路３４，３６の多重化
動作をＣＰＵバスを介して制御する。

【００２７】また、ＣＰＵ４２４は、ＥＮＩＦ回路４２
０およびＳＩＦ回路４２２から入力される付加データを
処理用ＲＡＭ４２６に記憶し、処理用ＲＡＭ４２６に記
憶した付加データに対して所定の処理を行って、トラン
スポートストリームのヘッダ部分に多重化される付加デ
ータストリーム（ヘッダ情報）を生成し、処理用ＲＡＭ
４２６を介してスイッチ回路３６の入力端子ａに対して
出力する。制御データ用ＲＡＭ４２８は、ＣＰＵ４２４
の処理に係る制御用のデータを記憶する。

【００２８】以下、図５を参照して、第２の実施形態に
おける音声・映像データ生成装置２の動作を説明する。
ビデオエンコーダ２０、オーディオエンコーダ２４およ
びサブタイトルエンコーダ２８はそれぞれ、入力される
映像データ、音声データおよびサブタイトルデータをエ
ンコードする。データサイズＩＦ３０ａ，３０ｂ，３０
ｃはそれぞれ、ビデオストリーム、オーディオストリー
ムおよびサブタイトルストリームのデータサイズを計数
し、ＣＰＵ４２４に対して出力する。

【００２９】図５は、図２に示した音声・映像データ生
成装置２のＣＰＵ４２４の処理を示すフローチャートで
ある。図５に示すように、ステップ１０２（Ｓ１０２）
において、ＣＰＵ４２４は、データサイズＩＦ３０ａ，
３０ｂ，３０ｃからデータサイズを受信すると、処理用
ＲＡＭ４２６に受信したデータサイズを格納する。ステ
ップ１０４（Ｓ１０４）において、ＣＰＵ４２４は、上
述した多重化方法の計画を行う。

【００３０】ステップ１０６（Ｓ１０６）において、Ｃ
ＰＵ４２４は、計画した多重化方法が、その時点でビデ
オストリームを出力することを示すか否かを判断する。
多重化方法が、その時点でビデオストリームを出力する
ことを示す場合には、ＣＰＵ４２４はＳ１０８の処理に
進み、その時点でビデオストリームを出力することを示
さない場合には、Ｓ１１０の処理に進む。ステップ１０
８（Ｓ１０８）において、ＣＰＵ４２４は、スイッチ回
路３４を制御してビデオストリームを選択させ、スイッ
チ回路３６を制御してスイッチ回路３４からのデータス
トリームを選択させてビデオストリームをトランスポー
トストリームに多重化させる。

【００３１】ステップ１１０（Ｓ１１０）において、Ｃ
ＰＵ４２４は、計画した多重化方法が、その時点で音声
ストリームを出力することを示すか否かを判断する。多
重化方法が、その時点で音声ストリームを出力すること
を示す場合には、ＣＰＵ４２４はＳ１１２の処理に進
み、その時点で音声ストリームを出力することを示さな
い場合には、Ｓ１１４の処理に進む。ステップ１１２
（Ｓ１１２）において、ＣＰＵ４２４は、スイッチ回路
３４を制御してオーディオストリームを選択させ、スイ
ッチ回路３６を制御してスイッチ回路３４からのデータ
ストリームを選択させてオーディオストリームをトラン
スポートストリームに多重化させる。

【００３２】ステップ１１４（Ｓ１１４）において、Ｃ
ＰＵ４２４は、スイッチ回路３４を制御してサブタイト
ルストリームを選択させ、スイッチ回路３６を制御して
スイッチ回路３４からのデータストリームを選択させて
サブタイトルストリームをトランスポートストリームに
多重化させる。ステップ１１６（Ｓ１１６）において、
ＣＰＵ４２４は、計画した多重化方法が、その時点でヘ
ッダ情報を付加することを示すか否かを判断する。多重
化方法が、その時点でヘッダ情報を出力することを示す
場合には、ＣＰＵ４２４はＳ１１８の処理に進み、その
時点でヘッダ情報を出力することを示さない場合には、
Ｓ１２０の処理に進む。

【００３３】ステップ１１８（Ｓ１１８）において、Ｃ
ＰＵ４２４は、処理用ＲＡＭ４２６を介して、予めＥＮ
ＩＦ回路４２０等から入力された付加データを処理して
生成した付加データストリーム（ヘッダ情報）をスイッ
チ回路３６に対して出力し、さらに、スイッチ回路３６
を制御して付加データストリームを選択させて付加デー
タストリーム（ヘッダ情報）をトランスポートストリー
ムに多重化させる。ステップ１２０（Ｓ１２０）におい
て、ＣＰＵ４２４は、スイッチ回路３６を制御してスイ
ッチ回路３４から入力されるエレメンタリストリームの
いずれかを選択させ、トランスポートストリームに多重
化させる。

【００３４】ステップ１２２（Ｓ１２２）において、Ｃ
ＰＵ４２４は、多重化すべきエレメンタリストリームの
入力が終了したか否かを判断する。多重化すべきエレメ
ンタリストリームの入力が終了した場合にはＳ１２４の
処理に進み、トランスポートストリームの生成を終了
し、終了していない場合にはＳ１０２の処理に進む。

【００３５】ＦＩＦＯメモリ３８は、ＦＩＦＯメモリ３
８から出力されるトランスポートストリームをバッファ
リングして、通信回線等に対して送出する。ＳＣＳＩＩ
Ｆ回路４０は、ＦＩＦＯメモリ３８から出力されるトラ
ンスポートストリームをハードディスク装置等に対して
送出し、記録させる。

【００３６】以上説明したように、本発明に係る音声・
映像データ生成装置２においては、データ量が非常に多
いエレメンタリストリームをＣＰＵバス上で伝送するこ
とがないので、ＣＰＵバス上でバスネックが生じて高速
なエレメンタリストリームのトランスポートストリーム
に対する多重化が妨げられることがない。従って、音声
・映像データ生成装置２は、高速なトランスポートスト
リームを生成するために好適である。

【００３７】また、ＣＰＵ４２４のソフトウェア処理に
より、トランスポートストリームを生成するたびに多重
化方法を計画するので、例えば、エレメンタリストリー
ムをハードウェアによりトランスポートストリームに多
重化する場合に比べて、付加する付加データストリーム
（ヘッダ情報）の種類および数を任意に変更可能である
という特徴がある。従って、付加データストリームの種
類および数の変更が容易である。

【００３８】なお、音声・映像データ生成装置２に対し
ては、トランスポートストリームに多重化するエレメン
タリストリームの数を増減する、あるいは、ＥＮＩＦ回
路４２０およびＳＩＦ回路４２２の数を増減する変更を
加えることが可能である。また、第２の実施形態に示し
たほか、サブタイトルストリームの代わりに、例えば、
編集処理および放送時の処理に係るデータストリームを
トランスポートストリームに多重化する等、音声・映像
データ生成装置２は、種々の構成を採ることができる。

【００３９】第３実施形態以下、本発明の第３の実施形態を説明する。図６は、Ｍ
ＰＥＧ方式により圧縮符号化したオーディオストリーム
およびビデオストリームの伝送に用いられるトランスポ
ートストリーム、ＰＥＳ、パックおよびＰＳの構成(ITU
-T勧告H.222.0 ｜ISO/IEC 13818-1)を示す図である。図
７は、図６に示したトランスポートストリームに含まれ
るＴＳヘッダ詳細な構成を示す図である。

【００４０】例えば、第１の実施形態および第２の実施
形態にそれぞれ示した音声・映像データ生成装置１，２
（図１，図２）が生成するトランスポートストリーム
は、図６に示すように、ＴＳヘッダ部（図７）およびＴ
Ｓペイロード部を含むＴＳパケットから構成され、可変
長のパケッタイズドエレメンタリーストリーム（ＰＥ
Ｓ:packetized elementary stream ）は、ＴＳパケット
に分割されて収容される。さらに、複数個のＰＥＳは、
パックヘッダが付加されてパックを構成し、複数個のパ
ックは、プログラムエンコードが付加されてプログラム
ストリーム（ＰＳ:program stream ）を構成する。

【００４１】図８は、図６に示したＰＥＳのＰＥＳヘッ
ダ部の構成を示す図である。図９（Ａ），（Ｂ）は、そ
れぞれ、サンプリング周波数が４８ｋＨｚ，４４．１ｋ
Ｈｚの場合のオーディオフレーム、オーディオストリー
ムのデータ量（SIZE) およびＰＴＳの増加量の関係を示
す図である。図８に示すように、ＰＥＳのＰＥＳヘッダ
部は、プレゼンテーションタイムスタンプ（ＰＴＳ;pre
sentation time stamp）を含む。このＰＴＳは、ＰＥＳ
に収容されているオーディオストリームおよびビデオス
トリームの表示時刻を示す（以下、オーディオストリー
ムおよびビデオストリームの表示時刻を示すＰＴＳを、
それぞれオーディオＰＴＳおよびビデオＰＴＳとも記
す）。伸長復号装置が、オーディオストリームおよびビ
デオストリームを伸長復号する場合、オーディオＰＴＳ
およびビデオＰＴＳは、音声データおよび映像データの
同期をとるために用いられる。

【００４２】一方、音声・映像データ生成装置１，２に
おいて、オーディオエンコーダ２４は、上述のように、
入力されるディジタル非圧縮音声データを、その１，１
５２サンプリング周期（１オーディオフレーム）を周期
として、圧縮符号化後のデータレートがほぼ一定になる
ように圧縮符号化する。オーディオエンコーダ２４に入
力される非圧縮音声データのサンプリング周波数画４８
ｋＨｚ（データレート＝３８４ｋｂｐｓ）である場合に
は、図９（Ａ）に示すように、１オーディオフレームご
とに生成されるオーディオストリームのデータ量は１，
１５２バイトであり、オーディオストリームを収容する
ＰＥＳのＰＴＳ（オーディオＰＴＳ）の値の増加量は
２，１６０になる（下に示す式１）。従って、１オーデ
ィオフレームごとのオーディオＰＴＳの値を整数演算に
より算出することができる。

【００４３】

【数１】１１５２×９０（ｋＨｚ）／４８（ｋＨｚ）＝２１６０（１）但し、９０（ｋＨｚ）は、ＰＴＳ生成処理の基準周波
数、４８（ｋＨｚ）は、非圧縮音声データのサンプリン
グ周波数である。

【００４４】一方、オーディオエンコーダ２４に入力さ
れる非圧縮音声データのサンプリング周波数が４４．１
ｋＨｚ（データレート＝３８４ｋｂｐｓ）である場合に
は、図９（Ｂ）に示すように、１オーディオフレームご
とに生成されるオーディオストリームのデータ量は１２
５３．８７７６バイト、オーディオＰＴＳの値の増加量
は２，３５１．０２０４（下に示す式２）になる。従っ
て、この場合、１オーディオフレームごとのオーディオ
ＰＴＳの値を、実数演算により算出しなければならな
い。

【００４５】

【数２】１１５２×９０（ｋＨｚ）／４４．１（ｋＨｚ）＝２３５１．０２０４（２）但し、４４．１（ｋＨｚ）は、非圧縮音声データのサン
プリング周波数である。

【００４６】しかしながら、非圧縮音声データのサンプ
リング周波数が４４．１ｋＨｚである場合にも、オーデ
ィオＰＴＳを算出するハードウェアあるいはソフトウェ
アの構成上、オーディオＰＴＳを整数演算により算出す
ることが望ましい。一方、非圧縮音声データのサンプリ
ング周波数が４４．１ｋＨｚである場合に、オーディオ
ＰＴＳのオーディオフレームごとの増加量を整数値２，
３５１または２，３５２に近似し、整数演算により算出
すると、何らかの方法により補正しなければ、誤差が蓄
積して、伸長復号時に映像データと音声データの同期が
とれなくなってしまう。かかる観点から、第３の実施形
態においては、整数演算によりオーディオＰＴＳを算出
することができ、しかも、整数演算により算出したオー
ディオＰＴＳの値の誤差を長時間に渡って蓄積させるこ
とがない音声・映像データ生成装置２（第２の実施形態
において示した図２）の制御系４２の動作の変形例を説
明する。

【００４７】以下、図１０を参照して、第３の実施形態
における音声・映像データ生成装置２の動作を説明す
る。なお、以下の説明においては、説明の簡略化のため
に、映像データおよびサブタイトルデータに対する処理
（第２の実施形態においてと同一）の説明を省略し、音
声データに対する処理を主に説明する。オーディオエン
コーダ２４は、第１の実施形態および第２の実施形態に
おいてと同様に、入力されるディジタル非圧縮音声デー
タをエンコードする。データサイズ３０ｂは、第２の実
施形態においてと同様に、オーディオエンコーダ２４が
生成したオーディオストリームのデータサイズを１オー
ディオフレームごとに計数し、ＣＰＵ４２４に対して出
力する。

【００４８】図１０は、第３の実施形態における音声・
映像データ生成装置２（図２）のＣＰＵ４２４の処理を
示すフローチャートである。ステップ２００（Ｓ２０
０）に示すように、ＣＰＵ４２４は、例えば、ＥＮＩＦ
回路４２０を介して接続された端末装置（図示せず）等
に、音声・映像データ生成装置２の使用者が入力したオ
ーディオストリームのデータレート（符号レートSIZE S
EC）の設定を受ける。つまり、ＣＰＵ４２４は、オーデ
ィオエンコーダ２４が１秒間に生成するオーディオスト
リームのバイト数〔図７（Ａ）に示した１，１５２バイ
ト、または、図７（Ｂ）に示した１，２５３（≒１２５
３．８７７６）バイト〕の設定を受け、以下の各ステッ
プにおける処理を、符号レートSIZE SECに基づいて行
う。

【００４９】ステップ２０２（Ｓ２０２）に示すよう
に、ＣＰＵ４２４は、オーディオＰＴＳの算出に用いる
変数(size sum, PTS, PTS SEC ）を初期化し、これらの
変数の値を０に〔ゼロクリア(size sum = 0, PTS = 0,
PTS SEC = 0 ）〕する。ステップ２０４（Ｓ２０４）に
おいて、ＣＰＵ４２４は、データ量ＩＦ３０ｂから、オ
ーディオストリームのデータサイズの入力があったか否
かを判断する。データ量ＩＦ３０ｂから、オーディオス
トリームのデータサイズSIZEの入力があった場合にの
に、Ｓ２０６の処理に進む。

【００５０】ステップ２０６（Ｓ２０６）において、Ｃ
ＰＵ４２４は、処理用ＲＡＭ４２６に記憶された各デー
タ（図８）の内、オーディオＰＴＳの値を、Ｓ２１６の
処理において計算された値に変更する。ステップ２０８
（Ｓ２０８）において、ＣＰＵ４２４は、スイッチ回路
３６を制御し、まず、入力端子ａ側を選択させて、処理
用ＲＡＭ４２６に記憶されたＰＥＳヘッダ（図６）をト
ランスポートストリームに多重化させる。

【００５１】ステップ２１０（Ｓ２１０）において、Ｃ
ＰＵ４２４は、スイッチ回路３４を制御して入力端子ｂ
側を選択させ、スイッチ回路３６を制御して入力端子ｂ
側を選択させて、オーディオストリームをトランスポー
トストリームに多重化させる。ステップ２１２（Ｓ２１
２）において、ＣＰＵ４２４は、変数size sumに、デー
タ量ＩＦ３０ｂから入力されたデータサイズSIZEを累加
算（size sum = sizesum + SIZE) して、データ量ＩＦ
３０ｂが計数したオーディオストリームの累加算値を示
す変数size sumを新たに算出する。

【００５２】ステップ２１４（Ｓ２１４）において、Ｃ
ＰＵ４２４は、Ｓ２１２の処理において算出した変数si
ze sumの値が、Ｓ２００の処理において設定された符号
レートSIZE SEC以上であるか否かを判断する。ＣＰＵ４
２４は、変数size sumの値が符号レートSIZE SEC以上で
ある場合には、Ｓ２１８の処理に進み、符号レートSIZE
SEC以下である場合にはＳ２１６の処理に進む。つま
り、ＣＰＵ４２４は、変数size sumの値が符号レートSI
ZE SEC以上となる１秒間隔で、オーディオＰＴＳの値を
補正するＳ２１８およびＳ２２０の処理に進む。

【００５３】ステップ２１６（Ｓ２１６）において、Ｃ
ＰＵ４２４は、下の式３に示す整数演算を行い、オーデ
ィオＰＴＳの値を算出し、Ｓ２０４の処理に進む。

【００５４】

【数３】 PTS = PTS SEC + 90000 ×size sum / SIZE SEC （３）但し、式３において、数値９０，０００は、ＰＴＳを生
成する際に、１秒ごとに加算されるオフセット値であ
る。

【００５５】ステップ２１８（Ｓ２１８）において、Ｃ
ＰＵ４２４は、変数size sumの値を新たに算出する（si
ze sum = size sum - SIZE SEC）。つまり、ＣＰＵ４２
４は、Ｓ２１８の処理において、Ｓ２００において設定
された符号レートSIZE SECと、実際に、その１秒間に発
生されたオーディオストリームのデータ量との差の値を
算出し、新たな変数size sumとする。

【００５６】ステップ２２０（Ｓ２２０）において、Ｃ
ＰＵ４２４は、１秒間に生じたオーディオＰＴＳの値の
誤差、つまり、次の１秒間におけるオーディオＰＴＳの
値を算出する際に用いるオフセット値を示す変数PTS SE
C を算出する(PTS SEC = PTSSEC + 90000）。つまり、
ＣＰＵ４２４は、それまで１秒間で用いていた変数PTS
SEC の値に、式３に示した数値９０，０００を加算する
ことにより、次の１秒間のＳ２１６における演算（式
３）において用いる変数PTS SEC の値を算出する。

【００５７】なお、ビデオＰＴＳのフレームごとのオフ
セット値は、固定整数値３，００３または３，６００で
ある。一方、ＣＰＵ４２４が、以上説明したようにオー
ディオＰＴＳを生成することにより、オーディオＰＴＳ
に加えるオフセット値は整数になる。従って、ビデオＰ
ＴＳとオーディオＰＴＳとの同期を整数演算により正確
にとることが可能である。

【００５８】ＦＩＦＯメモリ３８は、ＦＩＦＯメモリ３
８から出力されるトランスポートストリームをバッファ
リングして、通信回線等に対して送出する。ＳＣＳＩＩ
Ｆ回路４０は、ＦＩＦＯメモリ３８から出力されるトラ
ンスポートストリームをハードディスク装置等に対して
送出し、記録させる。

【００５９】以下、図１１を参照して、第３の実施形態
に示した音声・映像データ生成装置２の動作により生成
されたトランスポートストリーム（ＭＰＥＧシステムス
トリーム）から音声データおよび映像データを処理を説
明する。図１１は、第３の実施形態に示した音声・映像
データ生成装置２の動作により生成されたトランスポー
トストリームからオーディオストリーム、ビデオストリ
ームおよびこれらのＰＥＳを分離し、伸長復号する音声
・映像データ伸長・復号装置３の構成を示す図である。

【００６０】音声・映像データ伸長・復号装置３は、図
１１に示すように、システムデコーダ３００、オーディ
オデコーダ３０２、ビデオデコーダ３０４、オーディオ
用の遅延メモリ３０６、ビデオ用の遅延メモリ３０８お
よびタイムスタンプ比較回路３１０から構成される。音
声・映像データ伸長・復号装置３のシステムデコーダ３
００は、音声・映像データ生成装置２から入力されたト
ランスポートストリームに含まれるＰＥＳから、オーデ
ィオストリーム、ビデオストリーム、オーディオＰＴＳ
（オーディオタイムスタンプ）およびビデオＰＴＳ（ビ
デオタイムスタンプ）を分離し、オーディオストリーム
をオーディオデコーダ３０２に対して出力し、ビデオス
トリームをビデオデコーダ３０４に対して出力し、オー
ディオＰＴＳおよびビデオＰＴＳをタイムスタンプ比較
回路３１０に対して出力する。

【００６１】オーディオデコーダ３０２は、システムデ
コーダ３００から入力されたオーディオストリームを、
音声・映像データ生成装置１，２（図１，図２）のオー
ディオエンコーダ２４に対応する伸長復号方法で伸長復
号し、元の音声データを生成して遅延メモリ３０６に対
して出力する。ビデオデコーダ３０４は、システムデコ
ーダ３００から入力されたビデオストリームを、ビデオ
エンコーダ２０に対応する伸長復号方法で伸長復号し、
元の映像データを生成して遅延メモリ３０８に対して出
力する。遅延メモリ３０６，３０８はそれぞれ、タイム
スタンプ比較回路３１０の制御に従って、オーディオデ
コーダ３０２およびビデオデコーダ３０４から入力され
た音声データおよび映像データをバッファリングして出
力する。

【００６２】タイムスタンプ比較回路３１０は、システ
ムデコーダ３００から入力されたオーディオＰＴＳおよ
びビデオＰＴＳを比較し、比較結果に基づいて遅延メモ
リ３０６，３０８を制御し、遅延メモリ３０６，３０８
がバッファリングしている音声データおよび映像データ
の同期をとり、表示時間を合わせて出力する。以上説明
した音声・映像データ伸長・復号装置３によれば、音声
・映像データ生成装置２により生成されたオーディオス
トリームおよびビデオストリームを伸長復号し、さら
に、表示時間を合わせて出力することができる。

【００６３】以上第３の実施形態において説明したよう
に、オーディオエンコーダ２４に入力される非圧縮映像
データのサンプリング周波数が４４．１ｋＨｚの場合に
（図７（Ｂ））、オーディオストリームを収容するＰＥ
ＳのＰＴＳの値を整数演算により算出しても、ＣＰＵ４
２４は、１秒間に１回の割合でＳ２１８，Ｓ２２０（図
１０）の処理を行い、ＰＴＳ（変数PTS SEC ）の値を補
正するので、長時間に渡ってＰＴＳの値の誤差が蓄積し
てゆくことはない。

【００６４】従って、オーディオエンコーダ２４に入力
される非圧縮映像データのサンプリング周波数が４４．
１ｋＨｚである場合にも、ＰＴＳの算出処理が実数演算
によらず、整数演算により可能となり、ＰＴＳ算出処理
のアルゴリズム（ＰＴＳの値をハードウェア的に算出す
る場合にはハードウェア構成）を簡略化することができ
る。

【００６５】なお、第３の実施形態においては、ＣＰＵ
４２４が、１秒間隔で、ＰＥＳのＰＴＳの値を補正する
場合について説明したが、Ｓ２００（図１０）において
設定する符号レートSIZE SECを変更することにより、オ
ーディオエンコーダ２４が出力するオーディオストリー
ムのデータレートを一定値にすることができることを条
件として、ＰＴＳに対する補正の時間間隔を変更するこ
とができる。

【００６６】

【発明の効果】以上述べたように、本発明に係る音声・
映像データ生成装置およびその方法は、ディジタルテレ
ビジョン放送等において、音声データ、映像データおよ
び付加データの多重化に好適である。また、本発明に係
る音声・映像データ生成装置およびその方法は、ディジ
タルテレビジョン放送用等の音声データ、映像データお
よび付加データの高速多重化に好適で、しかも、付加デ
ータの種類および処理の変更に柔軟に対応しうる。ま
た、本発明にかかる音声・映像データ生成装置およびそ
の方法によれば、オーディオストリームに付加するオー
ディオＰＴＳと、ビデオストリームに付加するビデオＰ
ＴＳとの同期をとることができる。

【図面の簡単な説明】

【図１】第１の実施形態における本発明に係る音声・映
像データ生成装置の構成を示す図である。

【図２】第２の実施形態における本発明に係る音声・映
像データ生成装置の構成を示す図である。

【図３】図２に示したビデオエンコーダの構成を示す図
である。

【図４】図２に示したオーディオエンコーダの構成を示
す図である。

【図５】図２に示した音声・映像データ生成装置のＣＰ
Ｕの処理を示すフローチャートである。

【図６】ＭＰＥＧ方式により圧縮符号化したオーディオ
ストリームおよびビデオストリームの伝送に用いられる
トランスポートストリーム、ＰＥＳ、パックおよびＰＳ
の構成(ITU-T勧告H.222.0 ｜ISO/IEC 13818-1)を示す図
である。

【図７】図６に示したトランスポートストリームに含ま
れるＴＳヘッダ詳細な構成を示す図である。

【図８】図６に示したＰＥＳのＰＥＳヘッダ部の構成を
示す図である。

【図９】（Ａ），（Ｂ）は、サンプリング周波数が４８
ｋＨｚ，４４．１ｋＨｚの場合のオーディオフレーム、
オーディオストリームのデータ量（SIZE) およびＰＴＳ
の増加量の関係を示す図である。

【図１０】第３の実施形態における音声・映像データ生
成装置（図２）のＣＰＵの処理を示すフローチャートで
ある。

【図１１】第３の実施形態に示した音声・映像データ生
成装置の動作により生成されたトランスポートストリー
ムからオーディオストリーム、ビデオストリームおよび
これらのＰＥＳを分離し、伸長復号する音声・映像デー
タ伸長・復号装置の構成を示す図である。

【符号の説明】

１，２…音声・映像データ生成装置、１０…多重化装
置、１００…バッファメモリ、１０２…トランスポート
ストリーム生成装置１０、１２…多重化系、３２ａ，３
２ｂ，３２ｃ…ＦＩＦＯメモリ、３４，３６…スイッチ
回路、３８…ＦＩＦＯメモリ、４０…ＳＣＳＩＩＦ回
路、４２…制御系、３０ａ，３０ｂ，３０ｃ…データ量
ＩＦ、４２０…ＥＮＩＦ回路４２０、４２２…ＳＩＦ回
路、４２４…ＣＰＵ、４２６…処理用ＲＡＭ４２６、４
２８…制御データ用ＲＡＭ、３…音声・映像データ伸長
・復号装置、３００…システムデコーダ、３０２…オー
ディオデコーダ、３０４…ビデオデコーダ、３０６，３
０８…遅延メモリ、３１０…タイムスタンプ比較回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ

Claims

【特許請求の範囲】

【請求項１】音声・映像データに含まれる映像データを
圧縮し、圧縮映像データを生成する映像データ圧縮手段
と、所定の音声圧縮周期ごとに、前記音声・映像データに含
まれる音声データを圧縮し、一定のデータ量の圧縮音声
データを生成する音声データ圧縮手段と、生成した前記圧縮映像データを伸長して表示する時刻を
示す映像表示時刻データを生成する映像表示時刻データ
生成手段と、生成した前記音声データのデータ量を、前記所定の音声
圧縮周期ごとに計数する音声データ量計数手段と、計数した前記音声データのデータ量に基づいて、生成し
た前記圧縮音声データを伸長して表示する時刻を示す音
声表示時刻データを生成する音声表示時刻データ生成手
段と、生成した前記圧縮映像データ、前記圧縮音声データ、前
記映像表示時刻データおよび前記音声表示時刻データを
対応付けて所定の伝送パケットに収容し、伝送ビットス
トリームを生成する伝送ビットストリーム生成手段とを
有する音声・映像データ生成装置。
【請求項２】前記音声表示時刻データ生成手段は、前記
音声圧縮周期ごとに生成した前記圧縮音声データのデー
タ量の累加算を算出し、算出した累加算値が所定の補正
周期ごとに生成される前記圧縮音声データのデータ量を
超えた場合に、算出した累加算値から前記所定の補正周
期ごとに生成する前記圧縮音声データのデータ量を減算
して、前記音声表示時刻データを生成する請求項１に記
載の音声・映像データ生成装置。
【請求項３】前記音声表示時刻データ生成手段は、前記
累加算値が前記所定の補正周期ごとに生成される前記圧
縮音声データのデータ量を超えた場合に、所定のオフセ
ット値を前記累加算値時刻データに加算して、前記音声
表示時刻データを生成する請求項２に記載の音声・映像
データ生成装置。
【請求項４】音声・映像データに含まれる映像データを
圧縮して圧縮映像データを生成し、所定の音声圧縮周期ごとに、前記音声・映像データに含
まれる音声データを圧縮し、一定のデータ量の圧縮音声
データを生成し、生成した前記圧縮映像データを伸長して表示する時刻を
示す映像表示時刻データを生成し、生成した前記音声データのデータ量を計数し、計数した前記音声データのデータ量および前記所定の音
声圧縮周期に基づいて、生成した前記圧縮音声データを
伸長して表示する時刻を示す音声表示時刻データを生成
し、生成した前記圧縮映像データ、前記圧縮音声データ、前
記映像表示時刻データおよび前記音声表示時刻データを
対応付けて所定の伝送パケットに収容し、伝送ビットス
トリームを生成する音声・映像データ生成方法。
【請求項５】前記音声圧縮周期ごとに生成した前記圧縮
音声データのデータ量の累加算を算出し、算出した累加算値が所定の補正周期ごとに生成される前
記圧縮音声データのデータ量を超えた場合に、算出した
累加算値から前記所定の補正周期ごとに生成する前記圧
縮音声データのデータ量を減算する請求項４に記載の音
声・映像データ生成方法。
【請求項６】前記累加算値が前記所定の補正周期ごとに
生成される前記圧縮音声データのデータ量を超えた場合
に、所定のオフセット値を前記累加算値時刻データに加
算する請求項５に記載の音声・映像データ生成方法。