JPH09284732A - 音声・映像データ生成装置およびその方法 - Google Patents

音声・映像データ生成装置およびその方法

Info

Publication number
JPH09284732A
JPH09284732A JP9567596A JP9567596A JPH09284732A JP H09284732 A JPH09284732 A JP H09284732A JP 9567596 A JP9567596 A JP 9567596A JP 9567596 A JP9567596 A JP 9567596A JP H09284732 A JPH09284732 A JP H09284732A
Authority
JP
Japan
Prior art keywords
data
audio
video
generated
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9567596A
Other languages
English (en)
Inventor
Tomoji Miyazawa
智司 宮澤
Takeshi Oda
剛 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9567596A priority Critical patent/JPH09284732A/ja
Publication of JPH09284732A publication Critical patent/JPH09284732A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 【課題】PESヘッダのオーディオPTSの生成処理を
簡易にする。 【解決手段】CPU424は、データ量IF30bから
入力されるデータサイズSIZEを変数size sumに累加算す
る。CPU424は、変数size sumの値がオーディオエ
ンコーダ24が1秒間当たりに生成するオーディオスト
リームのデータ量SIZE SEC以上であるか否かを判断し、
変数size sumの値がデータ量SIZE SEC以下である場合に
は整数演算によりオーディオPTSの値を算出し、デー
タ量SIZESEC以上である場合には、オーディオPTSの
値を補正する。このように、CPU424が、例えば、
1秒ごとに、整数演算により生じたオーディオPTSの
誤差を補正し、PESのPESヘッダに付加することに
より、整数演算によって生じるオーディオPTSの値の
誤差の蓄積を防ぐ。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像データ、音声
データおよびサブタイトル等の付加データを多重化し、
伝送するためのトランスポートストリームを生成する音
声・映像データ生成装置およびその方法であって、特
に、MPEG方式等により圧縮符号化したオーディオス
トリームおよびビデオストリームを扱う音声・映像デー
タ生成装置およびその方法に関する。
【0002】
【従来の技術および発明が解決しようとする課題】映画
あるいは音楽プロモーション等の音声データおよび映像
データのディジタルテレビジョン放送が実用化されてい
る。このようなディジタルテレビジョン放送において
は、例えば、音楽の音声データをいわゆるサラウンド(s
urround)対応のデータにする、音声データを数カ国語対
応に用意する、あるいは、映像データに数カ国語の字幕
を付す等の処理を行った音声データ、映像データおよび
付加データを多重化してトランスポートストリームを生
成し、視聴者に配信したいという要請がある。
【0003】また、非圧縮映像データおよび非圧縮音声
データを圧縮符号化して生成したビデオデータストリー
ムを再度、伸長符号化し、両者のタイミングを合わせて
表示する場合には、オーディオストリームおよびビデオ
ストリームを収容するパケッタイズドエレメンタリース
トリーム(PES)のPESヘッダに、プレゼンテーシ
ョンタイムスタンプ(PTS)と呼ばれるデータを付加
する必要がある。しかしながら、PTSの基準周波数で
ある90kHzと映像データのフレーム周期とは同期す
るが、PTSの基準周波数である90kHzと音声デー
タの圧縮符号化の周期(オーディオフレーム)とは同期
がずれることがあるので、オーディオPTSとビデオP
TSとの同期をとるための処理が複雑になりがちであ
る。
【0004】本発明は上述のような要請に応えるために
なされたものであり、ディジタルテレビジョン放送等に
おいて、音声データ、映像データおよび付加データの多
重化に適した音声・映像データ生成装置およびその方法
を提供することを目的とする。また、本発明は、ディジ
タルテレビジョン放送用等の音声データ、映像データお
よび付加データの高速多重化に好適で、しかも、付加デ
ータの種類および処理の変更に柔軟に対応しうる音声・
映像データ生成装置およびその方法を提供することを目
的とする。また、本発明は、簡単な処理により、オーデ
ィオストリームに付加するオーディオPTSと、ビデオ
ストリームに付加するビデオPTSとの同期をとること
ができる音声・映像データ生成装置およびその方法を提
供することを目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る音声・映像データ生成装置は、音声・
映像データに含まれる映像データを圧縮し、圧縮映像デ
ータを生成する映像データ圧縮手段と、所定の音声圧縮
周期ごとに、前記音声・映像データに含まれる音声デー
タを圧縮し、一定のデータ量の圧縮音声データを生成す
る音声データ圧縮手段と、生成した前記圧縮映像データ
を伸長して表示する時刻を示す映像表示時刻データを生
成する映像表示時刻データ生成手段と、生成した前記音
声データのデータ量を、前記所定の音声圧縮周期ごとに
計数する音声データ量計数手段と、計数した前記音声デ
ータのデータ量に基づいて、生成した前記圧縮音声デー
タを伸長して表示する時刻を示す音声表示時刻データを
生成する音声表示時刻データ生成手段と、生成した前記
圧縮映像データ、前記圧縮音声データ、前記映像表示時
刻データおよび前記音声表示時刻データを対応付けて所
定の伝送パケットに収容し、伝送ビットストリームを生
成する伝送ビットストリーム生成手段とを有する。
【0006】好適には、前記音声表示時刻データ生成手
段は、前記音声圧縮周期ごとに生成した前記圧縮音声デ
ータのデータ量の累加算を算出し、算出した累加算値が
所定の補正周期ごとに生成される前記圧縮音声データの
データ量を超えた場合に、算出した累加算値から前記所
定の補正周期ごとに生成する前記圧縮音声データのデー
タ量を減算して、前記音声表示時刻データを生成する。
【0007】好適には、前記音声表示時刻データ生成手
段は、前記累加算値が前記所定の補正周期ごとに生成さ
れる前記圧縮音声データのデータ量を超えた場合に、所
定のオフセット値を前記累加算値時刻データに加算し
て、前記音声表示時刻データを生成する。
【0008】本発明に係る音声・映像データ生成装置に
おいて、映像データ圧縮手段は、音声・映像データに含
まれる映像データを、例えば、MPEG方式により圧縮
する。音声データ圧縮手段は、所定の音声圧縮周期(オ
ーディオフレーム)ごとに、音声・映像データに含まれ
る音声データを、映像データと同様に、MPEG方式に
より圧縮し、一定のデータ量、つまり、ほぼ一定のデー
タレート圧縮音声データ(オーディオフレーム)を生成
する。
【0009】映像表示時刻データ生成手段は、圧縮した
映像データ(ビデオストリーム)を、再度、伸長復号し
て表示する時刻を示すビデオPTSを生成し、ビデオス
トリームを収容するPESのPESパケットに付加す
る。音声データ量計数手段は、音声データ圧縮手段が生
成したオーディオストリームの音声データのデータ量
を、上記オーディオフレームごとに計数する。
【0010】音声表示時刻データ生成手段は、計数した
音声データのデータ量に基づいて、生成した圧縮音声デ
ータを伸長して表示する時刻を示す音声表示時刻データ
(オーディオPTS)を、整数演算処理により生成す
る。さらに、音声表示時刻データ生成手段は、音声圧縮
周期ごとに生成した圧縮音声データのデータ量の累加算
を算出し、所定のデータ量を超えた場合、つまり、所定
の補正周期ごとに、音声表示時刻データを補正し、整数
演算処理により生じるオーディオPTSの誤差の蓄積を
防止する。伝送ビットストリーム生成手段は、生成した
ビデオストリーム、オーディオストリーム、ビデオPT
SおよびオーディオPTSを対応付け、所定の伝送パケ
ット(PES)に収容し、伝送ビットストリーム(トラ
ンスポートストリーム)を生成する。
【0011】また、本発明に係る音声・映像データ生成
方法は、音声・映像データに含まれる映像データを圧縮
して圧縮映像データを生成し、所定の音声圧縮周期ごと
に、前記音声・映像データに含まれる音声データを圧縮
し、一定のデータ量の圧縮音声データを生成し、生成し
た前記圧縮映像データを伸長して表示する時刻を示す映
像表示時刻データを生成し、生成した前記音声データの
データ量を計数し、計数した前記音声データのデータ量
および前記所定の音声圧縮周期に基づいて、生成した前
記圧縮音声データを伸長して表示する時刻を示す音声表
示時刻データを生成し、生成した前記圧縮映像データ、
前記圧縮音声データ、前記映像表示時刻データおよび前
記音声表示時刻データを対応付けて所定の伝送パケット
に収容し、伝送ビットストリームを生成する。
【0012】
【発明の実施の形態】第1実施形態 以下、本発明の第1の実施形態を説明する。図1は、第
1の実施形態における本発明に係る音声・映像データ生
成装置1の構成を示す図である。図1に示すように、音
声・映像データ生成装置1は、ビデオエンコーダ(video
encoder) 20、オーディオエンコーダ(audio encoder)
24およサブタイトルエンコーダ(subtitle encoder)
28および多重化装置(multiplexer) 10から構成さ
れ、多重化装置10は、バッファメモリ(buffer)100
およびトランスポートストリーム生成装置(transport s
tream maker)102から構成される。
【0013】音声・映像データ生成装置1は、これらの
構成部分により、ビデオエンコーダ20、オーディオエ
ンコーダ24およびサブタイトルエンコーダ28それぞ
れによりエンコードされた映画あるいは音楽プロモーシ
ョン用のビデオストリーム(video stream)、オーディオ
ストリーム(audio stream)およびサブタイトルストリー
ム(subtitle stream) を1つに多重化してトランスポー
トストリーム(transport stream)を生成する。
【0014】ビデオエンコーダ20は、編集装置等の外
部機器(図示せず)から入力されるディジタル非圧縮映
像データを、例えばMPEG2方式等により圧縮符号化
し、ビデオストリームとして多重化装置10のバッファ
メモリ100に対して出力する。オーディオエンコーダ
24は、外部機器から入力されるディジタル非圧縮音声
データを、例えばMPEG2方式等により1,152サ
ンプリング周期(1オーディオフレーム;1 audio fram
e)ごとに圧縮符号化し、オーディオストリームとして
多重化装置10のバッファメモリ100に対して出力す
る。サブタイトルエンコーダ28は、サブタイトルデー
タを生成する外部機器から入力されるサブタイトルデー
タを、線形量子化処理および固定長符号化処理によりエ
ンコードし、サブタイトルストリームとして多重化装置
10のバッファメモリ100に対して出力する。
【0015】多重化装置10のバッファメモリ100
は、ビデオエンコーダ20、オーディオエンコーダ24
およびサブタイトルエンコーダ28からそれぞれ入力さ
れるビデオストリーム、オーディオストリームおよびサ
ブタイトルストリームをバッファリングしてトランスポ
ートストリーム生成装置102に対して出力する。トラ
ンスポートストリーム生成装置102は、例えば、マイ
クロプロセッサ(CPU)等を用いた高速コンピュータ
から構成され、バッファメモリ100にバッファリング
されたビデオストリーム、オーディオストリームおよび
サブタイトルストリーム(それぞれをエレメンタリスト
リームとも記す)を所定のタイミングで読み出してスケ
ジューリングを行い、トランスポートストリームの伝送
フォーマットに合わせてヘッダ等を付加してトランスポ
ートストリームを生成し、出力する。
【0016】第1の実施形態に示した音声・映像データ
生成装置1によれば、映画等の音声データ、映像データ
およびサブタイトルデータをMPEG方式等により圧縮
符号化し、圧縮符号化したこれらのデータを多重化して
1つのトランスポートストリームを生成し、出力するこ
とができる。また、第1の実施形態に示した音声・映像
データ生成装置1は、映画あるいは音楽プロモーション
等の音声データおよび映像データのディジタルテレビジ
ョン放送を行う際に、例えば、音楽の音声データをいわ
ゆるサラウンド(surround)対応のデータとし、音声デー
タを数カ国語対応に用意し、さらに、映像データに数カ
国語の字幕を付す等の処理を行った音声データ、映像デ
ータおよび付加データを多重化してトランスポートスト
リームを生成することができる。
【0017】第2実施形態 以下、本発明の第2の実施形態を説明する。第1の実施
形態に示した音声・映像データ生成装置1は、バッファ
メモリ100が全てのエレメンタリストリームをバッフ
ァメモリ100に一度、蓄積し、さらに、トランスポー
トストリーム生成装置102のCPUがスケジューリン
グおよびヘッダ(header)の付加等の処理を行ってトラン
スポートストリームを生成する。このように、処理を行
うCPUが直接、CPUがエレメンタリストリームの各
ワード(バイト)に対してデータバスを介してアクセス
して処理を行うことによりトランスポートストリームを
生成する方法は、トランスポートストリーム生成装置1
02のデータバスに生じるバスネック等が原因となって
高速処理ができず、高速なトランスポートストリームの
生成に適用しえない。
【0018】第2の実施形態において説明する本発明に
係る音声・映像データ生成装置2は、かかる音声・映像
データ生成装置1の問題点を解決するための装置であ
り、エレメンタリストリーム多重化のスケジューリング
を行う制御系と、直接にエレメンタリストリームを多重
化する多重化系とを分離することにより高速なトランス
ポートストリームの生成を可能としている。
【0019】図2は、第2の実施形態における本発明に
係る音声・映像データ生成装置2の構成を示す図であ
る。図3は、図2に示したビデオエンコーダ20の構成
を示す図である。図4は、図2に示したオーディオエン
コーダ24の構成を示す図である。図2に示すように、
音声・映像データ生成装置2は、ビデオエンコーダ2
0、オーディオエンコーダ24、サブタイトルエンコー
ダ28、多重化系12および制御系42から構成され
る。多重化系12は、入力用のFIFOメモリ32a,
32b,32c、第1のスイッチ回路(swich) 34、第
2のスイッチ回路36、出力用のFIFOメモリ38お
よひSCSI(small computer system interface) イン
ターフェース回路(SCSIIF回路)40から構成さ
れる。
【0020】制御系42は、データサイズ計数用インタ
ーフェース回路(データサイズIF)30a,30b,
30c、イーサネットインターフェース回路(ether-ne
t interface;ENIF回路)420、シリアルインター
フェース回路(serial interface; SIF回路)42
2、CPU424、処理用RAM426および制御デー
タ用RAM428がCPUバスで相互に接続されて構成
される。ビデオエンコーダ20は、図3に示すように、
加算回路202、DCT回路204、量子化回路(quant
ize)206、逆量子化回路(I quantize)208、逆DC
T回路(I DCT) 210、加算回路212、フレームメモ
リ回路216、可変長符号化回路(VLC回路)21
8、ビットレート制御回路(bit rate control)220、
可変長符号バッファ(VLCバッファ)222から構成
され、外部機器から入力される映像データVideoIN をM
PEG2方式により圧縮符号化し、ビデオストリーム(M
PEG Video stream) を生成し、音声・映像データ生成装
置2のデータサイズIF30aおよびFIFOメモリ3
2aに対して出力する。
【0021】オーディオエンコーダ24は、図4に示す
ように、サブバンド分析フィルタバンク(SAFB)2
40、線形量子化回路242、ビット圧縮回路244、
FFT(fast fourier transfer) 回路246、心理聴覚
モデル248、動的ビット割り当て回路250、スケー
ルファクタ選択情報記憶回路252、スケールファクタ
抽出回路254、サイド情報符号化回路256およびビ
ットストリーム生成回路258から構成され、外部機器
から入力された音声データ(Audio入力)を、MP
EG2方式により圧縮符号化し、オーディオストリーム
(MPEG Audio stream) を生成し、音声・映像データ生成
装置2のデータサイズIF30bおよびFIFOメモリ
32bに対して出力する。サブタイトルエンコーダ28
は、第1の実施形態と同様に、外部機器から入力される
サブタイトルデータ等の付加データをエンコードする。
【0022】多重化系12(図1)において、FIFO
メモリ32a,32b,32cはそれぞれ、ビデオエン
コーダ20、オーディオエンコーダ24およびサブタイ
トルエンコーダ28からそれぞれ入力されるビデオスト
リーム、オーディオストリームおよびサブタイトルスト
リームをバッファリングし、スイッチ回路34の入力端
子a,b,cに対して出力する。
【0023】スイッチ回路34は、制御信号(control)
を介した多重化系12の制御に従って、入力端子a,
b,cのいずれかを選択し、これらの入力端子それぞれ
に入力されるエレメンタリストリームのいずれかを選択
して多重化し、スイッチ回路36の入力端子bに対して
出力する。なお、スイッチ回路34は、入力端子のいず
れにも入力されるエレメンタリストリームがない場合、
あるいは、スタッフィング処理を行う場合等は、入力端
子a,b,cのいずれかも選択せず、所定のブランクデ
ータ(連続した論理値1または0)を出力する。
【0024】スイッチ回路36は、制御信号(control)
を介した多重化系12の制御に従って、入力端子a,b
のいずれかを選択し、入力端子aにスイッチ回路34か
ら入力されるエレメンタリストリームのいずれか、また
は、入力端子bに処理用RAM426から入力される付
加データストリーム(ヘッダ情報)を選択して多重化
し、FIFOメモリ38およびSCSIIF回路40に
対して出力する。FIFOメモリ38は、スイッチ回路
36が多重化したデータストリームをバッファリング
し、トランスポートストリームとして通信回線等の外部
機器(図示せず)に対して出力する。SCSIIF回路
40は、スイッチ回路36が多重化したデータストリー
ムを、ハードディスク装置(HDD) あるいは光磁気ディス
ク装置(MOD) の記録装置等(図示せず)に対して出力
し、記録させる。
【0025】制御系42において、データサイズIF3
0a,30b,30cはそれぞれ、ビデオエンコーダ2
0、オーディオエンコーダ24およびサブタイトルエン
コーダ28から入力されるビデオストリーム、オーディ
オストリームおよびサブタイトルストリームのデータサ
イズ(size)を計数し、CPUバスを介してCPU424
に対して出力する。ENIF回路420は、イーサネッ
ト等のLAN(図示せず)を介して入力されてくる字幕
用の付加データ(private data)を受け入れ、CPUバス
を介してCPU424に対して出力する。SIF回路4
22は、例えばコンピュータから入力されるシリアル形
式の付加データを受け入れ、CPU424に対して出力
する。
【0026】CPU424は、CPU424は、例え
ば、マイクロプロセッサおよびプログラム格納用のRO
Mおよびこれらの周辺回路から構成され、データサイズ
IF30a,30b,30cから入力されるデータサイ
ズを処理用RAM426に記憶し、処理用RAM426
に記憶したデータサイズに基づいて、エレメンタリスト
リームの多重化の順番、多重化のタイミング調整および
スケジューリング等の多重化方法の計画を行い、計画し
た多重化方法に従ってスイッチ回路34,36の多重化
動作をCPUバスを介して制御する。
【0027】また、CPU424は、ENIF回路42
0およびSIF回路422から入力される付加データを
処理用RAM426に記憶し、処理用RAM426に記
憶した付加データに対して所定の処理を行って、トラン
スポートストリームのヘッダ部分に多重化される付加デ
ータストリーム(ヘッダ情報)を生成し、処理用RAM
426を介してスイッチ回路36の入力端子aに対して
出力する。制御データ用RAM428は、CPU424
の処理に係る制御用のデータを記憶する。
【0028】以下、図5を参照して、第2の実施形態に
おける音声・映像データ生成装置2の動作を説明する。
ビデオエンコーダ20、オーディオエンコーダ24およ
びサブタイトルエンコーダ28はそれぞれ、入力される
映像データ、音声データおよびサブタイトルデータをエ
ンコードする。データサイズIF30a,30b,30
cはそれぞれ、ビデオストリーム、オーディオストリー
ムおよびサブタイトルストリームのデータサイズを計数
し、CPU424に対して出力する。
【0029】図5は、図2に示した音声・映像データ生
成装置2のCPU424の処理を示すフローチャートで
ある。図5に示すように、ステップ102(S102)
において、CPU424は、データサイズIF30a,
30b,30cからデータサイズを受信すると、処理用
RAM426に受信したデータサイズを格納する。ステ
ップ104(S104)において、CPU424は、上
述した多重化方法の計画を行う。
【0030】ステップ106(S106)において、C
PU424は、計画した多重化方法が、その時点でビデ
オストリームを出力することを示すか否かを判断する。
多重化方法が、その時点でビデオストリームを出力する
ことを示す場合には、CPU424はS108の処理に
進み、その時点でビデオストリームを出力することを示
さない場合には、S110の処理に進む。ステップ10
8(S108)において、CPU424は、スイッチ回
路34を制御してビデオストリームを選択させ、スイッ
チ回路36を制御してスイッチ回路34からのデータス
トリームを選択させてビデオストリームをトランスポー
トストリームに多重化させる。
【0031】ステップ110(S110)において、C
PU424は、計画した多重化方法が、その時点で音声
ストリームを出力することを示すか否かを判断する。多
重化方法が、その時点で音声ストリームを出力すること
を示す場合には、CPU424はS112の処理に進
み、その時点で音声ストリームを出力することを示さな
い場合には、S114の処理に進む。ステップ112
(S112)において、CPU424は、スイッチ回路
34を制御してオーディオストリームを選択させ、スイ
ッチ回路36を制御してスイッチ回路34からのデータ
ストリームを選択させてオーディオストリームをトラン
スポートストリームに多重化させる。
【0032】ステップ114(S114)において、C
PU424は、スイッチ回路34を制御してサブタイト
ルストリームを選択させ、スイッチ回路36を制御して
スイッチ回路34からのデータストリームを選択させて
サブタイトルストリームをトランスポートストリームに
多重化させる。ステップ116(S116)において、
CPU424は、計画した多重化方法が、その時点でヘ
ッダ情報を付加することを示すか否かを判断する。多重
化方法が、その時点でヘッダ情報を出力することを示す
場合には、CPU424はS118の処理に進み、その
時点でヘッダ情報を出力することを示さない場合には、
S120の処理に進む。
【0033】ステップ118(S118)において、C
PU424は、処理用RAM426を介して、予めEN
IF回路420等から入力された付加データを処理して
生成した付加データストリーム(ヘッダ情報)をスイッ
チ回路36に対して出力し、さらに、スイッチ回路36
を制御して付加データストリームを選択させて付加デー
タストリーム(ヘッダ情報)をトランスポートストリー
ムに多重化させる。ステップ120(S120)におい
て、CPU424は、スイッチ回路36を制御してスイ
ッチ回路34から入力されるエレメンタリストリームの
いずれかを選択させ、トランスポートストリームに多重
化させる。
【0034】ステップ122(S122)において、C
PU424は、多重化すべきエレメンタリストリームの
入力が終了したか否かを判断する。多重化すべきエレメ
ンタリストリームの入力が終了した場合にはS124の
処理に進み、トランスポートストリームの生成を終了
し、終了していない場合にはS102の処理に進む。
【0035】FIFOメモリ38は、FIFOメモリ3
8から出力されるトランスポートストリームをバッファ
リングして、通信回線等に対して送出する。SCSII
F回路40は、FIFOメモリ38から出力されるトラ
ンスポートストリームをハードディスク装置等に対して
送出し、記録させる。
【0036】以上説明したように、本発明に係る音声・
映像データ生成装置2においては、データ量が非常に多
いエレメンタリストリームをCPUバス上で伝送するこ
とがないので、CPUバス上でバスネックが生じて高速
なエレメンタリストリームのトランスポートストリーム
に対する多重化が妨げられることがない。従って、音声
・映像データ生成装置2は、高速なトランスポートスト
リームを生成するために好適である。
【0037】また、CPU424のソフトウェア処理に
より、トランスポートストリームを生成するたびに多重
化方法を計画するので、例えば、エレメンタリストリー
ムをハードウェアによりトランスポートストリームに多
重化する場合に比べて、付加する付加データストリーム
(ヘッダ情報)の種類および数を任意に変更可能である
という特徴がある。従って、付加データストリームの種
類および数の変更が容易である。
【0038】なお、音声・映像データ生成装置2に対し
ては、トランスポートストリームに多重化するエレメン
タリストリームの数を増減する、あるいは、ENIF回
路420およびSIF回路422の数を増減する変更を
加えることが可能である。また、第2の実施形態に示し
たほか、サブタイトルストリームの代わりに、例えば、
編集処理および放送時の処理に係るデータストリームを
トランスポートストリームに多重化する等、音声・映像
データ生成装置2は、種々の構成を採ることができる。
【0039】第3実施形態 以下、本発明の第3の実施形態を説明する。図6は、M
PEG方式により圧縮符号化したオーディオストリーム
およびビデオストリームの伝送に用いられるトランスポ
ートストリーム、PES、パックおよびPSの構成(ITU
-T勧告H.222.0 |ISO/IEC 13818-1)を示す図である。図
7は、図6に示したトランスポートストリームに含まれ
るTSヘッダ詳細な構成を示す図である。
【0040】例えば、第1の実施形態および第2の実施
形態にそれぞれ示した音声・映像データ生成装置1,2
(図1,図2)が生成するトランスポートストリーム
は、図6に示すように、TSヘッダ部(図7)およびT
Sペイロード部を含むTSパケットから構成され、可変
長のパケッタイズドエレメンタリーストリーム(PE
S:packetized elementary stream )は、TSパケット
に分割されて収容される。さらに、複数個のPESは、
パックヘッダが付加されてパックを構成し、複数個のパ
ックは、プログラムエンコードが付加されてプログラム
ストリーム(PS:program stream )を構成する。
【0041】図8は、図6に示したPESのPESヘッ
ダ部の構成を示す図である。図9(A),(B)は、そ
れぞれ、サンプリング周波数が48kHz,44.1k
Hzの場合のオーディオフレーム、オーディオストリー
ムのデータ量(SIZE) およびPTSの増加量の関係を示
す図である。図8に示すように、PESのPESヘッダ
部は、プレゼンテーションタイムスタンプ(PTS;pre
sentation time stamp)を含む。このPTSは、PES
に収容されているオーディオストリームおよびビデオス
トリームの表示時刻を示す(以下、オーディオストリー
ムおよびビデオストリームの表示時刻を示すPTSを、
それぞれオーディオPTSおよびビデオPTSとも記
す)。伸長復号装置が、オーディオストリームおよびビ
デオストリームを伸長復号する場合、オーディオPTS
およびビデオPTSは、音声データおよび映像データの
同期をとるために用いられる。
【0042】一方、音声・映像データ生成装置1,2に
おいて、オーディオエンコーダ24は、上述のように、
入力されるディジタル非圧縮音声データを、その1,1
52サンプリング周期(1オーディオフレーム)を周期
として、圧縮符号化後のデータレートがほぼ一定になる
ように圧縮符号化する。オーディオエンコーダ24に入
力される非圧縮音声データのサンプリング周波数画48
kHz(データレート=384kbps)である場合に
は、図9(A)に示すように、1オーディオフレームご
とに生成されるオーディオストリームのデータ量は1,
152バイトであり、オーディオストリームを収容する
PESのPTS(オーディオPTS)の値の増加量は
2,160になる(下に示す式1)。従って、1オーデ
ィオフレームごとのオーディオPTSの値を整数演算に
より算出することができる。
【0043】
【数1】 1152×90(kHz)/48(kHz) = 2160 (1) 但し、90(kHz)は、PTS生成処理の基準周波
数、48(kHz)は、非圧縮音声データのサンプリン
グ周波数である。
【0044】一方、オーディオエンコーダ24に入力さ
れる非圧縮音声データのサンプリング周波数が44.1
kHz(データレート=384kbps)である場合に
は、図9(B)に示すように、1オーディオフレームご
とに生成されるオーディオストリームのデータ量は12
53.8776バイト、オーディオPTSの値の増加量
は2,351.0204(下に示す式2)になる。従っ
て、この場合、1オーディオフレームごとのオーディオ
PTSの値を、実数演算により算出しなければならな
い。
【0045】
【数2】 1152×90(kHz)/44.1(kHz) = 2351.0204 (2) 但し、44.1(kHz)は、非圧縮音声データのサン
プリング周波数である。
【0046】しかしながら、非圧縮音声データのサンプ
リング周波数が44.1kHzである場合にも、オーデ
ィオPTSを算出するハードウェアあるいはソフトウェ
アの構成上、オーディオPTSを整数演算により算出す
ることが望ましい。一方、非圧縮音声データのサンプリ
ング周波数が44.1kHzである場合に、オーディオ
PTSのオーディオフレームごとの増加量を整数値2,
351または2,352に近似し、整数演算により算出
すると、何らかの方法により補正しなければ、誤差が蓄
積して、伸長復号時に映像データと音声データの同期が
とれなくなってしまう。かかる観点から、第3の実施形
態においては、整数演算によりオーディオPTSを算出
することができ、しかも、整数演算により算出したオー
ディオPTSの値の誤差を長時間に渡って蓄積させるこ
とがない音声・映像データ生成装置2(第2の実施形態
において示した図2)の制御系42の動作の変形例を説
明する。
【0047】以下、図10を参照して、第3の実施形態
における音声・映像データ生成装置2の動作を説明す
る。なお、以下の説明においては、説明の簡略化のため
に、映像データおよびサブタイトルデータに対する処理
(第2の実施形態においてと同一)の説明を省略し、音
声データに対する処理を主に説明する。オーディオエン
コーダ24は、第1の実施形態および第2の実施形態に
おいてと同様に、入力されるディジタル非圧縮音声デー
タをエンコードする。データサイズ30bは、第2の実
施形態においてと同様に、オーディオエンコーダ24が
生成したオーディオストリームのデータサイズを1オー
ディオフレームごとに計数し、CPU424に対して出
力する。
【0048】図10は、第3の実施形態における音声・
映像データ生成装置2(図2)のCPU424の処理を
示すフローチャートである。ステップ200(S20
0)に示すように、CPU424は、例えば、ENIF
回路420を介して接続された端末装置(図示せず)等
に、音声・映像データ生成装置2の使用者が入力したオ
ーディオストリームのデータレート(符号レートSIZE S
EC)の設定を受ける。つまり、CPU424は、オーデ
ィオエンコーダ24が1秒間に生成するオーディオスト
リームのバイト数〔図7(A)に示した1,152バイ
ト、または、図7(B)に示した1,253(≒125
3.8776)バイト〕の設定を受け、以下の各ステッ
プにおける処理を、符号レートSIZE SECに基づいて行
う。
【0049】ステップ202(S202)に示すよう
に、CPU424は、オーディオPTSの算出に用いる
変数(size sum, PTS, PTS SEC )を初期化し、これらの
変数の値を0に〔ゼロクリア(size sum = 0, PTS = 0,
PTS SEC = 0 )〕する。ステップ204(S204)に
おいて、CPU424は、データ量IF30bから、オ
ーディオストリームのデータサイズの入力があったか否
かを判断する。データ量IF30bから、オーディオス
トリームのデータサイズSIZEの入力があった場合にの
に、S206の処理に進む。
【0050】ステップ206(S206)において、C
PU424は、処理用RAM426に記憶された各デー
タ(図8)の内、オーディオPTSの値を、S216の
処理において計算された値に変更する。ステップ208
(S208)において、CPU424は、スイッチ回路
36を制御し、まず、入力端子a側を選択させて、処理
用RAM426に記憶されたPESヘッダ(図6)をト
ランスポートストリームに多重化させる。
【0051】ステップ210(S210)において、C
PU424は、スイッチ回路34を制御して入力端子b
側を選択させ、スイッチ回路36を制御して入力端子b
側を選択させて、オーディオストリームをトランスポー
トストリームに多重化させる。ステップ212(S21
2)において、CPU424は、変数size sumに、デー
タ量IF30bから入力されたデータサイズSIZEを累加
算(size sum = sizesum + SIZE) して、データ量IF
30bが計数したオーディオストリームの累加算値を示
す変数size sumを新たに算出する。
【0052】ステップ214(S214)において、C
PU424は、S212の処理において算出した変数si
ze sumの値が、S200の処理において設定された符号
レートSIZE SEC以上であるか否かを判断する。CPU4
24は、変数size sumの値が符号レートSIZE SEC以上で
ある場合には、S218の処理に進み、符号レートSIZE
SEC以下である場合にはS216の処理に進む。つま
り、CPU424は、変数size sumの値が符号レートSI
ZE SEC以上となる1秒間隔で、オーディオPTSの値を
補正するS218およびS220の処理に進む。
【0053】ステップ216(S216)において、C
PU424は、下の式3に示す整数演算を行い、オーデ
ィオPTSの値を算出し、S204の処理に進む。
【0054】
【数3】 PTS = PTS SEC + 90000 ×size sum / SIZE SEC (3) 但し、式3において、数値90,000は、PTSを生
成する際に、1秒ごとに加算されるオフセット値であ
る。
【0055】ステップ218(S218)において、C
PU424は、変数size sumの値を新たに算出する(si
ze sum = size sum - SIZE SEC)。つまり、CPU42
4は、S218の処理において、S200において設定
された符号レートSIZE SECと、実際に、その1秒間に発
生されたオーディオストリームのデータ量との差の値を
算出し、新たな変数size sumとする。
【0056】ステップ220(S220)において、C
PU424は、1秒間に生じたオーディオPTSの値の
誤差、つまり、次の1秒間におけるオーディオPTSの
値を算出する際に用いるオフセット値を示す変数PTS SE
C を算出する(PTS SEC = PTSSEC + 90000)。つまり、
CPU424は、それまで1秒間で用いていた変数PTS
SEC の値に、式3に示した数値90,000を加算する
ことにより、次の1秒間のS216における演算(式
3)において用いる変数PTS SEC の値を算出する。
【0057】なお、ビデオPTSのフレームごとのオフ
セット値は、固定整数値3,003または3,600で
ある。一方、CPU424が、以上説明したようにオー
ディオPTSを生成することにより、オーディオPTS
に加えるオフセット値は整数になる。従って、ビデオP
TSとオーディオPTSとの同期を整数演算により正確
にとることが可能である。
【0058】FIFOメモリ38は、FIFOメモリ3
8から出力されるトランスポートストリームをバッファ
リングして、通信回線等に対して送出する。SCSII
F回路40は、FIFOメモリ38から出力されるトラ
ンスポートストリームをハードディスク装置等に対して
送出し、記録させる。
【0059】以下、図11を参照して、第3の実施形態
に示した音声・映像データ生成装置2の動作により生成
されたトランスポートストリーム(MPEGシステムス
トリーム)から音声データおよび映像データを処理を説
明する。図11は、第3の実施形態に示した音声・映像
データ生成装置2の動作により生成されたトランスポー
トストリームからオーディオストリーム、ビデオストリ
ームおよびこれらのPESを分離し、伸長復号する音声
・映像データ伸長・復号装置3の構成を示す図である。
【0060】音声・映像データ伸長・復号装置3は、図
11に示すように、システムデコーダ300、オーディ
オデコーダ302、ビデオデコーダ304、オーディオ
用の遅延メモリ306、ビデオ用の遅延メモリ308お
よびタイムスタンプ比較回路310から構成される。音
声・映像データ伸長・復号装置3のシステムデコーダ3
00は、音声・映像データ生成装置2から入力されたト
ランスポートストリームに含まれるPESから、オーデ
ィオストリーム、ビデオストリーム、オーディオPTS
(オーディオタイムスタンプ)およびビデオPTS(ビ
デオタイムスタンプ)を分離し、オーディオストリーム
をオーディオデコーダ302に対して出力し、ビデオス
トリームをビデオデコーダ304に対して出力し、オー
ディオPTSおよびビデオPTSをタイムスタンプ比較
回路310に対して出力する。
【0061】オーディオデコーダ302は、システムデ
コーダ300から入力されたオーディオストリームを、
音声・映像データ生成装置1,2(図1,図2)のオー
ディオエンコーダ24に対応する伸長復号方法で伸長復
号し、元の音声データを生成して遅延メモリ306に対
して出力する。ビデオデコーダ304は、システムデコ
ーダ300から入力されたビデオストリームを、ビデオ
エンコーダ20に対応する伸長復号方法で伸長復号し、
元の映像データを生成して遅延メモリ308に対して出
力する。遅延メモリ306,308はそれぞれ、タイム
スタンプ比較回路310の制御に従って、オーディオデ
コーダ302およびビデオデコーダ304から入力され
た音声データおよび映像データをバッファリングして出
力する。
【0062】タイムスタンプ比較回路310は、システ
ムデコーダ300から入力されたオーディオPTSおよ
びビデオPTSを比較し、比較結果に基づいて遅延メモ
リ306,308を制御し、遅延メモリ306,308
がバッファリングしている音声データおよび映像データ
の同期をとり、表示時間を合わせて出力する。以上説明
した音声・映像データ伸長・復号装置3によれば、音声
・映像データ生成装置2により生成されたオーディオス
トリームおよびビデオストリームを伸長復号し、さら
に、表示時間を合わせて出力することができる。
【0063】以上第3の実施形態において説明したよう
に、オーディオエンコーダ24に入力される非圧縮映像
データのサンプリング周波数が44.1kHzの場合に
(図7(B))、オーディオストリームを収容するPE
SのPTSの値を整数演算により算出しても、CPU4
24は、1秒間に1回の割合でS218,S220(図
10)の処理を行い、PTS(変数PTS SEC )の値を補
正するので、長時間に渡ってPTSの値の誤差が蓄積し
てゆくことはない。
【0064】従って、オーディオエンコーダ24に入力
される非圧縮映像データのサンプリング周波数が44.
1kHzである場合にも、PTSの算出処理が実数演算
によらず、整数演算により可能となり、PTS算出処理
のアルゴリズム(PTSの値をハードウェア的に算出す
る場合にはハードウェア構成)を簡略化することができ
る。
【0065】なお、第3の実施形態においては、CPU
424が、1秒間隔で、PESのPTSの値を補正する
場合について説明したが、S200(図10)において
設定する符号レートSIZE SECを変更することにより、オ
ーディオエンコーダ24が出力するオーディオストリー
ムのデータレートを一定値にすることができることを条
件として、PTSに対する補正の時間間隔を変更するこ
とができる。
【0066】
【発明の効果】以上述べたように、本発明に係る音声・
映像データ生成装置およびその方法は、ディジタルテレ
ビジョン放送等において、音声データ、映像データおよ
び付加データの多重化に好適である。また、本発明に係
る音声・映像データ生成装置およびその方法は、ディジ
タルテレビジョン放送用等の音声データ、映像データお
よび付加データの高速多重化に好適で、しかも、付加デ
ータの種類および処理の変更に柔軟に対応しうる。ま
た、本発明にかかる音声・映像データ生成装置およびそ
の方法によれば、オーディオストリームに付加するオー
ディオPTSと、ビデオストリームに付加するビデオP
TSとの同期をとることができる。
【図面の簡単な説明】
【図1】第1の実施形態における本発明に係る音声・映
像データ生成装置の構成を示す図である。
【図2】第2の実施形態における本発明に係る音声・映
像データ生成装置の構成を示す図である。
【図3】図2に示したビデオエンコーダの構成を示す図
である。
【図4】図2に示したオーディオエンコーダの構成を示
す図である。
【図5】図2に示した音声・映像データ生成装置のCP
Uの処理を示すフローチャートである。
【図6】MPEG方式により圧縮符号化したオーディオ
ストリームおよびビデオストリームの伝送に用いられる
トランスポートストリーム、PES、パックおよびPS
の構成(ITU-T勧告H.222.0 |ISO/IEC 13818-1)を示す図
である。
【図7】図6に示したトランスポートストリームに含ま
れるTSヘッダ詳細な構成を示す図である。
【図8】図6に示したPESのPESヘッダ部の構成を
示す図である。
【図9】(A),(B)は、サンプリング周波数が48
kHz,44.1kHzの場合のオーディオフレーム、
オーディオストリームのデータ量(SIZE) およびPTS
の増加量の関係を示す図である。
【図10】第3の実施形態における音声・映像データ生
成装置(図2)のCPUの処理を示すフローチャートで
ある。
【図11】第3の実施形態に示した音声・映像データ生
成装置の動作により生成されたトランスポートストリー
ムからオーディオストリーム、ビデオストリームおよび
これらのPESを分離し、伸長復号する音声・映像デー
タ伸長・復号装置の構成を示す図である。
【符号の説明】
1,2…音声・映像データ生成装置、10…多重化装
置、100…バッファメモリ、102…トランスポート
ストリーム生成装置10、12…多重化系、32a,3
2b,32c…FIFOメモリ、34,36…スイッチ
回路、38…FIFOメモリ、40…SCSIIF回
路、42…制御系、30a,30b,30c…データ量
IF、420…ENIF回路420、422…SIF回
路、424…CPU、426…処理用RAM426、4
28…制御データ用RAM、3…音声・映像データ伸長
・復号装置、300…システムデコーダ、302…オー
ディオデコーダ、304…ビデオデコーダ、306,3
08…遅延メモリ、310…タイムスタンプ比較回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/24 H04N 7/13 Z

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】音声・映像データに含まれる映像データを
    圧縮し、圧縮映像データを生成する映像データ圧縮手段
    と、 所定の音声圧縮周期ごとに、前記音声・映像データに含
    まれる音声データを圧縮し、一定のデータ量の圧縮音声
    データを生成する音声データ圧縮手段と、 生成した前記圧縮映像データを伸長して表示する時刻を
    示す映像表示時刻データを生成する映像表示時刻データ
    生成手段と、 生成した前記音声データのデータ量を、前記所定の音声
    圧縮周期ごとに計数する音声データ量計数手段と、 計数した前記音声データのデータ量に基づいて、生成し
    た前記圧縮音声データを伸長して表示する時刻を示す音
    声表示時刻データを生成する音声表示時刻データ生成手
    段と、 生成した前記圧縮映像データ、前記圧縮音声データ、前
    記映像表示時刻データおよび前記音声表示時刻データを
    対応付けて所定の伝送パケットに収容し、伝送ビットス
    トリームを生成する伝送ビットストリーム生成手段とを
    有する音声・映像データ生成装置。
  2. 【請求項2】前記音声表示時刻データ生成手段は、前記
    音声圧縮周期ごとに生成した前記圧縮音声データのデー
    タ量の累加算を算出し、算出した累加算値が所定の補正
    周期ごとに生成される前記圧縮音声データのデータ量を
    超えた場合に、算出した累加算値から前記所定の補正周
    期ごとに生成する前記圧縮音声データのデータ量を減算
    して、前記音声表示時刻データを生成する請求項1に記
    載の音声・映像データ生成装置。
  3. 【請求項3】前記音声表示時刻データ生成手段は、前記
    累加算値が前記所定の補正周期ごとに生成される前記圧
    縮音声データのデータ量を超えた場合に、所定のオフセ
    ット値を前記累加算値時刻データに加算して、前記音声
    表示時刻データを生成する請求項2に記載の音声・映像
    データ生成装置。
  4. 【請求項4】音声・映像データに含まれる映像データを
    圧縮して圧縮映像データを生成し、 所定の音声圧縮周期ごとに、前記音声・映像データに含
    まれる音声データを圧縮し、一定のデータ量の圧縮音声
    データを生成し、 生成した前記圧縮映像データを伸長して表示する時刻を
    示す映像表示時刻データを生成し、 生成した前記音声データのデータ量を計数し、 計数した前記音声データのデータ量および前記所定の音
    声圧縮周期に基づいて、生成した前記圧縮音声データを
    伸長して表示する時刻を示す音声表示時刻データを生成
    し、 生成した前記圧縮映像データ、前記圧縮音声データ、前
    記映像表示時刻データおよび前記音声表示時刻データを
    対応付けて所定の伝送パケットに収容し、伝送ビットス
    トリームを生成する音声・映像データ生成方法。
  5. 【請求項5】前記音声圧縮周期ごとに生成した前記圧縮
    音声データのデータ量の累加算を算出し、 算出した累加算値が所定の補正周期ごとに生成される前
    記圧縮音声データのデータ量を超えた場合に、算出した
    累加算値から前記所定の補正周期ごとに生成する前記圧
    縮音声データのデータ量を減算する請求項4に記載の音
    声・映像データ生成方法。
  6. 【請求項6】前記累加算値が前記所定の補正周期ごとに
    生成される前記圧縮音声データのデータ量を超えた場合
    に、所定のオフセット値を前記累加算値時刻データに加
    算する請求項5に記載の音声・映像データ生成方法。
JP9567596A 1996-04-17 1996-04-17 音声・映像データ生成装置およびその方法 Pending JPH09284732A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9567596A JPH09284732A (ja) 1996-04-17 1996-04-17 音声・映像データ生成装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9567596A JPH09284732A (ja) 1996-04-17 1996-04-17 音声・映像データ生成装置およびその方法

Publications (1)

Publication Number Publication Date
JPH09284732A true JPH09284732A (ja) 1997-10-31

Family

ID=14144084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9567596A Pending JPH09284732A (ja) 1996-04-17 1996-04-17 音声・映像データ生成装置およびその方法

Country Status (1)

Country Link
JP (1) JPH09284732A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009098744A1 (ja) * 2008-02-04 2009-08-13 Panasonic Corporation ストリームデータの多重化装置および多重化方法
US7729383B2 (en) 2006-04-10 2010-06-01 Nec Electronics Corporation Multiplexer and multiplexing method
CN113596355A (zh) * 2020-04-14 2021-11-02 瑞昱半导体股份有限公司 字幕图像产生装置及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729383B2 (en) 2006-04-10 2010-06-01 Nec Electronics Corporation Multiplexer and multiplexing method
WO2009098744A1 (ja) * 2008-02-04 2009-08-13 Panasonic Corporation ストリームデータの多重化装置および多重化方法
CN113596355A (zh) * 2020-04-14 2021-11-02 瑞昱半导体股份有限公司 字幕图像产生装置及方法
CN113596355B (zh) * 2020-04-14 2024-04-16 瑞昱半导体股份有限公司 字幕图像产生装置及方法

Similar Documents

Publication Publication Date Title
JP3976759B2 (ja) 音声信号と映像信号を同期させる装置
JP3932059B2 (ja) 信号処理装置
CA2421788C (en) Regeneration of program clock reference data for mpeg transport streams
US6542518B1 (en) Transport stream generating device and method, and program transmission device
JP3343250B2 (ja) Hdtv圧縮システム
US6654421B2 (en) Apparatus, method and computer program product for transcoding a coded multiplexed sound and moving picture sequence
JP2005229593A (ja) トランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム及びその方法
JP3809220B2 (ja) 伝送システム及び伝送方法
JPH11220655A (ja) 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
KR100294663B1 (ko) 엠펙디코더및디코딩제어방법
JP2003199045A (ja) 情報記録信号の生成方法、情報信号の再生方法、情報信号の伝送方法、情報記録信号生成装置、情報信号再生装置、情報信号伝送装置、情報信号記録媒体、及び情報信号伝送用プログラム
JPH11340938A (ja) データ多重化装置及び方法
US6185229B1 (en) Data multiplexing apparatus and method thereof
JP3552249B2 (ja) 画像および音声信号処理方法とその装置
JP4903930B2 (ja) 信号処理装置
JPH09284732A (ja) 音声・映像データ生成装置およびその方法
JPH1051769A (ja) 同期データ生成装置およびその方法
JPH09312625A (ja) データ多重化装置およびその方法
JPH09312656A (ja) 伝送装置およびその方法
JPH11298893A (ja) トランスポートストリーム同期回路
KR20060105326A (ko) 디지털 방송 시스템의 av 출력 방법 및 장치
JP2823806B2 (ja) 画像復号装置
JPH08191434A (ja) 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置
KR100202019B1 (ko) 시스템 부호화기에서의 피시알(pcr) 신호 발생 장치
JPH10271463A (ja) データ多重化装置およびその方法