JP4248703B2 - Stream multiplexing device, data broadcasting device - Google Patents

Stream multiplexing device, data broadcasting device Download PDF

Info

Publication number
JP4248703B2
JP4248703B2 JP26625399A JP26625399A JP4248703B2 JP 4248703 B2 JP4248703 B2 JP 4248703B2 JP 26625399 A JP26625399 A JP 26625399A JP 26625399 A JP26625399 A JP 26625399A JP 4248703 B2 JP4248703 B2 JP 4248703B2
Authority
JP
Japan
Prior art keywords
stream
data
time stamp
information
reference clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26625399A
Other languages
Japanese (ja)
Other versions
JP2001053703A (en
Inventor
純一 平位
隆志 垣内
英樹 影本
由佳 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP26625399A priority Critical patent/JP4248703B2/en
Publication of JP2001053703A publication Critical patent/JP2001053703A/en
Application granted granted Critical
Publication of JP4248703B2 publication Critical patent/JP4248703B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル放送等の片方向の放送波を用いて対話的なサービスを提供するためのデータストリームを多重化するストリーム多重化装置及びデータ放送装置に関する。
【0002】
【従来の技術】
近年、片方向の放送波を用いて対話的なサービスを提供するデジタル放送システムがある。このデジタル放送システムは、特開平10-304325号公報に詳しく開示されている。
このデジタル放送システムのデータ送信装置は、画像(静止画)データとナビゲーションデータとの組を複数記憶し、複数の組を繰り返し送信する。ここで、ナビゲーションデータは、画像データ間のハイパーリンク情報を含み、受信装置においてユーザの対話的操作によるリンク先画像データの選択を可能にする。
【0003】
実際の送信データは、複数の画像データを載せた第1エレメンタリストリームと、複数のナビゲーションデータを載せた第2エレメンタリーストリームと、画像データとナビゲーションデータとの対応関係を示す第3エレメンタリーストリームと、基準クロック情報を載せた第4エレメンタリーストリーム等が多重されたデータストリーム(トランスポートストリーム)として送信される。
【0004】
ここで、第1エレメンタリストリームは、画像データを送信する際に、MPEG2(Moving Picture Experts Group Phase 2)システム規格で定められたPES(Packetized Elementary Stream)パケットを用いている。PESパケットには、受信機でのデータのデコード、再生のタイミングを指定するためのDTS(Decoding Time Stamp)、PTS(Presentasion Time Stamp)と呼ばれるタイムスタンプ情報が付与されている。第2、第3エレメンタリストリームは、プライベートセクションを用いている。MPEG2システム規格、およびPESパケットの詳細については、「ISO/IEC13818-1規格書」に記述されている。また、第4エレメンタリストリームは、データストリームの再生時刻の基準となる時刻を示す基準クロック情報を表すストリームであり、PCR(Program Clock Reference)と呼ばれる。
【0005】
また、デジタル放送システムのデータ受信装置は、データ送信装置と、放送波から任意の1つの画像データとナビゲーションデータとの組を抽出し、その画像データ及びハイパーリンクがある旨を表示する。ユーザは、表示画像においてハイパーリンクの1つを選択及び指定する操作をリモコン等から行なう。この指定に従って、データ受信装置はリンク先の画像データとナビゲーションデータとの組を抽出及び表示する。
【0006】
【発明が解決しようとする課題】
ところで、従来のデータ送信装置により、上記第1〜第4のエレメンタリストリームからなるデータストリームと、他のストリーム生成装置により生成されたデータストリームとが多重化されている場合に、受信装置においてそれらのデータストリームを並行して再生することができないという問題がある。
【0007】
言い換えれば、異なるデータストリーム生成装置によって生成された複数のデータストリーム(例えば、MPEGシステムエンコーダによるデータストリームや、上記データ送信装置によるデータストリームや、蓄積メディアに格納されたデータストリーム等)を、データ送信装置が多重化して送信した場合、受信装置では一のデータストリームを再生している間は他のデータストリームを並行して再生することができないという問題がある。
【0008】
なぜなら、異なるストリーム生成装置により生成された複数のデータストリームのタイムスタンプ情報は、互いに異なる基準クロック情報に同期して付与されているからである。これは、受信装置ではデータストリームに含まれる基準クロック情報(PCR:Program Clock Reference)から内部動作クロック(STC:System Time Clock)を生成して、STCとタイムスタンプ情報(DTS、PTS)とが一致する毎に個々のPESパケットのデコード及び再生出力を開始していることによる。
【0009】
本発明は、異なるストリーム生成装置により生成された複数のストリームを受信装置において並行して再生できるように多重するストリーム多重装置及びデータ送信装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するために本発明は、タイムスタンプ情報を含む複数のストリームを多重化するストリーム多重化装置であって、タイムスタンプ情報の基準クロックが異なる複数のストリームを取得する取得手段と、共通基準クロック情報を生成するクロック生成手段と、ストリーム取得手段により取得された複数のストリームに含まれるタイムスタンプ情報を前記共通基準クロック情報に同期するよう補正する補正手段と、補正後の複数のストリームを多重化する多重化手段とを備える。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態におけるストリーム多重化装置について図面を参照しながら説明する。
<ストリーム多重化装置のブロック図>
図1は、本発明の実施の形態におけるストリーム多重化装置の構成を示すブロック図である。
【0012】
このストリーム多重化装置1001は、N個のストリーム生成部10021〜1002Nから入力されるN個のデータストリームに対して、それぞれのタイムスタンプ情報を同期させるように補正し、補正後のデータストリームを多重するために、N(Nは2以上)個のストリーム取得部10031〜1003N、基準ストリーム選択部1004、共通クロック情報生成部1005、補正情報生成部1006、N個のタイムスタンプ補正部10071〜1007N及び多重化部1008を備える。
【0013】
第1〜第Nストリーム取得部10031〜1003Nは、外部の第1〜第Nストリーム生成装置10021〜1002Nからそれぞれデータストリームを取得する。なお、本実施形態では、データストリームは少なくとも1つのエレメンタリーストリームからなり、データストリーム内の全てのエレメンタリストリームは同じ基準クロック情報に同期しているものとする。
【0014】
基準ストリーム選択部1004は、第1〜第Nストリーム取得部10031〜1003Nが取得したN個のデータストリームのうち、何れかのデータストリームを1つ選択する。このデータストリームは、複数のデータストリーム間でタイムスタンプを同期させる際の基準にする共通基準クロック情報を生成するベースとなる。基準ストリーム選択部1004は、タイムスタンプ情報を最も多く含むPESパケットを含むデータストリームを選択することが望ましい。
【0015】
共通クロック情報生成部1005は、前記第1〜第Nストリーム取得部10031〜1003Nが取得したデータストリームのうち、基準ストリーム選択部1004が選択したデータストリームに含まれる基準クロック情報(PCR:Program Clock Reference)から共通基準クロック情報を生成する。
補正情報生成部1006は、共通クロック情報生成部1005により生成された共通基準クロック情報情報と、第1〜第Nストリーム取得部10031〜1003Nにより取得される各データストリームに含まれる基準クロック情報とを比較して、データストリーム毎の補正情報を生成する。この補正情報は、各データストリームの基準クロック情報と共通基準クロック情報との差分で表される。
【0016】
第1〜第Nタイムスタンプ補正部10071〜1007Nは、それぞれ補正情報生成部1006が生成した補正情報に基づき、第1〜第Nストリーム取得部10031〜1003Nから入力される各データストリーム中のタイムスタンプ情報を補正する。具体的には、第1タイムスタンプ補正部10071は、第1ストリーム取得部10031に取得されたデータストリーム内のタイムスタンプ情報に、当該データストリーム用の補正情報を加算することにより補正する。第2〜第Nタイムスタンプ補正部10072〜1007Nも同様である。
【0017】
多重化部1008は、第1〜第Nタイムスタンプ補正部10071〜1007Nによってタイムスタンプが補正されたN個のデータストリームを多重化する。この多重化部1008は、一般のデジタル衛星放送で使用されているトランスポートストリーム多重化装置や、それと同等の働きを記述したソフトウェアとワークステーションで構成することができる。多重化部1008により多重化されたデータストリームは、送信部1009により変調されて、ディジタル放送用の人工衛星へ送信(アップリンク)され、又は地上波として放送される。あるいは、多重化部1008による多重化後のデータストリームは、ハードディスク装置等の蓄積メディアに格納される。
<ストリーム生成装置>
第1〜第Nストリーム生成装置10021〜1002Nは、それぞれデータストリームを生成しストリーム多重化装置1001に供給する装置であり、例えばMPEGビデオエンコーダ、MPEGオーディオエンコーダや、特開平10-304325号公報で示されているデータ送信装置の送信部を除く部分の構成や、データストリームを格納した蓄積メディアなどがある。
【0018】
以下では説明の便宜上Nが2である場合についてさらに具体的に説明する。また、第1ストリーム生成装置10021は特開平10-304325に示されているデータ送信装置のうち送信部を除く部分に相当し、第2ストリーム生成装置10022はMPEG2システムのオーディオエンコーダに相当するものとする。
図2は、第1ストリーム生成装置10021が生成するデータストリームの一例を示す図である。同図は、特開平10-304325で示されているデータ送信装置において生成されたデータストリームを表している。ただし、同図ではデータストリームにおけるPIDや静止画IDの割り当て等を簡略化している。
【0019】
同図において、横方向は時間軸を、縦方向はデータストリーム(トランスポートストリーム)に多重されているエレメンタリストリームを概念的に示している。データストリーム2001は、PCRストリーム2005、ナビゲーションストリーム2004、静止画ストリーム2003、静止画識別ストリーム2002を含む。このデータストリーム2001では、相互にリンクが張られた複数のコンテンツ(静止画データとナビゲーションデータの組)を周期的に繰り返し伝送するストリームである。ここで、ナビゲーションデータとはリンク先のコンテンツを示すハイパーリンク情報をいう。
【0020】
PCRストリーム2005は、PID(Packet IDentifier)の値”1007”が付与されて伝送され、このデータストリーム2001の基準クロックをサンプリングした値を含むPCRパケットを約0.1秒間隔で伝送するストリームである。PCRパケットには、PCR_baseとPCR_extensionの値が含まれ、それぞれ90KHz、27MHzの精度で、そのPCRパケットの多重位置における基準クロックの値を表す。PCR2006、PCR2007はそれぞれPCRストリームで伝送されるPCRパケットの一例を表しており、PCR2006にはPCR_baseの値”1000”とPCR_extensionの値”0”とが、PCR2007にはPCR_baseの値”300000”とPCR_extensionの値”5000”とが含まれている。PCRについての詳細はMPEG2システム規格書に詳しく説明されている。
【0021】
ナビゲーションストリーム2004は、PIDの値”1006”が付与されて伝送され、静止画間のハイパーリンク情報等を含むナビゲーションデータを伝送するプライベートセクションストリームである。ナビゲーションデータ2008は、ナビゲーションデータストリーム2004で伝送されるナビゲーションデータの一例であり、静止画データ2009と共に表示されるテキストやボタン画像と、文字列やボタンに張られたリンク先を示す静止画IDとを含む。なお、ナビゲーションデータにはタイムスタンプ情報は含まれていない。
【0022】
静止画ストリーム2003は、PIDの値”1001”から”1005”までが付与された伝送され、複数の静止画データを伝送するMPEG2ビデオストリームである。MPEG2のビデオストリームはPESパケットを用いて伝送される。PESパケットは、DTS、PTS等のタイムスタンプ情報を含む。DTSは受信装置において当該PESパケット内のデータのデコードを開始すべき時刻を、PTSはデコードしたデータの表示(再生出力)を開始すべき時刻を示す。DTS、PTSについての詳細は、MPEG2システム規格書に詳しく説明されている。
【0023】
図中、静止画データ2009、静止画データ2010はそれぞれ静止画ストリーム2003で伝送される静止画データの一例を表している。静止画データ2009にはPIDの値”1001”、DTSの値”100000”、PTSの値”103000”が付与されている。静止画データ2010にはPIDの値”1003”、DTSの値”450000”、PTSの値”453000”が付与されている。この静止画ストリーム2003で伝送される各静止画データは、受信装置において静止画IDによって直接識別されて受信されるわけではなく、PIDとPTSによって直接識別され受信される。
【0024】
静止画識別ストリーム2002は、静止画IDと(PID、first_PTS、last_PTS)とを対応させるデータである。ここで(PID、first_PTS、last_PTS)は、受信装置にて静止画を識別受信するためにパラメータであり、受信装置にてPIDで特定されるMPEGビデオストリームから再生表示すべき最初と最後のフレームつまり1枚の静止画を表す。
【0025】
図中の静止画識別データ2011と静止画識別データ2012は、それぞれ静止画識別ストリーム2002で伝送される静止画識別データの一例である。静止画識別データ2011は、静止画IDの値”1”に対応する静止画データが、PIDの値”1001”で特定されるMPGビデオストリーム中のfirst_PTS及びlast_PTSの値”103000”で特定される静止画データであることを意味する。また、静止画識別データ2010は、静止画IDの値”8”の静止画データは、PIDの値”1003”、first_PTS及びlast_PTSの値”453000”で特定される静止画データであることを表している。このような静止画識別データは、MPEG2システム規格で定められたプライベートセクションとして伝送される。静止画識別データを用いた静止画データの識別方法の詳細は特開平10-304325に、またプライベートセクションについての詳細はMPEG2システム規格書に述べられている。
【0026】
図3は、第2ストリーム生成装置10022が生成するデータストリームの一例を示す図である。同図において、横方向は時間軸を、縦方向はデータストリーム(トランスポートストリーム)に多重されているエレメンタリストリームを概念的に示している。
データストリーム3001は、MPEG2システム規格で規定されたトランスポートストリームであり、PIDの値”2000”で伝送される音声ストリーム3002とPIDの値”2001”で伝送されるPCRストリーム3003からなる。
【0027】
音声ストリーム3002は、音声データを伝送するMPEG1オーディオストリームである。MPEG1のオーディオストリームはPESパケットを用いて伝送され、DTS、PTSを含む。アクセスユニット3006、アクセスユニット3007はそれぞれ音声ストリーム3002で伝送される音声データのアクセスユニットの一例を表している。アクセスユニット3006はDTSの値”1010000”、PTSの値”1013000”を、アクセスユニット3007はDTSの値”1400000”、PTSの値”1403000”が付与されている。
【0028】
PCRストリーム3003は、PCRストリーム2005と同様に、このデータストリーム3003の基準クロックを示すPCRパケットを伝送するストリームである。PCR3004、PCR3005はそれぞれPCRストリーム3003で伝送されるPCRパケットの一例を表している。PCR3004には、PCR_baseの値”1001000”と、PCR_extensionの値”0”とが、PCR3005には、PCR_baseの値”1300000”と、PCR_extensionの値”5000”とが含まれていることを表している。
<ストリーム取得部>
第1ストリーム取得部10031は、取得すべきデータストリームに含まれるエレメンタリストリームの種別を表すストリーム種別表を記憶するストリーム種別情報記憶部(図示せず)を備え、第1ストリーム生成装置10021から入力されるデータストリーム2001をストリーム種別表に従って取得する。
【0029】
図4は、第1ストリーム取得部10031が記憶するストリーム種別表の一例を示す図である。
同図のように、ストリーム種別表はデータストリーム2001に含まれるエレメンタリストリーム毎に、そのPID、ストリーム種別、ストリーム種別がプライベートセクションである場合のセクション中のタイムスタンプの位置を示す。
【0030】
ストリーム種別表4001の行4002において、PIDの値”1000”のエレメンタリストリームは、プライベートセクションストリームであり、各セクションの27バイト目と32バイト目の位置にタイムスタンプ情報が含まれることを示している。本実施例ではPIDの値”1000”のプライベートセクションにもタイムスタンプ情報を載せているからである。また、MPEG2ビデオストリームやMPEG2オーディオストリームなどのPESパケットとして伝送されるエレメンタリストリームではタイムスタンプ情報の位置は規格上定められている。
【0031】
行4003〜行4007において、PIDの値”1001”〜”1005”のエレメンタリストリームはMPEG2ビデオストリームであることを示している。
行4008は、PIDの値”1006”のエレメンタリストリームは、プライベートセクションストリームであり、タイムスタンプ情報は含まれないことを表している。
【0032】
行4009は、PIDの値”1007”のエレメンタリストリームはPCRストリームであることを示している。
第2ストリーム取得部10032は、取得すべきデータストリームに含まれるエレメンタリストリームの種別を表すストリーム種別表を記憶するストリーム種別情報記憶部(図示せず)を備え、第1ストリーム生成装置10022から入力されるデータストリーム2002をストリーム種別表に従って取得する。
【0033】
図5は、第2ストリーム取得部10032が記憶するストリーム種別表の一例を示す図である。ストリーム種別表5001の行5002は、PIDの値”2000”でMPEG2オーディオストリームが伝送されることを、行5003はPIDの値”2001”でPCRストリームが伝送されることを表している。
<基準ストリーム選択部>
基準ストリーム選択部1004は、ストリーム取得部1003に取得されたデータストリームの中から、共通基準クロック情報のベースとするデータストリームを基準データストリームとして1つ選択する。具体的には、基準ストリーム選択部1004は、まず、タイムスタンプ情報を含むプライベートセクションの数が多いデータストリームを優先的に選択する。また、タイムスタンプを含むプライベートセクションの数が同じであるデータストリームが複数存在する場合は、それらのうちタイムスタンプを含むPESパケットが多いデータストリームを優先的に選択する。
【0034】
これにより、第1〜第Nタイムスタンプ補正部10071〜1007Nでの補正処理を軽減することができる。なぜなら、基準データストリームとして選択されたデータストリームは、タイムスタンプの補正を行う必要がなく、プライベートセクション中のタイムスタンプを補正する際には誤り訂正用のCRC(Cyclic Redundancy Code)の再計算を行う必要があるからである。
【0035】
本実施の形態では、第1ストリーム取得部10031から入力されるデータストリーム2001のみが、タイムスタンプ情報を含むプライベートセクションストリームであるため、第1ストリーム取得部10031から入力されるデータストリーム2001が基準データストリームとして選択される。
<共通クロック情報生成部>
共通クロック情報生成部1005は27MHzの精度でクロックをカウントするクロックカウンタ(図示せず)を備え、このクロックカウンタの値を、基準ストリーム選択部1004により選択された基準データストリームに含まれるPCRパケット内のサンプリング値を用いて、基準データストリームの基準クロック情報に正確に同期させることにより共通基準クロック情報を生成する。
<補正情報生成部>
補正情報生成部1006は、ストリーム取得部により取得されたデータストリーム毎に、データストリームに含まれるPCRパケット内の基準クロック情報のサンプリング値と、共通クロック情報生成部1005のクロックカウンタの値を比較し、それらの値の差分をタイムスタンプ補正情報として生成する。その結果、データストリーム毎のタイムスタンプ補正情報を示すタイムスタンプ補正表が生成される。
【0036】
図6は、補正情報生成部1006に生成されたタイムスタンプ補正表の一例を示す図である。
図中、行6002において第1データストリーム(データストリーム2001)のタイムスタンプ補正情報は”0”である。これは、データストリーム2001が基準データストリームだからであり、そのタイムスタンプ情報は補正の必要がない。
【0037】
行6002において、第2データストリーム(データストリーム3001)のタイムスタンプ補正情報は”-1000000”である。データストリーム3001のタイムスタンプ情報は、1000000を減じる補正が必要であることを表している。
<タイムスタンプ補正部の補正処理>
第1〜第Nタイムスタンプ補正部10071〜1007Nの処理内容はいずれも同様なので、代表して第1タイムスタンプ補正部10071の処理内容を詳しく説明する。
【0038】
図7は、第1タイムスタンプ補正部10071の補正処理を示すフローチャートである。
まず、第1タイムスタンプ補正部10071は、ストリーム取得部10031から1パケット分のデータを受信すると(S7001)、そのパケットのPIDと、第1ストリーム取得部に記憶されたストリーム種別表とを参照し、そのパケットの種別を得る。
【0039】
パケットの種別がMEPG2ビデオストリームのパケットである場合(S7002)は、PESパケットが含まれると判断し、MPEG2システム規格に従ってPESパケットヘッダを解釈してパケット中のDTS、PTSフィールドの値をタイムスタンプ補正情報に従って補正する(S7003)。
パケットの種別がMPEG1オーディオストリームのパケットである場合(S7004)は、PESパケットが含まれると判断し、MPEG2システム規格に従ってPESパケットヘッダを解釈してパケット中のDTS、PTSフィールドの値をタイムスタンプ補正情報に従って補正する(S7005)。
【0040】
パケットの種別がプライベートセクションのパケットである場合(S7006)は、ストリーム種別表のタイムスタンプ位置情報を参照し、各セクション中のタイムスタンプ位置情報で指定される位置の値をタイムスタンプ補正情報に従って補正する(S7007)。さらに、プライベートセクションの最後には、伝送エラーを検出するためのCRCが付与される場合がある。この場合、タイムスタンプの補正後に、第1タイムスタンプ補正部10071は、CRCの再計算を行いCRCを更新する(S7008)。CRCの計算方法については、MPEG2システム規格書に詳細に記述されている。
【0041】
この後、第1タイムスタンプ補正部10071は、補正後のパケットを多重化部1008に出力する(S7009)。なお、パケット種別がPESパケットでもプライベートセクションでもない場合(例えばPCRパケット)には、そのまま多重化部1008に出力される。
<多重化データストリーム>
図8は、多重化部1008により多重化されたデータストリームを示す。同図は、第1ストリーム取得部10031により図2に示したデータストリーム2001が、第2ストリーム取得部10032により図3に示したデータストリーム3001が入力され、基準ストリーム選択部1004にてデータストリーム2001が基準データストリームとして選択され、補正情報生成部1006で図6に示したタイムスタンプ補正表6001が生成された場合に、多重化部1008に多重化されたデータストリーム8001の例を示す。
【0042】
データストリーム8001中には、基準データストリームであるデータストリーム2001を構成する静止画識別ストリーム2002、静止画ストリーム2003、ナビゲーションストリーム2004、PCRストリーム2005が含まれている。
音声ストリーム8002は、図3に示した音声ストリーム3002に対してタイムスタンプ情報が基準データストリーム(データストリーム2001)の基準クロック(つまりPCRストリーム2005)に同期するよう補正された音声ストリームである。アクセスユニット8003、アクセスユニット8004は、それぞれ、図3に示したアクセスユニット3006、アクセスユニット3007に対応する補正後のデータである。アクセスユニット8003のDTSは”10000”、PTSは”13000”に、アクセスユニット8004のDTSは”400000”、PTSは”403000”になっている。よって、このデータストリーム8001を受信した受信装置は、PCRストリーム2005で伝送される基準クロックに基づいて、音声ストリーム8002と、静止画ストリーム2003を同時に再生することができる。
【0043】
また、図8では、PCRストリーム2005とPCRストリーム3003とが併存するが、第2タイムスタンプ補正部10072においてPCRストリーム3003を破棄するようにしてもよい。
<その他の変形例>
なお、本実施の形態では、基準ストリーム選択部1004が第1ストリーム取得部10031から入力されるデータストリーム2001を基準データストリームとして選択した場合について説明したが、基準ストリーム選択部1004が、手動選択等により、第2ストリーム取得部10032から入力されるデータストリーム3001を選択するように構成してもよい。
【0044】
この場合に、補正情報生成部1006が生成するタイムスタンプ補正表の例を図9に示す。タイムスタンプ補正表9001の行9003は、第2ストリーム取得部10032から入力されるデータストリームのタイムスタンプは補正の必要がないことを、行9002は、第1ストリーム取得部10031から入力されるデータストリームのタイムスタンプの値は”1000000”を加える補正が必要であることを表している。
【0045】
さらに、この場合にストリーム多重化装置1001が生成するデータストリーム10001の例を図10に示す。
データストリーム10001中には、基準ストリームであるデータストリーム3001を構成する音声データストリーム3002、PCRストリーム3003が含まれている。
【0046】
また、図2に示した静止画識別ストリーム2002、静止画ストリーム2003のタイムスタンプ情報がデータストリーム3001の基準クロック(PCR3003)に同期するよう補正された結果、静止画識別ストリーム10002、静止画ストリーム10003として多重されている。図2に示した静止画データ2009、静止画データ2010、静止画データ2011、静止画データ2012のタイムスタンプ情報の値は、それぞれタイムスタンプ補正表9001の情報に従って”1000000”の値が加えられた結果、それぞれ静止画データ10009、静止画データ100010、静止画識別データ10011、静止画識別データ10012として多重化されている。よって、このデータストリーム10001を受信した受信装置は、PCRストリーム2005で伝送される基準クロックに基づいて、音声ストリーム3002と、静止画ストリーム10003を同時に再生することができる。
【0047】
また、本実施の形態では、Nが2の場合について説明したが、Nが2より大きい任意の値の場合でも同様にタイムスタンプ情報を同期させたて多重化することが可能であることは言うまでもない。
また、本実施の形態では、入力されるデータストリームの例として、静止画、音声、プライベートセクションを含むMPEG2トランスポートストリームであるデータストリーム2001、データストリーム3001を用いて説明したが、他の形式のストリームが入力されてもよい。例えば、MPEG1のビデオストリームや、DSM−CC(Digital Storage Media-Command and Comtrol)のデータカルーセル等のストリームが入力されてもよい。
【0048】
また、本実施の形態では、タイムスタンプ情報の例としてDTS、PTSの値を挙げたが、その他のタイムスタンプ情報を補正の対象としてもよいことは言うまでもない。例えば、プライベート領域に書き込まれた時刻情報等を補正の対象とするタイムスタンプ情報として扱ってもよい。
また、本実施の形態では、共通クロック情報生成部1005が、ストリーム取得部1003が取得するストリームのPCRから共通基準クロック情報を生成する構成としているが、ストリーム取得部1003が取得するストリームとは独立に独自に共通基準クロック情報を生成するような構成としてもよい。
【0049】
また、図1の基準ストリーム選択部1004及び共通クロック情報生成部1005に代えて、図11に示すストリーム多重化装置11001のように、基準クロック情報を出力する機能を備えた外部のストリーム生成部11002から共通基準クロック情報情報を取得する共通クロック情報生成部11003を設ける構成としてもよい。
【0050】
また、図1の共通クロック情報生成部1005の代わりに、図12に示すストリーム多重化装置12001のように、外部に共通基準クロック情報情報を出力する機能を備えた共通クロック情報生成部12003を設け、外部から基準クロック情報を入力し、入力された基準クロック情報に同期したストリームを生成するストリーム生成部12002に共通基準クロック情報を供給する構成としてもよい。このような構成によれば、ストリーム多重化装置12001から共通基準クロック情報を供給したストリーム生成装置が生成するデータストリームのタイムスタンプ情報は補正する必要が無くなるため、ストリーム多重化装置12001の負荷を軽減することができる。
【0051】
【発明の効果】
本発明のストリーム多重化装置は、タイムスタンプ情報の基準クロックが異なる複数のストリームを取得する取得手段と、共通基準クロック情報を生成するクロック生成手段と、ストリーム取得手段により取得された複数のストリームに含まれるタイムスタンプ情報を前記共通基準クロック情報に同期するよう補正する補正手段と、補正後の複数のストリームを多重化する多重化手段とを備える。
【0052】
この構成によれば、複数のタイムスタンプ情報を含むストリームを同一の共通基準クロック情報に同期させて多重するので、別々に生成されたストリーム例えば静止画データストリームとBGM音声ストリームなどを受信装置で並行して再生させるような番組を容易に提供することできる。
ここで、前記クロック生成手段は、取得手段に取得された何れかのストリームから基準クロック情報を抽出し、これと同期した共通基準クロック情報を生成するようにしてもよい。
【0053】
この構成によれば、共通基準クロック情報を複数のストリームのうちの1つに同期させるので、そのストリームのタイムスタンプの補正が不要になるためストリーム多重化装置の負荷を軽減することができる。
また、前記クロック生成手段は、取得手段に取得されたストリームのうちタイムスタンプ情報が最も多いストリームを選択する選択部と、選択されたストリームに含まれる基準クロック情報を抽出する抽出部とを備えて構成してもよい。
【0054】
この構成によれば、共通基準クロック情報のベースとするストリームとして最もタイムスタンプが多く含まれているを選択するので、さらに効率良くストリーム多重化装置の負荷を軽減することができる。
ここで、前記クロック生成手段は、取得手段により取得されるストリームを生成するストリーム生成装置から基準クロックを取得し、取得した基準クロックと同期した共通基準クロック情報を生成するようにしてもよい。
【0055】
この構成によれば、取得されるストリームの1つが共通基準クロック情報に同期しているので、そのストリームのタイムスタンプの補正が不要になるためストリーム多重化装置の負荷を軽減することができる。
また、前記クロック生成手段は、取得手段に取得されるストリームを生成する1つまたは複数のストリーム生成装置に共通基準クロック情報を供給するようにしてもよい。
【0056】
この構成によれば、取得されるストリームをあらかじめ共通基準クロック情報に同期させることができるので、それらのストリームのタイムスタンプの補正が不要になるためストリーム多重化装置の負荷を軽減することができる。
また、前記タイムスタンプ補正手段は、取得手段により取得されたストリーム毎に、当該ストリームに含まれる基準クロック情報と前記共通基準クロック情報との差分を計算する基準クロック差分情報計算部と、ストリーム毎に、当該ストリームに含まれるタイムスタンプ情報に前記差分を加える補正部とを備える構成としてもよい。
【0057】
この構成によれば、取得手段に取得されるストリームのうち任意のストリームの基準クロック情報を共通基準クロック情報として、複数のタイムスタンプ情報を含むストリームを同一の基準クロックに同期させて多重することができる。
ここで、前記トリームはMPEG2トランスポートストリームであり、前記ストリーム中に含まれるタイムスタンプ情報はPTSまたはDTSであり、前記選択部が、タイムスタンプを含むセクションの数が最も多いストリームを基準ストリームとして選択する。
【0058】
この構成によれば、共通基準クロック情報のベースとするストリームとしてタイムスタンプを含むセクションが最も多く含まれているものを選択するので、セクション中のCRCの再計算の量を減らすことができ、さらに効率良くストリーム多重化装置の負荷を軽減することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態におけるストリーム多重化装置の構成の一例を示すブロック図である。
【図2】同実施形態における第1ストリーム生成部が生成するデータストリームの一例を示す図である。
【図3】同実施形態における第2ストリーム生成部が生成するデータストリームの一例を示す図である。
【図4】同実施形態における第1ストリーム取得部が管理するストリーム種別情報の一例を示す図である。
【図5】同実施形態における第2ストリーム取得部が管理するストリーム種別情報の一例を示す図である。
【図6】同実施形態における補正情報生成部が生成するタイムスタンプ補正情報の一例を示す図である。
【図7】同実施形態におけるストリームタイムスタンプ情報補正部の動作を示すフローチャートである。
【図8】同実施形態における多重化部が生成するデータストリームの一例を示す図である。
【図9】同実施形態における補正情報生成部が生成するタイムスタンプ補正情報の一例を示す図である。
【図10】同実施形態における多重化部が生成するデータストリームの一例を示す図である。
【図11】同実施形態におけるストリーム多重化装置の他の構成例を示すブロック図である。
【図12】同実施形態におけるストリーム多重化装置の他の構成例を示すブロック図である。
【符号の説明】
1001 ストリーム多重化装置
10021〜1002N 第1〜第Nストリーム生成装置
10031〜1003N 第1〜第Nストリーム取得部
10032 ストリーム取得部
1004 基準ストリーム選択部
1005 共通クロック情報生成部
1006 補正情報生成部
10071〜1007N 第1〜第Nタイムスタンプ補正部
1008 多重化部
1009 送信部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stream multiplexing apparatus and a data broadcasting apparatus that multiplex a data stream for providing an interactive service using a one-way broadcast wave such as digital broadcasting.
[0002]
[Prior art]
In recent years, there are digital broadcasting systems that provide interactive services using unidirectional broadcast waves. This digital broadcasting system is disclosed in detail in JP-A-10-304325.
The data transmission apparatus of this digital broadcasting system stores a plurality of sets of image (still image) data and navigation data, and repeatedly transmits the plurality of sets. Here, the navigation data includes hyperlink information between the image data, and enables selection of link destination image data by a user's interactive operation in the receiving device.
[0003]
Actual transmission data includes a first elementary stream carrying a plurality of image data, a second elementary stream carrying a plurality of navigation data, and a third elementary stream indicating the correspondence between the image data and the navigation data. The fourth elementary stream carrying the reference clock information is transmitted as a multiplexed data stream (transport stream).
[0004]
Here, the first elementary stream uses a PES (Packetized Elementary Stream) packet defined by the MPEG2 (Moving Picture Experts Group Phase 2) system standard when transmitting image data. The PES packet is given time stamp information called DTS (Decoding Time Stamp) and PTS (Presentasion Time Stamp) for designating data decoding and reproduction timing at the receiver. The second and third elementary streams use private sections. Details of the MPEG2 system standard and the PES packet are described in the “ISO / IEC13818-1 standard”. The fourth elementary stream is a stream representing reference clock information indicating a time that is a reference of the reproduction time of the data stream, and is called a PCR (Program Clock Reference).
[0005]
In addition, the data receiving device of the digital broadcasting system extracts a set of any one image data and navigation data from the data transmitting device and the broadcast wave, and displays that the image data and the hyperlink exist. The user performs an operation of selecting and specifying one of the hyperlinks on the display image from the remote controller or the like. In accordance with this designation, the data receiving apparatus extracts and displays a set of linked image data and navigation data.
[0006]
[Problems to be solved by the invention]
By the way, when the data stream composed of the first to fourth elementary streams and the data stream generated by the other stream generation device are multiplexed by the conventional data transmission device, the reception device sets them. There is a problem that the data streams cannot be reproduced in parallel.
[0007]
In other words, a plurality of data streams generated by different data stream generation apparatuses (for example, a data stream by an MPEG system encoder, a data stream by the data transmission apparatus, a data stream stored in a storage medium, etc.) are transmitted as data. When the apparatus transmits multiplexed data, there is a problem that the receiving apparatus cannot reproduce other data streams in parallel while reproducing one data stream.
[0008]
This is because the time stamp information of a plurality of data streams generated by different stream generation devices is given in synchronization with different reference clock information. This is because the receiving device generates an internal operation clock (STC: System Time Clock) from reference clock information (PCR: Program Clock Reference) included in the data stream, and the STC and time stamp information (DTS, PTS) match. This is because the decoding and reproduction output of each PES packet is started each time.
[0009]
An object of the present invention is to provide a stream multiplexing apparatus and a data transmission apparatus that multiplex a plurality of streams generated by different stream generation apparatuses so that the streams can be reproduced in parallel in the reception apparatus.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the present invention is a stream multiplexing apparatus that multiplexes a plurality of streams including time stamp information, and is common to an acquisition unit that acquires a plurality of streams having different reference clocks of time stamp information Clock generation means for generating reference clock information, correction means for correcting time stamp information included in the plurality of streams acquired by the stream acquisition means to be synchronized with the common reference clock information, and a plurality of corrected streams Multiplexing means for multiplexing.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a stream multiplexing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
<Block diagram of stream multiplexing device>
FIG. 1 is a block diagram showing a configuration of a stream multiplexing apparatus according to an embodiment of the present invention.
[0012]
The stream multiplexing apparatus 1001 corrects the N data streams input from the N stream generation units 10021 to 1002N so that the time stamp information is synchronized, and multiplexes the corrected data streams. In order to do so, N stream acquisition units 10031 to 1003N, a reference stream selection unit 1004, a common clock information generation unit 1005, a correction information generation unit 1006, N time stamp correction units 10071 to 1007N, and A multiplexing unit 1008 is provided.
[0013]
First to Nth stream acquisition units 10031 to 1003N acquire data streams from external first to Nth stream generation apparatuses 10021 to 1002N, respectively. In the present embodiment, it is assumed that the data stream includes at least one elementary stream, and all the elementary streams in the data stream are synchronized with the same reference clock information.
[0014]
The reference stream selection unit 1004 selects one of the N data streams acquired by the first to Nth stream acquisition units 10031 to 1003N. This data stream serves as a base for generating common reference clock information used as a reference when synchronizing time stamps among a plurality of data streams. It is desirable that the reference stream selection unit 1004 selects a data stream including a PES packet including the most time stamp information.
[0015]
The common clock information generation unit 1005 includes reference clock information (PCR: Program Clock Reference) included in the data stream selected by the reference stream selection unit 1004 among the data streams acquired by the first to Nth stream acquisition units 10031 to 1003N. ) To generate common reference clock information.
The correction information generation unit 1006 includes the common reference clock information information generated by the common clock information generation unit 1005 and the reference clock information included in each data stream acquired by the first to Nth stream acquisition units 10031 to 1003N. In comparison, correction information for each data stream is generated. This correction information is represented by a difference between the reference clock information of each data stream and the common reference clock information.
[0016]
The first to Nth time stamp correction units 10071 to 1007N are time stamps in the data streams input from the first to Nth stream acquisition units 10031 to 1003N based on the correction information generated by the correction information generation unit 1006, respectively. Correct the information. Specifically, the first time stamp correction unit 10071 performs correction by adding the correction information for the data stream to the time stamp information in the data stream acquired by the first stream acquisition unit 10031. The same applies to the second to Nth time stamp correction units 10072 to 1007N.
[0017]
The multiplexing unit 1008 multiplexes the N data streams whose time stamps have been corrected by the first to Nth time stamp correction units 10071 to 1007N. The multiplexing unit 1008 can be composed of a transport stream multiplexing apparatus used in general digital satellite broadcasting, software and a workstation describing the equivalent operation. The data stream multiplexed by the multiplexing unit 1008 is modulated by the transmission unit 1009 and transmitted (uplink) to an artificial satellite for digital broadcasting, or broadcast as a terrestrial wave. Alternatively, the data stream multiplexed by the multiplexing unit 1008 is stored in a storage medium such as a hard disk device.
<Stream generation device>
The first to Nth stream generation apparatuses 10021 to 1002N are apparatuses that generate data streams and supply the data streams to the stream multiplexing apparatus 1001, respectively. For example, MPEG video encoder, MPEG audio encoder, and Japanese Patent Application Laid-Open No. 10-304325 There are a configuration of a part other than a transmission unit of a data transmission apparatus, a storage medium storing a data stream, and the like.
[0018]
Hereinafter, the case where N is 2 will be described more specifically for convenience of explanation. Further, the first stream generation device 10021 corresponds to a part of the data transmission device disclosed in Japanese Patent Laid-Open No. 10-304325 except for the transmission unit, and the second stream generation device 10022 corresponds to an audio encoder of the MPEG2 system. To do.
FIG. 2 is a diagram illustrating an example of a data stream generated by the first stream generation device 10021. This figure shows a data stream generated in the data transmitting apparatus disclosed in Japanese Patent Laid-Open No. 10-304325. However, in the figure, assignment of PID and still image ID in the data stream is simplified.
[0019]
In the figure, the horizontal direction shows the time axis, and the vertical direction conceptually shows the elementary streams multiplexed in the data stream (transport stream). The data stream 2001 includes a PCR stream 2005, a navigation stream 2004, a still image stream 2003, and a still image identification stream 2002. The data stream 2001 is a stream that periodically and repeatedly transmits a plurality of contents linked to each other (a set of still image data and navigation data). Here, navigation data refers to hyperlink information indicating the linked content.
[0020]
The PCR stream 2005 is a stream to which a PID (Packet IDentifier) value “1007” is assigned and transmitted, and a PCR packet including a value obtained by sampling the reference clock of the data stream 2001 is transmitted at intervals of about 0.1 seconds. . The PCR packet includes the values of PCR_base and PCR_extension, and represents the value of the reference clock at the multiple positions of the PCR packet with an accuracy of 90 KHz and 27 MHz, respectively. PCR 2006 and PCR 2007 each represent an example of a PCR packet transmitted in a PCR stream. PCR 2006 has a PCR_base value “1000” and a PCR_extension value “0”, and PCR 2007 has a PCR_base value “300000” and a PCR_extension. The value of “5000” is included. Details of the PCR are described in detail in the MPEG2 system standard.
[0021]
The navigation stream 2004 is a private section stream that is transmitted with a PID value “1006” and transmits navigation data including hyperlink information between still images. The navigation data 2008 is an example of navigation data transmitted in the navigation data stream 2004. The text and the button image displayed together with the still image data 2009, and the still image ID indicating the link destination attached to the character string and the button are displayed. including. The navigation data does not include time stamp information.
[0022]
The still picture stream 2003 is an MPEG2 video stream that is transmitted with PID values “1001” to “1005” and transmits a plurality of still picture data. An MPEG2 video stream is transmitted using PES packets. The PES packet includes time stamp information such as DTS and PTS. DTS indicates the time at which the reception apparatus should start decoding the data in the PES packet, and PTS indicates the time at which display (reproduction output) of the decoded data should be started. Details of DTS and PTS are described in detail in the MPEG2 system standard.
[0023]
In the figure, still image data 2009 and still image data 2010 represent examples of still image data transmitted in a still image stream 2003, respectively. The still image data 2009 has a PID value “1001”, a DTS value “100000”, and a PTS value “103000”. The still image data 2010 is assigned a PID value “1003”, a DTS value “450000”, and a PTS value “453000”. Each still image data transmitted in the still image stream 2003 is not directly identified and received by the still image ID in the receiving apparatus, but is directly identified and received by the PID and PTS.
[0024]
The still image identification stream 2002 is data that associates a still image ID with (PID, first_PTS, last_PTS). Here, (PID, first_PTS, last_PTS) are parameters for identifying and receiving a still image at the receiving apparatus, and the first and last frames to be reproduced and displayed from the MPEG video stream specified by the PID at the receiving apparatus, Represents one still image.
[0025]
The still image identification data 2011 and the still image identification data 2012 in the figure are examples of still image identification data transmitted in the still image identification stream 2002, respectively. The still image identification data 2011 is specified by the first_PTS and last_PTS values “103000” in the MPG video stream in which the still image data corresponding to the still image ID value “1” is specified by the PID value “1001”. It means still image data. Still image identification data 2010 indicates that still image data having a still image ID value “8” is still image data specified by PID values “1003”, first_PTS and last_PTS values “453000”. ing. Such still image identification data is transmitted as a private section defined by the MPEG2 system standard. Details of the method for identifying still image data using still image identification data are described in Japanese Patent Laid-Open No. 10-304325, and details of the private section are described in the MPEG2 system standard.
[0026]
FIG. 3 is a diagram illustrating an example of a data stream generated by the second stream generation device 10022. In the figure, the horizontal direction shows the time axis, and the vertical direction conceptually shows the elementary streams multiplexed in the data stream (transport stream).
The data stream 3001 is a transport stream defined by the MPEG2 system standard, and includes an audio stream 3002 transmitted with a PID value “2000” and a PCR stream 3003 transmitted with a PID value “2001”.
[0027]
The audio stream 3002 is an MPEG1 audio stream that transmits audio data. The MPEG1 audio stream is transmitted using PES packets and includes DTS and PTS. Each of the access unit 3006 and the access unit 3007 represents an example of an access unit for audio data transmitted in the audio stream 3002. The access unit 3006 is assigned a DTS value “1010000” and a PTS value “1013000”, and the access unit 3007 is assigned a DTS value “1400000” and a PTS value “1403000”.
[0028]
Similar to the PCR stream 2005, the PCR stream 3003 is a stream for transmitting a PCR packet indicating the reference clock of the data stream 3003. PCR 3004 and PCR 3005 each represent an example of a PCR packet transmitted in the PCR stream 3003. The PCR 3004 indicates that the PCR_base value “1001000” and the PCR_extension value “0” are included, and the PCR 3005 indicates that the PCR_base value “1300000” and the PCR_extension value “5000” are included. .
<Stream acquisition unit>
The first stream acquisition unit 10031 includes a stream type information storage unit (not shown) that stores a stream type table that indicates the type of the elementary stream included in the data stream to be acquired, and is input from the first stream generation device 10021. The acquired data stream 2001 is acquired according to the stream type table.
[0029]
FIG. 4 is a diagram illustrating an example of the stream type table stored in the first stream acquisition unit 10031.
As shown in the figure, the stream type table indicates, for each elementary stream included in the data stream 2001, the position of the time stamp in the section when the PID, the stream type, and the stream type are private sections.
[0030]
In the row 4002 of the stream type table 4001, an elementary stream with a PID value “1000” is a private section stream, indicating that time stamp information is included in the 27th and 32nd byte positions of each section. Yes. This is because in this embodiment, the time stamp information is also placed in the private section with the PID value “1000”. Further, in the elementary stream transmitted as a PES packet such as an MPEG2 video stream or an MPEG2 audio stream, the position of the time stamp information is defined by the standard.
[0031]
Lines 4003 to 4007 indicate that the elementary streams with PID values “1001” to “1005” are MPEG2 video streams.
A row 4008 indicates that the elementary stream with the PID value “1006” is a private section stream and does not include time stamp information.
[0032]
A row 4009 indicates that the elementary stream having the PID value “1007” is a PCR stream.
The second stream acquisition unit 10032 includes a stream type information storage unit (not shown) that stores a stream type table that indicates the types of elementary streams included in the data stream to be acquired, and is input from the first stream generation device 10022. Data stream 2002 to be acquired according to the stream type table.
[0033]
FIG. 5 is a diagram illustrating an example of the stream type table stored in the second stream acquisition unit 10032. A row 5002 of the stream type table 5001 indicates that an MPEG2 audio stream is transmitted with a PID value “2000”, and a row 5003 indicates that a PCR stream is transmitted with a PID value “2001”.
<Reference stream selection unit>
The reference stream selection unit 1004 selects one data stream based on the common reference clock information from the data streams acquired by the stream acquisition unit 1003 as a reference data stream. Specifically, the reference stream selection unit 1004 first preferentially selects a data stream having a large number of private sections including time stamp information. When there are a plurality of data streams having the same number of private sections including time stamps, a data stream having a large number of PES packets including time stamps is preferentially selected.
[0034]
Thereby, the correction processing in the first to Nth time stamp correction units 10071 to 1007N can be reduced. This is because the data stream selected as the reference data stream does not need time stamp correction, and when correcting the time stamp in the private section, CRC (Cyclic Redundancy Code) for error correction is recalculated. It is necessary.
[0035]
In the present embodiment, since only the data stream 2001 input from the first stream acquisition unit 10031 is a private section stream including time stamp information, the data stream 2001 input from the first stream acquisition unit 10031 is the reference data. Selected as a stream.
<Common clock information generator>
The common clock information generation unit 1005 includes a clock counter (not shown) that counts clocks with an accuracy of 27 MHz. The value of this clock counter is included in the PCR packet included in the reference data stream selected by the reference stream selection unit 1004. The common reference clock information is generated by accurately synchronizing the reference clock information with the reference clock information of the reference data stream.
<Correction information generation unit>
For each data stream acquired by the stream acquisition unit, the correction information generation unit 1006 compares the sampling value of the reference clock information in the PCR packet included in the data stream with the value of the clock counter of the common clock information generation unit 1005. The difference between these values is generated as time stamp correction information. As a result, a time stamp correction table indicating time stamp correction information for each data stream is generated.
[0036]
FIG. 6 is a diagram illustrating an example of a time stamp correction table generated by the correction information generation unit 1006.
In the figure, in the row 6002, the time stamp correction information of the first data stream (data stream 2001) is “0”. This is because the data stream 2001 is the reference data stream, and the time stamp information does not need to be corrected.
[0037]
In the row 6002, the time stamp correction information of the second data stream (data stream 3001) is “−1000000”. The time stamp information of the data stream 3001 indicates that correction for subtracting 1000000 is necessary.
<Correction process of time stamp correction unit>
Since the processing contents of the first to Nth time stamp correction units 10071 to 1007N are the same, the processing content of the first time stamp correction unit 10071 will be described in detail as a representative.
[0038]
FIG. 7 is a flowchart showing the correction processing of the first time stamp correction unit 10071.
First, when receiving the data for one packet from the stream acquisition unit 10031 (S7001), the first time stamp correction unit 10071 refers to the PID of the packet and the stream type table stored in the first stream acquisition unit. The type of the packet is obtained.
[0039]
If the packet type is a MPEG2 video stream packet (S7002), it is determined that a PES packet is included, the PTS packet header is interpreted according to the MPEG2 system standard, and the DTS and PTS field values in the packet are time stamp corrected. Correction is performed according to the information (S7003).
If the packet type is an MPEG1 audio stream packet (S7004), it is determined that a PES packet is included, the PES packet header is interpreted according to the MPEG2 system standard, and the DTS and PTS field values in the packet are time stamp corrected. Correction is performed according to the information (S7005).
[0040]
If the packet type is a packet of a private section (S7006), the time stamp position information in the stream type table is referred to, and the position value specified by the time stamp position information in each section is corrected according to the time stamp correction information. (S7007). Further, a CRC for detecting a transmission error may be added at the end of the private section. In this case, after correcting the time stamp, the first time stamp correcting unit 10071 recalculates the CRC and updates the CRC (S7008). The CRC calculation method is described in detail in the MPEG2 system standard.
[0041]
Thereafter, the first time stamp correction unit 10071 outputs the corrected packet to the multiplexing unit 1008 (S7009). If the packet type is neither a PES packet nor a private section (for example, a PCR packet), it is output to the multiplexing unit 1008 as it is.
<Multiplexed data stream>
FIG. 8 shows a data stream multiplexed by the multiplexing unit 1008. In the figure, the data stream 2001 shown in FIG. 2 is input by the first stream acquisition unit 10031 and the data stream 3001 shown in FIG. 3 is input by the second stream acquisition unit 10032, and the data stream 2001 is input by the reference stream selection unit 1004. Is selected as the reference data stream, and the correction information generation unit 1006 generates the time stamp correction table 6001 shown in FIG. 6, an example of the data stream 8001 multiplexed in the multiplexing unit 1008 is shown.
[0042]
The data stream 8001 includes a still image identification stream 2002, a still image stream 2003, a navigation stream 2004, and a PCR stream 2005 that constitute a data stream 2001 that is a reference data stream.
The audio stream 8002 is an audio stream in which the time stamp information is corrected to be synchronized with the reference clock (that is, the PCR stream 2005) of the reference data stream (data stream 2001) with respect to the audio stream 3002 illustrated in FIG. The access unit 8003 and the access unit 8004 are corrected data corresponding to the access unit 3006 and the access unit 3007 shown in FIG. 3, respectively. The DTS of the access unit 8003 is “10000”, the PTS is “13000”, the DTS of the access unit 8004 is “400000”, and the PTS is “403000”. Therefore, the receiving device that has received the data stream 8001 can simultaneously reproduce the audio stream 8002 and the still image stream 2003 based on the reference clock transmitted in the PCR stream 2005.
[0043]
In FIG. 8, the PCR stream 2005 and the PCR stream 3003 coexist, but the second time stamp correction unit 10072 may discard the PCR stream 3003.
<Other variations>
In the present embodiment, the case where the reference stream selection unit 1004 selects the data stream 2001 input from the first stream acquisition unit 10031 as the reference data stream has been described. However, the reference stream selection unit 1004 performs manual selection or the like. Thus, the data stream 3001 input from the second stream acquisition unit 10032 may be selected.
[0044]
In this case, an example of a time stamp correction table generated by the correction information generation unit 1006 is shown in FIG. The row 9003 of the time stamp correction table 9001 indicates that the time stamp of the data stream input from the second stream acquisition unit 10032 does not need to be corrected, and the row 9002 indicates the data stream input from the first stream acquisition unit 10031. The value of the time stamp indicates that correction for adding “1000000” is necessary.
[0045]
Further, an example of a data stream 10001 generated by the stream multiplexing device 1001 in this case is shown in FIG.
The data stream 10001 includes an audio data stream 3002 and a PCR stream 3003 constituting a data stream 3001 that is a reference stream.
[0046]
In addition, as a result of correcting the time stamp information of the still image identification stream 2002 and the still image stream 2003 shown in FIG. 2 to be synchronized with the reference clock (PCR 3003) of the data stream 3001, the still image identification stream 10002 and the still image stream 10003 are corrected. As multiplexed. The time stamp information values of the still image data 2009, the still image data 2010, the still image data 2011, and the still image data 2012 shown in FIG. 2 are each added with a value of “1000000” according to the information of the time stamp correction table 9001. As a result, they are multiplexed as still image data 10009, still image data 100010, still image identification data 10011, and still image identification data 10012, respectively. Therefore, the receiving device that has received the data stream 10001 can simultaneously reproduce the audio stream 3002 and the still image stream 10003 based on the reference clock transmitted in the PCR stream 2005.
[0047]
In the present embodiment, the case where N is 2 has been described. Needless to say, even when N is an arbitrary value larger than 2, the time stamp information can be similarly synchronized and multiplexed. Yes.
In the present embodiment, as an example of the input data stream, the data stream 2001 and the data stream 3001 that are MPEG2 transport streams including still images, audio, and private sections have been described. A stream may be input. For example, a stream such as an MPEG1 video stream or a DSM-CC (Digital Storage Media-Command and Control) data carousel may be input.
[0048]
In this embodiment, the values of DTS and PTS are given as examples of time stamp information, but it goes without saying that other time stamp information may be subject to correction. For example, time information written in the private area may be treated as time stamp information to be corrected.
In this embodiment, the common clock information generation unit 1005 generates the common reference clock information from the PCR of the stream acquired by the stream acquisition unit 1003, but is independent of the stream acquired by the stream acquisition unit 1003. The common reference clock information may be independently generated.
[0049]
Further, instead of the reference stream selection unit 1004 and the common clock information generation unit 1005 in FIG. 1, an external stream generation unit 11002 having a function of outputting reference clock information as in the stream multiplexing device 11001 shown in FIG. Alternatively, a common clock information generation unit 11003 that acquires common reference clock information information may be provided.
[0050]
Further, instead of the common clock information generation unit 1005 in FIG. 1, a common clock information generation unit 12003 having a function of outputting the common reference clock information information to the outside is provided like the stream multiplexing device 12001 shown in FIG. Alternatively, the reference clock information may be input from the outside, and the common reference clock information may be supplied to the stream generation unit 12002 that generates a stream synchronized with the input reference clock information. According to such a configuration, it is not necessary to correct the time stamp information of the data stream generated by the stream generation device that has supplied the common reference clock information from the stream multiplexing device 12001, and thus the load on the stream multiplexing device 12001 is reduced. can do.
[0051]
【The invention's effect】
The stream multiplexing apparatus of the present invention includes an acquisition unit that acquires a plurality of streams having different reference clocks of time stamp information, a clock generation unit that generates common reference clock information, and a plurality of streams acquired by the stream acquisition unit. Correction means for correcting the included time stamp information so as to be synchronized with the common reference clock information, and multiplexing means for multiplexing a plurality of corrected streams.
[0052]
According to this configuration, since a stream including a plurality of time stamp information is multiplexed in synchronization with the same common reference clock information, separately generated streams such as a still image data stream and a BGM audio stream are parallelized by the receiving apparatus. Thus, it is possible to easily provide a program that is reproduced.
Here, the clock generation means may extract reference clock information from any of the streams acquired by the acquisition means, and generate common reference clock information synchronized therewith.
[0053]
According to this configuration, since the common reference clock information is synchronized with one of the plurality of streams, it is not necessary to correct the time stamp of the stream, so that the load on the stream multiplexing apparatus can be reduced.
The clock generation unit includes a selection unit that selects a stream having the most time stamp information among the streams acquired by the acquisition unit, and an extraction unit that extracts reference clock information included in the selected stream. It may be configured.
[0054]
According to this configuration, since the stream having the largest number of time stamps is selected as the base stream of the common reference clock information, the load on the stream multiplexing apparatus can be reduced more efficiently.
Here, the clock generation unit may acquire a reference clock from a stream generation device that generates a stream acquired by the acquisition unit, and generate common reference clock information synchronized with the acquired reference clock.
[0055]
According to this configuration, since one of the acquired streams is synchronized with the common reference clock information, it is not necessary to correct the time stamp of the stream, so that the load on the stream multiplexing apparatus can be reduced.
The clock generation means may supply the common reference clock information to one or a plurality of stream generation apparatuses that generate the stream acquired by the acquisition means.
[0056]
According to this configuration, since the acquired streams can be synchronized with the common reference clock information in advance, it is not necessary to correct the time stamps of these streams, so that the load on the stream multiplexing apparatus can be reduced.
In addition, the time stamp correction unit includes, for each stream, a reference clock difference information calculation unit that calculates a difference between the reference clock information included in the stream and the common reference clock information, and for each stream. A correction unit that adds the difference to the time stamp information included in the stream may be provided.
[0057]
According to this configuration, the reference clock information of an arbitrary stream among the streams acquired by the acquisition unit can be used as common reference clock information, and streams including a plurality of time stamp information can be multiplexed in synchronization with the same reference clock. it can.
Here, the stream is an MPEG2 transport stream, the time stamp information included in the stream is PTS or DTS, and the selection unit selects a stream having the largest number of sections including the time stamp as a reference stream. To do.
[0058]
According to this configuration, since the stream including the most time stamps is selected as a stream based on the common reference clock information, the amount of CRC recalculation in the section can be reduced, and It is possible to efficiently reduce the load on the stream multiplexer.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a stream multiplexing device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a data stream generated by a first stream generation unit according to the embodiment.
FIG. 3 is a diagram illustrating an example of a data stream generated by a second stream generation unit according to the embodiment.
FIG. 4 is a diagram illustrating an example of stream type information managed by a first stream acquisition unit according to the embodiment.
FIG. 5 is a diagram illustrating an example of stream type information managed by a second stream acquisition unit according to the embodiment.
FIG. 6 is a diagram illustrating an example of time stamp correction information generated by a correction information generation unit according to the embodiment.
FIG. 7 is a flowchart showing an operation of a stream time stamp information correction unit in the embodiment.
FIG. 8 is a diagram illustrating an example of a data stream generated by a multiplexing unit according to the embodiment.
FIG. 9 is a diagram illustrating an example of time stamp correction information generated by a correction information generation unit according to the embodiment.
FIG. 10 is a diagram illustrating an example of a data stream generated by a multiplexing unit according to the embodiment.
FIG. 11 is a block diagram showing another configuration example of the stream multiplexing apparatus in the embodiment.
FIG. 12 is a block diagram showing another configuration example of the stream multiplexing apparatus in the embodiment.
[Explanation of symbols]
1001 Stream multiplexing apparatus
10021-1002N 1st-Nth stream production | generation apparatus
10031-1003N 1st-Nth stream acquisition part
10032 Stream acquisition unit
1004 Reference stream selector
1005 Common clock information generator
1006 Correction information generation unit
10071 to 1007N First to Nth time stamp correction units
1008 Multiplexer
1009 Transmitter

Claims (3)

タイムスタンプ情報を含む複数のストリームを多重化するストリーム多重化装置であって、
タイムスタンプ情報の基準クロックが異なる複数のストリームを取得する取得手段と、
共通基準クロック情報を生成するクロック生成手段と、
前記取得手段により取得された複数のストリームに含まれるタイムスタンプ情報を前記共通基準クロック情報に同期するよう補正する補正手段と、
補正後の複数のストリームを多重化する多重化手段とを備え、
前記クロック生成手段は、
前記取得手段に取得されたストリームのうちタイムスタンプ情報が最も多いストリームを選択する選択部と、
前記選択部により選択されたストリームに含まれる基準クロック情報を抽出する抽出部とを有し、
前記共通基準クロック情報とは、前記抽出部により抽出された基準クロック情報と同期した基準クロック情報である
ことを特徴とするストリーム多重化装置。
A stream multiplexing device for multiplexing a plurality of streams including time stamp information,
Acquisition means for acquiring a plurality of streams having different reference clocks for time stamp information;
Clock generation means for generating common reference clock information;
And correction means for correcting to synchronize the time stamp information included in a plurality of streams obtained by the obtaining means to the common reference clock information,
Multiplexing means for multiplexing a plurality of corrected streams,
The clock generation means includes
A selection unit that selects a stream having the most time stamp information among the streams acquired by the acquisition unit;
An extraction unit that extracts reference clock information included in the stream selected by the selection unit;
The stream multiplexing apparatus, wherein the common reference clock information is reference clock information synchronized with the reference clock information extracted by the extraction unit.
前記ストリームは MPEG2 トランスポートストリームであり、
前記ストリーム中に含まれるタイムスタンプ情報は PTS または DTS である
ことを特徴とする請求項 1に記載のストリーム多重化装置。
The stream is an MPEG2 transport stream;
2. The stream multiplexing apparatus according to claim 1 , wherein the time stamp information included in the stream is PTS or DTS.
前記ストリームは MPEG2 トランスポートストリームであり、
前記ストリーム中に含まれるタイムスタンプ情報は PTS または DTS であり、
前記選択部は、
タイムスタンプを含むセクションの数が最も多いストリームを基準ストリームとして選択する
ことを特徴とする請求項 1に記載のストリーム多重化装置。
The stream is an MPEG2 transport stream;
The time stamp information included in the stream is PTS or DTS,
The selection unit includes:
2. The stream multiplexing apparatus according to claim 1 , wherein a stream having the largest number of sections including a time stamp is selected as a reference stream.
JP26625399A 1999-05-31 1999-09-20 Stream multiplexing device, data broadcasting device Expired - Fee Related JP4248703B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26625399A JP4248703B2 (en) 1999-05-31 1999-09-20 Stream multiplexing device, data broadcasting device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-151656 1999-05-31
JP15165699 1999-05-31
JP26625399A JP4248703B2 (en) 1999-05-31 1999-09-20 Stream multiplexing device, data broadcasting device

Publications (2)

Publication Number Publication Date
JP2001053703A JP2001053703A (en) 2001-02-23
JP4248703B2 true JP4248703B2 (en) 2009-04-02

Family

ID=26480835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26625399A Expired - Fee Related JP4248703B2 (en) 1999-05-31 1999-09-20 Stream multiplexing device, data broadcasting device

Country Status (1)

Country Link
JP (1) JP4248703B2 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7249242B2 (en) 2002-10-28 2007-07-24 Nvidia Corporation Input pipeline registers for a node in an adaptive computing engine
US6836839B2 (en) 2001-03-22 2004-12-28 Quicksilver Technology, Inc. Adaptive integrated circuitry with heterogeneous and reconfigurable matrices of diverse and adaptive computational units having fixed, application specific computational elements
US7962716B2 (en) 2001-03-22 2011-06-14 Qst Holdings, Inc. Adaptive integrated circuitry with heterogeneous and reconfigurable matrices of diverse and adaptive computational units having fixed, application specific computational elements
US7752419B1 (en) 2001-03-22 2010-07-06 Qst Holdings, Llc Method and system for managing hardware resources to implement system functions using an adaptive computing architecture
US7653710B2 (en) 2002-06-25 2010-01-26 Qst Holdings, Llc. Hardware task manager
US6577678B2 (en) 2001-05-08 2003-06-10 Quicksilver Technology Method and system for reconfigurable channel coding
US20030101363A1 (en) * 2001-11-27 2003-05-29 Master Paul L. Method and system for minimizing power consumption in embedded systems with clock enable control
US7046635B2 (en) 2001-11-28 2006-05-16 Quicksilver Technology, Inc. System for authorizing functionality in adaptable hardware devices
US8412915B2 (en) 2001-11-30 2013-04-02 Altera Corporation Apparatus, system and method for configuration of adaptive integrated circuitry having heterogeneous computational elements
US6986021B2 (en) 2001-11-30 2006-01-10 Quick Silver Technology, Inc. Apparatus, method, system and executable module for configuration and operation of adaptive integrated circuitry having fixed, application specific computational elements
US7215701B2 (en) 2001-12-12 2007-05-08 Sharad Sambhwani Low I/O bandwidth method and system for implementing detection and identification of scrambling codes
US7403981B2 (en) 2002-01-04 2008-07-22 Quicksilver Technology, Inc. Apparatus and method for adaptive multimedia reception and transmission in communication environments
US7328414B1 (en) 2003-05-13 2008-02-05 Qst Holdings, Llc Method and system for creating and programming an adaptive computing engine
US7660984B1 (en) 2003-05-13 2010-02-09 Quicksilver Technology Method and system for achieving individualized protected space in an operating system
US7937591B1 (en) 2002-10-25 2011-05-03 Qst Holdings, Llc Method and system for providing a device which can be adapted on an ongoing basis
US8276135B2 (en) 2002-11-07 2012-09-25 Qst Holdings Llc Profiling of software and circuit designs utilizing data operation analyses
US7225301B2 (en) 2002-11-22 2007-05-29 Quicksilver Technologies External memory controller node
JP4803378B2 (en) * 2006-11-06 2011-10-26 富士ゼロックス株式会社 Image processing apparatus and program
CA2625025C (en) 2007-03-20 2015-06-23 Kabushiki Kaisha Toshiba Ip broadcast system, and multiplexer, receiving apparatus and method used in ip broadcast system
JP6466951B2 (en) * 2014-01-13 2019-02-06 エルジー エレクトロニクス インコーポレイティド Apparatus and method for transmitting and receiving broadcast content via one or more networks

Also Published As

Publication number Publication date
JP2001053703A (en) 2001-02-23

Similar Documents

Publication Publication Date Title
JP4248703B2 (en) Stream multiplexing device, data broadcasting device
JP4481444B2 (en) Image encoding device
KR100226528B1 (en) Decoder for compressed and multiplexed video and audio data
US6404818B1 (en) Video transmission device and its method
CN100401784C (en) Data synchronization method and apparatus for digital multimedia data receiver
JP5586511B2 (en) Synchronous control device and program
US20040078828A1 (en) Recovering timing for television services
JP5399984B2 (en) Transmission device, server device, and reception device
JP2004297628A (en) Stream switching apparatus and apparatus for providing contents thereto
US7346054B2 (en) Method and system for co-relating transport packets on different channels using a cyclic redundancy check (CRC)
US7415014B2 (en) Method and system for co-relating transport packets on different channels using a packet prioritization scheme
JP2018182677A (en) Information processing apparatus, information processing method, program, and recording medium manufacturing method
US7434248B2 (en) Broadcast system and apparatus, sync information replacing apparatus and method, program, and recording medium recording the program
JP6957186B2 (en) Information processing equipment, information processing methods, programs, and recording medium manufacturing methods
JP4689231B2 (en) Transport stream switching device
JP3893643B2 (en) Signal multiplexing method and transmission signal generating apparatus using the same
JP3400681B2 (en) Data packet remultiplexing method and remultiplexing apparatus
JPH08275151A (en) Distribution decoder for multiplexed compressed image-audio data
JP4192766B2 (en) Receiving apparatus and method, recording medium, and program
JP6836971B2 (en) Receiver, receiver method and program
JP6953238B2 (en) Receiver, receiving method and program
JP2008011430A (en) Method for retransmitting contents, method for receiving contents, and apparatus for receiving contents
JP2010141498A (en) Video receiver and video transmitter
JPH11340936A (en) Method and device for multiplexing data
JP2002281498A (en) Reception reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4248703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees