JP4186935B2 - 多重化装置及び多重化方法、並びに多重化データ送受信システム - Google Patents

多重化装置及び多重化方法、並びに多重化データ送受信システム Download PDF

Info

Publication number
JP4186935B2
JP4186935B2 JP2005036654A JP2005036654A JP4186935B2 JP 4186935 B2 JP4186935 B2 JP 4186935B2 JP 2005036654 A JP2005036654 A JP 2005036654A JP 2005036654 A JP2005036654 A JP 2005036654A JP 4186935 B2 JP4186935 B2 JP 4186935B2
Authority
JP
Japan
Prior art keywords
packet
signal
interval
embedding
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005036654A
Other languages
English (en)
Other versions
JP2006222895A (ja
Inventor
由紀子 海野
元 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005036654A priority Critical patent/JP4186935B2/ja
Priority to US11/337,661 priority patent/US20060193348A1/en
Priority to CNA200610004440XA priority patent/CN1822507A/zh
Priority to DE200610006802 priority patent/DE102006006802A1/de
Publication of JP2006222895A publication Critical patent/JP2006222895A/ja
Application granted granted Critical
Publication of JP4186935B2 publication Critical patent/JP4186935B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams

Description

本発明は、オーディオデータと映像データとを多重化する多重化装置に関し、特にアナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号、又は上記１ビットオーディオ信号を圧縮した圧縮オーディオ信号を、可変ビットレートの映像信号に多重化する多重化装置及び多重化方法に関する。
また、本発明は、上記多重化装置により多重化されたストリームを伝送し、伝送された多重化ストリームを復号する多重化データ送受信システムに関する。
ΔΣ変調された１ビット・オーディオ信号は、従来のデジタルオーディオに使われてきたデータのフォーマット（例えばサンプリング周波数が44.1KHz、データ語長が16ビット）に比べて、非常に高いサンプリング周波数と短いデータ語長（例えばサンプリング周波数が44.1KHzの64倍、データ語長が１ビット）であり、伝送可能周波数帯域が広いことを特長としている。また、ΔΣ変調により１ビット信号であっても、64倍というオーバーサンプリング周波数に対して低域であるオーディオ帯域において、高いダイナミックレンジをも確保できる。この特徴を活かして高音質のレコーダーやデータ伝送に応用することができる。
ΔΣ変調回路自体はとりわけ新しい技術ではなく、回路構成がIC化に適していて、また比較的簡単にAD変換の精度を得ることができることから、従来からADコンバータの内部などでよく用いられている回路である。
ΔΣ変調された信号は、簡単なアナログローパスフィルターを通すことによって、アナログオーディオ信号に戻すことができる。
ところで、音声波形の符号化に、予測符号化というものがある。音声信号は、隣接標本間のみならず、さらに離れた点の間でも相関がある。その相関を利用して予測した値と実際の標本値との差を符号化する方法が予測符号化である。差は実際の標本値の分布に比べて変化範囲が小さくて済み、また予測の的中具合により生じる分布の偏りと共に符号化することで効率的な情報圧縮を図ることができる。この原理はデジタルオーディオ信号を圧縮記録する系において有用であり、またΔΣ変調された１ビット・オーディオ信号の圧縮記録系内においても用いられている。
１ビット・オーディオ信号を圧縮記録する方法として、ロスレスコーディング（可逆圧縮）技術がある（下記特許文献１）。この技術は、前述の予測符号化の原理に基づいた予測フィルタと算術符号器から成り、予測フィルタ内で入力信号と予測値の差を取り、算術符号器でその差を分布の偏り、即ち分布確率と共に符号化する。予測フィルタ内における予測の当たり具合により、差の分布確率が決まることから、予測は当たれば当たるほどその差に対して高い確率を与えることができる。続いて算術符号器内において、ある区間の差をその区間における差の分布確率を用いて算術符号化することにより、その区間の差は圧縮された符号となる。現在、この技術はスーパーオーディオCDにおける１ビット・オーディオ信号の圧縮技術として用いられている。
また、映像信号の符号化にはMPEG（Moving Picture Expert Group）と呼ばれる国際標準規格がある。MPEGでは、空間領域と時間領域における冗長性を除去することによって映像信号の圧縮を行っている。空間領域における冗長性の除去には離散コサイン変換を用いる。画像を空間周波数領域のデータに変換すると、データは低周波側に偏る。この結果高周波側のデータにより少ないビット数を割り当てることにより、全体として変換前より少ないビット数で画像を符号化できる。時間領域における冗長性の除去にはフレーム間予測を用いる。動画像は複数のフレームと呼ばれる画像により構成されている。あるフレームと、その1/30秒前の画像である直前のフレームとの間では、多くの場合それぞれの画像は似たものとなる。そこで直前のフレームをもとに、現フレームとの差のみを抽出して符号化すれば、ビット数の削減につながる。これをフレーム間予測という。MPEGの符号化において、この差が大きい個所により多くのデータを、差が小さい個所に少ないデータを充当することで、画質を落とすことなく全体のデータ量をより縮小させることができる。このことは、伝送経路において、可変ビットレートとなることを示す。
デジタル信号の多重化において、固定ビットレートの映像信号と音声信号の多重化方法は、各デジタル信号のビットレートを用いれば、多重化は容易である。ある時間間隔において、各デジタル信号の伝送される信号量が一定になるように多重化すればよい。この方法は、市販の多重化ソフトウェアに用いられている。
また、下記特許文献２には、映像信号と音声信号を多重化してディジタル伝送を行う映像音声多重送信装置において、音声信号のアナログ／ディジタル変換にデルタ・シグマ変調回路を用いる構成が記載されている。所定レートの情報量を持つ映像信号を書き込んで蓄積し伝送フレームで規定されるタイミングで映像信号データを読み出すメモリと、アナログ音声信号をデルタ・シグマ変調にて所定周波数のクロック周期毎にディジタルデータに変換して出力するデルタ・シグマ変調器と、所定周期で前記伝送フレームを構成し、前記メモリの出力の映像信号データと前記デルタ・シグマ変調器の出力の音声信号データを多重化してシリアル信号を出力する多重回路とを備えて成る構成である。
一方で、可変ビットレートの映像信号と音声信号などのデジタル信号とを多重化する場合は、ある時間間隔における、映像信号の伝送量を、復号器側のバッファ状態を確認しながら多重化する必要があり、処理が複雑となる。
また、映像信号と音声信号及びそれ以外の付加用デジタル信号の多重化方式にMPEG2 TransportStream（以下、MPEG2-TS）と呼ばれる国際標準規格がある。MPEG2-TSのデジタル信号は188バイトの固定長パケット（以下、ＴＳパケット）に分割され伝送される。ＴＳパケットには巡回カウンタやビット誤り表示などを示す項目があり、放送や通信ネットワークなどデータの伝送誤りが発生する環境に適用されることを想定している。
MPEG2-TSは伝送レートが固定の通信路で使用され、実用例としてはスカイパーフェクTVやDirecTV、BSデジタル放送などが挙げられる。このようなスカイパーフェクTVやDirecTV、BSデジタル放送などの通信路より伝送されるMPEG2-TSをデジタルメディアに記録する際、188バイトの固定長パケットの他に、固定長パケット間の時間間隔を表すパケット間隔時間情報を記録する方法がある。これは、あるパケットから次のパケットまでの間隔を時間情報として別に記録しておくことで、記録時と同様のタイミングで再生できることを示す。例えば、BSデジタル放送では、記録したい番組に対して必要なパケットだけを記録し、不必要なパケットは記録せず、上記のパケット間隔時間情報を記録することで、全体の記録量を小さくしている。このようなMPEG2-TSのことをパーシャルＴＳと称し、電波産業界（Association of Radio Industries and Businesses:ARIB）規格でも用いられている。
MPEG2-TSの復号器は、先ずＴＳパケットを受信したら、映像や音声などの要素毎に分け、要素毎にバッファリングする。その後、それぞれの復号系において、バッファリングされた信号は、指定された復号・再生時刻で復号・再生される。
米国特許第６２８９３０６号明細書 特開平０８−１７２６１４号公報
ところで、上記パーシャルＴＳを伝送する用途にあっても、デジタル信号の多重化系内において、可変ビットレートの映像信号の画質及び出力時間を変更することなく、固定ビットレートの１ビット・オーディオ信号又は１ビット・オーディオ信号を圧縮技術により圧縮した信号とを多重化させる多重化装置及び多重化方法が必要となるはずである。
本発明は、上記実情に鑑みてなされたものであり、固定ビットレートの１ビット・オーディオ信号又は１ビット・オーディオ信号を圧縮技術により圧縮した信号とを多重化させることのできる多重化装置及び多重化方法の提供を目的とする。
また、上記多重化装置及び多重化方法により、多重化されたストリームを受信側に伝送し、受信側で復号し再生する多重化データ送受信システムの提供を目的とする。
本発明に係る多重化装置は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化する。
可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報が、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを多重化するのに十分であれば、１ビットオーディオ信号を含むパケットを埋め込める。もちろん、埋め込んだ後のパケット間隔の合計時間は、埋め込む前のパケット時間を超えないようにする。また、元のパケット時間情報を複数に分割されたパケット時間情報に書き換える。
本発明に係る多重化装置は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段とを備える。
間隔制御手段は、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットが埋め込めるパケット間隔を選択する。可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報が、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを多重化するのに十分であれば、１ビットオーディオ信号を含むパケットを埋め込める。もちろん、埋め込んだ後のパケット間隔の合計時間は、埋め込む前のパケット時間を超えないようにする。書き換え手段は、元のパケット時間情報を複数に分割したパケット時間情報に書き換える。
本発明に係る多重化方法は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化する。
本発明に係る多重化方法は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、埋め込むための制御を行う間隔制御工程と、上記間隔制御工程の制御に基づいて上記１ビットオーディオ信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み工程と、上記埋め込み工程により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え工程とを備える。
本発明に係る多重化装置は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、上記可変ビットレートの映像信号を含む複数パケット間に多重化する。
可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報が、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを多重化するのに十分であれば、１ビットオーディオ信号を圧縮した信号を含むパケットを埋め込める。もちろん、埋め込んだ後のパケット間隔の合計時間は、埋め込む前のパケット時間を超えないようにする。また、元のパケット時間情報を複数に分割されたパケット時間情報に書き換える。
本発明に係る多重化装置は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段とを備える。
間隔制御手段は、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットが埋め込めるパケット間隔を選択する。可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報が、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを多重化するのに十分であれば、１ビットオーディオ信号を圧縮した信号を含むパケットを埋め込める。もちろん、埋め込んだ後のパケット間隔の合計時間は、埋め込む前のパケット時間を超えないようにする。書き換え手段は、元のパケット時間情報を複数に分割したパケット時間情報に書き換える。
本発明に係る多重化方法は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化する。
本発明に係る多重化方法は、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、埋め込むための制御を行う間隔制御工程と、上記間隔制御工程の制御に基づいて上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み工程と、上記埋め込み工程により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え工程とを備える。
本発明に係る多重化データ送受信システムは、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化する多重化装置と、上記多重化装置からの多重化データを受信しバッファメモリを用いて復号する復号装置とを備える。
この多重化データ送受信システムにあって多重化装置は、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段とを備える。
本発明に係る多重化データ送受信システムは、上記課題を解決するために、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、上記可変ビットレートの映像信号を含む複数パケット間に多重化することを特徴とする多重化装置と、上記多重化装置からの多重化データを受信しバッファメモリを用いて復号する復号装置とを備える。
この多重化データ送受信システムにあって多重化装置は、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段とを備える。
また、多重化装置の間隔制御手段は、上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込んだ後の多重化データを送信するとき、上記復号装置のバッファ容量に基づいて転送レートを調整するように上記埋め込み手段を制御し、上記復号装置のバッファの破綻を防ぐ。
また、多重化装置の上記間隔制御手段は、現在の単位時間内に上記映像信号を含む複数パケット間に埋め込むべき上記１ビットオーディオ信号を圧縮した信号を含む複数パケットのうち、少なくとも１パケットを前後の単位時間内に埋め込むように上記埋め込み手段を制御し、上記復号装置のバッファの破綻を防ぐ。
本発明では、可変ビットレートの映像信号を含むパーシャルＴＳを基に、その時刻情報であるパケット間隔時間情報を参照し、パケット間隔が大きい所に、１ビット・オーディオ信号又は圧縮された信号を含むＴＳパケットを途切れないように埋め込む。埋め込んだ場所のパケット間隔時間情報は、埋め込んだパケット数によりその値を書き換える。
圧縮された信号を含むＴＳパケットを埋め込む際、埋め込み後の間隔が非常に小さくなり、局所的にビットレートが上がってしまい、受信側でオーバーフローが起こる場合は、圧縮された信号を含むＴＳパケットの送信間隔を調整する。
MPEG2-TSの伝送に必要な情報を含むＴＳパケットに、１ビット・オーディオ信号又は圧縮された信号を含むＴＳパケットの情報を追加する。
あるパケット間隔にＴＳパケットを新たに挿入し、そのパケット間隔時間情報を書き換えるということは、その部分のビットレートが変更されることを意味するが、本来存在するパケット同士の間隔は保たれるので、バッファリングには影響を及ぼさず、よって映像や音声の復号・再生時刻にも影響しない。
また、１ビット・オーディオ信号又は圧縮された信号を含むＴＳパケットをある時間間隔でその時間に必要な量だけ確実に伝送することで、１ビット・オーディオ信号も途切れなく再生することが可能となる。
パケット挿入により、局所的にビットレートが上がることで起こりうるオーバーフローを防ぐために、圧縮された信号を含むＴＳパケットの伝送間隔を調整するにあたっては、圧縮された信号は可変ビットレートであるため、伸長や再生に影響が出ない程度即ちバッファ容量の範囲内での調整であれば、問題ない。
本発明に係る多重化装置及び多重化方法によれば、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビット・オーディオ信号を含むパケットを、映像信号を含む複数のパケットに多重化する系内に関し、映像信号が可変ビットレートの際、多重化における時間情報を変更することで、１ビット・オーディオ信号を含むパケットの多重化を可能とする。また１ビット・オーディオ信号を圧縮技術により圧縮した信号を含むパケットを、可変ビットレートの映像信号を含む複数のパケットに多重化することも可能にする。
本発明に係る多重化データ送受信システムによれば、送信側の多重化装置にて単位時間内にＤＳＤ信号を平均的に埋め込むことができる。また、多重化装置にて生成された新たな多重化データ内のＤＳＤ信号は、例えばデジタルビデオオーディオプレーヤのような復号装置に伝送された後に、ＨＤ映像信号に基づいた高画質の映像に付随した、１ビット・オーディオ信号として高音質の状態で途切れることなく再生される。
また、１ビット・オーディオ信号を圧縮技術により圧縮した可変レートのＤＳＴ信号を含むパケットをＨＤ映像信号を含むパーシャルＴＳ信号に埋め込む際には、単位時間Ｃｎにおける、埋め込み間隔の縮小化による高ビットレート化を防止することができる。このため、多重化データ送受信システムを構成する受信機側の復号装置のバッファのオーバーフローを防ぐことができ、受信機におけるパケットＤｎの再生の破綻を防ぐことができる。
本発明に係る多重化装置及び多重化方法によって行われる、可変ビットレートの映像信号とデジタル信号との多重化は、マルチメディアデータの伝送分野においては不可欠であり、また１ビット・オーディオ信号のMPEG規格における発展が見込まれる。
以下、本発明の実施の形態について図面を参照しながら説明する。第１の実施の形態は、ＨＤ品質の映像信号を含んだパーシャルＴＳ信号と、2ch（ステレオ）の１ビット・オーディオ信号を多重化の対象とする多重化装置の具体例である、パーシャルＴＳ信号編集機である。
図１は、第１の実施の形態のパーシャルＴＳ信号編集機１と、このパーシャルＴＳ信号編集機１から伝送されてくる編集出力である多重化データを受信し、ＨＤビデオ信号、１ビット・オーディオ信号を再生するデジタルビデオオーディオプレーヤ４とからなる多重化データ送受信システムを示す。
パーシャルＴＳ信号編集機１は、ディジタル放送用受信器（Digital Integrated Receiver Decoder：ＤＩＲＤ）からの可変ビットレートの映像信号を含むパーシャルＴＳ信号Ｐ１を受け取る。また、パーシャルＴＳ信号編集機１は、入力端子から入力されたアナログオーディオ信号にΔΣ変調器でΔΣ変調処理が施されて得られた１ビット・オーディオ信号Ｄも受け取る。そして、このパーシャルＴＳ信号編集機１は、１ビット・オーディオ信号Ｄを含むＴＳパケットを、可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、基のパーシャルＴＳ信号Ｐ１に埋め込み、新たなパーシャルＴＳパケットＰ２をデジタルビデオオーディオプレーヤ４に出力する。
デジタル放送用受信器１０は、デジタルＣＳ(通信衛星）放送や、デジタルＢＳ（放送衛星）放送などのいわゆる多チャンネル放送を受信する。具体的には、アンテナを介して受信される、複数のトランスポンダからそれぞれ伝送されてきた、複数のトランスポートストリームを受信する。また、デジタル放送用受信器は、受信した複数のトランスポートストリームのうち、所定の一つのトランスポンダから伝送されてきた１本のトランスポートストリームを取り出し、それからユーザによる所定の操作により指定（選択）されたプログラム（番組）を構成するエレメンタリストリーム（ビデオ信号又はオーディオ信号）が格納されているトランスポートストリームパケット（ＴＳ）、並びにそのプログラムのプログラム仕様情報（Program Specific Information：PSI)等を抽出する。デジタル放送用受信器は、さらに、抽出したＴＳパケット、PSI等に基づいて、選択されたプログラムのみが多重化されたトランスポートストリームであるパーシャルＴＳ信号を生成する。
図２は、デジタル放送用受信器１０の構成を示す図である。図２にあって、デジタル放送用受信器１０は、アンテナ１１、受信部１２、パーシャルＴＳ生成部１３、および出力処理部１４より構成されている。受信部１２は、チューナ２１及び復調／復号部２２からなり、チューナ２１は、アンテナ１１を介して受信された、複数のトランスポンダストリームから、ユーザによる所定の操作により選択されたプログラムが多重化されている１本のトランスポートストリームを読み出し、復調／復号部２２に出力する。復調／復号部２２は、チューナ２１から入力されたトランスポートストリームを、復調し、復号する。復調／復号部２２は、復調し、復号した信号を、パーシャルＴＳ生成部１３のデマルチプレクサ２３に出力し、またその信号がテレビジョンを介して出力（表示）される場合、出力処理部１４に出力する。
パーシャルＴＳ生成部１３のデマルチプレクサ２３は、受信部１２の復調／復号部２２から入力されたトランスポートストリームを分離し、分離したトランスポートストリームから、ユーザによる所定の操作により選択された１つのプログラムを構成するエレメンタリーストリームを含むＰＥＳ（Packetized Elementary Stream）パケットを抽出し、多重化部２４に出力する。デマルチプレクサ２３はまた、分離したトランスポートストリームから、プログラムの仕様情報を示すＰＳＩ等を抽出し、制御部２５に出力する。
制御部２５は、ＰＳＩ等を参照して、選択された一つのプログラムのみが多重化されている１本のパーシャルＴＳの各エレメンタリーパケットである、例えば188バイトの固定長パケット間の時間間隔を表すパケット間隔時間情報を生成し、多重化部２４に供給する。このパケット間隔時間情報は、あるパケットから次のパケットまでの間隔を時間情報としてあらわしたものである。このパケット間隔時間情報を伝送のための処理時に記録しておくことで、再生側では伝送前と同様のタイミングで再生できる。
多重化部２４は、デマルチプレクサ２３から入力されたＰＥＳパケット及び制御部２５からのＰＳＩや上記パケット間隔時間情報を多重化し、選択された一つのプログラムのみが多重化されている１本のパーシャルＴＳ信号Ｐ１を生成し、出力端子１５から、例えばIEEE１３９４インターフェース（Ｉ／Ｆ）に接続されたIEEE１３９４バスに出力する。IEEE１３９４バスはパーシャルＴＳ信号編集機１に接続されており、上記１本のパーシャルＴＳ信号Ｐ１はパーシャルＴＳ信号編集機１に供給される。
出力処理部１４は、受信部１２の復調／復号部２２から入力されたトランスポートストリームを分離し、オーディオデータ、ビデオデータを取り出し、各デコーダによりデコードして、出力端子１６、１７から図示しないテレビジョン受像機などに出力する。
図３には、ＤＳＤ（ダイレクトストリームデジタル）として規定されているハイクオリティな１ビットオーディオ信号を生成するΔΣ変調器３の構成を示す。このΔΣ変調器３は、一つの積分器３２と、一つの１ビット量子化化器３３とのその量子化出力のフィードバック系との組み合わせで構成されている。詳細には、入力信号Ｇが正入力端子に供給され、後述する帰還出力が負入力端子に供給される加算器３１と、加算器３１の加算出力に積分処理を施す積分器３２と、この積分器３２の積分出力を１サンプル周期毎に１ビットデジタル信号に量子化する１ビット量子化器３３とを備える。１ビット量子化器３３の量子化出力Ｈは、加算器３１に負符号とされて帰還され、入力信号Ｇに加算（結果的に減算）される。また、１ビット量子化器３３からは１ビットデジタル信号Ｈが量子化出力として外部に導出される。積分器３２は加算器３２ａと、遅延器３２ｂを備える。
ここで、１ビット量子化器３３は、図４に示すように、時間に対して不変で常に０である閾値（スレッシュホールド）Ｔｈを参照して入力信号Ｘ（ｎ）に量子化処理を施して１ビット出力信号Ｙ（ｎ）を生成している。すなわち、この１ビット量子化器３３は、入力信号Ｘ（ｎ）に対して０を境に、０以上と０未満で２値のレベルを判定し、量子化処理を施している。
さらに、図５には、積分器を複数備えたΔΣ変調器４０の構成を示す。この図５に示すΔΣ変調器４０は、５個の積分器４３，４６，４９，５２及び５５を備えた５次のΔΣ変調器である。また、このΔΣ変調器４０は、５個の積分器４３，４６，４９，５２及び５５の前で、各積分器に多ビットのデジタル信号を加算する加算器４２，４５，４８，５１及び５４と、上記５個の積分器の内の１番目〜４番目の積分器４３，４６，４９及び５２の後ろに接続される４個の減衰器４４，４７，５０及び５３と、５番目の積分器５５の後ろに接続される、１ビット量子化器３３と同様の１ビット量子化器５６と、この１ビット量子化器５６からの１ビットデジタル信号のビット長を多ビットに変換し、５個の積分器４３，４６，４９，５２及び５５の入力となるように加算器４２，４５，４８，４２及び５４に供給するビット長変換器５７とを備える。
１番目の積分器４３は、入力端子４１及び加算器４２を介して供給された入力信号を積分する。このため、図３に示した加算器３２ａと同様の加算器からの出力を、遅延器３２ｂと同様の遅延器で遅延し、上記加算器に戻す構成をとる。２番目〜５番目の積分器４６，４９，５２及び５５も同様である。
５番目の積分器５５からの積分出力は１ビット量子化器５６に供給される。１ビット量子化器５６は、量子化処理にて参照する閾値レベルＴｈを以下のようにしてΔｑとする。最終段の積分器内で得られる振幅に基づいて行う。具体的には、最終段の積分器内で生成される信号の振幅の最大値Ｄｅｎｄにある定数Ｓαを掛け算した値ＳαＤｅｎｄを最適な可変閾値レベルΔｑとする方法である。つまり、Δｑ＝ＳαＤｅｎｄとして算出する。この算出方法を用いれば、いかなるΔΣ変調の構成でも一意に決まる定数を掛算した結果を最適な可変閾値レベルとすることができる。このように、最終段となる５番目の積分器５５内部の信号の振幅Ｄｅｎｄに基づいてΔｑを算出している。
したがって、この１ビット量子化器５６が５番目の積分器５５の積分出力に施した量子化処理では、参照する閾値レベルを時間軸に対して適切にランダムに可変とするので、入力信号に依存した歪を発生させることがない。この１ビット出力信号は、出力端子５８から導出されると共に、ビット長変換器５７に供給される。
ビット長変換器５７は、１ビット量子化器５６からの１ビット信号を多ビットのデジタル信号に変換し、加算器４２，４５，４８，５１及び５４に負符号を付して帰還する。したがって、各加算器４２，４５，４８，５１及び５４は、入力端子４１及び前段の各積分器４３，４６，４９，５２から減衰器４４，４７，５０，５３を介して供給される信号からビット長変換器５７の出力信号を減算する。
減衰器４４，４７，５０及び５３は、係数Ｋ１，Ｋ２，Ｋ３及びＫ４を用いて、積分器４３，４６，４９及び５２の各積分出力を減衰し、加算器４５，４８，５１及び５４に供給する。
したがって、このΔΣ変調器４０は、１ビット量子化器５６における量子化処理にて参照する閾値レベルを時間軸に対して適切にランダムに可変とするので、入力信号に依存した歪を発生させることがない。
次に、パーシャルＴＳ信号編集機１におけるパケット埋め込み処理の概念について図６を参照しながら説明する。パーシャルＴＳ信号編集機１は、基となるパーシャルＴＳ信号Ｐ１に、１ビット・オーディオ信号を含むＴＳパケットパケットＤｎを埋め込み、新たなパーシャルＴＳ信号Ｐ２を得る。
基となるパーシャルＴＳ信号Ｐ１は、図２に示したデジタル放送用受信器１０のパーシャルＴＳ生成部１３で生成されたものであり、１つのプログラムを構成する、Ｖｎで示すビデオパケット、Ａｎで示すオーディオパケットが含まれている。各パケットは、188バイトの固定長である。各パケットの間には、直前直後のパケットの間隔を示す時間情報であるパケット間隔時間情報ｔｎが例えば４バイトの情報として書き込まれている。つまり、４バイトのパケット間隔時間情報ｔｎは、あるパケットから次のパケットまでの間隔を時間情報としてあらわしたものである。
例えば、ビデオパケットＶ１とビデオパケットＶ２との間には、パケット間隔時間情報ｔ１が書き込まれている。これは、ビデオパケットＶ１を伝送しはじめてから次のビデオパケットＶ２を伝送し始めるまでのパケット間隔がｔ１であることを表す。また、ビデオパケットＶ２とオーディオパケットＡ１との間に書き込まれているパケット間隔時間情報ｔ２は、同様に、ビデオパケットＶ２を伝送しはじめてから次のオーディオパケットＡ１を伝送しはじめるまでのパケット間隔がｔ２であることを示す。
基のパーシャルＴＳ信号Ｐ１に埋め込む１ビット・オーディオ信号を含むパケットＤｎも、188バイト固定長である。図６の例では、Ｄ１，Ｄ２，Ｄ３を埋め込むパケットとして示している。ΔΣ変調器３から供給された１ビット・オーディオ信号は、図示しないパケッタイズ化部にて、188バイト固定長のパケットにされている。
図６において、ビデオパケットＶ１とビデオパケットＶ２とのパケット間隔時間情報ｔ１を見て、これらパケット間に、パケットＤ１を埋め込むことができると判断したときには、ｔ１＞ｔ１’であるようなパケット間隔時間情報ｔ１’を決め、このｔ１’をビデオパケットＶ１と埋め込んだ後のパケットＤ１との間隔情報とし、これらパケットの間に書き込む。
このとき、パケットＤ１が埋め込めるパケット間隔は、複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択される。例えば、最小のパケット間隔を基準に、それよりも大きい時間間隔のパケット間隔が選択される。
続いてパケットＤ１とビデオパケットＶ２のパケット間隔時間情報をｔ１”＝ｔ１−ｔ１’とし、基のパーシャルＴＳ信号Ｐ１におけるビデオパケットＶ１とビデオパケットＶ２の間隔ｔ１を保つようにパケット間隔時間情報ｔ１”を決める。パケット間隔時間情報ｔ１’を決める際、なるべく前後で平均的な値になるように、パケット間隔時間情報ｔ１を（埋め込む数＋１）で割った値をｔ１／２＝ｔ１’とすると、ｔ１’とｔ１”（ｔ１”＝ｔ１−ｔ１’）の差が小さくなり、急激なビットレートの変化を起こさずに済む。
同様に、ビデオパケットＶ２とオーディオパケットＡ１とのパケット間隔時間情報ｔ２を見て、これらパケット間に、パケットＤ２、パケットＤ３を埋め込むことができると判断したときには、ｔ２＝ｔ２’＋ｔ２’＋ｔ２”、ｔ２”＝（ｔ２−２×ｔ２’）であるようなパケット間隔時間情報ｔ２’、ｔ２”を決める。Ｖ２とＤ２とのパケット間隔をｔ２’、Ｄ２とＤ３との間隔をｔ２’、Ｄ３とＡ１との間隔をｔ２”とする。この場合、ｔ２／３＝ｔ２’となる。
このようにパケットＤｎの埋め込みによってパケット間隔時間情報を書き換えるが、全体の経過時間Ｔは変わらない。
次に、パーシャルＴＳ信号編集機１の詳細な構成、動作について図７〜図１１を参照して説明する。
先ず、図７は、パーシャルＴＳ信号編集機１の機能ブロック図である。パーシャルＴＳ信号編集機１は、基のパーシャルＴＳ信号Ｐ１の最小のパケット間隔ＭＩＮを検出するパケット間隔検出部６３と、パケット間隔検出部６３で検出された最小のパケット間隔と基のパーシャルＴＳ信号の各パケット間隔時間情報を比較し、最小のパケット間隔時間情報ＭＩＮよりも大きいパケット間隔時間情報がどれかを示す検知情報を出力する比較器６５と、比較器６５からの検知情報に基づいて後述の埋め込み部６８のパケット埋め込み動作を制御する間隔制御部６６とを備える。
また、パーシャルＴＳ信号編集機１は、間隔制御部６６の制御に基づいて、基のパーシャルＴＳ信号Ｐ１にパケットＤｎを埋め込む埋め込み部６８と、間隔制御部６６からの間隔情報に基づいて埋め込み部６８におけるパケット間隔時間情報を書き換える間隔情報書き換え部６７と、単位時間Ｃ内に多重化する必要のある１ビット・オーディオ信号を含むパケット数Ｎを取得するパケット数Ｎ取得部６４と、パーシャルＴＳの伝送に必要な情報を含むＴＳパケットにＤＳＤ信号を含むＴＳパケットの情報を追加するＴＳパケット情報追加部６９とを備える。
このように、パーシャルＴＳ信号編集機１は、比較器６５により可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較し、比較器６５からの比較結果に基づいて、間隔制御部６６がパケット間隔時間情報の上記最小のパケット間隔時間情報より大きいところに、上記１ビットオーディオ信号を含むパケットＤｎを埋め込む制御を行う。
また、埋め込み部６８は、間隔制御部６６の制御に基づいて上記パケットを上記映像信号を含む複数パケット間に埋め込み、間隔情報書き換え部６７が埋め込み部６８により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット時間間隔情報を書き換える。
埋め込み部６８は、詳細は後述するが、単位時間Ｃ内に上記映像信号を含む複数パケット（パーシャルＴＳ信号Ｐ１）間に埋め込むべき上記１ビットオーディオ信号を含むパケット数にしたがって上記パケットＤｎを埋め込む。
パーシャルＴＳ信号編集機１には、デジタル放送用受信器１０のパーシャルＴＳ生成部１３によって生成され、例えばIEEE1394バスを介して送られたパーシャルＴＳ信号が入力端子６１を介して入力される。また、ΔΣ変調器３から供給された１ビットオーディオ信号は入力端子６２を介して入力される。
パーシャルＴＳ信号は、パケット間隔検出部６３と比較器６５に供給される。パケット間隔検出部６３は、基のパーシャルＴＳ信号Ｐ１の最小のパケット間隔ＭＩＮを検出し、比較器６５に供給する。比較器６５は、基のパーシャルＴＳ信号の各パケット間隔時間情報のうち、最小のパケット間隔時間情報ＭＩＮよりも大きいパケット間隔時間情報がどれかを示す検知情報を間隔制御部６６に知らせる。間隔制御部６６は、比較器６５から供給された上記検知情報に基づいて、間隔がより大きいところに、パケットＤを埋め込み、ＴＳパケットの間隔を平均的にするための埋め込み制御信号を埋め込み部６８に供給する。
埋め込み部６８は、基のパーシャルＴＳ信号Ｐ１に、１ビット・オーディオ信号を含むパケットＤｎを、間隔制御部６６から供給される埋め込み制御信号に基づいて埋め込む。パケットＤｎは、パケット数Ｎ取得部６４から単位時間Ｃにおけるパケット数Ｎとして供給される。パケット数Ｎ取得部６４は、入力端子６２から供給される、１ビット・オーディオ信号を含むパケットＤｎについて、単位時間Ｃ内に多重化する必要のあるパケット数Ｎを取得するブロックである。このパケット数Ｎ取得部６４の動作概念については後述する。
埋め込み部６８にて基のパーシャルＴＳ信号Ｐ１に、１ビット・オーディオ信号を含むパケットＤｎを、間隔制御部６６から供給される埋め込み制御信号に基づいて埋め込んだ場合、新たに各パケット間のパケット間隔時間情報ｔｎを間隔情報書き換え部６７にて書き換える。このため間隔情報書き換え部６７は、間隔制御部６６からの間隔情報に基づいて埋め込み部６８におけるパケット間隔時間情報を書き換える。
埋め込み部６８から出力されたパケットＤｎ埋め込む後のパーシャルＴＳパケットはＴＳパケット情報追加部６９に供給され、パーシャルＴＳの伝送に必要な情報を含むＴＳパケットにＤＳＤ信号を含むＴＳパケットの情報が追加され、出力端子７０から伝送される。パーシャルＴＳの伝送に必要な情報を含むＴＳパケットにＤＳＤ信号を含むＴＳパケットの情報の追加については、本件出願人が特願２００４−１７４７６３号にて提案した方法による。
図８には、上記構成のパーシャルＴＳ信号編集機１の処理手順を表すフローチャートを示す。先ず、ステップＳ１にて、パケット間隔検出部６３により、基のパーシャルＴＳ信号Ｐ１の最小のパケット間隔ＭＩＮを検出し、比較器６５に供給する。次に、ステップＳ２にて、パケット数Ｎ取得部６４により、単位時間Ｃにおいて、１ビット・オーディオ信号を含むＴＳパケットＤｎの多重化すべきパケット数Ｎを確定する。
多重化すべきパケット数Ｎとは、ある単位時間Ｃにあって、Ｎパケットを多重化しておけば、途切れずに再生できるようなパケット数のことを指す。ＤＳＤ（ダイレクトストリームデジタル）信号は、７５Ｈｚで１フレーム分の固定レートである。つまり、１／７５[s]で１フレームの固定レートである。２チャンネルのＤＳＤ信号の場合、１フレーム分のＤＳＤ信号は５２個のＴＳパケットに格納される。よって、単位時間Ｃは、１フレームを構成するパケット数Ｎ（＝５２ＴＳパケット）を途切れなく伝送するための時間ということで、例えば１／７５[s]とすることができる。
次に、ステップＳ３にて、比較器６５により単位時間Ｃ内の各ＴＳパケットのパケット間隔ｔｎをパケット間隔検出部６３で検出された最小値ＭＩＮと比較し、間隔制御部６６により埋め込み後の間隔が平均的になるように埋め込み制御信号を生成して埋め込み部６８に供給し、埋め込み部６８により１ビット・オーディオ信号を含むパケットＤｎを基のパーシャルＴＳパケット信号Ｐ１に埋め込み、間隔情報書き換え部６７にてパケット間隔時間情報を書き換える。
このステップＳ３では、例えば、ＭＩＮが１秒であり、単位時間Ｃ内のパケット間隔が順に１秒、２秒、１秒、４秒であった場合、２秒や４秒の間隔にパケットを埋め込むようにし、埋め込み後の間隔はＭＩＮより小さくならないようにする。間隔が大きい部分に埋めても足りない場合は、ＭＩＮとの差が大きくない間隔部分にも挿入する。その際の間隔書き換えは、ビットレートの急激な変化を避けるために、元の間隔を2等分した値とする。例えば、1秒の部分に埋め込む場合は、埋め込み後の間隔を0.5秒とする。
ステップＳ４では、１ビット・オーディオ信号を含むパケットＤｎ又はパーシャルＴＳ信号パケットＰ１が終了か否かを判断し、終了であればステップＳ５に進んで、パーシャルＴＳ信号の伝送に必要な情報を含むＴＳパケットに、１ビット・オーディオ信号を含むＴＳパケットの情報を追加する。
図９には、間隔制御部６６による埋め込み部６８に対する埋め込み制御の概念を示す。（ａ）に示すパーシャルＴＳ信号Ｐ１の各パケット間隔時間情報ｔｎは、時間軸上では図９（ｂ）に示すようになる。ここでは、ｔ３が最小値ＭＩＮとする。最小値ＭＩＮよりパケット間隔時間が長いｔ１には１個のパケットＤ１を、ｔ２には２個のパケットＤ２，Ｄ３を埋め込むとする。
図９（ｃ）は、パケット間隔ｔ１に１個のパケットＤ１を埋め込む場合の間隔制御部６６にて行われる処理概念を示す。図９（ｃ）にあってＴＴは１個のパケットの伝送時間である。また、ＴＬはパケット間隔時間情報であり、Ｔ１はパケットＶ１の伝送が終わってからパケットＤ１の伝送を始まるまでの時間であり、Ｔ２はパケットＤ１の伝送が終わった後のパケット間隔時間情報ＴＬの残りの時間である。また、ＴＷ１はビデオパケットＶ１が伝送されてから次のパケットであるＤ１が伝送されるまでの時間、すなわちパケットＤ１を埋め込んだ後のビデオパケットＶ１のパケット間隔時間情報である。また、ＴＷ２はパケットＤ１が伝送されてからパケット間隔ＴＬが終わるまでの時間であり、パケットＤ１を埋め込んだ後のパケットＤ１のパケット間隔時間情報である。
間隔制御部６６は、パケット間隔ＴＬでビデオパケットＶ１を伝送するときに、１個のパケットＤ１を埋め込む際、Ｄ１の埋め込み位置を、ビデオパケットＶ１が伝送されてから次のパケットであるＤ１が伝送されるまでの時間ＴＷ１経過後の位置としている。この時間ＴＷ１は、188バイトの伝送時間ＴＴ以上であり、パケット間隔ＴＬを埋め込んだ後のＴＬ内に存在するパケット数ｎ＋１で割った値以下と設定するのが望ましい。
一般化すると、間隔制御部６６は、任意のパケット間隔時間情報ＴＬで上記映像信号を含むパケットを１個伝送する際に、上記１ビットオーディオ信号を含むｎ個のパケットを埋め込むとき、当該ｎ個のパケットのうちの始めのパケットを伝送しはじめるまでの時間ＴＷ１を、上記映像信号を含むパケットを１個伝送する時間ＴＴ以上で、任意のパケット間隔時間情報ＴＬを（ｎ＋１）で除算したＴＬ／（ｎ＋１）以下とする。
これを式で示すと、
ＴＴ≦ＴＷ１≦ＴＬ／（ｎ＋１）
となる。よって、パケットＤ１を１個埋め込む場合は、理想的には、ＴＷ１＝ＴＬ／２のパケット間隔であることが望ましい。
図９（ｄ）は、パケット間隔ｔ２に２個のパケットＤ２，Ｄ３を埋め込む場合の間隔制御部６６にて行われる処理原理を示す。つまり、パケット間隔ＴＬでビデオパケットＶ２を伝送するときに、２個のパケットＤ２、Ｄ３を埋め込むには、Ｄ２の埋め込み位置を、ビデオパケットＶ２が伝送されてから次のパケットであるＤ２が伝送されるまでの時間ＴＷ１経過後の位置とし、188バイトの伝送時間ＴＴ以上であり、２つのパケットＤ２、Ｄ３を埋め込んだ後のＴＬ内に存在するパケット数（２＋１）で割った値以下と設定している。
これを式で示すと、
ＴＴ≦ＴＷ１≦ＴＬ／３
となる。
また、Ｄ３の埋め込み位置も、パケットＤ２が伝送されてから次のパケットであるＤ３が伝送されるまでの時間ＴＷ２経過後の位置とし、188バイトの伝送時間ＴＴ以上であり、２つのパケットＤ２、Ｄ３を埋め込んだ後のＴＬ内に存在するパケット数（２＋１）で割った値以下と設定している。
したがって、理想的には、二つのパケットＤ２、Ｄ３を埋め込む場合は、理想的には、ＴＷ１＝ＴＷ２＝ＴＷ３＝ＴＬ／３のパケット間隔であることが望ましい。
図１０及び図１１には、パーシャルＴＳ信号編集機１で行われる、単位時間Ｃ内にどのようにＤＳＤ信号（１ビット・オーディオ信号）を含んだパケットＤｎを平均的に埋め込むのかを決定するアルゴリズムに基づいた処理手順を示す。これにより、上記図８におけるステップＳ１〜ステップＳ３、特にステップＳ３の詳細な処理手順を説明する。なお、ここでは、ＣＰＵ（中央演算処理装置）が多重化プログラムを実行することにより上記図７に示したパーシャルＴＳ信号編集機１の各機能ブロックを構成しているとして説明をする。
変数としては、パケットＤｎを埋め込めなかったパケット間隔Ｔの数を順番に数えていく序数カウント値OrdCounter，埋め込める上記パケットＤｎの現在のカウント値を示す現カウント値Counter，単位時間Ｃに埋め込むべきパケットＤｎの数ｎのうち、埋め込めない数（不足数）Ｎ'を埋め込めなかったパケット間隔に平均的に埋め込むための新たなパケット間隔を示すインターバルInterval，合計カウント値TotalCounter，仮の値Tmp，仮の値Tmp2，パケットの不足数Ｎ'，パケットＤｎの現在の挿入個数を示す挿入カウント値InsertCounter，パケットＤｎの合計の挿入個数を示す合計挿入数TotalInsertがある。これらの変数を用いて、ＣＰＵは各ステップにて演算を行い、パケットＤｎを単位時間Ｃ内に平均的に埋め込む処理を行う。
先ず、スタートで単位時間Ｃの先頭パケットにポインタをあわせてから、ステップＳ１１で、単位時間Ｃ内に埋め込むパケット数Ｎをセットする。ステップＳ１２では変数である序数カウント値OrdCounter=合計カウント値TotalCounter=0とし、ステップＳ１３では現カウント値Counter=0とする。つまり、ステップＳ１１にて単位時間Ｃ内に埋め込むパケット数をパケット数Ｎ取得部６４として機能して取得したのち、ステップＳ１２，ステップＳ１３にて、変数OrdCounter、TotalCounter、Counterを初期化する。
ステップＳ１４ではパケット間隔（Ｔ）を取得する。取得したパケット間隔Ｔを、ステップＳ１５では変数ＴｍｐにＴをセットする。ステップＳ１６では、比較器６５として機能し、予めパケット間隔検出部６３として機能して検出済みのＭＩＮよりもＴｍｐ−ＭＩＮが大きいか否かを比較する。つまり、ステップＳ１４からステップＳ１６までで、単位時間Ｃ内の各ＴＳパケットのパケット間隔Ｔと、最小値ＭＩＮとを比較器６５として機能して比較している。
ここからＣＰＵは間隔制御部６６として機能し、ステップＳ１６からの比較結果がＴｍｐ−ＭＩＮがＭＩＮよりも大きいというとき、ステップＳ１７に進み、パケットＤｎ１個を埋め込めるということで変数Counterをインクリメントする。ステップＳ１８では、変数CounterにてパケットＤｎを１個埋め込めるとしてインクリメントした後の、パケット間隔をＴｍｐ−ＭＩＮとしてＴｍｐにセットし、ステップＳ１６に戻る。
ステップＳ１６からの比較結果が、Ｔｍｐ−ＭＩＮがＭＩＮよりも大きくないというものであるとき、ＣＰＵはステップＳ１９に進み、現カウント値の変数Counterが０より大きいか否かを判断する。０より大きいと判断するということは、その数だけパケットＤｎを埋め込めるということなので、ステップＳ２１に進み、その現カウント値Counterを合計カウント値TotalCounterに加える。
ＣＰＵが間隔制御部６６として機能し、ステップＳ１９にて現カウント値Counterが０より大くないと判断するということは、このパケット間隔ＴにはパケットＤｎを埋め込めないことを示す。ステップＳ２０では、埋め込めなかったパケット間隔Ｔの数を順番に数えていく序数カウント値OrdCounterをインクリメントする。ステップＳ２０にて序数カウント値OrdCounterをインクリメントした後にはステップＳ２１に進む。
ステップＳ２１にて現カウント値Counterを合計カウント値TotalCounterに加えた後、ステップＳ２２に進み、単位時間Ｃ内に次のパケットが存在しているか否かを判断する。存在していればステップＳ２３にて次のパケットへ移動し、ステップＳ１３に戻る。そして、次のパケットについてステップＳ１３〜ステップＳ２１の処理を繰り返す。
ステップＳ２２にて、単位時間Ｃ内に次のパケットが存在していないと判断すると、すなわち単位時間Ｃ内の最後のパケットについての処理が終了したことを示すので、ステップＳ２４に進み、合計カウント値TotalCounterが単位時間Ｃ内に埋め込むべきパケット数Ｎ以上であるか否かを判断する。Ｎ以上でなければ、ステップＳ２５に進み、不足分Ｎ’をＮ−TotalCounterとして求める。また、ステップＳ２６では、変数インターバルIntervalをOrdCounter／Ｎ’として求める。
ステップＳ２６が終了するか、又はステップＳ２４にて合計カウント値TotalCounterが上記Ｎ以上であると判断すると、図１１のステップＳ２７に進み、単位時間Ｃの先頭パケットに戻る。
次に、ステップＳ２８にて変数である合計挿入数TotalInsertを０にセットしてからステップＳ２９にて変数である挿入カウント値InsertCounterを０にセットする。つまり、合計挿入数TotalInsert及び挿入カウント値InsertCounterを初期化する。
ステップＳ３０では、パケット間隔（Ｔ）を取得する。取得したパケット間隔Ｔを、ステップＳ３１では変数ＴｍｐにＴをセットする。ステップＳ３２では、比較器６５として機能し、予めパケット間隔検出部６５として機能して検出済みのＭＩＮよりもＴｍｐ−ＭＩＮが大きいか否かを比較する。つまり、ステップＳ３０からステップＳ３２までで、単位時間Ｃ内の各ＴＳパケットのパケット間隔Ｔをパケット間隔検出部６３で検出された最小値ＭＩＮと比較器６５により比較している。
ＣＰＵは間隔制御部６６として機能し、Ｔｍｐ−ＭＩＮがＭＩＮよりも大きいとステップＳ３２が比較すると、ステップＳ３３に進み、パケットＤｎ１個を埋め込めるということで変数である挿入カウント値InsertCounterをインクリメントする。ステップＳ３４では変数ＴｍｐにＴｍｐ−ＭＩＮをセットし、ステップＳ３２に戻る。
ステップＳ３２にて、Ｔｍｐ−ＭＩＮがＭＩＮよりも大きくないと判断すると、ステップＳ３５に進み、挿入カウント値InsertCounterが０より大きいか否かを判断する。大きいと判断すればステップＳ３８に進み、変数TotalInsert＋InsertCounterをTmp2にセットする。これにより、挿入できるパケットＤｎの数の合計が求められる。
ステップＳ３５にて挿入カウント値InserCounterが０より大くないと判断すると、ステップＳ３６にて、ステップＳ２６にて求めたインターバルIntervalの先頭か否かを判断する。先頭であれば、挿入カウント値InsertCounterを１とし、ステップＳ３８に進む。
ステップＳ３８にて、TotalInsert＋InsertCounterをＴｍｐ２にセットした後、ステップＳ３９では変数Ｔｍ２がＮより大きいか否かを判断する。大きければステップＳ４０に進み、Ｔｍｐ２−Ｎを挿入カウント値InsertCounterから減算する。
次に、ステップＳ４１にて挿入カウント値InserCounter個のパケットＤｎを挿入し、ステップＳ４２にて挿入カウント値InsertCounterを合計挿入数TotalInsertに加え、ステップＳ４３にて合計挿入数TotalInsert＝Ｎであるか否かを判断し、合計挿入数TotalInsert＝Ｎであれば次の単位時間Ｃの先頭へポインタを進める。ステップＳ４３にて合計挿入数TotalInsert＝Ｎでないと判断するとステップＳ２９に戻り、ステップＳ２９からステップＳ４２までの処理を繰り返す。
このようにしてパーシャルＴＳ信号編集機１は、単位時間Ｃ内の上記ＭＩＮより大きなパケット間隔にパケットＤｎを埋め込み、それでも埋め込めないパケットＤｎがある場合はその不足数Ｎ’で、上記序数カウント値OrdCounterを除算し、上記インターバルIntervalを算出し、このIntervalに上記不足数Ｎ’分のＤｎを埋め込んでいく。
これにより、上述したように、例えば、ＭＩＮが１秒であり、単位時間Ｃ内のパケット間隔が順に１秒、２秒、１秒、４秒であった場合、２秒や４秒の間隔にパケットを埋め込むようにし、埋め込み後の間隔はＭＩＮより小さくならないようにする。間隔が大きい部分に埋めても足りない場合は、ＭＩＮとの差が大きくない間隔部分にも挿入する。その際の間隔書き換えは、ビットレートの急激な変化を避けるために、元の間隔を2等分した値とする。例えば、1秒の部分に埋め込む場合は、埋め込み後の間隔を0.5秒とすることが可能となる。つまり、単位時間Ｃ内にＤＳＤ信号を平均的に埋め込むことができる。このようにして生成された新たなパーシャルＴＳパケットＰ２はデジタルビデオオーディオプレーヤ４に伝送される。
図１２は、デジタルビデオオーディオプレーヤ４内にあって上記多重化データである、新たなパーシャルＴＳ信号Ｐ２を再生するデコーダ１００の構成を示す。入力端子１０１に供給された新たなパーシャルＴＳ信号Ｐ２は、各々の復号装置に対するトランスポート・パケットを時分割多重したものであり、切り換えスイッチ１０１によってヘッダ情報の内容識別情報であるＰＩＤ（Packet ＩＤ）に応じて切り換えられ、ビデオデコーダ部１０３、１ビット・オーディオ信号デコーダ部１０４・・・及びその他のデコーダ部１０５の、それぞれ対応するＴＳバッファ１０６，１１２及び１１５にそれぞれ送られる。
ビデオデコーダ部１０３のＴＳバッファ１０６、オーディオデコーダ部１０４のＴＳバッファ１１２、その他のデコーダ部１０５のＴＳバッファ１１５は、例えば各512バイトの容量を持つ。ＴＳバッファ１０６、１１２及び１１５にて各５１２バイトの容量でバッファリングされたビデオデータ、ＤＳＤオーディオデータ、及びその他のデータは、システムターゲットデコーダ（System Target Decoder：ＳＴＤ）バッファとなるメインバッファ１０７、１１３、及び１１６にてバッファリングされる。
メインバッファ１０７でバッファリングされたビデオデータは、ＥＳ（エレメンタリーストリーム）バッファ１０８を介してビデオデコーダ１０９に送られ、オーディオ用メインバッファ１１３から読み出されたデータは、オーディオデコーダ１１４に送られ、その他のメインバッファ１１６から読み出されたデータはシステムデコーダ１１７に送られる。
システムデコーダ１１７からのシステム制御に関するデコードデータにしたがって上記ビデオデータをデコードする。このとき、デコードデータがいわゆるＩピクチャ（フレーム内符号化画像）やＰピクチャ（順方向予測符号化画像）の場合には、遅延バッファ１１０を介して切り換えスイッチ１１１の一方の被選択端子に送られ、Ｂピクチャ（双方向予測符号化画像）の場合には他方の被選択端子に送られて、この切り換えスイッチ１１１からの出力がビデオ出力として取り出される。
オーディオデコーダ１１４は、システムデコーダ１１７からのシステム制御に関するデコードデータにしたがって上記ＤＳＤデータをデコードし、オーディオ出力として出力する。
以上に説明したように、第１の実施の形態のパーシャルＴＳ信号編集機１は、アナログオーディオ信号をΔΣ変調された１ビット・オーディオ信号に変換し、それとＨＤ映像信号を多重化し、デコーダ側に送信するとき、映像信号が可変ビットレートであり、多重化における時間情報（パケット間隔時間情報）を変更することで、高音質の１ビット・オーディオ信号をＨＤ映像信号に多重化することを可能にする。特に、多重化データ送受信システムにあっては、送信側のパーシャルＴＳ信号編集機１にて単位時間Ｃ内にＤＳＤ信号を平均的に埋め込むことができるので、生成された新たなパーシャルＴＳパケット内のＤＳＤ信号はデジタルビデオオーディオプレーヤに伝送された後に、ＨＤ映像信号に基づいた高画質の映像に付随した、１ビット・オーディオ信号として高音質の状態で途切れることなく再生される。
次に、パーシャルＴＳ信号編集機の第２の実施の形態について説明する。この第２の実施の形態は、ＨＤ品質の映像信号を含んだパーシャルＴＳ信号と、2ch（ステレオ）の１ビット・オーディオ信号をＤＳＴ圧縮したＤＳＴ信号を多重化の対象とする多重化装置の具体例である、パーシャルＴＳ信号編集機である。
図１３は、第２の実施の形態のパーシャルＴＳ信号編集機７１と、このパーシャルＴＳ信号編集機７１から伝送されてくる編集出力である多重化データを受信し、ＨＤビデオ信号、１ビット・オーディオ信号をＤＳＴ圧縮したＤＳＴ信号を再生するデジタルビデオオーディオプレーヤ７３とからなる多重化データ送受信システムを示す。
パーシャルＴＳ信号編集機７１は、デジタル放送用受信器１１からのパーシャルＴＳ信号Ｐ１にＤＳＴ圧縮器７２からのＤＳＴ信号を多重化して新たなパーシャルＴＳ信号Ｐ２を生成し、デジタルビデオオーディオプレーヤ７３に伝送する。
ＤＳＴ圧縮器７２は、ロスレスコーディング（可逆圧縮）技術（上記特許文献１）に基づいてＤＳＤ信号（１ビット・オーディオ信号）を圧縮する。すなわち、図１４に示すように、ＤＳＴ圧縮器７２は、予測符号化の原理に基づいた予測フィルタ７５と、算術符号器７６から成る。入力端子７４からの入力信号と予測値との差を予測フィルタ７５内で取り、算術符号器７６でその差を分布の偏り、即ち分布確率と共に符号化する。符号化出力は出力端子７７からＤＳＴ信号としてパーシャルＴＳ信号編集機７１に供給される。予測フィルタ内における予測の当たり具合により、差の分布確率が決まることから、予測は当たれば当たるほどその差に対して高い確率を与えることができる。続いて算術符号器内において、ある区間の差をその区間における差の分布確率を用いて算術符号化することにより、その区間の差は圧縮された符号となる。
デジタルビデオオーディオプレーヤ７３は、上記図１２を参照すると判るように内部にオーディオ用のデコーダを備えている。この例の場合には、上記デコーダは、上記ＤＳＴ圧縮器７２に対応するＤＳＴ伸長機能を備えていることになる。
パーシャルＴＳ信号編集機７１は、第１の実施例のパーシャルＴＳ信号編集機１と同様に、ＣＰＵが図７に示すような機能ブロックとして機能することにより、図６、図８、図９、図１０及び図１１を用いて説明したのと同じように、パーシャルＴＳ信号Ｐ１にＤＳＴ信号を含むＴＳパケットＤｎを埋め込み、新たなパーシャルＴＳ信号Ｐ２を生成する。
さらに、ＤＳＴ信号は、ＤＳＤ信号が固定ビットレートであるのに対して、可変レートであるので、以下に説明するような原理により、埋め込むＴＳパケットの送信間隔を調整することができる。
図１５は、第２の実施の形態のパーシャルＴＳ信号編集機におけるパケット埋め込み時の振り分け処理の概念図である。パケットを埋め込むことで間隔が小さくなり、局所的にビットレートが上がり、受信側のデコーダで用いるバッファでオーバーフローを起こしてしまいそうな場合に、埋め込むＴＳパケットの送信間隔を調整する方法を説明するために用いている。
間隔制御部６６は、上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込んだ後の多重化データを送信するとき、受信側の復号装置のバッファ容量に基づいて転送レートを調整するように埋め込み部６８を制御し、受信側の復号装置のバッファの破綻を防ぐ。
具体的に、間隔制御部６６は、現在の単位時間内に上記映像信号を含む複数パケット間に埋め込むべき上記１ビットオーディオ信号を圧縮した信号を含む複数パケットのうち、少なくとも１パケットを前後の単位時間に埋め込むように埋め込み部６８を制御し、上記受信側のデコーダのバッファの破綻を防ぐ。
例えば、埋め込むＴＳパケットをＤＳＴ信号を含むＤ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５…とする。埋め込み先のパーシャルＴＳの単位時間Ｃｎ内におけるビデオパケットＶ１，ビデオパケットＶ２，オーディオパケットＡ１のパケット間隔時間情報をそれぞれ、ｔ１、ｔ２、ｔ３とし、ｔ２＞ｔ１＞ｔ３であるとする。パケット間隔時間情報ｔ１は、ビデオパケットＶ１を伝送しはじめてから次のビデオパケットＶ２の伝送を始めるまでの時間情報である。同様に、パケット間隔時間情報ｔ２は、ビデオパケットＶ２を伝送しはじめてから次のオーディオパケットＡ１の伝送を始めるまでの時間情報である。また、パケット間隔時間情報ｔ３は、オーディオパケットＡ１を伝送しはじめてから次の単位時間Ｃ（ｎ＋１）内における先頭のビデオパケットＶ３の伝送を始めるまでの時間情報である。
この場合、パケット間隔時間情報ｔ２の時間間隔が大きいため、ｔ２部分（パケットＶ２の直後）にＤＳＴ信号を含むＴＳパケットＤｎを多く埋め込むことになる。ここでは、Ｄ２，Ｄ３，Ｄ４という３つのパケットＤｎを埋め込む。
パケットＤ２は、ビデオパケットＶ２を伝送しはじめてからパケット間隔ｔ'３をおいて伝送し始めるように埋め込まれる。また、パケットＤ３は、パケットＤ２を伝送しはじめてからパケット間隔ｔ'４をおいて伝送し始めるように埋め込まれる。また、パケットＤ４は、パケットＤ３を伝送し始めてからパケット間隔ｔ'５をおいて伝送し始めるように埋め込まれる。そして、パケットＤ４とビデオパケットＡ１とのパケット間隔はｔ'６に設定される。
このように、Ｄ２，Ｄ３，Ｄ４という３つのパケットＤｎの埋め込み後、ｔ２はｔ'３、ｔ'４、ｔ'５、ｔ'６に分割される。もちろん、ｔ２＝ｔ'３＋ｔ'４＋ｔ'５＋ｔ'６となっている。ここで、ｔ'３、ｔ'４、ｔ'５、ｔ'６が小さい値になってしまった場合、パケットＤ２，Ｄ３，Ｄ４を伝送する際には、高ビットレートとなり、受信機（ディジタルビデオオーディオプレーヤ）のデコーダにおけるバッファ容量によって許容される転送レートを越えてしまう虞がある。すると、デコーダのバッファはオーバーフローすることとなる。デコーダがオーバーフローすれば、受信機にあっては、パケットＤｎの再生はできなくなる。
そこで、パーシャルＴＳ信号編集機７１は、上記デコーダのバッファ容量に基づき、バッファがオーバーフローを起こしそうなときには、単位時間Ｃｎ内に埋め込むＴＳパケットのうち、先頭と最後尾の数パケット（図１５ではＤ１、Ｄ５）を直前の単位時間（Ｃｎ１）と直後の単位時間Ｃ（ｎ＋１）に振り分ける。
上記デコーダのバッファ容量に関する情報は、予め多重化データ送受信システム接続時に、受信機側から自動的に送信側であるパーシャルＴＳ信号編集機７１に知らされるように設定できる。また、ユーザにより入力されてもよい。
このように、パーシャルＴＳ信号編集機７１を用いた多重化データ送受信システムでは単位時間Ｃｎにおける、埋め込み間隔の縮小化による高ビットレート化を防止することができるので、上記受信機側のデコーダのバッファのオーバーフローを防ぐことができ、受信機におけるパケットＤｎの再生の破綻を防ぐことができる。
この例におけるパケットＤｎが含む上記ＤＳＴ信号は上述したように可変レートなため、本来なら単位時間Ｃｎに伝送すべきパケットＤ１、Ｄ５を前後の単位時間Ｃ（ｎ−１）、Ｃ（ｎ＋１）に送るように多重化することにより、多重化のタイミングに少しズレが生じても、バッファ容量に対してオーバーフローやアンダーフローを起こすズレでなければ、再生に支障はない。
以上に説明したように、第２の実施の形態のパーシャルＴＳ信号編集機７１は、アナログオーディオ信号をΔΣ変調された１ビット・オーディオ信号に変換し、さらにＤＳＴ圧縮したＤＳＴ信号と、ＨＤ映像信号を多重化し、デコーダ側に送信するとき、映像信号が可変ビットレートであり、多重化における時間情報（パケット間隔時間情報）を変更することで、高音質の１ビット・オーディオ信号をＨＤ映像信号に多重化することを可能にする。特に、多重化データ送受信システムにあっては、送信側のパーシャルＴＳ信号編集機７１にて単位時間Ｃ内にＤＳＴ信号を平均的に埋め込むことができるので、生成された新たなパーシャルＴＳパケット内のＤＳＴ信号はデジタルビデオオーディオプレーヤに伝送された後に、ＨＤ映像信号に基づいた高画質の映像に付随した、１ビット・オーディオ信号として高音質の状態で途切れることなく再生される。
また、第２の実施の形態のパーシャルＴＳ信号編集機７１は、１ビット・オーディオ信号を圧縮技術により圧縮した可変レートのＤＳＴ信号を含むパケットをＨＤ映像信号を含むパーシャルＴＳ信号に埋め込むことで、パケット間隔が小さくなり、局所的にビットレートが上がり、受信側のデコーダで用いるバッファでオーバーフローを起こしてしまいそうな場合に、埋め込むＴＳパケットの送信間隔を調整することができる。このため、単位時間Ｃｎにおける、埋め込み間隔の縮小化による高ビットレート化を防止することができるので、多重化データ送受信システムを構成する受信機側のデコーダのバッファのオーバーフローを防ぐことができ、受信機におけるパケットＤｎの再生の破綻を防ぐことができる。
なお、上記各実施の形態では、２ｃｈの１ビット・オーディオ信号を用いたが、マルチチャンネルの１ビット・オーディオ信号でも対応可能である。
第１の実施の形態のパーシャルＴＳ信号編集機を含む多重化データ送受信システムのブロック図である。 デジタル放送用受信器のブロック図である。 ΔΣ変調器の構成を示す図である。 １ビット量子化器の処理を説明するための図である。 ５次のΔΣ変調器の回路図である。 パーシャルＴＳ信号編集機におけるパケット埋め込み処理の概念図である。 パーシャルＴＳ信号編集機の機能ブロック図である。 パーシャルＴＳ信号編集機内の処理手順を示すフローチャートである。 埋め込み制御の概念を示す図である。 単位時間Ｃ内にどのようにＤＳＤ信号を含んだパケットＤｎを平均的に埋め込むのかを示す処理手順を示す前半部のフローチャートである。 単位時間Ｃ内にどのようにＤＳＤ信号を含んだパケットＤｎを平均的に埋め込むのかを示す処理手順を示す後半部のフローチャートである。 デジタルビデオオーディオプレーヤ内にあって新たなパーシャルＴＳ信号を再生するデコーダの構成を示すブロック図である。 第２の実施の形態のパーシャルＴＳ信号編集機を含む多重化データ送受信システムのブロック図である。 ＤＳＴ圧縮器のブロック図である。 第２の実施の形態のパーシャルＴＳ信号編集機におけるパケット埋め込み時の振り分け処理の概念図である。
符号の説明
１ パーシャルＴＳ信号編集機、３ ΔΣ変調器、４ デジタルビデオオーディオプレーヤ、１０ デジタル放送用受信器、１３ パーシャルＴＳ生成部、６３ パケット間隔検出部、６４ パケットＮ取得部、６５ 比較器、６６ 間隔制御部、６７ 間隔情報書き換え部、６８ 埋め込み部、６９ ＴＳ パケット情報追加部

Claims (26)

  1. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、
    アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、上記可変ビットレートの映像信号を含む複数パケット間に多重化することを特徴とする多重化装置。
  2. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、
    上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、
    上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段と
    を備えることを特徴とする多重化装置。
  3. 上記可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較する比較手段をさらに備え、
    上記間隔制御手段は、上記比較手段からの比較結果に基づいて上記最小のパケット間隔時間情報より大きい上記パケット間隔に、上記１ビットオーディオ信号を含むパケットを埋め込むための制御を行うことを特徴とする請求項２記載の多重化装置。
  4. 単位時間内に上記映像信号を含む複数パケット間に埋め込むべき上記１ビットオーディオ信号を含むパケット数にしたがって上記埋め込み手段は上記パケットを埋め込むことを特徴とする請求項２記載の多重化装置。
  5. 上記間隔制御手段は、任意のパケット間隔時間情報ＴＬで上記映像信号を含むパケットを１個伝送するときに、上記１ビットオーディオ信号を含むｎ個のパケットを埋め込むのであれば、当該ｎ個のパケットのうちの始めのパケットを伝送しはじめるまでの時間ＴＷ１を、上記映像信号を含むパケットを１個伝送する時間ＴＴ以上で、任意のパケット間隔時間情報ＴＬを（ｎ＋１）で除算したＴＬ／（ｎ＋１）以下とすることを特徴とする請求項２記載の多重化装置。
  6. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、
    アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化することを特徴とする多重化方法。
  7. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、埋め込むための制御を行う間隔制御工程と、
    上記間隔制御工程の制御に基づいて上記１ビットオーディオ信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み工程と、
    上記埋め込み工程により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え工程と
    を備えることを特徴とする多重化方法。
  8. 上記可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較する比較工程をさらに備え、
    上記間隔制御工程は、上記比較工程からの比較結果に基づいて上記最小のパケット間隔時間情報より大きい上記パケット間隔に、上記１ビットオーディオ信号を含むパケットを埋め込むための制御を行うことを特徴とする請求項７記載の多重化方法。
  9. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、
    アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、上記可変ビットレートの映像信号を含む複数パケット間に多重化することを特徴とする多重化装置。
  10. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、
    上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、
    上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段と
    を備えることを特徴とする多重化装置。
  11. 上記可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較する比較手段をさらに備え、
    上記間隔制御手段は、上記比較手段からの比較結果に基づいて上記最小のパケット間隔時間情報より大きい上記パケット間隔に、上記１ビットオーディオ信号を圧縮した信号を含むパケットを埋め込むための制御を行うことを特徴とする請求項１０記載の多重化装置。
  12. 単位時間内に上記映像信号を含む複数パケット間に埋め込むべき上記１ビットオーディオ信号を圧縮した信号を含むパケット数にしたがって上記埋め込み手段は上記パケットを埋め込むことを特徴とする請求項１０記載の多重化装置。
  13. 上記間隔制御手段は、任意のパケット間隔時間情報ＴＬで上記映像信号を含むパケットを１個伝送するときに、上記１ビットオーディオ信号を圧縮した信号を含むｎ個のパケットを埋め込むのであれば、当該ｎ個のパケットのうちの始めのパケットを伝送しはじめるまでの時間ＴＷ１を、上記映像信号を含むパケットを１個伝送する時間ＴＴ以上で、任意のパケット間隔時間情報ＴＬを（ｎ＋１）で除算したＴＬ／（ｎ＋１）以下とすることを特徴とする請求項１０記載の多重化装置。
  14. 上記間隔制御手段は、上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込んだ後の多重化データを送信するとき、受信側の復号装置のバッファ容量に基づいて転送レートを調整するように上記埋め込み手段を制御し、受信側の復号装置のバッファの破綻を防ぐことを特徴とする請求項１０記載の多重化装置。
  15. 上記間隔制御手段は、現在の単位時間内に上記映像信号を含む複数パケット間に埋め込むべき上記１ビットオーディオ信号を圧縮した信号を含む複数パケットのうち、少なくとも１パケットを前後の単位時間に埋め込むように上記埋め込み手段を制御し、上記受信側のデコーダのバッファの破綻を防ぐことを特徴とする請求項１４記載の多重化装置。
  16. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、
    アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化することを特徴とする多重化方法。
  17. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、埋め込むための制御を行う間隔制御工程と、
    上記間隔制御工程の制御に基づいて上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み工程と、
    上記埋め込み工程により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え工程と
    を備えることを特徴とする多重化方法。
  18. 上記可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較する比較工程をさらに備え、
    上記間隔制御工程は、上記比較工程からの比較結果に基づいて上記最小のパケット間隔時間情報より大きい上記パケット間隔に、上記１ビットオーディオ信号を圧縮した信号を含むパケットを埋め込むための制御を行うことを特徴とする請求項１７記載の多重化方法。
  19. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、可変ビットレートの映像信号を含む複数パケット間に多重化する多重化装置と、
    上記多重化装置からの多重化データを受信しバッファメモリを用いて復号する復号装置と
    を備えることを特徴とする多重化データ送受信システム。
  20. 上記多重化装置は、
    可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、
    上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、
    上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段と
    を備えることを特徴とする請求項１９記載の多重化データ送受信システム。
  21. 上記多重化装置は、上記可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較する比較手段をさらに備え、
    上記間隔制御手段は、上記比較手段からの比較結果に基づいて上記最小のパケット間隔時間情報より大きい上記パケット間隔に、上記１ビットオーディオ信号を含むパケットを埋め込むための制御を行うことを特徴とする請求項２０記載の多重化データ送受信システム。
  22. 可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を変更することにより、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、上記可変ビットレートの映像信号を含む複数パケット間に多重化する多重化装置と、
    上記多重化装置からの多重化データを受信しバッファメモリを用いて復号する復号装置と
    を備えることを特徴とする多重化データ送受信システム。
  23. 上記多重化装置は、
    可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を見て、所定の時間間隔を基準にして選択したパケット間隔に、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を圧縮した信号を含むパケットを、埋め込むための制御を行う間隔制御手段と、
    上記間隔制御手段の制御に基づいて上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込む埋め込み手段と、
    上記埋め込み手段により上記パケットを上記映像信号を含む複数パケット間に埋め込んだ後のパケット間隔時間情報を書き換える書き換え手段と
    を備えることを特徴とする請求項２２記載の多重化データ送受信システム。
  24. 上記多重化装置は、上記可変ビットレートの映像信号を含む複数パケット間のパケット間隔時間情報を最小のパケット間隔時間情報と比較する比較手段をさらに備え、
    上記間隔制御手段は、上記比較手段からの比較結果に基づいて上記最小のパケット間隔時間情報より大きい上記パケット間隔に、上記１ビットオーディオ信号を圧縮した信号を含むパケットを埋め込むための制御を行うことを特徴とする請求項２３記載の多重化データ送受信システム。
  25. 上記多重化装置の上記間隔制御手段は、上記１ビットオーディオ信号を圧縮した信号を含むパケットを上記映像信号を含む複数パケット間に埋め込んだ後の多重化データを送信するとき、上記復号装置のバッファ容量に基づいて転送レートを調整するように上記埋め込み手段を制御し、上記復号装置のバッファの破綻を防ぐことを特徴とする請求項２３記載の多重化データ送受信システム。
  26. 上記多重化装置の上記間隔制御手段は、現在の単位時間内に上記映像信号を含む複数パケット間に埋め込むべき上記１ビットオーディオ信号を圧縮した信号を含む複数パケットのうち、少なくとも１パケットを前後の単位時間内に埋め込むように上記埋め込み手段を制御し、上記復号装置のバッファの破綻を防ぐことを特徴とする請求項２３記載の多重化データ送受信システム。
JP2005036654A 2005-02-14 2005-02-14 多重化装置及び多重化方法、並びに多重化データ送受信システム Expired - Fee Related JP4186935B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005036654A JP4186935B2 (ja) 2005-02-14 2005-02-14 多重化装置及び多重化方法、並びに多重化データ送受信システム
US11/337,661 US20060193348A1 (en) 2005-02-14 2006-01-24 Multiplexing device and multiplexed data transmission and reception system
CNA200610004440XA CN1822507A (zh) 2005-02-14 2006-02-14 多路传输设备以及多路传输数据发送与接收系统
DE200610006802 DE102006006802A1 (de) 2005-02-14 2006-02-14 Multiplexvorrichtung sowie Multiplexdaten-Übertragungs- und -Empfangssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005036654A JP4186935B2 (ja) 2005-02-14 2005-02-14 多重化装置及び多重化方法、並びに多重化データ送受信システム

Publications (2)

Publication Number Publication Date
JP2006222895A JP2006222895A (ja) 2006-08-24
JP4186935B2 true JP4186935B2 (ja) 2008-11-26

Family

ID=36923610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005036654A Expired - Fee Related JP4186935B2 (ja) 2005-02-14 2005-02-14 多重化装置及び多重化方法、並びに多重化データ送受信システム

Country Status (4)

Country Link
US (1) US20060193348A1 (ja)
JP (1) JP4186935B2 (ja)
CN (1) CN1822507A (ja)
DE (1) DE102006006802A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1811674A1 (en) * 2006-01-23 2007-07-25 Motorola, Inc. Apparatus and methods for jointly decoding messages based on apriori knowledge of modified codeword transmission
US8189581B2 (en) * 2007-06-20 2012-05-29 Motorola Mobility, Inc. Method, signal and apparatus for managing the transmission and receipt of broadcast channel information
US20080316995A1 (en) * 2007-06-20 2008-12-25 Motorola, Inc. Broadcast channel signal and apparatus for managing the transmission and receipt of broadcast channel information
JP4941137B2 (ja) * 2007-07-09 2012-05-30 ソニー株式会社 動画像再生装置、動画像再生方法及び動画像再生方法のプログラム
JP5272863B2 (ja) * 2009-04-14 2013-08-28 ソニー株式会社 伝送装置、撮像装置及び伝送方法
FR2946820B1 (fr) * 2009-06-16 2012-05-11 Canon Kk Procede de transmission de donnees et dispositif associe.
EP2752772A4 (en) * 2011-09-21 2015-03-25 Nec Corp CONTENT DISTRIBUTION SYSTEM, CACHE SERVER, AND CONTENT DISTRIBUTION METHOD
KR101290532B1 (ko) * 2011-12-02 2013-07-30 주식회사 이노와이어리스 사용자 단말에서 ｃｑｉ인덱스를 전송하는 방법
JP2013187724A (ja) * 2012-03-08 2013-09-19 Sony Corp データ受信回路、データ受信装置、情報処理システムおよびデータ受信方法
US8995460B1 (en) * 2012-05-14 2015-03-31 Arris Enterprises, Inc. Embedded control data in communications systems
JP6529900B2 (ja) * 2015-12-15 2019-06-12 株式会社東芝 多重化装置および多重化方法
WO2017169891A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置および方法
US10666282B2 (en) * 2016-07-11 2020-05-26 Sony Corporation Transmission device, transmission system, and robot

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172614A (ja) * 1994-12-16 1996-07-02 Matsushita Electric Ind Co Ltd 映像音声多重通信方式と映像音声多重送信装置と映像音声多重受信装置
JPH09321727A (ja) * 1996-05-24 1997-12-12 Matsushita Electric Ind Co Ltd 多重化装置
EP2146499B1 (en) * 1997-11-14 2012-10-31 Sony Deutschland Gmbh Distribution of MPEG-2 transport streams on the IEEE 1394-based home network
US6154161A (en) * 1998-10-07 2000-11-28 Atmel Corporation Integrated audio mixer
JP4099743B2 (ja) * 1999-05-27 2008-06-11 ソニー株式会社 記録装置および方法、並びに記録媒体
US6792047B1 (en) * 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
JP2001298704A (ja) * 2000-04-12 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
JP4649777B2 (ja) * 2001-02-09 2011-03-16 ソニー株式会社 デルタシグマ変調装置及び方法、並びにデジタル信号処理装置及び方法
JP2003101974A (ja) * 2001-09-26 2003-04-04 Nec Corp Ｐｃｒ補正装置及びそれに用いるｐｃｒ値補正方法
US7283483B2 (en) * 2002-12-18 2007-10-16 Cisco Technology, Inc. Transmitting multiple packets in a frame
JP3671969B2 (ja) * 2003-04-03 2005-07-13 松下電器産業株式会社 データ多重方法及び多重データ復号方法
JP4506294B2 (ja) * 2004-06-11 2010-07-21 ソニー株式会社 多重化装置及び多重化方法

Also Published As

Publication number Publication date
DE102006006802A1 (de) 2006-12-07
CN1822507A (zh) 2006-08-23
JP2006222895A (ja) 2006-08-24
US20060193348A1 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
JP4186935B2 (ja) 多重化装置及び多重化方法、並びに多重化データ送受信システム
US7379653B2 (en) Audio-video synchronization for digital systems
US7072571B2 (en) Data reproduction transmission apparatus and data reproduction transmission method
US20030002583A1 (en) Transcoding of video data streams
KR100819622B1 (ko) 정보 단말 장치 및 정보 단말 수신 방법, 디지털 방송 수신 장치 및 방법과 출력시간 계산 장치 및 방법
CN1781295A (zh) 节目的冗余传输
US6483945B1 (en) Moving picture encoding method and apparatus
US6940901B2 (en) Apparatus and method for information processing
WO2003092293A1 (en) Encoding device and method, decoding device and method, edition device and method, recording medium, and program
JPH1155626A (ja) テレビジョン信号符号化装置およびテレビジョン信号記録装置
KR100617221B1 (ko) 디지털 방송 수신기의 오디오/비디오 신호 동기화 방법
US7260220B2 (en) Adaptive watermarking
US20020159522A1 (en) Digital broadcasting apparatus and method, video data encoding system and method, and broadcasting signal decoding system and method, which use variable bit rate
US6970472B2 (en) Data processing apparatus and method and computer readable storage medium
JP2008503959A (ja) デジタルビデオ信号を選択的にトランスコードするシステム及び方法
US20040013270A1 (en) Apparatus and method for converting contents
JP4506294B2 (ja) 多重化装置及び多重化方法
JP3792770B2 (ja) 記録再生装置
KR100540174B1 (ko) 디지털 오디오 방송 전송 시스템에서 멀티미디어 방송서비스를 제공하기 위한 멀티미디어 스트림 삽입 장치 및그 방법
KR100998449B1 (ko) Ｄｍｂ 수신장치 및 그 버퍼제어 방법
JP2006014079A (ja) ディジタル信号処理装置及びディジタル信号処理方法
JP2008187753A (ja) データ再構築装置、データ再構築方法、データ再生伝送装置及びデータ再生伝送方法
JP2000244915A (ja) 多段画像符号化伝送装置及び多段画像符号化伝送方法
JPH11155133A (ja) データ多重化装置とその方法
JP2004120289A (ja) デジタル放送記録再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees