JP4506294B2 - 多重化装置及び多重化方法 - Google Patents

Description

本発明は、オーディオデータと映像データとを多重化する多重化装置及び多重化方法に関し、特にアナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を固定ビットレートのままに、可変ビットレートの映像信号に多重化する多重化装置及び多重化方法に関する。

ΔΣ変調された１ビット・オーディオ信号は、従来のデジタルオーディオに使われてきたデータのフォーマット（例えばサンプリング周波数が44.1KHz、データ語長が16ビット）に比べて、非常に高いサンプリング周波数と短いデータ語長（例えばサンプリング周波数が44.1KHzの64倍、データ語長が１ビット）であり、伝送可能周波数帯域が広いことを特長としている。また、ΔΣ変調により１ビット信号であっても、64倍というオーバーサンプリング周波数に対して低域であるオーディオ帯域において、高いダイナミックレンジをも確保できる。この特徴を活かして高音質のレコーダーやデータ伝送に応用することができる。

ΔΣ変調回路自体はとりわけ新しい技術ではなく、回路構成がIC化に適していて、また比較的簡単にAD変換の精度を得ることができることから、従来からADコンバータの内部などでよく用いられている回路である。

ΔΣ変調された信号は、簡単なアナログローパスフィルターを通すことによって、アナログオーディオ信号に戻すことができる。

また、映像信号の符号化にはMPEG（Moving Picture Expert Group）と呼ばれる国際標準規格がある。MPEGでは、空間領域と時間領域における冗長性を除去することによって映像信号の圧縮を行っている。空間領域における冗長性の除去には離散コサイン変換を用いる。画像を空間周波数領域のデータに変換すると、データは低周波側に偏る。この結果高周波側のデータにより少ないビット数を割り当てることにより、全体として変換前より少ないビット数で画像を符号化できる。時間領域における冗長性の除去にはフレーム間予測を用いる。動画像は複数のフレームと呼ばれる画像により構成されている。あるフレームと、その1/30秒前の画像である直前のフレームとの間では、多くの場合それぞれの画像は似たものとなる。そこで直前のフレームをもとに、現フレームとの差のみを抽出して符号化すれば、ビット数の削減につながる。これをフレーム間予測という。MPEGの符号化において、この差が大きい個所により多くのデータを、差が小さい個所に少ないデータを充当することで、画質を落とすことなく全体のデータ量をより縮小させることができる。このことは、伝送経路において、可変ビットレートとなることを示す。

また、映像信号と音声信号及びそれ以外の付加用デジタル信号の多重化方式にMPEG2 TransportStream（以下、MPEG2-TS）と呼ばれる国際標準規格がある。MPEG2-TSのデジタル信号は188バイトの固定長パケット（以下、TSパケット）に分割され伝送される。TSパケットには巡回カウンタやビット誤り表示などを示す項目があり、放送や通信ネットワークなどデータの伝送誤りが発生する環境に適用されることを想定している。MPEG2-TSは伝送レートが固定の通信路で使用され、実用例としてはスカイパーフェクTVやDirecTV、BSデジタル放送などが挙げられる。

MPEG2-TSは、時間情報（ProgramClockReference：以下、PCR）を含むパケットを伝送することができる。PCRは復号器で参照される時間情報を含み、符号器側で意図した時間に復号器の時刻を設定できる仕組みになっている。MPEG2-TSにおいてPCRは一定間隔で伝送され、その間隔は0.1秒以下と定められている。

デジタル信号の多重化において、固定ビットレートの映像信号と音声信号の多重化方法は、各デジタル信号のビットレートを用いれば、多重化は容易である。ある時間間隔において、各デジタル信号の伝送される信号量が一定になるように多重化すればよい。この方法は、市販の多重化ソフトウェアに用いられている。

また、特開平０８−１７２６１４号公報には、映像信号と音声信号を多重化してデジタル伝送を行う映像音声多重送信装置において、音声信号のアナログ／デジタル変換にデルタ・シグマ変調回路を用いる構成が記載されている。所定レートの情報量を持つ映像信号を書き込んで蓄積し伝送フレームで規定されるタイミングで映像信号データを読み出すメモリと、アナログ音声信号をデルタ・シグマ変調にて所定周波数のクロック周期毎にデジタルデータに変換して出力するデルタ・シグマ変調器と、所定周期で前記伝送フレームを構成し、前記メモリの出力の映像信号データと前記デルタ・シグマ変調器の出力の音声信号データを多重化してシリアル信号を出力する多重回路とを備えて成る構成である。

特開平０８−１７２６１４

ところで、上記特許文献１にあって映像信号は所定レート、つまり固定レートであり、固定レートの映像信号に固定レートのデルタ・シグマ変調信号を多重化する構成である。上述したようにデジタル信号の多重化において、固定ビットレートの映像信号と音声信号の多重化方法は、各デジタル信号のビットレートを用いれば、多重化は容易である。ある時間間隔において、各デジタル信号の伝送される信号量が一定になるように多重化すればよい。

これに対して、可変ビットレートの映像信号とデジタルオーディオ信号の多重化は、パーソナルコンピュータにて再生される、デジタルバーサタイルディスク（ＤＶＤ）や、高速伝送路を有するネットワークを使用したデータ伝送などのマルチメディアデータの伝送分野においては今後不可欠となる。

しかし、現状では、例えば、MPEGによって符号化された可変ビットレートの映像信号に、デルタ・シグマ変調処理によって得られた１ビットオーディオ信号を固定レートで、可変ビットレートの映像信号の画質及び出力時間を変更することなく多重化処理するのは困難であった。上記１ビットオーディオ信号のデータ量が多いので、このオーディオ信号と可変ビットレートの映像信号の高ビットレートを必要とするデータ部分とを多重化すると、予め決められている伝送レートを超えてしまうことがあり、伝送に支障を来すこととなる。

本発明は、上記実情に鑑みてなされたものであり、デルタ・シグマ変調処理によって得られた１ビットオーディオ信号を固定レートのまま、可変ビットレートの映像信号に、映像信号の画質及び出力時間を変更することなく多重化処理することができる多重化装置及び多重化方法の提供を目的とする。

本発明に係る多重化装置は、上記課題を解決するために、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を固定ビットレートのままに、可変ビットレートの映像信号に多重化する多重化装置であって、可変ビットレートの映像信号を含む連続する複数パケットに所定の時間間隔で配置されている基準クロックを抽出し、抽出した基準クロック間における上記所定の時間間隔を検出する時間間隔検出手段と、上記時間間隔検出手段によって検出された所定の各時間間隔における伝送に不必要なパケットのパケット数を算出する不要パケット数算出手段と、上記不要パケット数算出手段によって算出された不要パケット数の全時間間隔における最小値を算出する最小不要パケット数値検出手段と、上記最小不要パケット数値検出手段によって検出された最小不要パケット数よりも上記所定時間間隔当たりの上記１ビットオーディオ信号を含むパケット数が少なければ、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込む埋め込み手段とを備える。

本発明に係る多重化装置にあって上記埋め込み手段は、上記所定時間間隔当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数よりも多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込む。

本発明に係る多重化装置は、上記不要パケット数算出手段によって算出された上記所定の各時間間隔における不要パケットを、同じパケット数の無効データパケットに置き換える無効データパケット置き換え手段をさらに有し、上記最小不要パケット数値検出手段は上記無効データパケット置き換え手段によって置き換えられたすべての各時間間隔における各無効データパケットの内、最小値に相当する無効データパケットのパケット数を検出し、上記埋め込み手段は、上記最小不要パケット数値検出手段により検出された最小値パケット数の無効データパケットよりも少ないパケット数の上記１ビットオーディオ信号を含む複数パケットを上記すべての各時間間隔における、無効データに埋め込むようにしてもよい。

また、上記埋め込み手段は、上記最小不要パケット数値検出手段により検出された最小値パケット数の無効データパケットよりも、上記１ビットオーディオ信号を含む複数パケットが多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込む。

本発明に係る多重化方法は、上記課題を解決するために、アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を固定ビットレートのままに、可変ビットレートの映像信号に多重化する多重化方法であって、可変ビットレートの映像信号を含む連続する複数パケットに所定の時間間隔で配置されている基準クロックを抽出し、抽出した基準クロック間における上記所定の時間間隔を検出する時間間隔検出工程と、上記時間間隔検出工程によって検出された所定の各時間間隔における伝送に不必要なパケットのパケット数を算出する不要パケット数算出工程と、上記不要パケット数算出工程によって算出された不要パケット数の全時間間隔における最小値を算出する最小不要パケット数値検出工程と、上記最小不要パケット数値検出工程によって検出された最小不要パケット数よりも上記所定時間間隔当たりの上記１ビットオーディオ信号を含むパケット数が少なければ、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込む埋め込み工程とを備える。

上記埋め込み工程は、上記所定時間間隔当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数よりも多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込む。

また、本発明に係る多重化方法は、上記不要パケット数算出工程によって算出された上記所定の各時間間隔における不要パケットを、同じパケット数の無効データパケットに置き換える無効データパケット置き換え工程をさらに有し、上記最小不要パケット数値検出工程は上記無効データパケット置き換え工程によって置き換えられたすべての各時間間隔における各無効データパケットの内、最小値に相当する無効データパケットのパケット数を検出し、上記埋め込み工程は、上記最小不要パケット数値検出工程により検出された最小値パケット数の無効データパケットよりも少ないパケット数の上記１ビットオーディオ信号を含む複数パケットを上記すべての各時間間隔における、無効データに埋め込む。

上記埋め込み工程は、上記最小不要パケット数値検出工程により検出された最小値パケット数の無効データパケットよりも、上記１ビットオーディオ信号を含む複数パケットが多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込む。

本発明にあっては、可変ビットレートの映像信号を含むMPEG2-TSを基に、MPEG2-TSの伝送に最低限必要な情報と映像信号及び時間情報（PCR）を含むTSパケットを残し、その他のTSパケットを１ビット・オーディオ信号を含むTSパケットに変換する。

映像信号が可変ビットレートであるため、ある時間間隔において、映像信号を含むTSパケット数の割合が高くなり、１ビット・オーディオ信号を含むTSパケットの伝送ビットレートが固定に保てない（あふれてしまう）場合は、互いに隣接する2つのPCR間において同じ数のTSパケットを各PCR間に挿入し、挿入されたTSパケットに対し、あふれた分の１ビット・オーディオ信号を含むTSパケットを充当する。１ビット・オーディオ信号を含むTSパケットとして使われない場合は、無効データパケット（以下、NULLパケット）を充当する。

そして、最終的に、MPEG2-TSの伝送に必要な情報を含むTSパケットに、１ビット・オーディオ信号を含むTSパケットの情報を追加する。

本発明によれば、可変ビットレートの映像信号を含むMPEG2-TSにおいて、PCRと映像信号の復号・再生時刻との関係は整合性が保たれている。また互いに隣接する2つのPCR間において、同数ずつのTSパケットを挿入することは、MPEG2-TS全体のビットレートを高くすることを意味する。ビットレートが高くなった場合でも、PCR値と映像信号の復号・再生時刻値を変更しないため、映像信号を復号する系においてはTSパケット挿入前と処理の変わりは無く、映像信号の画質及び復号・再生時刻には影響しない。

また、１ビット・オーディオ信号を含むTSパケットの伝送ビットレートを固定に保つことで、オーディオ信号も途切れなく再生することが可能となる。

本発明に係る多重化装置及び多重化方法によれば、アナログオーディオ信号をΔΣ変調された１ビット・オーディオ信号に変換し、それと映像信号を多重化する系内に関し、映像信号が可変ビットレートの際、多重化におけるビットレートを変換することで、１ビット・オーディオ信号を固定レートに保った多重化を可能にする。言い換えると、デルタ・シグマ変調処理によって得られた１ビットオーディオ信号を固定レートのまま、可変ビットレートの映像信号に、映像信号の画質及び出力時間を変更することなく多重化処理する。

可変ビットレートの映像信号とデジタル信号との多重化は、マルチメディアデータの伝送分野においては不可欠であり、また１ビット・オーディオ信号のMPEG規格での更なる発展が見込まれる。

以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、ステレオ2chの１ビット・オーディオ信号と、ハイビジョンクオリティの映像信号を多重化の対象とする多重化装置である。特に、ハイビジョンクオリティの映像信号は、可変ビットレートの映像信号を含むMPEG2-TS信号である。

図１は、本実施の形態の多重化装置１のブロック図である。入力端子２から入力されたアナログオーディオ信号２２にはΔΣ変調器３でΔΣ変調処理が施され、１ビット・オーディオ信号２３が得られる。このΔΣ変調により得られた１ビット・オーディオ信号２３と、入力端子４から入力された可変ビットレートの映像信号を含むMPEG2-TS信号２１は、MPEG2-TS信号編集機５に伝送される。

MPEG2-TS信号編集機５は、ΔΣ変調により得られた１ビット・オーディオ信号２３をMPEG2-TS信号２１に埋め込み、可変ビットレートの映像信号と１ビット・オーディオ信号を含むMPEG2-TS信号２４として出力端子６に出力する。

可変ビットレートの映像信号を含むMPEG2-TS信号２１は、図２に示す構成のMPEG2多重化装置１０によって生成される。図２において、ビデオデータ１１、オーディオデータ１２及びその他のデータ１３等を、各々の対応する符号化装置、すなわち、MPEG2ビデオ符号化装置１４、MPEG2オーディオAAC（Advanced Audio Coding）符号化装置１５及びその他の符号化装置１６に対して入力し、各々の符号化されたストリームデータ（これらをエレメンタリーストリームともいう）１７、１８及び１９を得る。

MPEG2ビデオ符号化装置１４は、動き補償予測、離散コサイン変換DCT、量子化、可変長符号化といった圧縮技術を使いビデオ信号を圧縮する。動き補償予測は、時間的な冗長度を利用して情報量を削減する。離散コサイン変換は、画面内部の空間的な冗長度を利用して情報量を削減する。

MPEG2オーディオAAC符号化装置１５は、標本化周波数8〜96ｋHzのオーディオデータを符号化している。チャンネル数、ビットレートは任意に選ぶことができる。ステレオ2chであれば、ビットレートは、おおよそ200kbps以内である。

多重化部２０は、これらのエレメンタリーストリームを多重化し、一本化されたトランスポートストリーム（多重化ストリームともいう）２１を生成する。特に、MPEG2において規定される方法では、この多重化の際に、画像及び音響信号の時間軸に対する、後述のPCRのような同期情報もトランスポートストリーム内に記録する。

その他の符号化装置１３は、例えば伝送に必要な情報PSIや、デジタルストレージメディア情報DSMIなどを符号化する。伝送に必要な情報は、プログラム仕様情報（Program Specific Information：PSI）とも呼ばれ、MPEG2-TS伝送には必須の情報である。デジタルストレージメディア情報DSMIは、例えばデジタル放送を受信してメディアに記録する場合に必要とされる情報である。

多重化部２０では、MPEG2ビデオ符号化装置１４からのストリームデータ１７、MPEG2オーディオAAC符号化装置１５からのストリームデータ１８、その他の符号化装置１６からのストリームデータ１９を、種別を問わずに、FIFO登録する。伝送チャネルをパケット長に分割してそれぞれをパケット・スロットとして、パケット・スロットがくる毎にFIFO登録にしたがって伝送チャネルに送り出す。もしパケット・スロットがきても、FIFO登録が空のときは、無効データ（NULL）パケットを挿入する。このようにして多重化部２０は、トランスポートストリームTSを形成する。

図３は、多重化部２０にて多重化されたトランスポートストリームTSの構造を示す図である。トランスポートストリームTSは、図３（ａ）に示すように固定長188バイト（bytes）のトランスポート・パケットが多重されることによって構成されている。図３（ｂ）は、TSパケットの構造を示す図である。4バイトのヘッダ（Hader）情報と184バイト（bytes）のTSペイロードからなる。図３（ｃ）に示すように、ヘッダ情報にあって8ビットの同期信号（SyncByte）は、TS開始コードを示すものであり、受信装置側のMPEGデコーダでTSパケットの先頭を検出するために用いられる。エラー表示（１ビット）は、このTSパケット中のビットエラーの有無を示す。ユニット開始表示（１ビット）は、ペイロードがビデオやオーディオ、PSIのデータ単位の先頭から始まるか否かを示す。優先度表示（TSパケットプライオリティ、１ビット）は、このTSパケットの重要度を示す。PID（Packet Identification、13ビット）は、パケット識別子、ストリーム識別情報である。スクランブル制御（2ビット）は、ペイロード部分のスクランブルの有無を示す。アダプテーションフィールド（AF）制御（2ビット）は、後述するアダプテーションフィールドの有無を示す。図３に示した構造にはアダプテーションフィールドがない。巡回カウンタ（4ビット）は、カウント情報の連続性によって、同じPIDを持つパケットが途中で一部棄却されているか否かが判別される。なお、巡回カウンタは、NULLパケットの場合は常に0x0になる。TSペイロードには、ビデオデータ、オーディオデータ、PSIデータが入る。NULLパケットの場合は0xFFでペイロード領域を埋める。

図４は、アダプテーションフィールドがあるTSパケット構造を示す。ヘッダ情報のアダプテーションフィールド制御により、アダプテーションフィールドが存在することが示されている（図４（ｂ））。アダプテーションフィールドの最初の8ビットでアダプテーションフィールド長が示される。不連続表示では、次の同じPIDを有するパケットで、システムクロックがリセットされ、新たな内容となることが示される。ランダムアクセス表示は、ビデオのシーケンスヘッダまたはオーディオのフレームの始まりを示すものとされて、このランダムアクセス表示によってランダムアクセス時のエントリーポイントを検出できる。ストリーム優先表示では個別ストリームの重要部分がこのパケットのペイロードにあることが示される。ストリーム優先表示の次にフラグが設けられ、このフラグによってコンディショナル・コーディングのオプショナルフィールドが設定される。このオプショナルフィールドの後に無効データであるスタッフィングバイトが必要に応じて設けられる。

オプショナルフィールドには、図４（ｃ）に示すように時刻基準情報であるPCR値が設定されるPCRフィールド（48ビット）やオリジナルの番組基準時刻であるOPCR（Original Program Clock Referene）、編集可能な点までの、同一PIDのトランスポートパケットの数を示すスプライスカウントダウン等が置かれている。48ビットのPCRフィールドには、図４（ｄ）に示すようにPCRBase（33ビット）、res（6ビット）、PCRExtension（9ビット）が記述される。なお、PCRは、27MHzとされている。

TSパケットの伝送に必要なPSI（プログラム仕様情報：Program Specific Information）は、図５に示すようにTSパケットのペイロード部分に格納される。MPEG2-TS伝送に必要なPSIの種類としては、階層データ構造をなす、PAT(ProgramAssociationTable)、PMT(ProgramMapTable)がある。PATは、プログラムマップテーブルProgramMapTableのPIDとプログラム識別番号を表記したものである。PMTは、プログラムを構成する要素（ビデオやオーディオなど）のPIDを指定するものである。

図６は、階層データ構造の例を示す図である。図６（ａ）には、PAT（PID:0x00固定）を含むTSパケットを示す。TSペイロードにPMTのPIDを（0x10）と指定するPATデータが入る。図６（ｂ）には、PMT（PID:0x10）を含むTSパケットを示す。各要素のPIDを指定するPMTデータが入る。例えば、ビデオデータを含むTSパケットのPID（0x60）、オーディオデータを含むTSパケットのPID(0x70)などである。図６（ｃ）には、ビデオ（PID：0x60）を含むTSパケットを、図６（ｄ）にはオーディオ（PID：0x70)を含むTSパケットを示す。

上記図１に示したMPEG2-TS信号編集機５には、これまでに説明した、ビデオデータを含むTSパケット、オーディオデータを含むTSパケット、PSIデータを含むPSITSパケット、NULLパケット、さらには上記デジタルストレージメディア情報からなるパケットからなるトランスポートストリームが上記可変ビットレートの映像信号を含むMPEG2-TS信号として入力される。

図７は、多重化部２０にて多重化され、MPEG2-TS信号編集機５に入力するトランスポートストリームTSの具体例である。ビデオデータを含むTSパケットV1及びV2の後にオーディオデータを含むTSパケットA1が続き、無効データ（NULL）パケットが挿入され、さらに伝送に必要な情報（プログラム仕様情報：Program Specific Information：PSI)を含むTSパケットP、ビデオデータを含むTSパケットV3及びV4、NULLパケット、TSパケットV5及びV6、デジタルストレージメディア情報DSMIが時間軸t方向に続いている。いずれも、固定長188バイトのTSパケットである。

ここで、上記デジタルストレージメディア情報DSMIからなるパケットは、例えばBSデジタル放送用には、光磁気ディスク、ハードディスクドライブ（ＨＤＤ）、半導体メモリ、磁気テープなどのメディアへの記録を規定するものとして必要となるが、単にMPEG2-TSパケットを送受信し、再生するという機能だけからみれば不必要な情報となる。

また、本発明は、MPEG2-TS信号編集機５内部で、ΔΣ変調器３によって得られた、ハイクオリティな2chの１ビットオーディオ信号を、上記可変ビットレートの映像信号を含むMPEG2-TS信号に多重化するので、既に上記図２に示した多重化部２０で多重化されたオーディオデータを含むTSパケット（MPEG2AACオーディオ符号化器による）は不要である。

このため、MPEG2-TS信号編集機５は、上記元の可変ビットレートの映像信号を含むMPEG2-TS信号２１に対して、伝送に最低限必要な情報（PSI情報）と、ビデオデータ及び時間情報（PCR)を含むTSパケットを残し、上記デジタルストレージメディア情報DSMIからなるパケットや、上記オーディオTSパケットなどの本システムに不要なパケットを、上記2chのハイクオリティな１ビットオーディオ信号を含むTSパケットに置換する。

図８には、ハイクオリティな１ビットオーディオ信号２３を生成するΔΣ変調器３の構成を示す。このΔΣ変調器３は、一つの積分器３２と、一つの１ビット量子化器３３とのその量子化出力のフィードバック系との組み合わせで構成されている。詳細には、入力信号Ｇが正入力端子に供給され、後述する帰還出力が負入力端子に供給される加算器３１と、加算器３１の加算出力に積分処理を施す積分器３２と、この積分器３２の積分出力を１サンプル周期毎に１ビットデジタル信号に量子化する１ビット量子化器３３とを備える。１ビット量子化器３３の量子化出力Ｈは、加算器３１に負符号とされて帰還され、入力信号Ｇに加算（結果的に減算）される。また、１ビット量子化器３３からは１ビットデジタル信号Ｈが量子化出力として外部に導出される。積分器３２は加算器３２ａと、遅延器３２ｂを備える。

ここで、１ビット量子化器３３は、図９に示すように、時間に対して不変で常に０である閾値（スレッシュホールド）Ｔｈを参照して入力信号Ｘ（ｎ）に量子化処理を施して１ビット出力信号Ｙ（ｎ）を生成している。すなわち、この１ビット量子化器３３は、入力信号Ｘ（ｎ）に対して０を境に、０以上と０未満で２値のレベルを判定し、量子化処理を施している。

さらに、図１０には、積分器を複数備えたΔΣ変調器４０の構成を示す。この図１０に示すΔΣ変調器４０は、５個の積分器４３，４６，４９，５２及び５５を備えた５次のΔΣ変調器である。また、このΔΣ変調器４０は、５個の積分器４３，４６，４９，５２及び５５の前で、各積分器に多ビットのデジタル信号を加算する加算器４２，４５，４８，５１及び５４と、上記５個の積分器の内の１番目〜４番目の積分器４３，４６，４９及び５２の後ろに接続される４個の減衰器４４，４７，５０及び５３と、５番目の積分器５５の後ろに接続される、１ビット量子化器３３と同様の１ビット量子化器５６と、この１ビット量子化器５６からの１ビットデジタル信号のビット長を多ビットに変換し、５個の積分器４３，４６，４９，５２及び５５の入力となるように加算器４２，４５，４８，４２及び５４に供給するビット長変換器５７とを備える。

１番目の積分器４３は、入力端子４１及び加算器４２を介して供給された入力信号を積分する。このため、図８に示した加算器３２ａと同様の加算器からの出力を、遅延器３２ｂと同様の遅延器で遅延し、上記加算器に戻す構成をとる。２番目〜５番目の積分器４６，４９，５２及び５５も同様である。５番目の積分器５５からの積分出力は１ビット量子化器５６に供給される。

１ビット量子化器５６は、量子化処理にて参照する閾値レベルＴｈを、上記図９に示したように、時間に対して不変で常に０である閾値としてもよいし、さらに以下のようにして、最終段の積分器内で得られる振幅に基づいたΔｑとしてもよい。具体的には、最終段の積分器内で生成される信号の振幅の最大値Ｄ_ｅｎｄにある定数Ｓαを掛け算した値ＳαＤ_ｅｎｄを最適な可変閾値レベルΔｑとするものである。つまり、Δｑ＝ＳαＤ_ｅｎｄとして算出する。この算出方法を用いれば、いかなるΔΣ変調の構成でも一意に決まる定数を掛算した結果を最適な可変閾値レベルとすることができる。

このように、最終段となる５番目の積分器５５内部の信号の振幅Ｄ_ｅｎｄに基づいてΔｑを算出すると、この１ビット量子化器５６が５番目の積分器５５の積分出力に施した量子化処理では、参照する閾値レベルを時間軸に対して適切にランダムに可変とするので、入力信号に依存した歪を発生させることがない。この１ビット出力信号は、出力端子５８から導出されると共に、ビット長変換器５７に供給される。

ビット長変換器５７は、１ビット量子化器５６からの１ビット信号のビット長を変換し、加算器４２，４５，４８，５１及び５４に負符号を付して帰還する。したがって、各加算器４２，４５，４８，５１及び５４は、入力端子４１及び前段の各積分器４３，４６，４９，５２から減衰器４４，４７，５０，５３を介して供給される信号からビット長変換器５７の出力信号を減算する。

減衰器４４，４７，５０及び５３は、係数Ｋ１，Ｋ２，Ｋ３及びＫ４を用いて、積分器４３，４６，４９及び５２の各積分出力を減衰し、加算器４５，４８，５１及び５４に供給する。

このように、このΔΣ変調器４０が１ビット量子化器５６における量子化処理にて参照する閾値レベルを時間軸に対して適切にランダムに可変とすると、入力信号に依存した歪を発生させることがない。

次に、ΔΣ変調器３、４０により得られた上記ハイクオリティな１ビット・オーディオ信号を、上記可変ビットレートの映像信号を含むMPEG2-TS信号に多重化するMPEG2-TS信号編集機５について図１１を参照して説明する。MPEG2-TS信号編集機５は、ΔΣ変調により得られた１ビット・オーディオ信号２３をMPEG2-TS信号２１に埋め込み、可変ビットレートの映像信号と１ビット・オーディオ信号を含むMPEG2-TS信号として出力端子７０に出力する。

このためMPEG2-TS信号編集機５は、上記図２に示した多重化部２０から供給されたトランスポートストリームを構成している、連続する複数パケットに所定の時間間隔INTで配置されている基準クロック（PCR）間における上記所定の時間間隔INTを検出するPCR間隔INT検出部６３を備える。また、MPEG2-TS信号編集機５は、PCR間隔INT検出部６３によって検出された所定の時間間隔INTにおける伝送に不必要なパケットのパケット数を算出する不必要パケット数算出部６４と、不必要パケット数算出部６４によって算出された不要パケット数の最小値を算出する最小不要パケット数値検出部（最小パケット数値検出と図示する）６８とを備える。また、MPEG2-TS信号編集機５は、最小不要パケット数値検出部６８によって算出された最小の不要パケット数よりも上記所定時間間隔当たりの上記１ビットオーディオ信号を含むパケット数が少なければ、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込む埋め込み部６９とを備える。

PCR間隔INT検出部６３は、トランスポートストリーム多重化部２０から供給されたトランスポートストリームを構成している、連続する複数パケットに所定の時間間隔INTで配置されている時間情報である、基準クロック（PCR）をまず抽出し、抽出した基準クロック（PCR)における所定の時間間隔INTを検出する。上述したように、MPEG2-TSは、時間情報PCRを含むパケットを伝送することができる。PCRは復号器で参照される時間情報を含み、符号器側で意図した時間に復号器の時刻を設定できる仕組みになっている。MPEG2-TSにおいてPCRは一定間隔で伝送され、その間隔は0.1秒以下と定められている。例えば、トランスポートストリームを構成している、連続する複数パケットに、PCRが上記多重化部２０において、0.03秒間隔で配置されているとする。PCR間隔INT検出部６３は、トランスポート・パケットのアダプテーションフィールドから、PCRを検出する。そして、隣接のPCR間の時間間隔（インターバルINT）を検出する。

不必要パケット数算出部６４は、所定の時間間隔INTにおける伝送可能パケット数を算出する第１のパケット数算出部６５と、所定の各時間間隔INTにおける上記映像信号を含むパケット中の映像信号とパケット化のための必須情報との合計の第２のパケット数を算出する第２のパケット数算出部６６と、第１のパケット数算出部６５によって算出された所定の各時間間隔INTにおける第１のパケット数と第２のパケット数算出部６６によって算出された所定の各時間間隔における第２のパケット数とのパケット数差を算出するパケット数差算出部６７を備える。

最小不要パケット数値検出部６８は、不必要パケット数算出部６４によって算出された不要パケット数の最小値を算出する。

データ埋め込み部６９は、所定時間間隔INT当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数の最小値よりも少ないときには、全時間間隔に１ビット・オーディオ信号を含む複数パケットを埋め込む。

次に、MPEG2-TS信号編集機５の動作について図１２〜図１４のフローチャート、図１５及び図１６の概念図を参照して説明する。

先ず、MPEG2-TS信号編集機５は、PCR間隔INT検出部６３にてi=0とし（ステップＳ１）、PCR間隔INTiを検出する（ステップＳ２）。図１５（ａ）で示すと、隣接するPCRnとPCRn+1を検出し、その所定間隔INT0を検出する。

ステップＳ３では、不必要パケット数算出部６４を用いて所定間隔INT0における不必要パケット数を算出する。このとき、不必要パケット数算出処理部６４は、図１３に示す、ステップＳ１１〜ステップＳ１３のサブルーチンを処理する。ステップＳ１１にて第１のパケット数算出部６５により、所定間隔INT0における伝送可能パケット数を、ビットレートとINT0から算出する。ステップＳ１２にて第２のパケット数算出部６６により、所定間隔INT0における映像信号を含むパケット中の映像信号８０とパケット化必須情報８３のパケット数を算出する。図１５において所定間隔INT0の伝送可能パケット数には、上記映像信号８０と、MPEG2オーディオデータ（AAC）８１が含まれている。パケット化必須情報８３は含まれていない。ステップＳ１３にてパケット数差算出部６７は、第１のパケット数（伝送可能パケット数）と上記映像信号を含むパケット中の映像信号８０とのパケット数差を算出する。これにより、図１５（ｂ）に示すINT0における不必要パケット８４のパケット数を算出できる。

ステップＳ４ではi=i+1とし、ステップＳ５にてi=ENDと判定されるまでステップＳ２〜ステップＳ４の処理を繰り返す。ステップＳ５にてi=ENDと判定された時点では、図１５（ｂ）に示すように、各INT0、INT1、・・・INT8・・・における不必要パケット８４のパケット数が算出できることになる。なお、INT4及びINT7では、上記映像信号８０とパケット化必須情報８３を除いた分の不必要パケット８４のパケット数が算出されている。

ステップＳ６では、最小不要パケット数値検出部６８を用いて不必要パケット８４のパケット数の最小値ｄunを検出する。図１５の場合、ITN2の不必要パケット８４のパケット数が最小値ｄunの不必要パケット８５となる。

ステップＳ７では、データ埋め込み部６９を用いて、PCR所定間隔INTに必要な１ビット・オーディオ信号を含むTSパケット８６が、パケット数が最小値ｄunの不必要パケット８５より少なければ、全INTに１ビット・オーディオ信号を含む複数のTSパケットを埋める。このとき、データ埋め込み部６９は、図１４に示す、ステップＳ２１〜ステップＳ２３のサブルーチンを処理する。ステップＳ２１にて所定間隔INTiに必要な１ビット・オーディオ信号を含むパケット数（ｄΣΔ）を算出する。ステップＳ２２にてPCR所定間隔INTに必要な１ビット・オーディオ信号を含むTSパケット８６（図１５（ｂ））の数ｄΣΔと、不必要パケット８５（図１５（ｂ））のパケット数の最小値ｄunとを比較する。ここで、上記TSパケットの数ｄΣΔが上記最小値ｄunよりも小さければ（YES)、ステップＳ２３に進み、全INTに１ビット・オーディオ信号を含むTSパケット数ｄΣΔのTSパケット８６を埋め込む。

例えば、図１５（ｂ）における不必要TSパケット８５の最小値ｄunが、不必要パケット数算出部６４及び最小不要パケット数値検出部６８の処理を通してパケット数150であったとする。

１ビット・オーディオ信号は、DSD（ダイレクトストリームデジタル）の規定から１フレームを75Hzとしている。75フレームで１秒(s)となり、１フレームは52パケットからなるので、１ｓ当たり3900パケットとなる。図１５においてPCRは0.03秒間隔で配置されているとき、INT=0.03秒であるので、PCR時間間隔INT当たり、3900×0.03=117パケットとなる。つまり、INT当たり117パケット（ｄΣΔ）の１ビットオーディオ信号を含むTSパケットとなる。

データ埋め込み部６９は、図１４のステップＳ２２にて、ｄΣΔ（117パケット）とｄun（150パケット）とを比較する。この場合、不必要TSパケット８５の最小値ｄunが大であるので、YESと判定され、ステップＳ２３に進み、データ埋め込み部６９は、全INTに１ビット・オーディオ信号を含むTSパケット数ｄΣΔのTSパケット８６を埋め込む。

この結果、図１５（ｃ）に示すように、全INTにわたって映像信号を含むTSパケット８０に１ビット・オーディオ信号を含むTSパケット８６を、Aビットレートを変更することなく多重化することができる。INT4及びINT7には、さらにパケット化必須情報８３も多重化されている。最後に、MPEG2-TSの伝送に必要な情報を含むTSパケットに、１ビット・オーディオ信号を含むTSパケットの情報を追加する。具体的には、パケット化必須情報８３中のPSI情報のMPEG2オーディオデータAACに関する記述を、ΣΔ変調により得られるDSDに関する記述に書き換える。

MPEG2-TS信号編集機５にあって、データ埋め込み部６９は、所定時間間隔INT当たりに必要な１ビット・オーディオ信号を含むパケット数が、上記不要パケット数の最小値よりも多いときには、その差分のパケット数と同数の無効NULLパケットを全時間間隔に埋め込んでから、全時間間隔にTSパケット数ｄΣΔのTSパケット８６を埋め込む。

このため、データ埋め込み部６９は、図１４のフローチャートにあって、ステップＳ２２の分岐にてＮＯ、つまり１ビット・オーディオ信号を含むパケット数が、上記不要パケット数の最小値よりも多いと判断されたときには、ステップＳ２４に進む。ステップＳ２４にあって、データ埋め込み部６９は、（ｄΣΔ−ｄun）以上のNULLデータを全INTに亘って埋め込む。この後、ステップＳ２３にて、全INTに１ビット・オーディオ信号を含むTSパケットを埋め込む。最後に、MPEG2-TSの伝送に必要な情報を含むTSパケットに、１ビット・オーディオ信号を含むTSパケットの情報を追加する。

図１６の概念図を用いて、MPEG2-TS信号編集機５が上記ステップＳ２２の分岐にてＮＯを選択し、ステップＳ２４の処理後、ステップＳ２３でパケット埋め込みをする一連の処理を説明する。

図１６（ｂ）に示すように、各INT0、INT1、・・・INT8・・・における不必要パケット８４のパケット数が算出できたとする。なお、INT4及びINT7では、上記映像信号８０とパケット化必須情報８３を除いた分の不必要パケット８４のパケット数が算出されている。

次に、MPEG2-TS信号編集機５は、図１２のフローチャートのステップＳ６で、最小不要パケット数値検出部６８を用いて不必要パケット８４のパケット数の最小値ｄunを検出する。図１６の場合、ITN5の不必要パケット８４のパケット数が最小値ｄunの不必要パケット８５となる。

次に、MPEG2-TS信号編集機５は、データ埋め込み部６９を用いて、PCR所定間隔INTに必要な１ビット・オーディオ信号を含むTSパケット８６のパケット数が、パケット数最小値ｄunの不必要パケット８５より少ないか否かを図１２のステップＳ７のサブルーチンのステップＳ２２（図１４）にてチェックする。図１６（ｂ）に示すように、PCR所定間隔INTに必要な１ビット・オーディオ信号を含むTSパケット８６のパケット数が、パケット数最小値ｄunの不必要パケット８５よりも多い。このため、このまま上記図１５（ｃ）と同様に、全INTにわたって映像信号を含むTSパケット８０に１ビット・オーディオ信号を含むTSパケット８６を多重化すると、図１６（ｃ）に示すように１ビット・オーディオ信号を含むTSパケット８６がAビットレートから、INT0、INT5、INT8であふれてしまうことになる。これでは、多重化したトランスポート・ストリームを伝送することができない。

そこで、MPEG2-TS信号編集機５は、データ埋め込み部６９を用いたステップＳ２４の処理により、（ｄΣΔ−ｄun）以上のNULLデータを全INTに亘って埋め込む。この後、ステップＳ２３にて、全INTに１ビット・オーディオ信号を含むTSパケットを埋め込む。最後に、MPEG2-TSの伝送に必要な情報を含むTSパケットに、１ビット・オーディオ信号を含むTSパケットの情報を追加する。これにより、図１６（ｄ）に示すように、互いに隣接する二つのINT間において、同数（ｄΣΔ−ｄun）づつのTSパケットを挿入することにより、MPEG2-TS全体のビットレートを図１６（ｄ）に示すようにAビットレートよりも高いBビットレートにすることができる。

なお、図１に示した多重化装置１は、MPEG2-TS信号編集機５の代わりに、図１７に示す構成のMPEG2-TS信号編集機７５を用いてもよい。このMPEG2-TS信号編集機７５がMPEG2-TS信号編集機５と異なるのは、不必要パケット数算出部６４で算出されたパケット数の不要パケットを無効データ置き換え部７６でNULLデータに置き換える点である。無効データ置き換え部７６で不要パケットに置き換えられたすべての時間間隔INTのNULLパケットは、最小パケット数検出部６８により最小パケット数が検出される。この最小パケット数検出部６８で検出されたNULLパケットの最小値（Ｂ）は、データ埋め込み部６９内部にて、PCR間のINTに必要な１ビット・オーディオ信号を含むTSパケットの数（Ａ）と比較される。

データ埋め込み部６９は、NULLパケットの最小値（Ｂ）と１ビット・オーディオ信号を含むTSパケットの数（Ａ）とを比較した結果、（Ａ−Ｂ）＞０でなければ、つまりNULLパケットの最小値（Ｂ）が１ビット・オーディオ信号を含むTSパケットの数（Ａ）よりも大であるならば、NULLパケット部分を１ビット・オーディオ信号を含むTSパケットに置き換える。また、（Ａ−Ｂ）＞０であれば、つまりNULLパケットの最小値（Ｂ）が１ビット・オーディオ信号を含むTSパケットの数（Ａ）よりも小であるならば、（Ａ−Ｂ）個のNULLパケットをMPEG2-TS信号全体に亘ってINT毎に挿入してから、NULLパケット部分を１ビット・オーディオ信号を含むTSパケットに置き換える。

このMPEG2-TS信号編集機７５の処理手順を図１８のフローチャートを用いて説明する。先ず、MPEG2-TS信号編集機７５は、図１１に構成を示した不必要パケット数算出部６４の第１のパケット数算出部６５、第２のパケット数算出部及びパケット数差算出部６７により、不必要パケットを算出し、無効データ置き換え部７６にてNULLデータに置き換える（ステップＳ３１）。

次に、MPEG2-TS信号編集機７５は、データ埋め込み部６９により、ステップＳ３２にて上記図１４のステップＳ２１と同様に、所定時間間隔INTに必要な１ビット・オーディオ信号を含むTSパケットの数（Ａ）を算出する。

これと同時又は以前にMPEG2-TS信号編集機７５は、ステップＳ３３にて最小パケット数検出部６８により、全INTにおけるNULLパケット数の最小値（Ｂ）を算出する。

そして、MPEG2-TS信号編集機７５は、データ埋め込み部６９により、ステップＳ３４にて、NULLパケットの最小値（Ｂ）と１ビット・オーディオ信号を含むTSパケットの数（Ａ）とを比較する。その結果、（Ａ−Ｂ）＞０でなければ（ＮＯ）、ステップＳ３５に進み、NULLパケット部分を１ビット・オーディオ信号を含むTSパケットに置き換える。ここで、NULLパケットが余った場合は、NULLパケットのままとする。

ステップＳ３４にて、（Ａ−Ｂ）＞０であれば、ステップＳ３６に進み、（Ａ−Ｂ）個のNULLパケットをMPEG2-TS信号全体に亘ってINT毎に挿入する。その後、ステップＳ３５に進み、NULLパケット部分を１ビット・オーディオ信号を含むTSパケットに置き換える。ここで、NULLパケットが余った場合は、NULLパケットのままとする。

最後に、ステップＳ３５にて、MPEG2-TS信号編集機７５は、データ埋め込み部６９により、MPEG2-TSの伝送に必要な情報を含むTSパケットに１ビット・オーディオ信号を含むTSパケットの情報を追加する。

図１９及び図２０は、映像信号を含むTSパケット９０とNULLパケット９１の数と、ビットレートとの関係を概念的に表した図である。図１９（ａ）に示すように、AビットレートのMPEG2-TSストリームにあって、映像信号を含むTSパケット９０を除いた不要なTSパケットをNULLパケット９１に置き換えたとき、充分なNULLパケット９１が確保されているのであれば、図１９（ｂ）に示すようにNULLパケット９１部分を１ビット・オーディオ信号を含むTSパケット９２に置換しても、Aビットレートを変更することがないため、MPEG2-TSの伝送に影響はない。

しかし、図２０（ａ）に示すように充分なNULLパケットが確保されいていない場合、NULLパケット部分を１ビット・オーディオ信号を含むTSパケット９２に置換しようとしても、MPEG2-TSのAビットレートからあふれてしまう。そこで、MPEG2-TS信号編集機７５は、図１８のステップＳ３６にて（Ａ−Ｂ）個のNULLパケットをMPEG2-TS信号全体にわたってPCR間、つまり全INTに挿入してビットレートを高くすることで対応する。MPEG2-TSストリーム全体のビットレートを、BビットレートのようにAビットレートよりも高くし、充分なNULLパケット部分を確保する。その後、確保したNULLパケット部分をステップＳ３５にて１ビット・オーディオ信号を含むTSパケット９２に置換することで、図２０（ｂ）に示すように１ビット・オーディオ信号を含むTSパケットがあふれることなく、MPEG2-TS信号として伝送できるようになる。すなわち、可変ビットレートの映像信号との多重化ができたことになる。最後に、MPEG2-TS信号の伝送に必要な情報を含むTSパケットに１ビット・オーディオ信号を含むTSパケットの情報を追加し、多重化を終了させる。

なお、本実施の形態では、2chの１ビット・オーディオ信号を用いたが、マルチチャンネルの１ビット・オーディオ信号でも対応可能である。この場合、所定時間間隔INTに必要な１ビット・オーディオ信号を含むTSパケットの数（Ａ）は、2chのときよりも多くなる。

また、図２１には、上記図１の多重化装置１によって多重化されて、伝送されて来たMPEG2-TSを復号するMPEG2-TS基準デコーダ１００の構成を示す。入力端子に供給されたMPEG2-TSは、各々の復号装置に対するトランスポート・パケットを時分割多重したものであり、切り換えスイッチ１０１によってヘッダ情報の内容識別情報であるPIDに応じて切り換えられ、ビデオデコーダ部１０３、１ビット・オーディオ信号デコーダ部１０４・・・及びその他のデコーダ部１０５の、それぞれ対応するTSバッファ１０６、１１２及び１１５にそれぞれ送られる。

ビデオデコーダ部１０３のTSバッファ１０６、オーディオデコーダ部１０４のTSバッファ１１２、その他のデコーダ部１０５のTSバッファ１１５は、各512バイトの容量を持つ。TSバッファ１０６、１１２及び１１５にて各512バイトの容量でバッファリングされたビデオデータ、DSDオーディオデータ、及びその他のデータは、システムターゲットデコーダ（ＳＴＤ：System Target Decoder）バッファとなるメインバッファ１０７、１１３、及び１１６にてバッファリングされる。

メインバッファ１０７でバッファリングされたビデオデータは、エレメンタリーストリームＥＳバッファ１０８を介してビデオデコーダ１０９に送られ、オーディオ用メインバッファ１１３から読み出されたデータは、オーディオデコーダ１１４に送られ、その他のメインバッファ１１６から読み出されたデータはシステムデコーダ１１７に送られる。

システムデコーダ１１７からのシステム制御に関するデコードデータは、ビデオデコーダ１０９及びオーディオデコーダ１１４に送られる。

ビデオデコーダ１４５は、上記システムデコーダ１１７からのシステム制御に関するデコードデータにしたがって上記ビデオデータをデコードする。このとき、デコードデータが、いわゆるIピクチャ（フレーム内符号化画像）やPピクチャ（順方向予測符号化画像）の場合には、遅延バッファ１１０を介して切り換えスイッチ１１１の一方の被選択端子に送られ、Bピクチャ（双方向予測符号化画像）の場合には他方の被選択端子に送られて、この切り換えスイッチ１１１からの出力がビデオ出力として取り出される。

オーディオデコーダ１１４は、上記システムデコーダ１１７からのシステム制御に関するデコードデータにしたがって上記DSDデータをデコードし、オーディオ出力として導出する。

本発明の実施の形態の多重化装置のブロック図である。 MPEG2多重化装置のブロック図である。 トランスポートストリーム（TS）の構造を示す図である。 アダプテーションフィールドがあるTSパケット構造を示す図である。 PSI（プログラム仕様情報：Program Specific Information）が入るTSパケットのペイロード部分を示す図である。 階層データ構造の例を示す図である。 多重化部にて多重化され、MPEG2-TS信号編集機に入力するトランスポートストリーム（TS）の具体例を示す図である。 ΔΣ変調器の構成を示す図である。 １ビット量子化器の処理を説明するための図である。 ５次のΔΣ変調器の構成を示す図である。 MPEG2-TS信号編集機の構成を示す図である。 MPEG2-TS信号編集機の処理手順を示すフローチャートである。 不必要パケット数算出処理を示すフローチャートである。 パケット埋め込み処理を示すフローチャートである。 MPEG2-TS信号編集機の動作を説明するための概念図である。 MPEG2-TS信号編集機の他の動作を説明するための概念図である。 MPEG2-TS信号編集機の他の構成を示す図である。 他のMPEG2-TS信号編集機の処理手順を示すフローチャートである。 他のMPEG2-TS信号編集機の動作を説明するための概念図である。 他のMPEG2-TS信号編集機の他の動作を説明するための概念図である。 MPEG2-TS基準デコーダの構成を示す図である。

符号の説明

１ 多重化装置、３ ΔΣ変調器、５ MPEG2-TS信号編集機、６３ PCR間隔INT検出部、６４ 不必要パケット数算出部、６５ 第１のパケット数算出部、６６ 第２のパケット数算出部、６７ パケット数差算出部、６８ 最小不要パケット数値検出部、６９ データ埋め込み部

Claims (12)

1. アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を固定ビットレートのままに、可変ビットレートの映像信号に多重化する多重化装置であって、
   可変ビットレートの映像信号を含む連続する複数パケットに所定の時間間隔で配置されている基準クロックを抽出し、抽出した基準クロック間における上記所定の時間間隔を検出する時間間隔検出手段と、
   上記時間間隔検出手段によって検出された所定の各時間間隔における伝送に不必要なパケットのパケット数を算出する不要パケット数算出手段と、
   上記不要パケット数算出手段によって算出された不要パケット数の全時間間隔における最小値を算出する最小不要パケット数値検出手段と、
   上記最小不要パケット数値検出手段によって検出された最小不要パケット数よりも上記所定時間間隔当たりの上記１ビットオーディオ信号を含むパケット数が少なければ、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込む埋め込み手段と
   を備えることを特徴とする多重化装置。
2. 上記不要パケット数算出手段は、
   上記所定の時間間隔における伝送可能パケット数を算出する第１のパケット数算出手段と、
   上記時間間隔検出手段によって検出された所定の各時間間隔における上記映像信号を含むパケット中の映像信号とパケット化のための必須情報との合計の第２のパケット数を算出する第２のパケット数算出手段と、
   上記第１のパケット数算出手段によって算出された上記所定の各時間間隔における第１のパケット数と上記第２のパケット数算出手段によって算出された上記所定の各時間間隔における第２のパケット数との各パケット数差を算出するパケット数差算出手段と
   を備えることを特徴とする請求項１記載の多重化装置。
3. 上記埋め込み手段は、
   上記所定時間間隔当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数よりも少ないときには、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込むことを特徴とする請求項１記載の多重化装置。
4. 上記埋め込み手段は、上記所定時間間隔当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数よりも多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込むことを特徴とする請求項３記載の多重化装置。
5. 上記不要パケット数算出手段によって算出された上記所定の各時間間隔における不要パケットを、同じパケット数の無効データパケットに置き換える無効データパケット置き換え手段をさらに有し、
   上記最小不要パケット数値検出手段は上記無効データパケット置き換え手段によって置き換えられたすべての各時間間隔における各無効データパケットの内、最小値に相当する無効データパケットのパケット数を検出し、
   上記埋め込み手段は、上記最小不要パケット数値検出手段により検出された最小値パケット数の無効データパケットよりも少ないパケット数の上記１ビットオーディオ信号を含む複数パケットを上記すべての各時間間隔における、無効データに埋め込むことを特徴とする請求項１記載の多重化装置。
6. 上記埋め込み手段は、上記最小不要パケット数値検出手段により検出された最小値パケット数の無効データパケットよりも、上記１ビットオーディオ信号を含む複数パケットが多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込むことを特徴とする請求項５記載の多重化装置。
7. アナログオーディオ信号にΔΣ変調処理を施して得られた１ビットオーディオ信号を固定ビットレートのままに、可変ビットレートの映像信号に多重化する多重化方法であって、
   可変ビットレートの映像信号を含む連続する複数パケットに所定の時間間隔で配置されている基準クロックを抽出し、抽出した基準クロック間における上記所定の時間間隔を検出する時間間隔検出工程と、
   上記時間間隔検出工程によって検出された所定の各時間間隔における伝送に不必要なパケットのパケット数を算出する不要パケット数算出工程と、
   上記不要パケット数算出工程によって算出された不要パケット数の全時間間隔における最小値を算出する最小不要パケット数値検出工程と、
   上記最小不要パケット数値検出工程によって検出された最小不要パケット数よりも上記所定時間間隔当たりの上記１ビットオーディオ信号を含むパケット数が少なければ、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込む埋め込み工程と
   を備えることを特徴とする多重化方法。
8. 上記不要パケット数算出工程は、
   上記所定の時間間隔における伝送可能パケット数を算出する第１のパケット数算出工程と、
   上記時間間隔検出工程によって検出された所定の各時間間隔における上記映像信号を含むパケット中の映像信号とパケット化のための必須情報との合計の第２のパケット数を算出する第２のパケット数算出工程と、
   上記第１のパケット数算出工程によって算出された上記所定の各時間間隔における第１のパケット数と上記第２のパケット数算出手段によって算出された上記所定の各時間間隔における第２のパケット数との各パケット数差を算出するパケット数差算出工程と
   を備えることを特徴とする請求項７記載の多重化方法。
9. 上記埋め込み工程は、
   上記所定時間間隔当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数よりも少ないときには、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数のパケットを埋め込むことを特徴とする請求項７記載の多重化方法。
10. 上記埋め込み工程は、上記所定時間間隔当たりに必要な１ビット・オーディオ信号を含むパケット数を算出し、上記不要パケット数の最小値と比較し、不要パケット数よりも多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込むことを特徴とする請求項９記載の多重化方法。
11. 上記不要パケット数算出工程によって算出された上記所定の各時間間隔における不要パケットを、同じパケット数の無効データパケットに置き換える無効データパケット置き換え工程をさらに有し、
    上記最小不要パケット数値検出工程は上記無効データパケット置き換え工程によって置き換えられたすべての各時間間隔における各無効データパケットの内、最小値に相当する無効データパケットのパケット数を検出し、
    上記埋め込み工程は、上記最小不要パケット数値検出工程により検出された最小値パケット数の無効データパケットよりも少ないパケット数の上記１ビットオーディオ信号を含む複数パケットを上記すべての各時間間隔における、無効データに埋め込むことを特徴とする請求項７記載の多重化方法。
12. 上記埋め込み工程は、上記最小不要パケット数値検出工程により検出された最小値パケット数の無効データパケットよりも、上記１ビットオーディオ信号を含む複数パケットが多いときには、その差分のパケット数と同数の無効データパケットを全時間間隔に埋め込んでから、全時間間隔に上記所定時間間隔当たりの上記１ビットオーディオ信号を含む複数パケットを埋め込むことを特徴とする請求項１１記載の多重化方法。
    

Images