JP3671969B2 - データ多重方法及び多重データ復号方法 - Google Patents
データ多重方法及び多重データ復号方法 Download PDFInfo
- Publication number
- JP3671969B2 JP3671969B2 JP2003100013A JP2003100013A JP3671969B2 JP 3671969 B2 JP3671969 B2 JP 3671969B2 JP 2003100013 A JP2003100013 A JP 2003100013A JP 2003100013 A JP2003100013 A JP 2003100013A JP 3671969 B2 JP3671969 B2 JP 3671969B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- packet
- picture
- image
- multiplexing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像、音声、デジタルデータ等を多重して伝送する際のデータ多重方法、データ伝送方法及び多重したデータを復号するための復号方法、及び装置に関するものである。
【０００２】
【従来の技術】
圧縮技術の進歩に伴い、近年、放送、CATVなどでデジタル画像、音声サービスが一部実用化されている。デジタル画像、音声またその他のデータを伝送する際には圧縮技術とともに、いかにそれらのデータを多重するかも重要な課題である。
【０００３】
以下図面を参考にしながら、上述したデータ多重方法の国際規格であるMPEGデータ多重方法および、多重したデータを復号する多重データ復号装置について説明する。
【０００４】
図１１、１２、１３は従来のMPEG2データ多重方法の説明図である。図１４はMPEG2データ多重方法で多重したデータを復号する多重データ復号装置のブロック図である。図１４において、１４１は分離部で１４１１のバッファ、１４１２のCPUより構成される。また１４２はクロック制御部、１４３は画像デコーダ、１４４は音声デコーダである。図１５は分離部のCPU１４１２の動作を示すフローチャートである。
【０００５】
以上のように構成された従来のMPEG2データ多重方法及び多重データ復号装置について、以下その動作を説明する。
【０００６】
画像データ、音声データは、画像であればフレーム、音声であれば1024など一定のサンプル数（MPEGでは音声の場合もこれをフレームと呼ぶ）ごとに圧縮符号化し、１フレームあるいは複数フレームをまとめてPESパケットと称するパケットを作る。図１３がPESパケットのフォーマットの概略で、PESパケットにはヘッダがつくが、ヘッダ中には後に続くデータエリアが画像データか、音声データか、あるいはその他のデータかを示すストリームID、あるいは特殊再生のためのデータであることを示すトリックモードフラグ等の情報を含んでいる。PESパケットは後述する複数個の188バイト長のTSパケットに分割して伝送する。
【０００７】
図１１がTSパケットのフォーマットの概略である。TSパケットにはそれぞれPIDと呼ぶパケット固有の番号がついている。PIDはTSパケットごとに異なるのではなく同じPESパケットは同じPIDを持つ。TSパケットは、図１１(b)で示すようにヘッダに続きデータあるいはアダプテーションフィールドと呼ばれる多重化データの分離等に使う情報を送る。アダプテーションフィールドの長さは送る情報によって異なるため、短い場合はアダプテーションフィールドに続けてデータも送ることが可能である。TSパケットのPIDは図１１(c)のようにヘッダの一部として送る。図１１(d)はアダプテーションフィールドの内容の一部を示した図、図１１(e)はアダプテーションフィールドの一部のオプションフィールドの内容の一部を示した説明図である。アダプテーションフィールドにはオプションフィールドとして図１１(e)のように復号に必要な基準時間クロックPCRを送ることが可能である。MPEG2では多重装置、分離装置のクロック周波数を27MHzと定めており、バッファのオーバーフローアンダーフローを防ぐため、多重装置のクロックを27MHzでカウントした数値、PCRを送っている。分離装置は受信したPCRから多重装置と同期したクロックを再生する。このPCRは常に送る必要はなく分離装置の同期に必要な間隔、例えば0.7秒に１回程度の間隔で送る。従ってアダプテーションフィールドではオプションフィールドとして、送っても送らなくても良いような構造となっている。また、異なったプログラムを送る場合などは異なった画像エンコーダで符号化する場合が多いので、基準クロックは一般に異なる。異なったPCRを同一のプログラム番号等で送るときは、アダプテーションフィールドにある不連続フラグを１にし、PCRの不連続点が存在することを分離装置に知らせる。
【０００８】
TSパケットのデータ領域には図１１で示したPESパケットの他にPSIと呼ばれる番組選択の情報を送ることが可能である。図１２がPSIの１つであるプログラムテーブルPMTの構造を示したものである。PMTには伝送するプログラムの番号を示すプログラム番号、及びそのプログラムの再生に必要なPCR、画像データPES、音声データPES、データPESパケットそれぞれのPIDを多重して送る。
【０００９】
図１４は以上のように多重化したデータを受信してデータを再生する従来の多重データ復号装置の一例である。受信した多重データはまずバッファ１４１１で記憶する。CPU１４１２は図１５で示したフローチャートに基づいて動作し、最初に伝送されたデータから外部から設定したプログラム番号のPMTを探す。PMTを検出したら、そのPMTからPCR、画像データPES、音声データPES、データPESパケットのPIDを抽出する。次に、受信データのうちTSパケットのPIDを見て、プログラムを再生するために必要なTSパケットを抽出する。TSパケットのうちPCRを含んだパケットはクロック制御部１４２に送り画像、音声デコーダに必要な基準クロックを再生する。TSパケットのうち画像、音声のパケットはそれぞれのデコーダ１４３、１４４に送る。復号部では再生した基準クロックを用いて画像、音声データ復号、伸張し番組を再生することができる（例えば、ISO/IEC JTC1/SC29 N801, "ISO/IEC CD 13818-1: Information technology - Generic coding of moving pictures and associated audio : Systems", 1994.11）。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記のような構成のみでは復号装置に種々の問題が生ずる。まず複数のプログラムのTSパケットを多重する際、基準クロックPCRを有するTSパケットがパケット多重の際に衝突する可能性があり、結果としてPCRパケットの間隔がゆらぎジッタとなる。復号装置ではPLLを構成して基準クロックを再生するが、PCRの間隔が一定値以上になるとジッタを吸収できず、クロックの再生が不可能になる。
【００１１】
また、プログラムの最初や、プログラムが切り替わった際などPCRが不連続となるが、不連続なパケットが到着する前に図１１における不連続フラグが不連続であることを示す位置になっている保証はない。従って最悪の場合不連続フラグなしに次の不連続なPCRが到来し、復号装置は全く異なるPCRに同期しようとするため、動作が不安定となる。
【００１２】
さらに、画像のフレーム周波数やオーディオのサンプリング周波数などが変化した場合、復号装置からの出力クロックも変える必要があるが、一般に同期を確立するには一定の時間が必要で、サンプリング周波数が異なったデータを受信した場合、同期系が確立できず出力が乱れる可能性がある。
【００１３】
一方、図１３においてPESヘッダ中にはトリックモードフラグがあり、早送り、静止などのコマンドがPESパケットとともに送れるが、復号装置の動作の明確な規定はなく、確実な動作の保証がない。
【００１４】
本発明は上記問題点に鑑み、通常、あるいは特殊再生時の多重化データ復号装置の動作を確実にするデータ多重方法、データ伝送方法、多重データ伝送方法及び多重データ復号方法、多重データ復号装置を提供するものである。
【００１５】
【課題を解決するための手段】
上記問題点を解決するために本発明のデータ多重方法は、１種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重した第１のパケット列を入力し、１種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重した第２のパケット列を入力し、前記第１のパケット列と、前記第２のパケット列を多重して第３のパケット列を出力する場合において、前記第１のパケット列中の基準時間信号を含むパケットと、前記第２のパケット列中の基準時間信号を含むパケットが一定の時間以内に入力した場合、前記第１のパケット列中の基準時間信号を含むパケットから基準時間信号を削除する、あるいは、１種類以上のデジタルデータを含むデータパケットと、パケットの内容及びパケットの番号を示すテーブルを含んだテーブルパケットを多重して多重パケットを生成する場合において、テーブルパケットの内容を変更する際、変更したテーブルパケットに対応するデータパケットを送る前に、テーブルパケットが変更することを示す指示信号及び変更したテーブルパケットを前記多重パケットに多重する、あるいは、１種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重する場合において、前記デジタルデータを含むパケットの前、またはデジタルデータの内容が不連続な場合、不連続なデジタルデータを含むパケットの前、に多重する基準時間信号のパケットは、基準時間信号が連続していないことを示す基準時間信号不連続フラグを付与し、前記フラグも多重するものである。
【００１６】
また本発明のデータ多重方法は、音声データ、画像データ及びその他のデジタルデータを含む複数のパケットを用いて特殊再生する場合において、画像、または音声データを含むパケットは同一のフレームのデータのみで特殊再生パケットを構成し、前記特殊再生パケットを伝送するものである。また本発明の多重データ復号方法は、フレームあるいはフィールド内圧縮符号化、及びフレームあるいはフィールド間圧縮符号化を用いて圧縮したデジタル画像データを含むパケットを復号し、前記復号したデータを用いて任意のフレームあるいはフィールドで静止する際、静止命令信号を受信した時点で、直前あるいは直後のフレーム内あるいはフィールド内圧縮符号化した画像データを復号した画像を静止画像として表示する、あるいは、圧縮したデジタル画像データに復号または表示時間を示したフラグを付与したパケットを復号し、前記復号したデータを用いて任意のフレームあるいはフィールドで静止する際、静止命令信号を受信した時点で、時間的に直前あるいは直後のアクセス可能な画像データの復号または表示時間を示したフラグを記憶し、静止再開時には前記アクセス可能な画像データの復号または表示時間を示したフラグを多重装置に送り、前記アクセス可能な画像データからの復号を再開するものである。
【００１７】
（作用）
本発明は上記した構成によって、基準信号PCRの間隔が一定値以下となるのでクロック再生に支障をきたすことがない。また、プログラム変更の際にはPMTやPCRなどを変更した内容のデータに先立ち送出するので復号装置の動作が確実になる。さらに、特殊再生時には同一ピクチャのみのデータをPESパケットに構成して復号装置に送出するため画像が途中で途切れることがない。画像表示静止時にもフレーム内符号化ピクチャで静止し、静止したピクチャの時間情報を伝送装置に送ることによって静止ピクチャの画像データから再送することで静止終了後も連続した画像を再生することができることとなる。
【００１８】
【発明の実施の形態】
以下本発明の第１の実施例におけるデータ多重方法について、図面を参照しながら説明する。
【００１９】
図１は本発明の第１の実施例におけるデータ多重装置のブロック図である。図１において１は第１のデータ多重部でクロック生成回路１１、CPU１２、バッファ１３よりなる。２は第２のデータ多重部、３は第２のデータ多重部で、両方とも第１のデータ多重部と同じ構成をとっている。図２は第３のデータ多重部におけるCPU３２の動作の一部を示す説明図である。
【００２０】
以上のように構成されたデータ多重装置におけるデータ多重方法について図１、図２を用いて説明する。
【００２１】
多重化する画像データ、音声データ、その他のデータは、それぞれ画像エンコーダ１４、音声エンコーダ１５、データエンコーダ１６で圧縮符号化し従来例における図１３のようなPESパケットにして第１、第２のデータ多重部に入力する。第１、第２のデータ多重部１、２では画像、音声、データの同期及び多重データ復号装置でのバッファのオーバーフロー、アンダーフローが生じないようにPESパケットからTSパケットに変換しつつ多重化する。データ多重部１とデータ多重部２の出力はデータ多重部３で更に多重化する。これは例えばデータ多重部１と２の出力がそれぞれ4Mbpsで、両者を8Mbpsの伝送路に送出する場合などを想定している。データ多重部３は図２に示すように、データ多重部１及びデータ多重部２からTSパケットを２１０、２１１で入力し、それぞれの入力を例えば交互に多重化して出力する。その際問題になるのは、双方のパケットが同時に多重データ復号装置で必要となる基準クロックPCRを含んでいる場合である。多重データ復号装置の設計をしやすくするために基準クロックPCRの揺らぎはある一定値以下に抑えることが望ましく従来例に引用した例では30ppm以下となっている。ところが多重部１と２のTSパケットが同時にデータ多重部３に入力した場合、多重化のために1TSパケットのずれが生じ、結果としてPCRが揺らいでしまう。そこで本実施例ではあらかじめ頻繁に基準クロックPCRを多重データ中に挿入しておき、衝突した際は図２のフローチャート２１２、２１５にあるように多重部１の入力側のTSパケットに含まれるPCRフィールドを消去してしまう。PCRフィールドはオプションであり消去してもなんら影響はない。PCRを含むパケットの間隔は若干延びることとなるが、あらかじめ頻繁に挿入しているため多重データ復号装置の動作に支障はきたさない。
【００２２】
以上のように本実施例によれば多重データ復号装置の基準クロックPCRに悪影響を及ぼさないデータ多重が実現できる。
【００２３】
図３は本発明の第２の実施例におけるデータ多重方法の説明図、図４は多重データ復号方法の説明図である。図３のフローチャートは図１における第１のデータ多重部１のCPU12の動作を示している。また、図４は図１４における多重データ復号装置１４１のCPU1411の動作を示す説明図である。以下図３、４を用いて説明する。
【００２４】
データ多重部１において通常動作時はPMT、PCRを適切なタイミングで送出し、さらに画像、音声、データのPESパケットを適切なタイミングでTS変換し、多重して送出する動作を繰り返す。
【００２５】
一方プログラムの開始時は、多重データ復号装置は多重装置と同期が取れていないので基準時間PCRを含んだパケットを送る必要がある。PCRパケットを送ると復号装置は送られてきたPCRに基づいて同期を試みる。プログラムの開始時は復号装置とは全く無関係のPCRが送られてくるため同期に時間がかかる。そこで図３における３１９のようにPCRが不連続であることを示すPCR不連続フラグを１にセットする。復号装置では不連続フラグが１であることを検知すると送られてきたPCRとの同期を試みるのではなく、送られてきたPCR値をセットし次のPCRを待つ。従って同期までの時間が短縮されることとなる。また、以上の動作はプログラムの開始時だけでなく、内容変更があり基準時間PCRが変わる際にも有効である。
【００２６】
次に、プログラム開始時にはプログラムとPIDの関係を表すPMTを送る必要がある。その際、図３における３２１のように最初にPMTの有効フラグを０にセットにした上で新しいパケット番号PIDに基づいたテーブルを作成する（３２２）。PMTの有効フラグが０であると多重データ復号装置はそのPMTが無効として、一般的にはそのPMTを使わない。次に有効フラグが１のPMTが来るとそのPMTを用いて復号を行う。従来例のMPEG2規格ではプログラムの変更と、PMT有効フラグの使用方法の明確な規定はない。従ってPMTの有効フラグを１にセットしたまま異なるPMTを送ることも可能である。しかしながら、一般の復号装置は、PMTが変更し、変更したPMTから復号に必要なTSパケットのPIDを求め、所望のPIDを持つTSパケットの伝送データ中からの抽出を開始するといった一連の動作には一定の時間が必要である。結果として、変更したPMTを受信した直後のパケットは正確に抽出することができず一部のデータが失われてしまい、画像、音声が一瞬とぎれることがある。そこで本発明では、新しいPMTを送出する前、すなわちプログラムの開始時、あるいはプログラムの内容変更時には必ずPMTの有効フラグ０を付与した上で新しい内容に対応したPMTを送出する。
【００２７】
多重データ復号装置は、図４のフローチャート４６、４７に示したように有効フラグ０を有したPMTを受信した場合、PMTから必要なPIDを求め、プログラム開始時は、復号に必要なPIDを有したパケットの抽出を準備する、すなわちPMTを更新し、次に有効フラグ１を有したPMTに続くPIDから抽出を開始する。また、プログラムの内容が途中で変更する場合、有効フラグ０を有したPMTを受信した際、現在有効なPIDの抽出を続けると同時にPMTを新しいPMTで更新し、次に有効フラグ１を有したPMTに続くPIDから新しい内容に対応したPIDを有するTSパケットの抽出を開始する。
【００２８】
以上のように、有効フラグ０を有したPMTを実際に有効なPMTに先立ち送出することで、復号装置に遅延があってもPIDの抽出抜けはなく、画像、音声が途切れることなく再生可能となる。
【００２９】
また、画像におけるフレーム周波数、音声におけるサンプリング周波数は復号装置の出力周波数及び動作を決める周波数で、これらのもととなるクロックは受信した基準クロックPCRから一般的には生成する。音声におけるエンファシス特性も出力音声を変化させ、その特性自体を設定する必要があり、これらの設定変更には一定の時間が必要である。従ってこれらの特性が変化したデータを連続して送ると、設定に要する時間に受信したパケットのデータを正確に復号することが不可能となる。そこで本発明では、図３において３２３、３２４、３２５、３２６、３２７、３２８で示すように、変化するデータを送出する前に、PMTのデスクリプタと呼ばれる領域中に変化後の画像のフレーム周波数、音声にサンプリング周波数もしくはエンファシス特性を記述して送出する。以上のようなデータを送出することで、復号装置はクロック、あるいは特性を実際のデータを受信する前に変えることが可能となるため、変化したデータを受信しても正常な復号が可能となる。
【００３０】
図５、図６は本発明の第３の実施例におけるデータ多重方法を示す説明図である。以下、図５、図６を用いて説明する。
【００３１】
画像のPESパケットは図５(a)に示したように1つのパケット内に複数のピクチャが含まれている可能性がある。ここでピクチャとは、MPEG画像圧縮においてフレームあるいはフィールドを指す。フレームかフィールドかは、圧縮符号化の方法によって異なる。図５(a)では２つのピクチャのデータが同一パケットに含まれている。早送り、スロー、静止などの特殊再生を行う場合、図１３に示したように、PESヘッダ中にある早送り等の動作をデータ復号装置に知らせるトリックモードフラグをセットして画像データとともに送る。これらのフラグを読んで、復号装置はバッファ制御、画面制御を行う。通常、これらの特殊再生動作はフレームあるいはフィールド、すなわちピクチャ単位で制御する。ところが図５(a)の用にPESパケット内に１ピクチャ以上のデータが混在すると、復号装置にバッファをおき、２つのPESパケットから１ピクチャ分のデータを構成し直すといった操作が必要となる。そこで本発明では、図５(a)のようなPESパケットを図５(b)のように伝送前に１ピクチャ１パケットに構成しなおしてから伝送する。図６は、前記動作を実現するフローチャートで、例えば図１における第１のデータ多重部１のCPU12のアルゴリズムとして用いる。CPUの動作としては特殊再生を要求する信号の入力があった場合、まず６４で１ピクチャが1PESパケットで構成されているかどうかを確認し、そうでなければ６６、６７、６８でPESヘッダの位置をピクチャヘッダの直前になるように更新する。
【００３２】
上記動作により、１パケット中には同一ピクチャしか含まれないこととなり、トリックモードフラグとピクチャデータとの対応が明確になると同時に、複雑な復号装置の動作、またはハードウェアが不要となる。
【００３３】
なお以上の実施例では、画像データについてのみ説明したが音声データでも同様の動作が有効である。ただし音声データの場合はピクチャではなく圧縮符号化の単位を示すフレームとなる。
【００３４】
図７は本発明の第４の実施例における多重データ復号方法を示す説明図、図８は多重データの内容を示す説明図である。以下、図７、図８を用いて説明する。
【００３５】
今、多重データのうちの画像データが図８で示したようにフレーム内符号化ピクチャ（Iピクチャ）、前方予測フレーム間符号化ピクチャ（Ｐピクチャ）、両方向予測フレーム間符号化ピクチャ（Ｂピクチャ）で構成されているとする。Iピクチャはそれ自身のみで復号できるのに対し、Pピクチャはその前に伝送したIピクチャ、Bピクチャはその前に伝送したI及びPピクチャがないと復号できない。図８ではBピクチャに続きI１、B0、P3、B2の順で伝送している。復号は伝送順序で行うが、表示は最初のBピクチャを無視すると、B0、I1、B2、P3のように順序が逆転する。また、上記のような手法で画像圧縮符号化する際、一般にI、Pピクチャの画質を良く、Bピクチャの画質を若干悪くする方が全体の画質が上がることが知られている。
【００３６】
特殊再生時に画像を静止する際、以上の理由からBピクチャ以外で静止した方が画質の良い画像が得られる。また、静止解除の際、同じフレームから開始する方が望ましい。上記のようなデータを伝送する際、それ自身で復号できるIピクチャの前にシーケンスヘッダを入れるなどしてランダムアクセス可能にすることが一般的である。従って、Iピクチャからのアクセスすなわち静止再開は比較的容易である。
【００３７】
以上の動作を図１４におけるデータ復号装置のCPU1412のフローチャートで示したのが図７である。図７では７２で、IピクチャのDTS（デコードタイムスタンプ：デコード時間を基準時間PCRで表したもの）を常に記憶しておく。静止信号を入力した際、７６でIピクチャが表示されたかどうかを確認し、表示した時点で画像表示更新を止め、静止する。その後、８０で最後に記憶したIピクチャ、すなわち現在静止表示しているIピクチャ、のDTSをデータ多重装置に送る。多重装置では、復号装置から送られたDTSをもとに現在静止表示しているIピクチャを決定し、静止終了とともにDTSに該当するIピクチャから送信を開始する。復号装置では、Iピクチャの次の最初のPピクチャの間にあるBピクチャは、Iピクチャの前のIあるいはPピクチャがないと復号できないため、前記Bピクチャの復号、表示はせず、Iピクチャの復号、表示から開始する。以上の動作により、静止したIピクチャから途切れることなく静止終了時に連続して再生することが可能となる。
【００３８】
図９は本発明の第５の実施例における多重データ復号方法を示す説明図である。第４の実施例と異なるのは９２で静止信号が入力した時点で９５のように表示更新をやめ現在表示している画像をそのまま表示し続けることである。静止終了した時点で、現在受信しているデータを解析し、Iピクチャから復号を再開する。本実施例によれば、同じピクチャから再生することは不可能であるがデータ多重装置にDTSを送る必要がなく、システム全体を安価に構成することができる。
【００３９】
なお、以上の実施例では現在表示している画像で静止するとしたが、これに限る物ではなく第４の実施例のようにIピクチャで静止するようにしても良い。
【００４０】
図１０は本発明の第６の実施例における多重データ復号方法を示す説明図である。本実施例が第4、第5の実施例と異なるのは、静止信号入力時に表示を停止するのではなく１０５で示したように入力を停止する点である。一般に画像デコーダは入力がなくなると表示可能な最後の画像をそのまま表示し続ける。従って復号装置の入力を停止することにより、画像が静止することとなる。また、入力の最後の画像がIまたはPピクチャの時、それらのピクチャは画質が良いためそのピクチャを静止画として利用するのが望ましいが、伝送順序でIまたはPに続くBピクチャ、すなわち表示順序でIまたはPピクチャの前のBピクチャがないため、入力の最後のIまたはPピクチャを表示せずにそれ以前に送られたBピクチャで静止してしまう。本実施例では図１０における１０６、１０７、１０８のように最後に入力したピクチャがIまたはPの場合、デコード時間を示すDTSや表示時間を示すPTSを無視してIまたはPピクチャを表示してから静止するようにする。
【００４１】
以上の動作により、表示系に新しいハードウェアを追加せず復号装置の入力のみを変えることによって静止の特殊再生が実現できることとなる。
【００４２】
【発明の効果】
以上のように本発明は、基準時間PCRのジッタを一定値以下に抑えるので復号装置の動作に支障をきたすことがない。また、プログラム変更の際にはPMTやPCRなどを変更した内容のデータに先立ち送出するので復号装置の動作が確実になる。さらに、特殊再生時には同一ピクチャのみのデータをPESパケットに構成して復号装置に送出するため画像が途中で途切れることがない。画像表示静止時にもフレーム内符号化ピクチャで静止し、静止したピクチャの時間情報を伝送装置に送ることによって静止ピクチャの画像データから再送することで静止終了後も連続した画像を再生することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例におけるデータ多重装置のブロック図
【図２】本発明の第１の実施例における第３のデータ多重部におけるCPU３２の動作の一部を示す説明図
【図３】本発明の第２の実施例におけるデータ多重方法の説明図
【図４】本発明の第２の実施例多重データ復号方法の説明図
【図５】本発明の第３の実施例におけるデータ多重方法を示す説明図
【図６】本発明の第３の実施例におけるデータ多重方法を示す説明図
【図７】本発明の第４の実施例における多重データ復号方法を示す説明図
【図８】本発明の第４の実施例における多重データの内容を示す説明図
【図９】本発明の第５の実施例における多重データ復号方法を示す説明図
【図１０】本発明の第６の実施例における多重データ復号方法を示す説明図
【図１１】従来の多重データ伝送方法の説明図
【図１２】従来の多重データ伝送方法の説明図
【図１３】従来の多重データ伝送方法の説明図
【図１４】従来のデータ多重方法で多重したデータを復号する多重データ復号装置のブロック図
【図１５】従来の多重データ復号装置におけるCPUの動作を示す説明図
【符号の説明】
１ 第１のデータ多重部
２ 第２のデータ多重部
３ 第３のデータ多重部部
１１ クロック生成回路
１２ CPU
１３ バッファ
１４ 画像エンコーダ
１５ 音声エンコーダ
１６ データエンコーダ
２１ 画像エンコーダ
２２ 音声エンコーダ
２３ データエンコーダ
【発明の属する技術分野】
本発明は、デジタル画像、音声、デジタルデータ等を多重して伝送する際のデータ多重方法、データ伝送方法及び多重したデータを復号するための復号方法、及び装置に関するものである。
【０００２】
【従来の技術】
圧縮技術の進歩に伴い、近年、放送、CATVなどでデジタル画像、音声サービスが一部実用化されている。デジタル画像、音声またその他のデータを伝送する際には圧縮技術とともに、いかにそれらのデータを多重するかも重要な課題である。
【０００３】
以下図面を参考にしながら、上述したデータ多重方法の国際規格であるMPEGデータ多重方法および、多重したデータを復号する多重データ復号装置について説明する。
【０００４】
図１１、１２、１３は従来のMPEG2データ多重方法の説明図である。図１４はMPEG2データ多重方法で多重したデータを復号する多重データ復号装置のブロック図である。図１４において、１４１は分離部で１４１１のバッファ、１４１２のCPUより構成される。また１４２はクロック制御部、１４３は画像デコーダ、１４４は音声デコーダである。図１５は分離部のCPU１４１２の動作を示すフローチャートである。
【０００５】
以上のように構成された従来のMPEG2データ多重方法及び多重データ復号装置について、以下その動作を説明する。
【０００６】
画像データ、音声データは、画像であればフレーム、音声であれば1024など一定のサンプル数（MPEGでは音声の場合もこれをフレームと呼ぶ）ごとに圧縮符号化し、１フレームあるいは複数フレームをまとめてPESパケットと称するパケットを作る。図１３がPESパケットのフォーマットの概略で、PESパケットにはヘッダがつくが、ヘッダ中には後に続くデータエリアが画像データか、音声データか、あるいはその他のデータかを示すストリームID、あるいは特殊再生のためのデータであることを示すトリックモードフラグ等の情報を含んでいる。PESパケットは後述する複数個の188バイト長のTSパケットに分割して伝送する。
【０００７】
図１１がTSパケットのフォーマットの概略である。TSパケットにはそれぞれPIDと呼ぶパケット固有の番号がついている。PIDはTSパケットごとに異なるのではなく同じPESパケットは同じPIDを持つ。TSパケットは、図１１(b)で示すようにヘッダに続きデータあるいはアダプテーションフィールドと呼ばれる多重化データの分離等に使う情報を送る。アダプテーションフィールドの長さは送る情報によって異なるため、短い場合はアダプテーションフィールドに続けてデータも送ることが可能である。TSパケットのPIDは図１１(c)のようにヘッダの一部として送る。図１１(d)はアダプテーションフィールドの内容の一部を示した図、図１１(e)はアダプテーションフィールドの一部のオプションフィールドの内容の一部を示した説明図である。アダプテーションフィールドにはオプションフィールドとして図１１(e)のように復号に必要な基準時間クロックPCRを送ることが可能である。MPEG2では多重装置、分離装置のクロック周波数を27MHzと定めており、バッファのオーバーフローアンダーフローを防ぐため、多重装置のクロックを27MHzでカウントした数値、PCRを送っている。分離装置は受信したPCRから多重装置と同期したクロックを再生する。このPCRは常に送る必要はなく分離装置の同期に必要な間隔、例えば0.7秒に１回程度の間隔で送る。従ってアダプテーションフィールドではオプションフィールドとして、送っても送らなくても良いような構造となっている。また、異なったプログラムを送る場合などは異なった画像エンコーダで符号化する場合が多いので、基準クロックは一般に異なる。異なったPCRを同一のプログラム番号等で送るときは、アダプテーションフィールドにある不連続フラグを１にし、PCRの不連続点が存在することを分離装置に知らせる。
【０００８】
TSパケットのデータ領域には図１１で示したPESパケットの他にPSIと呼ばれる番組選択の情報を送ることが可能である。図１２がPSIの１つであるプログラムテーブルPMTの構造を示したものである。PMTには伝送するプログラムの番号を示すプログラム番号、及びそのプログラムの再生に必要なPCR、画像データPES、音声データPES、データPESパケットそれぞれのPIDを多重して送る。
【０００９】
図１４は以上のように多重化したデータを受信してデータを再生する従来の多重データ復号装置の一例である。受信した多重データはまずバッファ１４１１で記憶する。CPU１４１２は図１５で示したフローチャートに基づいて動作し、最初に伝送されたデータから外部から設定したプログラム番号のPMTを探す。PMTを検出したら、そのPMTからPCR、画像データPES、音声データPES、データPESパケットのPIDを抽出する。次に、受信データのうちTSパケットのPIDを見て、プログラムを再生するために必要なTSパケットを抽出する。TSパケットのうちPCRを含んだパケットはクロック制御部１４２に送り画像、音声デコーダに必要な基準クロックを再生する。TSパケットのうち画像、音声のパケットはそれぞれのデコーダ１４３、１４４に送る。復号部では再生した基準クロックを用いて画像、音声データ復号、伸張し番組を再生することができる（例えば、ISO/IEC JTC1/SC29 N801, "ISO/IEC CD 13818-1: Information technology - Generic coding of moving pictures and associated audio : Systems", 1994.11）。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記のような構成のみでは復号装置に種々の問題が生ずる。まず複数のプログラムのTSパケットを多重する際、基準クロックPCRを有するTSパケットがパケット多重の際に衝突する可能性があり、結果としてPCRパケットの間隔がゆらぎジッタとなる。復号装置ではPLLを構成して基準クロックを再生するが、PCRの間隔が一定値以上になるとジッタを吸収できず、クロックの再生が不可能になる。
【００１１】
また、プログラムの最初や、プログラムが切り替わった際などPCRが不連続となるが、不連続なパケットが到着する前に図１１における不連続フラグが不連続であることを示す位置になっている保証はない。従って最悪の場合不連続フラグなしに次の不連続なPCRが到来し、復号装置は全く異なるPCRに同期しようとするため、動作が不安定となる。
【００１２】
さらに、画像のフレーム周波数やオーディオのサンプリング周波数などが変化した場合、復号装置からの出力クロックも変える必要があるが、一般に同期を確立するには一定の時間が必要で、サンプリング周波数が異なったデータを受信した場合、同期系が確立できず出力が乱れる可能性がある。
【００１３】
一方、図１３においてPESヘッダ中にはトリックモードフラグがあり、早送り、静止などのコマンドがPESパケットとともに送れるが、復号装置の動作の明確な規定はなく、確実な動作の保証がない。
【００１４】
本発明は上記問題点に鑑み、通常、あるいは特殊再生時の多重化データ復号装置の動作を確実にするデータ多重方法、データ伝送方法、多重データ伝送方法及び多重データ復号方法、多重データ復号装置を提供するものである。
【００１５】
【課題を解決するための手段】
上記問題点を解決するために本発明のデータ多重方法は、１種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重した第１のパケット列を入力し、１種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重した第２のパケット列を入力し、前記第１のパケット列と、前記第２のパケット列を多重して第３のパケット列を出力する場合において、前記第１のパケット列中の基準時間信号を含むパケットと、前記第２のパケット列中の基準時間信号を含むパケットが一定の時間以内に入力した場合、前記第１のパケット列中の基準時間信号を含むパケットから基準時間信号を削除する、あるいは、１種類以上のデジタルデータを含むデータパケットと、パケットの内容及びパケットの番号を示すテーブルを含んだテーブルパケットを多重して多重パケットを生成する場合において、テーブルパケットの内容を変更する際、変更したテーブルパケットに対応するデータパケットを送る前に、テーブルパケットが変更することを示す指示信号及び変更したテーブルパケットを前記多重パケットに多重する、あるいは、１種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重する場合において、前記デジタルデータを含むパケットの前、またはデジタルデータの内容が不連続な場合、不連続なデジタルデータを含むパケットの前、に多重する基準時間信号のパケットは、基準時間信号が連続していないことを示す基準時間信号不連続フラグを付与し、前記フラグも多重するものである。
【００１６】
また本発明のデータ多重方法は、音声データ、画像データ及びその他のデジタルデータを含む複数のパケットを用いて特殊再生する場合において、画像、または音声データを含むパケットは同一のフレームのデータのみで特殊再生パケットを構成し、前記特殊再生パケットを伝送するものである。また本発明の多重データ復号方法は、フレームあるいはフィールド内圧縮符号化、及びフレームあるいはフィールド間圧縮符号化を用いて圧縮したデジタル画像データを含むパケットを復号し、前記復号したデータを用いて任意のフレームあるいはフィールドで静止する際、静止命令信号を受信した時点で、直前あるいは直後のフレーム内あるいはフィールド内圧縮符号化した画像データを復号した画像を静止画像として表示する、あるいは、圧縮したデジタル画像データに復号または表示時間を示したフラグを付与したパケットを復号し、前記復号したデータを用いて任意のフレームあるいはフィールドで静止する際、静止命令信号を受信した時点で、時間的に直前あるいは直後のアクセス可能な画像データの復号または表示時間を示したフラグを記憶し、静止再開時には前記アクセス可能な画像データの復号または表示時間を示したフラグを多重装置に送り、前記アクセス可能な画像データからの復号を再開するものである。
【００１７】
（作用）
本発明は上記した構成によって、基準信号PCRの間隔が一定値以下となるのでクロック再生に支障をきたすことがない。また、プログラム変更の際にはPMTやPCRなどを変更した内容のデータに先立ち送出するので復号装置の動作が確実になる。さらに、特殊再生時には同一ピクチャのみのデータをPESパケットに構成して復号装置に送出するため画像が途中で途切れることがない。画像表示静止時にもフレーム内符号化ピクチャで静止し、静止したピクチャの時間情報を伝送装置に送ることによって静止ピクチャの画像データから再送することで静止終了後も連続した画像を再生することができることとなる。
【００１８】
【発明の実施の形態】
以下本発明の第１の実施例におけるデータ多重方法について、図面を参照しながら説明する。
【００１９】
図１は本発明の第１の実施例におけるデータ多重装置のブロック図である。図１において１は第１のデータ多重部でクロック生成回路１１、CPU１２、バッファ１３よりなる。２は第２のデータ多重部、３は第２のデータ多重部で、両方とも第１のデータ多重部と同じ構成をとっている。図２は第３のデータ多重部におけるCPU３２の動作の一部を示す説明図である。
【００２０】
以上のように構成されたデータ多重装置におけるデータ多重方法について図１、図２を用いて説明する。
【００２１】
多重化する画像データ、音声データ、その他のデータは、それぞれ画像エンコーダ１４、音声エンコーダ１５、データエンコーダ１６で圧縮符号化し従来例における図１３のようなPESパケットにして第１、第２のデータ多重部に入力する。第１、第２のデータ多重部１、２では画像、音声、データの同期及び多重データ復号装置でのバッファのオーバーフロー、アンダーフローが生じないようにPESパケットからTSパケットに変換しつつ多重化する。データ多重部１とデータ多重部２の出力はデータ多重部３で更に多重化する。これは例えばデータ多重部１と２の出力がそれぞれ4Mbpsで、両者を8Mbpsの伝送路に送出する場合などを想定している。データ多重部３は図２に示すように、データ多重部１及びデータ多重部２からTSパケットを２１０、２１１で入力し、それぞれの入力を例えば交互に多重化して出力する。その際問題になるのは、双方のパケットが同時に多重データ復号装置で必要となる基準クロックPCRを含んでいる場合である。多重データ復号装置の設計をしやすくするために基準クロックPCRの揺らぎはある一定値以下に抑えることが望ましく従来例に引用した例では30ppm以下となっている。ところが多重部１と２のTSパケットが同時にデータ多重部３に入力した場合、多重化のために1TSパケットのずれが生じ、結果としてPCRが揺らいでしまう。そこで本実施例ではあらかじめ頻繁に基準クロックPCRを多重データ中に挿入しておき、衝突した際は図２のフローチャート２１２、２１５にあるように多重部１の入力側のTSパケットに含まれるPCRフィールドを消去してしまう。PCRフィールドはオプションであり消去してもなんら影響はない。PCRを含むパケットの間隔は若干延びることとなるが、あらかじめ頻繁に挿入しているため多重データ復号装置の動作に支障はきたさない。
【００２２】
以上のように本実施例によれば多重データ復号装置の基準クロックPCRに悪影響を及ぼさないデータ多重が実現できる。
【００２３】
図３は本発明の第２の実施例におけるデータ多重方法の説明図、図４は多重データ復号方法の説明図である。図３のフローチャートは図１における第１のデータ多重部１のCPU12の動作を示している。また、図４は図１４における多重データ復号装置１４１のCPU1411の動作を示す説明図である。以下図３、４を用いて説明する。
【００２４】
データ多重部１において通常動作時はPMT、PCRを適切なタイミングで送出し、さらに画像、音声、データのPESパケットを適切なタイミングでTS変換し、多重して送出する動作を繰り返す。
【００２５】
一方プログラムの開始時は、多重データ復号装置は多重装置と同期が取れていないので基準時間PCRを含んだパケットを送る必要がある。PCRパケットを送ると復号装置は送られてきたPCRに基づいて同期を試みる。プログラムの開始時は復号装置とは全く無関係のPCRが送られてくるため同期に時間がかかる。そこで図３における３１９のようにPCRが不連続であることを示すPCR不連続フラグを１にセットする。復号装置では不連続フラグが１であることを検知すると送られてきたPCRとの同期を試みるのではなく、送られてきたPCR値をセットし次のPCRを待つ。従って同期までの時間が短縮されることとなる。また、以上の動作はプログラムの開始時だけでなく、内容変更があり基準時間PCRが変わる際にも有効である。
【００２６】
次に、プログラム開始時にはプログラムとPIDの関係を表すPMTを送る必要がある。その際、図３における３２１のように最初にPMTの有効フラグを０にセットにした上で新しいパケット番号PIDに基づいたテーブルを作成する（３２２）。PMTの有効フラグが０であると多重データ復号装置はそのPMTが無効として、一般的にはそのPMTを使わない。次に有効フラグが１のPMTが来るとそのPMTを用いて復号を行う。従来例のMPEG2規格ではプログラムの変更と、PMT有効フラグの使用方法の明確な規定はない。従ってPMTの有効フラグを１にセットしたまま異なるPMTを送ることも可能である。しかしながら、一般の復号装置は、PMTが変更し、変更したPMTから復号に必要なTSパケットのPIDを求め、所望のPIDを持つTSパケットの伝送データ中からの抽出を開始するといった一連の動作には一定の時間が必要である。結果として、変更したPMTを受信した直後のパケットは正確に抽出することができず一部のデータが失われてしまい、画像、音声が一瞬とぎれることがある。そこで本発明では、新しいPMTを送出する前、すなわちプログラムの開始時、あるいはプログラムの内容変更時には必ずPMTの有効フラグ０を付与した上で新しい内容に対応したPMTを送出する。
【００２７】
多重データ復号装置は、図４のフローチャート４６、４７に示したように有効フラグ０を有したPMTを受信した場合、PMTから必要なPIDを求め、プログラム開始時は、復号に必要なPIDを有したパケットの抽出を準備する、すなわちPMTを更新し、次に有効フラグ１を有したPMTに続くPIDから抽出を開始する。また、プログラムの内容が途中で変更する場合、有効フラグ０を有したPMTを受信した際、現在有効なPIDの抽出を続けると同時にPMTを新しいPMTで更新し、次に有効フラグ１を有したPMTに続くPIDから新しい内容に対応したPIDを有するTSパケットの抽出を開始する。
【００２８】
以上のように、有効フラグ０を有したPMTを実際に有効なPMTに先立ち送出することで、復号装置に遅延があってもPIDの抽出抜けはなく、画像、音声が途切れることなく再生可能となる。
【００２９】
また、画像におけるフレーム周波数、音声におけるサンプリング周波数は復号装置の出力周波数及び動作を決める周波数で、これらのもととなるクロックは受信した基準クロックPCRから一般的には生成する。音声におけるエンファシス特性も出力音声を変化させ、その特性自体を設定する必要があり、これらの設定変更には一定の時間が必要である。従ってこれらの特性が変化したデータを連続して送ると、設定に要する時間に受信したパケットのデータを正確に復号することが不可能となる。そこで本発明では、図３において３２３、３２４、３２５、３２６、３２７、３２８で示すように、変化するデータを送出する前に、PMTのデスクリプタと呼ばれる領域中に変化後の画像のフレーム周波数、音声にサンプリング周波数もしくはエンファシス特性を記述して送出する。以上のようなデータを送出することで、復号装置はクロック、あるいは特性を実際のデータを受信する前に変えることが可能となるため、変化したデータを受信しても正常な復号が可能となる。
【００３０】
図５、図６は本発明の第３の実施例におけるデータ多重方法を示す説明図である。以下、図５、図６を用いて説明する。
【００３１】
画像のPESパケットは図５(a)に示したように1つのパケット内に複数のピクチャが含まれている可能性がある。ここでピクチャとは、MPEG画像圧縮においてフレームあるいはフィールドを指す。フレームかフィールドかは、圧縮符号化の方法によって異なる。図５(a)では２つのピクチャのデータが同一パケットに含まれている。早送り、スロー、静止などの特殊再生を行う場合、図１３に示したように、PESヘッダ中にある早送り等の動作をデータ復号装置に知らせるトリックモードフラグをセットして画像データとともに送る。これらのフラグを読んで、復号装置はバッファ制御、画面制御を行う。通常、これらの特殊再生動作はフレームあるいはフィールド、すなわちピクチャ単位で制御する。ところが図５(a)の用にPESパケット内に１ピクチャ以上のデータが混在すると、復号装置にバッファをおき、２つのPESパケットから１ピクチャ分のデータを構成し直すといった操作が必要となる。そこで本発明では、図５(a)のようなPESパケットを図５(b)のように伝送前に１ピクチャ１パケットに構成しなおしてから伝送する。図６は、前記動作を実現するフローチャートで、例えば図１における第１のデータ多重部１のCPU12のアルゴリズムとして用いる。CPUの動作としては特殊再生を要求する信号の入力があった場合、まず６４で１ピクチャが1PESパケットで構成されているかどうかを確認し、そうでなければ６６、６７、６８でPESヘッダの位置をピクチャヘッダの直前になるように更新する。
【００３２】
上記動作により、１パケット中には同一ピクチャしか含まれないこととなり、トリックモードフラグとピクチャデータとの対応が明確になると同時に、複雑な復号装置の動作、またはハードウェアが不要となる。
【００３３】
なお以上の実施例では、画像データについてのみ説明したが音声データでも同様の動作が有効である。ただし音声データの場合はピクチャではなく圧縮符号化の単位を示すフレームとなる。
【００３４】
図７は本発明の第４の実施例における多重データ復号方法を示す説明図、図８は多重データの内容を示す説明図である。以下、図７、図８を用いて説明する。
【００３５】
今、多重データのうちの画像データが図８で示したようにフレーム内符号化ピクチャ（Iピクチャ）、前方予測フレーム間符号化ピクチャ（Ｐピクチャ）、両方向予測フレーム間符号化ピクチャ（Ｂピクチャ）で構成されているとする。Iピクチャはそれ自身のみで復号できるのに対し、Pピクチャはその前に伝送したIピクチャ、Bピクチャはその前に伝送したI及びPピクチャがないと復号できない。図８ではBピクチャに続きI１、B0、P3、B2の順で伝送している。復号は伝送順序で行うが、表示は最初のBピクチャを無視すると、B0、I1、B2、P3のように順序が逆転する。また、上記のような手法で画像圧縮符号化する際、一般にI、Pピクチャの画質を良く、Bピクチャの画質を若干悪くする方が全体の画質が上がることが知られている。
【００３６】
特殊再生時に画像を静止する際、以上の理由からBピクチャ以外で静止した方が画質の良い画像が得られる。また、静止解除の際、同じフレームから開始する方が望ましい。上記のようなデータを伝送する際、それ自身で復号できるIピクチャの前にシーケンスヘッダを入れるなどしてランダムアクセス可能にすることが一般的である。従って、Iピクチャからのアクセスすなわち静止再開は比較的容易である。
【００３７】
以上の動作を図１４におけるデータ復号装置のCPU1412のフローチャートで示したのが図７である。図７では７２で、IピクチャのDTS（デコードタイムスタンプ：デコード時間を基準時間PCRで表したもの）を常に記憶しておく。静止信号を入力した際、７６でIピクチャが表示されたかどうかを確認し、表示した時点で画像表示更新を止め、静止する。その後、８０で最後に記憶したIピクチャ、すなわち現在静止表示しているIピクチャ、のDTSをデータ多重装置に送る。多重装置では、復号装置から送られたDTSをもとに現在静止表示しているIピクチャを決定し、静止終了とともにDTSに該当するIピクチャから送信を開始する。復号装置では、Iピクチャの次の最初のPピクチャの間にあるBピクチャは、Iピクチャの前のIあるいはPピクチャがないと復号できないため、前記Bピクチャの復号、表示はせず、Iピクチャの復号、表示から開始する。以上の動作により、静止したIピクチャから途切れることなく静止終了時に連続して再生することが可能となる。
【００３８】
図９は本発明の第５の実施例における多重データ復号方法を示す説明図である。第４の実施例と異なるのは９２で静止信号が入力した時点で９５のように表示更新をやめ現在表示している画像をそのまま表示し続けることである。静止終了した時点で、現在受信しているデータを解析し、Iピクチャから復号を再開する。本実施例によれば、同じピクチャから再生することは不可能であるがデータ多重装置にDTSを送る必要がなく、システム全体を安価に構成することができる。
【００３９】
なお、以上の実施例では現在表示している画像で静止するとしたが、これに限る物ではなく第４の実施例のようにIピクチャで静止するようにしても良い。
【００４０】
図１０は本発明の第６の実施例における多重データ復号方法を示す説明図である。本実施例が第4、第5の実施例と異なるのは、静止信号入力時に表示を停止するのではなく１０５で示したように入力を停止する点である。一般に画像デコーダは入力がなくなると表示可能な最後の画像をそのまま表示し続ける。従って復号装置の入力を停止することにより、画像が静止することとなる。また、入力の最後の画像がIまたはPピクチャの時、それらのピクチャは画質が良いためそのピクチャを静止画として利用するのが望ましいが、伝送順序でIまたはPに続くBピクチャ、すなわち表示順序でIまたはPピクチャの前のBピクチャがないため、入力の最後のIまたはPピクチャを表示せずにそれ以前に送られたBピクチャで静止してしまう。本実施例では図１０における１０６、１０７、１０８のように最後に入力したピクチャがIまたはPの場合、デコード時間を示すDTSや表示時間を示すPTSを無視してIまたはPピクチャを表示してから静止するようにする。
【００４１】
以上の動作により、表示系に新しいハードウェアを追加せず復号装置の入力のみを変えることによって静止の特殊再生が実現できることとなる。
【００４２】
【発明の効果】
以上のように本発明は、基準時間PCRのジッタを一定値以下に抑えるので復号装置の動作に支障をきたすことがない。また、プログラム変更の際にはPMTやPCRなどを変更した内容のデータに先立ち送出するので復号装置の動作が確実になる。さらに、特殊再生時には同一ピクチャのみのデータをPESパケットに構成して復号装置に送出するため画像が途中で途切れることがない。画像表示静止時にもフレーム内符号化ピクチャで静止し、静止したピクチャの時間情報を伝送装置に送ることによって静止ピクチャの画像データから再送することで静止終了後も連続した画像を再生することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例におけるデータ多重装置のブロック図
【図２】本発明の第１の実施例における第３のデータ多重部におけるCPU３２の動作の一部を示す説明図
【図３】本発明の第２の実施例におけるデータ多重方法の説明図
【図４】本発明の第２の実施例多重データ復号方法の説明図
【図５】本発明の第３の実施例におけるデータ多重方法を示す説明図
【図６】本発明の第３の実施例におけるデータ多重方法を示す説明図
【図７】本発明の第４の実施例における多重データ復号方法を示す説明図
【図８】本発明の第４の実施例における多重データの内容を示す説明図
【図９】本発明の第５の実施例における多重データ復号方法を示す説明図
【図１０】本発明の第６の実施例における多重データ復号方法を示す説明図
【図１１】従来の多重データ伝送方法の説明図
【図１２】従来の多重データ伝送方法の説明図
【図１３】従来の多重データ伝送方法の説明図
【図１４】従来のデータ多重方法で多重したデータを復号する多重データ復号装置のブロック図
【図１５】従来の多重データ復号装置におけるCPUの動作を示す説明図
【符号の説明】
１ 第１のデータ多重部
２ 第２のデータ多重部
３ 第３のデータ多重部部
１１ クロック生成回路
１２ CPU
１３ バッファ
１４ 画像エンコーダ
１５ 音声エンコーダ
１６ データエンコーダ
２１ 画像エンコーダ
２２ 音声エンコーダ
２３ データエンコーダ
Claims (3)
- １種類以上のデジタルデータを含むパケットと、復号装置の基準時間信号を含むパケットを多重する場合において、
前記デジタルデータの内容が不連続な場合、前記デジタルデータの不連続点よりも時間的に前で、基準時間信号のパケットに基準時間信号が連続していないことを示す基準時間信号不連続フラグを付与して多重することを特徴とするデータ多重方法。 - 音声データまたは画像データを含む複数のパケットを多重する場合において、前記音声データまたは画像データのサンプリング周波数が変化した場合、変化したサンプリング周波数を記述したパケットを、前記変化したサンプリング周波数でサンプリングしたデータを含むパケットよりも時間的に前に多重することを特徴とするデータ多重方法。
- 音声データを含む複数のパケットを伝送する場合において、前記音声データのエンファシス特性が変化した場合、エンファシス特性が変化したことを示すフラグ、またはエンファシス特性そのものを記述したエンファシス特性データを記述したパケットを、前記変化したエンファシス特性を有する音声データを含むパケットよりも時間的に前に送ることを特徴とするデータ多重方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003100013A JP3671969B2 (ja) | 2003-04-03 | 2003-04-03 | データ多重方法及び多重データ復号方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003100013A JP3671969B2 (ja) | 2003-04-03 | 2003-04-03 | データ多重方法及び多重データ復号方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15287495A Division JPH099215A (ja) | 1995-06-20 | 1995-06-20 | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007541A JP2004007541A (ja) | 2004-01-08 |
| JP3671969B2 true JP3671969B2 (ja) | 2005-07-13 |
Family
ID=30437938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003100013A Expired - Lifetime JP3671969B2 (ja) | 2003-04-03 | 2003-04-03 | データ多重方法及び多重データ復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3671969B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4186935B2 (ja) * | 2005-02-14 | 2008-11-26 | ソニー株式会社 | 多重化装置及び多重化方法、並びに多重化データ送受信システム |
-
2003
- 2003-04-03 JP JP2003100013A patent/JP3671969B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007541A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101350754B1 (ko) | 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법 | |
| US6449352B1 (en) | Packet generating method, data multiplexing method using the same, and apparatus for coding and decoding of the transmission data | |
| JP5133567B2 (ja) | コーデック変更方法及び装置 | |
| US20090116814A1 (en) | Reproducer, portable telephone, and reproducing method | |
| EP2227910B1 (en) | Reducing media stream delay through independent decoder clocks | |
| WO2013136754A1 (ja) | 表示装置、及び送信装置 | |
| EP1643772B1 (en) | System, method and apparatus for clean channel change | |
| JP2006186580A (ja) | 再生装置およびデコード制御方法 | |
| JP2003519985A (ja) | データストリームの変換方法と装置 | |
| US10368115B2 (en) | Transmitting method, receiving method, transmitting device, and receiving device | |
| US8331763B2 (en) | Apparatus and method for synchronizing reproduction time of time-shifted content with reproduction time of real-time content | |
| JP4933145B2 (ja) | ネットワーク受信機 | |
| JP4613860B2 (ja) | Ｍｐｅｇ符号化ストリーム復号装置 | |
| KR20060099687A (ko) | 타임스탬프를 이용한 비디오 동기화 장치 및 방법 | |
| JP2006254298A (ja) | 動画再生装置及び動画再生方法 | |
| JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
| KR101086920B1 (ko) | 트릭 모드 동작에 대한 불연속 지시자 이용 | |
| JP4192766B2 (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
| JP3671969B2 (ja) | データ多重方法及び多重データ復号方法 | |
| JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
| JP3350365B2 (ja) | 映像同期信号補正装置 | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| JP6464647B2 (ja) | 動画像処理方法、動画像の送信装置、動画像処理システムおよび動画像処理プログラム | |
| JP2003284069A (ja) | 多重データ復号方法及び多重データ復号装置 | |
| US20080123732A1 (en) | Method and system for configuring decoding based on detecting transport stream input rate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |