JP3599207B2 - データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置 - Google Patents
データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置 Download PDFInfo
- Publication number
- JP3599207B2 JP3599207B2 JP29351395A JP29351395A JP3599207B2 JP 3599207 B2 JP3599207 B2 JP 3599207B2 JP 29351395 A JP29351395 A JP 29351395A JP 29351395 A JP29351395 A JP 29351395A JP 3599207 B2 JP3599207 B2 JP 3599207B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- packet data
- audio
- time
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）記録装置
（１−１）構成（図１）
（１−２）バツフア選択処理（図２及び図３）
（１−３）動作（図４及び図５）
（２）再生装置
（２−１）構成（図６）
（２−２）動作（図７）
（３）実施例の効果
（４）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明は動画像信号及びこれに付随するオーデイオ信号を符号化及び多重化して記録し又は再生するデータ記録装置、データ再生装置等に関する。また本発明は動画像信号及びこれに付随するオーデイオ信号を符号化及び多重化して遠隔地に伝送するデータ伝送装置に関する。
【０００３】
【従来の技術】
一般にデイジタル動画像信号を記録再生するシステムや遠隔地に伝送するシステムにおいては、記録媒体の容量や伝送路を効率良く利用するため、画像信号を圧縮符号化する方法が採用されている。この際、フレーム内相関を利用したり、フレーム間相関を利用して動画像信号を圧縮符号化するのが一般的である。因にこれら圧縮符号化フオーマツトにはＭＰＥＧ１、ＭＰＥＧ２、あるいはＨ．２６１等がある。
【０００４】
これらの圧縮符号化フオーマツトに基づいて動作する圧縮符号化装置においては、ある時間内に発生する圧縮動画像データのデータ量が一定となるように符号化を制御している。しかし圧縮符号化装置においては、ある時間単位で発生するデータ量が一定量に近づくようにしてはいるが、通常発生されるデータ量は実際には一定にはならない。またフレーム単位のデータ発生量も通常は各々異なつた値となる。このように単位時間当たりの符号化データ発生量が変化する場合、そのデータを記録媒体に直接記録したり、あるいは直接伝送することはきわめて困難となる。なぜなら通常、記録媒体への記録レート、あるいはデータの伝送レートは一定だからである。
【０００５】
そこで一般には、図８に示すように、動画像圧縮符号化処理部２と記録再生部３との間（又は動画像符号化処理部２と伝送部（図示せず）との間）にバツフアメモリ４を配置し、このバツフアメモリ４が破綻しないように符号化データＤ１の発生量を調整する。そして記録再生装置１は動画像圧縮符号化処理部２から出力される可変量の符号化データＤ１をバツフアメモリ４から一定レートで取り出し、記録再生部３（伝送装置においては伝送路）に出力している。
【０００６】
従つて動画像圧縮符号化処理部２において単位時間当りに発生される平均データ量は、バツフアメモリ４から出力される一定レートと等しくなる。一般にこれらの動作を行う装置はバツフアメモリ４を含めてエンコーダ５と呼ばれている。このように従来のエンコーダ５ではバツフアメモリ４を設けることによつて発生情報量が一定レートとなるようになされている。
【０００７】
一方、圧縮符号化されたデータを元の動画像信号に復号する装置側では、記録再生部３と伸長復号化処理部６との間（又は伝送路の出力端と伸長復号化処理部６との間）に、上述と同様のバツフアメモリ７が置かれるようになされている。一般にこれらの動作を行う装置はバツフアメモリ７を含めてデコーダ８と呼ばれている。
【０００８】
【発明が解決しようとする課題】
ところで、従来のエンコーダにおいては、上述したように発生情報量は一定レートとなるようになされているものの、ある一定時間分の動画像信号を符号化することにより発生する総データ量は画像に応じて目標としている値からは離れたものとなる。
【０００９】
ここで例えば時間長Ｔの動画像信号を圧縮符号化して得た動画像符号化データを書込みレートＲで記録媒体に記録し、その後、読出しレートＲでこの記録データを読み出して復号することにより動画像信号を再生する場合について考える。この場合、目標となる符号化データ発生量Ｅｉは
【数３】
となる。ところが実際のデータ発生量Ｅｒは
【数４】
となり、一定値Ｒ×Ｔにはならない。なお（４）式においてＢはエンコーダ内に設けられているバツフアメモリの容量を表わす。
【００１０】
この理由を説明する。すなわち一般的なエンコーダによつて動画像信号をエンコードした場合、発生するデータ量の推移をバツフアメモリの状態で示すと図９のようになる。縦軸が発生したデータ量、横軸が経過時間を表し、直線ＥＢｅがレートＲで出力したデータ量、直線ＥＢｅと折れ線ＥＢｆの間がバツフア容量Ｂとなる。また曲線Ｄｅは実際のデータ発生量の推移を示し、この曲線Ｄｅと折れ線ＥＢｆの縦軸方向の距離がバツフアメモリの空き容量ＥＢｒを示す。
【００１１】
エンコードされたデータは１フレームごとにバツフアメモリに書き込まれ、書き込み開始から期間Ｔｅ（以下、この期間Ｔｅをスタートアツプデイレイと呼ぶ）経過後にバツフアメモリから一定レートＲで読み出される。目標となる符号化データ発生量はＲ×Ｔで、これは図中の点Ｐ１で示されるが、通常は時間Ｔまでエンコードし終わつた時点で発生するトータルのデータ量は、例えば点Ｐ２のようになり、この時までのデータ発生量Ｅｊは、
【数５】
となることが分かる。ここでＢＯＴは時間Ｔにおけるバツフアメモリ内のデータ残量である。
【００１２】
通常このデータ発生量Ｅｊは一定にはならず、エンコード時のスタートアツプデイレイＴｅやデータ残量ＢＯＴによつて変化する。ここでＴｅ、ＢＯＴはそれぞれ、
【数６】
となる。これらの値を考慮すると、データ発生量Ｅｊの最小値Ｅｊｍｉｎ はＴｅ＝Ｂ／ＲかつＢＯＴ＝０のとき、次式
【数７】
となり、データ発生量Ｅｊの最大値Ｅｊｍａｘ はＴｅ＝０のとき、次式
【数８】
となることが分かる。従つて実際のデータ発生量Ｅｒの変動量は（４）式の通りとなる。
【００１３】
従つてこのデータをレートＲで記録媒体に記録する場合、記録に要する時間Ｈｗは、次式
【数９】
となる。またこのようにして記録媒体に記録されたデータをレートＲで読み出す場合の読み出し時間Ｈｒは、次式
【数１０】
となる。読み出されたデータはデコーダによつて元の動画像信号へ復号されるが、復号後の動画像信号の再生時間は符号化前の動画像信号の長さと同じく時間Ｔとなる。このことから画像の再生時間Ｔと、それに必要なデータの読み出し時間Ｈｒは異なることが分かる。
【００１４】
次に、動画像符号化データと、動画像の原信号に付随するオーデイオ信号を符号化したオーデイオ符号化データとを時分割多重処理することにより単一の多重化ストリームとし、この多重化ストリームを記録媒体に記録し、読み出す場合を考える。通常、オーデイオ信号の符号化の際には固定長符号化の手法がとられるため、符号化レートをｒとすると、オーデイオ符号化データのデータ発生量Ａｒは、次式
【数１１】
となる。
【００１５】
また動画像信号及びこれに付随するオーデイオ信号の符号化処理に要する時間については、単位時間あたりの符号化処理に必要な時間がアルゴリズムやハードウエアによつて異なるため、同時刻に入力された原信号がそれぞれ符号化されて符号器から出力されるまでの遅延時間（デイレイ）は異なる。通常は、オーデイオ信号の符号化処理に要する時間の方が短いため、多重化すべきオーデイオ符号化データが多重化処理部へ到着した時点で時分割多重処理を開始し記録媒体に記録する場合、動画像符号化データが多重化処理部に到着するまでの時間が遅れる分、動画像符号化データを単独で記録媒体に記録するのに要する時間よりも多くの時間を必要とする。
【００１６】
このデイレイの差は書き込みレートに関係なく生じる。従つて多重化ストリームを記録媒体に記録したレートで記録媒体から記録されたデータストリームを読み出すのに必要な時間も、単独に記録された動画像符号化データを読み出した場合に比べてより多くの時間を必要とする。
【００１７】
ところで例えばＡＶサーバのように、ある一定時間分の動画像信号とそれに付随するオーデイオ信号をそれぞれ圧縮符号化し、それらを時分割多重化した多重化データ（以下これをクリツプと呼ぶ）を任意の個数だけ記録媒体に書き込み、その記録媒体から任意の個数のクリツプを連続再生する場合、以下のような問題が生じる。
【００１８】
すなわち図１０に示すように、動画像信号ＳＶとこれに付随するオーデイオ信号ＳＡをそれぞれ符号化することにより動画像符号化データＳＶＣ及びオーデイオ符号化データＳＡＣを形成し、これらをそれぞれパケツト化することにより動画像パケツトデータＶ０、Ｖ１、……、Ｖｎ及びオーデイオパケツトデータＡ０、Ａ１、……、Ａｍを形成すると、動画像符号化デイレイＤＬ１の方がオーデイオ符号化デイレイＤＬ２よりも大きいので、動画像パケツトデータＶ０〜Ｖｎに対してオーデイオパケツトデータＡ０〜Ａｍの方が時間的に早く生成される。
【００１９】
このように生成された動画像パケツトデータＶ０〜ＶｎとオーデイオパケツトデータＡ０〜Ａｍを、パケツトデータＶ０〜Ｖｎ、Ａ０〜Ａｍが生成された順に、かつどちらのパケツトデータも未だ生成されていない場合にはパデイングパケツトデータＰを挿入しながら時分割多重化すると、時間長Ｔ１の多重化データＳＭＵＸが形成される。この多重化データＳＭＵＸ（すなわちクリツプ）の時間長Ｔ１は、動画像信号ＳＶの画像の内容や符号化デイレイの差によつて変動してしまう。
【００２０】
このため、複数個の多重化データＳＭＵＸが記録された記録媒体から任意の個数のクリツプを連続して読み出し、これを復号することにより元の動画像信号とこれに付随するオーデイオ信号を連続再生する場合、復号に必要なデータを記録媒体から読み出す時間が各々のクリツプにおいて異なつてしまうため、データの読み出し時間が復号時間よりも長くかかる場合には、再生信号が途切れたものとなる問題があつた。
【００２１】
例えば放送局等で用いられるＣＭ（コマーシヤル）を送出するシステム等では、記録媒体に記録された複数のクリツプを様々な組合せで連続再生して送出するようになされており、このような場合に各クリツプ間で読出し時間が異なると再生したＣＭのスポツトが一部欠けるたものとなつてしまう。このようにＣＭのスポツトが一部欠落することは放送契約等の問題もからんで大きな問題となる。
【００２２】
本発明は以上の点を考慮してなされたもので、ある一定時間分の動画像信号及びこれに付随するオーデイオ信号をそれぞれ符号化及び多重化したものを記録又は伝送する場合に、当該多重化データを途切れなく連続再生し得るデータ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置を提案しようとするものである。
【００２３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像パケツトデータと所定時間だけ遅延したオーデイオパケツトデータを一旦バツフアメモリに格納し、格納を開始してから所定時間経過後に、バツフアメモリ内の動画像パケツトデータ及びオーデイオパケツトデータの残量を見ながら動画像パケツトデータ又はオーデイオパケツトデータを選択的に、かつ格納時のデータレート以上のデータレートで読み出すようにして動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するようにする。
【００２４】
これにより、時間長Ｔの原動画像信号及びこれに付随するオーデイオ信号は、各々の符号化データ発生量や符号化デイレイの差に拘わらず、常に一定サイズの多重化データとされる。この結果記録又は伝送された当該多重化データを、記録時又は伝送時と同じレートで読出し又は受信すれば、各クリツプの読出し及び受信にかかる時間を等しくできる。
【００２５】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００２６】
（１）記録装置
（１−１）構成
図１において、１０は全体として本発明によるデータ記録方法を適用した記録装置の構成を示す。記録装置１０は大きく分けて、エンコーダ１１と多重化処理部１２と記録再生部１３とから構成されている。エンコーダ１１は動画像信号ＳＶ及びこれに付随するオーデイオ信号ＳＡをそれぞれ画像圧縮符号化処理部１４及びオーデイオ符号化処理部１６に入力する。
【００２７】
画像圧縮符号化処理部１４はエンコードバツフア１５の残量に応じて選定された圧縮率で動画像信号ＳＶを圧縮符号化する。エンコードバツフア１５に格納された圧縮符号化データは一定のレートＲ１で読み出されて出力される。このようにして目標レートＲ１（因に、当該目標レートＲ１が画像圧縮符号化処理部１４及びエンコードバツフア１５全体でみたときの符号化レートとなる）の動画像符号化データＳＶＣが形成される。オーデイオ符号化処理部１６はオーデイオ信号ＳＡに対して固定長符号化処理を施すことにより、符号化レートＲ２のオーデイオ符号化データＳＡＣを形成する。
【００２８】
パケツト処理部１７は動画像符号化データＳＶＣを一定のデータ長毎に区切ると共にそのデータが動画像データであることやその他の付加情報を表わすヘツダ情報をそれらの先頭に付加することにより、動画像パケツトデータＳＶＰを形成する。
【００２９】
オーデイオ符号化データＳＡＣは動画像符号化デイレイとオーデイオ符号化デイレイの差を低減するために設けられた遅延処理部１８によつて所定時間ＴＤＬだけ遅延され、当該遅延オーデイオ符号化データＳＡＣＤＬがパケツト処理部１９に供給される。パケツト処理部１９は遅延オーデイオ符号化データＳＡＣＤＬを一定のデータ長毎に区切ると共にそのデータがオーデイオデータであることを表わすヘツダ情報をそれらの先頭に付加することにより、オーデイオパケツトデータＳＡＰを形成する。
【００３０】
動画像パケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰはそれぞれ多重化バツフア２０及び２１に送出される。多重化バツフア２０の出力はセレクタ２２の端子ａに与えられると共に多重化バツフア２１の出力はセレクタ２２の端子ｂに与えられる。この結果多重化バツフア２０及び２１には対応する端子ａ又はｂが選択されるまでの期間、動画像パケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰが格納蓄積される。
【００３１】
また各多重化バツフア２０及び２１からは格納時のデータレートよりも速いデータレートＲ′でデータが読み出されるようになされている。具体的には、各多重化バツフア２０及び２１への動画像パケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰのそれぞれの書込みレートをＲ１及びＲ２とすると、各多重化バツフア２０及び２１のそれぞれの読出しレートＲ′はＲ′＞Ｒ１＋Ｒ２となるように選定されている。またセレクタ２２の端子ｃにはパデイングパケツト発生部２３によつて発生されたパデイングパケツトデータＰＡＤが与えられる。このパデイングパケツトデータＰＡＤのレートもＲ′となるように選定されている。
【００３２】
セレクタ２２の切り換えはＣＰＵ（中央処理ユニツト）２４からのセレクタコントロール信号ＣＮＴ１に基づいて行われる。このセレクタコントロール信号ＣＮＴ１は、各多重化バツフア２０及び２１からＣＰＵ２４に入力される、バツフア内のパケツト残量を表わすバツフア情報信号Ｓ１及びＳ２に基づいて生成される。このようにして多重化バツフア２０、２１内のパケツト残量に基づいて多重化が制御される。この結果得られた多重化データＳＭＵＸ′はバイトカウンタ２５を介して記録再生部１３に供給され、ハードデイスク等の記録媒体に記録される。
【００３３】
またＣＰＵ２４はこの多重化処理を各多重化バツフア２０及び２１に所定量のパケツトデータＳＶＰ、ＳＡＰが蓄積されてから開始させる。このためＣＰＵ２４は多重化バツフア２０、２１にパケツトデータＳＶＰ、ＳＡＰの格納が開始されてから時間Ｔｗが経過するまではセレクタ２２の端子として端子ｄを選択しておき、時間Ｔｗ（以下、この時間Ｔｗを蓄積時間Ｔｗと呼ぶ）だけ経過後に上述したように多重化バツフア２０、２１内のパケツト残量に基づく多重化を開始させる。
【００３４】
この蓄積時間Ｔｗの選定の仕方について説明する。ここで蓄積時間Ｔｗを全くなくして多重化を開始したり、小さくしすぎた場合には原信号ＳＶ、ＳＡの入力時間Ｔに相当する時間分の多重化処理を行つた後も、動画像パケツトデータＳＶＰが発生していることになり、多重化データＳＭＵＸ′を規定のトータルバイト数に押さえ込むことができなくなる。また遅延処理部１８による遅延処理時間ＴＤＬを長くしすぎた場合も同様に、オーデイオパケツトデータＳＡＰの発生が規定時間内に収まらなくなり、多重化データＳＭＵＸ′を規定のトータルバイト数に押さえ込むことができなくなる。
【００３５】
これらを考慮して、蓄積時間Ｔｗ及び遅延時間ＴＤＬは、例えば以下に示すように選定されている。すなわち時間Ｔの長さの動画像信号ＳＶの符号化によつて発生する動画像符号化データＳＶＣのデータ量の最大値は、次式
【数１２】
となる。これが、レートＲ２のオーデイオ符号化データＳＡＣと多重化されレートＲ′の多重化データＳＭＵＸ′とされるため、動画像多重に割り当てられる実効レートは、次式
【数１３】
となる。
【００３６】
従つて多重化に必要な時間の最大は、次式
【数１４】
となる。実効レートを上げ、多重化に必要な時間を短縮するためには、あらかじめ多重化バツフア２０、２１に発生データを一定量蓄積したのちに多重化を開始しなくてはならない。多重化時間をＴにするためには、蓄積時間Ｔｗは、次式
【数１５】
で、かつ次式
【数１６】
を満たさなければならない。これらの条件より、次式
【数１７】
において、次式
【数１８】
が成立することが分かる。すなわち蓄積時間Ｔｗは（１８）式のように選定すれば良い。
【００３７】
一例として、動画像の符号化レートＲ１が４〔Ｍｂｐｓ 〕、オーデイオの符号化レートＲ２が３８４ 〔Ｋｂｐｓ 〕、多重化データのデータレートＲ′が５〔Ｍｂｐｓ 〕、エンコードバツフア１５の容量Ｂが４〔Ｍｂｉｔ 〕の場合を考えると、（１７）式及び（１８）式より、クリツプの時間長ＴをＴ＞６．４９〔ｓｅｃ 〕とし、かつ蓄積時間Ｔｗを１〔ｓｅｃ 〕とすれば良い。
【００３８】
またこのときの多重化バツフア２０、２１でのデータ蓄積量は、遅延処理部１８によつて符号化デイレイの差を全くなくした場合には、多重化バツフア２０で４〔Ｍｂｉｔ 〕、多重化バツフア２１で ３８４〔Ｋｂｐｓ 〕となるので、この値以上の容量の多重化バツフア２０、２１を持つ必要がある。
【００３９】
また動画像とオーデイオの符号化デイレイの差が １．５〔ｓｅｃ 〕あるとすると、オーデイオの遅延処理をしなかつた場合、オーデイオの多重化バツフア２１は、 ３８４〔ｋｂｉｔ〕×（１＋１．５ ）＝ ５７６〔ｋｂｉｔ〕の容量が必要となる。しかし実際上、再生装置側の多重分離化処理においては、多重化処理の際に使用した多重化バツフア２０、２１と同容量以上のバツフアメモリが必要となるため、多重化の前処理として、１．５ 〔ｓｅｃ 〕以上の遅延処理を行うのが望ましい。
【００４０】
ただし、遅延時間ＴＤＬが、１．５ 〔ｓｅｃ 〕＋Ｔｗ＝２．５ 〔ｓｅｃ 〕を越えた場合には、オーデイオパケツトの発生が規定時間内に収まらなくなり、規定の多重化データＳＭＵＸ′をトータルバイト数に押さえ込むことができなくなるため、これを考慮した遅延時間ＴＤＬを選定しなければならない。
【００４１】
因に、オーデイオ符号化データＳＡＣに対して遅延処理を行わなかつた場合には、多重化バツフア２１として、多重化バツフア２０への蓄積時間Ｔｗに加え、符号化デイレイの差に相当する時間分のバツフア量が必要となり、多重化バツフア２１がオーバーフローする可能性がある。従つて実施例の記録装置１０においては、オーデイオ符号化データＳＡＣを遅延処理したことにより多重化バツフア２１のオーバーフローを防止できる。
【００４２】
次に図１に戻つて記録装置１０について説明する。バイトカウンタ２５は通過する多重化データＳＭＵＸ′のバイト数をカウントし、これを表わすカウント信号Ｓ３をＣＰＵ２４に送出する。ＣＰＵ２４はカウント信号Ｓ３に基づいて多重化データＳＭＵＸ′のサイズを計算し、当該サイズが１クリツプ分の値に満たない場合には、セレクタ２２を端子ｃに切換え制御することによりパデイングパケツトデータＰＡＤを挿入する。
【００４３】
すなわち時間長Ｔの原信号の符号化によつて発生した全てのデータの多重化が終了した時点で、それまでバイトカウンタ２５によつてカウントしたバイト数がＣＰＵ２４へ伝えられ、パデイングパケツト発生部２３から、次式
【数１９】
に相当するバイト数のパデイングパケツトＰＡＤを多重化データに付加させて多重化処理を終了する。従つて１クリツプの多重化データＳＭＵＸ′当りの総バイト数は常に、次式
【数２０】
となる。
【００４４】
ここでパデイングパケツトデータＰＡＤを挿入するのは、上述したように１クリツプ分のサイズ合せを行う場合か、または多重化バツフア２０、２１内のパケツトデータＳＶＰ、ＳＡＰが存在しない場合のいずれかの場合である。すなわち多重化処理部１２においては、多重化バツフア２０、２１への入力レートの合計Ｒ１＋Ｒ２よりも出力レートＲ′の方を大きくしているため、時間の経過と共にいずれの多重化バツフア２０、２１にも送り出すべきパケツトデータが存在しない場合が生じる。そこでこのような場合は、ＣＰＵ２４からの選択によつて、パデイングパケツト発生部２３からパデイングパケツトデータＰＡＤを挿入することにより多重化データＳＭＵＸ′を形成する。なおこのパデイングパケツトは、後述する再生装置の多重化分離処理によつて破棄する。
【００４５】
（１−２）バツフア選択処理
次にＣＰＵ２４による多重化制御の一例を、図２及び図３に従つて説明する。図２及び図３では、多重化バツフア２０（以下、この説明では多重化バツフア２０をビデオバツフア（Ｖ Ｂｕｆｆｅｒ ）と呼ぶ）、オーデイオバツフア２１（以下、この説明では多重化バツフア２１をオーデイオバツフア（Ａ Ｂｕｆｆｅｒ ）と呼ぶ）のバツフア残量（ＢＯＢ）を、半分（ＨＯＢ）、１／４（ＱＯＢ）の２段階のバツフア残量と、残パケツト数とを基準にして比較し、当該比較結果に応じていずれかのバツフアを選択する。すなわち、いずれかのバツフアに対応したセレクタ端子ａ又はｂを選択して多重化データＳＭＵＸ′を形成する。
【００４６】
ＣＰＵ２４は各多重化バツフア２０、２１にパケツトデータＳＶＰ、ＳＡＰが入力され始めてから蓄積時間Ｔｗだけ経過後に、ステツプＳＰ０からバツフア選択処理手順に入る。ＣＰＵ２４はステツプＳＰ１においてバツフア情報信号Ｓ１、Ｓ２に基づいて、ビデオバツフアの残量が半分より多く、かつビデオパケツトがあると判断するとステツプＳＰ２に移つてビデオバツフアを選択する。次にＣＰＵ２４はステツプＳＰ３においてオーデイオバツフアの残量が半分よりも多く、かつ残りのオーデイオパケツトがあると判断するとステツプＳＰ４に移つてオーデイオバツフアを選択し、当該ステツプＳＰ４での処理後に再びステツプＳＰ１に戻る。
【００４７】
一方ＣＰＵ２４はステツプＳＰ１において、ビデオバツフアの残量が半分以下又はビデオパケツトが無いと判断すると、ステツプＳＰ５に移る。ＣＰＵ２４はステツプＳＰ５においてオーデイオバツフアの残量が半分より多く、かつオーデイオパケツトがあると判断すると、ステツプＳＰ４に移つてオーデイオバツフアを選択する。
【００４８】
このようにＣＰＵ２４は、ステツプＳＰ１〜ステツプＳＰ５において、ビデオバツフア及びオーデイオバツフアの半分の残量を閾値として、ビデオバツフアの残量及びオーデイオバツフアの残量が共に半分より多いときには、ステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ４−ＳＰ１のループを繰り返してビデオバツフアとオーデイオバツフアを交互に選択して多重化データＳＭＵＸ′を形成する。これに対してビデオバツフアの残量だけが半分よりも多いときには、ステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ４のループを繰り返すことによりビデオバツフアのみを繰り返し選択して多重化データＳＭＵＸ′を形成する。またビデオバツフアの残量が半分以下でかつオーデイオバツフアの残量が半分よりも多いときには、ステツプＳＰ１−ＳＰ５−ＳＰ４−ＳＰ１のループを繰り返すことによりオーデイオバツフアのみを選択しながら多重化データＳＭＵＸ′を形成する。
【００４９】
ＣＰＵ２４はステツプＳＰ１及びステツプＳＰ２において共に否定結果を得ると、このことはビデオバツフア及びオーデイオバツフアの残量が共に半分以下のことを表わすことにより、ステツプＳＰ６に移り、以下各バツフア容量の１／４を閾値とした選択を行う。すなわちＣＰＵ２４はステツプＳＰ６においてビデオバツフアの残量が１／４よりも多くかつビデオパケツトがあるか否か判断し、肯定結果が得られるとステツプＳＰ７に移つてビデオバツフアを選択する。次にＣＰＵ２４はステツプＳＰ８においてオーデイオバツフアの残量が１／４より多くかつオーデイオパケツトがあるか否か判断し、肯定結果が得られるとステツプＳＰ９に移つてオーデイオバツフアを選択する。
【００５０】
一方ＣＰＵ２４はステツプＳＰ６において否定結果が得られると、ステツプＳＰ１０に移つてオーデイオバツフアの残量が１／４よりも多くかつオーデイオパケツトがあるか否か判断し、肯定結果が得られるとステツプＳＰ９に移つてオーデイオバツフアを選択する。またＣＰＵ２４はステツプＳＰ８において否定結果が得られた場合又はステツプＳＰ９における処理を終了後はステツプＳＰ１に戻る。
【００５１】
このようにしてＣＰＵ２４はステツプＳＰ６〜ＳＰ１０において、ビデオバツフアの残量及びオーデイオバツフアの残量が共に１／４より多いとき、又は何れか一方のバツフアの残量が１／４より多いときに、ビデオバツフア又はオーデイオバツフアを適宜選択し、再びステツプＳＰ１に戻つていずれかのバツフア残量が半分よりも多くなつている場合には、上述のステツプＳＰ１〜ステツプＳＰ５の処理を実行する。このようにしてＣＰＵ２４は、ステツプＳＰ１〜ステツプＳＰ１４の処理を実行することによりビデオバツフアとオーデイオバツフアの残量を均等に減らしていくように多重化制御を行うようになされている。
【００５２】
これに対してＣＰＵ２４はステツプＳＰ１０において否定結果を得ると、このことはビデオバツフア及びオーデイオバツフアの残量が共に１／４以下となつていることを表わすことにより、ステツプＳＰ１１に移り、以下各バツフア内のパケツト残量の有無に基づいたバツフア選択を行う。
【００５３】
すなわちＣＰＵ２４はステツプＳＰ１１においてビデオバツフア内にビデオパケツトがあるか否か判断し、ビデオパケツトがあると判断した場合にはステツプＳＰ１２に移つてビデオバツフアを選択する。次にＣＰＵ２４はステツプＳＰ１３においてオーデイオバツフア内にオーデイオパケツトがあるか否か判断し、オーデイオパケツトがあると判断した場合にはステツプＳＰ１４に移つてオーデイオバツフアを選択する。
【００５４】
一方ＣＰＵ２４はステツプＳＰ１１において否定結果を得るとステツプＳＰ１５に移りオーデイオパケツトがあるか否か判断し、肯定結果を得た場合にはステツプＳＰ１４に移る。またＣＰＵ２４はステツプＳＰ１３において否定結果が得られた場合又はステツプＳＰ１４における処理を終了後はステツプＳＰ６に戻る。
【００５５】
このようにしてＣＰＵ２４はステツプＳＰ１１〜ＳＰ１５において、バツフア内にビデオパケツト又はオーデイオパケツトが存在するときにビデオパケツト又はオーデイオパケツトを適宜選択し、再びステツプＳＰ６に戻つていずれかのバツフア残量が１／４よりも多くなつている場合には、上述のステツプＳＰ６〜ＳＰ１０の処理を実行する。
【００５６】
これに対してＣＰＵ２４はステツプＳＰ１５において否定結果を得ると、このことはバツフア内にビデオパケツト及びオーデイオパケツトが共に存在しないことを表わすことにより、ステツプＳＰ１６に移つて１クリツプ分の多重化処理が終了したか否か判断する。ここで否定結果が得られるとステツプＳＰ１７に移り、セレクタ２２にパデイングパケツト発生部２３を選択させることにより多重化データストリームにパデイングパケツトデータＰＡＤを挿入させる。この処理を終了した後は、再びステツプＳＰ６に戻つてバツフア内にパケツトデータが到来すると当該パケツトデータを多重化し、多重化データが無い場合には再びステツプＳＰ１７においてパデイングパケツトデータＰＡＤを挿入させる。
【００５７】
一方ＣＰＵ２４はステツプＳＰ１６において肯定結果が得られると、ステツプＳＰ１８に移つて、やはりセレクタ２２にパデイングパケツト発生部２３を選択させることにより多重化データストリームにパデイングパケツトデータＰＡＤを挿入させる。ＣＰＵ２４は続くステツプＳＰ１９においてバイトカウンタ２５からのカウント信号Ｓ３に基づいて総バイト数が時間Ｔ×レートＲ′に等しいか否か（すなわち総バイト数が決められた１クリツプのサイズに等しくなつたか否か）判断し、否定結果を得た場合にはステツプＳＰ１８に戻る。このようにＣＰＵ２４はステツプＳＰ１８−ＳＰ１９−ＳＰ１８のループを繰り返すことにより、単位クリツプ内の総ビツト数を一定にするようになされている。ＣＰＵ２４はステツプＳＰ１９において否定結果を得るとステツプＳＰ２０に移つて、１クリツプ分のバツフア選択処理手順を終了する。
【００５８】
ここでステツプＳＰ１７の処理は多重化すべきビデオデータ及びオーデイオデータが未だ生成されていないときにビデオデータ又はオーデイオデータ間にパデイングデータＰＡＤを挿入することに相当し、ステツプＳＰ１９の処理は１クリツプ内に入れるビデオデータ及びオーデイオデータの多重化が終了したときにその後ろにクリツプのサイズ合せのためのパデイングデータＰＡＤを挿入することに相当する。このようにして時間長Ｔの原信号ＳＶ、ＳＡから、常に一定サイズ（時間長Ｔ）でなる多重化データＳＭＵＸ′が形成される。
【００５９】
（１−３）動作
次に記録装置１０の全体としての動作を、図４を用いて説明する。記録装置１０はステツプＳＰ３０において記録処理手順を開始すると、続くステツプＳＰ３１においてメインＣＰＵ２６から記録再生部１３に記録制御信号Ｓ４を送出することにより記録再生部１３による記録媒体への書込みポインタを指定する。次に記録装置１０はステツプＳＰ３２においてエンコーダ１１にエンコード制御信号Ｓ５を送出することにより動画像信号ＳＶを画像圧縮符号化処理部１４に入力開始させ、続くステツプＳＰ３３においてパケツト処理部１７によつて動画像符号化データＳＶＣをパケツト処理し、ビデオバツフア２０への動画像パケツトデータＳＶＰの書込みを開始させる。
【００６０】
これに並列して記録装置１０はステツプＳＰ３１の処理の後、ステツプＳＰ３４においてオーデイオ信号ＳＡをオーデイオ符号化処理部１６に入力開始させ、続くステツプＳＰ３５において遅延処理部１８によつてビデオ符号化デイレイとの差に対応した時間ＴＤＬだけオーデイオ符号化データＳＡＣを遅延させる。ステツプＳＰ３６では、パケツト処理部１９によつて遅延オーデイオ符号化データＳＡＣＤＬをパケツト処理させ、オーデイオバツフア２１へのオーデイオパケツトデータＳＡＰの書込みを開始させる。
【００６１】
次に記録装置１０はステツプＳＰ３７においてパケツトデータＳＶＰ、ＳＡＰを多重化バツフア２０、２１に書き込ませ始めてから蓄積時間Ｔｗが経過したか否か判断し、蓄積時間Ｔｗだけ待機する。そして蓄積時間Ｔｗが経過した後多重化を開始する。すなわち記録装置１０は蓄積時間Ｔｗが経過すると、ステツプＳＰ３８に移り、ＣＰＵ２４がバツフア情報信号Ｓ１、Ｓ２に基づいて各多重化バツフア２０、２１のバツフア残量を検出し、続くステツプＳＰ３９においてＣＰＵ２４がバツフア残量に基づくセレクタコントロール信号ＣＮＴ１を送出することによりパケツトを送出する多重化バツフア２０、２１又はパデイングパケツト発生部２３を適宜選択する。
【００６２】
ステツプＳＰ４０では選択された多重化バツフア２０、２１からデータレートＲ′でパケツトデータＳＶＰ、ＳＡＰを１つずつバイトカウンタ２５を介して記録再生部１３に供給し、ステツプＳＰ４１において供給されたパケツトデータＳＶＰ、ＳＡＰを記録媒体に記録する。ステツプＳＰ４２では各多重化バツフア２０、２１内のパケツトデータＳＶＰ、ＳＡＰの有無を判断し、パケツトデータＳＶＰ、ＳＡＰが有る場合にはステツプＳＰ３８に戻り、パケツトデータＳＶＰ、ＳＡＰが無い場合にはステツプＳＰ４３に移る。
【００６３】
ステツプＳＰ４３では、各多重化バツフア２０、２１への書込みが終了したか否か、すなわち１クリツプ分のビデオパケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰはこれで終わりか否か判断し、まだある場合にはステツプＳＰ４４に移る。ステツプＳＰ４４では、ＣＰＵ２４がセレクタ２２にパデイングパデイング発生部２３を選択することを指令するセレクタコントロール信号ＣＮＴ１を送出することにより、続くステツプＳＰ４１においてパデイングパケツトデータＰＡＤを記録させる。
【００６４】
一方ステツプＳＰ４３において１クリツプ分のビデオパケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰの多重化がもう終了したと判断すると、ステツプＳＰ４５に移り、ＣＰＵ２４がバイトカウンタ２５からのカウント信号Ｓ３に基づいて多重化データＳＭＵＸ′が決められた１クリツプ分のサイズに達しているか否か判断する。ここで否定結果が得られるとステツプＳＰ４６及びステツプＳＰ４７においてパデイングパケツトデータＰＡＤを送出しこれを記録媒体に記録させた後再びステツプＳＰ４５に戻る。
【００６５】
ステツプＳＰ４５において肯定結果が得られると、このことは一定サイズ（すなわち時間長Ｔ）の多重化データＳＭＵＸ′が形成され記録されたことを意味し、このとき記録装置１０はステツプＳＰ４８に移つて１クリツプ分の多重化データＳＭＵＸ′の記録を終了する。記録装置１０はステツプＳＰ４９において、次の動画像信号を記録するか否かを確認し、記録する場合にはステツプＳＰ３１に戻り、記録しない場合にステツプＳＰ５０に移つて当該記録処理手順を終了する。
【００６６】
図５に、記録装置１０によつて原信号ＳＶ、ＳＡから多重化データＳＭＵＸ′を形成されるまでのタイミングチヤートを示す。記録装置１０は時間長Ｔの動画像信号ＳＶ及びこれに付随するオーデイオ信号ＳＡを入力すると、これらをそれぞれ符号化処理することにより動画像符号化データＳＶＣ及びオーデイオ符号化データＳＡＣを形成する。このとき動画像符号化データＳＶＣの符号化デイレイＤＬ１の方がオーデイオ符号化デイレイＤＬ２よりも大きくなるため、遅延処理部１８によつてオーデイオ符号化データＳＡＣを時間ＴＤＬだけ遅延させることにより、符号化デイレイの差を小さくする。
【００６７】
次に記録装置１０は動画像符号化データＳＶＣ及び遅延オーデイオ符号化データＳＡＣをパケツト化することにより、動画像パケツトデータＳＶＰ（Ｖ０、Ｖ１、……Ｖｎ−１ 、Ｖｎ ）及びオーデイオパケツトデータＳＡＰ（Ａ０、Ａ１、……、Ａｍ−１ 、Ａｍ ）を形成する。
【００６８】
次に記録装置１０は多重化バツフア２０、２１に動画像パケツトデータＶ０〜Ｖｎ 、オーデイオパケツトデータＡ０〜Ａｎ が格納され始めてから蓄積時間Ｔｗだけ経過後に各パケツトデータの多重化を開始する。このとき多重化バツフア２０、２１への書込み時のデータレートＲ１、Ｒ２よりも速いデータレートＲ′（＞Ｒ１＋Ｒ２）で各パケツトデータを読み出して多重化する。またこの際、上述したように各多重化バツフア２、２１の残量に基づいて多重化を制御する。さらに多重化する動画像パケツトデータＳＶＰ′やオーデイオパケツトデータＳＡＰ′が無い場合には、パデイングパケツトＰを挿入する。
【００６９】
この結果多重化データＳＭＵＸ′を、原信号ＳＶ、ＳＡに等しい時間Ｔ内に収めることができる。従つて、このような多重化データＳＭＵＸ′を記録媒体に記録すれば、時間Ｔの原信号ＳＶ、ＳＡに対応する多重化データＳＭＵＸ′を任意の順番で読み出した場合でも、各多重化データＳＭＵＸ′を全て等しい時間で読み出すことができる。この結果復号に必要なデータを記録媒体から読み出す時間が各々のクリツプにおいて同じになるため、復号により得られる再生信号を途切れの無いものとすることができる。
【００７０】
（２）再生装置
（２−１）構成
記録装置１０によつて記録された多重化データＳＭＵＸ′を再生する再生装置の構成を、図６に示す。再生装置３０は記録再生部１３（図１）によつて、記録媒体への多重化データＳＭＵＸ′の記録レートＲ′にほぼ等しいレートで記録媒体から読み出された多重化データＳＭＵＸ′をセレクタ３１及びヘツダ検出回路３２に供給する。ここで記録再生部１３によるデータ読出しレートを記録時のデータレートＲ′と等しい値に選定すると、１クリツプ分の多重化データＳＭＵＸ′の読出しに必要な時間は、書込み時間と同じＴとなる。
【００７１】
ヘツダ検出回路３２は多重化データＳＭＵＸ′の各パケツトに付加されたヘツダ情報に基づいてセレクタ３１にセレクタコントロール信号ＣＮＴ２を送出する。これによりセレクタ３１はパケツトの種類（すなわち動画像パケツトデータＳＶＰか、オーデイオパケツトデータＳＡＰか、またはパデイングパケツトデータＰＡＤか）に応じて接続が切り換えられる。この結果多重化データＳＭＵＸ′は、動画像パケツトデータＳＶＰ′、オーデイオパケツトデータＳＡＰ′及びパデイングパケツトデータＰＡＤに分離される。なおパデイングパケツトデータＰＡＤが入力されたときには端子ｃが選択されることにより破棄される。
【００７２】
分離された動画像パケツトデータＳＶＰ′は動画像用バツフア３３に一旦格納され、符号化レートに等しいレート（すなわち動画像符号化データＳＶＣのデータレートＲ１）で出力される。出力された動画像パケツトデータはデコード処理部３４によつて復号され、このようにして動画像信号ＳＶが再生される。同様に、分離されたオーデイオパケツトデータＳＡＰ′はオーデイオ用バツフア３５に一旦格納され、符号化レートに等しいレート（すなわちオーデイオ符号化データＳＡＣのデータレートＲ２）で出力される。出力されたオーデイオパケツトデータはデコード処理部３６によつて復号され、オーデイオ信号ＳＡが再生される。
【００７３】
なお動画像用バツフア３３、オーデイオ用バツフア３５の容量は、それぞれ記録装置１０に設けられた多重化バツフア２０、２１の容量以上とされており、これにより各バツフア３３、３５がオーバーフローしないようになされている。
【００７４】
（２−２）動作
以上の構成において、再生装置３０は、図７に示すような動作手順に従つて記録データを再生する。すなわち記録装置３０はステツプＳＰ６０において再生動作を開始すると、続くステツプＳＰ６１においてＣＰＵ（図示せず）から記録再生部１３に媒体からの読出しポインタ（このポインタはデータ記録時のものを使用する）が指定されると、続くステツプＳＰ６２において記録再生部１３によつて記録媒体から記録時と同レートＲ′で読出しを開始する。
【００７５】
次に再生装置３０はステツプＳＰ６３において、ヘツダ検出回路３２によつて各パケツトの先頭に付加されたヘツダ情報を検出し、当該検出結果に基づいてセレクタ３１によつて多重化データＳＭＵＰ′を形成する各パケツトデータＶ０〜Ｖｎ 、Ａ０〜Ａｍ を各データストリームＳＶＰ′、ＳＡＰ′に分離する。次にステツプＳＰ６４において各データストリームＳＶＰ′、ＳＡＰ′をそれぞれ動画像用バツフア３３、オーデイオ用バツフア３５に入力格納し、続くステツプＳＰ６５において各バツフア３３、３５から各デコード処理部３４、３６に符号化レートＲ１、Ｒ２に等しいデータレートでデータを出力する。
【００７６】
次にステツプＳＰ６６においてデコード処理部３４、３６によつて動画像信号ＳＶ、オーデイオ信号ＳＡを復号生成すると、続くステツプＳＰ６７において１クリツプ分のデータ読出しが終了したか否か判断し、未だ終了していない場合はステツプＳＰ６３に戻る。これに対して１クリツプ分のデータ読出しが終了したと判断すると、ステツプＳＰ６８に移り、次のクリツプを連続して再生するか否か判断し、連続して再生する場合にはステツプＳＰ６１に戻る。
【００７７】
これに対して連続して再生しない場合にはステツプＳＰ６９に移り、ここで各デコード処理部３４、３６に設けられたバツフア残量が有るか否か判断する。そしてバツフア残量が無くなるとステツプＳＰ７０に移つて再生（すなわちデコード処理部３４、３６による復号処理）を終了し、続くステツプＳＰ７１において再生動作を終了する。
【００７８】
（３）実施例の効果
以上の構成によれば、一定時間Ｔの動画像信号ＳＶ及びこれに付随するオーデイオ信号ＳＡを、常に一定時間長Ｔの多重化データＳＭＵＸ′とすることができることにより、記録媒体に記録された全ての多重化データＳＭＵＸ′を一定時間Ｔで読み出すことができるようになる。この結果任意に指定した複数の多重化データＳＭＵＸ′を連続再生した場合に、途切れの無い再生信号を得ることができる。
【００７９】
（４）他の実施例
なお上述の実施例においては、パデイングパケツト発生部２３を設け、多重化バツフア２０、２１内のパケツトデータＳＶＰ、ＳＡＰが存在しないときや１クリツプのサイズ合せを行うときに、多重化データＳＭＵＸ′をパデイングパケツトＰＡＤによつて充填するようにした場合について述べたが、例えば遅延処理部１８の遅延時間ＴＤＬや多重化バツフア２０、２１の読出しレートを適宜選定することによりパデイングパケツトＰＡＤの必要性をなくすることができれば、パデイングパケツト処理部２３を省略するようにしても良い。
【００８０】
また上述の実施例においては、記録装置１０及び当該記録装置１０によつて記録されたデータを再生する再生装置３０について述べたが、本発明はこれに限らず、多重化データＳＭＵＸ′が記録された記録媒体に適用することもできる。すなわちこのような記録媒体を用いれば、記録された全ての多重化データＳＭＵＸ′を等しい時間長で読み出すことができるため、上述の実施例と同様の効果を得ることができる。この場合の記録媒体としては、ハードデイスクや光磁気デイスク、または相変化型デイスク等を広く用いることができる。
【００８１】
さらに上述の実施例においては、本発明を記録装置１０及び再生装置３０に適用した場合について述べたが、本発明はこれに限らず、例えばＡＶサーバ等の伝送装置に適用した場合にも上述の実施例と同様の効果を得ることができる。
【００８２】
【発明の効果】
上述のように本発明によれば、ある一定時間の動画像信号とこれに付随するオーデイオ信号を符号化及び多重化して記録する場合に、パケツト化前又はパケツト化後のオーデイオ符号化データを所定時間だけ遅延させる遅延手段と、動画像パケツトデータ及び遅延オーデイオパケツトデータを格納するバツフアメモリと、バツフアメモリへの格納が開始されてから所定時間経過後に、格納された動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより動画像パケツトデータ及びオーデイオパケツトデータを多重化する多重化手段とを設け、これにより得た多重化データを記録媒体に記録又は伝送するようにしたことにより、時間長Ｔの原信号に対応する多重化データを一定の時間で読み出し又は受信することができるようになる。
【００８３】
この結果任意の個数の画像信号と付随するオーデイオ信号を連続再生する場合に、必要なデータを読み出す時間を再生時間に等しくできるため、復号処理後の実際の画像信号と付随するオーデイオ信号を途切れなく連続再生することが可能となる。
【図面の簡単な説明】
【図１】実施例による記録装置の構成を示すブロツク図である。
【図２】多重化バツフアの残量に基づくバツフア選択処理手順の一例を示すフローチヤートである。
【図３】多重化バツフアの残量に基づくバツフア選択処理手順の一例を示すフローチヤートである。
【図４】記録装置の動作の説明に供するフローチヤートである。
【図５】記録装置によつて一定時間Ｔの動画像信号とこれに付随するオーデイオ信号から多重化データを形成するまでの説明に供するタイミングチヤートである。
【図６】実施例による再生装置の構成を示すブロツク図である。
【図７】再生装置の動作の説明に供するフローチヤートである。
【図８】従来の記録再生装置の構成を示すブロツク図である。
【図９】エンコードバツフア内のデータの推移を示すグラフである。
【図１０】従来のエンコーダによつて一定時間Ｔの動画像信号とこれに付随するオーデイオ信号から多重化データを形成するまでの説明に供するタイミングチヤートである。
【符号の説明】
１０……記録装置、１１……エンコーダ、１２……多重化処理部、１３……記録再生部、１４……画像圧縮処理部、１５……エンコードバツフア、１６……オーデイオ符号化処理部、１７、１９……パケツト処理部、１８……遅延処理部、２０、２１……多重化バツフア、２２、３１……セレクタ、２３……パデイングパケツト発生部、２４……ＣＰＵ、２５……バイトカウンタ、２６……メインＣＰＵ、３０……再生装置、３２……ヘツダ検出部、３３……動画像用バツフア、３４、３６……デコード処理部、３５……オーデイオ用バツフア、ＳＶ……動画像信号、ＳＡ……オーデイオ信号、ＳＶＣ……動画像符号化データ、ＳＡＣ……オーデイオ符号化データ、ＳＶＰ、ＳＶＰ′……動画像パケツトデータ、ＳＡＣＤＬ……遅延オーデイオ符号化データ、ＳＡＰ、ＳＡＰ′……オーデイオパケツトデータ、ＰＡＤ……パデイングパケツトデータ、ＳＭＵＸ′……多重化データ、Ｓ１、Ｓ２……バツフア情報信号、Ｓ３……カウント信号、Ｓ４……記録制御信号、Ｓ５……エンコード制御信号、ＣＮＴ１……セレクタコントロール信号。
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）記録装置
（１−１）構成（図１）
（１−２）バツフア選択処理（図２及び図３）
（１−３）動作（図４及び図５）
（２）再生装置
（２−１）構成（図６）
（２−２）動作（図７）
（３）実施例の効果
（４）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明は動画像信号及びこれに付随するオーデイオ信号を符号化及び多重化して記録し又は再生するデータ記録装置、データ再生装置等に関する。また本発明は動画像信号及びこれに付随するオーデイオ信号を符号化及び多重化して遠隔地に伝送するデータ伝送装置に関する。
【０００３】
【従来の技術】
一般にデイジタル動画像信号を記録再生するシステムや遠隔地に伝送するシステムにおいては、記録媒体の容量や伝送路を効率良く利用するため、画像信号を圧縮符号化する方法が採用されている。この際、フレーム内相関を利用したり、フレーム間相関を利用して動画像信号を圧縮符号化するのが一般的である。因にこれら圧縮符号化フオーマツトにはＭＰＥＧ１、ＭＰＥＧ２、あるいはＨ．２６１等がある。
【０００４】
これらの圧縮符号化フオーマツトに基づいて動作する圧縮符号化装置においては、ある時間内に発生する圧縮動画像データのデータ量が一定となるように符号化を制御している。しかし圧縮符号化装置においては、ある時間単位で発生するデータ量が一定量に近づくようにしてはいるが、通常発生されるデータ量は実際には一定にはならない。またフレーム単位のデータ発生量も通常は各々異なつた値となる。このように単位時間当たりの符号化データ発生量が変化する場合、そのデータを記録媒体に直接記録したり、あるいは直接伝送することはきわめて困難となる。なぜなら通常、記録媒体への記録レート、あるいはデータの伝送レートは一定だからである。
【０００５】
そこで一般には、図８に示すように、動画像圧縮符号化処理部２と記録再生部３との間（又は動画像符号化処理部２と伝送部（図示せず）との間）にバツフアメモリ４を配置し、このバツフアメモリ４が破綻しないように符号化データＤ１の発生量を調整する。そして記録再生装置１は動画像圧縮符号化処理部２から出力される可変量の符号化データＤ１をバツフアメモリ４から一定レートで取り出し、記録再生部３（伝送装置においては伝送路）に出力している。
【０００６】
従つて動画像圧縮符号化処理部２において単位時間当りに発生される平均データ量は、バツフアメモリ４から出力される一定レートと等しくなる。一般にこれらの動作を行う装置はバツフアメモリ４を含めてエンコーダ５と呼ばれている。このように従来のエンコーダ５ではバツフアメモリ４を設けることによつて発生情報量が一定レートとなるようになされている。
【０００７】
一方、圧縮符号化されたデータを元の動画像信号に復号する装置側では、記録再生部３と伸長復号化処理部６との間（又は伝送路の出力端と伸長復号化処理部６との間）に、上述と同様のバツフアメモリ７が置かれるようになされている。一般にこれらの動作を行う装置はバツフアメモリ７を含めてデコーダ８と呼ばれている。
【０００８】
【発明が解決しようとする課題】
ところで、従来のエンコーダにおいては、上述したように発生情報量は一定レートとなるようになされているものの、ある一定時間分の動画像信号を符号化することにより発生する総データ量は画像に応じて目標としている値からは離れたものとなる。
【０００９】
ここで例えば時間長Ｔの動画像信号を圧縮符号化して得た動画像符号化データを書込みレートＲで記録媒体に記録し、その後、読出しレートＲでこの記録データを読み出して復号することにより動画像信号を再生する場合について考える。この場合、目標となる符号化データ発生量Ｅｉは
【数３】
【数４】
【００１０】
この理由を説明する。すなわち一般的なエンコーダによつて動画像信号をエンコードした場合、発生するデータ量の推移をバツフアメモリの状態で示すと図９のようになる。縦軸が発生したデータ量、横軸が経過時間を表し、直線ＥＢｅがレートＲで出力したデータ量、直線ＥＢｅと折れ線ＥＢｆの間がバツフア容量Ｂとなる。また曲線Ｄｅは実際のデータ発生量の推移を示し、この曲線Ｄｅと折れ線ＥＢｆの縦軸方向の距離がバツフアメモリの空き容量ＥＢｒを示す。
【００１１】
エンコードされたデータは１フレームごとにバツフアメモリに書き込まれ、書き込み開始から期間Ｔｅ（以下、この期間Ｔｅをスタートアツプデイレイと呼ぶ）経過後にバツフアメモリから一定レートＲで読み出される。目標となる符号化データ発生量はＲ×Ｔで、これは図中の点Ｐ１で示されるが、通常は時間Ｔまでエンコードし終わつた時点で発生するトータルのデータ量は、例えば点Ｐ２のようになり、この時までのデータ発生量Ｅｊは、
【数５】
【００１２】
通常このデータ発生量Ｅｊは一定にはならず、エンコード時のスタートアツプデイレイＴｅやデータ残量ＢＯＴによつて変化する。ここでＴｅ、ＢＯＴはそれぞれ、
【数６】
【数７】
【数８】
【００１３】
従つてこのデータをレートＲで記録媒体に記録する場合、記録に要する時間Ｈｗは、次式
【数９】
【数１０】
【００１４】
次に、動画像符号化データと、動画像の原信号に付随するオーデイオ信号を符号化したオーデイオ符号化データとを時分割多重処理することにより単一の多重化ストリームとし、この多重化ストリームを記録媒体に記録し、読み出す場合を考える。通常、オーデイオ信号の符号化の際には固定長符号化の手法がとられるため、符号化レートをｒとすると、オーデイオ符号化データのデータ発生量Ａｒは、次式
【数１１】
【００１５】
また動画像信号及びこれに付随するオーデイオ信号の符号化処理に要する時間については、単位時間あたりの符号化処理に必要な時間がアルゴリズムやハードウエアによつて異なるため、同時刻に入力された原信号がそれぞれ符号化されて符号器から出力されるまでの遅延時間（デイレイ）は異なる。通常は、オーデイオ信号の符号化処理に要する時間の方が短いため、多重化すべきオーデイオ符号化データが多重化処理部へ到着した時点で時分割多重処理を開始し記録媒体に記録する場合、動画像符号化データが多重化処理部に到着するまでの時間が遅れる分、動画像符号化データを単独で記録媒体に記録するのに要する時間よりも多くの時間を必要とする。
【００１６】
このデイレイの差は書き込みレートに関係なく生じる。従つて多重化ストリームを記録媒体に記録したレートで記録媒体から記録されたデータストリームを読み出すのに必要な時間も、単独に記録された動画像符号化データを読み出した場合に比べてより多くの時間を必要とする。
【００１７】
ところで例えばＡＶサーバのように、ある一定時間分の動画像信号とそれに付随するオーデイオ信号をそれぞれ圧縮符号化し、それらを時分割多重化した多重化データ（以下これをクリツプと呼ぶ）を任意の個数だけ記録媒体に書き込み、その記録媒体から任意の個数のクリツプを連続再生する場合、以下のような問題が生じる。
【００１８】
すなわち図１０に示すように、動画像信号ＳＶとこれに付随するオーデイオ信号ＳＡをそれぞれ符号化することにより動画像符号化データＳＶＣ及びオーデイオ符号化データＳＡＣを形成し、これらをそれぞれパケツト化することにより動画像パケツトデータＶ０、Ｖ１、……、Ｖｎ及びオーデイオパケツトデータＡ０、Ａ１、……、Ａｍを形成すると、動画像符号化デイレイＤＬ１の方がオーデイオ符号化デイレイＤＬ２よりも大きいので、動画像パケツトデータＶ０〜Ｖｎに対してオーデイオパケツトデータＡ０〜Ａｍの方が時間的に早く生成される。
【００１９】
このように生成された動画像パケツトデータＶ０〜ＶｎとオーデイオパケツトデータＡ０〜Ａｍを、パケツトデータＶ０〜Ｖｎ、Ａ０〜Ａｍが生成された順に、かつどちらのパケツトデータも未だ生成されていない場合にはパデイングパケツトデータＰを挿入しながら時分割多重化すると、時間長Ｔ１の多重化データＳＭＵＸが形成される。この多重化データＳＭＵＸ（すなわちクリツプ）の時間長Ｔ１は、動画像信号ＳＶの画像の内容や符号化デイレイの差によつて変動してしまう。
【００２０】
このため、複数個の多重化データＳＭＵＸが記録された記録媒体から任意の個数のクリツプを連続して読み出し、これを復号することにより元の動画像信号とこれに付随するオーデイオ信号を連続再生する場合、復号に必要なデータを記録媒体から読み出す時間が各々のクリツプにおいて異なつてしまうため、データの読み出し時間が復号時間よりも長くかかる場合には、再生信号が途切れたものとなる問題があつた。
【００２１】
例えば放送局等で用いられるＣＭ（コマーシヤル）を送出するシステム等では、記録媒体に記録された複数のクリツプを様々な組合せで連続再生して送出するようになされており、このような場合に各クリツプ間で読出し時間が異なると再生したＣＭのスポツトが一部欠けるたものとなつてしまう。このようにＣＭのスポツトが一部欠落することは放送契約等の問題もからんで大きな問題となる。
【００２２】
本発明は以上の点を考慮してなされたもので、ある一定時間分の動画像信号及びこれに付随するオーデイオ信号をそれぞれ符号化及び多重化したものを記録又は伝送する場合に、当該多重化データを途切れなく連続再生し得るデータ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置を提案しようとするものである。
【００２３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像パケツトデータと所定時間だけ遅延したオーデイオパケツトデータを一旦バツフアメモリに格納し、格納を開始してから所定時間経過後に、バツフアメモリ内の動画像パケツトデータ及びオーデイオパケツトデータの残量を見ながら動画像パケツトデータ又はオーデイオパケツトデータを選択的に、かつ格納時のデータレート以上のデータレートで読み出すようにして動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するようにする。
【００２４】
これにより、時間長Ｔの原動画像信号及びこれに付随するオーデイオ信号は、各々の符号化データ発生量や符号化デイレイの差に拘わらず、常に一定サイズの多重化データとされる。この結果記録又は伝送された当該多重化データを、記録時又は伝送時と同じレートで読出し又は受信すれば、各クリツプの読出し及び受信にかかる時間を等しくできる。
【００２５】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００２６】
（１）記録装置
（１−１）構成
図１において、１０は全体として本発明によるデータ記録方法を適用した記録装置の構成を示す。記録装置１０は大きく分けて、エンコーダ１１と多重化処理部１２と記録再生部１３とから構成されている。エンコーダ１１は動画像信号ＳＶ及びこれに付随するオーデイオ信号ＳＡをそれぞれ画像圧縮符号化処理部１４及びオーデイオ符号化処理部１６に入力する。
【００２７】
画像圧縮符号化処理部１４はエンコードバツフア１５の残量に応じて選定された圧縮率で動画像信号ＳＶを圧縮符号化する。エンコードバツフア１５に格納された圧縮符号化データは一定のレートＲ１で読み出されて出力される。このようにして目標レートＲ１（因に、当該目標レートＲ１が画像圧縮符号化処理部１４及びエンコードバツフア１５全体でみたときの符号化レートとなる）の動画像符号化データＳＶＣが形成される。オーデイオ符号化処理部１６はオーデイオ信号ＳＡに対して固定長符号化処理を施すことにより、符号化レートＲ２のオーデイオ符号化データＳＡＣを形成する。
【００２８】
パケツト処理部１７は動画像符号化データＳＶＣを一定のデータ長毎に区切ると共にそのデータが動画像データであることやその他の付加情報を表わすヘツダ情報をそれらの先頭に付加することにより、動画像パケツトデータＳＶＰを形成する。
【００２９】
オーデイオ符号化データＳＡＣは動画像符号化デイレイとオーデイオ符号化デイレイの差を低減するために設けられた遅延処理部１８によつて所定時間ＴＤＬだけ遅延され、当該遅延オーデイオ符号化データＳＡＣＤＬがパケツト処理部１９に供給される。パケツト処理部１９は遅延オーデイオ符号化データＳＡＣＤＬを一定のデータ長毎に区切ると共にそのデータがオーデイオデータであることを表わすヘツダ情報をそれらの先頭に付加することにより、オーデイオパケツトデータＳＡＰを形成する。
【００３０】
動画像パケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰはそれぞれ多重化バツフア２０及び２１に送出される。多重化バツフア２０の出力はセレクタ２２の端子ａに与えられると共に多重化バツフア２１の出力はセレクタ２２の端子ｂに与えられる。この結果多重化バツフア２０及び２１には対応する端子ａ又はｂが選択されるまでの期間、動画像パケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰが格納蓄積される。
【００３１】
また各多重化バツフア２０及び２１からは格納時のデータレートよりも速いデータレートＲ′でデータが読み出されるようになされている。具体的には、各多重化バツフア２０及び２１への動画像パケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰのそれぞれの書込みレートをＲ１及びＲ２とすると、各多重化バツフア２０及び２１のそれぞれの読出しレートＲ′はＲ′＞Ｒ１＋Ｒ２となるように選定されている。またセレクタ２２の端子ｃにはパデイングパケツト発生部２３によつて発生されたパデイングパケツトデータＰＡＤが与えられる。このパデイングパケツトデータＰＡＤのレートもＲ′となるように選定されている。
【００３２】
セレクタ２２の切り換えはＣＰＵ（中央処理ユニツト）２４からのセレクタコントロール信号ＣＮＴ１に基づいて行われる。このセレクタコントロール信号ＣＮＴ１は、各多重化バツフア２０及び２１からＣＰＵ２４に入力される、バツフア内のパケツト残量を表わすバツフア情報信号Ｓ１及びＳ２に基づいて生成される。このようにして多重化バツフア２０、２１内のパケツト残量に基づいて多重化が制御される。この結果得られた多重化データＳＭＵＸ′はバイトカウンタ２５を介して記録再生部１３に供給され、ハードデイスク等の記録媒体に記録される。
【００３３】
またＣＰＵ２４はこの多重化処理を各多重化バツフア２０及び２１に所定量のパケツトデータＳＶＰ、ＳＡＰが蓄積されてから開始させる。このためＣＰＵ２４は多重化バツフア２０、２１にパケツトデータＳＶＰ、ＳＡＰの格納が開始されてから時間Ｔｗが経過するまではセレクタ２２の端子として端子ｄを選択しておき、時間Ｔｗ（以下、この時間Ｔｗを蓄積時間Ｔｗと呼ぶ）だけ経過後に上述したように多重化バツフア２０、２１内のパケツト残量に基づく多重化を開始させる。
【００３４】
この蓄積時間Ｔｗの選定の仕方について説明する。ここで蓄積時間Ｔｗを全くなくして多重化を開始したり、小さくしすぎた場合には原信号ＳＶ、ＳＡの入力時間Ｔに相当する時間分の多重化処理を行つた後も、動画像パケツトデータＳＶＰが発生していることになり、多重化データＳＭＵＸ′を規定のトータルバイト数に押さえ込むことができなくなる。また遅延処理部１８による遅延処理時間ＴＤＬを長くしすぎた場合も同様に、オーデイオパケツトデータＳＡＰの発生が規定時間内に収まらなくなり、多重化データＳＭＵＸ′を規定のトータルバイト数に押さえ込むことができなくなる。
【００３５】
これらを考慮して、蓄積時間Ｔｗ及び遅延時間ＴＤＬは、例えば以下に示すように選定されている。すなわち時間Ｔの長さの動画像信号ＳＶの符号化によつて発生する動画像符号化データＳＶＣのデータ量の最大値は、次式
【数１２】
【数１３】
【００３６】
従つて多重化に必要な時間の最大は、次式
【数１４】
【数１５】
【数１６】
【数１７】
【数１８】
【００３７】
一例として、動画像の符号化レートＲ１が４〔Ｍｂｐｓ 〕、オーデイオの符号化レートＲ２が３８４ 〔Ｋｂｐｓ 〕、多重化データのデータレートＲ′が５〔Ｍｂｐｓ 〕、エンコードバツフア１５の容量Ｂが４〔Ｍｂｉｔ 〕の場合を考えると、（１７）式及び（１８）式より、クリツプの時間長ＴをＴ＞６．４９〔ｓｅｃ 〕とし、かつ蓄積時間Ｔｗを１〔ｓｅｃ 〕とすれば良い。
【００３８】
またこのときの多重化バツフア２０、２１でのデータ蓄積量は、遅延処理部１８によつて符号化デイレイの差を全くなくした場合には、多重化バツフア２０で４〔Ｍｂｉｔ 〕、多重化バツフア２１で ３８４〔Ｋｂｐｓ 〕となるので、この値以上の容量の多重化バツフア２０、２１を持つ必要がある。
【００３９】
また動画像とオーデイオの符号化デイレイの差が １．５〔ｓｅｃ 〕あるとすると、オーデイオの遅延処理をしなかつた場合、オーデイオの多重化バツフア２１は、 ３８４〔ｋｂｉｔ〕×（１＋１．５ ）＝ ５７６〔ｋｂｉｔ〕の容量が必要となる。しかし実際上、再生装置側の多重分離化処理においては、多重化処理の際に使用した多重化バツフア２０、２１と同容量以上のバツフアメモリが必要となるため、多重化の前処理として、１．５ 〔ｓｅｃ 〕以上の遅延処理を行うのが望ましい。
【００４０】
ただし、遅延時間ＴＤＬが、１．５ 〔ｓｅｃ 〕＋Ｔｗ＝２．５ 〔ｓｅｃ 〕を越えた場合には、オーデイオパケツトの発生が規定時間内に収まらなくなり、規定の多重化データＳＭＵＸ′をトータルバイト数に押さえ込むことができなくなるため、これを考慮した遅延時間ＴＤＬを選定しなければならない。
【００４１】
因に、オーデイオ符号化データＳＡＣに対して遅延処理を行わなかつた場合には、多重化バツフア２１として、多重化バツフア２０への蓄積時間Ｔｗに加え、符号化デイレイの差に相当する時間分のバツフア量が必要となり、多重化バツフア２１がオーバーフローする可能性がある。従つて実施例の記録装置１０においては、オーデイオ符号化データＳＡＣを遅延処理したことにより多重化バツフア２１のオーバーフローを防止できる。
【００４２】
次に図１に戻つて記録装置１０について説明する。バイトカウンタ２５は通過する多重化データＳＭＵＸ′のバイト数をカウントし、これを表わすカウント信号Ｓ３をＣＰＵ２４に送出する。ＣＰＵ２４はカウント信号Ｓ３に基づいて多重化データＳＭＵＸ′のサイズを計算し、当該サイズが１クリツプ分の値に満たない場合には、セレクタ２２を端子ｃに切換え制御することによりパデイングパケツトデータＰＡＤを挿入する。
【００４３】
すなわち時間長Ｔの原信号の符号化によつて発生した全てのデータの多重化が終了した時点で、それまでバイトカウンタ２５によつてカウントしたバイト数がＣＰＵ２４へ伝えられ、パデイングパケツト発生部２３から、次式
【数１９】
【数２０】
【００４４】
ここでパデイングパケツトデータＰＡＤを挿入するのは、上述したように１クリツプ分のサイズ合せを行う場合か、または多重化バツフア２０、２１内のパケツトデータＳＶＰ、ＳＡＰが存在しない場合のいずれかの場合である。すなわち多重化処理部１２においては、多重化バツフア２０、２１への入力レートの合計Ｒ１＋Ｒ２よりも出力レートＲ′の方を大きくしているため、時間の経過と共にいずれの多重化バツフア２０、２１にも送り出すべきパケツトデータが存在しない場合が生じる。そこでこのような場合は、ＣＰＵ２４からの選択によつて、パデイングパケツト発生部２３からパデイングパケツトデータＰＡＤを挿入することにより多重化データＳＭＵＸ′を形成する。なおこのパデイングパケツトは、後述する再生装置の多重化分離処理によつて破棄する。
【００４５】
（１−２）バツフア選択処理
次にＣＰＵ２４による多重化制御の一例を、図２及び図３に従つて説明する。図２及び図３では、多重化バツフア２０（以下、この説明では多重化バツフア２０をビデオバツフア（Ｖ Ｂｕｆｆｅｒ ）と呼ぶ）、オーデイオバツフア２１（以下、この説明では多重化バツフア２１をオーデイオバツフア（Ａ Ｂｕｆｆｅｒ ）と呼ぶ）のバツフア残量（ＢＯＢ）を、半分（ＨＯＢ）、１／４（ＱＯＢ）の２段階のバツフア残量と、残パケツト数とを基準にして比較し、当該比較結果に応じていずれかのバツフアを選択する。すなわち、いずれかのバツフアに対応したセレクタ端子ａ又はｂを選択して多重化データＳＭＵＸ′を形成する。
【００４６】
ＣＰＵ２４は各多重化バツフア２０、２１にパケツトデータＳＶＰ、ＳＡＰが入力され始めてから蓄積時間Ｔｗだけ経過後に、ステツプＳＰ０からバツフア選択処理手順に入る。ＣＰＵ２４はステツプＳＰ１においてバツフア情報信号Ｓ１、Ｓ２に基づいて、ビデオバツフアの残量が半分より多く、かつビデオパケツトがあると判断するとステツプＳＰ２に移つてビデオバツフアを選択する。次にＣＰＵ２４はステツプＳＰ３においてオーデイオバツフアの残量が半分よりも多く、かつ残りのオーデイオパケツトがあると判断するとステツプＳＰ４に移つてオーデイオバツフアを選択し、当該ステツプＳＰ４での処理後に再びステツプＳＰ１に戻る。
【００４７】
一方ＣＰＵ２４はステツプＳＰ１において、ビデオバツフアの残量が半分以下又はビデオパケツトが無いと判断すると、ステツプＳＰ５に移る。ＣＰＵ２４はステツプＳＰ５においてオーデイオバツフアの残量が半分より多く、かつオーデイオパケツトがあると判断すると、ステツプＳＰ４に移つてオーデイオバツフアを選択する。
【００４８】
このようにＣＰＵ２４は、ステツプＳＰ１〜ステツプＳＰ５において、ビデオバツフア及びオーデイオバツフアの半分の残量を閾値として、ビデオバツフアの残量及びオーデイオバツフアの残量が共に半分より多いときには、ステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ４−ＳＰ１のループを繰り返してビデオバツフアとオーデイオバツフアを交互に選択して多重化データＳＭＵＸ′を形成する。これに対してビデオバツフアの残量だけが半分よりも多いときには、ステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ４のループを繰り返すことによりビデオバツフアのみを繰り返し選択して多重化データＳＭＵＸ′を形成する。またビデオバツフアの残量が半分以下でかつオーデイオバツフアの残量が半分よりも多いときには、ステツプＳＰ１−ＳＰ５−ＳＰ４−ＳＰ１のループを繰り返すことによりオーデイオバツフアのみを選択しながら多重化データＳＭＵＸ′を形成する。
【００４９】
ＣＰＵ２４はステツプＳＰ１及びステツプＳＰ２において共に否定結果を得ると、このことはビデオバツフア及びオーデイオバツフアの残量が共に半分以下のことを表わすことにより、ステツプＳＰ６に移り、以下各バツフア容量の１／４を閾値とした選択を行う。すなわちＣＰＵ２４はステツプＳＰ６においてビデオバツフアの残量が１／４よりも多くかつビデオパケツトがあるか否か判断し、肯定結果が得られるとステツプＳＰ７に移つてビデオバツフアを選択する。次にＣＰＵ２４はステツプＳＰ８においてオーデイオバツフアの残量が１／４より多くかつオーデイオパケツトがあるか否か判断し、肯定結果が得られるとステツプＳＰ９に移つてオーデイオバツフアを選択する。
【００５０】
一方ＣＰＵ２４はステツプＳＰ６において否定結果が得られると、ステツプＳＰ１０に移つてオーデイオバツフアの残量が１／４よりも多くかつオーデイオパケツトがあるか否か判断し、肯定結果が得られるとステツプＳＰ９に移つてオーデイオバツフアを選択する。またＣＰＵ２４はステツプＳＰ８において否定結果が得られた場合又はステツプＳＰ９における処理を終了後はステツプＳＰ１に戻る。
【００５１】
このようにしてＣＰＵ２４はステツプＳＰ６〜ＳＰ１０において、ビデオバツフアの残量及びオーデイオバツフアの残量が共に１／４より多いとき、又は何れか一方のバツフアの残量が１／４より多いときに、ビデオバツフア又はオーデイオバツフアを適宜選択し、再びステツプＳＰ１に戻つていずれかのバツフア残量が半分よりも多くなつている場合には、上述のステツプＳＰ１〜ステツプＳＰ５の処理を実行する。このようにしてＣＰＵ２４は、ステツプＳＰ１〜ステツプＳＰ１４の処理を実行することによりビデオバツフアとオーデイオバツフアの残量を均等に減らしていくように多重化制御を行うようになされている。
【００５２】
これに対してＣＰＵ２４はステツプＳＰ１０において否定結果を得ると、このことはビデオバツフア及びオーデイオバツフアの残量が共に１／４以下となつていることを表わすことにより、ステツプＳＰ１１に移り、以下各バツフア内のパケツト残量の有無に基づいたバツフア選択を行う。
【００５３】
すなわちＣＰＵ２４はステツプＳＰ１１においてビデオバツフア内にビデオパケツトがあるか否か判断し、ビデオパケツトがあると判断した場合にはステツプＳＰ１２に移つてビデオバツフアを選択する。次にＣＰＵ２４はステツプＳＰ１３においてオーデイオバツフア内にオーデイオパケツトがあるか否か判断し、オーデイオパケツトがあると判断した場合にはステツプＳＰ１４に移つてオーデイオバツフアを選択する。
【００５４】
一方ＣＰＵ２４はステツプＳＰ１１において否定結果を得るとステツプＳＰ１５に移りオーデイオパケツトがあるか否か判断し、肯定結果を得た場合にはステツプＳＰ１４に移る。またＣＰＵ２４はステツプＳＰ１３において否定結果が得られた場合又はステツプＳＰ１４における処理を終了後はステツプＳＰ６に戻る。
【００５５】
このようにしてＣＰＵ２４はステツプＳＰ１１〜ＳＰ１５において、バツフア内にビデオパケツト又はオーデイオパケツトが存在するときにビデオパケツト又はオーデイオパケツトを適宜選択し、再びステツプＳＰ６に戻つていずれかのバツフア残量が１／４よりも多くなつている場合には、上述のステツプＳＰ６〜ＳＰ１０の処理を実行する。
【００５６】
これに対してＣＰＵ２４はステツプＳＰ１５において否定結果を得ると、このことはバツフア内にビデオパケツト及びオーデイオパケツトが共に存在しないことを表わすことにより、ステツプＳＰ１６に移つて１クリツプ分の多重化処理が終了したか否か判断する。ここで否定結果が得られるとステツプＳＰ１７に移り、セレクタ２２にパデイングパケツト発生部２３を選択させることにより多重化データストリームにパデイングパケツトデータＰＡＤを挿入させる。この処理を終了した後は、再びステツプＳＰ６に戻つてバツフア内にパケツトデータが到来すると当該パケツトデータを多重化し、多重化データが無い場合には再びステツプＳＰ１７においてパデイングパケツトデータＰＡＤを挿入させる。
【００５７】
一方ＣＰＵ２４はステツプＳＰ１６において肯定結果が得られると、ステツプＳＰ１８に移つて、やはりセレクタ２２にパデイングパケツト発生部２３を選択させることにより多重化データストリームにパデイングパケツトデータＰＡＤを挿入させる。ＣＰＵ２４は続くステツプＳＰ１９においてバイトカウンタ２５からのカウント信号Ｓ３に基づいて総バイト数が時間Ｔ×レートＲ′に等しいか否か（すなわち総バイト数が決められた１クリツプのサイズに等しくなつたか否か）判断し、否定結果を得た場合にはステツプＳＰ１８に戻る。このようにＣＰＵ２４はステツプＳＰ１８−ＳＰ１９−ＳＰ１８のループを繰り返すことにより、単位クリツプ内の総ビツト数を一定にするようになされている。ＣＰＵ２４はステツプＳＰ１９において否定結果を得るとステツプＳＰ２０に移つて、１クリツプ分のバツフア選択処理手順を終了する。
【００５８】
ここでステツプＳＰ１７の処理は多重化すべきビデオデータ及びオーデイオデータが未だ生成されていないときにビデオデータ又はオーデイオデータ間にパデイングデータＰＡＤを挿入することに相当し、ステツプＳＰ１９の処理は１クリツプ内に入れるビデオデータ及びオーデイオデータの多重化が終了したときにその後ろにクリツプのサイズ合せのためのパデイングデータＰＡＤを挿入することに相当する。このようにして時間長Ｔの原信号ＳＶ、ＳＡから、常に一定サイズ（時間長Ｔ）でなる多重化データＳＭＵＸ′が形成される。
【００５９】
（１−３）動作
次に記録装置１０の全体としての動作を、図４を用いて説明する。記録装置１０はステツプＳＰ３０において記録処理手順を開始すると、続くステツプＳＰ３１においてメインＣＰＵ２６から記録再生部１３に記録制御信号Ｓ４を送出することにより記録再生部１３による記録媒体への書込みポインタを指定する。次に記録装置１０はステツプＳＰ３２においてエンコーダ１１にエンコード制御信号Ｓ５を送出することにより動画像信号ＳＶを画像圧縮符号化処理部１４に入力開始させ、続くステツプＳＰ３３においてパケツト処理部１７によつて動画像符号化データＳＶＣをパケツト処理し、ビデオバツフア２０への動画像パケツトデータＳＶＰの書込みを開始させる。
【００６０】
これに並列して記録装置１０はステツプＳＰ３１の処理の後、ステツプＳＰ３４においてオーデイオ信号ＳＡをオーデイオ符号化処理部１６に入力開始させ、続くステツプＳＰ３５において遅延処理部１８によつてビデオ符号化デイレイとの差に対応した時間ＴＤＬだけオーデイオ符号化データＳＡＣを遅延させる。ステツプＳＰ３６では、パケツト処理部１９によつて遅延オーデイオ符号化データＳＡＣＤＬをパケツト処理させ、オーデイオバツフア２１へのオーデイオパケツトデータＳＡＰの書込みを開始させる。
【００６１】
次に記録装置１０はステツプＳＰ３７においてパケツトデータＳＶＰ、ＳＡＰを多重化バツフア２０、２１に書き込ませ始めてから蓄積時間Ｔｗが経過したか否か判断し、蓄積時間Ｔｗだけ待機する。そして蓄積時間Ｔｗが経過した後多重化を開始する。すなわち記録装置１０は蓄積時間Ｔｗが経過すると、ステツプＳＰ３８に移り、ＣＰＵ２４がバツフア情報信号Ｓ１、Ｓ２に基づいて各多重化バツフア２０、２１のバツフア残量を検出し、続くステツプＳＰ３９においてＣＰＵ２４がバツフア残量に基づくセレクタコントロール信号ＣＮＴ１を送出することによりパケツトを送出する多重化バツフア２０、２１又はパデイングパケツト発生部２３を適宜選択する。
【００６２】
ステツプＳＰ４０では選択された多重化バツフア２０、２１からデータレートＲ′でパケツトデータＳＶＰ、ＳＡＰを１つずつバイトカウンタ２５を介して記録再生部１３に供給し、ステツプＳＰ４１において供給されたパケツトデータＳＶＰ、ＳＡＰを記録媒体に記録する。ステツプＳＰ４２では各多重化バツフア２０、２１内のパケツトデータＳＶＰ、ＳＡＰの有無を判断し、パケツトデータＳＶＰ、ＳＡＰが有る場合にはステツプＳＰ３８に戻り、パケツトデータＳＶＰ、ＳＡＰが無い場合にはステツプＳＰ４３に移る。
【００６３】
ステツプＳＰ４３では、各多重化バツフア２０、２１への書込みが終了したか否か、すなわち１クリツプ分のビデオパケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰはこれで終わりか否か判断し、まだある場合にはステツプＳＰ４４に移る。ステツプＳＰ４４では、ＣＰＵ２４がセレクタ２２にパデイングパデイング発生部２３を選択することを指令するセレクタコントロール信号ＣＮＴ１を送出することにより、続くステツプＳＰ４１においてパデイングパケツトデータＰＡＤを記録させる。
【００６４】
一方ステツプＳＰ４３において１クリツプ分のビデオパケツトデータＳＶＰ及びオーデイオパケツトデータＳＡＰの多重化がもう終了したと判断すると、ステツプＳＰ４５に移り、ＣＰＵ２４がバイトカウンタ２５からのカウント信号Ｓ３に基づいて多重化データＳＭＵＸ′が決められた１クリツプ分のサイズに達しているか否か判断する。ここで否定結果が得られるとステツプＳＰ４６及びステツプＳＰ４７においてパデイングパケツトデータＰＡＤを送出しこれを記録媒体に記録させた後再びステツプＳＰ４５に戻る。
【００６５】
ステツプＳＰ４５において肯定結果が得られると、このことは一定サイズ（すなわち時間長Ｔ）の多重化データＳＭＵＸ′が形成され記録されたことを意味し、このとき記録装置１０はステツプＳＰ４８に移つて１クリツプ分の多重化データＳＭＵＸ′の記録を終了する。記録装置１０はステツプＳＰ４９において、次の動画像信号を記録するか否かを確認し、記録する場合にはステツプＳＰ３１に戻り、記録しない場合にステツプＳＰ５０に移つて当該記録処理手順を終了する。
【００６６】
図５に、記録装置１０によつて原信号ＳＶ、ＳＡから多重化データＳＭＵＸ′を形成されるまでのタイミングチヤートを示す。記録装置１０は時間長Ｔの動画像信号ＳＶ及びこれに付随するオーデイオ信号ＳＡを入力すると、これらをそれぞれ符号化処理することにより動画像符号化データＳＶＣ及びオーデイオ符号化データＳＡＣを形成する。このとき動画像符号化データＳＶＣの符号化デイレイＤＬ１の方がオーデイオ符号化デイレイＤＬ２よりも大きくなるため、遅延処理部１８によつてオーデイオ符号化データＳＡＣを時間ＴＤＬだけ遅延させることにより、符号化デイレイの差を小さくする。
【００６７】
次に記録装置１０は動画像符号化データＳＶＣ及び遅延オーデイオ符号化データＳＡＣをパケツト化することにより、動画像パケツトデータＳＶＰ（Ｖ０、Ｖ１、……Ｖｎ−１ 、Ｖｎ ）及びオーデイオパケツトデータＳＡＰ（Ａ０、Ａ１、……、Ａｍ−１ 、Ａｍ ）を形成する。
【００６８】
次に記録装置１０は多重化バツフア２０、２１に動画像パケツトデータＶ０〜Ｖｎ 、オーデイオパケツトデータＡ０〜Ａｎ が格納され始めてから蓄積時間Ｔｗだけ経過後に各パケツトデータの多重化を開始する。このとき多重化バツフア２０、２１への書込み時のデータレートＲ１、Ｒ２よりも速いデータレートＲ′（＞Ｒ１＋Ｒ２）で各パケツトデータを読み出して多重化する。またこの際、上述したように各多重化バツフア２、２１の残量に基づいて多重化を制御する。さらに多重化する動画像パケツトデータＳＶＰ′やオーデイオパケツトデータＳＡＰ′が無い場合には、パデイングパケツトＰを挿入する。
【００６９】
この結果多重化データＳＭＵＸ′を、原信号ＳＶ、ＳＡに等しい時間Ｔ内に収めることができる。従つて、このような多重化データＳＭＵＸ′を記録媒体に記録すれば、時間Ｔの原信号ＳＶ、ＳＡに対応する多重化データＳＭＵＸ′を任意の順番で読み出した場合でも、各多重化データＳＭＵＸ′を全て等しい時間で読み出すことができる。この結果復号に必要なデータを記録媒体から読み出す時間が各々のクリツプにおいて同じになるため、復号により得られる再生信号を途切れの無いものとすることができる。
【００７０】
（２）再生装置
（２−１）構成
記録装置１０によつて記録された多重化データＳＭＵＸ′を再生する再生装置の構成を、図６に示す。再生装置３０は記録再生部１３（図１）によつて、記録媒体への多重化データＳＭＵＸ′の記録レートＲ′にほぼ等しいレートで記録媒体から読み出された多重化データＳＭＵＸ′をセレクタ３１及びヘツダ検出回路３２に供給する。ここで記録再生部１３によるデータ読出しレートを記録時のデータレートＲ′と等しい値に選定すると、１クリツプ分の多重化データＳＭＵＸ′の読出しに必要な時間は、書込み時間と同じＴとなる。
【００７１】
ヘツダ検出回路３２は多重化データＳＭＵＸ′の各パケツトに付加されたヘツダ情報に基づいてセレクタ３１にセレクタコントロール信号ＣＮＴ２を送出する。これによりセレクタ３１はパケツトの種類（すなわち動画像パケツトデータＳＶＰか、オーデイオパケツトデータＳＡＰか、またはパデイングパケツトデータＰＡＤか）に応じて接続が切り換えられる。この結果多重化データＳＭＵＸ′は、動画像パケツトデータＳＶＰ′、オーデイオパケツトデータＳＡＰ′及びパデイングパケツトデータＰＡＤに分離される。なおパデイングパケツトデータＰＡＤが入力されたときには端子ｃが選択されることにより破棄される。
【００７２】
分離された動画像パケツトデータＳＶＰ′は動画像用バツフア３３に一旦格納され、符号化レートに等しいレート（すなわち動画像符号化データＳＶＣのデータレートＲ１）で出力される。出力された動画像パケツトデータはデコード処理部３４によつて復号され、このようにして動画像信号ＳＶが再生される。同様に、分離されたオーデイオパケツトデータＳＡＰ′はオーデイオ用バツフア３５に一旦格納され、符号化レートに等しいレート（すなわちオーデイオ符号化データＳＡＣのデータレートＲ２）で出力される。出力されたオーデイオパケツトデータはデコード処理部３６によつて復号され、オーデイオ信号ＳＡが再生される。
【００７３】
なお動画像用バツフア３３、オーデイオ用バツフア３５の容量は、それぞれ記録装置１０に設けられた多重化バツフア２０、２１の容量以上とされており、これにより各バツフア３３、３５がオーバーフローしないようになされている。
【００７４】
（２−２）動作
以上の構成において、再生装置３０は、図７に示すような動作手順に従つて記録データを再生する。すなわち記録装置３０はステツプＳＰ６０において再生動作を開始すると、続くステツプＳＰ６１においてＣＰＵ（図示せず）から記録再生部１３に媒体からの読出しポインタ（このポインタはデータ記録時のものを使用する）が指定されると、続くステツプＳＰ６２において記録再生部１３によつて記録媒体から記録時と同レートＲ′で読出しを開始する。
【００７５】
次に再生装置３０はステツプＳＰ６３において、ヘツダ検出回路３２によつて各パケツトの先頭に付加されたヘツダ情報を検出し、当該検出結果に基づいてセレクタ３１によつて多重化データＳＭＵＰ′を形成する各パケツトデータＶ０〜Ｖｎ 、Ａ０〜Ａｍ を各データストリームＳＶＰ′、ＳＡＰ′に分離する。次にステツプＳＰ６４において各データストリームＳＶＰ′、ＳＡＰ′をそれぞれ動画像用バツフア３３、オーデイオ用バツフア３５に入力格納し、続くステツプＳＰ６５において各バツフア３３、３５から各デコード処理部３４、３６に符号化レートＲ１、Ｒ２に等しいデータレートでデータを出力する。
【００７６】
次にステツプＳＰ６６においてデコード処理部３４、３６によつて動画像信号ＳＶ、オーデイオ信号ＳＡを復号生成すると、続くステツプＳＰ６７において１クリツプ分のデータ読出しが終了したか否か判断し、未だ終了していない場合はステツプＳＰ６３に戻る。これに対して１クリツプ分のデータ読出しが終了したと判断すると、ステツプＳＰ６８に移り、次のクリツプを連続して再生するか否か判断し、連続して再生する場合にはステツプＳＰ６１に戻る。
【００７７】
これに対して連続して再生しない場合にはステツプＳＰ６９に移り、ここで各デコード処理部３４、３６に設けられたバツフア残量が有るか否か判断する。そしてバツフア残量が無くなるとステツプＳＰ７０に移つて再生（すなわちデコード処理部３４、３６による復号処理）を終了し、続くステツプＳＰ７１において再生動作を終了する。
【００７８】
（３）実施例の効果
以上の構成によれば、一定時間Ｔの動画像信号ＳＶ及びこれに付随するオーデイオ信号ＳＡを、常に一定時間長Ｔの多重化データＳＭＵＸ′とすることができることにより、記録媒体に記録された全ての多重化データＳＭＵＸ′を一定時間Ｔで読み出すことができるようになる。この結果任意に指定した複数の多重化データＳＭＵＸ′を連続再生した場合に、途切れの無い再生信号を得ることができる。
【００７９】
（４）他の実施例
なお上述の実施例においては、パデイングパケツト発生部２３を設け、多重化バツフア２０、２１内のパケツトデータＳＶＰ、ＳＡＰが存在しないときや１クリツプのサイズ合せを行うときに、多重化データＳＭＵＸ′をパデイングパケツトＰＡＤによつて充填するようにした場合について述べたが、例えば遅延処理部１８の遅延時間ＴＤＬや多重化バツフア２０、２１の読出しレートを適宜選定することによりパデイングパケツトＰＡＤの必要性をなくすることができれば、パデイングパケツト処理部２３を省略するようにしても良い。
【００８０】
また上述の実施例においては、記録装置１０及び当該記録装置１０によつて記録されたデータを再生する再生装置３０について述べたが、本発明はこれに限らず、多重化データＳＭＵＸ′が記録された記録媒体に適用することもできる。すなわちこのような記録媒体を用いれば、記録された全ての多重化データＳＭＵＸ′を等しい時間長で読み出すことができるため、上述の実施例と同様の効果を得ることができる。この場合の記録媒体としては、ハードデイスクや光磁気デイスク、または相変化型デイスク等を広く用いることができる。
【００８１】
さらに上述の実施例においては、本発明を記録装置１０及び再生装置３０に適用した場合について述べたが、本発明はこれに限らず、例えばＡＶサーバ等の伝送装置に適用した場合にも上述の実施例と同様の効果を得ることができる。
【００８２】
【発明の効果】
上述のように本発明によれば、ある一定時間の動画像信号とこれに付随するオーデイオ信号を符号化及び多重化して記録する場合に、パケツト化前又はパケツト化後のオーデイオ符号化データを所定時間だけ遅延させる遅延手段と、動画像パケツトデータ及び遅延オーデイオパケツトデータを格納するバツフアメモリと、バツフアメモリへの格納が開始されてから所定時間経過後に、格納された動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより動画像パケツトデータ及びオーデイオパケツトデータを多重化する多重化手段とを設け、これにより得た多重化データを記録媒体に記録又は伝送するようにしたことにより、時間長Ｔの原信号に対応する多重化データを一定の時間で読み出し又は受信することができるようになる。
【００８３】
この結果任意の個数の画像信号と付随するオーデイオ信号を連続再生する場合に、必要なデータを読み出す時間を再生時間に等しくできるため、復号処理後の実際の画像信号と付随するオーデイオ信号を途切れなく連続再生することが可能となる。
【図面の簡単な説明】
【図１】実施例による記録装置の構成を示すブロツク図である。
【図２】多重化バツフアの残量に基づくバツフア選択処理手順の一例を示すフローチヤートである。
【図３】多重化バツフアの残量に基づくバツフア選択処理手順の一例を示すフローチヤートである。
【図４】記録装置の動作の説明に供するフローチヤートである。
【図５】記録装置によつて一定時間Ｔの動画像信号とこれに付随するオーデイオ信号から多重化データを形成するまでの説明に供するタイミングチヤートである。
【図６】実施例による再生装置の構成を示すブロツク図である。
【図７】再生装置の動作の説明に供するフローチヤートである。
【図８】従来の記録再生装置の構成を示すブロツク図である。
【図９】エンコードバツフア内のデータの推移を示すグラフである。
【図１０】従来のエンコーダによつて一定時間Ｔの動画像信号とこれに付随するオーデイオ信号から多重化データを形成するまでの説明に供するタイミングチヤートである。
【符号の説明】
１０……記録装置、１１……エンコーダ、１２……多重化処理部、１３……記録再生部、１４……画像圧縮処理部、１５……エンコードバツフア、１６……オーデイオ符号化処理部、１７、１９……パケツト処理部、１８……遅延処理部、２０、２１……多重化バツフア、２２、３１……セレクタ、２３……パデイングパケツト発生部、２４……ＣＰＵ、２５……バイトカウンタ、２６……メインＣＰＵ、３０……再生装置、３２……ヘツダ検出部、３３……動画像用バツフア、３４、３６……デコード処理部、３５……オーデイオ用バツフア、ＳＶ……動画像信号、ＳＡ……オーデイオ信号、ＳＶＣ……動画像符号化データ、ＳＡＣ……オーデイオ符号化データ、ＳＶＰ、ＳＶＰ′……動画像パケツトデータ、ＳＡＣＤＬ……遅延オーデイオ符号化データ、ＳＡＰ、ＳＡＰ′……オーデイオパケツトデータ、ＰＡＤ……パデイングパケツトデータ、ＳＭＵＸ′……多重化データ、Ｓ１、Ｓ２……バツフア情報信号、Ｓ３……カウント信号、Ｓ４……記録制御信号、Ｓ５……エンコード制御信号、ＣＮＴ１……セレクタコントロール信号。
Claims (14)
- ある一定時間分の動画像信号とこれに付随するオーデイオ信号をそれぞれ符号化した後多重化することにより多重化データを形成し、当該多重化データを所定の記録媒体に記録するデータ記録方法において、
動画像符号化データをパケツト化するステツプと、
オーデイオ符号化データを、所定時間だけ遅延処理した後パケツト化し又はパケツト化した後所定時間だけ遅延処理するステツプと、
得られた動画像パケツトデータ及び遅延オーデイオパケツトデータをそれぞれバツフアメモリに格納するステツプと、
格納を開始してから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の上記動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより上記動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するステツプと、
多重化された上記動画像パケツトデータ及びオーデイオパケツトデータを上記記録媒体に書き込むステツプと
を具えることを特徴とするデータ記録方法。 - 上記動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するステツプでは、
上記バツフアメモリ内に上記動画像パケツトデータ及びオーデイオパケツトデータの残量が無い場合には、上記動画像パケツトデータ及びオーデイオパケツトデータに代えてパデイングデータを多重化するようにする
ことを特徴とする請求項１に記載のデータ記録方法。 - 上記動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するステツプにおける上記経過時間は、上記動画像パケツトデータを格納するために割り当てられたバツフアメモリの容量をＢ、当該バツフアメモリに上記動画像パケツトデータを格納する際のデータレートをＲ１としたとき、次式で表わされる時間Ｔｗに選定されている
- ある一定時間分の動画像信号とこれに付随するオーデイオ信号をそれぞれ符号化した後多重化することにより多重化データを形成し、当該多重化データを所定の記録媒体に記録するデータ記録装置において、
動画像符号化データをパケツト化する動画像パケツト化手段と、
オーデイオ符号化データをパケツト化するオーデイオパケツト化手段と、
上記オーデイオ符号化データを、上記パケツト化前又は上記パケツト化後に所定時間だけ遅延させる遅延手段と、
得られた動画像パケツトデータと遅延オーデイオパケツトデータを格納するバツフアメモリと、
上記バツフアメモリへの上記動画像パケツトデータ及びオーデイオパケツトデータの格納が開始されてから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより、上記動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するデータ多重化手段と、
上記多重化データを上記記録媒体に記録する記録手段と
を具えることを特徴とするデータ記録装置。 - 上記データ記録装置は、さらにパデイングデータを発生するパデイングデータ発生手段を具え、
上記データ多重化手段は、上記バツフアメモリ内に上記動画像パケツトデータ及びオーデイオパケツトデータの残量が無い場合には、上記動画像パケツトデータ及びオーデイオパケツトデータに代えて上記パデイングデータを多重化するようにする
ことを特徴とする請求項４に記載のデータ記録装置。 - 上記データ多重化手段における上記経過時間は、上記バツフアメモリのうち上記動画像パケツトデータを格納するために割り当てられた容量をＢ、当該バツフアメモリに上記動画像パケツトデータを格納する際のデータレートをＲ１としたとき、次式で表わされる時間Ｔｗに選定されている
- ある一定時間分の動画像信号及びこれに付随するオーデイオ信号を符号化し、当該動画像符号化データをパケツト化すると共にオーデイオ符号化データを所定時間だけ遅延処理した後パケツト化し又はパケツト化した後所定時間だけ遅延処理することにより動画像パケツトデータ及び遅延オーデイオパケツトデータを形成し、当該動画像パケツトデータ及びオーデイオパケツトデータをバツフアメモリに格納し、格納を開始してから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の上記動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより時分割多重化されて所定の記録媒体に記録された多重化データを再生するデータ再生方法において、上記記録媒体への上記多重化データの記録レートにほぼ等しいレートで上記記録媒体から上記多重化データを読み出すステツプと、
各パケツトのヘツダ情報に基づいて、上記多重化データを動画像パケツトデータとオーデイオパケツトデータとに分離するステツプと、
分離された各データを記録時に用いた上記バツフアメモリ以上の容量を有するバツフアメモリに格納し、当該バツフアメモリに格納された上記各データを記録時の符号化レートにほぼ等しいレートで読み出すステツプと、
読み出された各データを復号するステツプと
を具えることを特徴とするデータ再生方法。 - ある一定時間分の動画像信号及びこれに付随するオーデイオ信号を符号化し、当該動画像符号化データをパケツト化すると共にオーデイオ符号化データを所定時間だけ遅延処理した後パケツト化し又はパケツト化した後所定時間だけ遅延処理することにより動画像パケツトデータ及び遅延オーデイオパケツトデータを形成し、当該動画像パケツトデータ及びオーデイオパケツトデータをバツフアメモリに格納し、格納を開始してから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の上記動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出されることにより時分割多重化されて所定の記録媒体に記録された多重化データを再生するデータ再生装置において、
上記記録媒体への上記多重化データの記録レートにほぼ等しいレートで上記記録媒体から上記多重化データを読み出すデータ読出し手段と、
各パケツトのヘツダ情報に基づいて、上記多重化データを動画像パケツトデータとオーデイオパケツトデータとに分離するデータ分離手段と、
記録時に用いた上記バツフアメモリ以上の容量を有し、上記分離された各データを格納し、格納した各データを上記記録時の符号化レートにほぼ等しいレートで出力するバツフアメモリと、
出力された各データを復号する復号手段と
を具えることを特徴とするデータ再生装置。 - ある一定時間分の動画像信号とこれに付随するオーデイオ信号がそれぞれ符号化及びパケツト化されることにより形成された動画像パケツトデータとオーデイオパケツトデータとが、一定サイズの多重化データとして記録されている
ことを特徴とする記録媒体。 - 上記多重化データには、サイズ合せのためのパデイングデータが含まれている
ことを特徴とする請求項９に記載の記録媒体。 - ある一定時間分の動画像信号とこれに付随するオーデイオ信号をそれぞれ符号化した後多重化することにより多重化データを形成し、当該多重化データを所定の伝送路を介して伝送するデータ伝送方法において、
動画像符号化データをパケツト化するステツプと、
オーデイオ符号化データを、所定時間だけ遅延処理した後パケツト化し又はパケツト化した後所定時間だけ遅延処理するステツプと、
得られた動画像パケツトデータ及び遅延オーデイオパケツトデータをそれぞれバツフアメモリに格納するステツプと、
格納を開始してから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の上記動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより、上記動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するステツプと、
多重化された上記動画像パケツトデータ及びオーデイオパケツトデータを伝送路に出力するステツプと
を具えることを特徴とするデータ伝送方法。 - ある一定時間分の動画像信号とこれに付随するオーデイオ信号をそれぞれ符号化した後多重化することにより多重化データを形成し、当該多重化データを所定の伝送路を介して伝送するデータ伝送装置において、
動画像符号化データをパケツト化する動画像パケツト化手段と、
オーデイオ符号化データをパケツト化するオーデイオパケツト化手段と、
上記オーデイオ符号化データを、上記パケツト化前又は上記パケツト化後に所定時間だけ遅延させる遅延手段と、
得られた動画像パケツトデータと遅延オーデイオパケツトデータを格納するバツフアメモリと、
上記バツフアメモリへの上記動画像パケツトデータ及びオーデイオパケツトデータの格納が開始されてから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出すことにより、上記動画像パケツトデータ及びオーデイオパケツトデータを時分割多重化するデータ多重化手段と、
上記多重化データを上記伝送路に出力する出力手段と
を具えることを特徴とするデータ伝送装置。 - ある一定時間分の動画像信号及びこれに付随するオーデイオ信号を符号化し、当該動画像符号化データをパケツト化すると共にオーデイオ符号化データを所定時間だけ遅延処理した後パケツト化し又はパケツト化した後所定時間だけ遅延処理することにより動画像パケツトデータ及び遅延オーデイオパケツトデータを形成し、当該動画像パケツトデータ及びオーデイオパケツトデータをバツフアメモリに格納し、格納を開始してから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の上記動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出されることにより時分割多重化されて所定の伝送路に出力された多重化データを受信するデータ伝送方法において、
各パケツトのヘツダ情報に基づいて、上記多重化データを動画像パケツトデータとオーデイオパケツトデータとに分離するステツプと、
分離された各データを送信時に用いた上記バツフアメモリ以上の容量を有するバツフアメモリに格納し、当該バツフアメモリに格納した上記各データを上記符号化時の符号化レートにほぼ等しいレートで読み出すステツプと、
読み出された各データを復号するステツプと
を具えることを特徴とするデータ伝送方法。 - ある一定時間分の動画像信号及びこれに付随するオーデイオ信号を符号化し、当該動画像符号化データをパケツト化すると共にオーデイオ符号化データを所定時間だけ遅延処理した後パケツト化し又はパケツト化した後所定時間だけ遅延処理することにより動画像パケツトデータ及び遅延オーデイオパケツトデータを形成し、当該動画像パケツトデータ及びオーデイオパケツトデータをバツフアメモリに格納し、格納を開始してから所定時間経過後に、格納された動画像パケツトデータ又はオーデイオパケツトデータを上記バツフアメモリ内の上記動画像パケツトデータ及びオーデイオパケツトデータの残量に基づいて選択的に、かつ格納時のデータレート以上のデータレートで読み出されることにより時分割多重化されて所定の伝送路に出力された多重化データを受信するデータ伝送装置において、
各パケツトのヘツダ情報に基づいて、上記多重化データを動画像パケツトデータとオーデイオパケツトデータとに分離するデータ分離手段と、
送信時に用いた上記バツフアメモリ以上の容量を有し、上記分離された各データを格納し、格納した各データを上記符号化時の符号化レートにほぼ等しいレートで出力するバツフアメモリと、
出力された各データを復号する手段と
を具えることを特徴とするデータ伝送装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29351395A JP3599207B2 (ja) | 1995-10-16 | 1995-10-16 | データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29351395A JP3599207B2 (ja) | 1995-10-16 | 1995-10-16 | データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09116863A JPH09116863A (ja) | 1997-05-02 |
| JP3599207B2 true JP3599207B2 (ja) | 2004-12-08 |
Family
ID=17795717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29351395A Expired - Fee Related JP3599207B2 (ja) | 1995-10-16 | 1995-10-16 | データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3599207B2 (ja) |
-
1995
- 1995-10-16 JP JP29351395A patent/JP3599207B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09116863A (ja) | 1997-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7058129B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| JP3435295B2 (ja) | 情報送信装置およびトラヒック制御装置、並びこれらを利用した帯域運用方法および呼受け付け方法 | |
| JP3162110B2 (ja) | 音声／ビデオ信号の伝送方法、並びにこのような方法に用いる符号化装置及び復号装置 | |
| JP4538908B2 (ja) | データ変換装置及び方法 | |
| JP3330797B2 (ja) | 動画像データ格納方式および動画像データ復号方式 | |
| JPH0787444A (ja) | 圧縮符号化データ記録方法 | |
| US7359621B2 (en) | Recording apparatus | |
| JPH0730886A (ja) | 画像および音声信号処理方法とその装置 | |
| JP3558983B2 (ja) | デジタル放送の記録再生装置 | |
| WO1999034543A1 (en) | Coded data output device and method | |
| JP3651699B2 (ja) | 復号化装置及び符号化復号化装置 | |
| JP3599207B2 (ja) | データ記録方法及び装置、データ再生方法及び装置、記録媒体、データ伝送方法及び装置 | |
| JP3541413B2 (ja) | 情報信号伝送方法及び装置 | |
| JP3277971B2 (ja) | データ多重化装置、データ多重化方法及びデータ記録媒体 | |
| JP4900945B2 (ja) | 記録装置、及び記録方法 | |
| JP3338774B2 (ja) | Ｍｐｅｇエンコード装置，ｍｐｅｇのｐｓ多重化方法及びｐｓ多重化プログラムを記録した記録媒体 | |
| JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
| JP3835570B2 (ja) | ビデオ信号伝送装置 | |
| WO2004006576A1 (ja) | 画像データ処理装置及び方法 | |
| JP3630248B2 (ja) | データ記録方法及び装置、データ再生方法及び装置、データ伝送方法及び装置 | |
| JP3674717B2 (ja) | データ記録方法及び装置、データ再生方法及び装置、データ伝送方法及び装置 | |
| JPH11220695A (ja) | 動画像データの復号装置及び復号方法 | |
| WO2001041435A1 (en) | Recording apparatus and method | |
| JPH10199141A (ja) | 符号記録装置、及び符号多重方法 | |
| JP2000036941A (ja) | 動画像データの復号装置及び復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040827 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040909 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |