JP3573171B2 - 複数の可変レート信号の伝送方法および伝送システム - Google Patents
複数の可変レート信号の伝送方法および伝送システム Download PDFInfo
- Publication number
- JP3573171B2 JP3573171B2 JP25683895A JP25683895A JP3573171B2 JP 3573171 B2 JP3573171 B2 JP 3573171B2 JP 25683895 A JP25683895 A JP 25683895A JP 25683895 A JP25683895 A JP 25683895A JP 3573171 B2 JP3573171 B2 JP 3573171B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- variable rate
- buffer
- buffers
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば、複数系統の画像情報をそれぞれ可変長圧縮符号化した後、多重化して伝送し、受信側で多重化信号から各画像情報を分離すると共に、各画像情報を同期復号化するようにする場合に適用して好適な複数の可変レート信号の伝送方法および伝送システムに関する。
【０００２】
【従来の技術】
テレビ放送などのビデオ信号やオーディオ信号の圧縮、伝送などの分野においては、ビデオ信号処理のデジタル化は、オーディオ信号処理のデジタル化に比べて、その情報量の違いから遅れていた。しかし、デジタル化技術の進歩、およびデジタル化処理のための標準化作業の進展などに伴って、ビデオ信号処理のデジタル化が、急速に普及し始めている。
【０００３】
ビデオ信号をデジタル化することにより、画質の改善、ノイズ耐性の強化、新しいサービスの付加、他のメディアとの結合など、多くのメリットを享受することができるようになるが、このデジタル化されたビデオ信号を伝送することを考えた時には、伝送帯域には限りがあるため、多くの場合、送信側は、ビデオ信号を圧縮符号化して送信するようにする必要がある。これには、大規模で高速処理が可能なハードウエアが要求される。
【０００４】
しかし、ＮＴＳＣ方式などのいわゆる標準精細度のビデオ信号については、符号化アルゴリズムの標準化が進み、これにつれて必要な回路のＩＣ化も進み、これらを利用することにより、標準精細度のビデオ信号用の符号化装置の設計が容易にできるようになってきている。
【０００５】
【発明が解決しようとする課題】
ところで、上述のように、標準精細度のビデオ信号用の符号化装置の設計の容易化に伴い、標準精細度のビデオ信号の圧縮が容易になり、今まで１チャンネル分しか伝送できなかった伝送路であっても、多チャンネル分のビデオ信号の伝送が可能になる。なお、この明細書において、「伝送」には、電波やケーブルによる放送や通信の他に、テープやディスクなどの記録媒体による記録再生をも含むものである。
【０００６】
多チャンネルのビデオ信号を伝送したときに、受信側では、モニター装置の表示画面を複数に分割し、その複数の分割領域に、それら多チャンネルのビデオ信号の復号化画像を、同時に、表示する態様が考えられる。このようにすれば、例えば現在放送されている番組として、どのようなものであるかをモニター画面から知ることができる。
【０００７】
単一の伝送路を通じて多チャンネルのビデオ信号を伝送する方法としては、多チャンネルの信号を時分割多重化して伝送する方法が一般であるが、前述のような態様で画面表示する場合には、受信側では、多チャンネルのビデオ信号を同期して伸長復号する必要がある。例えば、複数チャンネルのビデオデータで、時報の放送があったときに、それが同期されていないと、あるチャンネルと他のチャンネルとで、時報画面が時間的にずれて再生されるような事態が生じる。
【０００８】
しかしながら、前述した標準精細度のビデオ信号の圧縮方式として提案されているＭＰＥＧ方式などは、ビデオ信号を可変長符号化するものであるため、多重化信号は、複数の可変レート信号の多重化信号となり、同期復号は容易ではない。
【０００９】
すなわち、従来、この種の複数の可変レート信号の同期を取って復号あるいは再生をする場合には、例えばフレームシンクロナイザーなどの同期制御装置を前記複数の可変レート信号分、並列に設けておき、前記可変レート信号を一旦非同期で復号後に、前記フレームシンクロナイザーにより、各可変レート信号の時間情報から時間軸を修正する方法しかなかった。
【００１０】
しかし、このフレームシンクロナイザーを用いる方法では、折角、圧縮してビットレートを少なくしたはずの信号の同期復号を、伸長復号後に行なわなければならず、巨大メモリが必要になると共に、フレーム単位に時間情報を必要とする問題があった。
【００１１】
また、いわゆるハイビジョン方式などの高精細度テレビ放送が実用化の段階に入ってきている。このハイビジョンテレビ放送波についても、デジタル化して扱うことが考えられるが、ハイビジョンテレビ放送の高精細度のビデオ信号は、例えば、ＮＴＳＣ方式などの標準精細度のビデオ信号に比べて、約５倍の情報量を有する。
【００１２】
このため、ハイビジョンテレビ放送の高精細度ビデオ信号をそのまま圧縮符号化する場合には、標準精細度用の符号化装置より、さらに高速に符号化を行なう高価な高精細度用の符号化装置が必要となる。しかし、高精細度のビデオ信号を、１画面を例えば４等分以上の複数等分するようにして分割し、各分割画面についてのビデオ信号を圧縮符号化するようにすれば、標準精細度のビデオ信号の圧縮用ＩＣを用いて圧縮することが可能になる。
【００１３】
この場合には、受信側では各分割画面のビデオ信号は必ず同期して復号化して画面合成する必要があるが、前述したようにフレームシンクロナイザーを用いるものでは、各分割画面のデータについて時間情報を付加しなければならないと共に、巨大メモリが必要なため、受信側の装置が大きくなるため、このように、分割エンコードし、デコードする同期復号システムとして、高精細度用の独自のシステムが必要であった。
【００１４】
この発明は、以上の点にかんがみ、上述のような可変レートの複数の信号を多重化して伝送し、受信側で前記複数の信号を同期復号する場合に、非同期で復号化する必要がなく、簡単な構成で同期復号を行なうことが可能な方法およびシステムを提供することを目的とする。
【００１５】
また、この発明は、標準精細度のビデオ信号と、高精細度のビデオ信号との両方の圧縮符号化／復号化処理を可能にした伝送方法および伝送システムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
前記課題を解決するため、この発明による伝送方法は、
それぞれ可変レートの複数の信号を多重化して単一の伝送路を介して送受信する方法において、
送信側においては、
各可変レート信号に対して、それぞれの可変レート信号を規定の時間長単位で入力し、定レートで出力する仮想のバッファを想定し、
前記各可変レート信号のそれぞれについて、前記規定の時間長の先頭情報が、対応する仮想のバッファに書き込まれる直前のバッファ占有量Ｂｅから、前記各可変レート信号の前記規定の時間長の先頭情報が前記仮想のバッファから読み出されるまでの第１の時間、あるいは、前記仮想のバッファの最大格納情報量をＢとしたとき、情報量Ｂ−Ｂｅの情報を前記定レートで読み出すのに要する第２の時間を求め、
前記第１の時間、前記第２の時間または前記バッファ占有量Ｂｅの情報のうちの少なくとも一つを含むバッファ制御情報を前記多重化信号にさらに多重化して伝送し、
受信側においては、
前記各可変レート信号に対して、前記仮想のバッファと最大格納情報量が等しく、定レートで情報を出力する対のバッファを設け、
前記多重化信号から前記各可変レート信号および前記バッファ制御情報を分離し、
前記各可変レート信号のそれぞれは、対応する前記対のバッファの一方に前記規定の時間長単位で同時に書き込み、
この書き込んだ情報を当該バッファから定レートで前記第１の時間経過後に読み出して、前記対のバッファの他方に書き込み、当該対のバッファの他方から、前記第２の時間経過後に読み出して、前記複数の可変レート信号の前記規定の時間長単位の先頭位置の同期化を図ったことを特徴とする。
【００１７】
また、この発明による伝送システムは、
それぞれ可変レートの複数の信号を多重化して単一の伝送路を介して送受信する送信装置と、受信装置とからなる可変レート信の伝送システムにおいて、
前記送信装置は、
各可変レート信号に対して、それぞれの可変レート信号を規定の時間長単位で入力し、定レートで出力する仮想のバッファを想定し、前記各可変レート信号のそれぞれについて、前記規定の時間長の先頭情報が、対応する仮想のバッファに書き込まれる直前のバッファ占有量Ｂｅから、前記各可変レート信号の前記規定の時間長の先頭情報が前記仮想のバッファから読み出されるまでの第１の時間、あるいは、前記仮想のバッファの最大格納情報量をＢとしたとき、情報量Ｂ−Ｂｅの情報を前記定レートで読み出すのに要する第２の時間を求める手段と、
前記第１の時間、前記第２の時間または前記バッファ占有量Ｂｅの情報のうちの少なくとも一つを含むバッファ制御情報を前記多重化信号にさらに多重化する手段と
を備え、
前記受信装置は、
前記各可変レート信号に対して、前記仮想のバッファと最大格納情報量が等しく、定レートで情報を出力する対のバッファと、
前記多重化信号から前記各可変レート信号および前記バッファ制御情報を分離する手段と、
前記各可変レート信号のそれぞれは、対応する前記対のバッファの一方に前記規定の時間長単位で同時に書き込む書き込み手段と、
前記書き込み手段で書き込んだ情報を当該バッファから定レートで前記第１の時間経過後に読み出して、前記対のバッファの他方に書き込み、当該対のバッファの他方から、前記第２の時間経過後に読み出して、前記複数の可変レート信号の前記規定の時間長単位の先頭位置の同期化を図る手段と、
を備えることを特徴とする。
【００１８】
そして、前記可変レート信号が、画像情報が可変長圧縮符号化されたものである場合には、特に有効である。
【００１９】
上述のこの発明による伝送方法および伝送システムにおいて、第１の時間は、定レートで情報量Ｂｅの情報を読み出すときの時間であり、また、第２の時間は最大格納情報量Ｂのバッファから、定レートで情報量Ｂ−Ｂｅの情報を読み出す時間であり、第１の時間と第２の時間の合計は、バッファから情報量Ｂの情報を定レートで読み出すときの時間となり、一定となる。したがって、第１の時間あるいは第２の時間の一方が分かれば、他方の時間は算出可能である。また、仮想バッファの前記バッファ占有量Ｂｅが分かれば、バッファの最大格納情報量Ｂは既知であるので、時間ＤＬ１およびＤＬ２は演算により算出することができる。
【００２０】
そして、この発明による伝送方法および伝送システムの受信側においては、各可変レートの信号は、対のバッファの一方に、規定の時間長例えばフレーム単位に同時に書き込み、これを対のバッファの他方に第１の時間経過後に転送し、対のバッファの他方から第２の時間経過後に読み出すので、それぞれ、対のバッファの一方に同時に書き込まれた複数の可変レート信号は、第１の時間と第２の時間との和の時間、つまり一定の時間経過後に、対のバッファの他方から同時に読み出され、同期がとられる。
【００２１】
したがって、対のバッファの他方から読み出した情報を復号化部に入力するようにすれば、復号化部では、複数の信号について同期して復号化が行なわれる。つまり、一旦非同期で復号化した後、同期復号の処理を行なう必要はない。
【００２２】
そして、この発明による伝送方法および伝送システムによれば、各可変レート信号を１チャンネルの標準精細度のビデオ信号とすれば、複数チャンネル分の標準精細度のビデオ信号を多重化して伝送し、同期復号することができ、また、各可変レート信号を、高精細度のビデオ信号の画面分割信号とすれば、分割して伝送した１チャンネルの高精細度のビデオ信号を、受信側で同期復号することができる。
【００２３】
【発明の実施の形態】
以下、この発明による複数の可変レート信号の伝送方法および伝送システムの実施の一形態を、図を参照しながら説明する。以下に説明する実施の形態は、１チャンネルの高精細度のビデオ信号（以下、ＨＤビデオ信号という）と、複数チャンネルの標準精細度のビデオ信号（以下、ＳＤビデオ信号という）を、それぞれ画像圧縮符号化し、多重化して伝送し、受信側で同期復号するようにする場合で、図１は、この実施の形態の画像伝送システムの送信側の構成例であり、図２はその受信側の構成例を示すものである。
【００２４】
なお、以下に説明する実施の形態においては、画像圧縮符号化方式としてＭＰＥＧ１あるいはＭＰＥＧ２に準拠、またはそれらに近似する画像圧縮符号化方式を用いるものである。
【００２５】
そして、この実施の形態においては、ＨＤビデオ信号を符号化するときには、ＨＤビデオ信号を、その１画面を複数個に分割、例えば、縦方向に２等分また横方向に２等分して４分割した状態の分割画像の画像データに分割して、これら４個の分割画像データを、４個の情報量圧縮部のそれぞれにおいて圧縮符号化処理を行なうようにする。
【００２６】
すなわち、ＨＤビデオ信号を分割することで、各分割画像のデータ量をＳＤビデオ信号用の情報量圧縮部で圧縮符号化処理が可能な程度に少なくして、各分割画像のデータを、ＳＤビデオ信号用と同等の１つの情報量圧縮部で処理することができるようにしている。つまり、ＨＤビデオ信号であっても、ＳＤビデオ信号の符号化処理速度で、符号化処理を行なうことができるようにしている。
【００２７】
まず、図１を参照しながら、送信側について説明する。図１に示すように、この実施の形態においては、１チャンネルのＨＤビデオ信号と、ｎ（ｎは１以上の整数）チャンネルのＳＤビデオ信号を多重して伝送するようにしており、送信側システムは、１チャンネルのＨＤビデオ信号用のＡ／Ｄ変換器１と、ｎチャンネル分のＳＤビデオ信号用のＡ／Ｄ変換器Ａ１〜Ａｎと、ＨＤビデオ信号の分割処理部２と、ｎチャンネル分のＳＤビデオ信号の同期用のシンクロナイザ３と、圧縮符号化装置部４とを備え、圧縮符号化装置部４からの多重化した圧縮画像データは伝送路１０を介して受信側に伝送する。
【００２８】
Ａ／Ｄ変換器１は、これに供給されるアナログＨＤビデオ信号ＨＶを、このＨＤビデオ信号に応じた標本化周波数で標本化し、その標本値である画素サンプルをデジタル信号に変換した画素データとして、デジタルＨＤ画像データを形成する。形成されたデジタルＨＤ画像データは、分割処理部２に供給される。
【００２９】
分割処理部２は、デジタルＨＤ画像データを、１画面分（１フレーム分）のデータ単位で４分割する。すなわち、１画面を水平方向に２等分、垂直方向に２等分した、それぞれ１／４画面分の４つの分割ＨＤ画像データＨ１，Ｈ２，Ｈ３，Ｈ４に分ける。そして、分割処理部２は、４つの分割ＨＤ画像データＨ１，Ｈ２，Ｈ３，Ｈ４を同期化し、各フレーム単位の４つの分割画像データの先頭に、それぞれフレームヘッダと呼ばれる識別信号を付加して圧縮符号化装置部４に出力する。
【００３０】
一方、Ａ／Ｄ変換器Ａ１〜Ａｎは、これにアナログ信号として提供されるＳＤビデオ信号ＳＶ１〜ＳＶｎを、それに応じた標本化周波数で標本化し、その標本値である画素サンプルをデジタル信号に変換した画素データとして、デジタルＳＤ画像データＳ１〜Ｓｎを形成する。これらのＡ／Ｄ変換器Ａ１〜ＡｎからのデジタルＳＤ画像データＳ１〜Ｓｎは、シンクロナイザ３に供給される。
【００３１】
シンクロナイザ３は、これに入力されたｎチャンネルのＳＤ画像データＳ１〜Ｓｎについて、フレーム単位の同期化を行ない、各フレームの先頭にフレームヘッダを付加する。そして、シンクロナイザー３は、同期化し、フレームヘッダを付加した各チャンネルのＳＤ画像データＳ１〜Ｓｎを圧縮符号化装置部４に出力する。
【００３２】
圧縮符号化装置部４は、ｍ（ｍ＝ｎ＋４）個の情報量圧縮部ＣＭＰ１〜ＣＭＰｍと、ｍ個の可変長符号化部ＥＰ１〜ＥＰｍと、多重化バス４１と、定レート化バッファ４２と、ビットレート割り当ておよび多重化コントロール部４３（以下コントロール部４３と略称する）と、多重化タイミング信号発生部４４とを備える。
【００３３】
ｍ個の情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、同一の圧縮アルゴリズムで動作するもので、基本的に同じ構成を有するものである。ｍ個の情報量圧縮部ＣＭＰ１〜ＣＭＰｍのうちのＣＭＰ１〜ＣＭＰ４のそれぞれには、分割処理部２からの分割ＨＤ画像データＨ１〜Ｈ４がそれぞれ入力され、また、ＣＭＰ５〜ＣＭＰｍのそれぞれには、シンクロナイザー３からのＳＤ画像データＳ１〜Ｓｎがそれぞれ入力される。
【００３４】
この実施の形態の場合、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれは、入力画像データの時間方向の冗長度を削減するための処理の例としての動き補償や、画像データの空間方向の冗長度を削減するための処理の例としての直交変換や、直交変換により得られた変換係数を、小さい値で表現し、符号量を減らす量子化処理を行なう。
【００３５】
この場合、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれは、直交変換のために、例えばＤＣＴ（離散コサイン変換）演算を行ない、また、動き補償のため、動き検出（動きベクトルの検出と差分の検出）を行なうが、これらの演算は、１フレームのビデオ信号を小ブロックに分けて、実行する。
【００３６】
すなわち、この例では、図３に示すように、１画面を水平方向の８画素、垂直方向の８画素の合計６４画素からなる画像領域単位のブロックに分割する。以下、この画像領域単位のブロックを、単にブロックと呼ぶ。
【００３７】
そして、図３に示すように、輝度成分についての互いに隣接する４ブロック分（水平×垂直＝１６画素×１６画素＝２５６画素）の領域をマクロブロックと称する。このマクロブロックには、２種の色差信号成分Ｃｂ，Ｃｒについてのそれぞれ１ブロック分の情報を含む。そして、このマクロブロックの複数個からなるデータ群をスライスと呼び、複数のスライスにより１フレームの画像データが構成されるようにする。
【００３８】
ＤＣＴ演算は、ブロック単位毎に行ない、演算により入力データを各周波数成分毎のＤＣＴ係数に変換する。この場合、ＤＣＴ演算を行なう対象データとしては２種類ある。
【００３９】
すなわち、処理対象フレームが、１画面分の画像データをそのまま圧縮処理するいわゆるイントラフレームの場合には、６４個の画素データからなるブロック単位の画像データをそれぞれＤＣＴ演算する。また、処理対象フレームが、当該フレームと、その前フレームまたは後フレームあるいは前後の両フレームとの間で動きを検出して、その検出した動きに応じた情報を圧縮処理するようにするいわゆるインターフレームの場合には、ブロック単位の前後のフレームの対応するブロックとの差分をＤＣＴ演算する。
【００４０】
このため、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれでは、処理対象フレームがインターフレームであるときには、その前後のフレームを用いた動き検出を行なう。この動き検出は、マクロブロック単位の動きベクトルの検出と、ブロック単位の差分の検出とを含む。
【００４１】
情報量圧縮部ＣＭＰ１〜ＣＭＰｍでは、以上のようにして得たＤＣＴ係数の量子化を行なう。この量子化の際に、情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、これにコントロール部４３から供給されるビットレート制御信号ｄ１〜ｄｍに基づいて、例えば、量子化マトリクスと量子化スケールを定め、各係数についての量子化ステップを決定して量子化を実行し、情報量を圧縮する。ビットレート制御信号ｄ１〜ｄｍは、単位時間、この場合には、１フレーム当たりの目標ビットレートを示すものである。
【００４２】
情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、また、この制御信号ｄ１〜ｄｍに基づいて、マクロブロック単位で、イントラ符号化するか、インター符号化するかの制御も行なう。これにより、発生符号量の制御が行なわれる。
【００４３】
量子化マトリクスは、人間の視覚特性上の画像についての空間周波数ごとの量子化感度の違いを利用した効率的な符号化を実現するために用いられるもので、この例では、ブロック単位でＤＣＴ演算されて得られたＤＣＴ係数に対応して設定される値のテーブルである。この量子化マトリクスの各値は、ＤＣＴ係数のそれぞれについて、いわば第１段階の量子化をするための係数である。この量子化マトリクスは、何種類か用意されており、制御信号ｄ１〜ｄｍにより画像の性質によって、例えばフレームごとに切り換えることが可能である。
【００４４】
量子化スケールは、最終的な量子化ステップの幅を決定するためのパラメータで、制御信号ｄ１〜ｄｍにより、マクロブロック単位で変えることができる。この量子化スケールの値は、後述するように、可変長符号化部ＥＰ１〜ＥＰｍからの符号発生量の情報ｇ１〜ｇｍに基づいて、コントロール部４３が決定し、制御信号ｄ１〜ｄｍに含めて情報量圧縮部ＣＭＰ１〜ＣＭＰｍに供給する。
【００４５】
各情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、以上のようにして圧縮したデータｅ１〜ｅｍを、可変長符号化部ＥＰ１〜ＥＰｍに、それぞれ供給する。
【００４６】
可変長符号化部ＥＰ１〜ＥＰｍもまた同一の構成を有するもので、情報量圧縮部ＣＭＰ１〜ＣＭＰｍからの量子化されたＤＣＴ係数を、ハフマン符号化や算術符号化などの可変長符号化の処理を行ない、さらに情報圧縮する。この可変長符号化部ＥＰ１〜ＥＰｍからは、単位フレーム時間当たり可変の情報量を持つ可変レートの信号ｋ１〜ｋｍが得られる。
【００４７】
可変長符号化部ＥＰ１〜ＥＰｍのそれぞれは、また、マクロブロック単位で発生符号量を演算し、その情報ｇ１〜ｇｍを、コントロール部４３に送ると共に、それぞれ情報量圧縮部ＣＭＰ１〜ＣＭＰｍに送る。
【００４８】
そして、コントロール部４３は、これらの発生符号量の情報ｇ１〜ｇｍに基づいて前記制御信号ｄ１〜ｄｍをそれぞれ生成し、情報量圧縮部ＣＭＰ１〜ＣＭＰｍにそれぞれ供給する。情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれは、前述したように、マクロブロック単位のイントラ符号化モード、インター符号化モードのモード切換や、量子化マトリクス、量子化スケールを制御して発生符号量を制御する。このように量子化スケール等が制御されることにより、発生符号量が、伝送容量に対して多すぎたり、また、少なすぎることがなくて、いわゆるＧＯＰ（グループ・オブ・ピクチャ）と呼ばれる複数フレーム単位で見たときに、ほぼ一定レートの符号量となるように制御する。
【００４９】
また、コントロール部４３からは、マクロブロック単位の発生符号量の情報ｇ１〜ｇｍのそれぞれを加算して得たスライス単位の発生符号量の情報ｓ１〜ｓｍが、多重化タイミング信号発生部４４に供給される。多重化タイミング信号発生部４４は、このスライス単位の発生符号量の情報ｓ１〜ｓｍから、それらにリニアに対応した時間幅分だけの各タイミング信号ｊ１〜ｊｍを、可変長符号化部ＥＰ１〜ＥＰｍの出力データｋ１〜ｋｍの多重化の順番に基づいて生成する。
【００５０】
そして、多重化タイミング信号発生部４４は、これらタイミング信号ｊ１〜ｊｍを、それぞれ可変長符号化部ＥＰ１〜ＥＰｍのそれぞれに供給する。可変長符号化部ＥＰ１〜ＥＰｍのそれぞれからは、タイミング信号ｊ１〜ｊｍに基づいて可変レート信号が読み出され、多重化バス４１に出力される。そして、各可変レート信号ｋ１〜ｋｍは、定レート化バッファ４２に順次に書き込まれ、マルチプレックスされて多重化される。
【００５１】
定レート化バッファ４２は、可変レートで書き込まれて多重化された可変長ビット信号を、一定レートで読み出し、伝送路１０に対して出力する。なお、後述するように、複数の可変レートの信号を受信側でデコードする際、同期してデコードするための情報（同期復号の制御情報＝バッファ制御情報）が、コントロール部４３から定レート化バッファ４２に供給されて、同様に伝送データ中に多重化される。
【００５２】
なお、圧縮符号化され、多重化されたビット列には、復号時、各可変レート信号のフレームに相当するビットの先頭位置や、デコーダでの同期復号処理のためのバッファコントロールに必要な情報（以下、バッファ制御情報という）の位置が検出でき、分離できるようにするため、ヘッダ情報が多重化される。このヘッダ情報は、ＭＰＥＧのユーザービットのエリアが用いられる。
【００５３】
定レート化バッファ４２からの圧縮されたビット系列の例を図４に示す。すなわち、図４の例では、ヘッダ情報１は、バッファ制御情報の前に挿入される。そして、ヘッダ情報２、ヘッダ情報３、…、ヘッダ情報ｍ＋１は、それぞれ可変長符号化部ＥＰ１〜ＥＰｍからの可変レートのデータｋ１〜ｋｍのフレームの先頭データに対応する圧縮データの直前に挿入される。
【００５４】
次に、受信側でデコードする際に使用する同期復号処理のためのバッファ制御情報について説明する。すなわち、この場合、同期復号を可能にするために、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれでは、以下の制御を行なう。
【００５５】
図５は、図１のうちの一つの情報量圧縮部、例えば情報量圧縮部ＣＭＰ１およびその出力情報を可変長符号化する可変長符号化部ＥＰ１の部分を、より詳細に説明するための図であり、以下、この図５を参照して同期復号処理のためのバッファ制御情報の生成および伝送について説明する。なお、他の情報量圧縮部ＣＭＰ２〜ＣＭＰｍも、これと同様に構成されることは、前述もした通りである。
【００５６】
情報量圧縮部ＣＭＰ１は、ＤＣＴ変換および量子化を行なう情報量圧縮手段５１と、コントローラ５２とを備えている。また、可変長符号化部ＥＰ１は、可変長符号化手段５３と、遅延バッファ５４とを備えている。
【００５７】
情報量圧縮部ＣＭＰ１のコントローラ５２には、可変長符号化部ＥＰ１の可変長符号化手段５３からの発生符号量の情報ｇ１が供給されると共に、コントロール部４３からの制御信号ｄ１が供給されている。この制御信号ｄ１は、単位時間、この場合には、１フレーム当たりの目標ビットレートを示すものであり、コントローラ５２は、発生符号量ｇ１と制御信号ｄ１とから情報量圧縮手段５１での圧縮量を制御するための圧縮制御信号ｔ１を生成する。
【００５８】
他の信号Ｈ２〜Ｈ３や信号Ｓ１〜Ｓｎと同期している信号Ｈ１は、情報量圧縮手段５１に供給される。この情報量圧縮手段５１では、コントローラ５２からの圧縮制御情報ｔ１に基づいて圧縮が行なわれる。
【００５９】
この情報量圧縮手段５１での圧縮処理により、信号Ｈ１の情報量は削減されるが、この情報量圧縮手段５１の出力データｅ１の符号長は、等長符号であるので、入力Ｈ１と同じで、他の情報量圧縮部ＣＭＰ２〜ＣＭＰｍの出力データｅ２〜ｅｍとフレーム同期およびその中のビット同期まで保持している。前述したように、出力データｅ１は、可変長符号化部ＥＰ１の可変長符号化手段５３で可変長符号化が行なわれ、可変長符号となる。
【００６０】
このとき、可変長符号化手段５３は、入力マクロブロックに対応する発生符号量データｇ１をコントローラ５２に与える。また、同時に、実際の可変長符号であるデータｋ１を多重化のための遅延バッファ５４に書き込む。
【００６１】
可変長符号化手段５３の１フレーム当たりの出力は１フレーム内で全部出力されるので、フレームの先頭における同期は保たれているが、その後に続くビット同期は、他の可変長符号化部ＥＰ２〜ＥＰｍの出力データｋ２〜ｋｍは符号長が互いに異なっているので、崩れている。
【００６２】
コントローラ５２は、受信側の同期復号処理のためのバッファ制御情報を生成するために、図５に示すように、仮想バッファ６０をソフトウエアで想定し、シミュレーションする。仮想バッファではなく、実際にバッファをハードウエアで構成してもよいが、その場合には、後述するバッファ占有量Ｂｅのみをモニターするのに用いられるだけである。
【００６３】
仮想バッファ６０のバッファサイズＢ［ビット］は、後述する受信側の復号化部で多重データを分離するデ・マルチプレックスした後に使用される対の子バッファ１０６Ｂ１〜１０６Ｂｍおよび子バッファ１０７Ｂ１〜１０７Ｂｍと同一のサイズに設定されている。
【００６４】
この仮想バッファ６０には、フレームレートＰ［フレーム／秒］で、１フレーム内にｄｅビットの可変レートの可変長符号の情報ｋ１が書き込まれ、その書き込まれたデータが、いわゆるファースト・イン・ファースト・アウトの要領で一定レートＲ［ビット／秒］で読み出される。
【００６５】
１フレームの可変長符号化が終り、その発生符号量ｄｅビットが既知となった時点（次のフレームのスタート時点）において、仮想バッファ６０に読み出されずに残っている符号の量（この符号の量をバッファ占有量という）Ｂｅ［ビット］を、コントローラ５２は算出する。そして、コントローラ５２は、その結果、以下の計算を行なう。
【００６６】
すなわち、フレームレートをＰ、仮想バッファ６０のオーバーフローの予防対策としてのヘッドルームをα［ビット］とすると、
Ｒ／Ｐ≦Ｂｅ＋ｄｅ−Ｒ／Ｐ≦Ｂ−α［ビット／フレーム］ …（１）
の関係が成立しているか否かを検証する。不等式（１）の左側は、仮想バッファ６０のアンダーフローリミットであり、右側はオーバーフローリミットである。
【００６７】
コントローラ５２での検証の結果、左側の不等式が成立しない場合には、受信側のデコード時に、前述した子バッファ１０６Ｂ１〜１０６Ｂｍでアンダーフローが発生するおそれがある。この場合には、式（１）の左側の不等式を変形した
２Ｒ／Ｐ−Ｂｅ≦ｄｅ［ビット／フレーム］ …（２）
を成立させるように、
２Ｒ／Ｐ−Ｂｅ−ｄｅ［ビット］ …（３）
のデータが新たに不等式（２）の右辺に発生したとして、このデータを可変長符号に付加することにより、アンダーフローを回避することができる。
【００６８】
この仮想バッファ６０、したがって、子バッファ１０６Ｂ１〜１０６Ｂｍがアンダーフローしないように付加された本来の可変長符号とは別のデータをダミーデータと呼び、通常、ゼロのデータとする。このダミーデータは、伝送データに多重して伝送すると、伝送レートを下げることなるので、この実施の形態では、「ダミーデータの数」の情報を同期復号のためのバッファ制御情報に含めて多重化して伝送し、実際のダミーデータは受信側で発生させるようにしている。
【００６９】
次に、不等式（１）の右側の不等号を満たさない場合には、つまり、オーバーフローの生じる場合には、子バッファ１０６Ｂ１〜１０６Ｂｍでオーバーフローを生じてデコードできなくなる可能性が発生する。そこで、この実施の形態では、コントローラ５２からの圧縮制御情報ｔ１を制御して、次のフレームでの発生符号量ｄｅを減らす措置をとる。
【００７０】
前述したヘッドルームαの存在のため、オーバーフローが子バッファ１０６Ｂ１〜１０６Ｂｍで免れている場合のあることを想定して、次のフレームの発生符号量を減らすことで、実際のオーバーフローの発生を防止するようにしている。
【００７１】
このときに、信号ｋ１について、フレームヘッダが仮想バッファ６０に入ってから出て行くまでの時間ＤＬ１は、フレームヘッダが入力する直前のバッファ占有量Ｂｅから、以下の式
ＤＬ１＝Ｂｅ／Ｒ［秒］ …（４）
にて算出することができる。
【００７２】
また、仮想バッファ６０のサイズは定まった値Ｂ［ビット］であるので、
ＤＬ２＝（Ｂ−Ｂｅ）／Ｒ［秒］ …（５）
で表される時間ＤＬ２と、前述の時間ＤＬ１との和は一定のＢ／Ｒ［秒］となる。すなわち、
ＤＬ１＋ＤＬ２＝Ｂ／Ｒ［秒］ …（６）
となる。
【００７３】
そこで、後述するように、受信側に、仮想バッファ６０に対応させて、これと同一サイズＢの子バッファ１０６Ｂ１〜１０６Ｂｍを、各信号ｋ１〜ｋｍに対して設けると共に、この子バッファ１０６Ｂ１〜１０６Ｂｍと対の子バッファ１０７Ｂ１〜１０７Ｂｍを、それぞれ設ける。
【００７４】
フレームヘッダからフレームの先頭はデコード側で検知可能であるので、データｋ１〜ｋｍを、フレームヘッダから、子バッファ１０６Ｂ１〜１０６Ｂｍに書き込み、それぞれの信号についての仮想バッファにより求めた前述の時間ＤＬ１後に、当該子バッファ１０６Ｂ１〜１０６Ｂｍからそれぞれの信号の読み出しを定レートＲで行ない、対のバッファ１０７Ｂ１〜１０７Ｂｍに書き込む。そして、前述の時間ＤＬ２に対のバッファ１０７Ｂ１〜１０７Ｂｍからそれぞれのデータを読み出すと、すべてのデータｋ１〜ｋｍは、子バッファ１０６Ｂ１〜１０６Ｂｍに書き込まれたときから、一定時間Ｂ／Ｒ後に、子バッファ１０７Ｂ１〜１０７Ｂｍから読み出される。つまり、ｍ個の可変レート信号の同期化ができ、子バッファ１０７Ｂ１〜１０７Ｂｍから読み出したデータを復号化部に供給するようにすれば、同期復号が実現できる。
【００７５】
したがって、前記の時間ＤＬ１およびＤＬ２の情報を、伝送情報に多重化して受信側に伝送すればよいが、前述したように、ＤＬ１＋ＤＬ２＝一定であるので、いずれか一方の時間情報を伝送すれば、他方は演算により求めることができるので、時間ＤＬ１のみの情報を多重化して伝送するようにしてもよい。また、バッファ占有量Ｂｅが分かれば、式（４）から時間ＤＬ１が、式（５）から時間ＤＬ２が、それぞれ算出できる。したがって、時間ＤＬ１，ＤＬ２，バッファ占有量Ｂｅのうち、少なくとも一つの情報をバッファ制御情報に含めて伝送刷ればよい。
【００７６】
この実施の形態では、コントローラ５２は、仮想バッファ６０の入力データｋ１に対する前述した時間ＤＬ１と、必要なダミーデータの個数と、また、バッファ占有量Ｂｅとからなるバッファ制御情報ｙ１をコントロール部４３に送る。コントロール部４３は、このバッファ制御情報ｙ１だけでなく、他の情報量圧縮部ＣＭＰ２〜ＣＭＰｍのそれぞれからの、時間ＤＬ１、必要なダミーデータの個数、バッファ占有量Ｂｅからなるバッファ制御情報ｙ２〜ｙｍを受取り、それぞれが受信側で区別可能な態様で、かつ、前述の図４に示したように、ヘッダ情報１を用いることにより、可変レートの信号と分離可能な態様で、定レート化バッファ４２に供給して、伝送情報に多重化する。
【００７７】
また、この実施の形態の場合、各情報量圧縮部ＣＭＰ１〜ＣＭＰｍのコントローラ５２は、マクロブロック単位の発生符号量の情報ｇ１〜ｇｍを加算して、スライス単位の発生符号量の情報ｓ１〜ｓｍを求める処理も行ない、これらスライス単位の発生符号量の情報ｓ１〜ｓｍをコントロール部４３に供給するようにしている。
【００７８】
コントロール部４３は、このスライス単位の各信号の符号発生量の情報ｓ１〜ｓｍを多重化タイミング信号発生部４４に送る。多重化タイミング信号発生部４４では、それらスライス単位にリニアに対応した時間幅分だけの各タイミング信号ｊ１〜ｊｍを生成する。そして、これらタイミング信号ｊ１〜ｊｍを各可変長符号化部ＥＰ１〜ＥＰｍの遅延バッファ５４に送り、データｋ１〜ｋｍを読み出すことで、定レート化バッファ４２において、前述したように、各信号ｋ１〜ｋｍのマルチプレックスによる多重化を実現する。
【００７９】
次に、図２に示した受信側の構成について説明する。すなわち、伝送路１０を通じて伝送された多重化データは、復号化装置部１００に供給される。
【００８０】
復号化装置部１００は、ｍ個の可変レート信号を復号化するために、ｍ個の可変長復号化部１１０Ｄ１〜１１０Ｄｍと、伸長復号化部１２０Ｄ１〜１２０Ｄｍを備える。そして、ｍ個の可変長復号化部１１０Ｄ１〜１１０Ｄｍのそれぞれの前段に、複数個のバッファが設けられる。
【００８１】
すなわち、受信した多重データを一旦格納するための親バッファ１０２と、多重データからそれぞれの信号ｋ１〜ｋｍを分離するために用いられるｍ個のデ・マルチプレックス用バッファＤＭ１〜ＤＭｍと、ｍ個の信号ｋ１〜ｋｍのそれぞれに対して設けられる前述した対の子バッファ１０６Ｂ１〜１０６Ｂｍおよび１０７Ｂ１〜１０７Ｂｍとが設けられる。
【００８２】
この場合、子バッファ１０６Ｂ１〜１０６Ｂｍは、仮想バッファ６０のそれぞれに対応するもので、以下、エンコーダ子バッファと呼ぶ。また、子バッファ１０７Ｂ１〜１０７Ｂｍは、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍと対をなすものであり、それぞれその出力データをそれぞれ可変長復号化部１１０Ｄ１〜１１０Ｄｍに供給するもので、以下、デコーダ子バッファと呼ぶ。これら子バッファ１０６Ｂ１〜１０６Ｂｍおよび１０７Ｂ１〜１０７Ｂｍのそれぞれのバッファサイズは、前述したように、仮想バッファ６０のサイズＢに等しい。
【００８３】
この場合、各バッファとしては、入力と出力とが同時に行なわれる構成を取るデュアルポートＲＡＭやＦＩＦＯ（ファースト・イン・ファースト・アウト）形式のメモリが用いられる。
【００８４】
親バッファ１０２を制御するために、親バッファコントローラ１０３が設けられ、対の子バッファ１０６Ｂ１〜１０６Ｂｍおよび１０７Ｂ１〜１０７Ｂｍを制御するために、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍが設けられる。
【００８５】
その他、復号化装置部１００は、ヘッダ情報検出部１０１と、子バッファ制御情報抽出部１０４と、ダミー詰め処理部１０５を有する。
【００８６】
以下に、図６およびその続きである図７のタイミングチャートを参照しながら、復号化装置部１００の処理動作を説明する。なお、図６および図７では、簡単のため、可変レート信号は、ｋ１〜ｋ３の３系統であるとして示している。
【００８７】
伝送路１０を通ってきた圧縮ビット系列である多重化データは、ヘッダ情報検出部１０１に入力され、このヘッダ情報検出部１０１において、ヘッダ情報１、ヘッダ情報２、…の位置ｒが検出される。この位置ｒの情報は、親バッファコントローラ１０３に供給されると共に、子バッファ制御情報抽出部１０４に供給される。
【００８８】
そして、位置ｒの情報により子バッファ制御情報抽出部１０４では、圧縮ビット系列からヘッダ情報１およびバッファ制御情報ｙ１〜〜ｙｍを抽出する。
【００８９】
また、圧縮ビット系列は親バッファコントローラ１０３によって、親バッファ１０２に定レートＣ’で書き込まれる（図６Ａ参照）。この書き込みの際に、親バッファコントローラ１０３は、ヘッダ情報検出部１０１で検出された位置ｒにより書き込まれた各信号ｋ１〜ｋｍの親バッファのアドレスｑ１〜ｑｍを記憶しておく。このアドレスｑ１〜ｑｍは、各信号ｋ１〜ｋｍのフレームの先頭を示すヘッダのアドレスである（図６Ｂ参照）。
【００９０】
その後、親バッファ１０２のアドレスｑ１〜ｑｍから、それぞれフレーム単位に、ファースト・イン・ファースト・アウトの順番で、高速レートＣ”でバースト的に、ヘッダ情報と圧縮データｋ１〜ｋｍを読み出す（図６ＣおよびＤ参照）。なお、図６Ｅおよび図７Ｅはフレームパルスである。
【００９１】
この出力データは、送信側の多重化されたデータｋ１〜ｋｍに対応し、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍでは、親バッファ１０２の読み出しアドレス、また、読み出しクロックのカウント値πを前述のアドレスｑ１〜ｑｍと比較することにより、信号ｋ１〜ｋｍのデータ種別を識別して、自分が制御するバッファに書かれるべき情報のみを信号ｋ１〜ｋｍから分離して、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍのそれぞれに入力する（図６、図７Ｆ，Ｇ，Ｈ）。
【００９２】
この際、ダミー詰め処理部１０５は、バッファ制御情報抽出部１０４で抽出したバッファ制御情報ｙｙ１〜ｙｍの中から、各バッファのフレーム単位のダミーデータの個数の情報を受け取り、バッファＤＭ１〜ＤＭｍにおいて、各子バッファ１０６Ｂ１〜１０６Ｂｍに対応するデータについて指定された個数のダミーデータを書く。これにより、後のバッファ処理において、アンダーフローが生じないようになる。
【００９３】
可変長符号復号化部１１０Ｄ１〜１１０Ｄｍで各圧縮データを同時デコーダするようにするために、この実施の形態においては、前述もしたように、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍのそれぞれに各圧縮データを同時に書き込んだ後、時間ＤＬ１後に、定レートＲで読み出してデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに書き込み、さらに時間ＤＬ２後に、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍから読み出すようにする。
【００９４】
この処理動作を実現するために、まず、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍで１フレームの遅延をかける。そして、次のフレームパルス（図６、図７Ｅ参照）のタイミングで、これらデ・マルチプレックス用バッファＤＭ１〜ＤＭｍから同時に、高速レートＣ”で各フレーム単位の圧縮データを読み出す（図７Ｉ，Ｊ，Ｋ参照）。
【００９５】
その際に、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍの出力データｋ１’〜ｋｍ’を、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに、符号化装置部４側で多重した、データｋ１’〜ｋｍ’のそれぞれについての時間ＤＬ１が実現できるように、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍが書き込みアドレスを制御して書き込む。
【００９６】
そして、同時に、ファースト・イン・ファースト・アウトの方法で、このエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍから、符号化装置部４側で仮想バッファ６０によりシミュレートした定出力レートＲでデータｋ１”〜ｋｍ”を読み出す。読み出されたデータｋ１”〜ｋｍ”は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに定レートＲで書き込む。このとき、前述のエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍへの書き込みアドレス制御により、データｋ１”〜ｋｍ”は、それぞれそのフレームヘッダが、時間ＤＬ１後からデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに書き込まれるようになる（図７Ｌ参照）。
【００９７】
すなわち、例えば図８（ａ）に示すように、今、最初のフレームヘッダをエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに書き始める時点を０（秒）とすると、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍのそれぞれは、その時点でのエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍのバッファ占有量を、それぞれ対応する時間ＤＬ１から逆算して前記Ｂｅにして、ヘッダと圧縮データをそれぞれエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに書き込む。
【００９８】
同時に、定レートＲで、かつ、ファースト・イン・ファースト・アウトの方法で、読み出して、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに書き込む。このとき、バッファ占有量Ｂｅの分のアドレスには、データは存在せず、この部分はいわゆる空読みの状態となる。
【００９９】
このようにすれば、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから同時に読み出されてエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに書き込まれたデータｋ１’〜ｋｍ’のそれぞれのフレームヘッダが読み出されるのは、当該バッファ１０６Ｂ１〜１０６Ｂｍに残っているＢｅビット分のデータが読み出されるべき時間Ｂｅ／Ｒ（秒）（＝ＤＬ１）経過した後である。
【０１００】
したがって、図８（ｂ）に示すように、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから、同時に読み出された出力データｋ１’〜ｋｍ’は、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍを通じて、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれには、Ｂｅ／Ｒ（秒）（＝ＤＬ１）経過した後から書き込まれることになる（図７Ｌ参照）。このフレームヘッダが書き込まれるときのデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのバッファ占有量は零である。
【０１０１】
ここで、それぞれのデータｋ１’〜ｋｍ’のフレームの先頭を示すフレームヘッダが、バッファ１０６Ｂ１〜１０６Ｂｍに書かれてから、これがバッファ１０６Ｂ１〜１０６Ｂｍから読み出され、バッファ１０７Ｂ１〜１０７Ｂｍに書き込まれるまでの時間（ＤＬ１）は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍの各々で異なる。
【０１０２】
そして、このデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれには、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍによる制御により、データｋ１”〜ｋｍ”のそれぞれについての時間ＤＬ２（＝（Ｂ−Ｂｅ）／Ｒ秒）まで、さらにデータが蓄積され、バッファ占有量がＢ−Ｂｅビット分になると、バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれに蓄えられているデータ中の最も時間的に古いフレームの圧縮データｄｅビット分をバースト的に高速に読み出す（図７Ｍおよび図８（ｃ）参照。なお、図８（ｃ’）はバースト的に読み出された後のバッファ１０７Ｂ１〜１０７Ｂｍの残りデータを示すものである）。
【０１０３】
したがって、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから、同時に読み出された出力データｋ１’〜ｋｍ’は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれには、ＤＬ１（＝Ｂｅ／Ｒ）秒、経過した後から書き込まれ、さらに、ＤＬ２（＝（Ｂ−Ｂｅ）／Ｒ）秒、経過後から読み出されることになる。その結果、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから、同時に読み出された出力データｋ１’〜ｋｍ’は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれからは、ＤＬ１＋ＤＬ２＝Ｂ／Ｒ（一定）なる等しい時間経過後に、同期して読み出されるものである。
【０１０４】
そして、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれから同期して読み出されたデータ、それぞれ可変長符号復号化部１１０Ｄ１〜１１０Ｄｍおよび伸長復号化部１２０Ｄ１〜１２０Ｄｍに、順次供給されて、同期して復号化される。
【０１０５】
その次以降のフレーム単位のデータは、子バッファ１０６Ｂ１〜１０６Ｂｍから、フレームレートＰ単位に、子バッファ１０６Ｂ１〜１０６Ｂｍから定レートＲで読み出し、子バッファ１０７Ｂ１〜１０７Ｂｍに転送することで、フレーム単位での子バッファ１０６Ｂ１〜１０６Ｂｍの入力時点から、子バッファ１０７Ｂ１〜１０７Ｂｍの出力時点までの時間を、Ｂ／Ｒ（秒）の一定時間とすることができ、その後のフレーム単位での同期復号も可能となる。
【０１０６】
すなわち、最初のフレームデータを子バッファ１０７Ｂ１〜１０７Ｂｍから取った後、１／Ｐ秒後に次のフレームのデータを子バッファ１０６Ｂ１〜１０６Ｂｍから抜き出さなければならない。
【０１０７】
次のフレームのデータがエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍから読み出される時間は、これがバッファ１０６Ｂ１〜１０６Ｂｍに書き込まれてから時間ＤＬ１’＝Ｂｅ’／Ｒ（秒）だけ経過した時点である。
【０１０８】
次のフレームがエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに入った時のバッファ占有量Ｂｅ’は、
Ｂｅ’＝Ｂｅ＋ｄｅ−Ｒ／Ｐ
である。
【０１０９】
図８には示されていないが、次のフレームのヘッダがデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに入力する時のこれら子バッファ１０７Ｂ１〜１０７Ｂｍの占有量はｄｅ（前フレームの符号発生量）であるが、この値は、図８（ｃ）の時点でバースト的に引き出されているので、Ｂ／Ｒ＋１／Ｐ（秒）後の時点である図８（ｄ）における子バッファ１０７Ｂ１〜１０７Ｂｍの占有量は、
Ｂ−Ｂｅ−ｄｅ＋Ｒ／Ｐ＝Ｂ−（Ｂｅ＋ｄｅ−Ｒ／Ｐ）＝Ｂ−Ｂｅ’
である。
【０１１０】
この値Ｂ−Ｂｅ’まで子バッファ１０７Ｂ１〜１０７Ｂｍにデータが溜まるのにかかった時間は、ＤＬ２’＝（Ｂ−Ｂｅ’）／Ｒであるので、
ＤＬ１’＋ＤＬ２’＝（Ｂｅ’／Ｒ）＋（Ｂ−Ｂｅ’）／Ｒ＝Ｂ／Ｒ
となり、次のフレーム以降のフレームにおいても、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに入力してから、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍから読み出されるまでの時間遅れは、Ｂ／Ｒで一定となり、複数の可変レート信号を同期して復号化することができる。
【０１１１】
したがって、高精細度ビデオ信号の場合には、その１画面分を分割して可変長符号化し、多重化して伝送したものを、デコーダ側で容易に同期伸長復号化して、元の１画面のビデオデータを復元することができる。
【０１１２】
また、標準精細度のビデオ信号の場合には、複数チャンネル分のビデオデータをそれぞれ可変長符号化し、多重化して伝送したものを、それら複数チャンネルのビデオデータを同期して復号化することができるので、各チャンネルで時間遅れが生じるようなことがない。例えば、複数チャンネルのビデオデータで、時報の放送があったときに、それが同期されているので、あるチャンネルと他のチャンネルとで、時報画面が時間的にずれて再生されるようなことはない。
【０１１３】
なお、この実施の形態では、上述したように、同期復号のためのバッファ制御情報ｙ１〜ｙｍは、マルチプレックス後の定レート化バッファ４２に、書き込むことにより多重化を行なうようにしたが、これらの情報ｙ１〜ｙｍのそれぞれを遅延バッファ５４に書き込んで多重化する構成であってもよい。
【０１１４】
また、上述の実施の形態では、フレーム単位に時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅの情報を多重化するようにしたが、上述したように、最初のフレームのデータについての時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅにより、当該最初のフレームのデータの同期復号ができ、その後は、フレームレートＰで（１／Ｐ秒に）、次のフレームのデータを子バッファ１０７Ｂ１〜１０７Ｂｍから読み出すようにすればよいので、各信号の最初のフレームのデータについてのみ、時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅの情報を多重化するようにしてもよい。
【０１１５】
もちろん、すべてのフレームのデータについての時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅを用いて子バッファ１０６Ｂ１〜１０６Ｂｍへの前述した書き込みアドレスの制御および子バッファ１０７Ｂ１〜１０７Ｂｍへの転送タイミングを制御を行うようにしてもよい。
【０１１６】
なお、時間ＤＬ１、時間ＤＬ２、バッファ占有量Ｂｅの３つの情報は、バッファ６０、１０６Ｂ１〜１０６Ｂｍ、１０７Ｂ１〜１０７Ｂｍの最大容量Ｂが定まっているので、いずれか一つの情報があれば、他の２つの情報は演算により求めることができるので、多重して伝送する情報は、時間ＤＬ１、時間ＤＬ２、バッファ占有量Ｂｅの３つの情報の内の少なくとも一つの情報でよい。
【０１１７】
また、以上の実施の形態では、受信側の画像復号化部では、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍ、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍおよびデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍというバッファ構成により、同期復号を実現したが、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍと同等のバッファへの書き込み遅延時間ＤＬ１と、読み出し遅延時間ＤＬ２とを実現できる構成であれば、他の構成をも取り得るものである。
【０１１８】
【発明の効果】
以上説明したように、この発明によれば、フレームシンクロナイザーをなどを用いることなく、複数系統の画像データをそれぞれ可変長圧縮符号化した複数の可変レート信号を、多重化して伝送し、受信側で同期復号することが、簡単な構成で実現できる。
【図面の簡単な説明】
【図１】この発明による伝送方法が適用された符号化装置側の一実施の形態を示すブロック図である。
【図２】この発明による伝送方法が適用された復号化装置側の一実施の形態を示すブロック図である。
【図３】画像データの圧縮の単位データを説明するための図である。
【図４】この発明による伝送方法により圧縮されたビット系列の一例を示す図である。
【図５】この発明による伝送方法が適用された符号化装置側の一実施の形態の要部を説明するための図である。
【図６】この発明による伝送方法が適用された復号化装置側の動作の説明のためのタイムチャートの一部を示す図である。
【図７】この発明による伝送方法が適用された復号化装置側の動作の説明のためのタイムチャートの一部を示す図である。
【図８】この発明による伝送方法が適用された復号化装置側の動作の要部を説明するための図である。
【符号の説明】
４ 圧縮符号化装置部
５１ 情報量圧縮手段
５２ コントローラ
５３ 可変長符号化手段
５４ 遅延バッファ
６０ 仮想バッファ
ＣＭＰ１〜ＣＭＰｍ 情報量圧縮部
ＥＰ１〜ＥＰｍ 可変長符号化部
１０４ 子バッファ制御情報抽出部
１０５ ダミー詰め処理部
ＤＭ１〜ＤＭｍ デ・マルチプレックス用バッファ
１０６Ｂ１〜１０６Ｂｍ エンコーダ子バッファ
１０７Ｂ１〜１０７Ｂｍ デコーダ子バッファ
１０８Ｃ１〜１０８Ｃｍ 子バッファコントローラ
【発明の属する技術分野】
この発明は、例えば、複数系統の画像情報をそれぞれ可変長圧縮符号化した後、多重化して伝送し、受信側で多重化信号から各画像情報を分離すると共に、各画像情報を同期復号化するようにする場合に適用して好適な複数の可変レート信号の伝送方法および伝送システムに関する。
【０００２】
【従来の技術】
テレビ放送などのビデオ信号やオーディオ信号の圧縮、伝送などの分野においては、ビデオ信号処理のデジタル化は、オーディオ信号処理のデジタル化に比べて、その情報量の違いから遅れていた。しかし、デジタル化技術の進歩、およびデジタル化処理のための標準化作業の進展などに伴って、ビデオ信号処理のデジタル化が、急速に普及し始めている。
【０００３】
ビデオ信号をデジタル化することにより、画質の改善、ノイズ耐性の強化、新しいサービスの付加、他のメディアとの結合など、多くのメリットを享受することができるようになるが、このデジタル化されたビデオ信号を伝送することを考えた時には、伝送帯域には限りがあるため、多くの場合、送信側は、ビデオ信号を圧縮符号化して送信するようにする必要がある。これには、大規模で高速処理が可能なハードウエアが要求される。
【０００４】
しかし、ＮＴＳＣ方式などのいわゆる標準精細度のビデオ信号については、符号化アルゴリズムの標準化が進み、これにつれて必要な回路のＩＣ化も進み、これらを利用することにより、標準精細度のビデオ信号用の符号化装置の設計が容易にできるようになってきている。
【０００５】
【発明が解決しようとする課題】
ところで、上述のように、標準精細度のビデオ信号用の符号化装置の設計の容易化に伴い、標準精細度のビデオ信号の圧縮が容易になり、今まで１チャンネル分しか伝送できなかった伝送路であっても、多チャンネル分のビデオ信号の伝送が可能になる。なお、この明細書において、「伝送」には、電波やケーブルによる放送や通信の他に、テープやディスクなどの記録媒体による記録再生をも含むものである。
【０００６】
多チャンネルのビデオ信号を伝送したときに、受信側では、モニター装置の表示画面を複数に分割し、その複数の分割領域に、それら多チャンネルのビデオ信号の復号化画像を、同時に、表示する態様が考えられる。このようにすれば、例えば現在放送されている番組として、どのようなものであるかをモニター画面から知ることができる。
【０００７】
単一の伝送路を通じて多チャンネルのビデオ信号を伝送する方法としては、多チャンネルの信号を時分割多重化して伝送する方法が一般であるが、前述のような態様で画面表示する場合には、受信側では、多チャンネルのビデオ信号を同期して伸長復号する必要がある。例えば、複数チャンネルのビデオデータで、時報の放送があったときに、それが同期されていないと、あるチャンネルと他のチャンネルとで、時報画面が時間的にずれて再生されるような事態が生じる。
【０００８】
しかしながら、前述した標準精細度のビデオ信号の圧縮方式として提案されているＭＰＥＧ方式などは、ビデオ信号を可変長符号化するものであるため、多重化信号は、複数の可変レート信号の多重化信号となり、同期復号は容易ではない。
【０００９】
すなわち、従来、この種の複数の可変レート信号の同期を取って復号あるいは再生をする場合には、例えばフレームシンクロナイザーなどの同期制御装置を前記複数の可変レート信号分、並列に設けておき、前記可変レート信号を一旦非同期で復号後に、前記フレームシンクロナイザーにより、各可変レート信号の時間情報から時間軸を修正する方法しかなかった。
【００１０】
しかし、このフレームシンクロナイザーを用いる方法では、折角、圧縮してビットレートを少なくしたはずの信号の同期復号を、伸長復号後に行なわなければならず、巨大メモリが必要になると共に、フレーム単位に時間情報を必要とする問題があった。
【００１１】
また、いわゆるハイビジョン方式などの高精細度テレビ放送が実用化の段階に入ってきている。このハイビジョンテレビ放送波についても、デジタル化して扱うことが考えられるが、ハイビジョンテレビ放送の高精細度のビデオ信号は、例えば、ＮＴＳＣ方式などの標準精細度のビデオ信号に比べて、約５倍の情報量を有する。
【００１２】
このため、ハイビジョンテレビ放送の高精細度ビデオ信号をそのまま圧縮符号化する場合には、標準精細度用の符号化装置より、さらに高速に符号化を行なう高価な高精細度用の符号化装置が必要となる。しかし、高精細度のビデオ信号を、１画面を例えば４等分以上の複数等分するようにして分割し、各分割画面についてのビデオ信号を圧縮符号化するようにすれば、標準精細度のビデオ信号の圧縮用ＩＣを用いて圧縮することが可能になる。
【００１３】
この場合には、受信側では各分割画面のビデオ信号は必ず同期して復号化して画面合成する必要があるが、前述したようにフレームシンクロナイザーを用いるものでは、各分割画面のデータについて時間情報を付加しなければならないと共に、巨大メモリが必要なため、受信側の装置が大きくなるため、このように、分割エンコードし、デコードする同期復号システムとして、高精細度用の独自のシステムが必要であった。
【００１４】
この発明は、以上の点にかんがみ、上述のような可変レートの複数の信号を多重化して伝送し、受信側で前記複数の信号を同期復号する場合に、非同期で復号化する必要がなく、簡単な構成で同期復号を行なうことが可能な方法およびシステムを提供することを目的とする。
【００１５】
また、この発明は、標準精細度のビデオ信号と、高精細度のビデオ信号との両方の圧縮符号化／復号化処理を可能にした伝送方法および伝送システムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
前記課題を解決するため、この発明による伝送方法は、
それぞれ可変レートの複数の信号を多重化して単一の伝送路を介して送受信する方法において、
送信側においては、
各可変レート信号に対して、それぞれの可変レート信号を規定の時間長単位で入力し、定レートで出力する仮想のバッファを想定し、
前記各可変レート信号のそれぞれについて、前記規定の時間長の先頭情報が、対応する仮想のバッファに書き込まれる直前のバッファ占有量Ｂｅから、前記各可変レート信号の前記規定の時間長の先頭情報が前記仮想のバッファから読み出されるまでの第１の時間、あるいは、前記仮想のバッファの最大格納情報量をＢとしたとき、情報量Ｂ−Ｂｅの情報を前記定レートで読み出すのに要する第２の時間を求め、
前記第１の時間、前記第２の時間または前記バッファ占有量Ｂｅの情報のうちの少なくとも一つを含むバッファ制御情報を前記多重化信号にさらに多重化して伝送し、
受信側においては、
前記各可変レート信号に対して、前記仮想のバッファと最大格納情報量が等しく、定レートで情報を出力する対のバッファを設け、
前記多重化信号から前記各可変レート信号および前記バッファ制御情報を分離し、
前記各可変レート信号のそれぞれは、対応する前記対のバッファの一方に前記規定の時間長単位で同時に書き込み、
この書き込んだ情報を当該バッファから定レートで前記第１の時間経過後に読み出して、前記対のバッファの他方に書き込み、当該対のバッファの他方から、前記第２の時間経過後に読み出して、前記複数の可変レート信号の前記規定の時間長単位の先頭位置の同期化を図ったことを特徴とする。
【００１７】
また、この発明による伝送システムは、
それぞれ可変レートの複数の信号を多重化して単一の伝送路を介して送受信する送信装置と、受信装置とからなる可変レート信の伝送システムにおいて、
前記送信装置は、
各可変レート信号に対して、それぞれの可変レート信号を規定の時間長単位で入力し、定レートで出力する仮想のバッファを想定し、前記各可変レート信号のそれぞれについて、前記規定の時間長の先頭情報が、対応する仮想のバッファに書き込まれる直前のバッファ占有量Ｂｅから、前記各可変レート信号の前記規定の時間長の先頭情報が前記仮想のバッファから読み出されるまでの第１の時間、あるいは、前記仮想のバッファの最大格納情報量をＢとしたとき、情報量Ｂ−Ｂｅの情報を前記定レートで読み出すのに要する第２の時間を求める手段と、
前記第１の時間、前記第２の時間または前記バッファ占有量Ｂｅの情報のうちの少なくとも一つを含むバッファ制御情報を前記多重化信号にさらに多重化する手段と
を備え、
前記受信装置は、
前記各可変レート信号に対して、前記仮想のバッファと最大格納情報量が等しく、定レートで情報を出力する対のバッファと、
前記多重化信号から前記各可変レート信号および前記バッファ制御情報を分離する手段と、
前記各可変レート信号のそれぞれは、対応する前記対のバッファの一方に前記規定の時間長単位で同時に書き込む書き込み手段と、
前記書き込み手段で書き込んだ情報を当該バッファから定レートで前記第１の時間経過後に読み出して、前記対のバッファの他方に書き込み、当該対のバッファの他方から、前記第２の時間経過後に読み出して、前記複数の可変レート信号の前記規定の時間長単位の先頭位置の同期化を図る手段と、
を備えることを特徴とする。
【００１８】
そして、前記可変レート信号が、画像情報が可変長圧縮符号化されたものである場合には、特に有効である。
【００１９】
上述のこの発明による伝送方法および伝送システムにおいて、第１の時間は、定レートで情報量Ｂｅの情報を読み出すときの時間であり、また、第２の時間は最大格納情報量Ｂのバッファから、定レートで情報量Ｂ−Ｂｅの情報を読み出す時間であり、第１の時間と第２の時間の合計は、バッファから情報量Ｂの情報を定レートで読み出すときの時間となり、一定となる。したがって、第１の時間あるいは第２の時間の一方が分かれば、他方の時間は算出可能である。また、仮想バッファの前記バッファ占有量Ｂｅが分かれば、バッファの最大格納情報量Ｂは既知であるので、時間ＤＬ１およびＤＬ２は演算により算出することができる。
【００２０】
そして、この発明による伝送方法および伝送システムの受信側においては、各可変レートの信号は、対のバッファの一方に、規定の時間長例えばフレーム単位に同時に書き込み、これを対のバッファの他方に第１の時間経過後に転送し、対のバッファの他方から第２の時間経過後に読み出すので、それぞれ、対のバッファの一方に同時に書き込まれた複数の可変レート信号は、第１の時間と第２の時間との和の時間、つまり一定の時間経過後に、対のバッファの他方から同時に読み出され、同期がとられる。
【００２１】
したがって、対のバッファの他方から読み出した情報を復号化部に入力するようにすれば、復号化部では、複数の信号について同期して復号化が行なわれる。つまり、一旦非同期で復号化した後、同期復号の処理を行なう必要はない。
【００２２】
そして、この発明による伝送方法および伝送システムによれば、各可変レート信号を１チャンネルの標準精細度のビデオ信号とすれば、複数チャンネル分の標準精細度のビデオ信号を多重化して伝送し、同期復号することができ、また、各可変レート信号を、高精細度のビデオ信号の画面分割信号とすれば、分割して伝送した１チャンネルの高精細度のビデオ信号を、受信側で同期復号することができる。
【００２３】
【発明の実施の形態】
以下、この発明による複数の可変レート信号の伝送方法および伝送システムの実施の一形態を、図を参照しながら説明する。以下に説明する実施の形態は、１チャンネルの高精細度のビデオ信号（以下、ＨＤビデオ信号という）と、複数チャンネルの標準精細度のビデオ信号（以下、ＳＤビデオ信号という）を、それぞれ画像圧縮符号化し、多重化して伝送し、受信側で同期復号するようにする場合で、図１は、この実施の形態の画像伝送システムの送信側の構成例であり、図２はその受信側の構成例を示すものである。
【００２４】
なお、以下に説明する実施の形態においては、画像圧縮符号化方式としてＭＰＥＧ１あるいはＭＰＥＧ２に準拠、またはそれらに近似する画像圧縮符号化方式を用いるものである。
【００２５】
そして、この実施の形態においては、ＨＤビデオ信号を符号化するときには、ＨＤビデオ信号を、その１画面を複数個に分割、例えば、縦方向に２等分また横方向に２等分して４分割した状態の分割画像の画像データに分割して、これら４個の分割画像データを、４個の情報量圧縮部のそれぞれにおいて圧縮符号化処理を行なうようにする。
【００２６】
すなわち、ＨＤビデオ信号を分割することで、各分割画像のデータ量をＳＤビデオ信号用の情報量圧縮部で圧縮符号化処理が可能な程度に少なくして、各分割画像のデータを、ＳＤビデオ信号用と同等の１つの情報量圧縮部で処理することができるようにしている。つまり、ＨＤビデオ信号であっても、ＳＤビデオ信号の符号化処理速度で、符号化処理を行なうことができるようにしている。
【００２７】
まず、図１を参照しながら、送信側について説明する。図１に示すように、この実施の形態においては、１チャンネルのＨＤビデオ信号と、ｎ（ｎは１以上の整数）チャンネルのＳＤビデオ信号を多重して伝送するようにしており、送信側システムは、１チャンネルのＨＤビデオ信号用のＡ／Ｄ変換器１と、ｎチャンネル分のＳＤビデオ信号用のＡ／Ｄ変換器Ａ１〜Ａｎと、ＨＤビデオ信号の分割処理部２と、ｎチャンネル分のＳＤビデオ信号の同期用のシンクロナイザ３と、圧縮符号化装置部４とを備え、圧縮符号化装置部４からの多重化した圧縮画像データは伝送路１０を介して受信側に伝送する。
【００２８】
Ａ／Ｄ変換器１は、これに供給されるアナログＨＤビデオ信号ＨＶを、このＨＤビデオ信号に応じた標本化周波数で標本化し、その標本値である画素サンプルをデジタル信号に変換した画素データとして、デジタルＨＤ画像データを形成する。形成されたデジタルＨＤ画像データは、分割処理部２に供給される。
【００２９】
分割処理部２は、デジタルＨＤ画像データを、１画面分（１フレーム分）のデータ単位で４分割する。すなわち、１画面を水平方向に２等分、垂直方向に２等分した、それぞれ１／４画面分の４つの分割ＨＤ画像データＨ１，Ｈ２，Ｈ３，Ｈ４に分ける。そして、分割処理部２は、４つの分割ＨＤ画像データＨ１，Ｈ２，Ｈ３，Ｈ４を同期化し、各フレーム単位の４つの分割画像データの先頭に、それぞれフレームヘッダと呼ばれる識別信号を付加して圧縮符号化装置部４に出力する。
【００３０】
一方、Ａ／Ｄ変換器Ａ１〜Ａｎは、これにアナログ信号として提供されるＳＤビデオ信号ＳＶ１〜ＳＶｎを、それに応じた標本化周波数で標本化し、その標本値である画素サンプルをデジタル信号に変換した画素データとして、デジタルＳＤ画像データＳ１〜Ｓｎを形成する。これらのＡ／Ｄ変換器Ａ１〜ＡｎからのデジタルＳＤ画像データＳ１〜Ｓｎは、シンクロナイザ３に供給される。
【００３１】
シンクロナイザ３は、これに入力されたｎチャンネルのＳＤ画像データＳ１〜Ｓｎについて、フレーム単位の同期化を行ない、各フレームの先頭にフレームヘッダを付加する。そして、シンクロナイザー３は、同期化し、フレームヘッダを付加した各チャンネルのＳＤ画像データＳ１〜Ｓｎを圧縮符号化装置部４に出力する。
【００３２】
圧縮符号化装置部４は、ｍ（ｍ＝ｎ＋４）個の情報量圧縮部ＣＭＰ１〜ＣＭＰｍと、ｍ個の可変長符号化部ＥＰ１〜ＥＰｍと、多重化バス４１と、定レート化バッファ４２と、ビットレート割り当ておよび多重化コントロール部４３（以下コントロール部４３と略称する）と、多重化タイミング信号発生部４４とを備える。
【００３３】
ｍ個の情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、同一の圧縮アルゴリズムで動作するもので、基本的に同じ構成を有するものである。ｍ個の情報量圧縮部ＣＭＰ１〜ＣＭＰｍのうちのＣＭＰ１〜ＣＭＰ４のそれぞれには、分割処理部２からの分割ＨＤ画像データＨ１〜Ｈ４がそれぞれ入力され、また、ＣＭＰ５〜ＣＭＰｍのそれぞれには、シンクロナイザー３からのＳＤ画像データＳ１〜Ｓｎがそれぞれ入力される。
【００３４】
この実施の形態の場合、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれは、入力画像データの時間方向の冗長度を削減するための処理の例としての動き補償や、画像データの空間方向の冗長度を削減するための処理の例としての直交変換や、直交変換により得られた変換係数を、小さい値で表現し、符号量を減らす量子化処理を行なう。
【００３５】
この場合、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれは、直交変換のために、例えばＤＣＴ（離散コサイン変換）演算を行ない、また、動き補償のため、動き検出（動きベクトルの検出と差分の検出）を行なうが、これらの演算は、１フレームのビデオ信号を小ブロックに分けて、実行する。
【００３６】
すなわち、この例では、図３に示すように、１画面を水平方向の８画素、垂直方向の８画素の合計６４画素からなる画像領域単位のブロックに分割する。以下、この画像領域単位のブロックを、単にブロックと呼ぶ。
【００３７】
そして、図３に示すように、輝度成分についての互いに隣接する４ブロック分（水平×垂直＝１６画素×１６画素＝２５６画素）の領域をマクロブロックと称する。このマクロブロックには、２種の色差信号成分Ｃｂ，Ｃｒについてのそれぞれ１ブロック分の情報を含む。そして、このマクロブロックの複数個からなるデータ群をスライスと呼び、複数のスライスにより１フレームの画像データが構成されるようにする。
【００３８】
ＤＣＴ演算は、ブロック単位毎に行ない、演算により入力データを各周波数成分毎のＤＣＴ係数に変換する。この場合、ＤＣＴ演算を行なう対象データとしては２種類ある。
【００３９】
すなわち、処理対象フレームが、１画面分の画像データをそのまま圧縮処理するいわゆるイントラフレームの場合には、６４個の画素データからなるブロック単位の画像データをそれぞれＤＣＴ演算する。また、処理対象フレームが、当該フレームと、その前フレームまたは後フレームあるいは前後の両フレームとの間で動きを検出して、その検出した動きに応じた情報を圧縮処理するようにするいわゆるインターフレームの場合には、ブロック単位の前後のフレームの対応するブロックとの差分をＤＣＴ演算する。
【００４０】
このため、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれでは、処理対象フレームがインターフレームであるときには、その前後のフレームを用いた動き検出を行なう。この動き検出は、マクロブロック単位の動きベクトルの検出と、ブロック単位の差分の検出とを含む。
【００４１】
情報量圧縮部ＣＭＰ１〜ＣＭＰｍでは、以上のようにして得たＤＣＴ係数の量子化を行なう。この量子化の際に、情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、これにコントロール部４３から供給されるビットレート制御信号ｄ１〜ｄｍに基づいて、例えば、量子化マトリクスと量子化スケールを定め、各係数についての量子化ステップを決定して量子化を実行し、情報量を圧縮する。ビットレート制御信号ｄ１〜ｄｍは、単位時間、この場合には、１フレーム当たりの目標ビットレートを示すものである。
【００４２】
情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、また、この制御信号ｄ１〜ｄｍに基づいて、マクロブロック単位で、イントラ符号化するか、インター符号化するかの制御も行なう。これにより、発生符号量の制御が行なわれる。
【００４３】
量子化マトリクスは、人間の視覚特性上の画像についての空間周波数ごとの量子化感度の違いを利用した効率的な符号化を実現するために用いられるもので、この例では、ブロック単位でＤＣＴ演算されて得られたＤＣＴ係数に対応して設定される値のテーブルである。この量子化マトリクスの各値は、ＤＣＴ係数のそれぞれについて、いわば第１段階の量子化をするための係数である。この量子化マトリクスは、何種類か用意されており、制御信号ｄ１〜ｄｍにより画像の性質によって、例えばフレームごとに切り換えることが可能である。
【００４４】
量子化スケールは、最終的な量子化ステップの幅を決定するためのパラメータで、制御信号ｄ１〜ｄｍにより、マクロブロック単位で変えることができる。この量子化スケールの値は、後述するように、可変長符号化部ＥＰ１〜ＥＰｍからの符号発生量の情報ｇ１〜ｇｍに基づいて、コントロール部４３が決定し、制御信号ｄ１〜ｄｍに含めて情報量圧縮部ＣＭＰ１〜ＣＭＰｍに供給する。
【００４５】
各情報量圧縮部ＣＭＰ１〜ＣＭＰｍは、以上のようにして圧縮したデータｅ１〜ｅｍを、可変長符号化部ＥＰ１〜ＥＰｍに、それぞれ供給する。
【００４６】
可変長符号化部ＥＰ１〜ＥＰｍもまた同一の構成を有するもので、情報量圧縮部ＣＭＰ１〜ＣＭＰｍからの量子化されたＤＣＴ係数を、ハフマン符号化や算術符号化などの可変長符号化の処理を行ない、さらに情報圧縮する。この可変長符号化部ＥＰ１〜ＥＰｍからは、単位フレーム時間当たり可変の情報量を持つ可変レートの信号ｋ１〜ｋｍが得られる。
【００４７】
可変長符号化部ＥＰ１〜ＥＰｍのそれぞれは、また、マクロブロック単位で発生符号量を演算し、その情報ｇ１〜ｇｍを、コントロール部４３に送ると共に、それぞれ情報量圧縮部ＣＭＰ１〜ＣＭＰｍに送る。
【００４８】
そして、コントロール部４３は、これらの発生符号量の情報ｇ１〜ｇｍに基づいて前記制御信号ｄ１〜ｄｍをそれぞれ生成し、情報量圧縮部ＣＭＰ１〜ＣＭＰｍにそれぞれ供給する。情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれは、前述したように、マクロブロック単位のイントラ符号化モード、インター符号化モードのモード切換や、量子化マトリクス、量子化スケールを制御して発生符号量を制御する。このように量子化スケール等が制御されることにより、発生符号量が、伝送容量に対して多すぎたり、また、少なすぎることがなくて、いわゆるＧＯＰ（グループ・オブ・ピクチャ）と呼ばれる複数フレーム単位で見たときに、ほぼ一定レートの符号量となるように制御する。
【００４９】
また、コントロール部４３からは、マクロブロック単位の発生符号量の情報ｇ１〜ｇｍのそれぞれを加算して得たスライス単位の発生符号量の情報ｓ１〜ｓｍが、多重化タイミング信号発生部４４に供給される。多重化タイミング信号発生部４４は、このスライス単位の発生符号量の情報ｓ１〜ｓｍから、それらにリニアに対応した時間幅分だけの各タイミング信号ｊ１〜ｊｍを、可変長符号化部ＥＰ１〜ＥＰｍの出力データｋ１〜ｋｍの多重化の順番に基づいて生成する。
【００５０】
そして、多重化タイミング信号発生部４４は、これらタイミング信号ｊ１〜ｊｍを、それぞれ可変長符号化部ＥＰ１〜ＥＰｍのそれぞれに供給する。可変長符号化部ＥＰ１〜ＥＰｍのそれぞれからは、タイミング信号ｊ１〜ｊｍに基づいて可変レート信号が読み出され、多重化バス４１に出力される。そして、各可変レート信号ｋ１〜ｋｍは、定レート化バッファ４２に順次に書き込まれ、マルチプレックスされて多重化される。
【００５１】
定レート化バッファ４２は、可変レートで書き込まれて多重化された可変長ビット信号を、一定レートで読み出し、伝送路１０に対して出力する。なお、後述するように、複数の可変レートの信号を受信側でデコードする際、同期してデコードするための情報（同期復号の制御情報＝バッファ制御情報）が、コントロール部４３から定レート化バッファ４２に供給されて、同様に伝送データ中に多重化される。
【００５２】
なお、圧縮符号化され、多重化されたビット列には、復号時、各可変レート信号のフレームに相当するビットの先頭位置や、デコーダでの同期復号処理のためのバッファコントロールに必要な情報（以下、バッファ制御情報という）の位置が検出でき、分離できるようにするため、ヘッダ情報が多重化される。このヘッダ情報は、ＭＰＥＧのユーザービットのエリアが用いられる。
【００５３】
定レート化バッファ４２からの圧縮されたビット系列の例を図４に示す。すなわち、図４の例では、ヘッダ情報１は、バッファ制御情報の前に挿入される。そして、ヘッダ情報２、ヘッダ情報３、…、ヘッダ情報ｍ＋１は、それぞれ可変長符号化部ＥＰ１〜ＥＰｍからの可変レートのデータｋ１〜ｋｍのフレームの先頭データに対応する圧縮データの直前に挿入される。
【００５４】
次に、受信側でデコードする際に使用する同期復号処理のためのバッファ制御情報について説明する。すなわち、この場合、同期復号を可能にするために、情報量圧縮部ＣＭＰ１〜ＣＭＰｍのそれぞれでは、以下の制御を行なう。
【００５５】
図５は、図１のうちの一つの情報量圧縮部、例えば情報量圧縮部ＣＭＰ１およびその出力情報を可変長符号化する可変長符号化部ＥＰ１の部分を、より詳細に説明するための図であり、以下、この図５を参照して同期復号処理のためのバッファ制御情報の生成および伝送について説明する。なお、他の情報量圧縮部ＣＭＰ２〜ＣＭＰｍも、これと同様に構成されることは、前述もした通りである。
【００５６】
情報量圧縮部ＣＭＰ１は、ＤＣＴ変換および量子化を行なう情報量圧縮手段５１と、コントローラ５２とを備えている。また、可変長符号化部ＥＰ１は、可変長符号化手段５３と、遅延バッファ５４とを備えている。
【００５７】
情報量圧縮部ＣＭＰ１のコントローラ５２には、可変長符号化部ＥＰ１の可変長符号化手段５３からの発生符号量の情報ｇ１が供給されると共に、コントロール部４３からの制御信号ｄ１が供給されている。この制御信号ｄ１は、単位時間、この場合には、１フレーム当たりの目標ビットレートを示すものであり、コントローラ５２は、発生符号量ｇ１と制御信号ｄ１とから情報量圧縮手段５１での圧縮量を制御するための圧縮制御信号ｔ１を生成する。
【００５８】
他の信号Ｈ２〜Ｈ３や信号Ｓ１〜Ｓｎと同期している信号Ｈ１は、情報量圧縮手段５１に供給される。この情報量圧縮手段５１では、コントローラ５２からの圧縮制御情報ｔ１に基づいて圧縮が行なわれる。
【００５９】
この情報量圧縮手段５１での圧縮処理により、信号Ｈ１の情報量は削減されるが、この情報量圧縮手段５１の出力データｅ１の符号長は、等長符号であるので、入力Ｈ１と同じで、他の情報量圧縮部ＣＭＰ２〜ＣＭＰｍの出力データｅ２〜ｅｍとフレーム同期およびその中のビット同期まで保持している。前述したように、出力データｅ１は、可変長符号化部ＥＰ１の可変長符号化手段５３で可変長符号化が行なわれ、可変長符号となる。
【００６０】
このとき、可変長符号化手段５３は、入力マクロブロックに対応する発生符号量データｇ１をコントローラ５２に与える。また、同時に、実際の可変長符号であるデータｋ１を多重化のための遅延バッファ５４に書き込む。
【００６１】
可変長符号化手段５３の１フレーム当たりの出力は１フレーム内で全部出力されるので、フレームの先頭における同期は保たれているが、その後に続くビット同期は、他の可変長符号化部ＥＰ２〜ＥＰｍの出力データｋ２〜ｋｍは符号長が互いに異なっているので、崩れている。
【００６２】
コントローラ５２は、受信側の同期復号処理のためのバッファ制御情報を生成するために、図５に示すように、仮想バッファ６０をソフトウエアで想定し、シミュレーションする。仮想バッファではなく、実際にバッファをハードウエアで構成してもよいが、その場合には、後述するバッファ占有量Ｂｅのみをモニターするのに用いられるだけである。
【００６３】
仮想バッファ６０のバッファサイズＢ［ビット］は、後述する受信側の復号化部で多重データを分離するデ・マルチプレックスした後に使用される対の子バッファ１０６Ｂ１〜１０６Ｂｍおよび子バッファ１０７Ｂ１〜１０７Ｂｍと同一のサイズに設定されている。
【００６４】
この仮想バッファ６０には、フレームレートＰ［フレーム／秒］で、１フレーム内にｄｅビットの可変レートの可変長符号の情報ｋ１が書き込まれ、その書き込まれたデータが、いわゆるファースト・イン・ファースト・アウトの要領で一定レートＲ［ビット／秒］で読み出される。
【００６５】
１フレームの可変長符号化が終り、その発生符号量ｄｅビットが既知となった時点（次のフレームのスタート時点）において、仮想バッファ６０に読み出されずに残っている符号の量（この符号の量をバッファ占有量という）Ｂｅ［ビット］を、コントローラ５２は算出する。そして、コントローラ５２は、その結果、以下の計算を行なう。
【００６６】
すなわち、フレームレートをＰ、仮想バッファ６０のオーバーフローの予防対策としてのヘッドルームをα［ビット］とすると、
Ｒ／Ｐ≦Ｂｅ＋ｄｅ−Ｒ／Ｐ≦Ｂ−α［ビット／フレーム］ …（１）
の関係が成立しているか否かを検証する。不等式（１）の左側は、仮想バッファ６０のアンダーフローリミットであり、右側はオーバーフローリミットである。
【００６７】
コントローラ５２での検証の結果、左側の不等式が成立しない場合には、受信側のデコード時に、前述した子バッファ１０６Ｂ１〜１０６Ｂｍでアンダーフローが発生するおそれがある。この場合には、式（１）の左側の不等式を変形した
２Ｒ／Ｐ−Ｂｅ≦ｄｅ［ビット／フレーム］ …（２）
を成立させるように、
２Ｒ／Ｐ−Ｂｅ−ｄｅ［ビット］ …（３）
のデータが新たに不等式（２）の右辺に発生したとして、このデータを可変長符号に付加することにより、アンダーフローを回避することができる。
【００６８】
この仮想バッファ６０、したがって、子バッファ１０６Ｂ１〜１０６Ｂｍがアンダーフローしないように付加された本来の可変長符号とは別のデータをダミーデータと呼び、通常、ゼロのデータとする。このダミーデータは、伝送データに多重して伝送すると、伝送レートを下げることなるので、この実施の形態では、「ダミーデータの数」の情報を同期復号のためのバッファ制御情報に含めて多重化して伝送し、実際のダミーデータは受信側で発生させるようにしている。
【００６９】
次に、不等式（１）の右側の不等号を満たさない場合には、つまり、オーバーフローの生じる場合には、子バッファ１０６Ｂ１〜１０６Ｂｍでオーバーフローを生じてデコードできなくなる可能性が発生する。そこで、この実施の形態では、コントローラ５２からの圧縮制御情報ｔ１を制御して、次のフレームでの発生符号量ｄｅを減らす措置をとる。
【００７０】
前述したヘッドルームαの存在のため、オーバーフローが子バッファ１０６Ｂ１〜１０６Ｂｍで免れている場合のあることを想定して、次のフレームの発生符号量を減らすことで、実際のオーバーフローの発生を防止するようにしている。
【００７１】
このときに、信号ｋ１について、フレームヘッダが仮想バッファ６０に入ってから出て行くまでの時間ＤＬ１は、フレームヘッダが入力する直前のバッファ占有量Ｂｅから、以下の式
ＤＬ１＝Ｂｅ／Ｒ［秒］ …（４）
にて算出することができる。
【００７２】
また、仮想バッファ６０のサイズは定まった値Ｂ［ビット］であるので、
ＤＬ２＝（Ｂ−Ｂｅ）／Ｒ［秒］ …（５）
で表される時間ＤＬ２と、前述の時間ＤＬ１との和は一定のＢ／Ｒ［秒］となる。すなわち、
ＤＬ１＋ＤＬ２＝Ｂ／Ｒ［秒］ …（６）
となる。
【００７３】
そこで、後述するように、受信側に、仮想バッファ６０に対応させて、これと同一サイズＢの子バッファ１０６Ｂ１〜１０６Ｂｍを、各信号ｋ１〜ｋｍに対して設けると共に、この子バッファ１０６Ｂ１〜１０６Ｂｍと対の子バッファ１０７Ｂ１〜１０７Ｂｍを、それぞれ設ける。
【００７４】
フレームヘッダからフレームの先頭はデコード側で検知可能であるので、データｋ１〜ｋｍを、フレームヘッダから、子バッファ１０６Ｂ１〜１０６Ｂｍに書き込み、それぞれの信号についての仮想バッファにより求めた前述の時間ＤＬ１後に、当該子バッファ１０６Ｂ１〜１０６Ｂｍからそれぞれの信号の読み出しを定レートＲで行ない、対のバッファ１０７Ｂ１〜１０７Ｂｍに書き込む。そして、前述の時間ＤＬ２に対のバッファ１０７Ｂ１〜１０７Ｂｍからそれぞれのデータを読み出すと、すべてのデータｋ１〜ｋｍは、子バッファ１０６Ｂ１〜１０６Ｂｍに書き込まれたときから、一定時間Ｂ／Ｒ後に、子バッファ１０７Ｂ１〜１０７Ｂｍから読み出される。つまり、ｍ個の可変レート信号の同期化ができ、子バッファ１０７Ｂ１〜１０７Ｂｍから読み出したデータを復号化部に供給するようにすれば、同期復号が実現できる。
【００７５】
したがって、前記の時間ＤＬ１およびＤＬ２の情報を、伝送情報に多重化して受信側に伝送すればよいが、前述したように、ＤＬ１＋ＤＬ２＝一定であるので、いずれか一方の時間情報を伝送すれば、他方は演算により求めることができるので、時間ＤＬ１のみの情報を多重化して伝送するようにしてもよい。また、バッファ占有量Ｂｅが分かれば、式（４）から時間ＤＬ１が、式（５）から時間ＤＬ２が、それぞれ算出できる。したがって、時間ＤＬ１，ＤＬ２，バッファ占有量Ｂｅのうち、少なくとも一つの情報をバッファ制御情報に含めて伝送刷ればよい。
【００７６】
この実施の形態では、コントローラ５２は、仮想バッファ６０の入力データｋ１に対する前述した時間ＤＬ１と、必要なダミーデータの個数と、また、バッファ占有量Ｂｅとからなるバッファ制御情報ｙ１をコントロール部４３に送る。コントロール部４３は、このバッファ制御情報ｙ１だけでなく、他の情報量圧縮部ＣＭＰ２〜ＣＭＰｍのそれぞれからの、時間ＤＬ１、必要なダミーデータの個数、バッファ占有量Ｂｅからなるバッファ制御情報ｙ２〜ｙｍを受取り、それぞれが受信側で区別可能な態様で、かつ、前述の図４に示したように、ヘッダ情報１を用いることにより、可変レートの信号と分離可能な態様で、定レート化バッファ４２に供給して、伝送情報に多重化する。
【００７７】
また、この実施の形態の場合、各情報量圧縮部ＣＭＰ１〜ＣＭＰｍのコントローラ５２は、マクロブロック単位の発生符号量の情報ｇ１〜ｇｍを加算して、スライス単位の発生符号量の情報ｓ１〜ｓｍを求める処理も行ない、これらスライス単位の発生符号量の情報ｓ１〜ｓｍをコントロール部４３に供給するようにしている。
【００７８】
コントロール部４３は、このスライス単位の各信号の符号発生量の情報ｓ１〜ｓｍを多重化タイミング信号発生部４４に送る。多重化タイミング信号発生部４４では、それらスライス単位にリニアに対応した時間幅分だけの各タイミング信号ｊ１〜ｊｍを生成する。そして、これらタイミング信号ｊ１〜ｊｍを各可変長符号化部ＥＰ１〜ＥＰｍの遅延バッファ５４に送り、データｋ１〜ｋｍを読み出すことで、定レート化バッファ４２において、前述したように、各信号ｋ１〜ｋｍのマルチプレックスによる多重化を実現する。
【００７９】
次に、図２に示した受信側の構成について説明する。すなわち、伝送路１０を通じて伝送された多重化データは、復号化装置部１００に供給される。
【００８０】
復号化装置部１００は、ｍ個の可変レート信号を復号化するために、ｍ個の可変長復号化部１１０Ｄ１〜１１０Ｄｍと、伸長復号化部１２０Ｄ１〜１２０Ｄｍを備える。そして、ｍ個の可変長復号化部１１０Ｄ１〜１１０Ｄｍのそれぞれの前段に、複数個のバッファが設けられる。
【００８１】
すなわち、受信した多重データを一旦格納するための親バッファ１０２と、多重データからそれぞれの信号ｋ１〜ｋｍを分離するために用いられるｍ個のデ・マルチプレックス用バッファＤＭ１〜ＤＭｍと、ｍ個の信号ｋ１〜ｋｍのそれぞれに対して設けられる前述した対の子バッファ１０６Ｂ１〜１０６Ｂｍおよび１０７Ｂ１〜１０７Ｂｍとが設けられる。
【００８２】
この場合、子バッファ１０６Ｂ１〜１０６Ｂｍは、仮想バッファ６０のそれぞれに対応するもので、以下、エンコーダ子バッファと呼ぶ。また、子バッファ１０７Ｂ１〜１０７Ｂｍは、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍと対をなすものであり、それぞれその出力データをそれぞれ可変長復号化部１１０Ｄ１〜１１０Ｄｍに供給するもので、以下、デコーダ子バッファと呼ぶ。これら子バッファ１０６Ｂ１〜１０６Ｂｍおよび１０７Ｂ１〜１０７Ｂｍのそれぞれのバッファサイズは、前述したように、仮想バッファ６０のサイズＢに等しい。
【００８３】
この場合、各バッファとしては、入力と出力とが同時に行なわれる構成を取るデュアルポートＲＡＭやＦＩＦＯ（ファースト・イン・ファースト・アウト）形式のメモリが用いられる。
【００８４】
親バッファ１０２を制御するために、親バッファコントローラ１０３が設けられ、対の子バッファ１０６Ｂ１〜１０６Ｂｍおよび１０７Ｂ１〜１０７Ｂｍを制御するために、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍが設けられる。
【００８５】
その他、復号化装置部１００は、ヘッダ情報検出部１０１と、子バッファ制御情報抽出部１０４と、ダミー詰め処理部１０５を有する。
【００８６】
以下に、図６およびその続きである図７のタイミングチャートを参照しながら、復号化装置部１００の処理動作を説明する。なお、図６および図７では、簡単のため、可変レート信号は、ｋ１〜ｋ３の３系統であるとして示している。
【００８７】
伝送路１０を通ってきた圧縮ビット系列である多重化データは、ヘッダ情報検出部１０１に入力され、このヘッダ情報検出部１０１において、ヘッダ情報１、ヘッダ情報２、…の位置ｒが検出される。この位置ｒの情報は、親バッファコントローラ１０３に供給されると共に、子バッファ制御情報抽出部１０４に供給される。
【００８８】
そして、位置ｒの情報により子バッファ制御情報抽出部１０４では、圧縮ビット系列からヘッダ情報１およびバッファ制御情報ｙ１〜〜ｙｍを抽出する。
【００８９】
また、圧縮ビット系列は親バッファコントローラ１０３によって、親バッファ１０２に定レートＣ’で書き込まれる（図６Ａ参照）。この書き込みの際に、親バッファコントローラ１０３は、ヘッダ情報検出部１０１で検出された位置ｒにより書き込まれた各信号ｋ１〜ｋｍの親バッファのアドレスｑ１〜ｑｍを記憶しておく。このアドレスｑ１〜ｑｍは、各信号ｋ１〜ｋｍのフレームの先頭を示すヘッダのアドレスである（図６Ｂ参照）。
【００９０】
その後、親バッファ１０２のアドレスｑ１〜ｑｍから、それぞれフレーム単位に、ファースト・イン・ファースト・アウトの順番で、高速レートＣ”でバースト的に、ヘッダ情報と圧縮データｋ１〜ｋｍを読み出す（図６ＣおよびＤ参照）。なお、図６Ｅおよび図７Ｅはフレームパルスである。
【００９１】
この出力データは、送信側の多重化されたデータｋ１〜ｋｍに対応し、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍでは、親バッファ１０２の読み出しアドレス、また、読み出しクロックのカウント値πを前述のアドレスｑ１〜ｑｍと比較することにより、信号ｋ１〜ｋｍのデータ種別を識別して、自分が制御するバッファに書かれるべき情報のみを信号ｋ１〜ｋｍから分離して、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍのそれぞれに入力する（図６、図７Ｆ，Ｇ，Ｈ）。
【００９２】
この際、ダミー詰め処理部１０５は、バッファ制御情報抽出部１０４で抽出したバッファ制御情報ｙｙ１〜ｙｍの中から、各バッファのフレーム単位のダミーデータの個数の情報を受け取り、バッファＤＭ１〜ＤＭｍにおいて、各子バッファ１０６Ｂ１〜１０６Ｂｍに対応するデータについて指定された個数のダミーデータを書く。これにより、後のバッファ処理において、アンダーフローが生じないようになる。
【００９３】
可変長符号復号化部１１０Ｄ１〜１１０Ｄｍで各圧縮データを同時デコーダするようにするために、この実施の形態においては、前述もしたように、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍのそれぞれに各圧縮データを同時に書き込んだ後、時間ＤＬ１後に、定レートＲで読み出してデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに書き込み、さらに時間ＤＬ２後に、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍから読み出すようにする。
【００９４】
この処理動作を実現するために、まず、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍで１フレームの遅延をかける。そして、次のフレームパルス（図６、図７Ｅ参照）のタイミングで、これらデ・マルチプレックス用バッファＤＭ１〜ＤＭｍから同時に、高速レートＣ”で各フレーム単位の圧縮データを読み出す（図７Ｉ，Ｊ，Ｋ参照）。
【００９５】
その際に、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍの出力データｋ１’〜ｋｍ’を、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに、符号化装置部４側で多重した、データｋ１’〜ｋｍ’のそれぞれについての時間ＤＬ１が実現できるように、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍが書き込みアドレスを制御して書き込む。
【００９６】
そして、同時に、ファースト・イン・ファースト・アウトの方法で、このエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍから、符号化装置部４側で仮想バッファ６０によりシミュレートした定出力レートＲでデータｋ１”〜ｋｍ”を読み出す。読み出されたデータｋ１”〜ｋｍ”は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに定レートＲで書き込む。このとき、前述のエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍへの書き込みアドレス制御により、データｋ１”〜ｋｍ”は、それぞれそのフレームヘッダが、時間ＤＬ１後からデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに書き込まれるようになる（図７Ｌ参照）。
【００９７】
すなわち、例えば図８（ａ）に示すように、今、最初のフレームヘッダをエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに書き始める時点を０（秒）とすると、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍのそれぞれは、その時点でのエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍのバッファ占有量を、それぞれ対応する時間ＤＬ１から逆算して前記Ｂｅにして、ヘッダと圧縮データをそれぞれエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに書き込む。
【００９８】
同時に、定レートＲで、かつ、ファースト・イン・ファースト・アウトの方法で、読み出して、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに書き込む。このとき、バッファ占有量Ｂｅの分のアドレスには、データは存在せず、この部分はいわゆる空読みの状態となる。
【００９９】
このようにすれば、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから同時に読み出されてエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに書き込まれたデータｋ１’〜ｋｍ’のそれぞれのフレームヘッダが読み出されるのは、当該バッファ１０６Ｂ１〜１０６Ｂｍに残っているＢｅビット分のデータが読み出されるべき時間Ｂｅ／Ｒ（秒）（＝ＤＬ１）経過した後である。
【０１００】
したがって、図８（ｂ）に示すように、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから、同時に読み出された出力データｋ１’〜ｋｍ’は、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍを通じて、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれには、Ｂｅ／Ｒ（秒）（＝ＤＬ１）経過した後から書き込まれることになる（図７Ｌ参照）。このフレームヘッダが書き込まれるときのデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのバッファ占有量は零である。
【０１０１】
ここで、それぞれのデータｋ１’〜ｋｍ’のフレームの先頭を示すフレームヘッダが、バッファ１０６Ｂ１〜１０６Ｂｍに書かれてから、これがバッファ１０６Ｂ１〜１０６Ｂｍから読み出され、バッファ１０７Ｂ１〜１０７Ｂｍに書き込まれるまでの時間（ＤＬ１）は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍの各々で異なる。
【０１０２】
そして、このデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれには、子バッファコントローラ１０８Ｃ１〜１０８Ｃｍによる制御により、データｋ１”〜ｋｍ”のそれぞれについての時間ＤＬ２（＝（Ｂ−Ｂｅ）／Ｒ秒）まで、さらにデータが蓄積され、バッファ占有量がＢ−Ｂｅビット分になると、バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれに蓄えられているデータ中の最も時間的に古いフレームの圧縮データｄｅビット分をバースト的に高速に読み出す（図７Ｍおよび図８（ｃ）参照。なお、図８（ｃ’）はバースト的に読み出された後のバッファ１０７Ｂ１〜１０７Ｂｍの残りデータを示すものである）。
【０１０３】
したがって、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから、同時に読み出された出力データｋ１’〜ｋｍ’は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれには、ＤＬ１（＝Ｂｅ／Ｒ）秒、経過した後から書き込まれ、さらに、ＤＬ２（＝（Ｂ−Ｂｅ）／Ｒ）秒、経過後から読み出されることになる。その結果、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍから、同時に読み出された出力データｋ１’〜ｋｍ’は、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれからは、ＤＬ１＋ＤＬ２＝Ｂ／Ｒ（一定）なる等しい時間経過後に、同期して読み出されるものである。
【０１０４】
そして、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍのそれぞれから同期して読み出されたデータ、それぞれ可変長符号復号化部１１０Ｄ１〜１１０Ｄｍおよび伸長復号化部１２０Ｄ１〜１２０Ｄｍに、順次供給されて、同期して復号化される。
【０１０５】
その次以降のフレーム単位のデータは、子バッファ１０６Ｂ１〜１０６Ｂｍから、フレームレートＰ単位に、子バッファ１０６Ｂ１〜１０６Ｂｍから定レートＲで読み出し、子バッファ１０７Ｂ１〜１０７Ｂｍに転送することで、フレーム単位での子バッファ１０６Ｂ１〜１０６Ｂｍの入力時点から、子バッファ１０７Ｂ１〜１０７Ｂｍの出力時点までの時間を、Ｂ／Ｒ（秒）の一定時間とすることができ、その後のフレーム単位での同期復号も可能となる。
【０１０６】
すなわち、最初のフレームデータを子バッファ１０７Ｂ１〜１０７Ｂｍから取った後、１／Ｐ秒後に次のフレームのデータを子バッファ１０６Ｂ１〜１０６Ｂｍから抜き出さなければならない。
【０１０７】
次のフレームのデータがエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍから読み出される時間は、これがバッファ１０６Ｂ１〜１０６Ｂｍに書き込まれてから時間ＤＬ１’＝Ｂｅ’／Ｒ（秒）だけ経過した時点である。
【０１０８】
次のフレームがエンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに入った時のバッファ占有量Ｂｅ’は、
Ｂｅ’＝Ｂｅ＋ｄｅ−Ｒ／Ｐ
である。
【０１０９】
図８には示されていないが、次のフレームのヘッダがデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍに入力する時のこれら子バッファ１０７Ｂ１〜１０７Ｂｍの占有量はｄｅ（前フレームの符号発生量）であるが、この値は、図８（ｃ）の時点でバースト的に引き出されているので、Ｂ／Ｒ＋１／Ｐ（秒）後の時点である図８（ｄ）における子バッファ１０７Ｂ１〜１０７Ｂｍの占有量は、
Ｂ−Ｂｅ−ｄｅ＋Ｒ／Ｐ＝Ｂ−（Ｂｅ＋ｄｅ−Ｒ／Ｐ）＝Ｂ−Ｂｅ’
である。
【０１１０】
この値Ｂ−Ｂｅ’まで子バッファ１０７Ｂ１〜１０７Ｂｍにデータが溜まるのにかかった時間は、ＤＬ２’＝（Ｂ−Ｂｅ’）／Ｒであるので、
ＤＬ１’＋ＤＬ２’＝（Ｂｅ’／Ｒ）＋（Ｂ−Ｂｅ’）／Ｒ＝Ｂ／Ｒ
となり、次のフレーム以降のフレームにおいても、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍに入力してから、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍから読み出されるまでの時間遅れは、Ｂ／Ｒで一定となり、複数の可変レート信号を同期して復号化することができる。
【０１１１】
したがって、高精細度ビデオ信号の場合には、その１画面分を分割して可変長符号化し、多重化して伝送したものを、デコーダ側で容易に同期伸長復号化して、元の１画面のビデオデータを復元することができる。
【０１１２】
また、標準精細度のビデオ信号の場合には、複数チャンネル分のビデオデータをそれぞれ可変長符号化し、多重化して伝送したものを、それら複数チャンネルのビデオデータを同期して復号化することができるので、各チャンネルで時間遅れが生じるようなことがない。例えば、複数チャンネルのビデオデータで、時報の放送があったときに、それが同期されているので、あるチャンネルと他のチャンネルとで、時報画面が時間的にずれて再生されるようなことはない。
【０１１３】
なお、この実施の形態では、上述したように、同期復号のためのバッファ制御情報ｙ１〜ｙｍは、マルチプレックス後の定レート化バッファ４２に、書き込むことにより多重化を行なうようにしたが、これらの情報ｙ１〜ｙｍのそれぞれを遅延バッファ５４に書き込んで多重化する構成であってもよい。
【０１１４】
また、上述の実施の形態では、フレーム単位に時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅの情報を多重化するようにしたが、上述したように、最初のフレームのデータについての時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅにより、当該最初のフレームのデータの同期復号ができ、その後は、フレームレートＰで（１／Ｐ秒に）、次のフレームのデータを子バッファ１０７Ｂ１〜１０７Ｂｍから読み出すようにすればよいので、各信号の最初のフレームのデータについてのみ、時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅの情報を多重化するようにしてもよい。
【０１１５】
もちろん、すべてのフレームのデータについての時間ＤＬ１、時間ＤＬ２あるいはバッファ占有量Ｂｅを用いて子バッファ１０６Ｂ１〜１０６Ｂｍへの前述した書き込みアドレスの制御および子バッファ１０７Ｂ１〜１０７Ｂｍへの転送タイミングを制御を行うようにしてもよい。
【０１１６】
なお、時間ＤＬ１、時間ＤＬ２、バッファ占有量Ｂｅの３つの情報は、バッファ６０、１０６Ｂ１〜１０６Ｂｍ、１０７Ｂ１〜１０７Ｂｍの最大容量Ｂが定まっているので、いずれか一つの情報があれば、他の２つの情報は演算により求めることができるので、多重して伝送する情報は、時間ＤＬ１、時間ＤＬ２、バッファ占有量Ｂｅの３つの情報の内の少なくとも一つの情報でよい。
【０１１７】
また、以上の実施の形態では、受信側の画像復号化部では、デ・マルチプレックス用バッファＤＭ１〜ＤＭｍ、エンコーダ子バッファ１０６Ｂ１〜１０６Ｂｍおよびデコーダ子バッファ１０７Ｂ１〜１０７Ｂｍというバッファ構成により、同期復号を実現したが、デコーダ子バッファ１０７Ｂ１〜１０７Ｂｍと同等のバッファへの書き込み遅延時間ＤＬ１と、読み出し遅延時間ＤＬ２とを実現できる構成であれば、他の構成をも取り得るものである。
【０１１８】
【発明の効果】
以上説明したように、この発明によれば、フレームシンクロナイザーをなどを用いることなく、複数系統の画像データをそれぞれ可変長圧縮符号化した複数の可変レート信号を、多重化して伝送し、受信側で同期復号することが、簡単な構成で実現できる。
【図面の簡単な説明】
【図１】この発明による伝送方法が適用された符号化装置側の一実施の形態を示すブロック図である。
【図２】この発明による伝送方法が適用された復号化装置側の一実施の形態を示すブロック図である。
【図３】画像データの圧縮の単位データを説明するための図である。
【図４】この発明による伝送方法により圧縮されたビット系列の一例を示す図である。
【図５】この発明による伝送方法が適用された符号化装置側の一実施の形態の要部を説明するための図である。
【図６】この発明による伝送方法が適用された復号化装置側の動作の説明のためのタイムチャートの一部を示す図である。
【図７】この発明による伝送方法が適用された復号化装置側の動作の説明のためのタイムチャートの一部を示す図である。
【図８】この発明による伝送方法が適用された復号化装置側の動作の要部を説明するための図である。
【符号の説明】
４ 圧縮符号化装置部
５１ 情報量圧縮手段
５２ コントローラ
５３ 可変長符号化手段
５４ 遅延バッファ
６０ 仮想バッファ
ＣＭＰ１〜ＣＭＰｍ 情報量圧縮部
ＥＰ１〜ＥＰｍ 可変長符号化部
１０４ 子バッファ制御情報抽出部
１０５ ダミー詰め処理部
ＤＭ１〜ＤＭｍ デ・マルチプレックス用バッファ
１０６Ｂ１〜１０６Ｂｍ エンコーダ子バッファ
１０７Ｂ１〜１０７Ｂｍ デコーダ子バッファ
１０８Ｃ１〜１０８Ｃｍ 子バッファコントローラ
Claims (8)
- それぞれ可変レートの複数の信号を多重化して単一の伝送路を介して送受信する方法において、
送信側においては、
各可変レート信号に対して、それぞれの可変レート信号を規定の時間長単位で入力し、定レートで出力する仮想のバッファを想定し、
前記各可変レート信号のそれぞれについて、前記規定の時間長の先頭情報が、対応する仮想のバッファに書き込まれる直前のバッファ占有量Ｂｅから、前記各可変レート信号の前記規定の時間長の先頭情報が前記仮想のバッファから読み出されるまでの第１の時間、あるいは、前記仮想のバッファの最大格納情報量をＢとしたとき、情報量Ｂ−Ｂｅの情報を前記定レートで読み出すのに要する第２の時間を求め、
前記第１の時間、前記第２の時間または前記バッファ占有量Ｂｅの情報のうちの少なくとも一つを含むバッファ制御情報を前記多重化信号にさらに多重化して伝送し、
受信側においては、
前記各可変レート信号に対して、前記仮想のバッファと最大格納情報量が等しく、定レートで情報を出力する対のバッファを設け、
前記多重化信号から前記各可変レート信号および前記バッファ制御情報を分離し、
前記各可変レート信号のそれぞれは、対応する前記対のバッファの一方に前記規定の時間長単位で同時に書き込み、
この書き込んだ情報を当該バッファから定レートで前記第１の時間経過後に読み出して、前記対のバッファの他方に書き込み、当該対のバッファの他方から、前記第２の時間経過後に読み出して、前記複数の可変レート信号の前記規定の時間長単位の先頭位置の同期化を図ったことを特徴とする複数の可変レート信号の伝送方法。 - 請求項１において、
前記送信側においては、前記規定の時間長単位の情報に対して前記仮想のバッファがアンダーフローを生じないように付加するダミーデータのデータ数の情報をも多重化して前記受信側に送信し、
前記受信側においては、前記ダミーデータのデータ数の情報を前記多重化信号から分離して、この情報で指定されるデータ数のダミーデータを、前記対のバッファの一方に書き込む前記可変レート信号に付加するようにしたことを特徴とする複数の可変レート信号の伝送方法。 - 前記可変レート信号は、画像情報が可変長圧縮符号化されたものであることを特徴とする請求項１に記載の複数の可変レート信号の伝送方法。
- 前記規定の時間長は、画像信号についての１画面分の時間長であり、前記複数の可変レート信号は、１画面が複数に分割され、当該複数の分割領域の信号のそれぞれが可変長圧縮符号化されたものであることを特徴とする請求項１に記載の複数の可変レート信号の伝送方法。
- それぞれ可変レートの複数の信号を多重化して単一の伝送路を介して送受信する送信装置と、受信装置とからなる可変レート信の伝送システムにおいて、
前記送信装置は、
各可変レート信号に対して、それぞれの可変レート信号を規定の時間長単位で入力し、定レートで出力する仮想のバッファを想定し、前記各可変レート信号のそれぞれについて、前記規定の時間長の先頭情報が、対応する仮想のバッファに書き込まれる直前のバッファ占有量Ｂｅから、前記各可変レート信号の前記規定の時間長の先頭情報が前記仮想のバッファから読み出されるまでの第１の時間、あるいは、前記仮想のバッファの最大格納情報量をＢとしたとき、情報量Ｂ−Ｂｅの情報を前記定レートで読み出すのに要する第２の時間を求める手段と、
前記第１の時間、前記第２の時間または前記バッファ占有量Ｂｅの情報のうちの少なくとも一つを含むバッファ制御情報を前記多重化信号にさらに多重化する手段と
を備え、
前記受信装置は、
前記各可変レート信号に対して、前記仮想のバッファと最大格納情報量が等しく、定レートで情報を出力する対のバッファと、
前記多重化信号から前記各可変レート信号および前記バッファ制御情報を分離する手段と、
前記各可変レート信号のそれぞれは、対応する前記対のバッファの一方に前記規定の時間長単位で同時に書き込む書き込み手段と、
前記書き込み手段で書き込んだ情報を当該バッファから定レートで前記第１の時間経過後に読み出して、前記対のバッファの他方に書き込み、当該対のバッファの他方から、前記第２の時間経過後に読み出して、前記複数の可変レート信号の前記規定の時間長単位の先頭位置の同期化を図る手段と、
を備えることを特徴とする複数の可変レート信号の伝送システム。 - 前記送信装置は、前記規定の時間長単位の情報に対して前記仮想のバッファがアンダーフローを生じないように付加するダミーデータのデータ数の情報をも多重化して、前記受信装置に送信する手段を備えると共に、
前記受信装置は、前記ダミーデータのデータ数の情報を前記多重化信号から分離して、この情報で指定されるデータ数のダミーデータを、前記対のバッファの一方に書き込む前記可変レート信号に付加する手段を備える
ことを特徴とする請求項５に記載の複数の可変レート信号の伝送システム。 - 前記可変レート信号は、画像情報が可変長圧縮符号化されたものであることを特徴とする請求項５に記載の複数の可変レート信号の伝送システム。
- 前記規定の時間長は、画像信号についての１画面分の時間長であり、前記複数の可変レート信号は、１画面が複数に分割され、当該複数の分割領域の信号のそれぞれが可変長圧縮符号化されたものであることを特徴とする請求項５に記載の複数の可変レート信号の伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25683895A JP3573171B2 (ja) | 1995-09-08 | 1995-09-08 | 複数の可変レート信号の伝送方法および伝送システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25683895A JP3573171B2 (ja) | 1995-09-08 | 1995-09-08 | 複数の可変レート信号の伝送方法および伝送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0983480A JPH0983480A (ja) | 1997-03-28 |
| JP3573171B2 true JP3573171B2 (ja) | 2004-10-06 |
Family
ID=17298128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25683895A Expired - Fee Related JP3573171B2 (ja) | 1995-09-08 | 1995-09-08 | 複数の可変レート信号の伝送方法および伝送システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3573171B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496935B2 (ja) * | 2004-11-22 | 2010-07-07 | 富士通マイクロエレクトロニクス株式会社 | オーディオ・ビデオ出力デバイス及びオーディオ・ビデオ出力方法 |
-
1995
- 1995-09-08 JP JP25683895A patent/JP3573171B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0983480A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7072571B2 (en) | Data reproduction transmission apparatus and data reproduction transmission method | |
| JP3942630B2 (ja) | 映像デコーダにおけるチャンネル・バッファの管理 | |
| US6081299A (en) | Methods and systems for encoding real time multimedia data | |
| JP4666695B2 (ja) | ビデオ信号圧縮処理方法 | |
| JP3809220B2 (ja) | 伝送システム及び伝送方法 | |
| US20130039418A1 (en) | System and Method for Video and Audio Encoding on a Single Chip | |
| JP2000508855A (ja) | ビデオ・トランスコーダ | |
| JPH10224751A (ja) | デジタルテレビデータストリームでのｖｂｉデータの通信 | |
| JP2003102009A (ja) | 多重チャンネル映像信号符号化装置及びその方法 | |
| US6504576B2 (en) | Digital signal coding method and apparatus, signal recording medium, and signal transmission method for recording a moving picture signal and an acoustic signal | |
| JP2001128170A (ja) | 符号化装置及び方法 | |
| JP4410414B2 (ja) | ビデオ信号圧縮処理方法 | |
| JPH11122610A (ja) | 画像符号化方法及び画像復号化方法並びにこれらの装置 | |
| JP3573171B2 (ja) | 複数の可変レート信号の伝送方法および伝送システム | |
| US5889560A (en) | MPEG video decoder | |
| KR100233937B1 (ko) | 타임스탬프 보상을 이용한 비디오와 오디오 동기 방법 및 이를 이용한 엠펙-2(mpeg-2) 인코더 장치 | |
| US6430221B1 (en) | Transmitter, receiver, transmitting method and receiving method | |
| JP3469866B2 (ja) | 符号化ビデオピクチャのデータストリームのビットレートを変化させる方法 | |
| US20040161032A1 (en) | System and method for video and audio encoding on a single chip | |
| JPH08163558A (ja) | 画像復号装置 | |
| JP2823806B2 (ja) | 画像復号装置 | |
| KR980013375A (ko) | 아날로그와 디지털 비디오 모드를 갖는 수신기와 그 수신방법(Receiver having analog and digital video moed and receiving method thereof) | |
| JPH0993586A (ja) | 画像信号多重化符号化復号化装置 | |
| KR100368759B1 (ko) | 동영상 압축 양방향 전송방법 | |
| EP0948209A2 (en) | Parallel high definition encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040622 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |