JPH11355782A - 映像信号の多チャネル符号化装置 - Google Patents
映像信号の多チャネル符号化装置Info
- Publication number
- JPH11355782A JPH11355782A JP16464798A JP16464798A JPH11355782A JP H11355782 A JPH11355782 A JP H11355782A JP 16464798 A JP16464798 A JP 16464798A JP 16464798 A JP16464798 A JP 16464798A JP H11355782 A JPH11355782 A JP H11355782A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- encoding
- picture
- video signal
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 統計多重後の多重レートは確率的にほぼ一定
レートになるとされているが、伝送破綻を来す可能性が
ある。また、確定多重ではレートバッファを必要として
回路規模の増大を招くうえ、符号化遅延が増大する。 【解決手段】 この発明は、映像信号のＧＯＰ構造の位
相を各チャネル間でずらすことにより、発生情報量の多
いＩピクチャの符号化を時間軸上に分散させて多チャネ
ル多重化後の目標発生情報量を一定とする。上記の目標
発生情報量と符号化後の実際の発生符号量とのずれは、
仮想バッファ演算部４1〜４Nを用いたフィードバック制
御により、修正を図りながら画像符号化部１1〜１Nで画
像符号化を行う。万一、所定の符号化レートを越えそう
な時は、Ｉピクチャを禁止して発生符号量の低減を図
る。シーンチェンジ検出部３1〜３Nのいずれかでシーン
チェンジを検出した時は、その入力映像信号を強制的に
Ｉピクチャの符号化を行う。
レートになるとされているが、伝送破綻を来す可能性が
ある。また、確定多重ではレートバッファを必要として
回路規模の増大を招くうえ、符号化遅延が増大する。 【解決手段】 この発明は、映像信号のＧＯＰ構造の位
相を各チャネル間でずらすことにより、発生情報量の多
いＩピクチャの符号化を時間軸上に分散させて多チャネ
ル多重化後の目標発生情報量を一定とする。上記の目標
発生情報量と符号化後の実際の発生符号量とのずれは、
仮想バッファ演算部４1〜４Nを用いたフィードバック制
御により、修正を図りながら画像符号化部１1〜１Nで画
像符号化を行う。万一、所定の符号化レートを越えそう
な時は、Ｉピクチャを禁止して発生符号量の低減を図
る。シーンチェンジ検出部３1〜３Nのいずれかでシーン
チェンジを検出した時は、その入力映像信号を強制的に
Ｉピクチャの符号化を行う。
Description
【０００１】
【発明の属する技術分野】本発明は映像信号の多チャネ
ル符号化装置に係り、特に多チャネルの映像信号をＭＰ
ＥＧ方式で圧縮符号化した後多重化して多重化ストリー
ムを出力する多チャネル符号化装置に関する。
ル符号化装置に係り、特に多チャネルの映像信号をＭＰ
ＥＧ方式で圧縮符号化した後多重化して多重化ストリー
ムを出力する多チャネル符号化装置に関する。
【０００２】
【従来の技術】従来より、多チャネルの動画等の映像信
号をＭＰＥＧ（Moving Picture Coding Experts Grou
p）方式により圧縮符号化し、これらを多重して多重化
ストリームとして出力する多チャネル符号化装置が知ら
れている（特開平５−１１１０１４号、特開平６−６２
３９３号、特開平７−１８４１９２号、特開平７−２７
４１７９号各公報）。
号をＭＰＥＧ（Moving Picture Coding Experts Grou
p）方式により圧縮符号化し、これらを多重して多重化
ストリームとして出力する多チャネル符号化装置が知ら
れている（特開平５−１１１０１４号、特開平６−６２
３９３号、特開平７−１８４１９２号、特開平７−２７
４１７９号各公報）。
【０００３】ここで、映像信号の多チャネル符号化を行
う場合、各チャネルは可変レート符号化を行う場合と、
一定レート符号化を行う場合とがある。多重化方式は、
可変レート符号化には統計多重が用いられ、一定レート
符号化には確定多重が用いられる。統計多重では、各チ
ャネルの符号レートは可変であっても、統計多重後の多
重レートは確率的にほぼ一定レートになるとされてい
る。
う場合、各チャネルは可変レート符号化を行う場合と、
一定レート符号化を行う場合とがある。多重化方式は、
可変レート符号化には統計多重が用いられ、一定レート
符号化には確定多重が用いられる。統計多重では、各チ
ャネルの符号レートは可変であっても、統計多重後の多
重レートは確率的にほぼ一定レートになるとされてい
る。
【０００４】
【発明が解決しようとする課題】しかし、統計多重後の
多重レートが一定であるということは確率的にそうなる
傾向があるというだけで、必ず一定となるという保証は
無いため、伝送サービスを行う場合、伝送破綻を来す可
能性があるという課題を有する。また、確定多重では伝
送破綻を回避することは可能でも、各チャネルを一定レ
ートで符号化するためのレート平滑化を行うレートバッ
ファを必要として回路規模の増大を招くうえ、レートバ
ッファに符号化データを一旦蓄積するため、符号化遅延
が増大するという課題も有する。
多重レートが一定であるということは確率的にそうなる
傾向があるというだけで、必ず一定となるという保証は
無いため、伝送サービスを行う場合、伝送破綻を来す可
能性があるという課題を有する。また、確定多重では伝
送破綻を回避することは可能でも、各チャネルを一定レ
ートで符号化するためのレート平滑化を行うレートバッ
ファを必要として回路規模の増大を招くうえ、レートバ
ッファに符号化データを一旦蓄積するため、符号化遅延
が増大するという課題も有する。
【０００５】本発明は上記の点に鑑みなされたもので、
多チャネルの双方向通信を行う上で著しいサービス劣化
となっている伝送破綻を防止し得る映像信号の多チャネ
ル符号化装置を提供することを目的とする。
多チャネルの双方向通信を行う上で著しいサービス劣化
となっている伝送破綻を防止し得る映像信号の多チャネ
ル符号化装置を提供することを目的とする。
【０００６】また、本発明の他の目的は、多チャネルの
双方向通信を行う上で意志疎通を図る妨害となっている
符号化遅延の増大を防止し得る映像信号の多チャネル符
号化装置を提供することにある。
双方向通信を行う上で意志疎通を図る妨害となっている
符号化遅延の増大を防止し得る映像信号の多チャネル符
号化装置を提供することにある。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
め、本発明は入力映像信号に所定方式の高能率符号化を
施して符号化データを出力する画像符号化部と、入力映
像信号のシーンチェンジを検出するシーンチェンジ検出
部と、画像符号化部が処理する符号化処理方式を示すピ
クチャタイプを出力する計数値復号部と、計数値復号部
の出力ピクチャタイプと画像符号化部の実際の発生符号
量とに応じて、画像符号化部の発生符号量を適応的に制
御する仮想バッファ演算部とを、多チャネルの入力映像
信号の各チャネル毎に互いに独立して設け、計数値復号
部に対して、順次巡回的に計数値を出力すると共に、入
力映像信号のチャネル数だけ存在するシーンチェンジ検
出部のいずれかからシーンチェンジ検出信号が入力され
た時は、シーンチェンジ検出信号を出力したシーンチェ
ンジ検出部に対応したチャネルの計数値を所定値として
仮想バッファ演算部及び画像符号化部により、強制的に
フレーム内符号化を行わせる構造決定部と、入力映像信
号のチャネル数だけ存在する画像符号化部から並列に出
力された符号化データを多重化して多重化ストリームと
して出力する多重化部とを具備する構成としたものであ
る。
め、本発明は入力映像信号に所定方式の高能率符号化を
施して符号化データを出力する画像符号化部と、入力映
像信号のシーンチェンジを検出するシーンチェンジ検出
部と、画像符号化部が処理する符号化処理方式を示すピ
クチャタイプを出力する計数値復号部と、計数値復号部
の出力ピクチャタイプと画像符号化部の実際の発生符号
量とに応じて、画像符号化部の発生符号量を適応的に制
御する仮想バッファ演算部とを、多チャネルの入力映像
信号の各チャネル毎に互いに独立して設け、計数値復号
部に対して、順次巡回的に計数値を出力すると共に、入
力映像信号のチャネル数だけ存在するシーンチェンジ検
出部のいずれかからシーンチェンジ検出信号が入力され
た時は、シーンチェンジ検出信号を出力したシーンチェ
ンジ検出部に対応したチャネルの計数値を所定値として
仮想バッファ演算部及び画像符号化部により、強制的に
フレーム内符号化を行わせる構造決定部と、入力映像信
号のチャネル数だけ存在する画像符号化部から並列に出
力された符号化データを多重化して多重化ストリームと
して出力する多重化部とを具備する構成としたものであ
る。
【０００８】本発明では、多チャネルの入力映像信号が
チャネル別にそれぞれ、仮想バッファ演算部の制御の基
に画像符号化部により可変レート符号化を行うと共に、
構造決定部からの計数値に基づいて、フレーム内符号化
を行うチャネルを効率よく配置して多重化して多重化ス
トリームレートを一定にできる。また、この発明では、
シーンチェンジを検出した時は、シーンチェンジ検出信
号を出力したシーンチェンジ検出部に対応したチャネル
の計数値を所定値とするようにしたため、シーンチェン
ジが起きた入力映像信号の符号化を強制的にフレーム内
符号化することができる。
チャネル別にそれぞれ、仮想バッファ演算部の制御の基
に画像符号化部により可変レート符号化を行うと共に、
構造決定部からの計数値に基づいて、フレーム内符号化
を行うチャネルを効率よく配置して多重化して多重化ス
トリームレートを一定にできる。また、この発明では、
シーンチェンジを検出した時は、シーンチェンジ検出信
号を出力したシーンチェンジ検出部に対応したチャネル
の計数値を所定値とするようにしたため、シーンチェン
ジが起きた入力映像信号の符号化を強制的にフレーム内
符号化することができる。
【０００９】更に、この発明では、計数値復号部の出力
ピクチャタイプと画像符号化部の実際の発生符号量とに
応じて、画像符号化部の発生符号量を適応的に制御する
仮想バッファ演算部を、多チャネルの入力映像信号の各
チャネル毎に互いに独立して設けたため、個々のチャネ
ル毎に画像符号化部の発生符号量を適応的に制御でき
る。
ピクチャタイプと画像符号化部の実際の発生符号量とに
応じて、画像符号化部の発生符号量を適応的に制御する
仮想バッファ演算部を、多チャネルの入力映像信号の各
チャネル毎に互いに独立して設けたため、個々のチャネ
ル毎に画像符号化部の発生符号量を適応的に制御でき
る。
【００１０】また、本発明は、上記の多重化部を、多重
化ストリームが所定の符号レートを上回る可能性がある
ことを検出した時は、Ｉピクチャ禁止信号を出力する手
段を有し、Ｉピクチャ禁止信号を受けた構造決定部によ
りすべての仮想バッファ演算部及び画像符号化部による
フレーム内符号化を禁止し、フレーム内符号化以外の予
測符号化を行わせるようにしたものである。
化ストリームが所定の符号レートを上回る可能性がある
ことを検出した時は、Ｉピクチャ禁止信号を出力する手
段を有し、Ｉピクチャ禁止信号を受けた構造決定部によ
りすべての仮想バッファ演算部及び画像符号化部による
フレーム内符号化を禁止し、フレーム内符号化以外の予
測符号化を行わせるようにしたものである。
【００１１】この発明では、多重化部の出力多重化スト
リームが所定の符号レートを上回る可能性がある時は、
すべての画像符号化部がフレーム内符号化以外の予測符
号化を行うようにしているため、最も発生符号量の多い
フレーム内符号化を禁止することで所定の符号レートを
上回らないようにできる。
リームが所定の符号レートを上回る可能性がある時は、
すべての画像符号化部がフレーム内符号化以外の予測符
号化を行うようにしているため、最も発生符号量の多い
フレーム内符号化を禁止することで所定の符号レートを
上回らないようにできる。
【００１２】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図１は本発明になる映像信号の
多チャネル符号化装置の一実施の形態のブロック図を示
す。この実施の形態は、Ｎチャネルの入力映像信号に対
して互いに独立に動作する、画像符号化部１1〜１N、計
数値復号部２1〜２N、シーンチェンジ検出部３1〜３
Nと、単一のＧＯＰ構造決定部５と、多重化部６とから
構成されている。
て図面と共に説明する。図１は本発明になる映像信号の
多チャネル符号化装置の一実施の形態のブロック図を示
す。この実施の形態は、Ｎチャネルの入力映像信号に対
して互いに独立に動作する、画像符号化部１1〜１N、計
数値復号部２1〜２N、シーンチェンジ検出部３1〜３
Nと、単一のＧＯＰ構造決定部５と、多重化部６とから
構成されている。
【００１３】画像符号化部１1〜１Nは、入力映像信号を
ＭＰＥＧ方式に基づき可変長レートで圧縮符号化する。
ここで、ＭＰＥＧ方式では、良く知られているように、
通常は各画面の映像信号をＩピクチャ、Ｐピクチャ及び
Ｂピクチャのいずれかの符号化画像を得る。Ｉピクチャ
は、１フレーム内のすべてのブロックを原画像と同じ順
序で符号化するフレーム内符号化画像であり、３つのピ
クチャのうち最も符号量が多い。Ｐピクチャはフレーム
間順方向予測符号化画像である。更に、Ｂピクチャは過
去と未来のＩピクチャ又はＰピクチャから予測符号化し
た双方向予測符号化画像であり、３つのピクチャのうち
最も符号量が少ない。これら３つのピクチャを適当に組
み合わせたピクチャ群がグループ・オブ・ピクチャ（Ｇ
ＯＰ）である。ただし、Ｉピクチャは１つのＧＯＰ内で
は１つのみしか存在しない。
ＭＰＥＧ方式に基づき可変長レートで圧縮符号化する。
ここで、ＭＰＥＧ方式では、良く知られているように、
通常は各画面の映像信号をＩピクチャ、Ｐピクチャ及び
Ｂピクチャのいずれかの符号化画像を得る。Ｉピクチャ
は、１フレーム内のすべてのブロックを原画像と同じ順
序で符号化するフレーム内符号化画像であり、３つのピ
クチャのうち最も符号量が多い。Ｐピクチャはフレーム
間順方向予測符号化画像である。更に、Ｂピクチャは過
去と未来のＩピクチャ又はＰピクチャから予測符号化し
た双方向予測符号化画像であり、３つのピクチャのうち
最も符号量が少ない。これら３つのピクチャを適当に組
み合わせたピクチャ群がグループ・オブ・ピクチャ（Ｇ
ＯＰ）である。ただし、Ｉピクチャは１つのＧＯＰ内で
は１つのみしか存在しない。
【００１４】計数値復号部２1〜２Nは、ＧＯＰ構造決定
部５から入力されるピクチャ計数値ａが自己に予め割り
当てられた固有の所定値と一致する時はフレーム内符号
化を行うピクチャタイプ（すなわち、Ｉピクチャ）を対
応する仮想バッファ演算部４1〜４Nへ出力し、所定値と
異なる時は予測符号化を行うＢピクチャ又はＰピクチャ
のピクチャタイプを対応する仮想バッファ演算部４1〜
４Nへ出力する。
部５から入力されるピクチャ計数値ａが自己に予め割り
当てられた固有の所定値と一致する時はフレーム内符号
化を行うピクチャタイプ（すなわち、Ｉピクチャ）を対
応する仮想バッファ演算部４1〜４Nへ出力し、所定値と
異なる時は予測符号化を行うＢピクチャ又はＰピクチャ
のピクチャタイプを対応する仮想バッファ演算部４1〜
４Nへ出力する。
【００１５】シーンチェンジ検出部３1〜３Nは入力映像
信号のシーンチェンジの有無を検出し、シーンチェンジ
検出時はその検出信号をＧＯＰ構造決定部５に供給す
る。仮想バッファ演算部４1〜４Nは、計数値復号部２1
〜２Ｎからのピクチャタイプに基づき、発生情報量を決
定した後、実際の発生情報量との誤差に応じた量子化ス
テップサイズを決定して画像符号化部１1〜１Nへ出力す
る。
信号のシーンチェンジの有無を検出し、シーンチェンジ
検出時はその検出信号をＧＯＰ構造決定部５に供給す
る。仮想バッファ演算部４1〜４Nは、計数値復号部２1
〜２Ｎからのピクチャタイプに基づき、発生情報量を決
定した後、実際の発生情報量との誤差に応じた量子化ス
テップサイズを決定して画像符号化部１1〜１Nへ出力す
る。
【００１６】ＧＯＰ構造決定部５は、通常時は１からＮ
までの値を順次巡回的に計数してピクチャ計数値ａとし
てフレーム期間毎に出力し、シーンチェンジ検出信号が
入力された時は、ピクチャ計数値ａを検出部番号にセッ
トする。これにより、シーンチェンジが検出された入力
映像信号に対応する計数値復号部がＩピクチャタイプを
復号し、シーンチェンジが検出された入力映像信号はＩ
ピクチャタイプとして画像符号化処理される。
までの値を順次巡回的に計数してピクチャ計数値ａとし
てフレーム期間毎に出力し、シーンチェンジ検出信号が
入力された時は、ピクチャ計数値ａを検出部番号にセッ
トする。これにより、シーンチェンジが検出された入力
映像信号に対応する計数値復号部がＩピクチャタイプを
復号し、シーンチェンジが検出された入力映像信号はＩ
ピクチャタイプとして画像符号化処理される。
【００１７】また、多重化部６は画像符号化部１1〜１N
から入力される符号化データを多重処理して多重化スト
リームを出力すると共に、出力する多重化ストリームが
所定の一定レートを上回る可能性が高い時にはＩピクチ
ャ禁止信号を出力する。ＧＯＰ構造決定部５はＩピクチ
ャ禁止信号が入力されている間は、１〜Ｎ以外の所定値
のピクチャ計数値ａを出力し、計数値復号部２1〜２Nか
らＰピクチャ又はＢピクチャのピクチャタイプを出力す
る。解除後は設定直前のピクチャ計数値から再び計数を
開始する。
から入力される符号化データを多重処理して多重化スト
リームを出力すると共に、出力する多重化ストリームが
所定の一定レートを上回る可能性が高い時にはＩピクチ
ャ禁止信号を出力する。ＧＯＰ構造決定部５はＩピクチ
ャ禁止信号が入力されている間は、１〜Ｎ以外の所定値
のピクチャ計数値ａを出力し、計数値復号部２1〜２Nか
らＰピクチャ又はＢピクチャのピクチャタイプを出力す
る。解除後は設定直前のピクチャ計数値から再び計数を
開始する。
【００１８】次に、この実施の形態の動作について図１
のブロック図と図２のタイムチャートを併せ参照して説
明する。図１において、全部でＮチャネルの各チャネル
の入力映像信号は、それぞれ各チャネルに対応して設け
られ、互いに独立に動作する、画像符号化部１１〜
１Ｎ、計数値復号部２１〜２Ｎ、シーンチェンジ検出部
３１〜３Ｎに供給される。
のブロック図と図２のタイムチャートを併せ参照して説
明する。図１において、全部でＮチャネルの各チャネル
の入力映像信号は、それぞれ各チャネルに対応して設け
られ、互いに独立に動作する、画像符号化部１１〜
１Ｎ、計数値復号部２１〜２Ｎ、シーンチェンジ検出部
３１〜３Ｎに供給される。
【００１９】画像符号化部１1〜１Nは、チャネル＃１〜
＃Ｎの入力映像信号に対して、ＭＰＥＧ方式等の高能率
符号化処理を別々に施した後、得られた符号化ストリー
ムを多重化部６へ供給する。符号化制御方法は、符号化
制御単位ごとに量子化ステップサイズを仮想バッファ演
算部４1〜４Nより入力し、符号化制御の発生情報量を算
出して仮想バッファ演算部４1〜４Nに供給することによ
り行う。
＃Ｎの入力映像信号に対して、ＭＰＥＧ方式等の高能率
符号化処理を別々に施した後、得られた符号化ストリー
ムを多重化部６へ供給する。符号化制御方法は、符号化
制御単位ごとに量子化ステップサイズを仮想バッファ演
算部４1〜４Nより入力し、符号化制御の発生情報量を算
出して仮想バッファ演算部４1〜４Nに供給することによ
り行う。
【００２０】一方、ＧＯＰ構造決定部５は、ピクチャ数
をすべてのチャネルの画像数まで計数して、図２（Ａ）
に示す如きピクチャ計数値ａを計数値復号部２1〜２Nに
それぞれ同時に供給する。計数値復号部２1〜２Nは、入
力されたピクチャ計数値ａからＩピクチャ、Ｐピクチャ
及びＢピクチャを予め設定された方式により復号してピ
クチャタイプを仮想バッファ演算部４1〜４Nにそれぞれ
供給する。
をすべてのチャネルの画像数まで計数して、図２（Ａ）
に示す如きピクチャ計数値ａを計数値復号部２1〜２Nに
それぞれ同時に供給する。計数値復号部２1〜２Nは、入
力されたピクチャ計数値ａからＩピクチャ、Ｐピクチャ
及びＢピクチャを予め設定された方式により復号してピ
クチャタイプを仮想バッファ演算部４1〜４Nにそれぞれ
供給する。
【００２１】計数値復号部２1は、ピクチャ計数値ａ
が”１”の時のみピクチャタイプ＃１（ｆ）をＩピクチ
ャとする。ピクチャ計数値ａが１以外の２〜Ｎの値に関
しては、ピクチャタイプ＃１（ｆ）をＰピクチャ又はＢ
ピクチャとする。ＰピクチャとＢピクチャの関係は、任
意の関係を設定可能であるが、通常はＰピクチャとＰピ
クチャ間、またはＰピクチャとＩピクチャ間に同一枚数
のＢピクチャが割り当てられる。図２（Ｂ）は上記のピ
クチャタイプ＃１（ｆ）を示す。
が”１”の時のみピクチャタイプ＃１（ｆ）をＩピクチ
ャとする。ピクチャ計数値ａが１以外の２〜Ｎの値に関
しては、ピクチャタイプ＃１（ｆ）をＰピクチャ又はＢ
ピクチャとする。ＰピクチャとＢピクチャの関係は、任
意の関係を設定可能であるが、通常はＰピクチャとＰピ
クチャ間、またはＰピクチャとＩピクチャ間に同一枚数
のＢピクチャが割り当てられる。図２（Ｂ）は上記のピ
クチャタイプ＃１（ｆ）を示す。
【００２２】計数値復号部２Nは、ピクチャ計数値ａが
Ｎのときのみピクチャタイプ＃Ｎ（ｋ）をＩピクチャと
する。ピクチャ計数値ａがＮ以外の１〜Ｎ−１の値に関
しては、ピクチャタイプ＃Ｎ（ｋ）をＰピクチャ又はＢ
ピクチャとする。ＰピクチャとＢピクチャの関係は、任
意の関係を設定可能であるが、通常はＰピクチャとＰピ
クチャ間、またはＰピクチャとＩピクチャ間に同一枚数
のＢピクチャが割り当てられる。図２（Ｃ）は上記のピ
クチャタイプ＃Ｎ（ｋ）を示す。なお、ピクチャタイプ
＃１（ｆ）をＮピクチャ遅延させたピクチャタイプをピ
クチャタイプ＃Ｎ（ｋ）となるように、各計数値復号部
を設定してもよい。
Ｎのときのみピクチャタイプ＃Ｎ（ｋ）をＩピクチャと
する。ピクチャ計数値ａがＮ以外の１〜Ｎ−１の値に関
しては、ピクチャタイプ＃Ｎ（ｋ）をＰピクチャ又はＢ
ピクチャとする。ＰピクチャとＢピクチャの関係は、任
意の関係を設定可能であるが、通常はＰピクチャとＰピ
クチャ間、またはＰピクチャとＩピクチャ間に同一枚数
のＢピクチャが割り当てられる。図２（Ｃ）は上記のピ
クチャタイプ＃Ｎ（ｋ）を示す。なお、ピクチャタイプ
＃１（ｆ）をＮピクチャ遅延させたピクチャタイプをピ
クチャタイプ＃Ｎ（ｋ）となるように、各計数値復号部
を設定してもよい。
【００２３】仮想バッファ演算部４１〜４Ｎのそれぞれ
は、計数値復号部２1〜２Nのうち対応して設けられた計
数値復号部より与えられるピクチャタイプを基に、目標
とする発生情報量を決定し、画像符号化部１ 1〜１Nのう
ち対応する画像符号化部から逐次入力される実際の発生
情報量と比較して量子化ステップサイズを、対応する画
像符号化部に与える。従って、例えば、仮想バッファ演
算部４Nは計数値復号部２Nから与えられるピクチャタイ
プ＃Ｎ（ｋ）を基に目標とする発生情報量を決定し、画
像符号化部１Nから入力される実際の発生情報量＃Ｎ
（ｉ）と比較して量子化ステップサイズ＃Ｎ（ｈ）を画
像符号化部１Nに供給する。
は、計数値復号部２1〜２Nのうち対応して設けられた計
数値復号部より与えられるピクチャタイプを基に、目標
とする発生情報量を決定し、画像符号化部１ 1〜１Nのう
ち対応する画像符号化部から逐次入力される実際の発生
情報量と比較して量子化ステップサイズを、対応する画
像符号化部に与える。従って、例えば、仮想バッファ演
算部４Nは計数値復号部２Nから与えられるピクチャタイ
プ＃Ｎ（ｋ）を基に目標とする発生情報量を決定し、画
像符号化部１Nから入力される実際の発生情報量＃Ｎ
（ｉ）と比較して量子化ステップサイズ＃Ｎ（ｈ）を画
像符号化部１Nに供給する。
【００２４】また、シーンチェンジ検出部３1〜３Nは、
例えば前フレームと現フレームの入力映像信号のレベル
差が予め設定された値以上である時には、シーンチェン
ジとして検出して、シーンチェンジ検出信号をそれぞれ
ＧＯＰ構造決定部５へ出力する。ＧＯＰ構造決定部５
は、ｘ番目（ｘは１〜Ｎのうちのいずれか一の値）のシ
ーンチェンジ検出部３xからシーンチェンジ検出信号が
入力された場合、そのシーンチェンジ検出部３xに対応
する計数値復号部２xのピクチャ計数値ａの値を強制的
にｘにセットする。
例えば前フレームと現フレームの入力映像信号のレベル
差が予め設定された値以上である時には、シーンチェン
ジとして検出して、シーンチェンジ検出信号をそれぞれ
ＧＯＰ構造決定部５へ出力する。ＧＯＰ構造決定部５
は、ｘ番目（ｘは１〜Ｎのうちのいずれか一の値）のシ
ーンチェンジ検出部３xからシーンチェンジ検出信号が
入力された場合、そのシーンチェンジ検出部３xに対応
する計数値復号部２xのピクチャ計数値ａの値を強制的
にｘにセットする。
【００２５】従って、例えばＧＯＰ構造決定部５は、シ
ーンチェンジ検出部３Nから図２（Ｄ）に示す如きシー
ンチェンジ検出信号＃Ｎ（ｎ）が入力された場合、その
シーンチェンジ検出部３Nに対応する計数値復号部２Nの
ピクチャ計数値ａの値を、図２（Ａ）に示すように強制
的にＮにセットする。これにより、シーンチェンジが起
きた場合は、シーンチェンジが起きた入力映像信号を符
号化している画像符号化部ではＧＯＰ構造を優先的にＩ
ピクチャとする制御が実施される。
ーンチェンジ検出部３Nから図２（Ｄ）に示す如きシー
ンチェンジ検出信号＃Ｎ（ｎ）が入力された場合、その
シーンチェンジ検出部３Nに対応する計数値復号部２Nの
ピクチャ計数値ａの値を、図２（Ａ）に示すように強制
的にＮにセットする。これにより、シーンチェンジが起
きた場合は、シーンチェンジが起きた入力映像信号を符
号化している画像符号化部ではＧＯＰ構造を優先的にＩ
ピクチャとする制御が実施される。
【００２６】多重化部６は各画像符号化部１1〜１Nから
入力される符号化ストリームの多重処理を実施して多重
化ストリームを出力する。このとき、多重化部６は出力
する多重化ストリームが所定の符号化レートを上回る可
能性が大きい場合は、Ｉピクチャ禁止信号をＧＯＰ構造
決定部５に供給する。ＧＯＰ構造決定部５は、Ｉピクチ
ャ禁止信号が入力されている間は、ピクチャ計数値ａを
１〜Ｎ以外の値（例えば０）として、すべての計数値復
号部２1〜２NにおいてＩピクチャのピクチャタイプを復
号することを禁止する。
入力される符号化ストリームの多重処理を実施して多重
化ストリームを出力する。このとき、多重化部６は出力
する多重化ストリームが所定の符号化レートを上回る可
能性が大きい場合は、Ｉピクチャ禁止信号をＧＯＰ構造
決定部５に供給する。ＧＯＰ構造決定部５は、Ｉピクチ
ャ禁止信号が入力されている間は、ピクチャ計数値ａを
１〜Ｎ以外の値（例えば０）として、すべての計数値復
号部２1〜２NにおいてＩピクチャのピクチャタイプを復
号することを禁止する。
【００２７】従って、例えば、図２（Ｅ）に示すような
タイミングでピクチャ禁止信号が多重化部６から出力さ
れた場合は、図２（Ａ）に示すように、ピクチャ計数値
ａは０となり、計数値復号部２1、２Nは、図２（Ｂ）、
（Ｃ）に示すように、Ｉピクチャ以外のピクチャタイプ
を出力する。こうして得られた各画像符号化部１1〜１N
からの符号化ストリームは、多重化部６で多重化処理さ
れて一定レートの多重化ストリームとして出力される。
タイミングでピクチャ禁止信号が多重化部６から出力さ
れた場合は、図２（Ａ）に示すように、ピクチャ計数値
ａは０となり、計数値復号部２1、２Nは、図２（Ｂ）、
（Ｃ）に示すように、Ｉピクチャ以外のピクチャタイプ
を出力する。こうして得られた各画像符号化部１1〜１N
からの符号化ストリームは、多重化部６で多重化処理さ
れて一定レートの多重化ストリームとして出力される。
【００２８】このように、この実施の形態では、映像信
号のＧＯＰ構造の位相を各チャネル間でずらすことによ
り、発生情報量の多いＩピクチャの符号化を時間軸上に
分散させて多チャネル多重化後の目標発生情報量を一定
とする。すなわち、Ｎチャネルの入力映像信号のそれぞ
れ別々に画像符号化部１1〜１Nで可変レート符号化を行
いつつ、発生情報量が偏るＩピクチャを各チャネル間に
効率よく配置して多重化後の多重化ストリームを一定レ
ートとするようにしているため、レートバッファが不要
となり遅延時間の増大を防止できる。
号のＧＯＰ構造の位相を各チャネル間でずらすことによ
り、発生情報量の多いＩピクチャの符号化を時間軸上に
分散させて多チャネル多重化後の目標発生情報量を一定
とする。すなわち、Ｎチャネルの入力映像信号のそれぞ
れ別々に画像符号化部１1〜１Nで可変レート符号化を行
いつつ、発生情報量が偏るＩピクチャを各チャネル間に
効率よく配置して多重化後の多重化ストリームを一定レ
ートとするようにしているため、レートバッファが不要
となり遅延時間の増大を防止できる。
【００２９】また、この実施の形態では、上記の目標発
生情報量と符号化後の実際の発生符号量とのずれは、仮
想バッファ演算部４1〜４Nを用いたフィードバック制御
により修正を図りながら画像符号化を行うようにしてい
るため、多重化後のレートが一定となる可変レート符号
化を実現できる。
生情報量と符号化後の実際の発生符号量とのずれは、仮
想バッファ演算部４1〜４Nを用いたフィードバック制御
により修正を図りながら画像符号化を行うようにしてい
るため、多重化後のレートが一定となる可変レート符号
化を実現できる。
【００３０】万一、所定の符号化レートを越えそうな時
は、Ｉピクチャを禁止して発生符号量の低減を図る。ま
た、シーンチェンジ画像はピクチャ間（フレーム間又は
フィールド間）の時間方向の予測効率が低減するため、
シーンチェンジが検出された画像は優先的にピクチャ内
の空間方向の冗長度のみ抑圧するＩピクチャとするよう
なＧＯＰ構造の位相制御を行う。すなわち、シーンチェ
ンジが発生した時は、その入力映像信号を強制的にＩピ
クチャの符号化を行うようにしているため、ピクチャ間
の予測符号化効率の低減できる。
は、Ｉピクチャを禁止して発生符号量の低減を図る。ま
た、シーンチェンジ画像はピクチャ間（フレーム間又は
フィールド間）の時間方向の予測効率が低減するため、
シーンチェンジが検出された画像は優先的にピクチャ内
の空間方向の冗長度のみ抑圧するＩピクチャとするよう
なＧＯＰ構造の位相制御を行う。すなわち、シーンチェ
ンジが発生した時は、その入力映像信号を強制的にＩピ
クチャの符号化を行うようにしているため、ピクチャ間
の予測符号化効率の低減できる。
【００３１】更に、個々のチャネル単位に仮想バッファ
演算部４1〜４Nを設けて符号化制御を行うようにしてい
るので安定した制御ができると共に、多重化ストリーム
のレートが設定値を上回りそうな時には、３つのピクチ
ャタイプのうち最も符号量が大きいＩピクチャの符号化
を禁止するようにしているので、多重化ストリームのレ
ートの安定化ができ、伝送破綻を防止できる。
演算部４1〜４Nを設けて符号化制御を行うようにしてい
るので安定した制御ができると共に、多重化ストリーム
のレートが設定値を上回りそうな時には、３つのピクチ
ャタイプのうち最も符号量が大きいＩピクチャの符号化
を禁止するようにしているので、多重化ストリームのレ
ートの安定化ができ、伝送破綻を防止できる。
【００３２】
【発明の効果】以上説明したように、本発明によれば、
多チャネルの入力映像信号がチャネル別にそれぞれ可変
レート符号化されると共に、フレーム内符号化を行うチ
ャネルを効率よく配置して多重化ストリームレートを一
定にするようにしたため、各チャネル毎のレートを平滑
化するレートバッファを不要にでき、よって双方向通信
において意思疎通を図る上で問題となる符号化遅延の増
大を防止できる。
多チャネルの入力映像信号がチャネル別にそれぞれ可変
レート符号化されると共に、フレーム内符号化を行うチ
ャネルを効率よく配置して多重化ストリームレートを一
定にするようにしたため、各チャネル毎のレートを平滑
化するレートバッファを不要にでき、よって双方向通信
において意思疎通を図る上で問題となる符号化遅延の増
大を防止できる。
【００３３】また、本発明によれば、シーンチェンジを
検出した時は、シーンチェンジ検出信号を出力したシー
ンチェンジ検出部に対応したチャネルの計数値を所定値
とすることにより、シーンチェンジが起きた入力映像信
号の符号化を強制的にフレーム内符号化するようにした
ため、ピクチャ間の予測符号化効率を低減できる。
検出した時は、シーンチェンジ検出信号を出力したシー
ンチェンジ検出部に対応したチャネルの計数値を所定値
とすることにより、シーンチェンジが起きた入力映像信
号の符号化を強制的にフレーム内符号化するようにした
ため、ピクチャ間の予測符号化効率を低減できる。
【００３４】更に、本発明によれば、個々のチャネル毎
に画像符号化部の発生符号量を適応的に制御するように
したため、各チャネルの入力映像信号を可変レート符号
化しても、安定した発生符号量の制御ができ、多重化ス
トリームのレートを一定化できる。
に画像符号化部の発生符号量を適応的に制御するように
したため、各チャネルの入力映像信号を可変レート符号
化しても、安定した発生符号量の制御ができ、多重化ス
トリームのレートを一定化できる。
【００３５】また更に、本発明によれば、多重化部の出
力多重化ストリームが所定の符号レートを上回る可能性
がある時は、すべての画像符号化部がフレーム内符号化
以外の予測符号化を行うことにより、最も発生符号量の
多いフレーム内符号化を禁止することで所定の符号レー
トを上回らないようにしたため、システムを安定化する
ことができ、伝送破綻を防止できる。
力多重化ストリームが所定の符号レートを上回る可能性
がある時は、すべての画像符号化部がフレーム内符号化
以外の予測符号化を行うことにより、最も発生符号量の
多いフレーム内符号化を禁止することで所定の符号レー
トを上回らないようにしたため、システムを安定化する
ことができ、伝送破綻を防止できる。
【図１】本発明の一実施の形態のブロック図である。
【図２】図１の動作説明用タイムチャートである。
１1〜１N 画像符号化部 ２1〜２N 計数値復号部 ３1〜３N シーンチェンジ検出部 ４1〜４N 仮想バッファ演算部 ５ ＧＯＰ構造決定部 ６ 多重化部
Claims (6)
- 【請求項１】 入力映像信号に所定方式の高能率符号化
を施して符号化データを出力する画像符号化部と、 前記入力映像信号のシーンチェンジを検出するシーンチ
ェンジ検出部と、 前記画像符号化部が処理する符号化処理方式を示すピク
チャタイプを出力する計数値復号部と、 前記計数値復号部の出力ピクチャタイプと前記画像符号
化部の実際の発生符号量とに応じて、該画像符号化部の
発生符号量を適応的に制御する仮想バッファ演算部と
を、多チャネルの前記入力映像信号の各チャネル毎に互
いに独立して設け、 前記計数値復号部に対して、順次巡回的に計数値を出力
すると共に、前記入力映像信号のチャネル数だけ存在す
る前記シーンチェンジ検出部のいずれかからシーンチェ
ンジ検出信号が入力された時は、該シーンチェンジ検出
信号を出力したシーンチェンジ検出部に対応したチャネ
ルの前記計数値を所定値として前記仮想バッファ演算部
及び画像符号化部により、強制的にフレーム内符号化を
行わせる構造決定部と、 前記入力映像信号のチャネル数だけ存在する前記画像符
号化部から並列に出力された符号化データを多重化して
多重化ストリームとして出力する多重化部とを具備する
ことを特徴とする映像信号の多チャネル符号化装置。 - 【請求項２】 前記多重化部は、前記多重化ストリーム
が所定の符号レートを上回る可能性があることを検出し
た時は、Ｉピクチャ禁止信号を出力する手段を有し、前
記Ｉピクチャ禁止信号を受けた前記構造決定部によりす
べての前記仮想バッファ演算部及び画像符号化部による
フレーム内符号化を禁止し、該フレーム内符号化以外の
予測符号化を行わせることを特徴とする請求項１記載の
映像信号の多チャネル符号化装置。 - 【請求項３】 前記構造決定部は、前記入力映像信号の
チャネル数がＮのときは、Ｎ個ある前記計数値復号部に
それぞれ１からＮまでの計数値を順次、かつ、巡回的に
出力することを特徴とする請求項１記載の映像信号の多
チャネル符号化装置。 - 【請求項４】 前記計数値復号部は、入力された前記計
数値が自己に予め割り当てられた固有の所定値と一致す
る時はフレーム内符号化を行うピクチャタイプを対応す
る前記仮想バッファ演算部へ出力し、前記所定値と異な
る時は前記フレーム内符号化以外の予測符号化を行うピ
クチャタイプを対応する前記仮想バッファ演算部へ出力
することを特徴とする請求項１又は３記載の映像信号の
多チャネル符号化装置。 - 【請求項５】 前記仮想バッファ演算部は、前記計数値
復号部の出力ピクチャタイプに基づいて目標とする発生
符号量を決定し、前記画像符号化部から逐次入力される
実際の発生符号量と比較して、その比較結果に応じて該
画像符号化部の量子化ステップサイズを制御することを
特徴とする請求項１記載の映像信号のチャネル符号化装
置。 - 【請求項６】 前記構造決定部は、ＭＰＥＧ方式のＧＯ
Ｐ構造を決定し、前記計数値復号部は、Ｉピクチャ、Ｐ
ピクチャ及びＢピクチャのいずれか一のピクチャタイプ
を出力することを特徴とする請求項１乃至５のうちいず
れか一項記載の映像信号の多チャネル符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16464798A JP3147859B2 (ja) | 1998-06-12 | 1998-06-12 | 映像信号の多チャネル符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16464798A JP3147859B2 (ja) | 1998-06-12 | 1998-06-12 | 映像信号の多チャネル符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11355782A true JPH11355782A (ja) | 1999-12-24 |
| JP3147859B2 JP3147859B2 (ja) | 2001-03-19 |
Family
ID=15797164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16464798A Expired - Fee Related JP3147859B2 (ja) | 1998-06-12 | 1998-06-12 | 映像信号の多チャネル符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3147859B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100328199B1 (ko) * | 2000-02-15 | 2002-03-16 | 이준우 | 다채널 영상 인코딩 시스템 및 다채널 인코딩용 메모리운영방법 |
| AU768016B2 (en) * | 2000-07-05 | 2003-11-27 | Lg Electronics Inc. | Method of configuring transmission in mobile communication system |
| KR100846770B1 (ko) * | 2002-03-05 | 2008-07-16 | 삼성전자주식회사 | 동영상 부호화 방법 및 이에 적합한 장치 |
| JP2012090060A (ja) * | 2010-10-19 | 2012-05-10 | Sharp Corp | 放送送信装置、放送受信装置及び放送送受信システム |
| CN102457727A (zh) * | 2010-10-28 | 2012-05-16 | 武汉磐大科技有限公司 | 一种用于3g网络的多通道h.264视频帧的传输方法 |
| CN105471860A (zh) * | 2015-11-19 | 2016-04-06 | 浙江宇视科技有限公司 | 一种视频数据传输方法及装置 |
| JP2016213698A (ja) * | 2015-05-11 | 2016-12-15 | 日本放送協会 | 映像符号化装置及びプログラム |
| CN107750001A (zh) * | 2017-11-03 | 2018-03-02 | 中广热点云科技有限公司 | 一种视频帧传输方法 |
| WO2019044435A1 (ja) * | 2017-08-31 | 2019-03-07 | 慎之輔 浅原 | 動画配信装置、方法、プログラム、動画配信システム |
-
1998
- 1998-06-12 JP JP16464798A patent/JP3147859B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100328199B1 (ko) * | 2000-02-15 | 2002-03-16 | 이준우 | 다채널 영상 인코딩 시스템 및 다채널 인코딩용 메모리운영방법 |
| AU768016B2 (en) * | 2000-07-05 | 2003-11-27 | Lg Electronics Inc. | Method of configuring transmission in mobile communication system |
| KR100846770B1 (ko) * | 2002-03-05 | 2008-07-16 | 삼성전자주식회사 | 동영상 부호화 방법 및 이에 적합한 장치 |
| JP2012090060A (ja) * | 2010-10-19 | 2012-05-10 | Sharp Corp | 放送送信装置、放送受信装置及び放送送受信システム |
| CN102457727A (zh) * | 2010-10-28 | 2012-05-16 | 武汉磐大科技有限公司 | 一种用于3g网络的多通道h.264视频帧的传输方法 |
| JP2016213698A (ja) * | 2015-05-11 | 2016-12-15 | 日本放送協会 | 映像符号化装置及びプログラム |
| CN105471860A (zh) * | 2015-11-19 | 2016-04-06 | 浙江宇视科技有限公司 | 一种视频数据传输方法及装置 |
| WO2019044435A1 (ja) * | 2017-08-31 | 2019-03-07 | 慎之輔 浅原 | 動画配信装置、方法、プログラム、動画配信システム |
| US11218707B2 (en) | 2017-08-31 | 2022-01-04 | Cyberstep, Inc. | Moving image distribution device, method, and program and moving image distribution system |
| CN107750001A (zh) * | 2017-11-03 | 2018-03-02 | 中广热点云科技有限公司 | 一种视频帧传输方法 |
| CN107750001B (zh) * | 2017-11-03 | 2019-07-30 | 中广热点云科技有限公司 | 一种视频帧传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3147859B2 (ja) | 2001-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8804825B2 (en) | Bi-pred mode decision in GOP architecture | |
| KR100382136B1 (ko) | 디지탈신호다중부호화장치 | |
| US6580829B1 (en) | Detecting and coding flash frames in video data | |
| US7379497B2 (en) | Encoded data outputting apparatus and method | |
| US20010031002A1 (en) | Image encoding apparatus and method of same, image decoding apparatus and method of same, image recording apparatus, and image transmitting apparatus | |
| JP3840020B2 (ja) | 動画像符号化装置 | |
| US5689307A (en) | Encoding and decoding systems for transmitting moving pictures | |
| US20030067984A1 (en) | Apparatus and method of coding/decoding moving picture and storage medium for storing coded moving picture data | |
| US5717464A (en) | Rate control for a video encoder | |
| US20050063473A1 (en) | Method and apparatus for transmitting and receiving coded packet and program therefor | |
| JP3147859B2 (ja) | 映像信号の多チャネル符号化装置 | |
| EP1908296A2 (en) | Method and apparatus for transmitting multiple video streams over a video channel | |
| KR20030009669A (ko) | 다채널 영상 부호화기 및 그 부호화 방법 | |
| US20040005002A1 (en) | Mobile terminal with camera | |
| CA2524809C (en) | Methods and apparatus for improving video quality in statistical multiplexing | |
| US7428339B2 (en) | Pseudo-frames for MPEG-2 encoding | |
| KR20000070810A (ko) | 부호화 장치 및 부호화 방법 | |
| US7751474B2 (en) | Image encoding device and image encoding method | |
| US20040101041A1 (en) | Method for coding a video image flux | |
| JP3159230B2 (ja) | 画像信号用可変レート符号化装置 | |
| JPH03113979A (ja) | 動画像符号化装置 | |
| JP2002101417A (ja) | 動画像符号化方法および装置 | |
| JP2000013802A (ja) | フレーム間予測を用いた映像信号符号化装置 | |
| JPH10308944A (ja) | 符号化伝送方式 | |
| JPH10191276A (ja) | 動画像符号化多重化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |