JP3594355B2 - 映像信号蓄積伝送方法および装置 - Google Patents
映像信号蓄積伝送方法および装置 Download PDFInfo
- Publication number
- JP3594355B2 JP3594355B2 JP06928895A JP6928895A JP3594355B2 JP 3594355 B2 JP3594355 B2 JP 3594355B2 JP 06928895 A JP06928895 A JP 06928895A JP 6928895 A JP6928895 A JP 6928895A JP 3594355 B2 JP3594355 B2 JP 3594355B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- editing
- edited
- editing information
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、映像信号を蓄積して編集し、この編集した映像信号を符号化して伝送し、受信した伝送信号を映像信号に復号化する映像信号蓄積伝送方法および装置に関する。
【０００２】
【従来の技術】
図４は、従来の映像信号蓄積伝送装置における蓄積部および符号化部を示すブロック回路図である。図において、第１の撮像手段１にて撮像された映像信号１０１は、切り換え手段２ｂの第１の入力に与えられ、同様に、第ｎの撮像手段１にて撮像された映像信号１０２は、第１の切り換え手段２ｂの第ｎの入力に与えられる。第１の切り換え手段２ｂの出力１０３は、第１の蓄積手段３ｂに与えられ、第１の蓄積手段３ｂの出力１０４は、編集手段４ｂの第１の入力に与えられる。同様な構成により、第ｍの蓄積手段３ｂの出力１０８は、編集手段４ｂの第ｍの入力に与えられる。
【０００３】
編集手段４ｂの出力１０９は、蓄積手段５ｂに入力される。蓄積手段５ｂの出力である映像信号１１０は、符号化手段６ｂに与えられ、符号化手段６ｂの出力である映像データ１１１は、出力端子７ａより出力される。
【０００４】
図５は、この従来例における符号化手段６ｂを示すブロック回路図である。図において、符号化手段６ｂに入力された映像信号１１０は、減算手段１０の第１の入力に与えられるとともに、動き検出手段１９の第１の入力に与えられる。減算手段１０の出力１２１は、ＤＣＴ手段１１の第１の入力に与えられ、ＤＣＴ手段１１の出力１２２は量子化手段１２の入力に与えられる。量子化手段１２の出力１２３は、可変長符号化手段１３ｂの第１の入力に与えられるとともに、逆量子化手段１５の入力に与えられ、逆量子化手段１５の出力１２４は逆ＤＣＴ手段１６に与えられ、逆ＤＣＴ手段１６の出力１２５は加算手段１７の第１の入力に与えられる。加算手段１７の出力１２６はメモリ手段１８の第１の入力に与えられ、メモリ手段１８の出力１２７は、動き検出手段１９の第２の入力に与えられるとともに、選択手段２０の第１の入力に与えられる。選択手段２０の第２の入力には、ゼロ信号が与えられる。選択手段２０の出力１２８は、減算手段１０の第２の入力に与えられるとともに、加算手段１７の第２の入力に与えられる。
【０００５】
一方、動き検出手段１９の第１の出力１２９は、選択手段２０の第３の入力に与えられるとともに、可変長符号化手段１３ｂの第２の入力に与えられる。また、動き検出手段１９の第２の出力１３０は、メモリ手段１８の第２の入力に与えられるとともに、可変長符号化手段１３ｂの第３の入力に与えられる。可変長符号化手段１３ｂの出力１３１は送信バッファ手段１４の入力に与えられ、送信バッファ手段１４の第２の出力１３２は符号量制御手段２１ｂに与えられ、符号量制御手段２１ｂの出力１３３は量子化手段１２の第２の入力に与えられる。送信バッファ手段１４の第１の出力１１１は、符号化手段６ｂの映像データ出力として出力端子７ａを介して伝送される。
【０００６】
図６は、従来の映像信号蓄積伝送装置における復号化部を示すブロック回路図である。図において、入力端子７ｂから復号化手段８ｂに入力された映像データ１１１は、受信バッファ手段２２を介して可変長復号化手段２３ｂに与えられる。可変長復号化手段２３ｂの第１の出力１４２は逆量子化手段１５に与えられ、逆量子化手段１５の出力１４３は逆ＤＣＴ手段１６に与えられ、逆ＤＣＴ手段１６の出力１４４は加算手段１７の第１の入力に与えられる。加算手段１７の出力１４５は、フィルタ手段２４の第１の入力、メモリ手段１８の第１の入力およびシーンチェンジ検出手段２５の入力に与えられる。
【０００７】
一方、可変長復号化手段２３ｂの第２の出力１４９はメモリ手段１８の第２の入力に与えられ、可変長復号化手段２３ｂの第３の出力１５０は選択手段２０の第３の入力に与えられる。メモリ手段１８の出力１４７は選択手段２０の第１の入力に与えられ、選択手段２０の第２の入力にはゼロ信号が与えられる。選択手段２０の出力１４８は加算手段１７の第２の入力に与えられる。
【０００８】
一方、シーンチェンジ検出手段２６の出力１５１はフィルタ手段２４の第２の入力に与えられ、フィルタ手段２４の出力１１２は復号化手段８ｂの再生映像信号として表示手段９に出力されて表示される。
【０００９】
次に、従来例の動作について説明する。
一般に、１つの映像ソースは、複数の撮像手段により撮像された映像を適宜編集することにより作成される。このとき、上記編集には、リアルタイムで行われる場合（たとえば、カメラの切り換え等）と、非リアルタイムで行われる場合（たとえば、撮像後の編集等）とがある。
【００１０】
図４において、複数の撮像手段１により撮像された映像信号は、第１〜第ｍの切り換え手段２ｂによってそれぞれ映像信号が選択され、一度、第１〜第ｍの蓄積手段３ｂに蓄えられる。上記過程は、リアルタイムで行われる編集を示している。
【００１１】
更に、以下のように、上記複数の蓄積手段３ｂを用いて非リアルタイムで行われる編集を行う。第１〜第ｍの蓄積手段３ｂに蓄えられた複数の映像信号は、適宜選択されて出力され、編集手段４ｂにおいて１つの映像信号１０９に編集されて出力される。この選択された映像信号１０９は蓄積手段５ｂに蓄えられる。
以上のように、リアルタイムおよび非リアルタイムの編集過程を経て１つの映像ソースが作成され、蓄積される。
【００１２】
次に、上記蓄積手段５ｂに蓄えられた映像信号は、以下のような処理過程を経て符号化され、伝送される。蓄積手段５ｂに蓄えられた映像信号１１０は、符号化手段６ｂに与えられ、たとえば、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）などの符号化手段を用いて符号化される。符号化された映像データ１１１は、出力端子７ａより出力される。通常、上記映像データ１１１は、音声データ等と適宜多重化され、伝送（蓄積）される。
【００１３】
図５は、従来の符号化手段６ｂの一例を示すブロック回路図である。
一般に、映像信号符号化手段として、動き補償予測とＤＣＴを用いた手法がよく使われている。この従来例も、動き補償予測とＤＣＴを用いている。
一般に、動き補償予測を用いた符号化手法では、符号化される画像の動きが激しい場合や、細かな絵柄が動いている場合、あるいは、シーンチェンジの場合には、予測誤差の増加により発生符号量が増加する。通常、このような場合には、量子化手段の量子化ステップを粗くし、発生符号量を減少させるように制御する必要がある。
従来例では、送信バッファ手段１４において送信バッファ残量を算出し、符号量制御手段２１ｂが上記送信バッファ残量に基づき、発生符号量を制御している。
【００１４】
図６は、図５に示した符号化手段６ｂに対応した動き補償予測とＤＣＴを用いた手法に対する復号化手段を示すブロック回路図である。
先に述べたように、動き補償予測を用いた符号化手法では、符号化される画像の動きが激しい場合や、細かな絵柄が動いている場合、あるいは、シーンチェンジの場合には、予測誤差の増加により発生符号量が増加する。通常、このような場合には、図５中の量子化手段１２の量子化ステップを粗くして符号化される。このとき、量子化ステップを粗くすることは、画質劣化を生じさせることを意味する。たとえば、シーンチェンジ直後の映像は量子化ステップが極端に粗くなり、ブロック歪と言われるモザイク状の画像が再生されることになる。
従来例では、図６中に示す復号化された映像信号１４５に基づいてシーンチェンジを検出し、シーンチェンジ時にはフィルタ手段２４において低域通過フィルタ処理を施すことで、ブロック歪を視覚的に軽減させている。
【００１５】
【発明が解決しようとする課題】
従来の映像信号蓄積伝送装置における符号化手段は以上のように構成されており、送信バッファ残量をフィードバックさせることによって、符号量制御を行っていた。そのため、シーンチェンジのように急激に発生符号量が増加する場合には、送信バッファがオーバーフローしてしまい、システムが破綻してしまうことがあった。
【００１６】
また、シーンチェンジをあらかじめ検出して符号量制御する手法もあるが、一般に、シーンチェンジ検出には、フレーム単位のメモリが必要となり、回路規模の増大につながっていた。
【００１７】
また、従来の映像信号蓄積伝送装置においては、シーンチェンジ検出手段を復号化手段に設ける必要があった。一般にシーンチェンジ検出には、フレーム単位のメモリが必要となり、ハードウェア量の増加につながっていた。
【００１８】
また、復号化された映像信号から正確にシーンチェンジを検出することは困難であるという問題があった。
【００１９】
この発明は上記のような問題点を解消するためになされたもので、シーンチェンジ検出手段を設けることなくシーンチェンジを的確にとらえて、符号化および復号化処理を行うことができ、回路規模を小さくできる映像信号蓄積伝送方法および装置を得ることを目的とする。
【００２０】
【課題を解決するための手段】
請求項１の発明に係る映像信号蓄積伝送方法は、
複数の撮像された映像信号を蓄積し、この蓄積された複数の映像信号を編集した映像信号を符号化して伝送し、受信側でこの伝送されてきた映像データを復号化して再生映像信号を得る映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送し、受信側で上記編集情報を分離し、この編集情報を参照して復号化した再生映像信号の低域通過フイルタ処理を行うことを特徴とする。
【００２１】
また、請求項２の発明に係る映像信号蓄積伝送方法は、
複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化して伝送し、この伝送されてきた映像データを復号化して再生映像信号を得る映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送し、
上記復号化時において、上記編集情報を分離し、この編集情報を参照して上記編集後の映像信号を蓄積する
ことを特徴とする。
【００２２】
また、請求項３の発明に係る映像信号蓄積伝送装置は、
複数の蓄積装置を有し、その各々が
撮像された映像信号を蓄積する手段と、
蓄積された映像信号を編集する手段と、
上記編集した映像信号の編集情報を得る手段と、
この編集された映像信号に上記編集情報を多重化する手段と、
この編集情報が多重化された映像信号を符号化して伝送する手段と、
伝送されてきた映像データを復号化して再生映像信号を得るとともに上記編集情報を分離する手段とを有し、
上記複数の蓄積装置の一つから伝送された映像データを、別の蓄積装置で復号化して再生映像信号を得るとともに上記編集情報を分離して、この編集情報を参照して上記編集後の映像信号を上記別の蓄積装置で蓄積し、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行う手段を更に備える
ことを特徴とする。
【００２３】
請求項４の発明に係る映像信号蓄積伝送方法は、
複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化して伝送する映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送する
ことを特徴とする。
請求項５の発明に係る映像信号蓄積方法は、
複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化することからなる映像信号蓄積方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化する
ことを特徴とする。
【００２４】
【作用】
請求項１の発明に係る映像信号蓄積伝送方法によれば、編集した映像信号にその編集情報を重畳して伝送し、受信側において、分離した編集情報を参照して再生映像信号の低域通過フイルタ処理を行うので、シーンチェンジ等に生じるブロック歪みを軽減することができる。
【００２５】
また、上記編集情報を参照して編集した映像信号の符号化時の符号量制御を行うので、シーンチェンジ時等に発生する符号量を抑制でき、回路規模を小さくできる。
【００２６】
【実施例】
実施例１．
以下、この発明の一実施例について説明する。
図１は、この実施例の映像信号蓄積伝送装置における蓄積部および符号化部を示すブロック回路図である。図において、図４と同一符号はそれぞれ同一または相当部分を示しており、第１の切り換え手段２ａの第１の出力である映像信号１０３およびその編集情報信号である第２の出力２０３は、第１の蓄積手段３ａの第１の入力および第２の入力に与えられる。また、第１の蓄積手段３ａの第１の出力である映像信号１０４およびその編集情報信号である第２の出力２０４は、編集手段４ａの第１の入力および第２の入力に与えられる。同様な構成により、第ｍの蓄積手段３ａの第１の出力である映像信号１０８およびその編集情報信号である第２の出力２０８は、編集手段４ａの第２ｍ−１および第２ｍの入力に与えられる。
【００２７】
編集手段４ａの第１の出力である映像信号１０９およびその編集情報信号である第２の出力２０９は、蓄積手段５ａの第１の入力および第２の入力に与えられる。蓄積手段５ａの第１の出力である映像信号１１０およびその編集情報信号である第２の出力２１０は、符号化手段６ａの第１の入力および第２の入力に与えられる。符号化手段６ａの出力である映像データ３００は、出力端子７ａより出力される。
【００２８】
図２は、この実施例における符号化手段６ａを示すブロック回路図である。図において、図５と同一符号はそれぞれ同一または相当部分を示しており、符号化手段６ａに入力された編集情報信号２１０は、符号量制御手段２１ａの第２の入力に与えられるとともに、可変長符号化手段１３ａの第４の入力に与えられる。
【００２９】
図３は、この実施例の映像信号蓄積伝送装置における復号化手段８ａを示すブロック回路図である。図において、図６と同一符号はそれぞれ同一または相当部分を示しており、可変長復号化手段２３ａの第４の出力２１０は、フィルタ手段２４の第２の入力に与えられ、フィルタ手段２４の出力１１３は、復号化手段８ａの再生映像信号出力として表示手段９に出力されて表示される。
【００３０】
以下、この実施例の動作について説明する。
図１において、第１〜第ｎの撮像手段１により撮像された複数の映像信号は、第１〜第ｍの切り換え手段２ａにおいて、それぞれ１つの映像信号のみが選択されて出力される。このとき、各切り換え手段２ａは、選択された映像信号１０３，１０７とともに、それぞれの編集情報信号２０３，２０７を第１〜第ｍの蓄積手段３ａに送出する。この編集情報信号２０３，２０７は、映像信号１０３，１０７のシーンチェンジを示す信号であって、上記切り換え手段２ａにおける選択信号の切り換えはシーンチェンジの発生を意味し、その情報を蓄積手段３ａに伝送する。第１〜第ｍの蓄積手段３ａでは、映像信号１０３，１０７とともに、その編集情報信号２０３，２０７を蓄積する。
【００３１】
この編集情報信号２０３，２０７としては、映像ソースのアイデンティティを示す指標をすべてのフレームに付加する構成や、シーンチェンジ直後のフレームにシーンチェンジを示す指標を付加する構成等が考えられるが、特にこの信号フォーマットを規定するものではない。また、蓄積手段３ａは、ディジタルでもアナログでもよく、編集情報信号は、映像信号のブランキング期間に多重する方法や、新たに領域を設けて蓄積する方法等が考えられるが、これに関しても規定するものではない。
【００３２】
通常、複数の蓄積手段３ａに蓄えられた映像信号は、更に編集されることになる。図１において、編集手段４ａでは複数の蓄積手段３ａに蓄積された映像信号を編集し、新たな映像シーケンスとして蓄積手段５ａに蓄える。このとき、編集手段４ａでは、上記切り換え手段２ａと上記蓄積手段３ａを通して作成された編集情報信号に、新たに編集手段４ａにおける編集情報を付加することになる。編集手段４ａにおける映像信号の編集は、多くの場合、シーンチェンジの発生を意味することになり、蓄積された編集情報信号は、切り換え手段２ａにおけるリアルタイム編集に関する情報と、編集手段４ａにおける非リアルタイム編集に関する情報の両者を含むことになる。
【００３３】
このようにして、蓄積手段５ａに蓄えられた映像信号１１０と編集情報信号２１０は、符号化手段６ａに与えられ、たとえば、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）などの符号化手段を用いて符号化される。符号化された映像データ３００は、出力端子７ａより出力される。通常、上記映像データ３００は、音声データ等と適宜多重化され、伝送（蓄積）される。
【００３４】
図２に示す符号化手段６ａでは、蓄積手段５ａより、映像信号１１０と編集情報信号２１０の両者を受け取り、符号化を行う。このとき、編集情報信号２１０はシーンチェンジを示す指標であるからり、符号化手段６ａでは、これに基づいて符号量制御を行うことができる。先に述べたように、シーンチェンジでは、予測誤差の増加により発生符号量が急激に増加するが、本実施例では、編集情報信号２１０によりシーンチェンジをあらかじめ知ることができるので、シーンチェンジ時にも安定した符号量制御が可能となる。
【００３５】
一方、編集情報信号２１０は、上記符号化手段６ａにおいて映像データ１１０に多重化されて伝送される。上記処理は、編集情報を復号化手段８ａに伝送することを目的としている。そのため、編集情報信号２１０は必ずしも図２中に示す可変長符号化手段１３ａで多重化される必要はなく、他の手段，手法、たとえば、映像、音声が多重化される手段で多重化されてもよく、これを規定するものではない。
【００３６】
次に、図３に示した復号化手段８ａの動作を説明する。
入力端子７ｂから入力された映像データ３００は復号化手段８ａに入力され、可変長符号化手段２３ａでは、符号化手段６ａで多重化された編集情報信号２１０を分離し、これをフィルタ手段２４に送出する。先に述べたように、一般に、シーンチェンジ直後の映像は量子化ステップが極端に粗くなり、ブロック歪と言われるモザイク状の劣化が生ずるので、本実施例では、分離した編集情報信号２１０に基づき、シーンチェンジ直後の映像信号１４５に低域通過フィルタ処理を施し、この再生映像信号１１３を表示手段９に出力して表示するので、上記モザイク状の劣化の発生を軽減することができる。
【００３７】
【発明の効果】
請求項１の発明に係る映像信号蓄積伝送方法によれば、編集した映像信号にその編集情報を多重化して伝送し、受信側において、分離した編集情報を参照して再生映像信号の低域通過フイルタ処理を行うので、シーンチェンジ検出回路を設けることなく、シーンチェンジ時等に生じるブロック歪みを軽減することができる。
【００３８】
また、編集情報を参照して編集した映像信号の符号化時の符号量制御を行うので、シーンチェンジ時等に発生する符号量を抑制でき、回路規模を小さくすることができる。
【図面の簡単な説明】
【図１】この発明の一実施例の蓄積部および符号化手段のブロック回路図である。
【図２】この実施例の符号化手段のブロック回路図である。
【図３】この実施例の復号化手段のブロック回路図である。
【図４】従来の映像信号蓄積伝送装置の蓄積部および符号化手段のブロック回路図である。
【図５】従来例の符号化手段のブロック回路図である。
【図６】従来例の復号化手段のブロック回路図である。
【符号の説明】
１ 撮像手段、２ 切り換え手段、３，５ 蓄積手段、４ 編集手段、６ 符号化手段、８ 復号化手段、９ 表示手段、１０ 減算手段、１１ ＤＣＴ手段、１２ 量子化手段、１３ 可変長符号化手段、１４ 送信バッファ手段、１５逆量子化手段、１６ 逆ＤＣＴ手段、１７ 加算手段、１８ メモリ手段、１９ 動き検出手段、２０ 選択手段、２１ 符号量制御手段、２２ 受信バッファ手段、２３ 可変長復号化手段、２４ フィルタ手段。
【産業上の利用分野】
この発明は、映像信号を蓄積して編集し、この編集した映像信号を符号化して伝送し、受信した伝送信号を映像信号に復号化する映像信号蓄積伝送方法および装置に関する。
【０００２】
【従来の技術】
図４は、従来の映像信号蓄積伝送装置における蓄積部および符号化部を示すブロック回路図である。図において、第１の撮像手段１にて撮像された映像信号１０１は、切り換え手段２ｂの第１の入力に与えられ、同様に、第ｎの撮像手段１にて撮像された映像信号１０２は、第１の切り換え手段２ｂの第ｎの入力に与えられる。第１の切り換え手段２ｂの出力１０３は、第１の蓄積手段３ｂに与えられ、第１の蓄積手段３ｂの出力１０４は、編集手段４ｂの第１の入力に与えられる。同様な構成により、第ｍの蓄積手段３ｂの出力１０８は、編集手段４ｂの第ｍの入力に与えられる。
【０００３】
編集手段４ｂの出力１０９は、蓄積手段５ｂに入力される。蓄積手段５ｂの出力である映像信号１１０は、符号化手段６ｂに与えられ、符号化手段６ｂの出力である映像データ１１１は、出力端子７ａより出力される。
【０００４】
図５は、この従来例における符号化手段６ｂを示すブロック回路図である。図において、符号化手段６ｂに入力された映像信号１１０は、減算手段１０の第１の入力に与えられるとともに、動き検出手段１９の第１の入力に与えられる。減算手段１０の出力１２１は、ＤＣＴ手段１１の第１の入力に与えられ、ＤＣＴ手段１１の出力１２２は量子化手段１２の入力に与えられる。量子化手段１２の出力１２３は、可変長符号化手段１３ｂの第１の入力に与えられるとともに、逆量子化手段１５の入力に与えられ、逆量子化手段１５の出力１２４は逆ＤＣＴ手段１６に与えられ、逆ＤＣＴ手段１６の出力１２５は加算手段１７の第１の入力に与えられる。加算手段１７の出力１２６はメモリ手段１８の第１の入力に与えられ、メモリ手段１８の出力１２７は、動き検出手段１９の第２の入力に与えられるとともに、選択手段２０の第１の入力に与えられる。選択手段２０の第２の入力には、ゼロ信号が与えられる。選択手段２０の出力１２８は、減算手段１０の第２の入力に与えられるとともに、加算手段１７の第２の入力に与えられる。
【０００５】
一方、動き検出手段１９の第１の出力１２９は、選択手段２０の第３の入力に与えられるとともに、可変長符号化手段１３ｂの第２の入力に与えられる。また、動き検出手段１９の第２の出力１３０は、メモリ手段１８の第２の入力に与えられるとともに、可変長符号化手段１３ｂの第３の入力に与えられる。可変長符号化手段１３ｂの出力１３１は送信バッファ手段１４の入力に与えられ、送信バッファ手段１４の第２の出力１３２は符号量制御手段２１ｂに与えられ、符号量制御手段２１ｂの出力１３３は量子化手段１２の第２の入力に与えられる。送信バッファ手段１４の第１の出力１１１は、符号化手段６ｂの映像データ出力として出力端子７ａを介して伝送される。
【０００６】
図６は、従来の映像信号蓄積伝送装置における復号化部を示すブロック回路図である。図において、入力端子７ｂから復号化手段８ｂに入力された映像データ１１１は、受信バッファ手段２２を介して可変長復号化手段２３ｂに与えられる。可変長復号化手段２３ｂの第１の出力１４２は逆量子化手段１５に与えられ、逆量子化手段１５の出力１４３は逆ＤＣＴ手段１６に与えられ、逆ＤＣＴ手段１６の出力１４４は加算手段１７の第１の入力に与えられる。加算手段１７の出力１４５は、フィルタ手段２４の第１の入力、メモリ手段１８の第１の入力およびシーンチェンジ検出手段２５の入力に与えられる。
【０００７】
一方、可変長復号化手段２３ｂの第２の出力１４９はメモリ手段１８の第２の入力に与えられ、可変長復号化手段２３ｂの第３の出力１５０は選択手段２０の第３の入力に与えられる。メモリ手段１８の出力１４７は選択手段２０の第１の入力に与えられ、選択手段２０の第２の入力にはゼロ信号が与えられる。選択手段２０の出力１４８は加算手段１７の第２の入力に与えられる。
【０００８】
一方、シーンチェンジ検出手段２６の出力１５１はフィルタ手段２４の第２の入力に与えられ、フィルタ手段２４の出力１１２は復号化手段８ｂの再生映像信号として表示手段９に出力されて表示される。
【０００９】
次に、従来例の動作について説明する。
一般に、１つの映像ソースは、複数の撮像手段により撮像された映像を適宜編集することにより作成される。このとき、上記編集には、リアルタイムで行われる場合（たとえば、カメラの切り換え等）と、非リアルタイムで行われる場合（たとえば、撮像後の編集等）とがある。
【００１０】
図４において、複数の撮像手段１により撮像された映像信号は、第１〜第ｍの切り換え手段２ｂによってそれぞれ映像信号が選択され、一度、第１〜第ｍの蓄積手段３ｂに蓄えられる。上記過程は、リアルタイムで行われる編集を示している。
【００１１】
更に、以下のように、上記複数の蓄積手段３ｂを用いて非リアルタイムで行われる編集を行う。第１〜第ｍの蓄積手段３ｂに蓄えられた複数の映像信号は、適宜選択されて出力され、編集手段４ｂにおいて１つの映像信号１０９に編集されて出力される。この選択された映像信号１０９は蓄積手段５ｂに蓄えられる。
以上のように、リアルタイムおよび非リアルタイムの編集過程を経て１つの映像ソースが作成され、蓄積される。
【００１２】
次に、上記蓄積手段５ｂに蓄えられた映像信号は、以下のような処理過程を経て符号化され、伝送される。蓄積手段５ｂに蓄えられた映像信号１１０は、符号化手段６ｂに与えられ、たとえば、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）などの符号化手段を用いて符号化される。符号化された映像データ１１１は、出力端子７ａより出力される。通常、上記映像データ１１１は、音声データ等と適宜多重化され、伝送（蓄積）される。
【００１３】
図５は、従来の符号化手段６ｂの一例を示すブロック回路図である。
一般に、映像信号符号化手段として、動き補償予測とＤＣＴを用いた手法がよく使われている。この従来例も、動き補償予測とＤＣＴを用いている。
一般に、動き補償予測を用いた符号化手法では、符号化される画像の動きが激しい場合や、細かな絵柄が動いている場合、あるいは、シーンチェンジの場合には、予測誤差の増加により発生符号量が増加する。通常、このような場合には、量子化手段の量子化ステップを粗くし、発生符号量を減少させるように制御する必要がある。
従来例では、送信バッファ手段１４において送信バッファ残量を算出し、符号量制御手段２１ｂが上記送信バッファ残量に基づき、発生符号量を制御している。
【００１４】
図６は、図５に示した符号化手段６ｂに対応した動き補償予測とＤＣＴを用いた手法に対する復号化手段を示すブロック回路図である。
先に述べたように、動き補償予測を用いた符号化手法では、符号化される画像の動きが激しい場合や、細かな絵柄が動いている場合、あるいは、シーンチェンジの場合には、予測誤差の増加により発生符号量が増加する。通常、このような場合には、図５中の量子化手段１２の量子化ステップを粗くして符号化される。このとき、量子化ステップを粗くすることは、画質劣化を生じさせることを意味する。たとえば、シーンチェンジ直後の映像は量子化ステップが極端に粗くなり、ブロック歪と言われるモザイク状の画像が再生されることになる。
従来例では、図６中に示す復号化された映像信号１４５に基づいてシーンチェンジを検出し、シーンチェンジ時にはフィルタ手段２４において低域通過フィルタ処理を施すことで、ブロック歪を視覚的に軽減させている。
【００１５】
【発明が解決しようとする課題】
従来の映像信号蓄積伝送装置における符号化手段は以上のように構成されており、送信バッファ残量をフィードバックさせることによって、符号量制御を行っていた。そのため、シーンチェンジのように急激に発生符号量が増加する場合には、送信バッファがオーバーフローしてしまい、システムが破綻してしまうことがあった。
【００１６】
また、シーンチェンジをあらかじめ検出して符号量制御する手法もあるが、一般に、シーンチェンジ検出には、フレーム単位のメモリが必要となり、回路規模の増大につながっていた。
【００１７】
また、従来の映像信号蓄積伝送装置においては、シーンチェンジ検出手段を復号化手段に設ける必要があった。一般にシーンチェンジ検出には、フレーム単位のメモリが必要となり、ハードウェア量の増加につながっていた。
【００１８】
また、復号化された映像信号から正確にシーンチェンジを検出することは困難であるという問題があった。
【００１９】
この発明は上記のような問題点を解消するためになされたもので、シーンチェンジ検出手段を設けることなくシーンチェンジを的確にとらえて、符号化および復号化処理を行うことができ、回路規模を小さくできる映像信号蓄積伝送方法および装置を得ることを目的とする。
【００２０】
【課題を解決するための手段】
請求項１の発明に係る映像信号蓄積伝送方法は、
複数の撮像された映像信号を蓄積し、この蓄積された複数の映像信号を編集した映像信号を符号化して伝送し、受信側でこの伝送されてきた映像データを復号化して再生映像信号を得る映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送し、受信側で上記編集情報を分離し、この編集情報を参照して復号化した再生映像信号の低域通過フイルタ処理を行うことを特徴とする。
【００２１】
また、請求項２の発明に係る映像信号蓄積伝送方法は、
複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化して伝送し、この伝送されてきた映像データを復号化して再生映像信号を得る映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送し、
上記復号化時において、上記編集情報を分離し、この編集情報を参照して上記編集後の映像信号を蓄積する
ことを特徴とする。
【００２２】
また、請求項３の発明に係る映像信号蓄積伝送装置は、
複数の蓄積装置を有し、その各々が
撮像された映像信号を蓄積する手段と、
蓄積された映像信号を編集する手段と、
上記編集した映像信号の編集情報を得る手段と、
この編集された映像信号に上記編集情報を多重化する手段と、
この編集情報が多重化された映像信号を符号化して伝送する手段と、
伝送されてきた映像データを復号化して再生映像信号を得るとともに上記編集情報を分離する手段とを有し、
上記複数の蓄積装置の一つから伝送された映像データを、別の蓄積装置で復号化して再生映像信号を得るとともに上記編集情報を分離して、この編集情報を参照して上記編集後の映像信号を上記別の蓄積装置で蓄積し、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行う手段を更に備える
ことを特徴とする。
【００２３】
請求項４の発明に係る映像信号蓄積伝送方法は、
複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化して伝送する映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送する
ことを特徴とする。
請求項５の発明に係る映像信号蓄積方法は、
複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化することからなる映像信号蓄積方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化する
ことを特徴とする。
【００２４】
【作用】
請求項１の発明に係る映像信号蓄積伝送方法によれば、編集した映像信号にその編集情報を重畳して伝送し、受信側において、分離した編集情報を参照して再生映像信号の低域通過フイルタ処理を行うので、シーンチェンジ等に生じるブロック歪みを軽減することができる。
【００２５】
また、上記編集情報を参照して編集した映像信号の符号化時の符号量制御を行うので、シーンチェンジ時等に発生する符号量を抑制でき、回路規模を小さくできる。
【００２６】
【実施例】
実施例１．
以下、この発明の一実施例について説明する。
図１は、この実施例の映像信号蓄積伝送装置における蓄積部および符号化部を示すブロック回路図である。図において、図４と同一符号はそれぞれ同一または相当部分を示しており、第１の切り換え手段２ａの第１の出力である映像信号１０３およびその編集情報信号である第２の出力２０３は、第１の蓄積手段３ａの第１の入力および第２の入力に与えられる。また、第１の蓄積手段３ａの第１の出力である映像信号１０４およびその編集情報信号である第２の出力２０４は、編集手段４ａの第１の入力および第２の入力に与えられる。同様な構成により、第ｍの蓄積手段３ａの第１の出力である映像信号１０８およびその編集情報信号である第２の出力２０８は、編集手段４ａの第２ｍ−１および第２ｍの入力に与えられる。
【００２７】
編集手段４ａの第１の出力である映像信号１０９およびその編集情報信号である第２の出力２０９は、蓄積手段５ａの第１の入力および第２の入力に与えられる。蓄積手段５ａの第１の出力である映像信号１１０およびその編集情報信号である第２の出力２１０は、符号化手段６ａの第１の入力および第２の入力に与えられる。符号化手段６ａの出力である映像データ３００は、出力端子７ａより出力される。
【００２８】
図２は、この実施例における符号化手段６ａを示すブロック回路図である。図において、図５と同一符号はそれぞれ同一または相当部分を示しており、符号化手段６ａに入力された編集情報信号２１０は、符号量制御手段２１ａの第２の入力に与えられるとともに、可変長符号化手段１３ａの第４の入力に与えられる。
【００２９】
図３は、この実施例の映像信号蓄積伝送装置における復号化手段８ａを示すブロック回路図である。図において、図６と同一符号はそれぞれ同一または相当部分を示しており、可変長復号化手段２３ａの第４の出力２１０は、フィルタ手段２４の第２の入力に与えられ、フィルタ手段２４の出力１１３は、復号化手段８ａの再生映像信号出力として表示手段９に出力されて表示される。
【００３０】
以下、この実施例の動作について説明する。
図１において、第１〜第ｎの撮像手段１により撮像された複数の映像信号は、第１〜第ｍの切り換え手段２ａにおいて、それぞれ１つの映像信号のみが選択されて出力される。このとき、各切り換え手段２ａは、選択された映像信号１０３，１０７とともに、それぞれの編集情報信号２０３，２０７を第１〜第ｍの蓄積手段３ａに送出する。この編集情報信号２０３，２０７は、映像信号１０３，１０７のシーンチェンジを示す信号であって、上記切り換え手段２ａにおける選択信号の切り換えはシーンチェンジの発生を意味し、その情報を蓄積手段３ａに伝送する。第１〜第ｍの蓄積手段３ａでは、映像信号１０３，１０７とともに、その編集情報信号２０３，２０７を蓄積する。
【００３１】
この編集情報信号２０３，２０７としては、映像ソースのアイデンティティを示す指標をすべてのフレームに付加する構成や、シーンチェンジ直後のフレームにシーンチェンジを示す指標を付加する構成等が考えられるが、特にこの信号フォーマットを規定するものではない。また、蓄積手段３ａは、ディジタルでもアナログでもよく、編集情報信号は、映像信号のブランキング期間に多重する方法や、新たに領域を設けて蓄積する方法等が考えられるが、これに関しても規定するものではない。
【００３２】
通常、複数の蓄積手段３ａに蓄えられた映像信号は、更に編集されることになる。図１において、編集手段４ａでは複数の蓄積手段３ａに蓄積された映像信号を編集し、新たな映像シーケンスとして蓄積手段５ａに蓄える。このとき、編集手段４ａでは、上記切り換え手段２ａと上記蓄積手段３ａを通して作成された編集情報信号に、新たに編集手段４ａにおける編集情報を付加することになる。編集手段４ａにおける映像信号の編集は、多くの場合、シーンチェンジの発生を意味することになり、蓄積された編集情報信号は、切り換え手段２ａにおけるリアルタイム編集に関する情報と、編集手段４ａにおける非リアルタイム編集に関する情報の両者を含むことになる。
【００３３】
このようにして、蓄積手段５ａに蓄えられた映像信号１１０と編集情報信号２１０は、符号化手段６ａに与えられ、たとえば、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）などの符号化手段を用いて符号化される。符号化された映像データ３００は、出力端子７ａより出力される。通常、上記映像データ３００は、音声データ等と適宜多重化され、伝送（蓄積）される。
【００３４】
図２に示す符号化手段６ａでは、蓄積手段５ａより、映像信号１１０と編集情報信号２１０の両者を受け取り、符号化を行う。このとき、編集情報信号２１０はシーンチェンジを示す指標であるからり、符号化手段６ａでは、これに基づいて符号量制御を行うことができる。先に述べたように、シーンチェンジでは、予測誤差の増加により発生符号量が急激に増加するが、本実施例では、編集情報信号２１０によりシーンチェンジをあらかじめ知ることができるので、シーンチェンジ時にも安定した符号量制御が可能となる。
【００３５】
一方、編集情報信号２１０は、上記符号化手段６ａにおいて映像データ１１０に多重化されて伝送される。上記処理は、編集情報を復号化手段８ａに伝送することを目的としている。そのため、編集情報信号２１０は必ずしも図２中に示す可変長符号化手段１３ａで多重化される必要はなく、他の手段，手法、たとえば、映像、音声が多重化される手段で多重化されてもよく、これを規定するものではない。
【００３６】
次に、図３に示した復号化手段８ａの動作を説明する。
入力端子７ｂから入力された映像データ３００は復号化手段８ａに入力され、可変長符号化手段２３ａでは、符号化手段６ａで多重化された編集情報信号２１０を分離し、これをフィルタ手段２４に送出する。先に述べたように、一般に、シーンチェンジ直後の映像は量子化ステップが極端に粗くなり、ブロック歪と言われるモザイク状の劣化が生ずるので、本実施例では、分離した編集情報信号２１０に基づき、シーンチェンジ直後の映像信号１４５に低域通過フィルタ処理を施し、この再生映像信号１１３を表示手段９に出力して表示するので、上記モザイク状の劣化の発生を軽減することができる。
【００３７】
【発明の効果】
請求項１の発明に係る映像信号蓄積伝送方法によれば、編集した映像信号にその編集情報を多重化して伝送し、受信側において、分離した編集情報を参照して再生映像信号の低域通過フイルタ処理を行うので、シーンチェンジ検出回路を設けることなく、シーンチェンジ時等に生じるブロック歪みを軽減することができる。
【００３８】
また、編集情報を参照して編集した映像信号の符号化時の符号量制御を行うので、シーンチェンジ時等に発生する符号量を抑制でき、回路規模を小さくすることができる。
【図面の簡単な説明】
【図１】この発明の一実施例の蓄積部および符号化手段のブロック回路図である。
【図２】この実施例の符号化手段のブロック回路図である。
【図３】この実施例の復号化手段のブロック回路図である。
【図４】従来の映像信号蓄積伝送装置の蓄積部および符号化手段のブロック回路図である。
【図５】従来例の符号化手段のブロック回路図である。
【図６】従来例の復号化手段のブロック回路図である。
【符号の説明】
１ 撮像手段、２ 切り換え手段、３，５ 蓄積手段、４ 編集手段、６ 符号化手段、８ 復号化手段、９ 表示手段、１０ 減算手段、１１ ＤＣＴ手段、１２ 量子化手段、１３ 可変長符号化手段、１４ 送信バッファ手段、１５逆量子化手段、１６ 逆ＤＣＴ手段、１７ 加算手段、１８ メモリ手段、１９ 動き検出手段、２０ 選択手段、２１ 符号量制御手段、２２ 受信バッファ手段、２３ 可変長復号化手段、２４ フィルタ手段。
Claims (5)
- 複数の撮像された映像信号を蓄積し、この蓄積された複数の映像信号を編集した映像信号を符号化して伝送し、受信側でこの伝送されてきた映像データを復号化して再生映像信号を得る映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送し、受信側で上記編集情報を分離し、この編集情報を参照して復号化した再生映像信号の低域通過フイルタ処理を行うことを特徴とする映像信号蓄積伝送方法。 - 複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化して伝送し、この伝送されてきた映像データを復号化して再生映像信号を得る映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送し、
上記復号化時において、上記編集情報を分離し、この編集情報を参照して上記編集後の映像信号を蓄積する
ことを特徴とする映像信号蓄積伝送方法。 - 複数の蓄積装置を有し、その各々が
撮像された映像信号を蓄積する手段と、
蓄積された映像信号を編集する手段と、
上記編集した映像信号の編集情報を得る手段と、
この編集された映像信号に上記編集情報を多重化する手段と、
この編集情報が多重化された映像信号を符号化して伝送する手段と、
伝送されてきた映像データを復号化して再生映像信号を得るとともに上記編集情報を分離する手段とを有し、
上記複数の蓄積装置の一つから伝送された映像データを、別の蓄積装置で復号化して再生映像信号を得るとともに上記編集情報を分離して、この編集情報を参照して上記編集後の映像信号を上記別の蓄積装置で蓄積し、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行う手段を更に備える
ことを特徴とする映像信号蓄積伝送装置。 - 複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化して伝送する映像信号蓄積伝送方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化して伝送する
ことを特徴とする映像信号蓄積伝送方法。 - 複数の撮像された映像信号を蓄積し、この蓄積された映像信号を編集した映像信号を符号化することからなる映像信号蓄積方法において、
上記編集した映像信号の編集情報を参照して符号化時の符号量制御を行い、
上記編集した映像信号の編集情報を当該映像信号に多重化する
ことを特徴とする映像信号蓄積方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06928895A JP3594355B2 (ja) | 1995-03-28 | 1995-03-28 | 映像信号蓄積伝送方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06928895A JP3594355B2 (ja) | 1995-03-28 | 1995-03-28 | 映像信号蓄積伝送方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08265685A JPH08265685A (ja) | 1996-10-11 |
| JP3594355B2 true JP3594355B2 (ja) | 2004-11-24 |
Family
ID=13398269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06928895A Expired - Fee Related JP3594355B2 (ja) | 1995-03-28 | 1995-03-28 | 映像信号蓄積伝送方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3594355B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7982796B2 (en) | 2001-03-21 | 2011-07-19 | Apple Inc. | Track for improved video compression |
-
1995
- 1995-03-28 JP JP06928895A patent/JP3594355B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08265685A (ja) | 1996-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JP2008228282A (ja) | 画像処理装置 | |
| WO1997049250A1 (en) | Device and method for encoding picture and device and method for decoding picture | |
| US20020097335A1 (en) | Video data processing device and video data processing method | |
| EP0520741A1 (en) | Image compression associated with camera shake correction | |
| US5872600A (en) | Conversion of interlaced picture signals to film picture signals by detecting a pattern and removing selected fields as defined by the interlaced picture signals based on the detected pattern | |
| JP3221785B2 (ja) | 撮像装置 | |
| JP3594355B2 (ja) | 映像信号蓄積伝送方法および装置 | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| JPH09168148A (ja) | 動画像符号化方法及び装置、並びに記録媒体 | |
| JPH05153573A (ja) | 動画像データ復号化装置 | |
| EP0927954B1 (en) | Image signal compression coding method and apparatus | |
| JPS63182984A (ja) | テレビジヨン信号復号化装置 | |
| JP2002300600A (ja) | 立体像符号化装置および立体像復号装置 | |
| JPH10257485A (ja) | 繰り返し画像検出回路及び画像符号化装置 | |
| JPH09261632A (ja) | 画像信号処理装置 | |
| JP3891198B2 (ja) | 復号装置及び方法、並びに伝送装置及び方法 | |
| JP3952926B2 (ja) | 映像符号化装置及び映像符号化方法 | |
| JPH08149481A (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JPH07298270A (ja) | 動き補償フレーム間予測符号化装置 | |
| JPH0795590A (ja) | 映像信号処理装置、映像信号処理方法及び撮像装置 | |
| JP2006109060A (ja) | 画像符号化情報を利用した手ぶれ補正方法及び装置 | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
| JP2832949B2 (ja) | 高能率符号の復号装置 | |
| JP2004248320A (ja) | 画像記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040831 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |