JP3555741B2 - 情報圧縮装置 - Google Patents

情報圧縮装置 Download PDF

Info

Publication number
JP3555741B2
JP3555741B2 JP23463898A JP23463898A JP3555741B2 JP 3555741 B2 JP3555741 B2 JP 3555741B2 JP 23463898 A JP23463898 A JP 23463898A JP 23463898 A JP23463898 A JP 23463898A JP 3555741 B2 JP3555741 B2 JP 3555741B2
Authority
JP
Japan
Prior art keywords
address
memory
compression processing
circuit
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP23463898A
Other languages
English (en)
Other versions
JP2000069468A (ja
Inventor
誠司 日暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP23463898A priority Critical patent/JP3555741B2/ja
Priority to DE69936280T priority patent/DE69936280T2/de
Priority to EP99114610A priority patent/EP0981250B1/en
Priority to US09/363,093 priority patent/US6525776B1/en
Priority to CNB991113810A priority patent/CN1140128C/zh
Publication of JP2000069468A publication Critical patent/JP2000069468A/ja
Application granted granted Critical
Publication of JP3555741B2 publication Critical patent/JP3555741B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は情報圧縮装置に係り、特に入力画像信号及び音声信号を圧縮符号化する情報圧縮装置に関する。
【0002】
【従来の技術】
通信、放送、蓄積メディアなどの各分野において、限られた伝送帯域の伝送路を通して、できるだけ多くの情報量の情報信号を伝送するには、情報信号を圧縮する技術が極めて重要であり、従来より情報圧縮技術は種々提案されている。なかでも代表的な情報圧縮技術は、画像信号や音声信号などに対して高能率圧縮符号化を行う国際動画像符号化標準であるMPEG(Moving Picture Experts Group)による情報圧縮技術である。
【0003】
かかるMPEG方式の情報圧縮装置では、圧縮動作を複数のフレーム単位で行っており、通常符号量制御もいわゆるGOP(グループ・オブ・ピクチャ)と呼ばれる複数のフレーム単位で行っており、処理がこのGOP単位となっている。図2はこのGOP構成の一例を示す。同図において、IはIピクチャ、BはBピクチャ、PはPピクチャを示し、添字はGOPでの順番を示し、矢印は予測方向を示す。
【0004】
周知のように、Iピクチャは1画面の画像情報を原画像と同じ順序で圧縮符号化したイントラ符号化画像(フレーム内符号化画像)であり、Pピクチャはフレーム間の画像情報を原画像と同じ順序で圧縮したフレーム間順方向予測符号化画像である。また、Bピクチャは、IピクチャとPピクチャを先に処理した後でその間に挿入される双方向予測符号化画像である。1つのGOPは、一つのIピクチャとそれぞれ一又は二以上のPピクチャ及びBピクチャからなる。
【0005】
【発明が解決しようとする課題】
上記の従来の情報圧縮装置において、GOPを構成するフレーム数(ピクチャ数)が多ければ、同符号量の画質が向上するが、処理単位が大きくなり、編集できる単位も大きくなり、記録再生装置に適用した場合は、記録媒体の任意の位置での記録ポーズが困難となる。一方、GOPを構成するフレーム数(ピクチャ数)を少なくすると(例えば1フレーム)、編集単位は小となり記録ポーズはすべての画面で可能となるが、同符号量での画質が劣化する。
【0006】
また、MPEG方式の圧縮符号化データにエンコードされる画像信号は、エンコード前に編集された信号若しくは編集ポイントが指定された信号である必要があり、作業性が悪い。例えば、図2のGOP内のピクチャP01で画像が途切れたとすると、次のエンコードはまたIピクチャから始めなめればならないからである。更に、従来装置では、エンコード前に編集を行うため、あるいは編集ポイントを指定するために大容量のメモリが必要であるという問題もある。
【0007】
本発明は以上の点に鑑みなされたもので、エンコード前の編集や編集ポイントの指定を行うことなく、連続して情報圧縮を行い得る情報圧縮装置を提供することを目的とする。
【0008】
また、本発明の他の目的は、作業性を向上し得る情報圧縮装置を提供することにある。
【0009】
【課題を解決するための手段】
上記の目的を達成するため、本発明は少なくとも画像信号を含む情報信号を書き込むメモリと、メモリのピクセルアドレスとフレームアドレスをそれぞれ生成するアドレス生成手段と、メモリから読み出された情報信号を複数のフレーム単位で圧縮符号化して符号化データを出力する圧縮処理回路と、前記情報信号中の同期信号を分離する同期分離回路と、前記同期分離回路が出力する同期信号が供給される位相同期ループ回路と、前記同期分離回路が出力する同期信号と前記位相同期ループ回路が生成する同期パルスとを比較する比較回路と、前記比較回路によって前記同期信号と前記同期パルスとの同期が外れたことが検出された際に、アドレス生成手段のアドレス歩進と圧縮処理回路の圧縮処理動作をそれぞれ一時停止し、かつ、ピクセルアドレスのみ初期値に戻し、前記比較回路によって前記同期信号と前記同期パルスとの同期再一致が検出された際に、アドレス生成手段のアドレス歩進を一時停止されたフレームアドレス及び初期値のピクセルアドレスから再開させて新たな情報信号のフレームの先頭からメモリへの書き込みを開始させると共に、圧縮処理回路の圧縮処理動作を再開させる制御手段とを有する構成としたものである。
【0010】
この発明では、前記同期分離回路が出力する同期信号と前記位相同期ループ回路が生成する同期パルスとの同期が外れたことが検出されたときは、情報信号を記憶するメモリへアドレス信号を供給するアドレス生成手段の歩進を停止すると共にピクセルアドレスのみ初期値に戻し、かつ、メモリから読み出された情報信号を所定の方式で圧縮符号化して符号化データを出力する圧縮処理回路の圧縮処理動作を停止し、前記同期信号と前記同期パルスとの同期再一致が検出された場合は、アドレス生成手段のアドレス歩進を、フレームの先頭のメモリアドレスから開始させ、情報信号のフレームの先頭からメモリへの書き込みを開始させると共に、圧縮処理回路の圧縮処理動作を開始させるようにしたため、メモリに格納された、フレームの途中で不連続となった情報信号は、以後正常に復帰した情報信号のフレームの最初から書き換わることとなり、また、この正常に復帰した情報信号のフレームの最初から読み出されて圧縮処理回路に入力され、圧縮動作停止時と同じフレームシーケンスを維持した状態で圧縮符号化を行える。
【0011】
また、本発明は、少なくとも画像信号を含む情報信号を書き込むメモリと、
前記メモリのピクセルアドレスとフレームアドレスをそれぞれ生成するアドレス生成手段と、前記メモリから読み出された情報信号を複数のフレーム単位で圧縮符号化して符号化データを出力する圧縮処理回路と、エンコードポーズボタンと、前記エンコードポーズボタンのオンが検出された際に、前記アドレス生成手段のアドレス歩進と前記圧縮処理回路の圧縮処理動作をそれぞれ一時停止し、かつ、前記ピクセルアドレスのみ初期値に戻し、前記エンコードポーズボタンの解除が検出された際に、前記アドレス生成手段のアドレス歩進を一時停止されたフレームアドレス及び初期値のピクセルアドレスから再開させて新たな情報信号のフレームの先頭から前記メモリへの書き込みを開始させると共に、前記圧縮処理回路の圧縮処理動作を再開させる制御手段とを有することを特徴とする。
【0012】
この発明では、エンコードポーズボタンをオンすることで、エンコードを一時停止でき、その後エンコードポーズボタンをオフ(解除)することで、解除後の入力画像信号の最初のフレームの先頭位置を検出した時点で、メモリへの書き込みを再開し、メモリから読み出した画像データに対する圧縮処理を圧縮動作停止直後の本来のシーケンスで再開させることができるので、エンコードされる情報信号をエンコード前に編集された信号又は編集ポイントが指定された信号でなくてもよい。
【0013】
また、本発明における前記圧縮処理回路は、前記メモリから読み出された情報信号に対して所定のGOPシーケンスを有するMPEG方式の圧縮符号化を施し、前記圧縮処理動作の一時停止から再開にかけて、圧縮符号化された前記符号化データにおける前記GOPシーケンスが保たれることを特徴とする。

【0014】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる情報圧縮装置の一実施の形態のブロック図を示す。同図において、入力端子10を介して入力された画像信号は、同期分離回路11に入力されて複合同期信号、すなわち水平同期信号(H.SYNC)と垂直同期信号(V.SYNC)が分離される一方、低域フィルタ(LPF)12に入力されて高周波数成分が除去されてA/D変換器13に供給され、ここでディジタル信号に変換される。
【0015】
同期分離回路11により分離された水平同期信号と垂直同期信号は、それぞれPLL(Phase Locked Loop:位相同期ループ)回路14に供給されて、入力端子10の入力映像信号の最高周波数よりも2倍以上の高周波数で、かつ、同期信号に位相同期したサンプリングクロックfsとして生成されると共に、水平同期信号に位相同期した、水平走査周波数のHパルスと、垂直同期信号に位相同期した、垂直走査周波数のVパルスに生成される。
【0016】
同期分離回路11から出力される水平同期信号と垂直同期信号の少なくとも一方は、入力画像信号の不連続が発生すると不連続となるのに対し、PLL回路14から取り出されるHパルスとVパルスは、入力画像信号の不連続が発生しても、不連続期間が短期間であれば、不連続発生以前の入力画像信号の水平同期信号と垂直同期信号に位相がロックして取り出される。このHパルスとVパルスは、それぞれ上記の同期分離回路11から出力された水平同期信号と垂直同期信号と共に不連続検出/制御回路15に供給される。
【0017】
これにより、不連続検出/制御回路15は水平同期信号とHパルス、垂直同期信号とVパルスをそれぞれ位相比較することで、入力画像信号が不連続となったかどうかを監視することができる。また、不連続検出/制御回路15は、HパルスとVパルスに基づいて画像の有効エリアを生成し、メモリアドレスを歩進させるためのイネーブル信号を生成してピクセルアドレス生成回路16に供給し、またメモリ書き込み、読み出しのタイミング制御や圧縮処理回路19の圧縮処理のタイミング制御をする。
【0018】
PLL回路14からのサンプリングクロックがA/D変換器13に供給され、またピクセルアドレス生成回路16に供給されてメモリアドレスを歩進させる。ピクセルアドレス生成回路16は、メモリ18に対してピクセルアドレス信号を供給する回路で、そのピクセルアドレス信号をフレームアドレス生成回路17に供給する。フレームアドレス生成回路17は、このピクセルアドレス信号が所定値になる毎に歩進するフレームアドレス信号を生成してメモリ18に供給する。
【0019】
一方、PLL回路14からのサンプリングクロックに同期してアナログ・ディジタル変換を行うA/D変換器13から取り出された画像データは、メモリ18に供給され、入力画像信号が不連続でなく正常であるときは、ピクセルアドレス生成回路16からのピクセルアドレスと、フレームアドレス生成回路17よりのフレームアドレスとに従ったメモリアドレスに記憶された後、読み出されて圧縮処理回路19に供給され、前述したMPEG方式に従った公知の圧縮符号化(エンコード)が行われる。
【0020】
圧縮符号化された符号化画像データは、圧縮処理回路19から取り出されてメモリ20に供給されて蓄積される。このメモリ20は、例えばハードディスク、光ディスクなどの記憶媒体であり、例えば1プログラム分の符号化画像データを蓄積した後、一定速度で読み出す。
【0021】
ここで、入力画像信号に入力チャンネルが切り替えられるなどにより不連続が生じたものとすると、不連続検出/制御回路15は水平同期信号とHパルス、垂直同期信号とVパルスのそれぞれの位相比較結果が正常時に比し大きく変化することで、入力画像信号の不連続を検出し、ピクセルアドレス生成回路16のアドレス生成動作を停止させるためにディセーブル信号を供給し、これにより、ピクセルアドレス生成回路16によるピクセルアドレスの歩進を停止する。
【0022】
このピクセルアドレスの歩進の停止により、フレームアドレス生成回路17のフレームアドレスの歩進も停止するため、メモリ18の書き込み動作が停止する。更に、不連続検出/制御回路15はこのとき、ピクセルアドレス生成回路16にクリア信号を供給してピクセルアドレスを初期値に戻す。また、これと同時に、不連続検出/制御回路15は圧縮処理部19へHALT信号を供給して圧縮動作を一時停止させる。
【0023】
その間中も、不連続検出/制御回路15は水平同期信号とHパルス、垂直同期信号とVパルスをそれぞれ比較することで、入力画像信号が正常になったかどうかを監視しており、水平同期信号とHパルス、垂直同期信号とVパルスの同期がかかれば、入力画像信号が正常になったと見なし、正常復帰検出後の入力画像信号の最初のフレームの先頭位置を検出した時点で、メモリアドレスを歩進させるためのイネーブル信号を生成してピクセルアドレス生成回路16に供給し、メモリ18への書き込みを再開すると共に、圧縮処理回路19へのHALT信号を解除し、メモリ18から読み出した画像データに対する圧縮処理を圧縮動作停止直後の本来のシーケンスで再開させる。
【0024】
この結果、ピクセルアドレス生成回路16よりのピクセルアドレスは初期値で、かつ、フレームアドレス生成回路17よりのフレームアドレスは、入力画像信号不連続検出時点におけるアドレス値のままの状態からメモリ18の書き込みが再開されるので、メモリ18に格納されたフレームの途中で不連続となった画像データは、以後正常に復帰した画像データのフレームの最初のメモリアドレスから書き換わることとなり、また、この正常に復帰した画像データのフレームの最初から読み出されて圧縮処理回路19に入力され、圧縮動作停止時と同じピクチャで、かつ、GOPのフレームシーケンスを維持した状態で圧縮符号化が行われる。これにより、適当なフレーム数のGOPの構成で、すべての画面で記録ポーズをかけられ、しかも画質の劣化をもたらさない情報圧縮を実現できる。
【0025】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、メモリ20の出力圧縮画像データを記録媒体に記録する記録装置に適用し、エンコードポーズボタンをユーザが任意のタイミングでオンしたときは、不連続として検出して前述したように、ピクセルアドレス生成回路16からのピクセルアドレスは初期値で歩進停止し、かつ、フレームアドレス生成回路17のフレームアドレスはそのときの値のままで歩進停止することでメモリ18の書き込み動作を中止させると共に、圧縮処理部19の圧縮動作を一時停止し、エンコードポーズボタンをユーザが任意のタイミングで解除したときは、正常復帰として検出し、その直後のフレーム先頭位置の画像データからメモリ18への書き込みを再開すると共に、圧縮処理回路19の圧縮動作を再開させるようにしてもよい。
【0026】
この場合は、自由に入力画像信号をアッセンブル編集することがエンコード時に可能となり、作業性の向上や予め編集された素材の記憶装置を不要にできる。更に、エンコード終了ボタンをオンすることにより、当該GOPの区切りでエンコードを終了する。また、以上の実施の形態では、画像信号について圧縮符号化するように説明したが、音声信号についても同様に適用できる。また、更にピクセルアドレスはピクセルアドレス生成回路16の歩進停止時に初期値に戻しているが、歩進再開時にピクセルアドレスを初期値に戻してからアドレス歩進を再開してもよい。
【0027】
【発明の効果】
以上説明したように、本発明によれば、メモリに格納された、フレームの途中で不連続となった情報信号を、新たな情報信号で書き換え、また、この情報信号がメモリから読み出されて圧縮処理回路に入力され、圧縮動作の一時停止時と同じフレームシーケンスを維持した状態で圧縮符号化を行えるようにしたため、入力チャンネルが切り換えられるように情報信号が不連続となっても、圧縮符号化データのフレームシーケンスを変えることなく、その後の情報信号を圧縮符号化できる。
【0028】
また、本発明によれば、エンコードポーズボタンをオンすることで、エンコードを一時停止でき、その後エンコードポーズボタンをオフ(解除)することで、エンコードを再開できるので、エンコードされる情報信号をエンコード前に編集された信号又は編集ポイントが指定された信号としなくてもよく、よって、作業性を向上できると共に、予め編集された素材を記憶するための装置も必要とせず、装置を安価に構成できる。
【図面の簡単な説明】
【図1】本発明の一実施の形態のブロック図である。
【図2】GOPの構造の説明図である。
【符号の説明】
10 画像信号入力端子
11 同期分離回路(検出手段)
13 A/D変換器
14 PLL回路(検出手段)
15 不連続検出/制御回路(検出手段、制御手段、比較手段)
16 ピクセルアドレス生成回路(アドレス生成手段)
17 フレームアドレス生成回路(アドレス生成手段)
18 メモリ
19 圧縮処理回路
20 メモリ

Claims (3)

  1. 少なくとも画像信号を含む情報信号を書き込むメモリと、
    前記メモリのピクセルアドレスとフレームアドレスをそれぞれ生成するアドレス生成手段と、
    前記メモリから読み出された情報信号を複数のフレーム単位で圧縮符号化して符号化データを出力する圧縮処理回路と、
    前記情報信号中の同期信号を分離する同期分離回路と、前記同期分離回路が出力する同期信号が供給される位相同期ループ回路と、前記同期分離回路が出力する同期信号と前記位相同期ループ回路が生成する同期パルスとを比較する比較回路と、
    前記比較回路によって前記同期信号と前記同期パルスとの同期が外れたことが検出された際に、前記アドレス生成手段のアドレス歩進と前記圧縮処理回路の圧縮処理動作をそれぞれ一時停止し、かつ、前記ピクセルアドレスのみ初期値に戻し、前記比較回路によって前記同期信号と前記同期パルスとの同期再一致が検出された際に、前記アドレス生成手段のアドレス歩進を一時停止されたフレームアドレス及び初期値のピクセルアドレスから再開させて新たな情報信号のフレームの先頭から前記メモリへの書き込みを開始させると共に、前記圧縮処理回路の圧縮処理動作を再開させる制御手段と
    を有することを特徴とする情報圧縮装置。
  2. 少なくとも画像信号を含む情報信号を書き込むメモリと、
    前記メモリのピクセルアドレスとフレームアドレスをそれぞれ生成するアドレス生成手段と、
    前記メモリから読み出された情報信号を複数のフレーム単位で圧縮符号化して符号化データを出力する圧縮処理回路と、
    エンコードポーズボタンと、
    前記エンコードポーズボタンのオンが検出された際に、前記アドレス生成手段のアドレス歩進と前記圧縮処理回路の圧縮処理動作をそれぞれ一時停止し、かつ、前記ピクセルアドレスのみ初期値に戻し、前記エンコードポーズボタンの解除が検出された際に、前記アドレス生成手段のアドレス歩進を一時停止されたフレームアドレス及び初期値のピクセルアドレスから再開させて新たな情報信号のフレームの先頭から前記メモリへの書き込みを開始させると共に、前記圧縮処理回路の圧縮処理動作を再開させる制御手段と
    を有することを特徴とする情報圧縮装置。
  3. 前記圧縮処理回路は、前記メモリから読み出された情報信号に対して所定のGOPシーケンスを有するMPEG方式の圧縮符号化を施し、前記圧縮処理動作の一時停止から再開にかけて、圧縮符号化された前記符号化データにおける前記GOPシーケンスが保たれることを特徴とする請求項1又は2に記載の情報圧縮装置。
JP23463898A 1998-08-20 1998-08-20 情報圧縮装置 Expired - Lifetime JP3555741B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP23463898A JP3555741B2 (ja) 1998-08-20 1998-08-20 情報圧縮装置
DE69936280T DE69936280T2 (de) 1998-08-20 1999-07-26 Vorrichtung und Verfahren zur Bildkompression
EP99114610A EP0981250B1 (en) 1998-08-20 1999-07-26 Image compressing apparatus and method
US09/363,093 US6525776B1 (en) 1998-08-20 1999-07-30 Information compressing apparatus and method
CNB991113810A CN1140128C (zh) 1998-08-20 1999-08-11 信息压缩装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23463898A JP3555741B2 (ja) 1998-08-20 1998-08-20 情報圧縮装置

Publications (2)

Publication Number Publication Date
JP2000069468A JP2000069468A (ja) 2000-03-03
JP3555741B2 true JP3555741B2 (ja) 2004-08-18

Family

ID=16974175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23463898A Expired - Lifetime JP3555741B2 (ja) 1998-08-20 1998-08-20 情報圧縮装置

Country Status (1)

Country Link
JP (1) JP3555741B2 (ja)

Also Published As

Publication number Publication date
JP2000069468A (ja) 2000-03-03

Similar Documents

Publication Publication Date Title
KR100276205B1 (ko) 기록/재생장치
EP0627855B1 (en) Digital video signal recording
KR20070049098A (ko) 기록 장치 및 방법, 재생 장치 및 방법, 기록 매체, 및프로그램
JP3555746B2 (ja) 情報圧縮装置
JP3253530B2 (ja) 動画像記録装置
JP3258673B2 (ja) 動画像記録装置および動画像再生装置
JP3513554B2 (ja) 撮像装置及び方法
JP3555741B2 (ja) 情報圧縮装置
JP3555740B2 (ja) 情報圧縮装置
JP3334354B2 (ja) ディジタルビデオ信号の変速再生方法及び再生装置
JP4154799B2 (ja) 圧縮動画像編集装置および記憶媒体
JP3517463B2 (ja) 再生装置
JP3689440B2 (ja) 再生装置
JP3570785B2 (ja) 動画像伸張再生方法および装置
JP3304634B2 (ja) ディジタル信号再生装置
US5892883A (en) Recording of a data reduced digital video signal in slant tracks on a record carrier
JP3849646B2 (ja) 映像信号記録再生装置
CN1140128C (zh) 信息压缩装置
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2001211420A (ja) ディスク記録媒体における圧縮符号化ストリームの編集方法および編集装置
JP2004343201A (ja) 記録装置
JPH1093969A (ja) 動画像符号化装置
JP3585972B2 (ja) 記録再生装置及び再生装置
JP3300448B2 (ja) 編集装置及び編集信号復号化装置
JP2000209529A (ja) ビデオサ―バ装置

Legal Events

Date Code Title Description
A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040506

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

EXPY Cancellation because of completion of term