JPH05206959A - フレーム間差分信号変化検出通信方法 - Google Patents

フレーム間差分信号変化検出通信方法

Info

Publication number
JPH05206959A
JPH05206959A JP4011994A JP1199492A JPH05206959A JP H05206959 A JPH05206959 A JP H05206959A JP 4011994 A JP4011994 A JP 4011994A JP 1199492 A JP1199492 A JP 1199492A JP H05206959 A JPH05206959 A JP H05206959A
Authority
JP
Japan
Prior art keywords
image
frame
transmission
parameter value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4011994A
Other languages
English (en)
Other versions
JP3183301B2 (ja
Inventor
Yutaka Suzuki
豊 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP01199492A priority Critical patent/JP3183301B2/ja
Publication of JPH05206959A publication Critical patent/JPH05206959A/ja
Application granted granted Critical
Publication of JP3183301B2 publication Critical patent/JP3183301B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 【目的】 画像の変化が発生した時だけ回線を接続して
通信を行うようにし、通信効率を向上するとともにフレ
ーム間符号化伝送を適用して伝送効率を向上したフレー
ム間差分信号を用いる画像変化検出通信方法を提供す
る。 【構成】 ローカルデコード画像と入力画像の差分画像
の変化量を表すパラメータ値がしきい値以上のとき、送
信部から受信部への回線を接続し、差分画像の符号化伝
送を開始して、ローカルデコード画像を更新し、パラメ
ータ値がしきい値未満のとき、新たな差分画像の符号化
伝送を中止して、ローカルデコード画像を保持し、送信
すべき符号化データが無くなると、送信部から受信部へ
の回線を切断する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像信号のフレーム間
予測符号化方法および画像通信方法におけるフレーム間
差分信号を用いる画像変化検出通信方法に関し、特に符
号化装置の状態と通信接続状態の新しい連動機能に関す
る。
【0002】
【従来の技術】従来の画像信号のフレーム間予測符号化
方式を図3に示す。カメラより取込まれた映像信号1は
フレーム間予測回路2によりフレームメモリ8から得ら
れる前符号化フレームの信号を予測信号として減算し、
差分画像を作成する。差分画像は変換回路3により直交
変換および量子化される。量子化の結果得られる量子化
番号は、エントロピー符号器4により符号化され符号化
データとなる。符号化データはバッファメモリ5でバッ
ファリングされる。量子化の結果得られる量子化代表値
は逆変換回路6により逆量子化および逆直交変換され、
ローカルデコーダ7に入力される。ローカルデコーダ7
はフレームメモリ8から得られる前符号化フレームの信
号を加算し、ローカルデコード信号を作成する。ローカ
ルデコード信号はフレームメモリ8に入力され、次フレ
ームの予測信号として利用される。以上がコーダ部9を
構成する部分である。
【0003】また、バッファメモリ5に格納されている
符号化データは伝送装置10により回線100に出力さ
れる。この、回線100は一般交換回線や専用回線等が
利用される。
【0004】この結果、カメラより取込まれた映像信号
1は、信号の時間的変化を示す差分画像として符号化さ
れ伝送信号となるために、変化の少ない画像では情報量
を大幅に削減することが出来る。すなわち、符号化装置
は設定された回線を用いて、入力画像変化に対する符号
量を極力削減し、入力画像に近い高品質な画像を伝送す
るように動作する。
【0005】回線100を経由した信号は伝送装置11
により受信され、以下のデコーダ部12により復号化さ
れる。受信された符号化データはバッファメモリ13を
経由し、エントロピーデコーダ14により量子化番号に
復号される。量子化番号は逆変換回路15により逆量子
化および逆直交変換され、ローカルデコーダ16に入力
される。ローカルデコーダ16はフレームメモリ17か
ら得られる前符号化フレームの信号を加算し、ローカル
デコード信号18を作成する。ローカルデコード信号は
フレームメモリ17に入力されると共に、外部に出力さ
れ、テレビ信号に変換されてモニタ等に表示される。こ
のローカルデコード信号はコーダ部のローカルデコード
信号に完全に等しい。
【0006】
【発明が解決しようとする課題】上述した従来の方式で
は、画像を符号化伝送する場合、コーダ部9とデコーダ
部12は伝送装置10と11により回線100を介し
て、画像の変化とは無関係に接続されるとになる。具体
的には、送信側Aと受信側Bを常時回線で接続しておき
映像通信を行う方法、定期的に受信側Bより発信し送信
側Aに接続して映像通信を行う方法がある。しかしどち
らの方法でも、画像の変化が少ない場合に、通信すべき
情報は極めて少ないにも拘らず回線を使用することが必
要になり、通信の効率が低くなる欠点がある。
【0007】本発明は、上記に鑑みてなされたもので、
その目的とするところは、画像の変化が発生した時だけ
回線を接続して通信を行うようにし、通信効率を向上す
るとともにフレーム間符号化伝送を適用して伝送効率を
向上したフレーム間差分信号を用いる画像変化検出通信
方法を提供することにある。
【0008】
【課題を解決するための手段】上記目的を達成するた
め、本願第1の発明のフレーム間差分信号変化検出通信
方法は、ローカルデコード画像と入力画像の差分画像を
作成し、差分画像の変化量を表すパラメータ値をしきい
値と比較し、パラメータ値がしきい値以上のとき、送信
部から受信部への回線を接続し、差分画像の符号化伝送
を開始するとともにローカルデコード画像を更新し、パ
ラメータ値がしきい値未満のとき、新たな差分画像の符
号化伝送を中止するとともにローカルデコード画像を保
持し、送信すべき符号化データが無くなると、送信部か
ら受信部への回線を切断することを要旨とする。
【0009】また、本願第2の発明のフレーム間差分信
号変化検出通信方法は、複数の対地からの符号化データ
を順次受信するとともに受信データから該当するデータ
の対地を識別し、複数のフレームメモリから該当する対
地のローカルデコード信号を格納するフレームメモリを
用いてフレーム間予測復号を行うことを要旨とする。
【0010】
【作用】本発明のフレーム間差分信号を用いる画像変化
検出通信方法では、符号化システムにおいて、ローカル
デコード画像と入力画像の差分画像の変化量を表すパラ
メータ値がしきい値以上のとき、送信部から受信部への
回線を接続し、差分画像の符号化伝送を開始して、ロー
カルデコード画像を更新し、パラメータ値がしきい値未
満のとき、新たな差分画像の符号化伝送を中止して、ロ
ーカルデコード画像を保持し、送信すべき符号化データ
が無くなると、送信部から受信部への回線を切断し、パ
ラメータ値がしきい値以下の差分画像の符号化伝送によ
る効率の低下を防止する。
【0011】また、本発明のフレーム間差分信号を用い
る画像変化検出通信方法では、復号化システムにおい
て、複数の対地からの符号化データを順次受信し、受信
データから該当するデータの対地を識別し、複数のフレ
ームメモリから該当する対地のローカルデコード信号を
格納するフレームメモリを用いてフレーム間予測復号を
行う。
【0012】
【実施例】以下、図面を用いて本発明の実施例を説明す
る。
【0013】図1は、本発明の一実施例に係わるフレー
ム間差分信号を用いる画像変化検出通信方法を実施する
回路構成を示すブロック図である。この実施例は、上述
した図3に示す方式と比較して、コーダ部からなる送信
部においてはフレームメモリ8a,8bおよびバッファ
メモリ5a,5bの制御方法を変更するとともに変化検
出回路20を追加し、伝送装置10に自動発信・自動切
断機能を追加した点が異なっている。
【0014】更に詳しくは、変換回路3の出力は変化検
出回路20に入力される。変化検出回路20では入力さ
れる量子化番号を評価回路21によって変化量を表すパ
ラメータ値Dとする。評価回路21は例えば量子化番号
の絶対値を画面全体に渡って総和する方法、量子化番号
の絶対値の最大値を求める方法、または量子化番号の絶
対値が一定のしきい値を越える個数を求める方法、ある
いはこれらの方法を組み合せた方法等を用いることが出
来る。
【0015】しきい値回路22はパラメータ値Dとしき
い値Tを比較し、D≧TまたはD<Tを出力する。D≧
Tの場合には、伝送装置10に対し送信指令を出力する
とともに、フレーム更新回路23に対しフレーム更新を
指示する。しきい値Tは画像の変化を有効とする基準を
指定するもので、小さい値は僅かな変化をも有効とみな
し、大きな値は僅かな変化を無視するように動作する。
従って利用目的によって最適な値を設定すれば良い。
【0016】フレーム更新回路23はフリップフロップ
回路であり、D≧Tなる入力フレームが検出される毎に
値を反転し、フレームメモリ8a,8bおよびバッファ
メモリ5a,5bの入出力面を交替する。このときフレ
ームメモリ内のローカルデコード画像は更新され、バッ
ファメモリ内に蓄積された符号化データは伝送装置10
より送信される。D<Tなる入力フレームであった場合
には、フレームメモリ面を切り替えないことにより、そ
の入力フレームはすべて無効とみなされることになり、
フレームメモリ内のローカルデコード画像は保持され
る。またバッファメモリ面の切り替えも行わないため当
該フレームの符号化データは送信されない。
【0017】伝送装置10はD≧Tのフレームが検出さ
れると送信指示信号を受取り、予めセットされている対
地に対し回線を接続し、バッファメモリ内の符号化デー
タを送信する。送信データが無くなると回線を切断す
る。D≧Tのフレームが接続する場合には、片方のバッ
ファメモリから送信中に、他のバッファメモリに入力が
行われ、送信終了を待ってバッファメモリ面を切り替え
ることにより、継続的に符号化データを送信することが
できる。データ送信が間に合わない場合や、回線接続が
成立しない間はこの機構によってコーダ部9はウエイト
状態に入る。D<Tではバッファメモリ内の符号化デー
タが無くなると回線を切断する。
【0018】この符号化装置では回線が接続・切断され
ても、フレームメモリ内のローカルデコード画像を保持
しておくことによって、回線切断中に入力画像に変化が
発生した場合にも、再度回線を接続してフレーム間差分
画像を符号化伝送するフレーム間予測符号化を用いて伝
送効率を高める。ただし、最初の通信ではフレームメモ
リ内にローカルデコード画像が存在していないため、最
初のフレームはフレーム内符号化により入力画像を符号
化伝送する必要がある。また受信装置が回線切断時にフ
レームメモリ内容を保持する機能を有しない場合には、
回線接続の都度最初のフレームをフレーム内符号化を適
用する。
【0019】次にデコーダ部12からなる受信部の動作
を説明する。受信部には前述した図3に示した復号化装
置を適用することもできる。しかし回線切断状態でのフ
レームメモリ保持機能と、複数ローカルデコード信号の
並列保持機能を追加することにより、本発明の効果を最
も高めることができる。図1の受信部は図3と比較し、
伝送装置またはエントロピーデコーダ14より発信者を
識別する信号を取出せるようにしたこと、およびフレー
ムメモリ17a,17b,…,17nを複数個に拡張し
た点が異なっている。
【0020】伝送装置11は着信を受けるとその発信者
を識別し、フレームメモリ切り替え回路30に発信者情
報を出力する。また、同じ発信者からでもカメラの異な
る画像である場合には、受信符号化データのヘッダ情報
より画像種別を識別し、フレームメモリ切り替え回路3
0に画像種別情報を出力する。
【0021】フレームメモリ切り替え回路30は発信者
情報および画像種別情報より、対応するフレームメモリ
面を決定する。すなわち着信の後、発信者情報および画
像種別情報の組み合せが新規である場合1つのフレーム
メモリ番号とともに登録する。発信者情報および画像種
別情報の組み合せが既に登録されている場合、登録され
ているフレームメモリ番号を使用する。フレームメモリ
面の数より発信者情報および画像種別情報の組み合せの
数が大きくなった場合には最も古い登録を削除する。
【0022】フレームメモリ17a,17b,…,17
nよりフレームメモリ切り替え回路30から指定される
フレームメモリ番号のフレームメモリが選択され復号に
利用される。この方法により複数種類の画像をフレーム
単位にデコードすることが出来るようになる。すなわ
ち、対地Aからの画像をフレームメモリ17aを用いて
デコードした後回線を切断し、次に着信した対地Bから
の画像をフレームメモリ17bを用いてデコードする。
以下同様にしてn番の対地との通信をフレームメモリ1
7nを用いて行う。この結果フレームメモリには各対地
のローカルデコード画像が保持され、次回の通信時にフ
レーム間予測画像として使用できるようになる。復号中
のローカルデコード画像は18として外部に出力され、
テレビ信号に変換されてモニタ等に表示される。
【0023】ローカルデコード画像はローカルデコード
16より出力されると共に、フレームメモリに記憶され
る。従って、フレームメモリ中には最大n個の対地のロ
ーカルデコード画像が存在できることになる。フレーム
メモリよりデータを読み出す回路40を追加することに
よって、復号中のローカルデコード画像の他、記憶され
ているフレームメモリ中の最大n個の対地の画像18
a,18b,…,18nを同時出力することが出来る。
【0024】図2は本発明の符号化装置の動作を説明す
るタイムチャートである。画像信号はフレーム番号F
i,i=0,1,…によって表示している。入力画像a
は、フレームメモリ内にある前符号化フレームのローカ
ルデコード画像を参照画像bとして比較され、差分信号
となる。差分信号からその変化量が評価され、有効な変
化が検出された場合フレームメモリを更新する。cに示
す信号はフレームメモリ面の切り替えを示し、これに対
応して、フレームメモリおよびバッファメモリが切り替
えられる。バッファメモリより出力するデータが存在す
る期間回線状態fは接続状態、データが無くなる期間で
は切断状態となっている。
【0025】受信信号gには対地C1,C2,…,Cn
よりの信号が入力される。対地Ciの信号をデコードす
るにはフレームメモリMiが利用される。
【0026】なお、上記実施例では、画像変化が発生す
ると、回線を接続することとしているが、タイマによる
定期的な通信の併用、受信側から定期的にポーリングす
る方法の併用等により通信の信頼性を高めることができ
る。また、実施例で示した機能ブロックはハードウエア
およびソフトウエアのいずれによっても構成することが
できる。更に、符号化方法としてフレーム間予測変換符
号化を例として示したが、動き補償予測等の技術を併用
する場合にも変化検出回路に動きベクトル等の予測パラ
メータを取り込むことにより容易に拡張することができ
る。
【0027】
【発明の効果】以上説明したように、本発明によれば、
符号化システムにおいては、ローカルデコード画像と入
力画像の差分画像の変化量を表すパラメータ値がしきい
値以上のとき、送信部から受信部への回線を接続し、差
分画像の符号化伝送を開始して、ローカルデコード画像
を更新し、パラメータ値がしきい値未満のとき、新たな
差分画像の符号化伝送を中止して、ローカルデコード画
像を保持し、送信すべき符号化データが無くなると、送
信部から受信部への回線を切断し、また復号化システム
においては、複数の対地からの符号化データを順次受信
し、受信データから該当するデータの対地を識別し、複
数のフレームメモリから該当する対地のローカルデコー
ド信号を格納するフレームメモリを用いてフレーム間予
測復号を行っているので、有効な画像変化が発生すると
回線を接続して通信を行うため、映像により監視を行う
システム等では高い通信効率を得ることができる。特
に、符号化システムでは、画像変化の検出にフレーム間
予測符号器を有するフレームメモリを利用することによ
りハードウエア的に小さな負担で本機能を追加すること
ができる。また、回線接続切断の期間にわたってフレー
ムメモリ内のローカルデコード信号を保持することによ
りフレーム間符号化を適用し高い符号化効率を維持する
ことができる。復号化システムでは、フレームメモリ内
ローカルデコード信号を保持し、読み出す機能によって
回線接続切断の期間にわたって画像を出力できる。更
に、フレームメモリ面を増やすことにより複数の対地か
らのフレーム間符号化信号を順次フレーム単位でデコー
ドすることができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係わるフレーム間差分信号
を用いる画像変化検出通信方法を実施する回路構成を示
すブロック図である。
【図2】図1に示す実施例の動作を示すタイムチャート
である。
【図3】従来方式の符号化復号化処理および通信条件を
説明するための画像信号のフレーム間予測符号化方式の
構成図である。
【符号の説明】
2 フレーム間予測回路 3 直交交換および量子化を行う変換回路 4 エントロピー符号器 5a,5b バッファメモリ 6 逆量子化および逆直交交換を行う逆変換回路 7 ローカルデコード 8a,8b フレームメモリ 9 コーダ部 10 送信部の伝送装置 11 受信部の伝送装置 12 デコーダ部 13 バッファメモリ 14 エントロピーデコーダ 15 逆量子化および逆直交変換を行う逆変換回路 16 ローカルデコーダ 17a,17b,…,17n フレームメモリ 18 ローカルデコード信号 20 変化検出回路 21 評価回路 22 しきい値回路 23 フレーム更新回路 30 フレームメモリ切り替え回路 40 データ読み出し回路

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 ローカルデコード画像と入力画像の差分
    画像を作成し、差分画像の変化量を表すパラメータ値を
    しきい値と比較し、パラメータ値がしきい値以上のと
    き、送信部から受信部への回線を接続し、差分画像の符
    号化伝送を開始するとともにローカルデコード画像を更
    新し、パラメータ値がしきい値未満のとき、新たな差分
    画像の符号化伝送を中止するとともにローカルデコード
    画像を保持し、送信すべき符号化データが無くなると、
    送信部から受信部への回線を切断することを特徴とする
    フレーム間差分信号変化検出通信方法。
  2. 【請求項2】 フレーム間予測符号化伝送を行う復号化
    システムにおいて、複数の対地からの符号化データを順
    次受信するとともに受信データから該当するデータの対
    地を識別し、複数のフレームメモリから該当する対地の
    ローカルデコード信号を格納するフレームメモリを用い
    てフレーム間予測復号を行うことを特徴とするフレーム
    間差分信号変化検出通信方法。
JP01199492A 1992-01-27 1992-01-27 フレーム間差分信号変化検出通信方法 Expired - Lifetime JP3183301B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01199492A JP3183301B2 (ja) 1992-01-27 1992-01-27 フレーム間差分信号変化検出通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01199492A JP3183301B2 (ja) 1992-01-27 1992-01-27 フレーム間差分信号変化検出通信方法

Publications (2)

Publication Number Publication Date
JPH05206959A true JPH05206959A (ja) 1993-08-13
JP3183301B2 JP3183301B2 (ja) 2001-07-09

Family

ID=11793139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01199492A Expired - Lifetime JP3183301B2 (ja) 1992-01-27 1992-01-27 フレーム間差分信号変化検出通信方法

Country Status (1)

Country Link
JP (1) JP3183301B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0647068A2 (en) * 1993-09-30 1995-04-05 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
JP2006042360A (ja) * 2004-07-27 2006-02-09 Microsoft Corp オフラインマルチビュービデオ圧縮のシステムおよび方法
JP2006279280A (ja) * 2005-03-28 2006-10-12 Fujitsu Ltd エンコードプログラムおよびエンコーダ
WO2011135776A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 監視カメラおよび監視システム
US10481853B2 (en) 2017-03-31 2019-11-19 Fujitsu Limited Information processing apparatus, information processing system, and information processing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0647068A2 (en) * 1993-09-30 1995-04-05 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
EP0647068A3 (en) * 1993-09-30 1996-05-01 Matsushita Electric Ind Co Ltd Coding control device and method.
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
JP2006042360A (ja) * 2004-07-27 2006-02-09 Microsoft Corp オフラインマルチビュービデオ圧縮のシステムおよび方法
JP2006279280A (ja) * 2005-03-28 2006-10-12 Fujitsu Ltd エンコードプログラムおよびエンコーダ
JP4555132B2 (ja) * 2005-03-28 2010-09-29 富士通株式会社 エンコードプログラムおよびエンコーダ
WO2011135776A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 監視カメラおよび監視システム
US10481853B2 (en) 2017-03-31 2019-11-19 Fujitsu Limited Information processing apparatus, information processing system, and information processing method

Also Published As

Publication number Publication date
JP3183301B2 (ja) 2001-07-09

Similar Documents

Publication Publication Date Title
JP3630474B2 (ja) 動画像伝送システム及び動画像伝送装置
US20110090957A1 (en) Video codec method, video encoding device and video decoding device using the same
EP1575302A2 (en) Intra block walk around refresh for H.264
KR100272397B1 (ko) 화상 통신 시스템 및 그 방법
JP3183301B2 (ja) フレーム間差分信号変化検出通信方法
US7613351B2 (en) Video decoder with deblocker within decoding loop
KR20000068574A (ko) 비디오 코딩 방법 및 장치, 및 대응하는 디코딩 장치
KR100327952B1 (ko) 영역분할기반동영상압축부호화방법및장치
JP3153390B2 (ja) 動画像復号化装置
JPH07184213A (ja) テレビジョン画像を送信するデバイス、受信するデバイス、ビデオレコーダおよびテレビジョン画像が記録されている記録媒体
JPH05252511A (ja) 画像分配装置
JPH07193821A (ja) 動画像符号化装置および方法
JPH0984024A (ja) 動画像信号の符号化装置
CN101188768A (zh) 基于rgb编解码器发送和接收运动图像的方法和设备
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
JP3247349B2 (ja) 動画像監視装置及び監視方法
US11490121B2 (en) Transform device, decoding device, transforming method, and decoding method
KR20020023454A (ko) 개량된 엠펙 부호화 방법 및 이를 이용한 동영상 전송시스템 및 그 방법
JPH09163378A (ja) 動き補償フレーム間/フレーム内符号化装置とそのリフレッシュ制御方法および動画像復号化装置
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置
JP2001309337A (ja) 画像送信装置
JPH08126004A (ja) 画像符号化装置
JP3205839B2 (ja) 画像符号化装置
JP2956726B2 (ja) 動画像の高能率符号化方法及び装置
JPH05304662A (ja) 画像符号化伝送装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 11