JP3658016B2 - ディジタル画像の通信・記録装置、送信装置、受信装置 - Google Patents

ディジタル画像の通信・記録装置、送信装置、受信装置 Download PDF

Info

Publication number
JP3658016B2
JP3658016B2 JP16229494A JP16229494A JP3658016B2 JP 3658016 B2 JP3658016 B2 JP 3658016B2 JP 16229494 A JP16229494 A JP 16229494A JP 16229494 A JP16229494 A JP 16229494A JP 3658016 B2 JP3658016 B2 JP 3658016B2
Authority
JP
Japan
Prior art keywords
length code
code
variable length
output
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16229494A
Other languages
English (en)
Other versions
JPH0832971A (ja
Inventor
明文 荒屋敷
応一 小山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP16229494A priority Critical patent/JP3658016B2/ja
Publication of JPH0832971A publication Critical patent/JPH0832971A/ja
Application granted granted Critical
Publication of JP3658016B2 publication Critical patent/JP3658016B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、ディジタル画像通信・記録装置、送信装置、受信装置に関するものである。
【0002】
【従来の技術】
カメラを用いた監視システムにおいては、撮像した映像を監視所へ送ってモニターで監視するとともに、記憶装置に記録をとっておき、後の分析に用いる。ところが、画像データの情報量は電話やデータ通信に比べてきわめて大きいから、画像データの伝送・蓄積を行うには、何らかの方法を用いたデータの圧縮が不可欠である。
【0003】
画像データの圧縮方法については、例えばカラー静止画についてはJPEG(Joint Photographic Experts Group:CCITT,ISO などの共同機構)において、また動画像についてはMPEG(Moving Picture Coding Experts Group:ISO のグループ)において、また小容量ディジタル回線を用いたテレビ会議、テレビ電話についてはCCITT WP15/1(Working Party:符号化勧告 H.261)において、それぞれ標準化の作業が行われている。
【0004】
図5は、これらの内MPEGで検討されている方式の例を示しており、画像入力装置501からの画像データは、動き補償・フレーム間予測、DCT(離散コサイン変換)、量子化、及び可変長符号化などを行う符号化器502で圧縮・符号化され、変調器503を介して伝送路504へ送出される。受信側では、復調器505で復調された後、可変長符号復号、逆量子化、逆DCT、及び動き補償などを行う復号化器506で復号されて画像データが再生され、画像出力装置507へ出力される。あるいは復調器505から出力された符号化データがそのまま記憶装置508へ格納される。
【0005】
図6は、図5の符号化器502の詳細な構成を示すブロック図で、入力画像信号の方式をその変換回路602で変換した後、圧縮制御回路601からの圧縮情報に応じてフィールド駒落とし回路603で駒落としを行う。これは例えば奇数番目のフィールドのみを残しかつ横方向の画素数を半分にすることにより行われる。次に、動き補償フレーム間予測回路608またはフレーム内予測符号化回路607から出力される参照画像データと、フィールド駒落とし回路603出力の差分がとられ、FDCT量子化回路604でDCT変換及び量子化が行われる。この量子化出力は可変長符号化回路610で符号化され、符号化された画像データとして送信バッファ611に格納される。量子化された差分データは、逆量子化IDCT回路605で逆量子化及び逆DCT変換され、上記参照画像データと加算されて駒落としされた状態の画像データに復元され、フレームメモリ606へ格納される。フレーム内予測符号化回路607は、このフレームメモリの画像データから参照画像データを生成し、また動き補償フレーム間予測回路608は、フレームメモリ606のデータと、動き検出回路609で検出されたフレーム間の画像の動きを示す動きベクトル情報から参照データを生成する。動きベクトル情報は、可変長符号化回路610で差分データとともに符号化され送信される。
【0006】
このように、フレーム間相関を利用することにより、差分データは一般に元の画像データよりも小さい情報量のデータとなるので、符号化した画像データは圧縮された画像データとなる。ここでフレーム内予測により符号化した画像データ(Iピクチャと呼ばれる)を送信するか、フレーム間予測により符号化した画像データ(Pピクチャと呼ばれる)を送信するかは、圧縮制御回路601により制御されるが、これらは、画像データをブロック化して、蓄積したときにどのブロックからでも再生などを行えるようにする為である。これらの詳細は、例えば「先端画像テクノロジー」、オプトロニクス社(平成5年2月20日発行)に詳しく述べられている。
【0007】
図7は、図5の復号化器506の詳細な構成を示すブロック図で、受信バッファ701に受信された符号化画像データは、まず可変長復号化回路702で復号され、逆量子化IDCT回路703で逆量子化及び逆DCT変換される。また、可変長復号化回路702で取り出された動きベクトル情報は、動き補償画像演算回路704へ入力され、ここでフレームメモリ705の画像データと合わせて参照画像データが生成される。この参照画像データは、差分データである逆量子化IDCT回路703の出力と加算され、その加算出力または逆量子化IDCT回路703出力そのものが、駒落としされたフィールドを補間するためのフィールド補間回路706、および元の信号方式へ戻す信号変換回路707を経由して出力される。
【0008】
【発明が解決しようとする課題】
上記したJPEGやMPEGの方式によると、画像データの大幅な圧縮が可能であるが、監視用システムにおいては、例えば夜間中ずっとカメラで画像を取り込んでおり、これを圧縮したとしても常時画像データの伝送が必用であり、伝送路の効率的利用のためにはさらに別の改善策が必要である。また膨大な情報を記録する必要がある。
【0009】
本発明の目的は、監視用システムの画像データを効率よく伝送・記録できるディジタル画像の通信・記録装置、送信装置、受信装置を提供することにある。
【0010】
【課題を解決するための手段】
本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を送信手段へ送出するための判定手段とを送信側に設け、
受信した可変長符号を記録するための記憶手段と、上記受信した可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための惰報源符号化手段を送信側に設け、
受信した1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を出力するための判定手段と、該手段から出力された可変長符号を記録するための記憶手段と、上記判定手段から出力された可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出するために、上記可変長符号が予め定めた符号パターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を含む画面の符号を送信手段へ送出するための判定手段とを送信側に設け、
受信した可変長符号を記録するための記憶手段と、上記受信した可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム問予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段を送信側に設け、
周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出するために、受信した可変長符号が予め定めた符号のパターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を出力するための判定手段と、該手段から出力された可変長符号を記録するための記憶手段と、上記判定手段から出力された可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を送信手段へ送出するための判定手段とを備えることを特徴とする送信装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化した可変長符号を受信するための受信手段と、受信した1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を出力するための判定手段とを備えることを特徴とする受信装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出するために、上記可変長符号が予め定めた符号のパターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を含む画面の符号を送信手段へ送出するための判定手段とを備えることを特徴とする送信装置を開示する。
更に本発明は、カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号を受信するための受信手段と、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出す るために、受信した可変長符号が予め定めた符号のパターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を出力するための判定手段とを備えることを特徴とする受信装置を開示する。
【0011】
【作用】
夜間のビル、倉庫などでは、通常はカメラの映像は静止画のように変化しないか、あるいは変化しても何かの物体が回転しているときの映像のように、周期的に同じ映像が繰り返されることが多い。従って、フレーム間の差分をとって可変長符号化したとき、静止画状態の時は1画面分の符号長がきわめて小さくなり、異常が発生すると符号長が大きくなる。また通常サイクリックな動きをしている監視対象の時は、異常が発生するとその符号パターンがサイクリックな変化からずれて乱れる。従って、符号長の大きいとき、あるいは符号パターンの乱れを検出し、そのときだけ符号化画像データの伝送・記録を行うようにすれば、監視に必用なデータのみの伝送・記録が行え、効率のよい運用が可能になる。
【0012】
【実施例】
以下、本発明を実施例により詳細に説明する。図1は本発明の方法を適用したディジタル画像の通信・記録装置の一実施例を示すブロック図で、符号101〜108で示される装置は、従来例で説明した図5の符号501〜508で示される装置と同一構成である。符号長検査器109が本発明の特徴とするもので、情報源符号化器102により出力された可変長符号の内、前記のフレーム間予測符号化により生成された画像データ(Pピクチャ)の符号長を調べ、送信するか否かの判定を行う。
【0013】
図2は、符号長検査器109の上記動作を示すフローチャートである。この処理では、まず入力された1画面分の画像データがPピクチャでない(Iピクチャの時)か、あるいはPピクチャであってその符号長が所定の域値以上の時は(ステップ201、202)、その1画面分の画像データを送信する(ステップ205〜207)。しかしPピクチャでかつその符号長が域値以下の時は(ステップ201、202)、その1画面分の画像データの伝送を行わない(ステップ203、204)。こうして1画面づつ処理を行い、すべての画像データの処理終了を確認したとき(ステップ208)、終了する。なおここで、PピクチャかIピクチャかの判定は、符号化の時の制御信号からわかるので、その区別を示すコードも符号の中に含めて伝送されるものとする。
【0014】
夜間のビル、倉庫、工場などでは、監視カメラからの映像は通常ほとんど変化しない。しかし、不審者の侵入などの異常時には人やものが動いたり、ドアがあいたり、明るさが変化するなどにより映像が変化する。Pピクチャは、この映像の前画面との変化分を取り出して可変長符号化回路により符号化したものであるから、通常時はその情報量が少なく符号長も短いが、異常時には情報量が増え、符号長も大きくなる。従って、図2のステップ202の域値を適切に設定しておけば、何らかの異常の可能性があるときだけPピクチャが送信され、正常時には何も送信されない。監視システムで必用なのは異常時の映像のみであるので、上記実施例によれば、必用な情報のみが送信・記録され、効率のよい運用ができる。
【0015】
図15は、本発明の別の実施例を示すブロック図で、符号301〜308で示される装置は、従来例で説明した図5の符号501〜508で示される装置と同一の構成である。ここまでは図1の実施例と同じであるが、本発明の特徴とする符号長検出器309は、受信側の復調器305から出力される符号化画像データを入力として動作する点が図1とは異なっている。
【0016】
図4は、符号長検査器309の動作を示すフローチャートで、回線を接続して受信を開始すると(ステップ401、402)、まず1画面分の符号化画像データを受信バッファへ読み込む(ステップ403)。そしてその画像データがPピクチャでかつその符号長が所定の域値以下の時は(ステップ404、405)、何もしないで次の画面の符号化画像データを受信バッファへ読み込むが、Pピクチャでかつその符号長が所定の域値以上か、あるいはIピクチャの時は(ステップ404、405)、その受信バッファの画像データを情報源復号化器306およびデータ記憶装置308へ出力し、復号処理と記録処理の一方または双方を行う。そしてすべての画面の処理が終了すれば(ステップ407)、回線を切断して終了する(ステップ408)。なお、この場合も、送られてきた画像データがPピクチャかIピクチャかの判定は、送信符号の中に含まれている制御情報によって行うものとする。
【0017】
本実施例によれば、倉庫などの監視に際して、画像データの伝送はすべての画面について行われるが、Pピクチャの記録は異常の発生時のみに行われるので、記録容量の節約が行え、後のリプレイ時の作業も効率化できる。
【0018】
なお、監視対象の画像が正常時に同一の変化を周期的に繰り返しているような場合もある。この場合には、Pピクチャは正常時に規則的なパターンを繰り返すことになる。従って、このような場合には、図1または図3の符号長検査器に代わって、Pピクチャのパターンを監視し、そのパターンの規則的変化からの乱れを検出し、そのときのみ伝送・記録を行う為の手段を設置すれば、効率のよい監視画像の伝送・記録が行える。
【0019】
さらに上記いずれの実施例の場合であっても、監視対象場所が複数ある場合には、それらから送られてきた異常時のみのPピクチャ、またはすべての画面のPピクチャをIピクチャとともに1カ所の監視センタで受信し、すべてのPピクチャを送信したときは異常時のみの画像データを取り出し、それから記録・監視を行う集中監視システムを構成すれば、効率のよい監視が行える。
【0020】
【発明の効果】
本発明によれば、映像による監視システムの画像データの通信・記録を効率よく行うことができ、記憶装置の小型化、監視作業の効率化をはかれる効果がある。
【図面の簡単な説明】
【図1】本発明になる監視システム用ディジタル画像の通信・記録装置の一実施例を示すブロック図である。
【図2】図1の符号長検査器の動作を示すフローチャートである。
【図3】本発明になる監視システム用ディジタル画像の通信・記録装置の別の実施例を示すブロック図である。
【図4】図3の符号長検査器の動作を示すフローチャートである。
【図5】従来の符号化器・復号化器の構成を示すブロック図である。
【図6】図5の情報源符号化器の詳細を示すブロック図である。
【図7】図5の情報源復号化器の詳細を示すブロック図である。
【符号の説明】
102 情報源符号化器
106 情報源復号化器
108 データ記憶装置
109 符号長検査器
302 情報源符号化器
306 情報源復号化器
308 データ記憶装置
309 符号長検査器

Claims (8)

  1. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を送信手段へ送出するための判定手段とを送信側に設け、
    受信した可変長符号を記録するための記憶手段と、上記受信した可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置。
  2. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための惰報源符号化手段を送信側に設け、
    受信した1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を出力するための判定手段と、該手段から出力された可変長符号を記録するための記憶手段と、上記判定手段から出力された可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置。
  3. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出するために、上記可変長符号が予め定めた符号パターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を含む画面の符号を送信手段へ送出するための判定手段とを送信側に設け、
    受信した可変長符号を記録するための記憶手段と、上記受信した可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置。
  4. カメラからの動画像信号をディジタル化した後フレーム問予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段を送信側に設け、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出するために、受信した可変長符号が予め定めた符号のパターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を出力するための判定手段と、該手段から出力された可変長符号を記録するための記憶手段と、上記判定手段から出力された可変長符号を元の動画像信号へ復元するための情報源復号化手段とを受信側に設けたことを特徴とするディジタル画像の通信・記録装置。
  5. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を送信手段へ送出するための判定手段とを備えることを特徴とする送信装置。
  6. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化した可変長符号を受信するための受信手段と、受信した1画面分の上記可変長符号の長さが予め定めた値を超えたときだけ当該画面対応の可変長符号を出力するための判定手段とを備えることを特徴とする受信装置。
  7. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号とするための情報源符号化手段と、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出するために、上記可変長符号が予め定めた符号のパターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を含む画面の符号を送信手段へ送出するための判定手段とを備えることを特徴とする送信装置。
  8. カメラからの動画像信号をディジタル化した後フレーム間予測により圧縮し、その出力を符号化して可変長符号を受信するための受信手段と、周期的に同じ映像が繰り返される上記カメラの撮像対象においてその繰り返しに乱れが生じたことを検出 するために、受信した可変長符号が予め定めた符号のパターンからはずれたか否かを判定し、はずれたときだけそのはずれた符号を出力するための判定手段とを備えることを特徴とする受信装置。
JP16229494A 1994-07-14 1994-07-14 ディジタル画像の通信・記録装置、送信装置、受信装置 Expired - Fee Related JP3658016B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16229494A JP3658016B2 (ja) 1994-07-14 1994-07-14 ディジタル画像の通信・記録装置、送信装置、受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16229494A JP3658016B2 (ja) 1994-07-14 1994-07-14 ディジタル画像の通信・記録装置、送信装置、受信装置

Publications (2)

Publication Number Publication Date
JPH0832971A JPH0832971A (ja) 1996-02-02
JP3658016B2 true JP3658016B2 (ja) 2005-06-08

Family

ID=15751762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16229494A Expired - Fee Related JP3658016B2 (ja) 1994-07-14 1994-07-14 ディジタル画像の通信・記録装置、送信装置、受信装置

Country Status (1)

Country Link
JP (1) JP3658016B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247560A (ja) * 2001-02-13 2002-08-30 Toa Corp 録画システム

Also Published As

Publication number Publication date
JPH0832971A (ja) 1996-02-02

Similar Documents

Publication Publication Date Title
US7933333B2 (en) Method and apparatus for detecting motion in MPEG video streams
WO2003010727A1 (en) Method and apparatus for processing image data
JP2007194928A (ja) 遠隔監視装置及び遠隔監視方法
EP1333682A1 (en) Motion detection from an encoded image bit stream
US20050226327A1 (en) MPEG coding method, moving picture transmitting system and method using the same
JP3522395B2 (ja) 監視装置
KR20040084517A (ko) 동영상 휴대 전화기를 이용한 보안 감시 시스템
JPH09322154A (ja) 監視ビデオ装置
JP3658016B2 (ja) ディジタル画像の通信・記録装置、送信装置、受信装置
JPH07231442A (ja) 防犯監視装置
JP4698260B2 (ja) 画像記録装置及び監視システム
JPH0730888A (ja) 動画像送信装置及び動画像受信装置
JP4157661B2 (ja) 動画像内の移動物体検出方法および装置
JP3119199B2 (ja) 遠隔動画像監視装置
JP3206386B2 (ja) ビデオ記録装置
JP3085003U (ja) 動体検出装置および動体検出システム
JP5244625B2 (ja) 画像圧縮伸張装置
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
JP2003111061A (ja) 動体検出装置、動体検出システムおよび動体検出方法
JP3061430U (ja) 遠隔監視セキュリティシステム
JP3952926B2 (ja) 映像符号化装置及び映像符号化方法
JPH11266459A (ja) 動画像符号化装置、移動物体検出装置およびこれら装置に適用される動き予測装置
JPH08205159A (ja) 動画像伝送システム
KR100997082B1 (ko) 다해상도 동영상 코덱 방법 및 장치
JP2001028755A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080318

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090318

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100318

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100318

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110318

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120318

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120318

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130318

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130318

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees