JP3689511B2 - 撮像制御方法と装置及び撮像システム - Google Patents

撮像制御方法と装置及び撮像システム Download PDF

Info

Publication number
JP3689511B2
JP3689511B2 JP31989496A JP31989496A JP3689511B2 JP 3689511 B2 JP3689511 B2 JP 3689511B2 JP 31989496 A JP31989496 A JP 31989496A JP 31989496 A JP31989496 A JP 31989496A JP 3689511 B2 JP3689511 B2 JP 3689511B2
Authority
JP
Japan
Prior art keywords
camera
video
client
control right
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31989496A
Other languages
English (en)
Other versions
JPH10164565A (ja
Inventor
英生 野呂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP31989496A priority Critical patent/JP3689511B2/ja
Priority to US08/955,213 priority patent/US6646677B2/en
Publication of JPH10164565A publication Critical patent/JPH10164565A/ja
Application granted granted Critical
Publication of JP3689511B2 publication Critical patent/JP3689511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置からの映像信号を取り込んでネットワークを介してクライアントに配送する撮像制御方法と装置及び撮像システムに関するものである。
【0002】
【従来の技術】
インターネット等のネットワークを介してビデオカメラを接続し、このビデオカメラにより撮像された映像や音声等のメデイアデータを、そのネットワークを介して複数のクライアントに送信する映像伝送システムが開発されている。このような映像伝送システムでは、そのビデオカメラの操作制御権を複数のクライアントが要求している時は、その内のいずれかのクライアントに排他的に順次与えられる。
【0003】
【発明が解決しようとする課題】
しかし、従来のこのような伝送システムでは、そのメデイアデータを送信するクライアントがそのビデオカメラの制御権を有しているか否かに拘らず、全てのクライアントに対して同じ圧縮或は画像処理などを行って送信していた。
端末宛てのメディアデータのメディア処理方法に同一のメディア処理方法を用いこのため、例えばカメラ制御権を有しているクライアントの場合には、カメラの動作を制御するためにもっと解像度の高い映像を見たい場合でも、通常の映像しか見ることができず、また、カメラの制御権を有していないクライアントではそれほど解像度の高い映像を見る必要がなく、単に高速にリアルタイムで映像を表示したいにもかかわらず、そのような切り換えを行うことはできなかった。
【0004】
またクライアント側では、ジッタバッファを用いて映像パケットを蓄積し、その蓄積されたパケットを用いてフレーム映像を作成する。一方、カメラ制御権を有するクライアントにおいてカメラ制御を良好に行うためには、可能な限りリアルタイムに映像を再生して、撮像している対象物の映像をできるだけリアルタイムに認識できるのが望ましい。
【0006】
本発明は上記従来例に鑑みてなされたもので、カメラ操作のための排他的な制御権を有しているクライアントには低圧縮符号化した映像信号を送り、その制御権を有していないクライアントには高圧縮符号化した映像信号を送る撮像制御方法と装置及び撮像システムを提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するために本発明の撮像制御装置は以下のような構成を備える。即ち、
カメラにより撮像した映像をネットワークを介してクライアントに送信する撮像制御装置であって、
送信先のクライアントが前記カメラ操作のための排他的な制御権を有しているか否かを判定する判定手段と、
前記判定手段が排他的な制御権を有している判定した場合に、前記カメラからの映像信号を低圧縮符号化し、また前記排他的な制御権を有していないと判定した場合に前記映像信号を高圧縮符号化する映像処理手段と、
を有することを特徴とする。
【0010】
また上記目的を達成するために本発明の撮像制御方法は以下のような工程を備える。即ち、
カメラにより撮像した映像をネットワークを介してクライアントに送信する撮像制御方法であって、
送信先のクライアントが前記カメラ操作のための排他的な制御権を有しているか否かを判定する判定工程と、
前記判定工程で排他的な制御権を有している判定した場合に、前記カメラからの映像信号を低圧縮符号化し、また前記排他的な制御権を有していないと判定した場合に前記映像信号を高圧縮符号化する映像処理工程と、
を有することを特徴とする。
【0011】
また上記目的を達成するために本発明の撮像システムは以下のような構成を備える。即ち、
カメラにより撮像した映像をネットワークを介してクライアントに送信する撮像制御装置と複数のクライアントを含む撮像システムであって、
前記撮像制御装置は、
送信先のクライアントが前記カメラ操作のための排他的な制御権を有しているか否かを判定する判定手段と、
前記判定手段が排他的な制御権を有している判定した場合に、前記カメラからの映像信号を低圧縮符号化し、また前記排他的な制御権を有していないと判定した場合に前記映像信号を高圧縮符号化する映像処理手段と、
前記映像処理手段により処理された映像信号をネットワークを介して前記クライアントに送信する送信手段とを有し、
前記クライアントは前記撮像制御装置に対して前記カメラにより撮像された映像信号及び前記カメラの操作のための制御権の獲得を要求できるようにしたことを特徴とする。
【0012】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0013】
[実施の形態1]
本実施の形態では、カメラ映像を受信して表示を行っているカメラ・クライアント(以下、単にクライアント)が、そのカメラの制御権を有しているクライアントであれば、ネットワークを介して送信する映像信号(映像及び音声等を含むメデイアデータを含む)の処理方法を変えることができるようにするものである。即ち、そのカメラよりの映像を受信しているクライアントが制御権を有しているクライアントであれば、映像の劣化の少ない低圧縮符号化を行って送信し、制御権を有していないクライアントに対しては、高圧縮符号化した映像データを送信する。
【0014】
図1は本発明の実施の形態の撮像システムの構成を示すブロック図で、ここでは1つ或は複数のカメラサーバ装置100と複数のクライアント装置200とがネットワーク210を介して接続されている。
【0015】
図1において、100はカメラサーバ装置を示し、200はクライアント装置(ユーザが操作可能な表示操作端末)である。カメラサーバ装置100は、ビデオカメラ103からの映像信号を取り込み、ネットワーク210を介してクライアントへの配送を行うとともに、各クライアントからのカメラ制御の指令をネットワーク210を介して受け付けると、それに応じてビデオカメラ103を制御する。尚、この実施の形態では、ネットワーク210に接続されるクライアント装置の数は制限されない。
【0016】
クライアント装置200は、カメラサーバ装置100からの映像配送を要求し、そのカメラサーバ装置100からの映像を見ると共に、カメラ制御要求をカメラサーバ装置100に対して出力することによりカメラ制御を行う。尚、ここでは、カメラサーバ装置100のビデオカメラ103の制御は、各クライアントが順次行うことができるが、常に1つのクライアント装置だけが、その制御権を有して制御を行うことができるように排他制御されているものとする。
【0017】
次に、カメラサーバ装置100の構成について説明する。
【0018】
カメラサーバ装置100は、ビデオカメラ103、ビデオカメラ103の雲台のパン・チルトおよびズーム倍率等を制御するカメラ制御装置105、ビデオカメラ103からの映像を取り込むビデオキャプチャ装置104、このビデオキャプチャ装置104で取り込んだ映像データをネットワーク210上に配送するネットワーク・インターフェース(I/F)107、上記各ユニットを制御するCPU101および主記憶装置102、および制御プログラムや各種データを格納するための2次記憶装置106を備えている。尚、ビデオカメラ制御装置105は、ネットワーク・インターフェース107を通じてクライアント装置より送られてくるカメラ制御命令を受け取り、ビデオカメラ103のパン・チルト・ズーム等を制御できるように構成されているものとする。またビデオキャプチャ装置104は、ビデオカメラ103からの映像NTSC信号を取り込み、A/D変換した後、圧縮してネットワーク・インターフェース107に渡すものとする。ここでの映像圧縮方式としては、MotionJPEG等があるが、本発明はこれに限定されるものではない。108は前述の各ユニットと接続するためのシステムバスである。
【0019】
次に、クライアント装置200の構成を説明する。
【0020】
カメラサーバ装置100から配送されてきた圧縮映像データは、ネットワーク・インターフェース(I/F)204を通じて受信され、CPU201の制御の下に伸長され、ディスプレイ203の画面上に表示される。尚、このディスプレイ203の画面上には、受信した映像を表示するウインドウに加えて、制御権の獲得要求を発行するためのユーザインターフェース画面が表示されるものとする。202はCPU201により実行される制御プログラム等を記憶している主記憶、206は例えばマウス等のポインティングデバイス及びキーボード等を備える入力部、205は、CPU201により実行される各種プログラムやデータなどを記憶している、ハードディスクなどの二次記憶装置である。また、207はこれら各ユニット同士を接続するシステムバスである。
【0021】
(実施の形態1)
図2は、本実施の形態1のビデオキャプチャ装置104の構成を示すブロック図である。
【0022】
このビデオキャプチャ装置104は、ビデオカメラ103よりの映像信号をいずれの圧縮部で圧縮するかを選択するセレクタ301、高圧縮符号化を行う圧縮部302、低圧縮符号化を行う303を備えている。
【0023】
即ち、ビデオカメラ103の制御権を有さないクライアント装置に映像信号を送信する時は、セレクタ301に映像信号を圧縮部302に送り圧縮部302で高圧縮動画像符号化を行う。これにより制御権を有していないクライアント装置には、符号化データ量は少ないが再生される映像の品質が低下した映像が送信される。これに対しカメラ制御権を有しているクライアント装置に対しては、圧縮部303で低圧縮動画像符号化を行って送信する。これにより、制御権を有しているクライアント装置には、符号化データ量は多くなるが、再生される映像の品質が良好となる圧縮映像信号が送られることになる。
【0024】
こうしてカメラ制御権を有していないクライアント装置では通常の映像が再生され、カメラ制御権を有していてカメラ制御を行うクライアント装置では、カメラ制御がし易い高品質の画像が再生される。
【0025】
図4は、本実施の形態の主記憶102に設けられた送信先テーブル111の構成を説明するための図である。
【0026】
この送信先テーブル111には、映像を送信しているクライアント名と、それに対応して制御権の「有/無」が登録されている。
【0027】
図5は、カメラサーバ装置100よりクライアント装置200に送信される映像データのデータフォーマットで、ヘッダとして送信先アドレス500、及びその映像データ501が記憶されている。
【0028】
図6は、本実施の形態のカメラサーバ装置100における処理を示すフローチャートで、この処理を実行する制御プログラムは主記憶102に記憶されている。尚、このプログラムは二次記憶装置106に記憶され、主記憶102にロードされて実行されても良い。
【0029】
この処理はクライアント装置よりの映像信号の要求、或はタイマイベントの発生などにより、クライアント装置への映像送信を行う際に起動される。まずステップS1で、そのクライアント装置が制御権を有しているかどうかを調べ、制御権を有しているときはステップS2に進み、図2のセレクタ301により、ビデオカメラ103からの映像信号を圧縮部303に出力して低圧縮符号化を行う。そしてその圧縮した映像信号を、図5のフォーマットでネットワーク・インターフェース107を介してクライアント装置に送信する。
【0030】
一方、そのクライアント装置が制御権を有していない時はステップS4に進み、セレクタ301により圧縮部302を選択して圧縮し、その圧縮した映像信号をネットワーク・インターフェース107を介してクライアント装置に送信する(S3)。
【0031】
(実施の形態2)
図3は、本発明の実施の形態2であってクライアント装置の構成を示すブロック図である。
【0032】
このクライアント装置は、ネットワークI/F107よりの映像信号をいずれのジッタ吸収用バッファを通して受信するかを選択するセレクタ310、ジッタ吸収用の大きなバッファ311、ジッタ吸収用の小さなバッファ312を備えている。
【0033】
そしてカメラサーバ100は、ビデオカメラ103の制御権を与えないクライアント装置には大きなジッタ吸収用のバッファを用いるように指示する制御パケットを送信するとともに映像信号を送信する。この制御パケットに応じてクライアント装置は、セレクタ310によりジッタを吸収するために大きめのバッファを選択する。これにより制御権を有していないクライアント装置では、ディレイが大きい映像がデコードされて表示される。これに対しカメラサーバ100は、カメラ制御権を与えているクライアント装置に対しては、小さなジッタ吸収用バッファを用いるように指示する制御パケットを送信するとともに、その映像信号を送信する。この制御パケットに応じてクライアント装置は、セレクタ310によりジッタ吸収用の小さいサイズのバッファを選択する。これにより、制御権を有しているクライアント装置では、ジッタ吸収用のバッファを小さくして映像デコーダによりデコード再生することができる。こうしてカメラ制御を行うクライアント装置にて、よりレスポンスの良い、すなわちディレイの少ない映像が再生・表示される。
【0034】
図7は、本発明の実施の形態2のクライアント装置における処理を示すフローチャートである。この処理プログラムは主記憶装置202に記憶されている。尚、このプログラムについても二次記憶装置205に記憶され、主記憶装置202にロードされて実行されても良い。この処理はクライアント装置からの映像信号の要求に応じて、カメラサーバ装置100が起動することにより行われる。
【0035】
まず自端末宛の制御用パケットを受信することにより、自端末がカメラ制御権を有するかどうかを判定する(S11)。もしカメラ制御権を有していれば、カメラサーバ100から受信する映像信号を、ジッタ吸収のための小容量バッファに記憶させる(S12)。そしてそのバッファに記憶された映像信号をフレーム単位にデコードし(S13)、そのデコードされた映像信号をディスプレイ203に表示する(S15)。この制御は通信終了もしくは予め定められたカメラ制御権の消失により終了する。また自端末宛の制御パケットによりカメラ制御権を有し得ない場合は(S11)、ジッタ吸収のために大容量バッファを用いる(S14)。
【0036】
なお、本発明は、複数の機器(例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。
【0037】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。
【0038】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0039】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0040】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0041】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0042】
以上説明したように本実施の形態によれば、カメラ制御権を有するクライアント端末宛ての映像データの処理方法を、カメラ制御権を有さないクライアント端末宛ての映像データのそれと異なるように制御するようにしたため、カメラ制御を行い易くなるという効果がある。
【0043】
また本実施の形態によれば、カメラ制御権を有していないクライアント装置では、高速に映像を表示して確認でき、またカメラ制御権を有しているクライアント装置では、カメラ制御がし易い映像を表示できるという効果がある。
【0044】
【発明の効果】
以上説明したように本発明によれば、カメラ操作のための排他的な制御権を有しているクライアントには低圧縮符号化した映像信号を送り、その制御権を有していないクライアントには高圧縮符号化した映像信号を送ることにより、制御権を有していないクライアントは高速に切り替わる映像を見ることができ、また制御権を有しているクライアントは制御し易い映像を見ることができる。
【0047】
【図面の簡単な説明】
【図1】本発明の実施の形態の映像送信システムの構成を示すブロック図である。
【図2】本発明の実施の形態1のビデオキャプチャ装置の構成を示すブロック図である。
【図3】本発明の実施の形態2のクライアント装置の構成を示すブロック図である。
【図4】本発明の実施の形態の送信先テーブルの構成を示す図である。
【図5】本実施の形態の映像データのデータフォーマットを示す図である。
【図6】本実施の形態のカメラサーバ装置における処理を示すフローチャートである。
【図7】本発明の実施の形態2のクライアント装置における処理を示すフローチャートである。
【符号の説明】
100 カメラサーバ装置
101,201 CPU
102,202 主記憶
103 ビデオカメラ
105 カメラ制御装置
106,205 二次記憶装置
111 送信先テーブル
200 カメラ・クライアント
210 ネットワーク
302,303 圧縮部

Claims (3)

  1. カメラにより撮像した映像をネットワークを介してクライアントに送信する撮像制御装置であって、
    送信先のクライアントが前記カメラ操作のための排他的な制御権を有しているか否かを判定する判定手段と、
    前記判定手段が排他的な制御権を有している判定した場合に、前記カメラからの映像信号を低圧縮符号化し、また前記排他的な制御権を有していないと判定した場合に前記映像信号を高圧縮符号化する映像処理手段と、
    を有することを特徴とする撮像制御装置。
  2. カメラにより撮像した映像をネットワークを介してクライアントに送信する撮像制御方法であって、
    送信先のクライアントが前記カメラ操作のための排他的な制御権を有しているか否かを判定する判定工程と、
    前記判定工程で排他的な制御権を有している判定した場合に、前記カメラからの映像信号を低圧縮符号化し、また前記排他的な制御権を有していないと判定した場合に前記映像信号を高圧縮符号化する映像処理工程と、
    を有することを特徴とする撮像制御方法。
  3. カメラにより撮像した映像をネットワークを介してクライアントに送信する撮像制御装置と複数のクライアントを含む撮像システムであって、
    前記撮像制御装置は、
    送信先のクライアントが前記カメラ操作のための排他的な制御権を有しているか否かを判定する判定手段と、
    前記判定手段が排他的な制御権を有している判定した場合に、前記カメラからの映像信号を低圧縮符号化し、また前記排他的な制御権を有していないと判定した場合に前記映像信号を高圧縮符号化する映像処理手段と、
    前記映像処理手段により処理された映像信号をネットワークを介して前記クライアントに送信する送信手段とを有し、
    前記クライアントは前記撮像制御装置に対して前記カメラにより撮像された映像信号及び前記カメラの操作のための制御権の獲得を要求できるようにしたことを特徴とする撮像システム。
JP31989496A 1996-10-25 1996-11-29 撮像制御方法と装置及び撮像システム Expired - Fee Related JP3689511B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP31989496A JP3689511B2 (ja) 1996-11-29 1996-11-29 撮像制御方法と装置及び撮像システム
US08/955,213 US6646677B2 (en) 1996-10-25 1997-10-21 Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31989496A JP3689511B2 (ja) 1996-11-29 1996-11-29 撮像制御方法と装置及び撮像システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005086589A Division JP3833232B2 (ja) 2005-03-24 2005-03-24 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体

Publications (2)

Publication Number Publication Date
JPH10164565A JPH10164565A (ja) 1998-06-19
JP3689511B2 true JP3689511B2 (ja) 2005-08-31

Family

ID=18115424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31989496A Expired - Fee Related JP3689511B2 (ja) 1996-10-25 1996-11-29 撮像制御方法と装置及び撮像システム

Country Status (1)

Country Link
JP (1) JP3689511B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4878409B2 (ja) * 1999-03-23 2012-02-15 キヤノン株式会社 情報制御装置及び情報制御方法及び記憶媒体
JP4593209B2 (ja) * 2004-09-02 2010-12-08 パナソニック株式会社 画像受信装置及び画像受信方法、並びに画像伝送システム

Also Published As

Publication number Publication date
JPH10164565A (ja) 1998-06-19

Similar Documents

Publication Publication Date Title
JP4585479B2 (ja) サーバ装置および映像配信方法
US6744927B1 (en) Data communication control apparatus and its control method, image processing apparatus and its method, and data communication system
JP4153995B2 (ja) 画像復号化符号化装置、画像符号化装置及び画像復号化装置
JP3330797B2 (ja) 動画像データ格納方式および動画像データ復号方式
KR100235505B1 (ko) 이미지 데이타 통신 시스템
US9024999B2 (en) Information processing apparatus, conference system, and storage medium
JP3479443B2 (ja) 動画像データの圧縮方法及び出力方法及び動画像データの再生方法ならびに動画像データの圧縮装置及び出力装置及び再生装置
US6675241B1 (en) Streaming-media input port
CN111726657A (zh) 直播视频的播放处理方法、装置及服务器
CN111225171B (zh) 一种视频录制方法、装置、终端设备及计算机存储介质
JP2004056393A (ja) 再生データの保存結果の修復システム
JP2001204001A (ja) 動画像配信システム,再生端末装置,及び配信装置
JP3689511B2 (ja) 撮像制御方法と装置及び撮像システム
US5760847A (en) Processing moving image data based on an arbitrarily designated frame
JP3833232B2 (ja) 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
JP2003169329A (ja) 画像音声符号化復号化装置
KR20050104455A (ko) 다중 비트율을 지원하는 실시간 동영상 스트림 전송시스템
JPH10276311A (ja) データ通信方法とデータ通信システム
JPH11196404A (ja) 映像発信装置及び映像受信装置及びその制御方法及び記憶媒体
KR20020070721A (ko) 동영상 전송장치
JP2004349743A (ja) 映像ストリーム切替システム、方法、映像ストリーム切替システムを含む映像監視、映像配信システム
CN112954483B (zh) 数据传输方法、系统及非易失性存储介质
JP2003309847A (ja) 画像伝送方法および画像伝送装置
WO2023223401A1 (ja) リアルタイム編集システム
JP2003224801A (ja) 再生装置システム、情報処理装置及び情報処理装置の制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130617

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees