JP3492239B2 - 画像監視装置 - Google Patents

画像監視装置

Info

Publication number
JP3492239B2
JP3492239B2 JP15238699A JP15238699A JP3492239B2 JP 3492239 B2 JP3492239 B2 JP 3492239B2 JP 15238699 A JP15238699 A JP 15238699A JP 15238699 A JP15238699 A JP 15238699A JP 3492239 B2 JP3492239 B2 JP 3492239B2
Authority
JP
Japan
Prior art keywords
image
frame
difference
intruder
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15238699A
Other languages
English (en)
Other versions
JP2000341676A (ja
Inventor
修 徳見
雅勝 高須
小沼  知恵子
茂寿 崎村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Hitachi Ltd
Original Assignee
Secom Co Ltd
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd, Hitachi Ltd filed Critical Secom Co Ltd
Priority to JP15238699A priority Critical patent/JP3492239B2/ja
Publication of JP2000341676A publication Critical patent/JP2000341676A/ja
Application granted granted Critical
Publication of JP3492239B2 publication Critical patent/JP3492239B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、監視領域を撮影
し、得られた画像を処理することにより、監視領域にお
ける侵入者を検出する画像監視装置に関するものであ
る。
【0002】
【従来の技術】従来より、監視領域における侵入者を画
像処理により検出する機能を有する画像監視装置があ
る。画像処理により侵入者を検知する代表的な方式とし
て、背景差分方式とフレーム間差分方式の2つがある。
図1を用いて、背景差分方式の原理を説明する。
【0003】予め監視領域を撮像手段により撮影し、得
た画像を基準画像11として記憶しておく。この基準画
像11は、侵入者が存在しない背景のみの画像となる。
監視中には、監視領域を連続的に撮影する。ここで得た
現在の監視領域の状態を撮影した画像が現画像12とな
る。図示の現画像12には、侵入者13が写っていると
する。
【0004】現画像12と基準画像11と比較してピク
セルごとに差分を取り出して差分画像14を得る。現画
像12に侵入者13が存在する場合、侵入者13が変化
領域15として検出される。画像処理手段では、所定以
上の大きさの変化領域15が検出されたときは、侵入者
13が監視領域に侵入したと判定する。図2を用いて、
フレーム間差分方式の原理を説明する。
【0005】監視中に、監視領域を撮像手段により連続
的に撮影して、画像を記憶手段に記憶する。現画像より
1フレーム前の画像16と現画像12とを比較してピク
セルごとに差分を取り出して差分画像14を得る。図示
の例では、基準画像16と基準画像12の両方に侵入者
13が写っていて、両画像12、16間で侵入者13が
移動をしている。この場合、差分画像14には、侵入者
13の移動による差分が変化領域15として検出され
る。画像処理手段では、変化領域15の大きさ、移動距
離などから侵入者が存在するか否かを判定する。
【0006】
【発明が解決しようとする課題】背景差分方式では、基
準画像11と現画像12が時間的に離れて撮影されるの
で、侵入者13がゆっくり移動しても侵入者13と背景
は明瞭に識別され、変化領域15がクリアに検出され
る。しかしながら、監視領域において明るさの変動など
の環境変動があると、環境変動前の基準画像11と、環
境変動により各ピクセルの輝度が変化している現画像1
2との差分をとると、差分画像14には、明るさ変動に
よる変化領域15が発生することとなる。したがって、
環境の変動が侵入者13として誤検出されることがある
といった問題が発生する。
【0007】フレーム間差分方式は、環境変動による誤
検出は少なくできる。フレーム間差分方式では、短い時
間差で撮影した画像間の動きを捉える。したがって、明
るさの変動などの環境変動は、短い時間差で撮影された
2つの画像12、16間の輝度の差としては小さいもの
となるので検出されにくい。しかしながら、フレーム間
差分方式は、侵入者がゆっくりした動きをした場合の検
出には不向きである。例えば、侵入者がほふく前進など
でゆっくり移動をした場合、また、侵入者がカメラ軸線
方向に移動をした場合は、2つの画像12,16間の差
として検出できないか、又は、差分として検出しても変
化領域15は小さいものとなるので、侵入者として検出
することができない。
【0008】本発明は、環境変動による誤動作をせず、
かつ、ゆっくりした動きをする侵入者であってもそれを
確実に検出する画像監視装置を提供することを目的とす
るものである。
【0009】
【課題を解決するための手段】本発明は、上記目的を達
成するためになされたものである。本発明の画像監視装
置は、監視領域を撮影する撮像手段と、撮影した画像を
処理することにより前記監視領域内における侵入者の検
知を行う画像処理手段から構成される。そして、画像処
理手段は、時間的に連続するフレーム間差分による変化
領域を蓄積し、蓄積された量が所定値を超えたときに、
最後に得られた現画像と、時間的に離れて撮影された基
準画像と比較することによって、侵入者の判定を行う。
【0010】本発明によれば、侵入者がゆっくり移動を
すると、連続した2フレーム間の比較のみでは変化領域
が小さくなるが、侵入者が移動を続けると、蓄積された
変化領域が大きくなっていく。そして、蓄積された変化
領域が所定の大きさを超えると、画像処理手段は、最後
に得られた現画像を、時間的に離れた基準画像と比較す
る。これにより、侵入者による変化領域がクリアに検出
される。また、侵入者が素早く移動をした場合も同様の
処理により、より早い時点で侵入者が検出される。
【0011】時間的に離れた基準画像としては、大きな
蓄積変化領域が出現する直前の画像とすることが好適で
ある。この画像を使用することにより、環境の変動によ
る影響は受けずに、かつ、侵入者をクリアに検出でき
る。本発明によれば、環境変動による誤動作をせず、か
つ、侵入者がゆっくりした移動をした場合でも、侵入者
をクリアに検出することができる画像監視装置が得られ
る。
【0012】
【発明の実施の形態】本発明の実施形態について図を用
いて説明する。図3は、本発明を適用した画像センサの
構成を示す。画像センサ31は、CPUから構成される
制御手段32により制御される。撮像手段33は、光学
系とCCDなどから構成される。赤外線投光手段34
は、夜間などに監視領域が暗くなったときに、制御手段
32の制御により監視領域に赤外線を投光する。画像処
理手段35は、CPUにより構成され、撮像手段33か
ら獲得した画像を処理して、侵入者の有無を判定する。
この処理の内容については後述する。記憶手段36の内
容についても後述する。
【0013】操作手段37は、画像センサ31の俯角な
どの設定又は設定変更をするために設けられる。出力手
段38、画像出力手段39は、有線又は無線によりコン
トローラに接続され、コントローラは、通信回線を介し
てコントロールセンタと接続される。画像センサ31が
侵入者を検知したときは、警備状態が異常状態であるこ
とと異常発生時の異常画像を記憶手段36に記憶する。
出力手段38と画像処理手段39は、コントローラから
状態の呼出しがあったときは、記憶してある異常状態と
異常画像をコントローラへ出力する。電源40は、交流
電力を直流電力に変換して画像センサ31内の各部に供
給する。
【0014】なお、コントローラは通信回路を介してコ
ントロールセンターへ異常信号及び異常画像を送信す
る。図4は、記憶手段36の内容を示す。記憶手段36
には、制御手段32と画像処理手段35の動作プログラ
ムを記憶するプログラム領域51、各種パラメータを記
憶するパラメータ領域52、現画像との比較に使用する
基準画像を記憶する基準画像記憶領域53、撮像手段3
3が撮影した現画像を記憶する現画像記憶領域54、侵
入者を検知したときの画像を記憶する異常画像記憶領域
55、制御手段32と画像処理手段35の処理に使用す
るワークエリア56、警備状態(正常、異常)を記憶す
る状態記憶領域57、画像センサの警備モード(警戒モ
ード、解除モード、保守巡回モード)を記憶するモード
記憶領域58、画像間の差分画像を記憶する差分画像記
憶領域59、複数の差分画像を蓄積した画像を記憶する
蓄積画像記憶領域60を含む。
【0015】図5を用いて、画像センサ31における侵
入者の検出原理を説明する。撮像手段33により監視領
域を時間的に連続して撮影して、連続したフレームを得
る。本実施形態では、撮像手段33は、1秒間に2フレ
ームの画像を取得する。また、侵入者検出の処理のた
め、フレーム間差分をとった差分フレームを15秒間分
蓄積する。
【0016】撮像手段33が撮影した30フレーム(2
フレーム/秒×15秒)分のフレームF30〜フレームF
1 が図示されている。フレームF1 が最新のフレーム
で、フレームF30が30フレーム前のフレームである。
図示のフレームF30〜フレームF1 は、侵入者13が監
視領域に侵入し、画面右側より、ほふく前進によりゆっ
くりと移動をしている状況を示している。フレームF30
は、まだ侵入者が写っていない状況で、フレームF29
ら侵入者13が写り始め、フレームF29〜フレームF1
にかけて、侵入者13は徐々に左側へ移動をしている。
【0017】撮像手段33から新しいフレームを取得す
る度に、現フレームF1 と1フレーム前のフレームF2
との間で、ピクセルごとに差分をとって差分フレームF
sub1を得る。図5には、各フレームF30〜F1 ごとに得
た差分フレームFsub30 〜F sub1が示されている。侵入
者13がゆっくり移動すると、各差分フレームFsub3 0
〜Fsub1に表れる変化領域15は、小さいものとなる。
したがって、従来のフレーム間差分方式(図2)では、
侵入者13の検出ができない。
【0018】差分フレームFsub30 〜Fsub1について変
化領域15を蓄積して差分蓄積フレームFacc1を得る。
差分蓄積フレームFacc1には、蓄積変化領域17が表れ
る。図5には、各差分フレームFsub30 〜Fsub1ごと
に、その時点までの30フレーム分の差分フレームを蓄
積して得た差分蓄積フレームFacc30 〜Facc1が示され
ている。
【0019】図示の例では、フレームF30より以前の3
0フレーム間で変化がないので、差分蓄積フレームF
acc30 には蓄積変化領域は存在しない。フレームF29
ら侵入者13が表れると、侵入者13の移動に伴って、
差分蓄積フレームFacc29 から蓄積変化領域17が表
れ、時間の経過に伴って徐々に大きさが増加していく。
したがって、この大きさが所定値を超えたときは、侵入
者13が写っており、ある距離だけ移動した可能性が高
いと言える。
【0020】蓄積変化領域17の大きさが所定値を超え
ると、現画像とそれより時間的に離れた基準画像との比
較が行われる。いま、フレームF29で初めて変化領域1
5が検出されたとすると、その1フレーム前のフレーム
30を基準画像とする。蓄積変化領域17の大きさが徐
々に大きくなっていき、差分蓄積フレームFacc1で蓄積
変化領域17の大きさが初めて所定値を超えたとする
と、現画像のフレームF 1 と基準画像のフレームF30
比較する。フレームF1 とフレームF30の差分をとるこ
とにより遠時間差分フレームFsub0を取得する。
【0021】遠時間差分フレームFsub0での変化領域1
8は、背景又は背景に近いフレームF30と侵入者を写し
たフレームF1 との差分であるので、前述の背景差分方
式(図1)と同様に、変化領域18が遠時間差分フレー
ムFsub0にクリアに表れる。このように、遠時間差分フ
レームFsub0を使用することにより、侵入者13を検出
し損なって失報することを防止できる。
【0022】さらに、本原理によれば、監視領域におい
て明るさの変動などの環境変動があっても、0.5秒と
いった短い時間差では、フレーム間の差分がしきい値を
超えないため、差分フレームFsub30 〜Fsub1に変化領
域15が表れ難い。したがって、環境変動による誤検出
を防止できる。図6のフローチャートと上記の図5の原
理図を用いて、画像処理手段35による侵入者検出処理
を具体的に説明する。本処理は、撮像手段33により画
像(現フレーム)を取得する度にスタートする。現フレ
ームF1 は、現画像記憶領域54に記憶される。現画像
記憶領域54には、現フレームF1 と1フレーム前のフ
レームF2 が記憶され、新たな現フレームが取得される
度に更新されていく。
【0023】ステップS1で、フレーム間差分をとる。
ここでは、現画像記憶領域54に記憶した現フレームF
1 と1フレーム前のフレームF2 との間で、ピクセルご
とに輝度の差をとり、差分フレームFsub1を取得する。
ここでは、フレーム間の輝度差が所定値を超えるとき、
差分フレームFsub1のピクセル値を1、以下のときピク
セル値を0として2値化する。ピクセル値1のピクセル
を集合した領域が変化領域15となる。
【0024】ここで取得した差分フレームFsub1は差分
画像記憶領域59に記憶される。差分画像記憶領域59
には、30フレーム分の差分フレームFsub30 〜Fsub1
が記憶される。30フレームより前に取得した差分フレ
ームは、現フレームF1 の入力ごとに差分画像記憶領域
59から削除される。ステップS2で、フレーム間差分
を蓄積する。ここでは、差分画像記憶領域59に記憶し
てある全差分フレームFsub30 〜Fsub1について、各ピ
クセルごとに蓄積を行って、差分蓄積フレームFacc1
取得する。ここでは、あるピクセルにおいて、全差分フ
レームFsub30 〜Fsub1の内のどれかでピクセル値が1
であれば、差分蓄積フレームFacc1におけるそのピクセ
ルのピクセル値を1とし、どのピクセル値も0であれ
ば、差分蓄積フレームFacc1のピクセル値を0とする。
ピクセル値1のピクセルを集合した領域が蓄積変化領域
17となる。差分蓄積フレームFacc1は、蓄積画像記憶
領域60に記憶される。なお、この領域60には、最新
の差分蓄積フレームFacc1のみが記憶される。
【0025】ステップS3で、透視変換を行う。ここで
は、蓄積変化領域17の画面上の大きさを距離換算し
て、実際の大きさに変換する。ステップS4で、透視変
換後の蓄積変化領域17の大きさが人間の大きさの1/
10以上であるか否かを判定する。ここで、蓄積変化領
域17の大きさが1/10未満であればステップS5へ
進み、1/10以上であれば、ステップS6へ進む。
【0026】ステップS5では、蓄積変化領域17が小
さく、侵入者13を検出する可能性が少ないので、現フ
レームF1 を基準画像として、基準画像記憶領域56に
記憶して処理を終了する。したがって、蓄積変化領域1
7が小さい間は、基準画像が現フレームF1 により更新
されていき、基準画像に環境の変動が取り込まれること
となる。これにより、次回以降の処理で基準画像を使用
したとき、前述の図1の背景差分方式のような、環境変
動による誤動作を防止できる。
【0027】ステップS6では、蓄積変化領域17の大
きさが人間らしい大きさであるか否かを判定し、人間ら
しい大きさでないと判定されれば侵入者13は未検出で
あるとして本処理を終了する。なお、ここでは基準画像
は更新されない。したがって、侵入者13が存在する場
合、蓄積変化領域17が所定以上の大きさとなるまで
は、ステップS1〜ステップS4−ステップS6の処理
が繰り返される。そして、基準画像としては、蓄積変化
領域17が所定未満の大きさで最新のものが保持され
る。
【0028】侵入者13が移動すると、移動速度に関係
なく、移動した距離が大きくなれば蓄積変化領域17は
所定の大きさ以上となる。蓄積変化領域17が所定の大
きさ以上となるとステップS6からステップS7へ進
む。ステップS7では、現画像記憶領域54に記憶した
現フレームF1 を基準画像記憶領域56に記憶した基準
画像と比較する。図5の例で、蓄積差分フレームF
acc29 以降は基準画像の更新がされなかったとすれば、
基準画像はフレームF30のままである。したがって、現
フレームF1 と基準フレームF30との差分がとられて、
遠時間差分フレームFsub0が抽出される。遠時間差分フ
レームFsub0は、抽出結果として次の処理に渡され、画
像処理手段35により所定のアルゴリズムを使用して侵
入者の検出が行われる。
【0029】コントローラ又はコントロールセンタから
状態の呼出しがあったときは、状態記憶領域57に記憶
した「異常状態」と、現画像記憶領域54に記憶した異
常画像が出力される。以上説明した本発明の実施形態
は、特許請求の範囲に記載された範囲内で種々の変更が
可能である。
【0030】例えば、差分を蓄積するフレーム数、即
ち、変化領域を蓄積する時間は任意に設定できる。ま
た、図6のステップS6で現フレームF1 と比較される
基準画像は、例えば、30フレーム前のフレームとする
というように、フレーム数で決めることもできる。
【0031】さらに、図6のステップS2では、差分蓄
積フレームFacc1の蓄積変化領域17を生成するのに、
30枚の差分フレームを記憶している。この代替処理で
は、差分フレームFsub にてピクセル値が1であれば、
差分蓄積フレームFacc1におけるそのピクセルのピクセ
ル値を30(15秒×2フレーム)とする。また、差分
フレームFsub のピクセル値がいずれも0であれば、差
分蓄積フレームFaccにおけるピクセル値を−1(ディ
クリメント)する。この方法では、蓄積値が一旦30と
なった後は、30フレーム連続してフレーム間差分が0
となるまでは、蓄積変化領域17として記憶を維持でき
る。
【0032】これにより、差分フレームFsub を記憶し
ておくことなく、差分蓄積フレームFacc に変化領域を
蓄積できるので、記憶領域の節約が可能となる。
【0033】
【発明の効果】本発明によれば、環境変動による誤動作
をせず、かつ、ゆっくりした動きをする侵入者であって
もそれを確実に検出する画像監視装置を得ることができ
る。
【図面の簡単な説明】
【図1】背景差分方式による侵入者検知の原理を示す
図。
【図2】フレーム間差分方式による侵入者検知の原理を
示す図。
【図3】本発明を適用した画像センサの構成を示す図。
【図4】図3の記憶手段の内容を示す図。
【図5】図3の画像センサにおける侵入者の検出原理を
説明する図。
【図6】図3の画像センサの処理を示すフローチャー
ト。
【符号の説明】
11…基準画像 12…現画像 13…侵入者 14…差分画像 15…変化領域 16…直前の画像 17…蓄積変化領域 18…変化領域 31…画像センサ 32…制御手段(CPU) 33…撮像手段、 34…赤外線投光手段 35…画像処理手段 36…記憶手段 37…操作手段 38…出力手段 39…画像出力手段 40…電源 51…プログラム領域 52…パラメータ領域 53…基準画像記憶領域 54…現画像記憶領域 55…異常画像記憶領域 56…ワークエリア 57…状態記憶領域 58…モード記憶領域 59…差分画像記憶領域 60…蓄積画像記憶領域 F30〜フレームF1 …撮影フレーム Fsub30 〜Fsub1…差分フレーム Facc1〜Facc30 …差分蓄積フレーム Fsub0…遠時間差分フレーム
フロントページの続き (72)発明者 小沼 知恵子 茨城県日立市大みか町七丁目1番1号 株式会社日立製作所 日立研究所内 (72)発明者 崎村 茂寿 茨城県日立市大みか町七丁目1番1号 株式会社日立製作所 日立研究所内 (56)参考文献 特開 平7−192186(JP,A) 特開 平2−236787(JP,A) 特開 平7−333171(JP,A) 特開 平7−284086(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 G06T 7/20 G08B 13/196

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 監視領域を撮影する撮像手段と、撮影し
    た画像を処理することにより前記監視領域内における侵
    入者の検知を行う画像処理手段を有する画像監視装置に
    おいて、 前記画像処理手段は、時間的に連続するフレーム間差分
    による変化領域を蓄積し、蓄積した量が所定値を超えた
    ときに、最後に得られた現画像と、時間的に離れて撮影
    された基準画像と比較することによって、侵入者の判定
    を行うことを特徴とする画像監視装置。
  2. 【請求項2】 前記画像処理手段は、前記変化領域を蓄
    積した量が第2の所定値以下であるときは、前記基準画
    像を前記現画像でもって更新する請求項1に記載の画像
    監視装置。
JP15238699A 1999-05-31 1999-05-31 画像監視装置 Expired - Fee Related JP3492239B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15238699A JP3492239B2 (ja) 1999-05-31 1999-05-31 画像監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15238699A JP3492239B2 (ja) 1999-05-31 1999-05-31 画像監視装置

Publications (2)

Publication Number Publication Date
JP2000341676A JP2000341676A (ja) 2000-12-08
JP3492239B2 true JP3492239B2 (ja) 2004-02-03

Family

ID=15539393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15238699A Expired - Fee Related JP3492239B2 (ja) 1999-05-31 1999-05-31 画像監視装置

Country Status (1)

Country Link
JP (1) JP3492239B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7625008B2 (en) 2005-10-17 2009-12-01 Key Safety Systems, Inc. Air bag with groove or recess, open or partially covered

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7221092B2 (ja) * 2019-03-12 2023-02-13 セコム株式会社 画像処理装置及び画像処理プログラム
CN110070688A (zh) * 2019-04-30 2019-07-30 南京邮电大学 家用监控预警方法及装置、存储介质和终端
CN114973486A (zh) * 2022-04-20 2022-08-30 上海奂燎智能科技有限公司 一种机房智能报警的方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7625008B2 (en) 2005-10-17 2009-12-01 Key Safety Systems, Inc. Air bag with groove or recess, open or partially covered

Also Published As

Publication number Publication date
JP2000341676A (ja) 2000-12-08

Similar Documents

Publication Publication Date Title
JP4803376B2 (ja) カメラ妨害検知方式
US10277805B2 (en) Monitoring system and camera device
JP4018695B2 (ja) デジタル撮像装置における連続的な焦点および露出合わせ方法および装置
US20140085477A1 (en) Vehicle monitoring device and method of monitoring vehicle
KR20130010875A (ko) 화상 조정 파라미터를 결정하기 위한 방법 및 카메라
KR20060051247A (ko) 화상 처리 장치 및 화상 처리 방법
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
JP3492239B2 (ja) 画像監視装置
JP2940582B2 (ja) 斜め後方走行車検出方法
JP4442571B2 (ja) 撮像装置及びその制御方法
TWI476735B (zh) 攝影機異常種類辨識方法及可偵測攝影異常的監視主機
KR101155184B1 (ko) 복수의 촬영수단간 협업을 이용한 영상추적 시스템
JP3567114B2 (ja) 画像監視装置及び画像監視方法
JP3736989B2 (ja) 画像監視装置
JP3886246B2 (ja) 画像監視システム
JP4724888B2 (ja) 移動体検知装置、移動体撮像システム、移動体撮像方法、および移動体検知プログラム
JP2021022783A (ja) 制御装置、追尾システム、制御方法、及びプログラム
JPH09219854A (ja) 撮像記録装置
JP3681138B2 (ja) 火災検出装置
JP2019033469A (ja) 撮像装置、制御方法及びプログラム
JP2503613B2 (ja) 異常監視装置
JP3890155B2 (ja) 画像センサ
JP2000194961A (ja) 画像センサ
JP3468804B2 (ja) ビデオメモリ装置
JP3897471B2 (ja) 画像センサ

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees