JP3462434B2 - 画像処理による動き検出方法 - Google Patents
画像処理による動き検出方法Info
- Publication number
- JP3462434B2 JP3462434B2 JP23847299A JP23847299A JP3462434B2 JP 3462434 B2 JP3462434 B2 JP 3462434B2 JP 23847299 A JP23847299 A JP 23847299A JP 23847299 A JP23847299 A JP 23847299A JP 3462434 B2 JP3462434 B2 JP 3462434B2
- Authority
- JP
- Japan
- Prior art keywords
- relative density
- average
- limit value
- image
- density differences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
れる画像を処理して、画像内での動きを検知する方法に
関するものであり、特に、地滑り・岩盤崩落・落石・転
倒・岩滑り・雪崩などの危険斜面の監視や、防波堤を越
える高波の監視や、建造物および敷地内へ侵入の監視な
どを遠隔にて行う遠隔監視システムにおいて、監視すべ
きサイトを撮像した画像を処理して異常な動態を検知す
る方法に関するものである。
ため、地滑り、岩盤崩落、落石、転倒、岩滑りなどの危
険箇所は数万箇所という膨大な数に上る。このような危
険個所の監視方法は、コスト的に安いパトロールによる
目視確認が殆どである。
確保するために、防波堤を越える高波の監視や、道路の
渋滞状況の監視や、建造物および敷地内へ侵入の監視な
どを遠隔にて行う遠隔監視システムが開発されている。
このような監視システムでは、監視すべきサイトを1台
もしくは複数台のビデオカメラで撮像して得られる画像
信号を1台もしくは複数台のモニタ上に表示し、この表
示画面を係員が監視するようにしているのが一般的であ
る。また、モニタ上に表示するのと同時にまたはそれに
代えてビデオレコーダで記録するようにしている。ま
た、夜間における建造物や敷地内への侵入監視について
は、赤外線センサを用いた侵入監視装置を併用し、これ
によって侵入を検知したときに照明装置を点灯してビデ
オカメラで撮像するようにしたシステムも提案されてい
る。
石、転倒、岩滑りなどの危険斜面を通常のパトロール業
務において監視する場合は、目視が主であるため、地盤
のずれなどは定性評価(例えば小石の散乱を確認する程
度)しかできない。また、パトロール要員が変われば、
判断基準もまちまちになり、正確性を担保する上で問題
がある。
をモニタしながら監視を行うシステムでは、係員が常時
監視している必要があると共に表示された画面から何ら
かの異常を検知することは容易ではなく、また長時間監
視や複数箇所を同時監視するといったニーズに対応する
ことは非常に困難である。このためこの監視方法は、重
大な変化を見逃してしまう恐れがある。この場合、順次
に撮像される画像を比較し、これらの間に差分があれば
何らかの動きがあったと判定して異常を表示するように
した画像処理システムが考えられる。しかし、この場
合、検出感度を高くすると、ノイズと看倣せるような僅
かな変化も異常として判定してしまい、逆に感度を低く
すると、本来検出しなければならない変化をも見逃して
しまうという問題がある。
すべきサイトにおける動きを画像処理によって正確に検
知することができる方法を提供しようとするものであ
る。
よる動き検出方法は、動きを検知すべきサイトを撮像装
置によって時間的に前後に撮像して得られる2つの画像
信号の差分を表わす濃度相対差を求める工程と、この濃
度相対差の平均を求める工程と、この濃度相対差の平均
を限界値と比較し、限界値を越えるときに動きがあると
判定する工程と、を具え、前記濃度相対差の平均を、濃
度相対差の和を、計測範囲の総画素数で除算して求め、
前記限界値Lを、順次に連続して求められるN個の濃度
相対差の平均M(i)の総和をNで除して求まる平均値に補
正係数k(k>1)を乗算して求めることを特徴とする
ものである
き検出方法においては、動きの有無を判断する限界値
を、濃度相対差の平均に基づいて演算しているので、画
像の全体的な変化、例えば時間による変化や天候の変化
に伴う変化などの影響を軽減することができ、したがっ
て一層正確な動き検出を行なうことができる。
においては、前記濃度相対差の平均が限界値を越えたこ
とを1回でも検知したときに、動きがあると判定しても
良いが、屋外においてはさまざまな自然現象のために瞬
間的な動きが多数存在し、これらを異常な動きとして検
出することは多くの用途において好ましくない。そこ
で、本発明による好適な実施例においては、上述した濃
度相対差の平均が限界値を越えたときにトリガ信号を発
生させ、このトリガ信号が発生されたときは、予め決め
た回数に亘って濃度相対差の平均を限界値と比較し、限
界値を越える回数が所定の回数以上となるときに動きが
あると判定する。
方法は、動きを検知すべきサイトを撮像装置によって時
間的に前後に撮像して得られる2つの画像信号の差分を
表わす濃度相対差を求める工程と、この濃度相対差の平
均を求める工程と、この濃度相対差の平均を限界値と比
較し、限界値を越えるときに動きがあると判定する工程
と、を具え、前記動きを検知すべきサイト内に複数の計
測エリアを設定し、これら複数の計測エリアの各々につ
いて濃度相対差の平均を求めてそれぞれ限界値と比較
し、これら計測エリアのいずれか1つまたは予め決めら
れた複数の計測エリアにおいて濃度相対差の平均が限界
値を越えるときに動きがあると判定をすることを特徴と
するものである。このような方法では、複数の計測エリ
アをサイトの状況に応じて最適な位置に設定することが
できるので動き検出の精度をさらに向上することができ
る。
き検出方法を適用した土石流監視システムの全体の構成
を示すものである。土石流を監視すべきサイトSの画像
を、固体撮像素子を有するビデオカメラ1で撮像し、得
られる画像信号を監視事務所2へ伝送する。本例では、
画像信号はケーブルを介して伝送するが、無線伝送する
こともできる。監視事務所2には、監視サイトSから伝
送されてくる画像信号を映出する監視モニタ3を設け
る。係員はこの監視モニタ3上に映出される画像を見な
がら監視を行うことができる。したがって、ビデオカメ
ラ1をカラービデオカメラとし、監視モニタ3をカラー
モニタとするのが好適である。
は、画像処理装置4へも供給する。この画像処理装置4
には、カラー画像信号に対してY/C分離、タイムベー
スの補正などの処理を行う信号処理部5と、本発明によ
る動き検出を行うための演算処理部6と、画像信号や検
出結果を記憶するための記憶部7と、画像処理表示部8
を設ける。また、画像処理装置4において動きがあると
判定された場合に出力される動き検出信号はコントロー
ラ9へ供給され、このコントローラから所定の場所に設
置されている警報装置10〜12へ警報信号を供給して
警報を発するようにしている。
ては、係員は監視モニタ3上に表示される監視サイトS
の画像を見ながら、土石流の発生を監視すると共に、画
像処理装置4において画像処理を行って動きを自動的に
検出し、異常な動きが検出されたときにコントローラ9
へ異常信号を供給するようにしているが、監視サイトS
内で鳥が飛んできた場合や、小動物が動いた場合や、風
によって木々が揺れた場合にも異常な動きとして検出さ
れると誤報が頻繁に生じることになる。このような不具
合をなくすために、動きの検出感度を落とすと重要な動
きも見逃される可能性が大きくなり、いずれにしてもシ
ステムの信頼性が損なわれることになる。本発明による
動き検出方法はこのような問題点を解決するものであ
る。
れた全画面における動きを検出するのではなく、その中
に設定された計測エリア(図1においてAで示す)内の
画像信号を処理して動きを検出するものである。この計
測エリアAは、係員が画像処理表示部8の画面を見なが
ら演算処理部6のキーボードを操作して、画面中の任意
の位置に、任意の大きさで、任意の個数だけ設定するこ
とができる。この場合、計測エリアAの形状は、固定的
であっても任意に変更できるものであっても良い。
検出方法の基本的な操作を説明するための図である。図
2は、ビデオカメラ1から送られてくる監視サイトSの
画像の中に設定された1つの計測エリアA内の映像を示
すものである。この計測エリア内の物体Bが右から左へ
移動している場合の2枚の順次の画像を表している。
今、この物体Bを横切る走査線CーCを考慮し、この走
査線の全長である計測範囲をYとする。すなわち、この
計測エリアAの水平方向のサイズはY画素分であるとす
る。
にとり、各画素の濃度を縦軸に取って示すものである。
本例では、画像信号はデジタル信号として処理するが、
1画素の濃度を8ビット、すなわち256階調で表して
いる。
各画素について求めたものであり、物体Bが移動してい
るために2箇所において濃度相対差が現れている。この
濃度相対差は、2つの画像の濃度差の絶対値である。本
発明においては、このようにして2枚の画像の各画素毎
の濃度相対差を求めた後、その平均を求める。すなわ
ち、濃度相対差の和を求め、これを計測範囲内の全画素
数Yで除算した値を濃度相対差の平均として求める。
得られる濃度相対差から上述したようにして求めた濃度
相対差の平均を限界値と比較し、濃度相対差の平均が限
界値以上となるときに動きありと判定するものである。
この限界値は、例えば個々の監視サイトの性状や所望の
検出感度などを考慮して決めることができるが、後述す
るように、濃度相対差の平均に基づいて自動的に演算す
るのが好適である。
の画像を比較し、これら画像の対応する画素間で濃度相
対差が検出されるときに直ちに動きがあったと判定する
のではなく、計測エリアA内での画素間の濃度相対差の
平均を求め、この平均が所定の限界値以上となるときに
動きがあると判定するものであるから、例えば計測エリ
アAの大きさを十分大きな範囲にすれば、その中を単に
鳥が横切ったときには、これは動きとして検出されるこ
とはないが、広い範囲に亘って地面が動いた場合には、
その動き量が僅かであっても濃度相対差の平均は大きな
値となるので、動きとして適正に検出されることにな
る。
を濃度相対差に基づいて自動的に設定するのが好適であ
るが、以下その一例について説明する。監視サイトSを
撮像して得られる順次のN+1個の画像の順次の2個の
画像の間のN個の濃度相対差の総和ΣM(i)を求め、この
総和をNで除して平均値を求め、この平均値に補正係数
k(k>1)を乗算して前記限界値Lを求めることがで
きる。すなわち、限界値Lを以下の式(1)にしたがっ
て演算することができる。
大きい値であるが、個々の計測エリアにおいて経験的に
設定することができる。一般的に、ノイズと見做せるよ
うな微小な動きが比較的多い環境に計測エリアが存在し
ている場合には、kの値は大きく設定し、ノイズが少な
い場合には小さな値に設定することができる。
差の平均が限界値以上となるときに直ちに動きがあると
判定するのではなく、最初に濃度相対差の平均が限界値
以上となるときにトリガ信号を発生させ、このトリガ信
号が発生された後、予め決められた回数に亘って画像比
較を行い、その中の所定の回数以上動きがあると判定さ
れる場合に初めて有意な動きがあると判定する。例え
ば、上述したトリガ信号が発生されたら、5回に亘って
画像比較を行い、その内の3回以上において濃度相対差
の平均が限界値以上となる場合に、動きがあると判定す
るものである。このような判定方法を採用することによ
って、一瞬の動きによるノイズが比較的多い計測エリア
に対しても正確な動き検出を行うことができる。
数の計測エリアの組み合わせに基づいて動きを判定する
ことが好適である。例えば、図5のように、A1〜A6
の6箇所の計測エリアを監視サイト内に設定する。この
場合の検知条件では、各計測エリア毎に濃度相対差の平
均をそれぞれの限界値と比較し、各計測エリアのいずれ
か1つまたは予め定めた複数に計測エリアにおいて濃度
相対差の平均値が限界値を越えるときに、動きがあると
判定することができる。例えば、ある場合には、全計測
エリアのいずれか1つにおいて濃度相対差の平均値が限
界値を越えるときに動きがあると判定する。或いはま
た、計測エリアA1とA2において、濃度相対差の平均
値が限界値を越えることが同時に検知されたとき、ある
いは計測エリアA3〜A6の内のいずれか1つにおい
て、濃度相対差の平均値が限界値を越えることが検知さ
れたときに、動きがあると判定することもできる。この
場合、サイト内での計測エリアの位置、大きさ、形状お
よび動き判定の条件などは、現場の状況に対応して最適
に設定することができるので、動く検出の精度をさらに
向上できる。
処理の順次のステップを示すフローチャートである。ス
タート後、ステップS1において、種々のパラメータの
初期設定を行う。すなわち、計測エリアAの位置および
サイズの入力、補正係数kの設定、限界値を自動設定す
るための画像比較回数Nの設定、トリガ信号発生後の画
像比較回数の設定、ビデオカメラにおけるシャッタスピ
ードの設定、警報装置の自動/手動の設定、計測時間の
設定、検知条件の設定を行う。
(1)に基づいて限界値Lを演算して自動的に設定す
る。ステップS3において、設定された計測時間が経過
しているか否かをチェックし、未だ計測時間内である場
合には、ステップS4において、濃度相対差の平均を算
出する。次にステップS5において、算出された濃度相
対差の平均が上述したステップS2において自動的に設
定された限界値以上であるか否かをチェックし、限界値
以上と判定された場合には、ステップS6においてトリ
ガ信号を発生させる。
が発生された後、5回の画像比較を行い、その中の3回
以上において濃度相対差の平均が限界値以上であるか否
かをチェックし、3回以上の画像比較において濃度相対
差の平均が限界値以上であると判断されない場合にはス
テップS3に戻り、3回以上の画像比較において濃度相
対差の平均が限界値以上であると判断される場合には、
ステップS8において、警報装置が自動であるか手動で
あるかを判断する。ここで、自動であると判断された場
合には、ステップS9において警報装置を作動させ、さ
らにステップS10において、計測を終了するか否かを
チェックし、終了しない場合にはステップS3へ戻る。
手動であると判断される場合には、ステップS11にお
いて、検知画像を表示(図1の画像処理表示部8に表
示)し、ステップS12において係員による検知画面の
確認を行い、ステップS13において、警報装置を作動
させるか否かを判断し、作動させる場合にはステップS
9で警報装置を作動させる。
ものではなく、幾多の変更や変形が可能である。例え
ば、上述した実施例においては、ビデオカメラから送ら
れてくる画像信号の順次のフレームの画像を比較して濃
度相対差を求めたが、数個置きのフレームの画像間の比
較を行って濃度相対差を求めることもできる。このよう
な場合には、撮像装置としてCCD のような固体撮像素子
を有するビデオカメラを用いる代わりに、電子スチール
カメラを用い、これを所定の周期で間欠的に動作させる
こともできる。また、赤外線カメラを用いて処理するこ
とも考えられる。
を自動的に算出するようにしたが、個々の計測エリアに
応じて適切な値を設定することもできる。同様に、トリ
ガ信号発生後の画像の比較回数も個々の計測エリアの状
況に応じて最適な値を設定することができる。
明の画像処理による動き検出方法を、急斜面における土
石流の監視システムに適用したが、岩盤崩落・落石・転
倒・岩滑り・雪崩などの危険斜面の監視、防波堤を越え
る高波の監視、建造物および敷地内へ侵入の監視、道路
交通の渋滞状況の監視などの種々の遠隔監視システムに
適用することができる。
岩盤崩落・落石・転倒・岩滑りなどの危険斜面の遠隔監
視システムなどにおいて、鳥の飛来や小動物の移動や風
による木々の揺らぎなどのノイズに影響されることな
く、有意な動きを正確にしかも実用的に十分高い感度で
検出することができ、したがって監視システムの信頼性
を向上することができ、その結果として安全性の担保を
一層確実に行うことができる。
て自動的に演算するようにした実施例においては、画像
の全体的な変化、例えば時間による変化や天候の変化に
伴う変化などの影響を軽減することができる。さらに、
トリガ信号発生後の画像回数や、そのときの限界回数を
個々の計測エリアの状況に応じて最適な値に設定するこ
とによって動き検出の精度および感度を最適とすること
ができ、したがって個々の計測エリアに対して融通性に
富んだものとなる。
た土石流監視システムの全体の構成を示す図である。
を示す線図である。
る。
る。
した状況を示す線図である。
ーチャートである。
ビデオカメラ、 2監視事務所、3 監視モニタ、
4 画像処理装置、 5 信号処理部、 6演算処理
部、7 記憶部、 8 画像処理表示部、 9 コント
ローラ、 10〜12 警報装置
Claims (3)
- 【請求項1】 動きを検知すべきサイトを撮像装置によ
って時間的に前後に撮像して得られる2つの画像信号の
差分を表わす濃度相対差を求める工程と、 この濃度相対差の平均を求める工程と、 この濃度相対差の平均を限界値と比較し、限界値を越え
るときに動きがあると判定する工程と、 を具え、前記濃度相対差の平均を、濃度相対差の和を、
計測範囲の総画素数で除算して求め、前記限界値Lを、
順次に連続して求められるN個の濃度相対差の平均M(i)
の総和をNで除して求まる平均値に補正係数k(k>
1)を乗算して求めることを特徴とする画像処理による
動き検出方法。 - 【請求項2】 前記濃度相対差の平均が限界値を越えた
ことを検知した後、予め決めた回数に亘って濃度相対差
の平均を限界値と比較し、限界値を越える回数が所定の
回数以上となるときに動きがあると判定することを特徴
とする請求項1に記載の画像処理による動き検出方法。 - 【請求項3】 動きを検知すべきサイトを撮像装置によ
って時間的に前後に撮像して得られる2つの画像信号の
差分を表わす濃度相対差を求める工程と、 この濃度相対差の平均を求める工程と、 この濃度相対差の平均を限界値と比較し、限界値を越え
るときに動きがあると判定する工程と、 を具え、前記動きを検知すべきサイト内に複数の計測エ
リアを設定し、これら複数の計測エリアの各々について
濃度相対差の平均を求めてそれぞれ限界値と比較し、こ
れら計測エリアのいずれか1つまたは予め決められた複
数の計測エリアにおいて濃度相対差の平均が限界値を越
えるときに動きがあると判定をすることを特徴とする画
像処理による動き検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23847299A JP3462434B2 (ja) | 1999-08-25 | 1999-08-25 | 画像処理による動き検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23847299A JP3462434B2 (ja) | 1999-08-25 | 1999-08-25 | 画像処理による動き検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001067573A JP2001067573A (ja) | 2001-03-16 |
JP3462434B2 true JP3462434B2 (ja) | 2003-11-05 |
Family
ID=17030755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23847299A Expired - Fee Related JP3462434B2 (ja) | 1999-08-25 | 1999-08-25 | 画像処理による動き検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3462434B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4675501B2 (ja) * | 2001-05-15 | 2011-04-27 | 株式会社Nttファシリティーズ | メーター監視システム、メーター監視方法 |
JP4082144B2 (ja) * | 2002-09-05 | 2008-04-30 | 株式会社明電舎 | 混雑度調査装置 |
JP2010071687A (ja) * | 2008-09-16 | 2010-04-02 | Shinano Kenshi Co Ltd | 動画データ解析プログラム |
CN103914949B (zh) * | 2013-01-08 | 2016-06-15 | 深圳市宏远电子有限公司 | 自然灾害多功能报警系统 |
CN103578231B (zh) * | 2013-11-22 | 2016-05-04 | 江兴明 | 基于物联网的山体滑坡和泥石流报警系统 |
CN104952211A (zh) * | 2014-03-31 | 2015-09-30 | 中铁西北科学研究院有限公司深圳南方分院 | 一种泥石流灾害预警方法及无线预警系统 |
CN108020263A (zh) * | 2017-11-21 | 2018-05-11 | 桂林理工大学 | 一种基于无线信号的危岩监测方法 |
-
1999
- 1999-08-25 JP JP23847299A patent/JP3462434B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001067573A (ja) | 2001-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9041800B2 (en) | Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking | |
US20070285511A1 (en) | Video verification system and method for central station alarm monitoring | |
KR101149916B1 (ko) | 산사태 경보시스템 | |
KR101758685B1 (ko) | 카메라 템퍼링 감지 방법 및 시스템 | |
CN112489371A (zh) | 一种基于计算机视觉的泳池防溺水预警系统 | |
JPS6286990A (ja) | 異常監視装置 | |
JP3462434B2 (ja) | 画像処理による動き検出方法 | |
KR100690279B1 (ko) | 다목적 영상감지 시스템 | |
KR102107957B1 (ko) | 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법 | |
JP2002208075A (ja) | 土石流発生予知方法及び装置 | |
JP2923652B2 (ja) | 監視システム | |
JP2010182021A (ja) | 画像監視システム | |
KR100887942B1 (ko) | 실시간 이상현상 감지 시스템 및 그 제어방법 | |
KR101046819B1 (ko) | 소프트웨어 휀스에 의한 침입감시방법 및 침입감시시스템 | |
AU2006344505A1 (en) | Video verification system and method for central station alarm monitoring | |
KR100782205B1 (ko) | 영상검지를 이용한 차량속도 표시 장치 및 시스템 | |
JP2023109757A (ja) | 監視システム、監視装置、監視方法、及びプログラム | |
JP2005143016A (ja) | 監視システムおよび監視方法 | |
JP2020060526A (ja) | 崩落斜面の監視方法及び崩落斜面の監視システム | |
CN113891050B (zh) | 一种基于视频联网共享的监控设备管理系统 | |
JP7384601B2 (ja) | 監視システム | |
SK26494A3 (en) | Detecting system of movie | |
JP2589835B2 (ja) | 崖崩れ自動監視装置 | |
JP3869780B2 (ja) | 地表面監視システム | |
JP2007013237A (ja) | 動物検知システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |