JP3659609B2 - 物体検出方法及び物体検出装置 - Google Patents
物体検出方法及び物体検出装置 Download PDFInfo
- Publication number
- JP3659609B2 JP3659609B2 JP29191097A JP29191097A JP3659609B2 JP 3659609 B2 JP3659609 B2 JP 3659609B2 JP 29191097 A JP29191097 A JP 29191097A JP 29191097 A JP29191097 A JP 29191097A JP 3659609 B2 JP3659609 B2 JP 3659609B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- input
- imaging device
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、侵入者あるいは物体を監視する監視用ＣＣＴＶ装置において、監視領域内の侵入者あるいは物体を認識するための物体認識画像処理方法における侵入者あるいは物体の存在しない画像すなわち背景画像の作成処理、更新処理の改良に関するものである。
【０００２】
【従来の技術】
テレビジョンカメラ（以下ＴＶカメラと呼ぶ）を用いた映像監視装置は、従来より広く用いられている。しかし、近年このようなシステムにおいて、その監視視野内に侵入する人・物等の検出を、画像モニタ面での監視員の常時監視によるのではなく、画像信号から自動的に検出し、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、ＴＶカメラより得られた入力画像を、背景画像すなわち、検出すべき侵入者あるいは物体（以後、物体と称する）が写っていない画像と比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出する。この方法は差分法と呼ばれ、従来から広く用いられている。
【０００４】
この方法の一例として、画像処理産業応用総覧に記載されている方法を図８と図５を用いて説明する。図８は物体検知の原理を説明するフローチャートで、このステップに対応した説明を図５によって行う。図５は入力画像から物体を抽出するまでの段階を説明する図で、50は背景画像Ｒn、55は減算器、61は入力画像Ｌn、70は差分処理部、30は差分画像、31は２値化画像、32はノイズ領域、33はノイズ除去画像、34はラベリング画像、35は特徴量抽出画像である。
まず、ＴＶカメラから、物体が存在しないときの監視範囲の画像が取込まれ、該取込まれた画像は背景画像Ｒn50として格納される（初期背景画像作成ステップ122）。以後、前記ＴＶカメラはその監視範囲の撮影を続けている。
次に、前記ＴＶカメラから新規の入力画像Ｌn61が一定時間間隔で取込まれ、背景画像更新ステップ222と差分ステップ150に送られる（画像入力ステップ141）。前記背景画像Ｒn50は該入力画像Ｌn61によって更新され、差分ステップ150に送られる（背景画像更新ステップ222）。次に、該背景画像Ｒn50と前記入力画像Ｌn61との画素毎の差分が計算され、差分画像30が得られ、ステップ160に進む（差分ステップ150）。該差分画像30は画素毎にしきい値処理を行なわれ、１画素を２５６階調として、差分値が所定のしきい値以下の輝度を“０”、差分値が所定のしきい値以上の輝度を“２５５”とした二値化画像31が得られ、ステップ170に進む（２値化ステップ160）。該二値化画像31には映像上に含まれるノイズ領域32存在するためノイズ除去処理が行なわれ、二値化画像31で存在したノイズ領域32を除去され、ノイズ除去画像33のように物体存在領域のみが抽出され、ステップ180に進む（ノイズ除去ステップ170）。ここで、物体存在領域とはノイズ除去画像33の白画素（輝度値が“２５５”の部分）で示された閉領域のことである。 次のステップでは、前記ノイズ除去ステップ170で得られた前記ノイズ除去画像33を用いて物体の番号付けが行なわれ、物体存在領域には、例えばラベリング画像34の“Ｎ1”のように、番号が付けられ、ステップ200に進む（ラベリングステップ180）。そして該番号付けられた物体存在領域毎に、物体の横幅Ｘ、物体の縦幅Ｙ、物体の面積（白画像の総画素数）という特徴量が算出され、ステップ360に進む（特徴量抽出ステップ200）。この抽出された物体、即ち物体存在領域Ｎ1の特徴量の横幅Ｘ、縦幅Ｙを、特徴量抽出画像35に示す。
次に、算出された前記特徴量を用いて、特徴量を算出した各物体を移動物体と関連付けて、移動の追跡を行い、ステップ370に進む（移動物体対応付け・追跡ステップ360）。そしてステップ360の結果を元に、移動物体が物体か否かを判定する（物体判定ステップ370）。ステップ370で物体ありと判断した場合には、警報ステップ380に進み、物体なしの場合には画像入力ステップ141に戻る（ステップ192）。ステップ380は、物体ありの警報を鳴らす（警報ステップ380）。
【０００５】
前述の方法において、物体の差分をとるための背景画像Ｒn50を最初に取込んだものをそのまま使用していると、朝、昼、夜の輝度値変動のために、物体以外の物も抽出してしまうため、背景画像更新処理（ステップ222）を逐次行う必要がある。
そこで上記背景画像更新ステップ222について、図９と図１０を用いて更に説明する。図１０は従来の背景画像更新方法の原理を説明するブロック図で、48は初期背景画像作成ステップ122または１回前に背景画像更新ステップ222を実行した際に作成された背景画像Ｒn-1、49は画像入力ステップ141で格納した入力画像Ｌn、50はこの背景画像更新ステップ222を実行したことによって作成された背景画像Ｒn、51は乗算器、52は加算器、53は加重係数α、54は背景画像用加重係数αrである。図９は従来の背景更新方法の原理を説明するフローチャートで、図１０を用いて図９のフローチャートの動作を実行する。
図９において、
まず加重係数αを式（1）より算出する。
α＝｜Ｌn−Ｒn-1｜-1 …式（1）
但し、Ｌn＝Ｒn-1である場合には、α＝０．９９とする。
ここで通常αは、０＜α＜１を満たすように選ぶ。
式（1）の場合、入力画像の濃度変化が小さいときはαを大きく（１に近く）なって入力画像の濃度変化に対する追従性が高まり、逆に濃度変化が大きいときにはαが小さくなり変化に対しての追従性が低くなる（加重係数α算出ステップ294）。
【０００６】
次に、加重係数α算出ステップ294で求めたαを加重変数として、画像メモリに格納されている背景画像Ｒn ― 1とＬn入力画像Ｌnとの加重平均演算を行う。
即ち、背景画像の更新を、式（2）で示される加重係数演算と呼ばれる方法によって行う。
Ｒn＝α×Ｌn＋αr×Ｒn-1 …式（2）
但し、背景画像Ｒn-148は初期背景画像作成ステップ122または、１回前の処理で背景画像更新ステップ222を実行した際に作成された背景画像で、入力画像Ｌn49は画像入力ステップ141で格納した入力画像、背景画像Ｒn50は背景画像更新ステップ222を実行することにより作成された背景画像、αrは“１−加重係数（αr＝１−α）”である。
【０００７】
前述の初期背景画像作成方法では、物体の存在しない画像を取込まなければならないため、物体が常時通る場所では初期画像を作成できない。また、物体が存在しない場合、加重係数α算出ステップ294で算出した加重係数αを１に極めて近くし、背景画像Ｒnの、入力画像Ｌnに対する追従性を高めることが望ましい。しかし、背景画像Ｒn-1及び入力画像Ｌnにはノイズが混入しているため、物体が存在しない場合であっても背景画像Ｒn-1と入力画像Ｌnとの間には、経験上輝度値に“１０”程度の差分が生じる。そのため物体が存在しない場合でも、加重係数算出ステップ294で算出した加重係数αは“０．１”と小さくなり、背景画像Ｒnの入力画像Ｌnに対する追従性が低くなるという問題がある。
【０００８】
また、前述の背景画像更新方法では、背景画像Ｒn-1と入力画像Ｌnの各画素に対して、加重平均算出ステップ294と加重平均演算ステップ240を実行するため、処理速度が遅くなり、時間当りの物体検知処理回数が減少する。
【０００９】
図２に物体認識画像処理装置の構成の例を示す。1はテレビジョンカメラ（ＴＶカメラ）、２は画像入力Ｉ／Ｆ、3は画像メモリ、4はＣＰＵ、5は出力Ｉ／Ｆ、6は警告表示モニタ、7はデータバス、8はワークメモリ、9はプログラムメモリ、10は画像出力Ｉ／Ｆ、11はビデオモニタである。
【００１０】
図２において、ＴＶカメラ1は固定の監視対象領域を撮像し、その撮像した映像信号を画像入力Ｉ／Ｆ2に送る。該画像入力Ｉ／Ｆ2は前記ＴＶカメラ1から送られてきた映像信号をＡ／Ｄ変換し、変換した映像信号の輝度信号を画素毎に“０”〜“２５５”の２５６階調の輝度値に変換する。画像メモリ3は前記画像入力Ｉ／Ｆ2で取得した画像の輝度信号データを格納し、かつ画像間の演算を行う。ＣＰＵ4はプログラムメモリ9に格納されているプログラムに従って、前記画像メモリ3に格納された画像についてワークメモリ8内で画像解析を行う。この画像解析で物体が検出された場合には、出力Ｉ／Ｆ5に信号を送る。該出力Ｉ／Ｆ5は警告表示モニタ6を介して警告を表示する。ここでいう警告表示とは、視覚的なものの他、聴覚的なもの等、感覚的なもの及びその複合形態を総称している。画像出力Ｉ／Ｆ10は画像処理の結果得られた画像の輝度信号をＤ／Ａ変換し、映像信号としてビデオモニタ11に送る。該ビデオモニタ11は送られてきた該画像を表示する。また、データバス7はデータの転送に使用するものである。
【００１１】
【発明が解決しようとする課題】
前述の従来技術の背景画像更新法では、各画素毎に加重係数を計算し、画像入力のたびに背景画像を更新するために演算量が多く、処理速度が遅くなる。このため、時間当たりの侵入者検知処理回数が減少するという問題があった。また、物体が逐次存在する場所では物体が背景として取込まれ安定した背景更新が行えないという問題があった。更に、初期背景画像の作成には物体が存在しない状態が必要であった。
【００１２】
本発明の目的は、物体が逐次存在する場所でも確実に安定した背景画像が作成できるような物体認識画像処理装置を提供することにある。また、背景画像更新を短時間で行い、高速の（時間当たりの物体認識処理回数が多い）物体認識画像処理装置を提供することにある。更に、物体が逐次存在する場所でも初期背景画像の作成と背景更新が可能で、確実に安定した背景画像を作成する物体認識画像処理装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、一定時間間隔で取込んだ画像を加重平均演算することにより、初期背景画像を作成し、
また、背景画像更新を短時間で行うため、加重平均演算に用いる加重係数は定数を用いた。ただし、加重係数として用いる定数は、物体が存在しない場合、物体が存在し尚かつ監視範囲が明るい場合と、物体が存在し尚かつ監視範囲が暗い場合とで変化させ、
更にまた、背景更新を一定時間間隔毎に行い、安定な背景更新を行ったものである。
【００１４】
つまり、本発明は、ＴＶカメラの撮像視野内に侵入した物体又は人物を、該ＴＶカメラから取込んだ画像の中から自動的に認識する物体認識画像処理装置において、画像を一定周期で取込む処理と取込んだ画像を用いて加重平均演算を行う処理を設けることにより、安定に初期背景画像を作成する。
【００１５】
また、本発明は、物体の有無を判断する処理、監視範囲の照度を判断する処理、判断により加重係数を決定する処理、決定した加重係数を用いて加重平均演算を行う処理を設けることにより、短時間にかつ安定に背景が更新する。
【００１６】
更にまた、背景更新を行うか否かの判断をする処理、背景更新を行う処理を設けることにより、安定な背景更新を行うことができる物体認識画像処理方法を実現したものである。
【００１７】
【発明の実施の形態】
本発明の一実施例を図２，図１，図５により説明する。図２は、物体認識画像処理装置の構成の一例を示すブロック図で、従来技術と共通の構成例である。図２の物体認識画像処理装置はプログラムメモリ9に格納されているプログラムに従って画像解析を行う。図１は本発明の画像処理による物体認識方法の一実施例を示すフローチャートである。図１のフローチャートを図５を用いて説明する。図５は入力画像から物体を抽出するまでの段階を説明する図で、従来技術で説明した同じものである。また、背景画像の更新は、初期背景画像の作成後随時行っている。
【００１８】
まず、ＴＶカメラ1により撮影された画像を一定時間間隔毎（例えば、０．５秒毎）に画像入力Ｉ／Ｆ2から画像メモリ3に取込み、取込んだ画像の加重平均演算を行い、物体が存在しないか無視できる安定した背景画像Ｒnを作成し、ステップ130に進む（初期背景画像作成ステップ121）。尚、初期背景画像作成の動作原理については後述する。 次に、背景画像更新時に使用する背景画像作成時間情報をＣＰＵ4のタイマ機能により読込み、ステップ141に進む（初期背景画像作成時間取得処理ステップ130）。そして、ＴＶカメラ1から画素数２５６×２５６に対応する入力画像Ｌnを得、ステップ150に進む（画像入力処理ステップ141）。次のステップ150では、前記初期背景画像作成ステップ121または後述の背景画像更新ステップ221で作成した背景画像Ｒnと、前記画像入力ステップ141で得た入力画像Ｌnとの画素毎の差分を計算し、差分画像を得、ステップ160に進む（差分ステップ150）。ステップ160では、前記差分ステップ150で得られた差分画像30を画素毎にしきい値処理し、差分値がしきい値未満の画素を輝度値“０”、しきい値以上の画素を輝度値“２５５”（１画素の輝度値を２５６階調で表現した場合）とした二値画像31に変換し、ステップ170に進む（二値化ステップ160）。通常この二値画像31中には、映像上に含まれるノイズ領域32が存在する。そこでステップ170ではノイズ領域を除去し、物体存在領域のみを抽出しノイズ除去画像33に変換して、ステップ180に進む（ノイズ除去ステップ170）。ステップ180では、前記ノイズ除去画像33を用いて画像中の物体存在領域に番号付けを行い（例えば、図５のラベリング画像34にあるＮ1）、かつ番号付けを行った物体存在領域の数も算出し、ステップ191に進む（ラベリングステップ180）。ステップ191では、ステップ180で算出した物体存在領域の数によって、物体存在領域の数が“０”の場合は“物体なし”と判断してステップ210に進み、物体存在領域の数が“０”以外の場合は“物体あり”と判断してステップ200に進む（物体の有無判断ステップ191）。ステップ200では、特徴量抽出画像35に示すように、ラベリングステップ180で番号付けされた各物体（即ち、物体存在領域）毎に、従来技術で述べたように、物体の横幅Ｘ、物体の縦幅Ｙ、物体の面積（白画像の総画素数）という特徴量を算出し、ステップ210に進む（特徴量抽出ステップ200）。ステップ210では、現在の時刻をＣＰＵ4のタイマ機能により読込み、該読込んだ現在の時刻と、前記初期背景画像作成時間取得ステップ130または後述する背景画像更新時間取得ステップ230で取得した時刻とを比較し、初期または前回の背景画像の更新から２秒経過したか否かによって、背景画像の更新の要否を判断し、更新不要（２秒経過していない）ならステップ360に進み、更新要（２秒経過している）ならステップ221に進む（背景画像の更新有無判断ステップ210）。ステップ221では、前記初期背景画像作成ステップ121または、この背景画像更新ステップ221で前回更新された背景画像Ｒn-1と前記画像入力ステップ141で得られた入力画像Ｌnの加重平均演算を行い、物体が存在しないかまたは無視できる背景画像Ｒnを作成（前回更新された背景画像Ｒn-1を更新）し、ステップ230に進む（背景画像更新ステップ221）。尚、該背景画像更新ステップ221の動作原理については後述する。
ステップ230では、該背景画像更新ステップ221前記背景画像の更新有無判断ステップ210で使用する背景画像更新時間情報を前期ＣＰＵ4に内蔵するタイマ機能により読込み、ステップ360に進む（背景画像更新時間取得ステップ230）。次に、ステップ200で算出された特徴量を用いて、特徴量を算出した各物体を移動物体と関連付けて、移動の追跡を行い、ステップ370に進む（移動物体対応付け・追跡ステップ360）。そしてステップ360の結果を元に、移動物体が物体か否かを判定する（物体判定ステップ370）。ステップ370で物体ありと判断した場合には、警報ステップ380に進み、物体なしの場合には画像入力ステップ141に戻る（ステップ192）。ステップ380は、物体ありの警報を鳴らし、ステップ141に戻る（警報ステップ380）。
【００１９】
次に初期背景画像作成ステップ121において、加重平均演算を用いて物体が存在しないかまたは無視できる画像、即ち背景画像Ｒnを作成する原理の一例を、図３、図６を用いて説明する。図３は本発明の初期背景画像作成ステップ121（図１）の原理の一例を説明するフローチャートで、図６は本発明の初期背景画像作成ステップの原理の一例を説明するブロック図である。図６の各画像は画像メモリ3に格納されている。610は初期入力画像Ｃ0、620は１回目の処理の入力画像Ｌ0、630は加重係数α、640は入力画像用加重係数αi、611は１回目の処理の処理画像Ｃ1、621は２回目の処理の入力画像Ｌ1、612は２回目の処理の処理画像Ｃ2、613は１９９回目の処理の処理画像Ｃ199、623は２００回目の処理の入力画像Ｌ199、614は２００回目の処理の処理画像Ｃ200、615は更新された初期背景画像Ｒ0、701は１回目の処理、702は２回目の処理、703は２００回目の処理である。
【００２０】
図３のフローチャートにおいて、1回目の処理701では、ＴＶカメラ1から画像を取得し、該取得画像を初期入力画像Ｃ0610として格納し、ステップ141に進む（初期画像入力ステップ142）。ステップ141では、前記ＴＶカメラ1から得た画像を入力画像Ｌ0620として格納し、ステップ240に進む（画像入力ステップ141）。ステップ240では、格納した前記初期入力画像Ｃ0610と前記入力画像Ｌ0620との加重平均を式(3)を用いて算出し、ステップ250に進む（加重平均演算ステップ240）。
Ｃn＝Ｃn-1×α＋Ｌn-1×αi …式(3)
ただし、Ｌn ― 1は入力画像、Ｃnは処理画像（ただし、Ｃ0は初期入力画像）、Ｃn-1は前回算出した処理画像、αは加重係数、αiは入力画像用加重係数であり、ｎ＝１，２，…，２００の整数、αi＝（１−α）、α＝３１／３２とする。
ステップ250では、前記画像入力ステップ141と加重平均演算ステップ240を実行した回数が規定回数（例えば、２００回）に達したか否かを判断し、規定回数に達していなければステップ260に進み、規定回数に達していればステップ270に進む（処理回数判断ステップ250）。
ステップ260では、０．５秒間のタイマーを動作させ、０．５秒間経過後ステップ141に進み、画像入力ステップを実行する（画像入力待ちステップ260）。ステップ270では、１回前の加重平均ステップ240で得られた処理画像Ｃ199613と画像入力ステップ141で得られた入力画像Ｌ199622の加重平均の算出結果を処理画像Ｃ200614として格納し、かつ処理画像Ｃ200614を初期背景画像Ｒ0615として格納し、ステップ142に戻る（背景画像登録ステップ270）。
【００２１】
２回目の処理702では、前記画像入力ステップ141がＴＶカメラ1から画像を取得し、該取得した画像を入力画像Ｌ1621として格納する。そして、該入力画像Ｌ1621（即ち一般的には、入力画像Ｌn-1）と１回目の加重平均演算ステップで得られた処理画像Ｃ1611（即ち一般的には、前回の処理画像Ｃn-1）との加重平均を算出し、該算出した処理画像Ｃ2612（即ち一般的には、ｎ回目の処理画像Ｃn）を格納する。次に処理回数判断ステップ250が前記画像入力ステップ141と前記加重平均演算ステップ240を実行した回数を判断し、規定回数（２００回）に達したか否かを判断し、処理回数が２回目の場合は規定回数に達していない（ｎ＝２）のでステップ260に進み、画像入力待ちステップ260に進んだ後、３回目の処理に進む。
【００２２】
以下、前述の２回目の処理と同様の処理を、処理回数が２００回になるまで繰返す。
２００回目の処理703（ｎ＝２００）では、前回の処理（ｎ＝１９９）で取得した処理画像Ｃ199613と、画像入力ステップ141で取得した入力画像Ｌ199622との加重平均を加重平均演算ステップ240で取得し、処理画像Ｃ200614として格納する。また、この処理画像Ｃ200614は初期背景画像Ｒ0615として格納される。
【００２３】
図１の初期背景画像作成ステップ121においては、ビットシフトを利用した演算であれば高速に実行できることから、加重係数α＝Ａ／２n（ただし、Ａ，ｎは自然数）となるように決定することが効果的である。ここで、加重係数αの分母２nは、加重係数αを調整することができる数値の刻みを表している。上記の実施例では、加重係数αの調整は経験的に“約０．０３”刻みで行えばよいとして、加重係数値αの分母を２5＝３２とした。
また加重係数αは、“０＜α＜１”となるように決定し、通常更新される背景画像は、αを大きく選ぶと入力画像の変化に鈍感になり、αを小さく選ぶと入力画像の変化に対する追従性が高まる性質がある。
本発明では、物体の存在しないまたは無視できる画像を作成することが目的であるため、加重係数αを“１”に近くする必要があった。そこで上記の実施例において、前記初期背景画像作成ステップ121では、更新した背景画像Ｒ0の中で背景画像Ｒn-1の占める割合が約９７％であれば、経験的に入力画像に含まれる物体やノイズの影響を取除けることから、加重係数αを“３１／３２”とした。
【００２４】
画像入力待ちの時間は、画面上に存在する物体が一箇所に重なって映らないように設定する必要がある。上述の実施例では、ＴＶカメラ1の視野（水平方向の視野×垂直方向の視野）を１３ｍ×９．８ｍから２０．８ｍ×１５．６ｍまでとし、検出する物体が時速４０Ｋｍ以上の車等の移動物体で、該移動物体の最大の長さを４．５ｍとし、該移動物体が時速４０Ｋｍで移動した場合、該移動物体の最大の長さ分即ち４．５ｍ移動するのに０．４秒かかることから、画像入力待ちの時間を０．５秒としている。
【００２５】
また上述の実施例での処理回数の上限（ｎ＝２００）は、以下のような理由で決定した。即ち、背景画像は、前記式(3)により決定される。ここで、
Ｌn＝ＲZ＋ｄn …式(4)
Ｃn＝ＲZ＋εn …式(5)
と表現する。但し、 Ｌnは入力画像、Ｃnは処理画像、ＲZは理想背景画像、εnは処理画像の理想背景画像に対する差分（物体、ノイズによる）、ｄnは入力画像の理想背景画像に対する差分（物体、ノイズ）を表す。
式(4)と式(5)により、式(3)は次のようになる。
ＲZ＋εn＝α×（ＲZ＋εnー1）＋（１−α）×（ＲZ＋ｄnー1）
∴εn＝α×εn-1＋（１−α）×ｄn-1 …式(6)
（ただし、Ｃ0は初期入力画像、ε0は経験上輝度値として“２２０”程度であるので２２０とした。）
ここで、α>>(１−α)であるため、ｎ回目の処理画像Ｃnの理想背景画像に対する差分εnに対し、ｎの１回前（時間にして０．５秒前）の処理画像Ｃn-1の理想背景画像に対する差分εn-1が支配的となる。
従って、ｄnが十分に小さい場合、式(6)より
ε1＝α×ε0
ε2＝α2×ε0
・
・
・
εn＝αn×ε0 …式(7)
となる。ここで、ｎ回目の処理画像Ｃnの理想背景画像に対するεnが、輝度値にして“１０”以下である場合には二値化ステップにより物体とは判断しないとする。
また、加重係数α＝３１／３２であり、εnを１０（物体とは判断しない最大の輝度値）以下に押さえるために必要な処理回数は、式(7)より、
１０＝αn×２２０
∴ｎ＝ｌｏｇα（１０／２２０）＝９７．３６ …式(8)
以上のことから、上記の実施例の処理回数ｎを、式(8)の結果の約２倍の２００回とした。
【００２６】
次に加重平均法を用いて物体が存在しないかまたは無視できる画像、即ち背景画像を更新する原理について、図４と図７を用いて説明する。図７は本発明の背景画像更新方法の原理を説明するブロック図で、88は初期背景画像作成ステップ121または１回前に背景画像更新ステップ221を実行した際に作成された背景画像Ｒn-1、89は画像入力ステップ141で格納した入力画像Ｌn、90はこの背景画像更新ステップ221を実行したことによって作成された背景画像Ｒn、91は乗算器、92は加算器、93は加重係数α、94は入力画像用加重係数αiである。図４は本発明のの背景画像更新方法の原理を説明するフローチャートで、図７を用いて図４のフローチャートの動作を実行する。
図４において、
ラベリングステップ180（図１）で算出した番号付けされた物体の数から物体の有無を判断する。番号付けされた物体の数が”０”である場合には物体なしと判断しステップ291に進み、それ以外の場合には物体ありと判断しステップ280に進む（物体の有無判断ステップ191）。ステップ191では物体未存在時であるとして、加重係数αを加重係数“５０／６４”にし、ステップ240に進む（第１の加重係数決定ステップ291）。ステップ280では、ＣＰＵ4のタイマ，カレンダ，予め登録された監視場所の日照時間に従って、昼と夜を判断し、昼と判断した場合にはステップ293に進み、夜と判断した場合にはステップ292に進む（昼夜判断ステップ280）。ステップ292では加重係数αを、夜であってかつ物体が存在するときの値“６２／６４”として、ステップ240に進む（第２の加重係数決定ステップ292）。ステップ293では加重係数αを、昼であってかつ物体が存在するときの値“６１／６４”として、ステップ240に進む（第３の加重係数決定ステップ293）。ステップ240では、ステップ291〜293のいずれかで決定した加重係数αと式(9)とを用いて、初期画像作成ステップ121（図１）または背景画像更新ステップ221（図１）で格納された背景画像Ｒn-1と画像入力ステップ141（図１）で格納された入力画像Ｌnとの加重平均演算を式(9)によって行う（加重平均演算ステップ240）。
Ｒn＝α×Ｒn-1＋αi×Ｌn …式(9)
ただし、処理回数ｎは自然数とする。
【００２７】
図４で述べたような背景画像更新方法では、ビットシフトを利用した演算であれば高速に実行できることから、加重係数α＝Ａ／２n（ただし、Ａ，ｎは自然数）となるように決定することが効果的である。ここで、加重係数αの分母２nは、加重係数αを調整することができる数値の刻みを表している。上記の実施例では、加重係数αの調整は経験的に“約０．０１”刻みで行えばよいとして、加重係数値αの分母を２6＝６４とした。
物体が存在しない時の加重係数α決定ステップ291で決定される加重係数αは、背景画像Ｒnの入力画像Ｌnに対する追従性をよくするために加重係数を小さく（“０”に近く）する必要がある。ここで、物体が存在しない場合、背景画像Ｒn-1と入力画像Ｌnとの差としてはノイズ成分のみであり、ノイズ成分は経験上、最大で輝度値にして“２０”以下である。よって背景画像中に含まれているノイズ成分も考慮し、入力画像のノイズ成分の混入を２０％程度許容することとして、加重係数をαを“５０／６４”と決定した。
【００２８】
物体存在かつ夜の場合には加重係数α決定ステップ292で決定される加重係数αは、入力画像Ｌnに物体が混入しているため、加重係数αを大きく（“１”に近く）する必要がある。ここで、夜の場合には輝度の時間変化が小さく、輝度値が大きい車のライトが背景画像Ｒnに混入しにくくする必要があることから、加重係数αを“６２／６４”と決定した。
【００２９】
物体存在かつ昼の場合には加重係数α決定ステップ293で決定される加重係数αは、入力画像Ｌnに物体が混入しているため、加重係数αを大きく（“１”に近く）する必要がある。ここで、昼の場合には輝度の時間変化が大きいため、背景画像Ｒnの入力画像Ｌnに対する追従性をよくし、かつ物体の混入を防ぐ必要があることから、加重係数αを“６１／６４”と決定した。
【００３０】
背景画像の更新間隔は、入力画像Ｌnに混入した物体が一箇所に重なって映らず、かつ入力画像Ｌnへの追従性がよくなるように設定する必要がある。上述の実施例では、ＴＶカメラ1の視野（水平方向の視野×垂直方向の視野）を１３ｍ×９．８ｍから２０．８ｍ×１５．６ｍまでとし、検出する物体が時速４０Ｋｍ以上の車等の移動物体で、該移動物体の最大の長さを１０ｍとし、該移動物体が時速４０Ｋｍで移動した場合、該移動物体の最大の長さ分即ち１０ｍ移動するのに約１秒かかることから、画像入力待ちの時間をその２倍の２秒間に１回行うこととした。
【００３１】
図４及び図１のフローチャートでは、監視範囲の明るさによる判断（昼と夜の違い）を時刻によって行ったが、その他、監視範囲内の物体を検出しない（侵入物がないと予想される）範囲または、輝度の変化が代表的である範囲を指定してその部分の輝度を観測し、指定部分の輝度を目安として、処理判断を行う方法がある。
【００３２】
前述の実施例では、監視する物体を車等の移動物体で説明した。また、昼と夜とに区別して照度の違いによる条件分けを行った。しかし、これらに限らず監視する対象によって、実行するための条件が変るのは自明であって、何ら本発明を適用範囲を逸脱していないことは自明である。
【００３３】
【発明の効果】
以上説明したように、本発明では物体が逐次存在する場合でも安定した初期背景画像を作成することが可能となる。また、背景画像更新時の演算量を減少させたため、物体認識回数を多くすることができ、精度の高い物体認識が行える。更に、随時背景画像更新を行うため、物体が逐次存在するような場所でも安定した背景画像を作成することができる。
【００３４】
従って、本発明によれば安定に物体認識を行うことができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の方法を示すフローチャート。
【図２】 本発明の一実施例の構成を示すブロック図。
【図３】 本発明の初期背景画像作成の方法を示すフローチャート。
【図４】 本発明の背景画像更新の方法を示すフローチャート。
【図５】 入力画像から侵入物体を検出するまでを説明するための図。
【図６】 本発明の初期背景画像作成の一実施例の構成を示すブロック図。
【図７】 本発明の背景画像更新の一実施例の構成を示すブロック図。
【図８】 従来の物体検知処理の方法を示すフローチャート。
【図９】 従来の背景画像更新法の方法を示すフローチャート。
【図１０】 従来の背景画像更新法の構成例を示すブロック図。
【符号の説明】
1：ＴＶカメラ、 2：画像入力Ｉ／Ｆ、 3：画像メモリ、 4：ＣＰＵ、 5：出力Ｉ／Ｆ、 6：警告表示モニタ、 7：データバス、 8：ワークメモリ、 9：プログラムメモリ、 10：画像出力Ｉ／Ｆ、 11：ビデオモニタ、 30：差分画像、 31：二値化画像、 32：ノイズ領域、 33：ノイズ除去画像、 34：ラベリング画像、 35：特徴量検出画像、 48：背景画像Ｒn-1、 49：入力画像Ｌn、 50：背景画像Ｒn、 51：乗算器、 52：加算器、 53：加重係数α、 54：背景画像用加重係数αr、 55：減算器、 61：Ｌn入力画像、 70：差分処理部、 88：背景画像Ｒn-1、 89：入力画像Ｌn、 90：背景画像Ｒn、 91：乗算器、 92：加算器、 93：加重係数α、 94：背景画像用加重係数αr、 610：初期入力画像Ｃ0、 611：１回目の処理画像Ｃ1、 612：２回目の処理画像Ｃ2、 613：１９９回目の処理画像Ｃ199、 614：２００回目の処理画像Ｃ200、 615：初期背景画像Ｒ0、 620：１回目の入力画像Ｌ0、 621：２回目の入力画像Ｌ1、 622：２００回目の入力画像Ｌ199、 623：２００回目の入力画像Ｌ1、 630：加重係数α、 640：入力画像用加重係数αi、 701：１回目の処理、 702：２回目の処理、 703：３回目の処理、 710：背景画像Ｒn-1、 711：背景画像Ｒn、 720：入力画像Ｌn、 121：初期背景画像作成ステップ、 130：初期背景作成時間取得ステップ、 141：画像入力ステップ、 150：差分ステップ、 160：二値化ステップ、 170：ノイズ除去ステップ、 180：ラベリングステップ、 191：物体の有無判断ステップ、 200：特徴量抽出ステップ、 210：背景画像の更新有無判断ステップ、 221：背景画像更新ステップ、 230：背景画像更新時間取得ステップ、
【発明の属する技術分野】
本発明は、侵入者あるいは物体を監視する監視用ＣＣＴＶ装置において、監視領域内の侵入者あるいは物体を認識するための物体認識画像処理方法における侵入者あるいは物体の存在しない画像すなわち背景画像の作成処理、更新処理の改良に関するものである。
【０００２】
【従来の技術】
テレビジョンカメラ（以下ＴＶカメラと呼ぶ）を用いた映像監視装置は、従来より広く用いられている。しかし、近年このようなシステムにおいて、その監視視野内に侵入する人・物等の検出を、画像モニタ面での監視員の常時監視によるのではなく、画像信号から自動的に検出し、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、ＴＶカメラより得られた入力画像を、背景画像すなわち、検出すべき侵入者あるいは物体（以後、物体と称する）が写っていない画像と比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出する。この方法は差分法と呼ばれ、従来から広く用いられている。
【０００４】
この方法の一例として、画像処理産業応用総覧に記載されている方法を図８と図５を用いて説明する。図８は物体検知の原理を説明するフローチャートで、このステップに対応した説明を図５によって行う。図５は入力画像から物体を抽出するまでの段階を説明する図で、50は背景画像Ｒn、55は減算器、61は入力画像Ｌn、70は差分処理部、30は差分画像、31は２値化画像、32はノイズ領域、33はノイズ除去画像、34はラベリング画像、35は特徴量抽出画像である。
まず、ＴＶカメラから、物体が存在しないときの監視範囲の画像が取込まれ、該取込まれた画像は背景画像Ｒn50として格納される（初期背景画像作成ステップ122）。以後、前記ＴＶカメラはその監視範囲の撮影を続けている。
次に、前記ＴＶカメラから新規の入力画像Ｌn61が一定時間間隔で取込まれ、背景画像更新ステップ222と差分ステップ150に送られる（画像入力ステップ141）。前記背景画像Ｒn50は該入力画像Ｌn61によって更新され、差分ステップ150に送られる（背景画像更新ステップ222）。次に、該背景画像Ｒn50と前記入力画像Ｌn61との画素毎の差分が計算され、差分画像30が得られ、ステップ160に進む（差分ステップ150）。該差分画像30は画素毎にしきい値処理を行なわれ、１画素を２５６階調として、差分値が所定のしきい値以下の輝度を“０”、差分値が所定のしきい値以上の輝度を“２５５”とした二値化画像31が得られ、ステップ170に進む（２値化ステップ160）。該二値化画像31には映像上に含まれるノイズ領域32存在するためノイズ除去処理が行なわれ、二値化画像31で存在したノイズ領域32を除去され、ノイズ除去画像33のように物体存在領域のみが抽出され、ステップ180に進む（ノイズ除去ステップ170）。ここで、物体存在領域とはノイズ除去画像33の白画素（輝度値が“２５５”の部分）で示された閉領域のことである。 次のステップでは、前記ノイズ除去ステップ170で得られた前記ノイズ除去画像33を用いて物体の番号付けが行なわれ、物体存在領域には、例えばラベリング画像34の“Ｎ1”のように、番号が付けられ、ステップ200に進む（ラベリングステップ180）。そして該番号付けられた物体存在領域毎に、物体の横幅Ｘ、物体の縦幅Ｙ、物体の面積（白画像の総画素数）という特徴量が算出され、ステップ360に進む（特徴量抽出ステップ200）。この抽出された物体、即ち物体存在領域Ｎ1の特徴量の横幅Ｘ、縦幅Ｙを、特徴量抽出画像35に示す。
次に、算出された前記特徴量を用いて、特徴量を算出した各物体を移動物体と関連付けて、移動の追跡を行い、ステップ370に進む（移動物体対応付け・追跡ステップ360）。そしてステップ360の結果を元に、移動物体が物体か否かを判定する（物体判定ステップ370）。ステップ370で物体ありと判断した場合には、警報ステップ380に進み、物体なしの場合には画像入力ステップ141に戻る（ステップ192）。ステップ380は、物体ありの警報を鳴らす（警報ステップ380）。
【０００５】
前述の方法において、物体の差分をとるための背景画像Ｒn50を最初に取込んだものをそのまま使用していると、朝、昼、夜の輝度値変動のために、物体以外の物も抽出してしまうため、背景画像更新処理（ステップ222）を逐次行う必要がある。
そこで上記背景画像更新ステップ222について、図９と図１０を用いて更に説明する。図１０は従来の背景画像更新方法の原理を説明するブロック図で、48は初期背景画像作成ステップ122または１回前に背景画像更新ステップ222を実行した際に作成された背景画像Ｒn-1、49は画像入力ステップ141で格納した入力画像Ｌn、50はこの背景画像更新ステップ222を実行したことによって作成された背景画像Ｒn、51は乗算器、52は加算器、53は加重係数α、54は背景画像用加重係数αrである。図９は従来の背景更新方法の原理を説明するフローチャートで、図１０を用いて図９のフローチャートの動作を実行する。
図９において、
まず加重係数αを式（1）より算出する。
α＝｜Ｌn−Ｒn-1｜-1 …式（1）
但し、Ｌn＝Ｒn-1である場合には、α＝０．９９とする。
ここで通常αは、０＜α＜１を満たすように選ぶ。
式（1）の場合、入力画像の濃度変化が小さいときはαを大きく（１に近く）なって入力画像の濃度変化に対する追従性が高まり、逆に濃度変化が大きいときにはαが小さくなり変化に対しての追従性が低くなる（加重係数α算出ステップ294）。
【０００６】
次に、加重係数α算出ステップ294で求めたαを加重変数として、画像メモリに格納されている背景画像Ｒn ― 1とＬn入力画像Ｌnとの加重平均演算を行う。
即ち、背景画像の更新を、式（2）で示される加重係数演算と呼ばれる方法によって行う。
Ｒn＝α×Ｌn＋αr×Ｒn-1 …式（2）
但し、背景画像Ｒn-148は初期背景画像作成ステップ122または、１回前の処理で背景画像更新ステップ222を実行した際に作成された背景画像で、入力画像Ｌn49は画像入力ステップ141で格納した入力画像、背景画像Ｒn50は背景画像更新ステップ222を実行することにより作成された背景画像、αrは“１−加重係数（αr＝１−α）”である。
【０００７】
前述の初期背景画像作成方法では、物体の存在しない画像を取込まなければならないため、物体が常時通る場所では初期画像を作成できない。また、物体が存在しない場合、加重係数α算出ステップ294で算出した加重係数αを１に極めて近くし、背景画像Ｒnの、入力画像Ｌnに対する追従性を高めることが望ましい。しかし、背景画像Ｒn-1及び入力画像Ｌnにはノイズが混入しているため、物体が存在しない場合であっても背景画像Ｒn-1と入力画像Ｌnとの間には、経験上輝度値に“１０”程度の差分が生じる。そのため物体が存在しない場合でも、加重係数算出ステップ294で算出した加重係数αは“０．１”と小さくなり、背景画像Ｒnの入力画像Ｌnに対する追従性が低くなるという問題がある。
【０００８】
また、前述の背景画像更新方法では、背景画像Ｒn-1と入力画像Ｌnの各画素に対して、加重平均算出ステップ294と加重平均演算ステップ240を実行するため、処理速度が遅くなり、時間当りの物体検知処理回数が減少する。
【０００９】
図２に物体認識画像処理装置の構成の例を示す。1はテレビジョンカメラ（ＴＶカメラ）、２は画像入力Ｉ／Ｆ、3は画像メモリ、4はＣＰＵ、5は出力Ｉ／Ｆ、6は警告表示モニタ、7はデータバス、8はワークメモリ、9はプログラムメモリ、10は画像出力Ｉ／Ｆ、11はビデオモニタである。
【００１０】
図２において、ＴＶカメラ1は固定の監視対象領域を撮像し、その撮像した映像信号を画像入力Ｉ／Ｆ2に送る。該画像入力Ｉ／Ｆ2は前記ＴＶカメラ1から送られてきた映像信号をＡ／Ｄ変換し、変換した映像信号の輝度信号を画素毎に“０”〜“２５５”の２５６階調の輝度値に変換する。画像メモリ3は前記画像入力Ｉ／Ｆ2で取得した画像の輝度信号データを格納し、かつ画像間の演算を行う。ＣＰＵ4はプログラムメモリ9に格納されているプログラムに従って、前記画像メモリ3に格納された画像についてワークメモリ8内で画像解析を行う。この画像解析で物体が検出された場合には、出力Ｉ／Ｆ5に信号を送る。該出力Ｉ／Ｆ5は警告表示モニタ6を介して警告を表示する。ここでいう警告表示とは、視覚的なものの他、聴覚的なもの等、感覚的なもの及びその複合形態を総称している。画像出力Ｉ／Ｆ10は画像処理の結果得られた画像の輝度信号をＤ／Ａ変換し、映像信号としてビデオモニタ11に送る。該ビデオモニタ11は送られてきた該画像を表示する。また、データバス7はデータの転送に使用するものである。
【００１１】
【発明が解決しようとする課題】
前述の従来技術の背景画像更新法では、各画素毎に加重係数を計算し、画像入力のたびに背景画像を更新するために演算量が多く、処理速度が遅くなる。このため、時間当たりの侵入者検知処理回数が減少するという問題があった。また、物体が逐次存在する場所では物体が背景として取込まれ安定した背景更新が行えないという問題があった。更に、初期背景画像の作成には物体が存在しない状態が必要であった。
【００１２】
本発明の目的は、物体が逐次存在する場所でも確実に安定した背景画像が作成できるような物体認識画像処理装置を提供することにある。また、背景画像更新を短時間で行い、高速の（時間当たりの物体認識処理回数が多い）物体認識画像処理装置を提供することにある。更に、物体が逐次存在する場所でも初期背景画像の作成と背景更新が可能で、確実に安定した背景画像を作成する物体認識画像処理装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、一定時間間隔で取込んだ画像を加重平均演算することにより、初期背景画像を作成し、
また、背景画像更新を短時間で行うため、加重平均演算に用いる加重係数は定数を用いた。ただし、加重係数として用いる定数は、物体が存在しない場合、物体が存在し尚かつ監視範囲が明るい場合と、物体が存在し尚かつ監視範囲が暗い場合とで変化させ、
更にまた、背景更新を一定時間間隔毎に行い、安定な背景更新を行ったものである。
【００１４】
つまり、本発明は、ＴＶカメラの撮像視野内に侵入した物体又は人物を、該ＴＶカメラから取込んだ画像の中から自動的に認識する物体認識画像処理装置において、画像を一定周期で取込む処理と取込んだ画像を用いて加重平均演算を行う処理を設けることにより、安定に初期背景画像を作成する。
【００１５】
また、本発明は、物体の有無を判断する処理、監視範囲の照度を判断する処理、判断により加重係数を決定する処理、決定した加重係数を用いて加重平均演算を行う処理を設けることにより、短時間にかつ安定に背景が更新する。
【００１６】
更にまた、背景更新を行うか否かの判断をする処理、背景更新を行う処理を設けることにより、安定な背景更新を行うことができる物体認識画像処理方法を実現したものである。
【００１７】
【発明の実施の形態】
本発明の一実施例を図２，図１，図５により説明する。図２は、物体認識画像処理装置の構成の一例を示すブロック図で、従来技術と共通の構成例である。図２の物体認識画像処理装置はプログラムメモリ9に格納されているプログラムに従って画像解析を行う。図１は本発明の画像処理による物体認識方法の一実施例を示すフローチャートである。図１のフローチャートを図５を用いて説明する。図５は入力画像から物体を抽出するまでの段階を説明する図で、従来技術で説明した同じものである。また、背景画像の更新は、初期背景画像の作成後随時行っている。
【００１８】
まず、ＴＶカメラ1により撮影された画像を一定時間間隔毎（例えば、０．５秒毎）に画像入力Ｉ／Ｆ2から画像メモリ3に取込み、取込んだ画像の加重平均演算を行い、物体が存在しないか無視できる安定した背景画像Ｒnを作成し、ステップ130に進む（初期背景画像作成ステップ121）。尚、初期背景画像作成の動作原理については後述する。 次に、背景画像更新時に使用する背景画像作成時間情報をＣＰＵ4のタイマ機能により読込み、ステップ141に進む（初期背景画像作成時間取得処理ステップ130）。そして、ＴＶカメラ1から画素数２５６×２５６に対応する入力画像Ｌnを得、ステップ150に進む（画像入力処理ステップ141）。次のステップ150では、前記初期背景画像作成ステップ121または後述の背景画像更新ステップ221で作成した背景画像Ｒnと、前記画像入力ステップ141で得た入力画像Ｌnとの画素毎の差分を計算し、差分画像を得、ステップ160に進む（差分ステップ150）。ステップ160では、前記差分ステップ150で得られた差分画像30を画素毎にしきい値処理し、差分値がしきい値未満の画素を輝度値“０”、しきい値以上の画素を輝度値“２５５”（１画素の輝度値を２５６階調で表現した場合）とした二値画像31に変換し、ステップ170に進む（二値化ステップ160）。通常この二値画像31中には、映像上に含まれるノイズ領域32が存在する。そこでステップ170ではノイズ領域を除去し、物体存在領域のみを抽出しノイズ除去画像33に変換して、ステップ180に進む（ノイズ除去ステップ170）。ステップ180では、前記ノイズ除去画像33を用いて画像中の物体存在領域に番号付けを行い（例えば、図５のラベリング画像34にあるＮ1）、かつ番号付けを行った物体存在領域の数も算出し、ステップ191に進む（ラベリングステップ180）。ステップ191では、ステップ180で算出した物体存在領域の数によって、物体存在領域の数が“０”の場合は“物体なし”と判断してステップ210に進み、物体存在領域の数が“０”以外の場合は“物体あり”と判断してステップ200に進む（物体の有無判断ステップ191）。ステップ200では、特徴量抽出画像35に示すように、ラベリングステップ180で番号付けされた各物体（即ち、物体存在領域）毎に、従来技術で述べたように、物体の横幅Ｘ、物体の縦幅Ｙ、物体の面積（白画像の総画素数）という特徴量を算出し、ステップ210に進む（特徴量抽出ステップ200）。ステップ210では、現在の時刻をＣＰＵ4のタイマ機能により読込み、該読込んだ現在の時刻と、前記初期背景画像作成時間取得ステップ130または後述する背景画像更新時間取得ステップ230で取得した時刻とを比較し、初期または前回の背景画像の更新から２秒経過したか否かによって、背景画像の更新の要否を判断し、更新不要（２秒経過していない）ならステップ360に進み、更新要（２秒経過している）ならステップ221に進む（背景画像の更新有無判断ステップ210）。ステップ221では、前記初期背景画像作成ステップ121または、この背景画像更新ステップ221で前回更新された背景画像Ｒn-1と前記画像入力ステップ141で得られた入力画像Ｌnの加重平均演算を行い、物体が存在しないかまたは無視できる背景画像Ｒnを作成（前回更新された背景画像Ｒn-1を更新）し、ステップ230に進む（背景画像更新ステップ221）。尚、該背景画像更新ステップ221の動作原理については後述する。
ステップ230では、該背景画像更新ステップ221前記背景画像の更新有無判断ステップ210で使用する背景画像更新時間情報を前期ＣＰＵ4に内蔵するタイマ機能により読込み、ステップ360に進む（背景画像更新時間取得ステップ230）。次に、ステップ200で算出された特徴量を用いて、特徴量を算出した各物体を移動物体と関連付けて、移動の追跡を行い、ステップ370に進む（移動物体対応付け・追跡ステップ360）。そしてステップ360の結果を元に、移動物体が物体か否かを判定する（物体判定ステップ370）。ステップ370で物体ありと判断した場合には、警報ステップ380に進み、物体なしの場合には画像入力ステップ141に戻る（ステップ192）。ステップ380は、物体ありの警報を鳴らし、ステップ141に戻る（警報ステップ380）。
【００１９】
次に初期背景画像作成ステップ121において、加重平均演算を用いて物体が存在しないかまたは無視できる画像、即ち背景画像Ｒnを作成する原理の一例を、図３、図６を用いて説明する。図３は本発明の初期背景画像作成ステップ121（図１）の原理の一例を説明するフローチャートで、図６は本発明の初期背景画像作成ステップの原理の一例を説明するブロック図である。図６の各画像は画像メモリ3に格納されている。610は初期入力画像Ｃ0、620は１回目の処理の入力画像Ｌ0、630は加重係数α、640は入力画像用加重係数αi、611は１回目の処理の処理画像Ｃ1、621は２回目の処理の入力画像Ｌ1、612は２回目の処理の処理画像Ｃ2、613は１９９回目の処理の処理画像Ｃ199、623は２００回目の処理の入力画像Ｌ199、614は２００回目の処理の処理画像Ｃ200、615は更新された初期背景画像Ｒ0、701は１回目の処理、702は２回目の処理、703は２００回目の処理である。
【００２０】
図３のフローチャートにおいて、1回目の処理701では、ＴＶカメラ1から画像を取得し、該取得画像を初期入力画像Ｃ0610として格納し、ステップ141に進む（初期画像入力ステップ142）。ステップ141では、前記ＴＶカメラ1から得た画像を入力画像Ｌ0620として格納し、ステップ240に進む（画像入力ステップ141）。ステップ240では、格納した前記初期入力画像Ｃ0610と前記入力画像Ｌ0620との加重平均を式(3)を用いて算出し、ステップ250に進む（加重平均演算ステップ240）。
Ｃn＝Ｃn-1×α＋Ｌn-1×αi …式(3)
ただし、Ｌn ― 1は入力画像、Ｃnは処理画像（ただし、Ｃ0は初期入力画像）、Ｃn-1は前回算出した処理画像、αは加重係数、αiは入力画像用加重係数であり、ｎ＝１，２，…，２００の整数、αi＝（１−α）、α＝３１／３２とする。
ステップ250では、前記画像入力ステップ141と加重平均演算ステップ240を実行した回数が規定回数（例えば、２００回）に達したか否かを判断し、規定回数に達していなければステップ260に進み、規定回数に達していればステップ270に進む（処理回数判断ステップ250）。
ステップ260では、０．５秒間のタイマーを動作させ、０．５秒間経過後ステップ141に進み、画像入力ステップを実行する（画像入力待ちステップ260）。ステップ270では、１回前の加重平均ステップ240で得られた処理画像Ｃ199613と画像入力ステップ141で得られた入力画像Ｌ199622の加重平均の算出結果を処理画像Ｃ200614として格納し、かつ処理画像Ｃ200614を初期背景画像Ｒ0615として格納し、ステップ142に戻る（背景画像登録ステップ270）。
【００２１】
２回目の処理702では、前記画像入力ステップ141がＴＶカメラ1から画像を取得し、該取得した画像を入力画像Ｌ1621として格納する。そして、該入力画像Ｌ1621（即ち一般的には、入力画像Ｌn-1）と１回目の加重平均演算ステップで得られた処理画像Ｃ1611（即ち一般的には、前回の処理画像Ｃn-1）との加重平均を算出し、該算出した処理画像Ｃ2612（即ち一般的には、ｎ回目の処理画像Ｃn）を格納する。次に処理回数判断ステップ250が前記画像入力ステップ141と前記加重平均演算ステップ240を実行した回数を判断し、規定回数（２００回）に達したか否かを判断し、処理回数が２回目の場合は規定回数に達していない（ｎ＝２）のでステップ260に進み、画像入力待ちステップ260に進んだ後、３回目の処理に進む。
【００２２】
以下、前述の２回目の処理と同様の処理を、処理回数が２００回になるまで繰返す。
２００回目の処理703（ｎ＝２００）では、前回の処理（ｎ＝１９９）で取得した処理画像Ｃ199613と、画像入力ステップ141で取得した入力画像Ｌ199622との加重平均を加重平均演算ステップ240で取得し、処理画像Ｃ200614として格納する。また、この処理画像Ｃ200614は初期背景画像Ｒ0615として格納される。
【００２３】
図１の初期背景画像作成ステップ121においては、ビットシフトを利用した演算であれば高速に実行できることから、加重係数α＝Ａ／２n（ただし、Ａ，ｎは自然数）となるように決定することが効果的である。ここで、加重係数αの分母２nは、加重係数αを調整することができる数値の刻みを表している。上記の実施例では、加重係数αの調整は経験的に“約０．０３”刻みで行えばよいとして、加重係数値αの分母を２5＝３２とした。
また加重係数αは、“０＜α＜１”となるように決定し、通常更新される背景画像は、αを大きく選ぶと入力画像の変化に鈍感になり、αを小さく選ぶと入力画像の変化に対する追従性が高まる性質がある。
本発明では、物体の存在しないまたは無視できる画像を作成することが目的であるため、加重係数αを“１”に近くする必要があった。そこで上記の実施例において、前記初期背景画像作成ステップ121では、更新した背景画像Ｒ0の中で背景画像Ｒn-1の占める割合が約９７％であれば、経験的に入力画像に含まれる物体やノイズの影響を取除けることから、加重係数αを“３１／３２”とした。
【００２４】
画像入力待ちの時間は、画面上に存在する物体が一箇所に重なって映らないように設定する必要がある。上述の実施例では、ＴＶカメラ1の視野（水平方向の視野×垂直方向の視野）を１３ｍ×９．８ｍから２０．８ｍ×１５．６ｍまでとし、検出する物体が時速４０Ｋｍ以上の車等の移動物体で、該移動物体の最大の長さを４．５ｍとし、該移動物体が時速４０Ｋｍで移動した場合、該移動物体の最大の長さ分即ち４．５ｍ移動するのに０．４秒かかることから、画像入力待ちの時間を０．５秒としている。
【００２５】
また上述の実施例での処理回数の上限（ｎ＝２００）は、以下のような理由で決定した。即ち、背景画像は、前記式(3)により決定される。ここで、
Ｌn＝ＲZ＋ｄn …式(4)
Ｃn＝ＲZ＋εn …式(5)
と表現する。但し、 Ｌnは入力画像、Ｃnは処理画像、ＲZは理想背景画像、εnは処理画像の理想背景画像に対する差分（物体、ノイズによる）、ｄnは入力画像の理想背景画像に対する差分（物体、ノイズ）を表す。
式(4)と式(5)により、式(3)は次のようになる。
ＲZ＋εn＝α×（ＲZ＋εnー1）＋（１−α）×（ＲZ＋ｄnー1）
∴εn＝α×εn-1＋（１−α）×ｄn-1 …式(6)
（ただし、Ｃ0は初期入力画像、ε0は経験上輝度値として“２２０”程度であるので２２０とした。）
ここで、α>>(１−α)であるため、ｎ回目の処理画像Ｃnの理想背景画像に対する差分εnに対し、ｎの１回前（時間にして０．５秒前）の処理画像Ｃn-1の理想背景画像に対する差分εn-1が支配的となる。
従って、ｄnが十分に小さい場合、式(6)より
ε1＝α×ε0
ε2＝α2×ε0
・
・
・
εn＝αn×ε0 …式(7)
となる。ここで、ｎ回目の処理画像Ｃnの理想背景画像に対するεnが、輝度値にして“１０”以下である場合には二値化ステップにより物体とは判断しないとする。
また、加重係数α＝３１／３２であり、εnを１０（物体とは判断しない最大の輝度値）以下に押さえるために必要な処理回数は、式(7)より、
１０＝αn×２２０
∴ｎ＝ｌｏｇα（１０／２２０）＝９７．３６ …式(8)
以上のことから、上記の実施例の処理回数ｎを、式(8)の結果の約２倍の２００回とした。
【００２６】
次に加重平均法を用いて物体が存在しないかまたは無視できる画像、即ち背景画像を更新する原理について、図４と図７を用いて説明する。図７は本発明の背景画像更新方法の原理を説明するブロック図で、88は初期背景画像作成ステップ121または１回前に背景画像更新ステップ221を実行した際に作成された背景画像Ｒn-1、89は画像入力ステップ141で格納した入力画像Ｌn、90はこの背景画像更新ステップ221を実行したことによって作成された背景画像Ｒn、91は乗算器、92は加算器、93は加重係数α、94は入力画像用加重係数αiである。図４は本発明のの背景画像更新方法の原理を説明するフローチャートで、図７を用いて図４のフローチャートの動作を実行する。
図４において、
ラベリングステップ180（図１）で算出した番号付けされた物体の数から物体の有無を判断する。番号付けされた物体の数が”０”である場合には物体なしと判断しステップ291に進み、それ以外の場合には物体ありと判断しステップ280に進む（物体の有無判断ステップ191）。ステップ191では物体未存在時であるとして、加重係数αを加重係数“５０／６４”にし、ステップ240に進む（第１の加重係数決定ステップ291）。ステップ280では、ＣＰＵ4のタイマ，カレンダ，予め登録された監視場所の日照時間に従って、昼と夜を判断し、昼と判断した場合にはステップ293に進み、夜と判断した場合にはステップ292に進む（昼夜判断ステップ280）。ステップ292では加重係数αを、夜であってかつ物体が存在するときの値“６２／６４”として、ステップ240に進む（第２の加重係数決定ステップ292）。ステップ293では加重係数αを、昼であってかつ物体が存在するときの値“６１／６４”として、ステップ240に進む（第３の加重係数決定ステップ293）。ステップ240では、ステップ291〜293のいずれかで決定した加重係数αと式(9)とを用いて、初期画像作成ステップ121（図１）または背景画像更新ステップ221（図１）で格納された背景画像Ｒn-1と画像入力ステップ141（図１）で格納された入力画像Ｌnとの加重平均演算を式(9)によって行う（加重平均演算ステップ240）。
Ｒn＝α×Ｒn-1＋αi×Ｌn …式(9)
ただし、処理回数ｎは自然数とする。
【００２７】
図４で述べたような背景画像更新方法では、ビットシフトを利用した演算であれば高速に実行できることから、加重係数α＝Ａ／２n（ただし、Ａ，ｎは自然数）となるように決定することが効果的である。ここで、加重係数αの分母２nは、加重係数αを調整することができる数値の刻みを表している。上記の実施例では、加重係数αの調整は経験的に“約０．０１”刻みで行えばよいとして、加重係数値αの分母を２6＝６４とした。
物体が存在しない時の加重係数α決定ステップ291で決定される加重係数αは、背景画像Ｒnの入力画像Ｌnに対する追従性をよくするために加重係数を小さく（“０”に近く）する必要がある。ここで、物体が存在しない場合、背景画像Ｒn-1と入力画像Ｌnとの差としてはノイズ成分のみであり、ノイズ成分は経験上、最大で輝度値にして“２０”以下である。よって背景画像中に含まれているノイズ成分も考慮し、入力画像のノイズ成分の混入を２０％程度許容することとして、加重係数をαを“５０／６４”と決定した。
【００２８】
物体存在かつ夜の場合には加重係数α決定ステップ292で決定される加重係数αは、入力画像Ｌnに物体が混入しているため、加重係数αを大きく（“１”に近く）する必要がある。ここで、夜の場合には輝度の時間変化が小さく、輝度値が大きい車のライトが背景画像Ｒnに混入しにくくする必要があることから、加重係数αを“６２／６４”と決定した。
【００２９】
物体存在かつ昼の場合には加重係数α決定ステップ293で決定される加重係数αは、入力画像Ｌnに物体が混入しているため、加重係数αを大きく（“１”に近く）する必要がある。ここで、昼の場合には輝度の時間変化が大きいため、背景画像Ｒnの入力画像Ｌnに対する追従性をよくし、かつ物体の混入を防ぐ必要があることから、加重係数αを“６１／６４”と決定した。
【００３０】
背景画像の更新間隔は、入力画像Ｌnに混入した物体が一箇所に重なって映らず、かつ入力画像Ｌnへの追従性がよくなるように設定する必要がある。上述の実施例では、ＴＶカメラ1の視野（水平方向の視野×垂直方向の視野）を１３ｍ×９．８ｍから２０．８ｍ×１５．６ｍまでとし、検出する物体が時速４０Ｋｍ以上の車等の移動物体で、該移動物体の最大の長さを１０ｍとし、該移動物体が時速４０Ｋｍで移動した場合、該移動物体の最大の長さ分即ち１０ｍ移動するのに約１秒かかることから、画像入力待ちの時間をその２倍の２秒間に１回行うこととした。
【００３１】
図４及び図１のフローチャートでは、監視範囲の明るさによる判断（昼と夜の違い）を時刻によって行ったが、その他、監視範囲内の物体を検出しない（侵入物がないと予想される）範囲または、輝度の変化が代表的である範囲を指定してその部分の輝度を観測し、指定部分の輝度を目安として、処理判断を行う方法がある。
【００３２】
前述の実施例では、監視する物体を車等の移動物体で説明した。また、昼と夜とに区別して照度の違いによる条件分けを行った。しかし、これらに限らず監視する対象によって、実行するための条件が変るのは自明であって、何ら本発明を適用範囲を逸脱していないことは自明である。
【００３３】
【発明の効果】
以上説明したように、本発明では物体が逐次存在する場合でも安定した初期背景画像を作成することが可能となる。また、背景画像更新時の演算量を減少させたため、物体認識回数を多くすることができ、精度の高い物体認識が行える。更に、随時背景画像更新を行うため、物体が逐次存在するような場所でも安定した背景画像を作成することができる。
【００３４】
従って、本発明によれば安定に物体認識を行うことができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の方法を示すフローチャート。
【図２】 本発明の一実施例の構成を示すブロック図。
【図３】 本発明の初期背景画像作成の方法を示すフローチャート。
【図４】 本発明の背景画像更新の方法を示すフローチャート。
【図５】 入力画像から侵入物体を検出するまでを説明するための図。
【図６】 本発明の初期背景画像作成の一実施例の構成を示すブロック図。
【図７】 本発明の背景画像更新の一実施例の構成を示すブロック図。
【図８】 従来の物体検知処理の方法を示すフローチャート。
【図９】 従来の背景画像更新法の方法を示すフローチャート。
【図１０】 従来の背景画像更新法の構成例を示すブロック図。
【符号の説明】
1：ＴＶカメラ、 2：画像入力Ｉ／Ｆ、 3：画像メモリ、 4：ＣＰＵ、 5：出力Ｉ／Ｆ、 6：警告表示モニタ、 7：データバス、 8：ワークメモリ、 9：プログラムメモリ、 10：画像出力Ｉ／Ｆ、 11：ビデオモニタ、 30：差分画像、 31：二値化画像、 32：ノイズ領域、 33：ノイズ除去画像、 34：ラベリング画像、 35：特徴量検出画像、 48：背景画像Ｒn-1、 49：入力画像Ｌn、 50：背景画像Ｒn、 51：乗算器、 52：加算器、 53：加重係数α、 54：背景画像用加重係数αr、 55：減算器、 61：Ｌn入力画像、 70：差分処理部、 88：背景画像Ｒn-1、 89：入力画像Ｌn、 90：背景画像Ｒn、 91：乗算器、 92：加算器、 93：加重係数α、 94：背景画像用加重係数αr、 610：初期入力画像Ｃ0、 611：１回目の処理画像Ｃ1、 612：２回目の処理画像Ｃ2、 613：１９９回目の処理画像Ｃ199、 614：２００回目の処理画像Ｃ200、 615：初期背景画像Ｒ0、 620：１回目の入力画像Ｌ0、 621：２回目の入力画像Ｌ1、 622：２００回目の入力画像Ｌ199、 623：２００回目の入力画像Ｌ1、 630：加重係数α、 640：入力画像用加重係数αi、 701：１回目の処理、 702：２回目の処理、 703：３回目の処理、 710：背景画像Ｒn-1、 711：背景画像Ｒn、 720：入力画像Ｌn、 121：初期背景画像作成ステップ、 130：初期背景作成時間取得ステップ、 141：画像入力ステップ、 150：差分ステップ、 160：二値化ステップ、 170：ノイズ除去ステップ、 180：ラベリングステップ、 191：物体の有無判断ステップ、 200：特徴量抽出ステップ、 210：背景画像の更新有無判断ステップ、 221：背景画像更新ステップ、 230：背景画像更新時間取得ステップ、
Claims (8)
- 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出方法において、
前記撮像装置から得られる画像全体と前記背景画像全体とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新するステップを備え、
物体の検出が有る場合は、物体の検出が無い場合に比べて、前記背景画像全体に対する加重係数を大きくすると共に、前記撮像装置から得られる画像全体に対する加重係数を０ではない値とする、
ことを特徴とする物体検出方法。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出方法において、
前記撮像装置から得られる画像と前記背景画像とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新するステップを備え、
監視場所が明るい場合は、監視場所が暗い場合に比べて、前記背景画像に対する加重係数を小さくする、
ことを特徴とする物体検出方法。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出方法において、
前記撮像装置から得られる画像と前記背景画像とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新するステップを備え、
前記加重係数を、監視時刻によって変化させる、
ことを特徴とする物体検出方法。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出方法において、
前記撮像装置から得られる画像と前記背景画像とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新するステップを備え、
前記加重係数を、昼夜判断によって変化させる、
ことを特徴とする物体検出方法。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出装置において、
前記撮像装置から得られる画像全体と前記背景画像全体とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新する背景画像更新手段を備え、
物体の検出が有る場合は、物体の検出が無い場合に比べて、前記背景画像全体に対する加重係数を大きくすると共に、前記撮像装置から得られる画像全体に対する加重係数を０ではない値とする、
ことを特徴とする物体検出装置。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出装置において、
前記撮像装置から得られる画像と前記背景画像とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新する背景画像更新手段を備え、
監視場所が明るい場合は、監視場所が暗い場合に比べて、前記背景画像に対する加重係数を小さくする、
ことを特徴とする物体検出装置。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出装置において、
前記撮像装置から得られる画像と前記背景画像とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新する背景画像更新手段を備え、
前記加重係数を、監視時刻によって変化させる、
ことを特徴とする物体検出装置。 - 背景画像と入力画像との比較に基づいて撮像装置から得られる画像中の物体を検出する物体検出装置において、
前記撮像装置から得られる画像と前記背景画像とを所定の加重係数に基づいて加重平均することにより前記背景画像を更新する背景画像更新手段を備え、
前記加重係数を、昼夜判断によって変化させる、
ことを特徴とする物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29191097A JP3659609B2 (ja) | 1997-10-24 | 1997-10-24 | 物体検出方法及び物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29191097A JP3659609B2 (ja) | 1997-10-24 | 1997-10-24 | 物体検出方法及び物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11127430A JPH11127430A (ja) | 1999-05-11 |
| JP3659609B2 true JP3659609B2 (ja) | 2005-06-15 |
Family
ID=17775047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29191097A Expired - Lifetime JP3659609B2 (ja) | 1997-10-24 | 1997-10-24 | 物体検出方法及び物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3659609B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4832894B2 (ja) * | 2005-12-28 | 2011-12-07 | セコム株式会社 | 画像センサ |
| KR101893677B1 (ko) * | 2017-01-26 | 2018-08-31 | 공주대학교 산학협력단 | 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치 |
-
1997
- 1997-10-24 JP JP29191097A patent/JP3659609B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11127430A (ja) | 1999-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6088468A (en) | Method and apparatus for sensing object located within visual field of imaging device | |
| US7982774B2 (en) | Image processing apparatus and image processing method | |
| JP3123587B2 (ja) | 背景差分による動物体領域抽出方法 | |
| US6754367B1 (en) | Method and apparatus for automatically detecting intrusion object into view of image pickup device | |
| US7286709B2 (en) | Apparatus and computer program for detecting motion in image frame | |
| KR19980701568A (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치(method and apparatus for detecting object movement within an image sequence) | |
| CN109803096B (zh) | 一种基于脉冲信号的显示方法和系统 | |
| WO2001033503A1 (en) | Image processing techniques for a video based traffic monitoring system and methods therefor | |
| JPH1141589A (ja) | 移動物体の監視方法および装置 | |
| US5963272A (en) | Method and apparatus for generating a reference image from an image sequence | |
| EP2447912B1 (en) | Method and device for the detection of change in illumination for vision systems | |
| JP3377659B2 (ja) | 物体検出装置及び物体検出方法 | |
| US9443150B2 (en) | Device and method for detecting objects from a video signal | |
| JP3034101B2 (ja) | 動きベクトルによる識別方法及び装置 | |
| JPH09293141A (ja) | 移動物体検出装置 | |
| JP3659609B2 (ja) | 物体検出方法及び物体検出装置 | |
| JPH1093957A (ja) | 移動物体検出方法、装置、システム、および記憶媒体 | |
| JP3423886B2 (ja) | 移動物体監視装置 | |
| JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
| JPH05300516A (ja) | 動画処理装置 | |
| KR100615672B1 (ko) | Ｘｙ축 투영그래프를 이용한 화재 감시시스템 및 이를이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터판독가능 기록매체 | |
| JP3532769B2 (ja) | 画像監視装置 | |
| JPH05183901A (ja) | 移動体監視装置 | |
| JP2001169270A (ja) | 画像監視装置及び画像監視方法 | |
| JP2003299066A (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040917 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041018 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080325 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140325 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |