JPH0731248B2 - 移動物体検出装置 - Google Patents

移動物体検出装置

Info

Publication number
JPH0731248B2
JPH0731248B2 JP62222125A JP22212587A JPH0731248B2 JP H0731248 B2 JPH0731248 B2 JP H0731248B2 JP 62222125 A JP62222125 A JP 62222125A JP 22212587 A JP22212587 A JP 22212587A JP H0731248 B2 JPH0731248 B2 JP H0731248B2
Authority
JP
Japan
Prior art keywords
output
moving object
detection
density
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP62222125A
Other languages
English (en)
Other versions
JPS6465486A (en
Inventor
晴彦 木村
敬夫 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ikegami Tsushinki Co Ltd
Tokyo Gas Co Ltd
Original Assignee
Ikegami Tsushinki Co Ltd
Tokyo Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ikegami Tsushinki Co Ltd, Tokyo Gas Co Ltd filed Critical Ikegami Tsushinki Co Ltd
Priority to JP62222125A priority Critical patent/JPH0731248B2/ja
Publication of JPS6465486A publication Critical patent/JPS6465486A/ja
Publication of JPH0731248B2 publication Critical patent/JPH0731248B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、テレビカメラなどの二次元画像センサで撮像
した画像に対して画像処理を施して移動物体を検出する
移動物体検出装置に関するものである。
[従来の技術] 移動物体検出装置は警備および監視システムに使用され
ており、従来は赤外線光電センサ,ループスイッチ,振
動スイッチなどによる一次元センサを用いたものが主で
あり、センサの検知エリアが狭く、点または線上の一次
または二次元的な狭い領域での移動物体の検出しか行う
ことができなかった。
このような一次元センサでは従来困難であった三次元的
な広い領域における移動物体の検出を行うことで、人間
の目で監視している状況により近づけて広域の警備,監
視を行う監視システムの画像センサとして、上述したテ
レビカメラのような二次元センサを用い、撮像した画像
から移動物体を特定する方式が考えられる。
[発明が解決しようとする問題点] しかし、この種従来の移動物体検出装置では、テレビカ
メラで撮像した画像を監視員が常時監視して移動物体を
発見する有人システムであるか、あるいはかかる画像を
いったんビデオテープレコーダに録画しておいて、後に
再生画像から移動物体を特定するシステムであった。こ
こで、画像としては動画であったり、あるいは経済性を
考慮して静止画とすることも考えられるが、いずれの画
像についても、最終的には人間の目で移動物体の有無の
判断を行っている。
そこで、本発明の目的は、二次元画像センサを用いて、
広域の監視エリアにおける移動物体の存否を、人手を介
することなく、リアルタイムで自動的に行うことができ
る移動物体検出装置を提供することにある。
本発明の他の目的は、このように移動物体の存否を自動
的に判断するにあたり、誤動作を防止して、正確かつ確
実に移動物体を検出することのできる移動物体検出装置
を提供することにある。
[問題点を解決するための手段] このような目的を達成するために、本発明の第1形態
は、二次元撮像手段によって撮像したアナログ画像信号
をデジタル画像信号に変換し、現在時点における画像信
号と所定の時間だけ前の時点における画像信号との濃度
についての差分出力を取り出し、その濃度差分出力に基
づいて、撮像された画像中の移動物体を検出する移動物
体検出装置において、濃度差分出力から、当該撮像され
た画像中のマスクすべき部分を除去する手段と、当該濃
度差分出力が予め定めたしきい値を越えるときに濃度総
和についての検出出力を発生する手段と、濃度差分出力
を2値化する手段と、その2値化された出力を受けて、
当該出力中の微小変化の部分を除去するノイズフィルタ
を有し、ノイズフィルタを介して、2値化された出力の
総和をとる手段と、その総和が予め定めたしきい値を越
えるときに局所面積についての検出出力を発生する手段
と、ノイズフィルタの出力を受けるサイズフィルタを有
し、サイズフィルタからの出力が予め定めたしきい値を
越えるときに局所変化についての検出出力を発生する手
段と、濃度差分出力の全画面にわたっての水平および垂
直方向の濃度分布を算出する手段と、その水平および垂
直方向の濃度分布から、画面の水平および垂直方向の走
査に合わせて、所定区間の画素における濃度階調の総和
を、画素を1画素ずつ水平および垂直方向に移動させて
移動区間和を求める手段と、水平および垂直方向の濃度
分布の各最大値を求める手段と、当該最大値が予め定め
たしきい値を越えるときに濃度分布最大値についての検
出出力を発生する手段と、濃度総和についての検出出
力、局所面積についての検出出力、局所変化についての
検出出力、移動区間和および濃度分布最大値についての
検出出力に基づいて、撮像手段で撮像した画面中に移動
物体が存在することを判定する手段とを具えたことを特
徴とする。
本発明の第2形態は、二次元撮像手段によって撮像した
アナログ画像信号をデジタル画像信号に変換し、現在時
点における画像信号と所定の時間だけ前の時点における
画像信号との差分出力を取り出し、その差分出力に基づ
いて、撮像された画像中の移動物体を検出する移動物体
検出装置において、撮像手段の撮像画面を複数の領域に
予め分割して設定する手段と、差分出力を2値化する手
段と、その2値化された出力から、複数の領域の各々に
対して個別に定めた感度に応じて、当該2値化出力に含
まれる微小変化を除去する手段と、手段からの出力よ
り、複数の領域の各々についての2値化出力中の局所的
に変化する部分を検出する手段と、手段により検出され
た各領域の局所変化部分が各領域に対して個別に定めた
しきい値を越えるときに局所変化についての検出出力を
発生する手段と、局所変化についての検出出力を複数の
領域の各々に対する局所変化の検出出力に分けて抽出す
る手段と、その抽出された局所変化の検出出力を組合せ
て、複数の領域のうちの所定の領域の組合せに対して移
動物体が局所的に存在することを示す領域検出出力を発
生する手段とを具えたことを特徴とする。
本発明の第3形態は、二次元撮像手段によって撮像した
アナログ画像信号をデジタル画像信号に変換し、現在時
点における画像信号と所定の時間だけ前の時点における
画像信号との濃度についての差分出力を取り出し、その
濃度差分出力に基づいて、撮像された画像中の移動物体
を検出する移動物体検出装置において、濃度差分出力か
ら、当該撮像された画像中のマスクすべき部分を除去す
る手段と、当該濃度差分出力が予め定めたしきい値を越
えるときに濃度総和についての検出出力を発生する手段
と、濃度差分出力を2値化する手段と、その2値化され
た出力を受けて、当該出力中の微小変化の部分を除去す
るノイズフィルタを有し、ノイズフィルタを介して、2
値化された出力の総和をとる手段と、その総和が予め定
めたしきい値を越えるときに局所面積についての検出出
力を発生する手段と、ノイズフィルタの出力を受けるサ
イズフィルタを有し、サイズフィルタからの出力が予め
定めたしきい値を越えるときに局所変化についての検出
出力を発生する手段と、濃度差分出力の全画面にわたっ
ての水平および垂直方向の濃度分布を算出する手段と、
その水平および垂直方向の濃度分布から、画面の水平お
よび垂直方向の走査に合わせて、所定区間の画素におけ
る濃度階調の総和を、画素を1画素ずつ水平および垂直
方向に移動させて移動区間和を求める手段と、水平およ
び垂直方向の濃度分布の各最大値を求める手段と、当該
最大値が予め定めたしきい値を越えるときに濃度分布最
大値についての検出出力を発生する手段と、撮像手段の
撮像画面を空間領域、境界領域および地面領域に予め設
定する手段と、2値化された出力から、空間領域、境界
領域および地面領域の各々に対して個別に定めた感度に
応じて、当該2値化出力に含まれる微小変化を除去する
ノイズフィルタと、このノイズフィルタからの出力を受
けて2値化出力中の局所的に変化する部分を検出するサ
イズフィルタと、このサイズフィルタの出力が各領域に
対して個別に定めたしきい値を越えるときに局所変化に
ついての検出出力を発生する手段と、局所変化について
の検出出力を領域の各々に対する局所変化の検出出力に
分けて抽出する手段と、その抽出された局所変化の検出
出力を組合せて、領域のすべてに局所変化部分が存在
し、かつその局所変化部分のX方向の位置が所定の範囲
内にあるときに、移動物体が存在すると判定して、領域
検出出力を発生する手段と、濃度総和についての検出出
力、局所面積についての検出出力、局所変化についての
検出出力、移動区間和および濃度分布最大値についての
検出出力および領域検出出力に基づいて、撮像手段で撮
像した画面中に移動物体が存在することを判定する手段
とを具えたことを特徴とする。
本発明の第4形態は、二次元撮像手段によって撮像した
アナログ画像信号をデジタル画像信号に変換し、現在時
点における画像信号と所定の時間だけ前の時点における
画像信号との濃度についての差分出力を取り出し、その
濃度差分出力に基づいて、撮像された画像中の移動物体
を検出する移動物体検出装置において、検出された移動
物体の移動速度を検出する手段と、その検出された移動
速度が所定のしきい値を越えるときに移動速度検出出力
を発生する手段とを具えたことを特徴とする。
本発明の第5形態は、二次元撮像手段によって撮像した
アナログ画像信号をデジタル画像信号に変換し、現在時
点における画像信号と所定の時間だけ前の時点における
画像信号との濃度についての差分出力を取り出し、その
濃度差分出力に基づいて、撮像された画像中の移動物体
を検出する移動物体検出装置において、濃度差分出力か
ら、当該撮像された画像中のマスクすべき部分を除去す
る手段と、当該濃度差分出力が予め定めたしきい値を越
えるときに濃度総和についての検出出力を発生する手段
と、濃度差分出力を2値化する手段と、その2値化され
た出力を受けて、当該出力中の微小変化の部分を除去す
るノイズフィルタを有し、ノイズフィルタを介して、2
値化された出力の総和をとる手段と、その総和が予め定
めたしきい値を越えるときに局所面積についての検出出
力を発生する手段と、ノイズフィルタの出力を受けるサ
イズフィルタを有し、サイズフィルタからの出力が予め
定めたしきい値を越えるときに局所変化についての検出
出力を発生する手段と、濃度差分出力の全画面にわたっ
ての水平および垂直方向の濃度分布を算出する手段と、
その水平および垂直方向の濃度分布から、画面の水平お
よび垂直方向の走査に合わせて、所定区間の画素におけ
る濃度階調の総和を、画素を1画素ずつ水平および垂直
方向に移動させて移動区間和を求める手段と、水平およ
び垂直方向の濃度分布の各最大値を求める手段と、当該
最大値が予め定めたしきい値を越えるときに濃度分布最
大値についての検出出力を発生する手段と、撮像手段の
撮像画面を空間領域、境界領域および地面領域に予め設
定する手段と、2値化された出力から、空間領域、境界
領域および地面領域の各々に対して個別に定めた感度に
応じて、当該2値化出力に含まれる微小変化を除去する
ノイズフィルタと、このノイズフィルタからの出力を受
けて2値化出力中の局所的に変化する部分を検出するサ
イズフィルタと、このサイズフィルタの出力が各領域に
対して個別に定めたしきい値を越えるときに局所変化に
ついての検出出力を発生する手段と、局所変化について
の検出出力を領域の各々に対する局所変化の検出出力に
分けて抽出する手段と、その抽出された局所変化の検出
出力を組合せて、領域のすべてに局所変化部分が存在
し、かつその局所変化部分のX方向の位置が所定の範囲
内にあるときに、移動物体が存在すると判定して、領域
検出出力を発生する手段と、濃度総和についての検出出
力、局所面積についての検出出力、局所変化についての
検出出力、移動区間和および濃度分布最大値についての
検出出力および領域検出出力に基づいて、撮像手段で撮
像した画面中に移動物体が存在することを判定する手段
と、判定手段からの判定出力が予め定めた時間内に検出
される回数をカウントする手段と、そのカウントした回
数が所定のしきい値を越えたときに移動物体が存在する
旨の最終判定出力を発生する手段とを具えたことを特徴
とする。
[作 用] 本発明によれば、三次元的な広範囲の領域について、移
動物体の有無を検出するにあたり、不所望の移動物体の
動きは除外して、対象とする移動物体の動きを判断し、
以てその移動物体の有無を自動的に、かつリアルタイム
で、しかも人間の目で見たようにして検出することがで
きる。
しかも、その検出にあたって、一つの要因のみで移動物
体を判定するのではなく、設置状況に応じて種々に検出
データを組合せて総合的に判定を行うので、誤動作な
く、正確かつ確実に移動物体を検出することができる。
[実施例] 以下、図面を参照して本発明を詳細に説明する。
第1図ないし第7図に本発明移動物体検出装置の一実施
例の構成を示す。
第1図は、ビデオカメラによって撮像して得た画像信号
から、移動物体を検出した画像信号をモニタ上に映出す
る回路の構成の一例を示す。
第1図において、ビデオカメラ1で撮像して得た画像信
号をA/D変換器でデジタル画像信号に変換する。このデ
ジタル画像信号S1を1フレームメモリによる異常検出時
表示用静止画メモリ3に記憶して、後述する移動物体検
出時、すなわち異常検出時に表示すべき1画面分のデジ
タル画像情報を記憶する。一方、原時点より所定の時間
前(たとえば、カメラ1台につき0.17秒程度)の画像情
報を、後述する差分値をとる基準画としてメモリ4に記
憶する。ビデオカメラ1を複数台使用するときには、そ
のカメラ台数に等して個数のメモリ4を設けておき、こ
れらメモリ4をビデオカメラ1と同期して切換える。5
はA/D変換器2におけるA/D変換のサンプリングのタイミ
ングおよびメモリ3と4の書き込みおよび読出しタイミ
ングを制御する制御部である。
表示用静止画メモリ3に記憶されている1画面分の画像
信号をR/W制御部5の制御下に読み出しで表示制御部6
に供給する。この表示制御部6には、第2図につき後述
するマスクメモリからのマスク出力S2および第6図につ
き後述する周辺分布のX方向およびY方向の最大値の座
標を示す信号S44を供給し、画像中のマスクすべき部分
の映出状況を確認するときにマスク出力S2を供給してマ
スクし、移動物体の位置を表示するときには最大値座標
信号S44を供給してクロスカーソルを表示する。表示制
御部6からの出力信号をD/A変換器7に供給し、ここで
得たアナログ画像信号をビデオ出力S3として取り出し、
ディスプレイ8に検出対象部分についての画像を表示す
る。
A/D変換器2からのデジタル画像信号S1と、基準画用メ
モリ4からR/W制御部5の制御下に読み出された基準画
としての画像S4とを第2図に示す差分回路11に供給し
て、両者の差分を演算する。
第2図は、本発明移動物体検出装置の一実施例の総合的
なブロック図を示す。
本実施例では、この差分出力に基づいて、以下に詳述す
るように移動物体の存否の判定を行う。
かかる判定に先立って、第2図において、まず、差分回
路11からの差分出力を平滑化回路12に供給して、光電変
換系などで発生する衝撃性のノイズ成分を除去し、さら
にその平滑出力を輪郭強調回路13に供給して、画像中の
輪郭について、不鮮明な境界部の濃度変化を急峻なもの
に強調した出力S5を取り出す。このような平滑化および
輪郭強調によって、後述する画像処理を効果的に行うこ
とができる。これら平滑化回路12および輪郭強調回路13
の具体例は、本願人による特開昭58−21546号「自動表
面検査装置」に詳細に示されているので、ここでは説明
を省略する。
輪郭強調された差分信号S5を、後述するマスクメモリ17
からのマスク信号S2と共にアンドゲート14に供給して、
画面中の不必要な部分を除去する。そのアンド出力をク
リップ回路15に供給し、ここで、信号S5のうち、基準レ
ベル発生回路16からの基準レベルより高いレベルの成分
のみをクリップて取り出し、たとえば平滑化によって除
去されなかった不要成分、たとえば入力信号のS/N不良
による雑音成分またはA/D変換における量子化誤差など
を除去する。これにより、背景ノイズは零となった差分
のみの出力、すなわち差分正規化出力S6を得る。
次に、この差分正規化出力S6に基づいて、濃度検出回路
22により画面全体にわたって差分正規化出力S6を積算し
て濃度検出信号S9およびS10を得る。この検出信号S9お
よびS10により、コントラストが薄い移動物体でも全体
を積算することにより検出が容易になる。
次に、周辺分布検出回路28に差分正規化出力S6を供給す
ることにより、濃度の周辺分布、すなわち水平および垂
直方向に差分正規化出力S6を積算し、周辺分布検出信号
S41,S42およびS43を得る。これら検出信号S41,S42およ
びS43により、水平または垂直方向に細長いために前述
の濃度検出では検出できない移動物体であっても、積算
によって高レベルになるので、検出が容易になる。
さらにまた、差分正規化出力S6を比較回路23に供給し、
しきい値設定回路24により設定した所定のしきい値によ
って差分正規化出力S6を2値化して、しきい値以上の輝
度レベルの高い部分を“1"、そうでない部分を“0"とす
る。この2値化信号を、ノイズフィルタユニット25を通
して弧立点を除去し、さらに局所面積検出回路27により
局所濃度の面積検出信号S13およびS14を得る。次に、ノ
イズフィルタユニット25の出力をサイズフィルタユニッ
ト26を介して局所検出回路27に供給し、ここである程度
以下の大きさの局所信号を除去し、より誤差のない局所
変化検出信号S16を得る。
さらに精密に移動物体を検出するためには、上述の2値
化信号をノイズフィルタユニット29,31および33とサイ
ズフィルタユニット30,32および34との組合せを経て領
域検出回路35に供給し、それぞれ空間領域、境界領域お
よび地面領域の三者に移動物体が存在し、かつそのX座
標が所定の範囲内にあるときに移動物体が存在する旨の
判定を行う局所変化検出信号S37を得る。この信号S37を
総合判定回路36に供給し、信号S9,S10,S13,S14,S16,S4
1,S42,S43およびS37および後述する昼/夜検出器19から
の昼/夜判定出力S7を総合して移動物体総合検出信号S4
5を得る。
他方、サイズフィルタユニット30および34の各出力S20
およびS22および移動物体総合検出信号S45を長短判定回
路37に供給して、カメラ1の直前を横切る物体の移動時
間の長短によって人間と他の移動物体を区別し、最終判
定結果S52を得る。
ここで、差分演算の具体例について述べる。ビデオカメ
ラ1の撮像画像信号は、A/D変換器2でデジタル画像信
号に変換された後、たとえば、水平画素数512、垂直画
素数256(ブランキングを含む)とし、1画素の輝度を
8ビットで、すなわち256階調で表現して、第8図に示
すように、画像メモリ3および4に記憶するものとす
る。差分回路11においては、入力画像信号S1と基準画像
信号S4とを、1画素毎に対応させてリアルタイムに差分
演算を行い、その差分値の絶対値に対して、以下に述べ
るような各種処理を施す。
基準画像信号S4に対して、入力画像信号S1に変化がな
い、すなわち差分値が零の場合は、第9図(A)および
(B)に示す入力画Aおよび基準画Bに対して、差分値
の絶対値|A−B|は第9図(C)に示すように各画素共に
零になる。
他方、基準画像信号S4に対して、入力画像信号S1に変化
がある、すなわち差分値が零ではない場合、第10図
(A)および(B)に示す入力画Aおよび基準画Bに対
して、差分値の絶対値|A−B|は第10図(C)に示すよう
になる。
再び第2図に戻って、ここで、17はマスクメモリであっ
て、マスク処理を行うためにあらかじめ定めた各種マス
クを格納する。マスク処理は、侵入者等の移動物体を検
出する際に、その処理上検出の不要な部分および誤検出
されるおそれのある部分、たとえば木の枝が風で動くこ
とや道路上の通常の車の動きなどの部分が移動物体とし
て誤検出されるのを防止するために、各画面に応じて、
あらかじめマスクを定めておき、そのマスクエリア内は
検出対象外とする。ここで、マスクを定めるにあたって
は、マスク制御部18の操作パネル上のスイッチによっ
て、所望のマスクの形状,大きさおよび位置を示すマス
ク信号S2を設定後、マスクメモリ17内から読み出してマ
スク処理を行う。
第2図において、19は昼/夜検出器であり、デジタル画
像信号S1に対して、ある基準の明るさ以上の画素総和を
求め、昼および夜の各感度設定器20および21により設定
されている昼および夜の感度に対して、上記画素総和を
比較して画面の昼夜を判定してその判定出力S7を出力す
る。なお、この検出器19では、急激な明るさの変化には
追従しないようにするために、入力信号S1の各フレーム
をサンプリングして明るさの変化を調べ、所定の時間経
過してもなお変化が継続しているときは、昼夜判定出力
S7を出力する。この昼夜判定出力S7により、後述する移
動物体の総合判定を行うか否かを決める。たとえば、判
定出力S7が昼と判定したときにのみ総合判定を行う。
ここで、濃度検出回路22の一例を第3図に示す。
濃度検出は、前述したように、コントラストの少ない移
動物体であっても、画面全体を積算することによってレ
ベルを高め、検出を容易にするものである。
第3図において、差分正規化出力S6を総和回路41、たと
えばアキュムレータに供給して、全画面についての各画
素の濃度差分値の総和G0=Σ(x,y)を求める。ここ
で、画面上における水平方向および垂直方向の各座標を
それぞれxおよびyとし(x=0,1,…,X,y=0,1,…,
Y)、各画素の差分値の濃度をi(x,y)で示している。
なお、この差分値は多値であって2値ではない。変換回
路42では、総和値G0における加算の結果得られた24ビッ
トのデータを、処理に必要な16ビットの濃度総和値デー
タS8に変換する。
このデータS8を比較器43および44に供給し、それぞれ、
環境異常検出用しきい値(TH1)設定回路45および移動
物体検出用しきい値(TH2)設定回路46からの各しきい
値と比較する。すなわち、第11図に示すように、各フレ
ーム毎に変化する濃度総和値データS8を、環境異常検出
用しきい値TH1および移動物体検出用しきい値TH2とそれ
ぞれ比較し、データS8がしきい値TH1より大きいときに
は、地震,雷雨または雪などの環境異常に起因して濃度
総和値が大きくなっているものと判断し、その判定出力
をインバータ47を介して環境異常検出用濃度総量信号S9
として総合判定回路36に供給し、移動物体の検出を禁止
させる。他方、データS8がしきい値TH1より小さいが、
しきい値TH2より大きいときには移動物体である旨を判
断し、その比較結果出力をインバータ48を介して移動物
体検出用濃度総量信号S10として総合判定回路36に供給
し、移動物体の存否の総合判定に寄与させる。なお、上
記しきい値TH1およびTH2については、本実施例装置の設
置環境に応じて、種々可変設定することができ、これに
より環境に最適の検出感度に設定できる。
次に、局所検出を行う回路構成の一例を第4図に示す。
局所処理は、前述したように、ノイズフィルタによって
孤立点を除去し、この結果を全画面にわたって積算して
移動物体の存在を検出し、更にサイズフィルタを通すこ
とによって所定の値以上の大きさの移動物体を検出する
ものである。
第4図に示すように、比較回路23からの2値化出力をラ
インメモリ53〜56に順次に供給し、図示するようにライ
ンメモリの始点と終点および各接続点からノイズフィル
タ57に供給し、5×5の画素に対応する局所領域によっ
て画面を走査し、感度設定器58からの感度設定により微
小変化の画素を除去する。上記の局所領域は5×5の領
域に限られるものではなく、局所処理の目的と画面によ
って任意所望の画素数を選択することができる。このよ
うなノイズフィルタ自体は公知であるが、次にその実施
例について述べる。
このノイズフィルタ57はローパスフィルタとして作用
し、論理的には、5×5の画素のうち、散在する“1"レ
ベルについては、たとえば5×5の中央部分の画素がた
とえ“1"であっても“0"とみなして、局所検出の対象と
しないように処理する。58はノイズフィルタ57において
除去される微小変化についての感度の設定器である。
たとえば、簡単のために、ノイズフィルタ57を3×3の
ノイズフィルタとし、その場合について具体例を説明す
る。この場合には、垂直方向の各3画素毎に論理積をと
り、水平方向の3画素の各々についてのかかる論理積出
力の論理積をとって、3×3画素のすべてが“1"となれ
ば、3×3画素の中心画素を“1"で置き換え、他方、1
つの画素でも“0"であれば中心画素を“0"とする。この
ようにして、たとえば第12図(A)に示すように10×10
画素から成る画面に対して、かかるノイズフィルタ処理
を施すと、第12図(B)に示すような結果が得られる。
上述した5×5ノイズフィルタ57は、たとえば第15図に
示すように構成することができる。すなわち、比較回路
23およびラインメモリ53〜56の各出力を垂直方向の5画
素に対応する局所メモリ81にそれぞれ格納し、その各メ
モリ出力A,B,D,Eをオアゲート82〜85に供給する。オア
ゲート82〜85の各他方の入力端子には、フィルタ感度の
値を予め書き込んだROM86を設定スイッチ87で読み出し
て得た感度設定値の各ビット出力を供給する。オアゲー
ト82〜85の出力と局所メモリ81のメモリ出力Cとをアン
ドゲート88に供給する。このアンドゲート88の出力を第
2の局所メモリ89に供給し、垂直方向の5画素について
のアンド出力を水平方向の5画素分について順次に格納
する。この局所メモリ89の各メモリ出力A,B,D,Eをオア
ゲート90〜93に供給する。これらオアゲート90〜93の各
他方の入力端子には、感度ROM86の設定感度のうちスイ
ッチ87で読み出した感度値の各ビット出力を供給する。
オアゲート90〜93の各出力と局所メモリ89のメモリ出力
Cとをアンドゲート94に供給し、そのアンド出力を上述
のフィルタ出力S11とする。
ノイズフィルタ57からの2値化出力S11をカウンタ59に
供給して、局所領域の変化画素、すなわち“1"の画素の
個数をカウントして、局所面積の総和をカウンタ出力S1
2として求める。このカウンタ出力S12を比較器60および
61に供給し、それぞれ、しきい値設定器62および63によ
り設定された環境異常検出用しきい値TH3および移動物
体検出用しきい値TH4と比較する。比較器60において、
カウンタ出力S12がしきい値TH3を越えたときには、環境
異常と判断し、環境異常検出用面積総和信号S13をイン
バータ64を介して総合判定回路36に供給しての判定を禁
止する。比較器61において、カウンタ出力S12がしきい
値TH4を越えたときには、移動物体が存在する旨を判断
して、移動物体検出用面積総和信号S14をインバータ65
を介して総合判定回路36に供給する。
他方、ノイズフィルタ57からの出力S11を、直列に接続
されたラインメモリ66〜69に供給し、図示するように、
ラインメモリの始点と終点および各接続点からサイズフ
ィルタ70に供給する。ここで、“1"の画素数をカウント
することによって、変化画素数、すなわち変化部分の総
個数を求め、総個数出力S15を比較器71に供給し、しき
い値設定回路72からのしきい値TH5と比較する。総個数
出力S15がしきい値TH5より大きいときには、局所変化あ
りと判断し、局所変化出力S16をインバータ73を介して
総合判定回路36に供給する。
ここで、しきい値TH5=3とすると、たとえば第13図
(A)のように“1"の画素数が2の場合には局所変化出
力は“0"となる。他方、第13図(B)のように、“1"の
画素数が13の場合には局所変化出力は“1"となる。この
ことは、たとえば第14図に示すように、差分値を2値化
したときに、局所変化は2値化のしきい値を越えるもの
の、局所変化の個数総和が小さいとき(第13図(A)に
対応)には、この部分の局所変化を無視し、他方、局所
変化がしきい値を越え、しかも局所変化の個数総和の大
きいとき(第13図(B)に対応)には、この部分に局所
変化があったとして局所変化検出出力S16を生じる。
5×5サイズフィルタ70は、たとえば第16図に示すよう
に、3×3のメモリA1〜A6とその周辺のメモリB1〜B12
とから成る21画素分の局所メモリ95と、この局所メモリ
95の21画素中の“1"の画素数をカウントするカウンタ96
とより構成し、そのカウンタ出力を上述した局所変化成
分S15とすることができる。
次に、周辺分布処理を行う回路構成の一例を第6図に示
す。
周辺分布処理は、前述したように、X方向またはY方向
に細長い移動物体であっても、X方向またはY方向に積
算を行うことによって検出を容易にするもので、X方向
およびY方向の最大値からその位置を知ることができ
る。
ここでは、全画面の差分値の水平方向および垂直方向の
各濃度分布を求め、これら双方の濃度分布から、移動区
間和および最大値を演算して移動物体を検知する。ここ
で、移動区間和とは、画面の走査に合わせて、所定の区
間の画素における濃度階調の総和を、1画素ずつ移動さ
せながら求めたものをいう。たとえば、第21図に示す3
移動区間和の例では、各移動の度毎に、次の総和演算を
行う。
このように移動区間和をとることによって、平均化が行
われ、微小変化の振幅は小になるので、変化のある部分
は検出が容易になる。
水平方向および垂直方向の分布を求めるためには、水平
(X)方向の差分値の分布を、第22図に示すようにX0,X
1,…,Xとし、垂直(Y)方向の差分値の分布を、Y0,Y
1,…,Yとすると、X方向分布は、 Y方向分布は、 となる。
第6図において、差分値正規化データS6をX,Y濃度分布
回路141に供給し、ここで、アドレス制御回路142からの
XおよびY方向のアドレスを受けて、上式のXおよびY
方向の差分値の分布X0〜XおよびY0〜Yを求める。
このX,Y濃度分布回路141は、たとえば第20図のように構
成できる。ここで、161および162は加算器、163および1
64はトライステートバッファ、165および166は、それぞ
れ、X方向およびY方向分布メモリである。
X方向については、差分データS6を加算器161とバッフ
ァ163を介してメモリ165に書き込み、最初の1Hラインの
256画素分の差分データを格納する。次の1Hラインの走
査においては、X方向書き込み信号▲▼の制御下
に、加算器161によって、最初の1Hラインの各画素の差
分データに、次の1Hラインの対応画素位置の差分データ
を加算し、その加算データで前の当該画素位置の差分デ
ータを書き換える。この動作は、書込み信号▲▼に
よりバッファ163とメモリ165を制御して行う。すなわち
WE=“1"であって、R/W=“1"(読み出しモード)とな
るときには、バッファ163の出力はハイインピーダンス
となる。この状態でメモリ165から読み出したデータは
加算器161に転送され、ここで次の1Hラインの対応画素
位置の差分データと加算される。その結果が、WE=“0"
であって、R/W=“0"書き込みモード)のときに、メモ
リ165に書き込まれる。ここで、メモリ165の書込みおよ
び読出しのアドレスは、アドレス制御部142からのX方
向アドレスにより指示される。
Y方向については、加算器162において、X方向の各走
査毎に加算を行い、1Hライン分の加算結果をY方向書込
み信号WEのタイミングでバッファ164を介してメモリ166
に書き込む。この書込みアドレスはアドレス制御部142
からのY方向アドレスにより指示される。
以上のようにして、メモリ165および166には、それぞ
れ、XおよびY方向の濃度分布が格納される。
再び第6図に戻って、これらメモリ165および166から読
み出したXおよびY方向分布出力S38およびS39を移動区
間和処理回路143およびX,Y方向最大値検出回路144に供
給する。
移動区間和回路143は、たとえば最大128のデータを格納
するレジスタと、そのレジスタの各段出力を加算する加
算器とで構成できる。移動区間和出力を比較器145に供
給し、その出力のレベルがしきい値回路146からのしき
い値TH6より大きいときに、移動物体と判断する。その
比較結果をサイズ判定回路147に供給し、基準値回路148
からの基準のサイズより大きいときには、インバータ14
9を介して、区間和異常出力S41を、総合判定回路36に供
給する。
最大値検出回路144では、X,Y方向の各最大値を検出し、
これら最大値を比較器150および151に供給する。ここ
で、しきい値回路152および153の環境異常検出用しきい
値TH7および移動物体検出用しきい値TH8と比較し、最大
値がこれらしきい値TH7,TH8を越えるときに、それぞ
れ、環境異常発生および移動物体の存在を判断し、それ
ぞれ、環境異常に対する分布最大値検出出力S42および
移動物体についての分布最大値検出出力S43として、イ
ンバータ154および155をそれぞれ介して、総合判定回路
36に供給する。
他方、最大値検出回路144で検出されたX,Y方向の各最大
値によって最大値X,Y座標回路156をトリガし、そのタイ
ミングでアドレス制御部142からのX,Yアドレスを取り込
み、最大値のX,Y座標データS44を得る。このデータS44
は、表示制御部6に転送し、ここで、第1図に示したデ
ィスプレイ8上の表示図面中に、最大値のX,Y座標をク
ロスカーソルで表示するのに用いられる。
次に、領域判定について説明する。
本発明移動物体検出装置を、侵入者等の侵入を監視する
監視システムに適用するにあたっては、木の影が時間の
経過と共にマスク領域外へ移動し、かつ風により揺れ動
いたり、大きい鳥が飛来するとき、ヘリコプターや早い
動きの雲などの地上への影、カメラの前の近くを高速で
横切る鳥などと人間とを区別し、前者の場合に人間の侵
入と判断して誤発報することがないようにする必要があ
る。さらに加えて、遠方の移動物体は検出が困難になる
ので、それに対する対策も必要である。
その対策のひとつとして、第17図に示すように画面の分
割を行うことが考えられる。
すなわち、第17図においては、画面の3次元的な構成を
考慮して、マスク領域MKを除く画面を、複数の領域、た
とえば地面領域ET、空間領域SPおよびその中間の境界領
域BLに分割すると、一般に、テレビカメラの位置は人間
の高さより低いので、人間HMは、地面領域ET、空間領域
SPおよび境界領域BLの3つの領域のすべてに存在する。
他方、人間以外のものはこれら3つの領域のうちのいず
れか1つまたは2つの領域に存在することが多い。
これらの条件によって、人間と他の移動物体を大体識別
することができる。
このような判定方法をとったときの例外として、人間は
もちろん鳥、落ち葉等カメラの直前を横切るとき、移動
物体は何れも上記の3領域に存在する問題がある。従っ
て、人間と他の移動物体との識をする必要があり、この
点については後述する。
移動物体の状況により3領域に存在することの有無をま
とめると次の表のようになる。
上記ような方法によって3領域にわたる移動物体を検出
する際に問題となるのは、三者の関連性である。人間の
場合は必ずX座標の値がある範囲内に入っている。一
方、鳥の影等は3領域に存在していないだけでなく、そ
のX座標値が大きくずれていることが多い。従って、領
域判定にあたっては、上記の3領域に移動物体が存在す
ることの検出に加えて、そのX値が所定の範囲に入って
いることの検出が必要である。
次に、カメラから離れた場所では一定の長さに対する画
面の画素数が少なく、近くでは多くなる。すなわち、遠
近の差によってカメラ感度に差があるので、遠方は映り
にくくなる問題点がある。この対策として、遠近によっ
て画面の検出感度に差を持たせ、遠方は感度よく近くは
感度を落として検出し、遠方の移動物体も確実に検出で
きるようにする。
以上に述べたようなアルゴリズムを処理する領域検出回
路32の構成の一例を第5図に示し、その理手順の一例を
第18図のフローチャートに示す。
第5図において、比較器23からの2値化出力S11を、ノ
イズフィルタユニット(NF)101,102および103に供給す
る。これらノイズフィルタユニット101,102および103
は、それぞれ、第4図に示したラインメモリ53〜56とノ
イズフィルタ57との組合せと同様に構成できる。これら
ノイズフィルタユニット101,102および103に対する感度
の設定は、それぞれ、空間領域SP,境界領域BLおよび地
面領域ETに適合した感度設定器104,105および106によっ
て、それぞれ、行うものとする。これらノイズフィルタ
ユニット101,102および103からは、微小変化の除去され
た信号S17,S18およびS19がそれぞれ取り出される。
これら信号S17,S18およびS19を、それぞれ、第4図につ
き上述したような構成をもつサイズフィルタユニット
(SF)107,108および109に供給し、ここで、局所変化部
分の総個数を求め、総個数出力S20,S21およびS22を出力
する。
これら総個数出力S20,S21およびS22を、しきい値回路11
3,114および115からの各しきい値TH6,TH7およびTH8と共
に、それぞれ、比較器110,111および112に供給する。こ
こで、総個数出力S20,S21,S22が各しきい値TH6,TH7,TH8
より大きいときには、それぞれ、局所変化ありと判断し
て、局所変化出力S23,S24およびS25を出力する。
比較器110,111および112からの各局所変化出力S23,S24
およびS25を、空間領域SP、境界領域BLおよび地面領域E
Tをそれぞれ示す領域信号SPS,BLSおよびETSと共に、そ
れぞれ、アンドゲート116,117および118に供給する。こ
れらアンドゲート116,117および118からは、これら各領
域における移動物体信号S26,S27およびS28を出力する。
これら移動物体信号S26,S27およびS28を、フリップフロ
ップ119,120および121に、それぞれ、供給して、書込み
信号のタイミングで各領域SP,BLおよびETについての
移動物体信号S29,S30およびS31をセットする。これら信
号S29,S30およびS31にX座標値判定回路122に供給し、
ここで、各信号S29,S30およびS31が零でなく、かつその
間隔が所定の値内にあるときに、移動物体検出信号S37
を出力する。
X座標値が所定の範囲内に入っているか否かの検出は、
たとえば第18図のフローチャートに示す順序によって行
うことができる。すなわち、各領域SP,BLおよびETにつ
いて、ステップST2−ST3,ST5−ST6およびST8−ST9によ
って、それぞれのX座標XSP,XBLおよびXETを検出して
保持する。ステップST10〜ST12では、これらX座標値の
いずれか2つの差の絶対値が所定値αより小さいか否か
を検定する。いずれかのステップST10〜ST12において、
この判断が否定のときには移動物体はないと判断してス
テップST14に移る。いずれのステップST10〜ST12におい
ても判断が肯定のときのみ、移動物体ありと判断してス
テップST13に移る。
以上の処理は、各領域のX座標値が所定の範囲α内に入
っているか否かについて忠実に構成したのであるが、第
5図の例では、各領域画面の走査線の論理和をとって、
走査線を所定の幅に分割した範囲内において、各領域の
オア出力の存在を検出するように構成した。この方が構
成に簡単になる利点がある。
以上の処理はマイクロコンピュータによって実行するこ
とができるが、第5図の例では、X座標値判定回路122
において、各領域画面の走査線の論理和をとって、走査
線を所定の幅に分割した範囲内において、各領域のオア
出力の存在を検出する。
すなわち、各領域の移動物体検出信号S29,S30およびS31
を、それぞれ、オアゲート123,124および125およびトラ
イステートバッファ126を介して、オアゲート129からの
書込み信号によりメモリ128に書込む。この書込み信号
はリード/ライト信号R/と処理中を示す信号とをオア
ゲート129に供給し、R/が“0"のとき書込み信号を発
生し、R/が“1"のときに読出し信号を発生する。メモ
リ128は各領域信号について1走査線(256画素)分の信
号をストアするラインメモリである。
次の読出し信号のタイミングでメモリ128に書込まれて
いるデータが読出され、レジスタ127に入力される。レ
ジスタ127の出力をオアゲート123〜125およびフリップ
フロップ130〜132に供給する。次の読出し信号によっ
てレジスタ127のデータが次の1ラインの移動物体信号S
29,S30およびS31と共にオアゲート123〜125に供給さ
れ、各オア出力をトライステートバッファ126を介し
て、メモリ128に書込む。このようにして、メモリ128に
は、順次の走査線における各領域信号がオア出力の形態
で順次に蓄積される。
蓄積されたオア出力は、レジスタ127からフリップフロ
ップ130〜132に供給される。これらフリップフロップ13
0〜132の出力S32,S33およびS34をアンドゲート137に供
給して、走査線上において3領域共に移動物体信号の存
在する画素を示すアンド信号S35を取り出す。
以上のようにしてX座標の範囲を限定する具体例を第19
図(A)〜(D)に示す。第19図(A),(B)および
(C)に示すように、SP,BLおよびET領域の各走査線に
ついての移動物体を示す画素を検出したときに、それら
画素のレジスタ127からの出力はそれぞれ、 となり、これらレジスタ出力の論理積A・B・Cをとる
と、3領域ともに移動物体検出信号の存在する領域が第
19図(D)のように特定される。
一方、PROM135においては、スイッチ136によって1走査
線を所定の幅に分割した信号を作成する。たとえば、1
走査線(256画素)を4分割するときには、その幅を64
ビット、8分割のときには、その幅を32ビット、16分割
のときには、その幅を16ビット、32分割のときには、そ
の幅を8ビットにスイッチ136によって設定する。
PROM135の分割信号を読出し信号のタイミングでオア
ゲート134より読み出し、アンドゲート133を介してフリ
ップフロップ130〜132の各リセット端子に供給する。こ
れにより、レジスタ127からの出力は、分割信号によっ
て指示された画素の位置、すなわち分割された範囲の境
界においてリセットされる。なお、アンドゲート133に
供給される終了信号▲▼は画面の終了時に発生
し、このときすべてのフリップフロップ130〜132をリセ
ットする。
以上のようにして、各領域に移動物体検出信号が検出さ
れたとしても、そのX座標が分割された所定の走査線幅
の中に入っているときのみアンド出力S35は“1"とな
る。すなわち、S35=“1"のときのみ、移動物体検出信
号のX座標値は、所定の分割された範囲内にあることが
確かめられたことになる。
次に、総合判定回路の具体例を第23図に示す。ここで
は、第1図ないし第6図の各部分で得た検出データS7,S
9,S10,S13,S14,S16,S37,S41,S42およびS43に基づき、か
つ設置環境などを考慮して、最終的に最適な検出データ
を選択して、適当な検出データを選択して、たとえば、
夜間および環境異常の場合を除いて、総合的に移動物体
の存否についての判断を下す。
第23図において、171および172はオアゲート、173はイ
ンバータ、174はアンドゲートである。オアゲート171に
は検出信号S9,S13およびS42を供給して、これら信号の
オア出力を取り出し、そのオア出力をインバータ173を
介してアンドゲート174に供給する。オアゲート172には
検出信号S10,S14,S41およびS43を供給し、これら信号の
オア出力を取り出してアンドゲート174に供給する。ア
ンドゲート174には昼夜判別信号S7および領域判定信号S
37をも供給し、そのアンド出力を総合判定出力S45とす
る。
オアゲート171のオア出力は、地震や雷などの環境異常
に起因して、濃度総和データS9,局所面積総和データS13
または濃度分布区間和データS42のいずれかが出力され
たときには、移動物体の判定を禁止する旨を指示する。
すなわち、このオア出力が生起したときには、インバー
タ173を介して、アンドゲート174の最終判定を禁止す
る。なお、このオアゲート171に入力する環境異常の検
出データはこの例にのみ限られず、設置環境に応じて適
切な条件に設定できるものである。
オアゲート172のオア出力は、濃度総和データS10,局所
面積総和データS14,濃度分布区間和データS41および濃
度分布最大値データS43のいずれかひとつでも移動物体
を検出してときに発生する。ここで、オアゲート172に
入力する検出データはこの例にのみ限られず、設置条件
に応じて適切なデータを用いることができる。
局所変化検出信号S16、領域判定信号S37および昼夜識別
信号S7はアンドゲート174に直接加えられているので、
信号S7が“1"(昼)であり、信号S9,S13およびS42のい
ずれも“1"でない(環境異常がない状態)場合であっ
て、信号S10,S14,S41およびS43のいずれかが“1"、信号
S16が“1"(局所変化あり)、および信号S37が“1"(領
域判定による移動物体あり)になるときにのみ総合判定
出力S45を出力する。
この総合判定は、周囲環境および諸条件によって種々に
変更して実行することができるものである。たとえば、
ビデオカメラ1として夜間は高感度に切換えることがで
きるカメラを用いる場合には、信号S7はカメラ切換え制
御回路に加えられる。領域判定の必要のない場合は領域
検出回路35を省略することができる。このように、総合
判定出力を得るのに、いずれのデータを用いることが必
要であるか否かは本発明移動物体検出装置の使用状況に
応じて種々に定めることができる。
次に、長短判定回路37の構成の一例を第7図に示す。
長短判定は、前に説明したように、鳥、落ち葉等がカメ
ラの直前を横切ると視野一杯になるため、空間領域,境
界領域および地面領域の三者に移動物体が検出される状
況についての処置を行うものである。この場合には、鳥
等は素早く横切るのに対して、人間はこれに比べてゆっ
くり横切ることに着目し、横切る時間の長短によって人
間と他の移動物体とを識別する。
すなわち、第7図において、空間領域および地面領域の
サイズフィルタの出力信号S20およびS22を、それぞれ、
比較器181および182に供給すると共に、しきい値発生回
路183および184からの領域判定の場合とは異なるしきい
値TH9およびTH10をも比較器181および182に供給し、そ
の出力信号S46およびS47をアンドゲート185に供給し、
さらにフリップフロップ186を介して両信号S46とS47に
またがって検出される移動物体の信号S48を検出する。
この信号を領域検出信号S37と共にナンドゲート187に加
え、パッファゲート188を経て、前述の領域検出の条件
を入れた移動物体検出信号S49を得る。
ここで、各フィールド毎に出力される総合判定出力S45
の回数を数えることによって上記長短の判定を行う。す
なわち、カウンタ194に信号S45を供給して、信号S45の
生起するフィールドの個数をカウントする。このフィー
ルド回数を比較器193に入力する。一方、この比較器に
は加算器192からの信号S51が加えられている。加算器19
2には、フィールド回数のしきい値設定回路192からアン
ドゲート189を経てしきい値TH11および他のフィールド
回数のしきい値設定回路191からのしきい値TH12が入力
されている。
このように構成することによって、信号S50は信号S49に
よってオン,オフされるので、信号S51は信号S48の大小
判定に応じて、しきい値TH12またはTH11+TH12の値をと
り、信号S51がカウンタ194の値より大きくなれば、比較
器193から最終判定出力S52を出力する。しきい値TH12を
人間程度の大きさと速さを持つ移動物体に合せて設定し
ておけば、通常、人間に対しては信号S52は出力される
が、小さくて速い他の移動物体はカウンタ194の値がTH1
2より小さいので信号S52は出力されない。例外的に小さ
い移動物体が遅い動作をし、カウンタ194の値がTH12よ
り大きくなっても、信号S51はTH11+TH12になっている
ので誤検出をする可能性は少なくなる。このようにし
て、人間と他の移動物体を識別する確率を高めることが
できる。
なお、長短検出の必要のない環境においては、この検出
を省略し、総合判定信号S45を最終判定信号としてもよ
いことはいうまでもない。
本発明は上述した実施例にのみ限定されず、種々変更し
て実施できる。たとえば、テレビカメラ1は1台に限ら
れず、複数個所を監視対象とするために複数台のカメラ
を用い、これらカメラを所定の周期、たとえば0.2〜4
秒間隔で切り換えて画像信号を入力することもできる。
その場合には、第1図に示した基準画用のメモリ4には
対応複数画面を記憶するメモリ容量をもつものとする。
そして、このメモリ4には、カメラを順次切換えて、画
像についての演算処理を行った後に、移動物体がなけれ
ば、次の新しい画像を記憶させる。
テレビカメラ1の検出感度は、カメラの設置状況に応じ
て可変設定することができ、かつ、その状況に応じてマ
スク制御部18により所望のマスクをマスクメモリ17から
読み出して用いることができる。
昼/夜検出回路19により昼/夜の検出を行う代わりにタ
イマを用いて、所定の時刻で昼/夜の切換えを行っても
よい。あるいはまた、ビデオカメラ1として高感度カメ
ラを使用し、照度変化によって感度を自動的に切換える
ようにすることにより、使用可能な時間を大幅に延長す
ることができる。あるいはまた、夜間はビデオカメラ1
として赤外線カメラ等夜間使用可能なカメラを切換え用
いることにより、夜間においても監視業務を継続するよ
うにしてもよい。
なお、上述例では、画面を空間,境界および地面の3領
域に分割し、人間はこれら3領域に存在するものと仮定
したが、地面を匍匐して侵入する人間はこれら3領域に
存在するとは限らないので、長短判定を組合せる等の必
要が生じる。
上記のように夜間に本実施例の装置を使用するものとす
れば、月夜には月の位置によって影の位置が異なり、ま
たは照明装置を用いるとすれば、その位置によって影の
位置と形状が異なってくるので、3領域の移動物体検出
信号は昼の場合とは異なってくる。
さらに、侵入箇所を特定したい合には、画面を3つ以上
の領域に分割することも考えられる。
このように、画面の分割数および人間と他の移動物体と
の識別のアルゴリズムについても、監視対象、監視条件
および周囲環境に応じて適宜変えることが望ましい。
さらにまた、各部の比較器において、しきい値あるいは
基準値を、昼/夜あるいは季節など所望の条件に応じて
2段階あるいは多段階にプログラム設定することもでき
る。
本発明移動物体検出装置を使用するにあたっては、たと
えば、この移動物体検出装置からの総合判定出力S45、
X,Y分布データS38,S39およびX,Y座標データS44などを、
表示用メモリ3から読み出した静止画像についてのビデ
オ出力S3と共に、電話回線あるいは専用回線を介して、
中央の集中監視制御装置に送り、そこで移動物体につい
ての監視を行うこともできる。
なお、移動物体有りと判定されたとき、および環境異常
時には、警報出力を発生させ、ランプ表示やブザ鳴動な
どを行うこともできる。
[発明の効果] 以上から明らかなように、本発明によれば、三次元的な
広範囲の領域について、移動物体の有無を検出するにあ
たり、不所望の移動物体の動きは除外して、対象とする
移動物体の動きを判断し、以てその移動物体の有無を自
動的に、かつリアルタイムで、しかも人間の目で見たよ
うにして検出することができる。
しかも、その検出にあたって、一つの要因のみで移動物
体を判定するのではなく、設置状況に応じて種々に検出
データを組合せて総合的に判定を行うので、誤動作な
く、正確かつ確実に移動物体を検出することができる。
本発明では、カメラで撮影した範囲が検知域なので、検
知域の設定変更が容易である。しかも、画像のうちの不
要部分はマスクで排除できるので、検出の誤りが少な
い。
【図面の簡単な説明】
第1図はビデオカメラによって撮像して得た画像信号か
ら移動物体を検出した画像信号をモニタに映出する回路
の一実施例を示すブロック図、 第2図は本発明移動物体検出装置の一実施例を示すブロ
ック図、 第3図は第2図に示した濃度検出回路の一実施例を示す
ブロック図、 第4図は第2図に示した局所検出回路の一実施例を示す
ブロック図、 第5図は第2図に示した領域検出回路の一実施例を示す
ブロック図、 第6図は第2図に示した周辺分布検出回路の一実施例を
示すブロック図、 第7図は第2図に示した長短判定回路の一実施例を示す
ブロック図、 第8図は画像メモリの画素構成例の説明図、 第9図(A)〜(C)は差分演算例の説明図、 第10図(A)〜(C)は差分演算例の説明図、 第11図は濃度総和値としきい値との関係の説明図、 第12図(A),(B)は3×3ノイズフィルタの動作説
明図、 第13図(A),(B)はサイズフィルタの説明図、 第14図は局所変化の説明図、 第15図はノイズフィルタの具体例を示す論理回路図、 第16図はサイズフィルタの具体例を示すブロック図、 第17図は空間領域,境界領域,地面領域およびマスク領
域の境界の概念図、 第18図は移動物体検出の処理手順の一例を示すフローチ
ャート、 第19図はX座標の範囲を限定する具体例の説明図、 第20図はX,Y濃度分布回路の一例を示すブロック図、 第21図は移動区間和の説明図、 第22図は全画面の差分値分布図、 第23図は総合判定回路の一例を示す論理回路図である。 1……ビデオカメラ、 2……A/D変換器、 3……表示用静止画メモリ、 4……基準画用メモリ、 5……R/W制御部、 6……表示制御部、 7……D/A変換器、 8……ディスプレイ 11……差分回路、 12……平滑化回路、 13……輪郭強調回路、 14……アンドゲート、 15……クリップ回路、 16……基準レベル発生回路、 17……マスクメモリ、 18……マスク制御部、 19……昼/夜検出器、 20……昼レベル設定回路、 21……夜レベル設定回路、 22……濃度検出回路、 23……比較回路、 24……しきい値設定回路、 25……ノイズフィルタユニット、 26……サイズフィルタユニット、 27……局所検出回路、 28……周辺分布検出回路、 29,31,33……ノイズフィルタユニット、 30,32,34……サイズフィルタユニット、 35……領域検出回路、 36……総合判定回路、 37……長短判定回路、 41……アキュムレータ、 42……ビット変換回路、 43,44……比較器、 45……環境異常検出用しきい値設定回路、 46……移動物体検出用しきい値設定回路、 47,48……インバータ、 51……比較回路、 52……しきい値設定回路、 53〜56……ラインメモリ、 57……ノイズフィルタ、 58……感度設定器、 59……カウンタ、 60,61……比較器、 62,63……しきい値設定回路、 64,65……インバータ、 66〜69……ラインメモリ 70……サイズフィルタ、 71……比較器、 72……しきい値設定回路、 73……インバータ、 81……局所メモリ、 82〜85……オアゲート、 86……ROM、 87……設定スイッチ、 88……アンドゲート、 89……第2の局所メモリ、 90〜93……オアゲート、 94……アンドゲート、 95……局所メモリ、 96……カウンタ、 101〜103……ノイズフィルタユニット、 104〜106……感度設定回路、 107〜109……サイズフィルタユニット、 110〜112……比較器、 113〜115……しきい値設定回路、 116〜118……アンドゲート、 119〜121……フリップフロップ、 122……X座標限定回路、 123〜125……オアゲート、 126……トライステートバッファ、 127……レジスタ、 128……ラインメモリ 129……オアゲート、 130〜132……フリップフロップ、 133……アンドゲート、 134……オアゲート、 135……ROM、 136……スイッチ、 137……アンドゲート、 138……フリップフロップ、 139……インバータ、 141……X,Y濃度分布回路、 142……アドレス制御部、 143……移動区間和回路、 144……X,Y方向最大値検出回路、 145……比較器、 146……しきい値回路、 147……サイズ判定回路、 148……基準値回路、 149……インバータ 150,151……比較器、 152,153……しきい値設定回路、 154,155……インバータ、 156……最大値X,Y座標回路、 161,162……加算器、 163,164……トライステートバッファ、 165……X方向分布メモリ、 166……Y方向分布メモリ、 171,172……オアゲート、 173……インバータ、 174……アンドゲート、 181,182……比較回路、 183,184……しきい値設定回路、 185……アンドゲート、 186……フリップフロップ、 187……ナンドゲート、 188……バッファゲート、 189……アンドゲート、 190,191……しきい値設定回路、 192……加算器、 193……比較器、 194……カウンタ。
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 E

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】二次元撮像手段によって撮像したアナログ
    画像信号をデジタル画像信号に変換し、現在時点におけ
    る画像信号と所定の時間だけ前の時点における画像信号
    との濃度についての差分出力を取り出し、その濃度差分
    出力に基づいて、撮像された画像中の移動物体を検出す
    る移動物体検出装置において、 前記濃度差分出力から、当該撮像された画像中のマスク
    すべき部分を除去する手段と、 当該濃度差分出力が予め定めたしきい値を越えるときに
    濃度総和についての検出出力を発生する手段と、 前記濃度差分出力を2値化する手段と、 その2値化された出力を受けて、当該出力中の微小変化
    の部分を除去するノイズフィルタを有し、該ノイズフィ
    ルタを介して、前記2値化された出力の総和をとる手段
    と、 その総和が予め定めたしきい値を越えるときに局所面積
    についての検出出力を発生する手段と、 前記ノイズフィルタの出力を受けるサイズフィルタを有
    し、該サイズフィルタからの出力が予め定めたしきい値
    を越えるときに局所変化についての検出出力を発生する
    手段と、 前記濃度差分出力の全画面にわたっての水平および垂直
    方向の濃度分布を算出する手段と、 その水平および垂直方向の濃度分布から、画面の水平お
    よび垂直方向の走査に合わせて、所定区間の画素におけ
    る濃度階調の総和を、画素を1画素ずつ水平および垂直
    方向に移動させて移動区間和を求める手段と、 前記水平および垂直方向の濃度分布の各最大値を求める
    手段と、 当該最大値が予め定めたしきい値を越えるときに濃度分
    布最大値についての検出出力を発生する手段と、 前記濃度総和についての検出出力、前記局所面積につい
    ての検出出力、前記局所変化についての検出出力、前記
    移動区間和および前記濃度分布最大値についての検出出
    力に基づいて、前記撮像手段で撮像した画面中に移動物
    体が存在することを判定する手段と を具えたことを特徴とする移動物体検出装置。
  2. 【請求項2】特許請求の範囲第1項記載の移動物体検出
    装置において、前記濃度総和についての検出出力の発生
    手段、前記局所面積についての検出出力の発生手段、お
    よび前記濃度分布最大値についての検出出力を発生する
    手段における前記しきい値は、それぞれ、移動物体の存
    在を判定するための第1しきい値と、該第1しきい値よ
    り大きいレベルであって、当該移動物体検出装置の設置
    されている環境の異常を判定するための第2しきい値と
    を有し、前記検出出力の各々を、前記第1および第2し
    きい値とそれぞれ比較することを特徴とする移動物体検
    出装置。
  3. 【請求項3】特許請求の範囲第2項記載の移動物体検出
    装置において、前記環境の異常のときには、前記移動物
    体の判定手段の動作を禁止するようにしたことを特徴と
    する移動物体検出装置。
  4. 【請求項4】二次元撮像手段によって撮像したアナログ
    画像信号をデジタル画像信号に変換し、現在時点におけ
    る画像信号と所定の時間だけ前の時点における画像信号
    との差分出力を取り出し、その差分出力に基づいて、撮
    像された画像中の移動物体を検出する移動物体検出装置
    において、 前記撮像手段の撮像画面を複数の領域に予め分割して設
    定する手段と、 前記差分出力を2値化する手段と、 その2値化された出力から、前記複数の領域の各々に対
    して個別に定めた感度に応じて、当該2値化出力に含ま
    れる微小変化を除去する手段と、 該手段からの出力より、前記複数の領域の各々について
    の2値化出力中の局所的に変化する部分を検出する手段
    と、 該手段により検出された各領域の局所変化部分が各領域
    に対して個別に定めたしきい値を越えるときに局所変化
    についての検出出力を発生する手段と、 前記局所変化についての検出出力を前記複数の領域の各
    々に対する局所変化の検出出力に分けて抽出する手段
    と、 その抽出された局所変化の検出出力を組合せて、前記複
    数の領域のうちの所定の領域の組合せに対して移動物体
    が局所的に存在することを示す領域検出出力を発生する
    手段と を具えたことを特徴とする移動物体検出装置。
  5. 【請求項5】特許請求の範囲第4項記載の移動物体検出
    装置において、前記微小変化を除去する手段は、前記感
    度を自在に設定できるノイズフィルタであり、前記局所
    変化を検出する手段はサイズフィルタであることを特徴
    とする移動物体検出装置。
  6. 【請求項6】特許請求の範囲第4項または第5項記載の
    移動物体検出装置において、前記複数の領域を、空間、
    境界および地面領域とし、前記3領域のいずれにも局所
    変化が認められ、かつその局所変化部分の水平方向の位
    置が所定の範囲内にあるときに、検出した移動物体を人
    間と判断することを特徴とする移動物体検出装置。
  7. 【請求項7】二次元撮像手段によって撮像したアナログ
    画像信号をデジタル画像信号に変換し、現在時点におけ
    る画像信号と所定の時間だけ前の時点における画像信号
    との濃度についての差分出力を取り出し、その濃度差分
    出力に基づいて、撮像された画像中の移動物体を検出す
    る移動物体検出装置において、 前記濃度差分出力から、当該撮像された画像中のマスク
    すべき部分を除去する手段と、 当該濃度差分出力が予め定めたしきい値を越えるときに
    濃度総和についての検出出力を発生する手段と、 前記濃度差分出力を2値化する手段と、 その2値化された出力を受けて、当該出力中の微小変化
    の部分を除去するノイズフィルタを有し、該ノイズフィ
    ルタを介して、前記2値化された出力の総和をとる手段
    と、 その総和が予め定めたしきい値を越えるときに局所面積
    についての検出出力を発生する手段と、 前記ノイズフィルタの出力を受けるサイズフィルタを有
    し、該サイズフィルタからの出力が予め定めたしきい値
    を越えるときに局所変化についての検出出力を発生する
    手段と、 前記濃度差分出力の全画面にわたっての水平および垂直
    方向の濃度分布を算出する手段と、 その水平および垂直方向の濃度分布から、画面の水平お
    よび垂直方向の走査に合わせて、所定区間の画素におけ
    る濃度階調の総和を、画素を1画素ずつ水平および垂直
    方向に移動させて移動区間和を求める手段と、 前記水平および垂直方向の濃度分布の各最大値を求める
    手段と、 当該最大値が予め定めたしきい値を越えるときに濃度分
    布最大値についての検出出力を発生する手段と、 前記撮像手段の撮像画面を複数の領域に予め設定する手
    段と、 前記2値化された出力から、前記複数の領域の各々に対
    して個別に定めた感度に応じて、当該2値化出力に含ま
    れる微小変化を除去する手段と、 該手段からの出力より、前記領域の各々についての2値
    化出力中の局所的に変化する部分を検出する手段と、 該手段により検出された各領域の局所変化部分が各領域
    に対して個別に定めたしきい値を越えるときに局所変化
    についての検出出力を発生する手段と、 前記局所変化についての検出出力を前記領域の各々に対
    する局所変化の検出出力に分けて抽出する手段と、 その抽出された局所変化の検出出力を組合せて、前記領
    域のすべてに局所変化部分が存在し、かつその局所変化
    部分の一の方向における位置が所定の範囲内にあるとき
    に、移動物体が存在すると判定して、領域検出出力を発
    生する手段と、 前記濃度総和についての検出出力、前記局所面積につい
    ての検出出力、前記局所変化についての検出出力、前記
    移動区間和および前記濃度分布最大値についての検出出
    力および前記領域検出出力に基づいて、前記撮像手段で
    撮像した画面中に移動物体が存在することを判定する手
    段と を具えたことを特徴とする移動物体検出装置。
  8. 【請求項8】特許請求の範囲第7項記載の移動物体検出
    装置において、前記微小変化を除去する手段は、前記感
    度を自在に設定できるノイズフィルタであり、前記局所
    変化を検出する手段はサイズフィルタであることを特徴
    とする移動物体検出装置。
  9. 【請求項9】特許請求の範囲第7項記載の移動物体検出
    装置において、前記複数の領域を、空間、境界および地
    面領域とし、前記3領域のいずれにも局所変化が認めら
    れ、かつその局所変化部分の水平方向の位置が所定の範
    囲内にあるときに、検出した移動物体を人間と判断する
    ことを特徴とする移動物体検出装置。
  10. 【請求項10】特許請求の範囲第7項記載の移動物体検
    出装置において、前記濃度総和についての検出出力の発
    生手段、前記局所面積についての検出出力の発生手段、
    および前記濃度分布最大値についての検出出力を発生す
    る手段における前記しきい値は、それぞれ、移動物体の
    存在を判定するための第1しきい値と、該第1しきい値
    より大きいレベルであって、当該移動物体検出装置の設
    置されている環境の異常を判定するための第2しきい値
    とを有し、前記検出出力の各々を、前記第1および第2
    しきい値とそれぞれ比較することを特徴とする移動物体
    検出装置。
  11. 【請求項11】特許請求の範囲第8項ないし第10項のい
    ずれかの項に記載の移動物体検出装置において、前記環
    境の異常のときには、前記移動物体の判定手段の動作を
    禁止するようにしたことを特徴とする移動物体検出装
    置。
  12. 【請求項12】二次元撮像手段によって撮像したアナロ
    グ画像信号をデジタル画像信号に変換し、現在時点にお
    ける画像信号と所定の時間だけ前の時点における画像信
    号との濃度についての差分出力を取り出し、その濃度差
    分出力に基づいて、撮像された画像中の移動物体を検出
    する移動物体検出装置において、 検出された移動物体の移動速度を検出する手段と、 その検出された移動速度が所定のしきい値を越えるとき
    に移動速度検出出力を発生する手段と を具えたことを特徴とする移動物体検出装置。
  13. 【請求項13】特許請求の範囲第12項記載の移動物体検
    出装置において、前記移動物体が予め定めた時間内で検
    出される回数をカウントして、前記移動物体の移動速度
    を検出し、前記カウントされた回数および所定のしきい
    値を比較器に供給し、前記移動物体の移動速度が前記所
    定のしきい値を越えるときに、前記移動速度検出出力を
    発生するようにしたことを特徴とする移動物体検出装
    置。
  14. 【請求項14】特許請求の範囲第13項記載の移動物体検
    出装置において、 前記しきい値は第1および第2しきい値設定回路により
    設定される第1および第2しきい値より成り、 前記撮像手段の撮像画面を空間領域、境界領域および地
    面領域に予め設定し、該領域の各々についての画像信号
    からノイズフィルタおよびサイズフィルタを介して取り
    出した局所変化の検出出力が、前記領域のいずれにも存
    在し、かつ前記局所変化の各々の水平方向の位置が所定
    の範囲内にあるときに前記移動物体についての検出信号
    を取り出し、 該移動物体の検出信号によって前記第1および第2しき
    い値設定回路の一方を制御するようにしたことを特徴と
    する移動物体検出装置。
  15. 【請求項15】二次元撮像手段によって撮像したアナロ
    グ画像信号をデジタル画像信号に変換し、現在時点にお
    ける画像信号と所定の時間だけ前の時点における画像信
    号との濃度についての差分出力を取り出し、その濃度差
    分出力に基づいて、撮像された画像中の移動物体を検出
    する移動物体検出装置において、 前記濃度差分出力から、当該撮像された画像中のマスク
    すべき部分を除去する手段と、 当該濃度差分出力が予め定めたしきい値を越えるときに
    濃度総和についての検出出力を発生する手段と、 前記濃度差分出力を2値化する手段と、 その2値化された出力を受けて、当該出力中の微小変化
    の部分を除去するノイズフィルタを有し、該ノイズフィ
    ルタを介して、前記2値化された出力の総和をとる手段
    と、 その総和が予め定めたしきい値を越えるときに局所面積
    についての検出出力を発生する手段と、 前記ノイズフィルタの出力を受けるサイズフィルタを有
    し、該サイズフィルタからの出力が予め定めたしきい値
    を越えるときに局所変化についての検出出力を発生する
    手段と、 前記濃度差分出力の全画面にわたっての水平および垂直
    方向の濃度分布を算出する手段と、 その水平および垂直方向の濃度分布から、画面の水平お
    よび垂直方向の走査に合わせて、所定区間の画素におけ
    る濃度階調の総和を、画素を1画素ずつ水平および垂直
    方向に移動させて移動区間和を求める手段と、 前記水平および垂直方向の濃度分布の各最大値を求める
    手段と、 当該最大値が予め定めたしきい値を越えるときに濃度分
    布最大値についての検出出力を発生する手段と、 前記撮像手段の撮像画面を空間領域、境界領域および地
    面領域に予め設定する手段と、 前記2値化された出力から、前記空間領域、境界領域お
    よび地面領域の各々に対して個別に定めた感度に応じ
    て、当該2値化出力に含まれる微小変化を除去する手段
    と、 該手段からの出力より、前記領域の各々についての2値
    化出力中の局所的に変化する部分を検出する手段と、 該手段により検出された各領域の局所変化部分が各領域
    に対して個別に定めたしきい値を越えるときに局所変化
    についての検出出力を発生する手段と、 前記局所変化についての検出出力を前記領域の各々に対
    する局所変化の検出出力に分けて抽出する手段と、 その抽出された局所変化の検出出力を組合せて、前記領
    域のすべてに局所変化部分が存在し、かつその局所変化
    部分のX方向の位置が所定の範囲内にあるときに、移動
    物体が存在すると判定して、領域検出出力を発生する手
    段と、 前記濃度総和についての検出出力、前記局所面積につい
    ての検出出力、前記局所変化についての検出出力、前記
    移動区間和および前記濃度分布最大値についての検出出
    力および前記領域検出出力に基づいて、前記撮像手段で
    撮像した画面中に移動物体が存在することを判定する手
    段と、 該判定手段からの判定出力が予め定めた時間内に検出さ
    れる回数をカウントする手段と、 そのカウントした回数が所定のしきい値を越えたときに
    移動物体が存在する旨の最終判定出力を発生する手段と を具えたことを特徴とする移動物体検出装置。
  16. 【請求項16】特許請求の範囲第15項記載の移動物体検
    出装置において、前記濃度総和についての検出出力の発
    生手段、前記局所面積についての検出出力の発生手段、
    および前記濃度分布最大値についての検出出力を発生す
    る手段における前記しきい値は、それぞれ、移動物体の
    存在を判定するための第1しきい値と、該第1しきい値
    より大きいレベルであって、当該移動物体検出装置の設
    置されている環境の異常を判定するための第2しきい値
    とを有し、前記検出出力の各々を、前記第1および第2
    しきい値とそれぞれ比較することを特徴とする移動物体
    検出装置。
  17. 【請求項17】特許請求の範囲第16項記載の移動物体検
    出装置において、前記環境の異常のときには、前記移動
    物体の判定手段の動作を禁止するようにしたことを特徴
    とする移動物体検出装置。
  18. 【請求項18】特許請求の範囲第15項ないし第17項のい
    ずれかの項に記載の移動物体検出装置において、 前記しきい値は第1および第2しきい値設定回路により
    設定される第1および第2しきい値より成り、 前記領域検出出力によって前記第1および第2しきい値
    設定回路の一方を制御するようにしたことを特徴とする
    移動物体検出装置。
JP62222125A 1987-09-07 1987-09-07 移動物体検出装置 Expired - Fee Related JPH0731248B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP62222125A JPH0731248B2 (ja) 1987-09-07 1987-09-07 移動物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP62222125A JPH0731248B2 (ja) 1987-09-07 1987-09-07 移動物体検出装置

Publications (2)

Publication Number Publication Date
JPS6465486A JPS6465486A (en) 1989-03-10
JPH0731248B2 true JPH0731248B2 (ja) 1995-04-10

Family

ID=16777554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP62222125A Expired - Fee Related JPH0731248B2 (ja) 1987-09-07 1987-09-07 移動物体検出装置

Country Status (1)

Country Link
JP (1) JPH0731248B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114494B2 (ja) * 1989-10-31 1995-12-06 名古屋電機工業株式会社 移動物体検知装置
JP2667973B2 (ja) * 1991-03-01 1997-10-27 警察大学校長 移動体監視装置
JP3206584B2 (ja) 1999-02-05 2001-09-10 日本電気株式会社 画像データ処理方法及び装置
CN101617535B (zh) * 2007-03-28 2011-07-06 富士通株式会社 图像处理装置、图像处理方法
JP5318646B2 (ja) * 2009-04-17 2013-10-16 ルネサスエレクトロニクス株式会社 差分画像生成装置、差分画像生成方法、及びプログラム
JP5955201B2 (ja) * 2012-11-16 2016-07-20 大成建設株式会社 人検知センサ

Also Published As

Publication number Publication date
JPS6465486A (en) 1989-03-10

Similar Documents

Publication Publication Date Title
US4249207A (en) Perimeter surveillance system
JP3423861B2 (ja) 移動物体の監視方法および装置
EP1068588A1 (en) Method for rejection of flickering lights in an imaging system
JPH0337354B2 (ja)
WO1998028706B1 (en) Low false alarm rate video security system using object classification
JP2923652B2 (ja) 監視システム
JP3377659B2 (ja) 物体検出装置及び物体検出方法
JPH0731248B2 (ja) 移動物体検出装置
JP4740755B2 (ja) 画像を用いた監視装置
JP2001043383A (ja) 画像監視システム
JPH0620049A (ja) 侵入者識別システム
JP2000137877A (ja) 火災検出装置
JPH0514891A (ja) 画像監視装置
JP2667973B2 (ja) 移動体監視装置
JPH05300516A (ja) 動画処理装置
JP3536913B2 (ja) 落下物検知システム、落下物検知方法および記録媒体
JP3690695B2 (ja) 火災検出装置
JP2503613B2 (ja) 異常監視装置
Freer et al. Automatic video surveillance with intelligent scene monitoring and intruder detection
JP2005101807A (ja) 屋外監視装置および屋外監視方法
CN114998752B (zh) 地质灾害的识别方法、装置、设备及存储介质
JP2000268173A (ja) 物体認識画像処理方法
JP3091356B2 (ja) 移動体検出方法および装置
JP2828345B2 (ja) 侵入者監視システム
JP3490196B2 (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees