JP5325899B2 - 侵入警報ビデオ処理装置 - Google Patents
侵入警報ビデオ処理装置 Download PDFInfo
- Publication number
- JP5325899B2 JP5325899B2 JP2010547509A JP2010547509A JP5325899B2 JP 5325899 B2 JP5325899 B2 JP 5325899B2 JP 2010547509 A JP2010547509 A JP 2010547509A JP 2010547509 A JP2010547509 A JP 2010547509A JP 5325899 B2 JP5325899 B2 JP 5325899B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- zone
- pixel
- processing
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
また、フーリエメリン変換やガボールフィルタをスケール不変値として用い、それらを辞書と比較して物体認識するものが知られる(非特許文献2及び3参照)。
また、画像にガウスフィルタを多段階に適用し、それらの差分画像群(ラプラシアンピラミッド)を作成するもの(特許文献2参照)や、その画像群の極大値からキーポイント等のスケール不変特徴量を抽出するSIFT(Scale-invariant feature transform)(非特許文献5参照)が知られる。
その後、二値化画像から初期検出のゾーンを形成して、空間的なフィルタ処理を行う。空間的なフィルタ処理は、スケルトン解析処理、オブジェクトマスク処理、モフォロジー演算処理、セクション解析処理の少なくとも1つを含み、スケルトン処理は、二値化画像に対する細線化処理ないしは骨格処理によって初期検出ゾーンの形状情報を得る処理と、形状情報から主要な軸を抽出する処理と、抽出された軸から物体の軸を抽出する処理とを含む。
追跡ゾーンは、その存在位置や大きさ、重心、画像の輪郭特徴、モーメントなどの特徴情報に基づく追跡方法、あるいは、各時刻で得られた二値化画像を時間的に配置した二値化時空間データからHough変換などに代表される線成分抽出手法に基づく追跡方法の少なくとも1つの方法によって、注目する追跡ゾーンの時間的な位置変化を追跡する。追跡された結果は、平滑化フィルタ、移動平均フィルタ、カルマンフィルタの少なくとも1つのフィルタが施され算出した位置変化から雑音に起因する成分が削減される。
以上のような侵入警報ビデオ処理装置のほか、構成要素の一部を他の公知技術で置換したものも本発明に含まれうる。
主要目標の実現のためには、まず始めに、本発明の実施形態に係る侵入警報ビデオ処理装置の動作の一般的なロジックを決定する必要がある。
従来の問題を解決するために、観測された環境変化の評価と予測のレベルにおけるデータ解析が必要である。このような解析結果に応じて、観測された状況は、警報すべきもの(脅威となるもの)として評価される。(予測も考慮に入れた)状況の危険度に依存して、1つあるいはその他のいずれかのビデオ監視システムの応答が形成されるであろう。このシステムの特徴は、システムの応答を人間のオペレータと同じものにすることである。
そして、本システムの複合機能は、以下の4つの主なステージに分けることができる:
1) 調整
2) 初期の検出(予検出)
3) 検出オブジェクトを考慮した上での状況の解析
4) 警報とメタデータの解析。
「調整」は、以下の項目を含む:
1) アルゴリズムの調整(ビデオデータ処理のパラメータ設定)
2) カメラ設定調整(カメラ設定パラメータの設定・調節)
3) ゾーン調整(監視シーンに応じた異なる“注目ゾーン”の選択と指定)。
1) 初期検出オブジェクトのサイズの評価
2) 初期検出オブジェクトの形状の評価
3) 初期検出オブジェクトの“背景との照合”値の評価(1画素の輝度値の処理ではなく、検出オブジェクトに対応する画素全体の特性についての処理を行う)
4) 初期検出オブジェクトのライフタイムの評価
5) 初期検出オブジェクトの速度の評価。
1) 多角形エリア
2) 円柱エリア
3) 垂直平面エリア。
各ゾーンには、それぞれ個別の危険度を設定できる。
現在フレーム(画像):現処理サイクルにおいて、映像入力から得た1コマの画像。
背景フレーム(画像):画像フレーム内の各画素の輝度値を逐次平均(平滑)化した画像。これらの算出は、低周波時間フィルタ106a(後述)によって行われる。
標準偏差フレーム:画像フレーム内の各画素の輝度値分散を逐次平均(平滑)化した画像。これらの算出は、低周波時間フィルタ106b(後述)によって行われる。
差分フレーム(画像):現在フレームと背景フレームとの画像差分の結果画像。
二値化フレーム(画像):差分画像フレームを二値化した結果画像で、差分フレームと標準偏差フレームとを画素毎に比較して得る。
前景画素:現在フレーム内の画素であって、二値画像フレームにおいて非ゼロゾーン(0以上の画素値を持つゾーン)に含まれる画素。
背景画素:現在フレーム内の画素であって、二値画像フレームにおいてゼロゾーン(0の画素値を持つゾーン)に含まれる画素。
なお、フレームは1画像を構成する単位であるが、画像と同義で用いる場合がある。
ステップ106では、用意された現在の画像と1フレーム遅延画像とを用いて、2種類の低域通過フィルタが行われる。本実施例では、背景画像は、未知の平均および標準偏差を有する確率過程としてモデル化される。時間領域低域通過フィルタは、それらのモーメントを評価(推定)するために用いられる。
低域通過フィルタ106aは、各画素の平均値の評価を定常的に更新する。移動平均は、(下式のように)新しいフレームが入力されるたびに算出される。
推定標準偏差σは、平方根の計算を避けるため、実際にはσ2(つまり分散)としてメモリ上に保存され、二値化処理まで自乗値のまま扱われる。
ステップ110では、初期オブジェクトマスクにモフォロジ演算(Morphological Operations)を施す。モフォロジ演算には、画像を所定範囲でずらしながら論理和を求めるdilation(ずらし重ね)と、論理積を求めるerosion(掻き取り)と、dilation後にerosionをするopening処理と、erosion後にdilationをするclosing処理の、4つの基本操作がある。Openingには、近接する“255”(True)の画素を繋ぎ合わせる効果があり、closingには、点状の“255”(True)画素を除去する効果があり、本例ではどちらかを用いる。
初期オブジェクトマスクにおいて、真値の連結領域の中に偽値の穴が生じる場合が、モフォロジ演算では十分に取り除けない。そのため、周りを真値に囲まれた偽値領域を検出して、その領域を真値で埋める穴埋め処理を行ってもよい。
X,Y,Z:シーン座標系(ワールド座標系)。X−Y平面は床面(地面)に平行で、そのレベルは例えば0.5〜0.7m。
X',Y',Z':カメラ座標系。X',Y'軸は対象とする焦点面に平行で、X'はX軸に平行であり、Z'はカメラの光軸に等しい。
Xs,Ys:画像(スクリーン)座標。X'−Y'平面に相似であるが、単位はメートルではなく、ピクセル。
図4は、併合の結果を示している。細い線の矩形は、一体に併合された分割ゾーンを表している。検出物体の高い部分だけが、併合処理を通過することが理解できる。
ある追跡ゾーンにおいて、最大一致度が値“Trace zone correlation coef”より大きい場合、探索範囲内の算出された追跡ゾーンの位置は、追跡ゾーンの新しい位置として配列Traceを更新する。もし、フレーム数iMissedFrameCntの間、最大一致度が値“Trace zone correlation coef”より小さい場合、その追跡ゾーンは、配列Trace(および配列Merge)から削除される。
ステップ120、121の処理は、ゾーンが大きくなるに従い、計算量が急激に増加する。そのため、ゾーンサイズに上限を設け、切り出した画像をこの上限を越えないように縮小するとよい。ステップ121の後、配列Mergeはメモリ上から開放される。
第1に、クラスタは、それぞれ近傍に存在する追跡ゾーンのグループを包含する矩形領域として、作成される。クラスタにまとめられる追跡ゾーン同士の最大許容間隔は、Clustering factorで表わされ、例えば5ピクセルである。
第2に、現在と前回の処理サイクルで作成されたクラスタ(Cluster及びClustPre、以降、現クラスタ,前クラスタと呼ぶ)の連結処理を行い、以下の配列を作成する。
MinT0Cur:ある現クラスタCluster[i]と交差し、最小のT0(検出時刻)値を持つ、前クラスタを示す。
CrQPre:ある前クラスタClustPre[j]と交差する、現クラスタの数。
CrQCur:ある現クラスタCluster[i]と交差する、前クラスタの数。
・もし、ある前クラスタとある現クラスタが互いに唯一交差する場合、前クラスタのIDとT0および検出位置を現クラスタに継承する。
・もし、ある現クラスタが一つ以上の前クラスタと交差する場合、この現クラスタには、新しいIDを付与し、もっとも小さな値T0を持つ前クラスタのT0を継承し、検出位置として現クラスタの位置を採用する。
・もし、ある現クラスタがいかなる前クラスタとも交差しない場合、この現クラスタには、新しいIDを付与し、T0として現在の時刻を付与し、検出位置として現クラスタの位置を採用する。
第5に、現クラスタの配列Clusterを、前クラスタの配列ClustPreに上書き保存する。
決定ルールには、例えば下記のものがある。
オブジェクトが車両として検出され、“車両立入禁止”警戒区域(人のみの立ち入りが許可された区域)に存在した場合、そのオブジェクトは違反物体と判断される。
[決定ルール名:車両限定区域内の人]
オブジェクトが人として検出され、“車両限定”警戒区域に存在した場合、そのオブジェクトは違反物体と判断される。
[決定ルール名:Uターン]
すべての処理フレームにおいて、オブジェクトの軌跡の位置と、現在のオブジェクトの位置との距離を算出しており、この距離が前処理フレームの距離よりも小さくなったらそのオブジェクトの“Uターンカウンタ”を増加させ、この距離が大きくなったらカウンタを減少させる。カウンタの値がしきい値(“オブジェクトは、しきい値の処理フレームの間、ほとんど止まっている”)を超えた場合、そのオブジェクトは、Uターン動作をしていると判断される。より好適には、軌跡には、平滑化フィルタ、移動平均フィルタ、カルマンフィルタ等を適用したものを用い、0.数秒ないし数秒程度の時間周期で速度ベクトルの反転を判断する。
[決定ルール名:固定タイムゾーン]
固定タイムゾーンの内部でオブジェクトが検出された場合、オブジェクトのタイムゾーンカウンタk3が増加する。オブジェクトのタイムゾーンカウンタは、絶対に減少しない。カウンタがしきい値k3maxより大きくなった場合、オブジェクトは車両の近くで長い間留まっていると判断され、警報を鳴らす。
[決定ルール名:車両停車(一時タイムゾーン)]
オブジェクトが車両として検出され、さらに停止として検出された場合、オブジェクトの周りに一時タイムゾーンを生成する(オブジェクトクラスタの外周を、上下左右方向にオブジェクトサイズの半分の量だけ拡大する)。タイムゾーンでは、車両が背景になるまでに少しの時間を要する(この期間を、タイムゾーン適応期間と呼ぶ)。その後、ゾーンが有効になり、判定動作が開始される。タイムゾーン内でオブジェクトが人として検出した場合、オブジェクトのタイムゾーンカウンタk3が増加する。オブジェクトのタイムゾーンカウンタは、絶対に減少しない。カウンタがしきい値k3maxより大きくなった場合、オブジェクトは停止車両の近くで長い間留まっていると判断され、警報を鳴らす。もし、タイムゾーンの内側で車両が検出された場合、タイムゾーン除去処理が開始される。ゾーン中の背景が更新するまでしばらく時間がかかる。この期間、このタイムゾーンの内部では警報を発報しない。“復帰のための適応期間”が終了するとタイムゾーンは削除される
停止/低速移動オブジェクトの速度がしきい値を下回っている処理フレームでは、低速移動カウンタk2を増加させる。オブジェクトの速度がしきい値を上回っている処理フレームでは、低速移動カウンタを減少させる。カウンタの値がしきい値(“オブジェクトは、しきい値の処理フレームの間、ほとんど止まっている”)を超えた場合、オブジェクトは停止したと判断される。
[決定ルール名:置き去り/持ち去られた物体]
オブジェクトの分裂が検出(前処理フレームでは1つのオブジェクトだったものが、その位置で2つ以上に観測される)された場合、これらのオブジェクトのすべての“Split flag”(分裂フラグ)をオンにする。もし、オブジェクトの一つが停止したと判断され、分裂フラグがオンの場合、このオブジェクトは、“置き去りにされた、あるいは持ち去られたオブジェクト”として判断される。
品質を高めるために、S(x,y,n)のすべての画素に対して1×3のANDオペレータを使用し、S*(x,y,n)を得る。
本実施例では、画像Aとして、ステップ117で得られた予検出ゾーン(外接矩形)で切り出した2値化画像を用いる。
図5Eは、図5Dにおいて短い細線を整理(削除)し、残った基本的な細線を幅の一定な2つの帯で近似した結果であり、帯の連結境界の示してある。この帯により人とその影の基本軸を決定でき、それらの鉛直方向に対する角度が求められる。もし帯の一方の角度がほぼ0(鉛直に近い)で、他方の角度が所定の範囲内のときには、その他方は影であると判断する。連結境界で区切られた影側の2値化画像を偽値で塗りつぶすことで、図5Fのような人だけが取り出された画像が得られる。
オブジェクトマスクが修正された後は、実施例1同様にステップ120以降の処理を続けることができる。
本例において、予検出ゾーンは、物体の初期検出による二値化画像中のオブジェクト候補を内包する、水平又は垂直な辺からなる長方形の領域であり、以下DZと称す。DZにおける領域分割処理の目的は、「純粋な」オブジェクトの画素、すなわち、認識画像として背景の画素を伴わないオブジェクト画像を表現することである。数学的に、DZにおける画像の行列は、DZのオブジェクト領域分割処理の入力となり、背景を伴わないDZのオブジェクト画像の行列は、オブジェクト領域分割処理の出力となる。画像の行列は、一般に、原画像におけるDZ内の画素の行列に対応する、RGB成分からなる画素の3次元ベクトルの行列になる。
1) DZにおけるオブジェクト検出された部分画像とオブジェクトが存在しない画像(背景画像)の差分分析方式
2) 明るさ,色,テクスチャなどによる部分画像の抽出方式
3) 領域分割および影切り取り方式
ステップ201として、対象とするDZに背景(正確には、ステップ202〜206で分離可能な背景)が含まれるかどうか判断する。背景が含まれていない場合、ステップ202〜206は無意味なので、ステップ207に遷移する。
CD処理は、原画像の各画素を、その画素の周囲2〜3またはそれ以上の画素を含めた類似の画素からなる正方部分画像へ変換する処理からなる。この処理は、DZをできる限り小さいサイズにするのに役立つ。
CD処理にメディアン処理(CDの前に実行)と低周波フィルタ(CDの後に実行)とを組み合わせて使用すると、DZにおける画像の引き伸ばしと、ある度合への小さく低画質の画像の復元が同時に行える。これらの処理は、各DZにおいて、現在の画像フレームと,背景画像(基準画像)フレームのそれぞれに対して同時に実行される。
それにはまず、ArMのみの反転画像を作成する。
次に、作成した反転画像からDZの境界に隣接していない連結領域を抽出する。その領域が穴であるので、その領域を“真”で塗りつぶすことによりArMを修正する。
ステップ208として、色による領域分割をステップ205同様に行う。
ステップ209として、DZを数ピクセル四方のブロックに分割してブロック毎のテクスチャ値を算出し、それを用いてグループ分けすることで領域を形成する。
ステップ210として、ステップ205〜207の領域分割の組み合わせから、所定の規則で複数の有効領域の候補を作成する。
ステップ211として、複数の有効領域の候補から、所定の尺度(例えば領域の大きさ)で有効領域を1つ抽出する。
ステップ213として、修正さえたオブジェクトマスクを現在画像に適用して、オブジェクトのみの画像配列を得る。
(1) 本実施例の機器構成
画像処理装置の構成を図9に示す。監視装置は、撮像装置501と、映像入力回路502と、画像処理プロセッサ503と、プログラムメモリ504と、ワークメモリ505と、外部I/F回路506と、映像出力回路507と、データバス508と、指示装置509と、表示装置510を有している。
本実施例における監視条件の一例を図7、図8に示す。図7は、車両の走行速度,走行方向の違反を監視するためのスクリプトであり、所定速度以下で、所定方向に進む場合は許可され(警報を発報する対象ではない、監視すべき物体ではない)、それ以外は禁止される(発報の対象となる、監視すべき物体である)。図8は、スクリプト形式で指定された監視条件が、画像処理プロセッサ503において、字句解析される中間スクリプトを示している。中間スクリプト中「:=」は定義を表す演算子であり、「:=」の左側(左辺値)は対象とする定義、「:=」の右側(右辺値)は定義の条件である。また、「=」は比較を表す演算子であり、「=」の左辺値は物体の情報、「=」の右辺値はユーザが設定する条件値である。
図10は判定テーブルの例である。本発明において、判定条件は、複数の条件の組み合わせによって構成されるため、図10に示すような判定テーブルを用いて検出された物体が監視条件に合致するかを判断する。ここで、説明を簡潔にするために、検出された物体の幅と高さの2つの情報により判定テーブルを作成し、検出された物体(一例として、幅3m,高さ1.5mの物体)が条件401に合致するか否か、すなわち検出された物体が、[CAR]と判断できるかを示す。まず、図8において、条件401の高さに関する条件は、[WIDTH]=[2m以上]かつ[WIDTH]=[5m未満]であるため、判定テーブルの[WIDTH]の軸、すなわち横軸を5等分し、それぞれ[2m未満],[2m],[5m未満],[5m],[5m超]トラベル付けする。ここで、5つのラベルにしたのは、[WIDTH]の条件が、[2m以上]かつ[5m未満]という2つの条件値から成り立っており、「以上」や「未満」を区分するための境界部分を含めるためである。また、[WIDTH]=[2m以上]という一つの条件値でよい場合は、3つの区分になる。したがって、区分の最大値は、条件値の2倍に1を加えた数となる。次に、この条件に合致する部分に1(例えば、記号603),合致しない部分に-1(例えば、記号602)を埋めていく。これを、[HEIGHT]の軸に対しても行うと、図10に示した判定テーブル601になる。次に、前記検出された物体は、幅3m,高さ1.5mであるため、この判定テーブルによれば、記号603で示されるように1となり、条件に合致すると判断できる。条件の数が増えた場合でも、この判定テーブルの軸の数、各軸の区分数を変化させればよく、事実上、ワークメモリに記憶できる大きさのデータ数まで対応できるようになる。また、この方法では、-1乃至は1といった値によって、条件に合致するか否かを表現しているが、それ以外の値(例えば0など)によって判定を行わない条件(Don't care)を示すようにしてもよい。
(特殊な監視条件を構成しておき、ネットワークを介してダウンロードできるようにすれば、各種監視環境に柔軟に対応したサービスが実現でき、ビジネスモデルの構築も可能となる。)
実施例6の機器構成、基本動作は実施例5と同じである。
(2) 本実施例での監視領域の設定
監視領域1301は、シーン座標系(地面に平行で地図に相似する第二の座標系)上で、監視を所望する領域の地図上の情報を、指示装置を用いて指示する(図12)。監視を所望する領域の高さ情報は、数値などによって与える。高さ情報はシーン座標系のz軸座標に相当するため(xy平面が高さ0の場合)、見かけの高さによらない実際の値(2メートル, 3フィートなど)で与えることが可能である。
監視領域1301の指示は、入力画像などのカメラ座標系に、直接実施してもよい(図11)。監視を所望する領域の高さは、事前にプリセットされていてもよい。監視領域は、多角形の他、円や直線で指示してもよく、円柱型や球状、垂直平面などの様々な図形を用いて処理領域を指定できる。
カメラ座標系での位置(x',y')をシーン座標系での位置(x,y)に変換する。
シーン座標系は地図に相似であるので、シーン座標系の原点Oがカメラの位置である場合、カメラと監視領域上の点との距離は、
対象物体の上辺のカメラ座標 (x'_head, y'_head)
対象物体の下辺のカメラ座標 (x'_legs, y'_legs) とする。
まず、カメラの設置条件を用いてシーン座標への変換式によって、以下を算出する。
対象物体の上辺のシーン座標 (x_head, y_head) 上辺を撮像する俯角 θy_head
対象物体の下辺のシーン座標 (x_legs, y_legs) 下辺を撮像する俯角 θy_legs
回転角θx = θx_head = θx_legs
カメラと対象物体下辺の距離
図14より、対象物体の高さHeightは、幾何学的に次の式で計算できる。
Height = (D_head - D_legs)/ tan(90°- θy_head) …(1-1)
(5) シーン座標系に変換して見かけの高さを算出する方法
監視領域上の点(x_legs, y_legs)における高さHeightの情報が、シーン座標上でどの位置(x_head, y_head)に現れるか[見かけの高さ]を算出する(つまり(4)の逆算)。
θy_headは、撮像装置の設置高さHを利用して、次のように表現できる。
tan(θy_head) = (H - Height) / D_legs …(1-2)
[ tan(90 - θy_head) = D_legs / (H - Height) ]
(1-1)式を変形して、(1-2)を代入する。
D_head = (Height・D_legs) / (H - Height) + D_legs
従って、監視領域の上辺の座標(x_head, y_head)は、以下のように算出できる。
x_head = D_head・cos(θx)
y_head = - D_head・sin(θx)
また、カメラ座標(x'_head, y'_head)も座標変換により算出でき、カメラ座標上での見かけの高さについても容易に表現できる。
(2)で指示した監視領域1301の各座標と、監視領域の高さ情報より、それぞれの見かけの高さを算出する。見かけの高さが占める各座標と、指示した監視領域が占める各座標を処理領域とする事で、監視領域1301の高さを考慮した立体的な処理領域1401を作成する事が出来る(図13)。
(地図上の)監視領域を設定することで、自動的に監視領域の高さを考慮した立体的な処理領域が設定できるため、見かけの大きさによらない簡単な領域設定を実現できる。また、入力画像中に映る物体の高さを実際に測量することによる領域設定が不要なため、設定の煩雑さが軽減される。
また、シーン座標系で監視領域を設定する事が可能で、地図上の座標を領域設定にそのまま利用できることや、複数監視装置間での監視領域の共有など、先願と組み合わせた効率的な領域設定及び侵入者監視が可能となる。
502 映像入力回路
503 画像処理プロセッサ
504 プログラムメモリ
505 ワークメモリ
506 外部I/F回路
507 映像出力回路
508 データバス
509 指示装置
510 表示装置
Claims (4)
- 動画像から物体を検出する物体検出方法であって、
画像の画素毎に、該画素の時間平均値を算出するステップと、
画像の画素毎に、該画素の時間領域での分散または標準偏差を、画素毎に可変の時定数を用いて算出するステップと、
画像の画素毎に、前記分散または標準偏差の時間領域での極大値を算出するステップと、
画像の画素毎に、前記極大値に所定の係数を乗じた値に基づくしきい値で、差分の画像を二値化するステップと、
前記二値化された画像をラベリング処理し、見つかった複数の連結領域をそれぞれ予検出ゾーンとするステップと、
画像の画素毎に、当該画素が背景もしくは物体のいずれに分類されるかに応じて、前記可変の時定数を制御するステップと、
複数の前記予検出ゾーンの実空間における幾何学的属性を計算し、該幾何学的属性に基づいて前記予検出ゾーンをスクリーニングするステップと、
前記二値化された画像もしくは該二値化から派生した画像に、スケルトン解析処理、オブジェクトマスク処理、モフォロジー演算処理、セクション解析処理の少なくとも1つを含む空間フィルタを施すステップと、
前記空間フィルタ或いはスクリーニングを通過した予検出ゾーンを追跡ゾーンとし、記憶された過去の追跡ゾーンとの一致度に応じて該記録された追跡ゾーンを更新するか、或いは、時空間における線成分抽出することによって、注目する追跡ゾーンの時間的な位置変化を追跡するステップと、
近傍に存在する追跡ゾーンを所定の規則でクラスタにまとめるステップと、
実空間におけるクラスタのサイズ、もしくは予め定めた監視領域又は他のクラスタとの相対位置の変位の少なくとも1つを既定する複数の条件に基づいて、該クラスタを判別するステップと、
を有する物体検出方法。 - 請求項1に記載の物体検出方法において、前記判別するステップは、前記予め定めた監視領域を用いるものであって、予め定めた監視領域は、地面に平行な2つの直交軸を有する座標系を用いて、該地面に垂直な多角柱、円柱、若しくは平面領域のいずれかで定義することを特徴とする物体検出方法。
- 請求項1に記載の物体検出方法において、前記スケルトン解析処理は、前記二値化画像に対する細線化処理ないしは骨格処理によって予検出ゾーンの形状情報を得るステップと、形状情報から主要な軸を抽出するステップと、抽出された軸から影の軸を除去し、物体の軸を抽出するステップとを有する物体検出方法。
- 請求項1に記載の物体検出方法において、
スクリプト形式で記述される前記複数の条件を、それぞれの条件に優先順位及び検出の禁止又は許可を指定可能な監視条件スクリプトとして入力するステップと、
該監視条件スクリプトの論理を解析して判定テーブルを生成するステップと、
を更に備え、
前記判別するステップは、条件に割り当てた優先順位に従って該物体の前記情報が監視条件に合致するか否かを判定することを特徴とする物体検出方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2009102124/08A RU2484531C2 (ru) | 2009-01-22 | 2009-01-22 | Устройство обработки видеоинформации системы охранной сигнализации |
RU2009102124 | 2009-01-22 | ||
PCT/JP2010/050680 WO2010084902A1 (ja) | 2009-01-22 | 2010-01-21 | 侵入警報ビデオ処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010084902A1 JPWO2010084902A1 (ja) | 2012-07-19 |
JP5325899B2 true JP5325899B2 (ja) | 2013-10-23 |
Family
ID=42355954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010547509A Active JP5325899B2 (ja) | 2009-01-22 | 2010-01-21 | 侵入警報ビデオ処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8189049B2 (ja) |
JP (1) | JP5325899B2 (ja) |
RU (1) | RU2484531C2 (ja) |
WO (1) | WO2010084902A1 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5235718B2 (ja) * | 2009-02-27 | 2013-07-10 | 株式会社日立製作所 | 映像監視システム |
JP5218168B2 (ja) * | 2009-03-11 | 2013-06-26 | ソニー株式会社 | 撮像装置、動体検知方法、動体検知回路、プログラム、及び監視システム |
US8438175B2 (en) * | 2010-03-17 | 2013-05-07 | Lighthaus Logic Inc. | Systems, methods and articles for video analysis reporting |
JP2011214933A (ja) * | 2010-03-31 | 2011-10-27 | Kawasaki Heavy Ind Ltd | 軌道用距離画像取得システム |
US10395125B2 (en) | 2016-10-06 | 2019-08-27 | Smr Patents S.A.R.L. | Object detection and classification with fourier fans |
US20110316697A1 (en) * | 2010-06-29 | 2011-12-29 | General Electric Company | System and method for monitoring an entity within an area |
US8423599B2 (en) * | 2010-08-19 | 2013-04-16 | Chip Goal Electronics Corporation, Roc | Locus smoothing method |
US8971632B2 (en) * | 2010-08-19 | 2015-03-03 | Sharp Laboratories Of America, Inc. | System for feature detection for low contrast images |
JP5719141B2 (ja) * | 2010-10-28 | 2015-05-13 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
US8675090B2 (en) * | 2010-12-15 | 2014-03-18 | Panasonic Corporation | Image generating apparatus, image generating method, and recording medium |
TWI419082B (zh) * | 2010-12-20 | 2013-12-11 | Ind Tech Res Inst | 偵測視訊序列中的移動物體影像的方法以及影像處理系統 |
US8363897B2 (en) * | 2011-03-15 | 2013-01-29 | Victor Gorelik | Method for detection of moving object of approximately known size in conditions of low signal-to-noise ratio |
US11632520B2 (en) * | 2011-11-14 | 2023-04-18 | Aaron Chien | LED light has built-in camera-assembly to capture colorful digital-data under dark environment |
TWI530913B (zh) * | 2012-04-25 | 2016-04-21 | 鴻海精密工業股份有限公司 | 移動物體偵測系統及方法 |
CN102722700A (zh) * | 2012-05-17 | 2012-10-10 | 浙江工商大学 | 视频监控中遗留物品检测的方法和系统 |
US20130335579A1 (en) * | 2012-06-15 | 2013-12-19 | Palo Alto Research Center Incorporated | Detection of camera misalignment |
CN102930541B (zh) * | 2012-10-29 | 2015-06-24 | 深圳市开天源自动化工程有限公司 | 视频图像的背景提取及更新方法 |
CN104240222A (zh) * | 2013-06-19 | 2014-12-24 | 贺江涛 | 一种消防通道堵塞的智能检测方法与装置 |
JP5506989B1 (ja) * | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
CN103914830B (zh) * | 2014-02-22 | 2017-02-01 | 小米科技有限责任公司 | 直线检测方法和装置 |
US9693042B2 (en) * | 2014-06-10 | 2017-06-27 | Bitanimate, Inc. | Foreground and background detection in a video |
CN104200236B (zh) * | 2014-08-22 | 2018-10-26 | 浙江生辉照明有限公司 | 基于dpm的快速目标检测方法 |
US9251568B1 (en) * | 2014-08-29 | 2016-02-02 | Konica Minolta Laboratory U.S.A., Inc. | Pseudo-skeleton based image enhancement for document image reproduction |
US9460522B2 (en) * | 2014-10-29 | 2016-10-04 | Behavioral Recognition Systems, Inc. | Incremental update for background model thresholds |
US9471844B2 (en) | 2014-10-29 | 2016-10-18 | Behavioral Recognition Systems, Inc. | Dynamic absorption window for foreground background detector |
US9349054B1 (en) | 2014-10-29 | 2016-05-24 | Behavioral Recognition Systems, Inc. | Foreground detector for video analytics system |
US9805662B2 (en) * | 2015-03-23 | 2017-10-31 | Intel Corporation | Content adaptive backlight power saving technology |
CN104881643B (zh) * | 2015-05-22 | 2018-06-12 | 深圳市赛为智能股份有限公司 | 一种快速的遗留物检测方法及系统 |
JP7103624B2 (ja) * | 2015-11-06 | 2022-07-20 | 日本電気株式会社 | データ処理装置、データ処理方法、及び、プログラム |
CN105654094B (zh) * | 2015-11-25 | 2019-11-29 | 小米科技有限责任公司 | 特征提取方法及装置 |
US10139281B2 (en) | 2015-12-04 | 2018-11-27 | Amazon Technologies, Inc. | Motion detection for A/V recording and communication devices |
US10325625B2 (en) | 2015-12-04 | 2019-06-18 | Amazon Technologies, Inc. | Motion detection for A/V recording and communication devices |
EP3179406B1 (en) * | 2015-12-11 | 2017-11-22 | Axis AB | Method for increasing reliability in monitoring systems |
JP6570731B2 (ja) * | 2016-03-18 | 2019-09-04 | シェンチェン ユニバーシティー | 乗客の混雑度の算出方法及びそのシステム |
CN107221133B (zh) * | 2016-03-22 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种区域监控报警系统及报警方法 |
US10685542B2 (en) * | 2016-04-26 | 2020-06-16 | Sensormatic Electronics, LLC | System and method for monitoring a premises based on parsed codec data |
CN106204633B (zh) * | 2016-06-22 | 2020-02-07 | 广州市保伦电子有限公司 | 一种基于计算机视觉的学生跟踪方法和装置 |
CN106483129B (zh) * | 2016-09-23 | 2019-06-21 | 电子科技大学 | 一种基于运动目标识别的白带滴虫自动检测的方法 |
US11400860B2 (en) | 2016-10-06 | 2022-08-02 | SMR Patents S.à.r.l. | CMS systems and processing methods for vehicles |
JP2018092495A (ja) * | 2016-12-07 | 2018-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像センサ |
JP2018092494A (ja) * | 2016-12-07 | 2018-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像センサ |
JP6336693B1 (ja) | 2016-12-09 | 2018-06-06 | 株式会社日立国際電気 | 水上侵入検知システムおよびその方法 |
CN106846443A (zh) * | 2017-01-05 | 2017-06-13 | 福建天泉教育科技有限公司 | 一种碰撞检测方法及系统 |
US10553091B2 (en) * | 2017-03-31 | 2020-02-04 | Qualcomm Incorporated | Methods and systems for shape adaptation for merged objects in video analytics |
RU2688735C2 (ru) * | 2017-09-04 | 2019-05-22 | ООО "Ай Ти Ви групп" | Устройство и способ управления системой видеонаблюдения в реальном времени в режиме фиксации тревожных событий |
CN109785347A (zh) * | 2018-04-27 | 2019-05-21 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理系统及存储介质 |
RU2693267C1 (ru) * | 2018-10-23 | 2019-07-01 | Акционерное общество Научно-производственное предприятие "Авиационная и Морская Электроника" | Способ распознавания объектов на изображении |
KR102194499B1 (ko) * | 2019-01-18 | 2020-12-23 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법 |
CN113379987B (zh) * | 2020-02-25 | 2022-10-21 | 北京君正集成电路股份有限公司 | 一种看护电子围栏模块的设计方法 |
CN113379984B (zh) * | 2020-02-25 | 2022-09-23 | 北京君正集成电路股份有限公司 | 一种电子看护围栏系统 |
CN113379985B (zh) * | 2020-02-25 | 2022-09-27 | 北京君正集成电路股份有限公司 | 一种看护电子围栏报警装置 |
CN111402301B (zh) * | 2020-03-17 | 2023-06-13 | 浙江大华技术股份有限公司 | 积水检测方法及装置、存储介质及电子装置 |
US11978247B2 (en) | 2020-11-12 | 2024-05-07 | Objectvideo Labs, Llc | Adversarial masks for scene-customized false detection removal |
CN113554008B (zh) * | 2021-09-18 | 2021-12-31 | 深圳市安软慧视科技有限公司 | 静态物体区域内检测方法、装置、电子设备及存储介质 |
CN117082217A (zh) * | 2023-10-17 | 2023-11-17 | 北京比格凯特科技有限公司 | 一种基于Jetson平台的智能视频监控系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044859A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 動き追跡装置及び人物追跡方法 |
JP2004227527A (ja) * | 2003-01-27 | 2004-08-12 | Fujitsu Ltd | 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体 |
JP2006146823A (ja) * | 2004-11-24 | 2006-06-08 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム |
WO2007102537A1 (ja) * | 2006-03-07 | 2007-09-13 | Osaka University | 姿勢推定装置および方法 |
JP2007334631A (ja) * | 2006-06-15 | 2007-12-27 | Sony Corp | 画像監視システムおよび物体領域追跡方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7744122B2 (en) * | 1995-12-12 | 2010-06-29 | Automotive Technologies International, Inc. | Driver side aspirated airbags |
US6141459A (en) * | 1997-09-24 | 2000-10-31 | Sarnoff Corporation | Method and apparatus for processing image pyramid borders |
EP0921684B1 (en) * | 1997-12-02 | 2005-11-02 | Daewoo Electronics Corporation | Method and apparatus for encoding object information of a video object plane |
US7430257B1 (en) * | 1998-02-12 | 2008-09-30 | Lot 41 Acquisition Foundation, Llc | Multicarrier sub-layer for direct sequence channel and multiple-access coding |
RU2262661C2 (ru) | 2000-06-26 | 2005-10-20 | Череповецкий научный координационный центр Российской Академии Наук (ЧНКЦ РАН) | Способ обнаружения движущихся транспортных средств |
US7215795B2 (en) * | 2000-09-28 | 2007-05-08 | Hitachi Kokusai Electric Inc. | Intruding object detecting method and intruding object monitoring apparatus employing the method |
US6833845B2 (en) * | 2000-10-27 | 2004-12-21 | Matsushita Electric Industrial Co., Ltd. | Image object content generation device and padding device |
RU2246760C2 (ru) * | 2001-11-29 | 2005-02-20 | Институт солнечно-земной физики СО РАН | Способ обнаружения изменяющихся объектов |
EP1620773A4 (en) * | 2003-05-02 | 2011-11-23 | Giritech As | EFFICIENT NETWORK SECURITY SYSTEM AND USER-CENTER VALID BY DYNAMIC SWITCHING OF DATAGRAMS AND ENCRYPTION AND AUTHENTICATION STRUCTURE ON DEMAND THROUGH INTELLIGENT AND MOBILE DATA CARRIERS |
US7956889B2 (en) * | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
EP1916538A3 (en) * | 2006-10-27 | 2011-02-16 | Panasonic Electric Works Co., Ltd. | Target moving object tracking device |
KR101271092B1 (ko) * | 2007-05-23 | 2013-06-04 | 연세대학교 산학협력단 | 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치 |
-
2009
- 2009-01-22 RU RU2009102124/08A patent/RU2484531C2/ru active
-
2010
- 2010-01-20 US US12/690,667 patent/US8189049B2/en not_active Expired - Fee Related
- 2010-01-21 JP JP2010547509A patent/JP5325899B2/ja active Active
- 2010-01-21 WO PCT/JP2010/050680 patent/WO2010084902A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044859A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 動き追跡装置及び人物追跡方法 |
JP2004227527A (ja) * | 2003-01-27 | 2004-08-12 | Fujitsu Ltd | 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体 |
JP2006146823A (ja) * | 2004-11-24 | 2006-06-08 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム |
WO2007102537A1 (ja) * | 2006-03-07 | 2007-09-13 | Osaka University | 姿勢推定装置および方法 |
JP2007334631A (ja) * | 2006-06-15 | 2007-12-27 | Sony Corp | 画像監視システムおよび物体領域追跡方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2010084902A1 (ja) | 2010-07-29 |
US8189049B2 (en) | 2012-05-29 |
RU2009102124A (ru) | 2010-08-20 |
JPWO2010084902A1 (ja) | 2012-07-19 |
RU2484531C2 (ru) | 2013-06-10 |
US20100201820A1 (en) | 2010-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5325899B2 (ja) | 侵入警報ビデオ処理装置 | |
CN109154976B (zh) | 通过机器学习训练对象分类器的系统和方法 | |
Li et al. | 3D parallel fully convolutional networks for real-time video wildfire smoke detection | |
US9299162B2 (en) | Multi-mode video event indexing | |
Rakibe et al. | Background subtraction algorithm based human motion detection | |
Memon et al. | A video based vehicle detection, counting and classification system | |
US9412025B2 (en) | Systems and methods to classify moving airplanes in airports | |
WO2018056355A1 (ja) | 監視装置 | |
KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
Hong et al. | Fast multi-feature pedestrian detection algorithm based on histogram of oriented gradient using discrete wavelet transform | |
Garg et al. | Real-time road traffic density estimation using block variance | |
KR101646000B1 (ko) | 지정된 사물 및 영역에 대한 감시시스템 및 감시방법 | |
Kongurgsa et al. | Real-time intrusion—detecting and alert system by image processing techniques | |
El Baf et al. | Fuzzy foreground detection for infrared videos | |
Agrawal et al. | Specific motion pattern detection: state-of-the-art and challenges | |
Pava et al. | Object Detection and Motion Analysis in a Low Resolution 3-D Model | |
Narwal et al. | Image Systems and Visualizations | |
Kiaee et al. | A survey on object detection and classification methods | |
Zhao et al. | Detection of Abnormal Crowd Behavior Based on ViBE and Optical Flow Methods | |
Lim | Front yard robbery action detection: climb-over-gate action analysis | |
Johnson | Fragment Association Matching Enhancement (FAME) on a Video Tracker | |
Mushtaq et al. | HUMAN GESTURE ANALYSIS BASED ON VIDEO. | |
Huang et al. | Region-level motion-based foreground detection with shadow removal using MRFs | |
Sundaranar | Making Shadows Visible: A Hybrid Methodology for Restituting Shadows from Natural Scenes | |
Viloria et al. | Mobile Voronoi Diagrams for Traffic Monitoring under Bad Visibility Conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5325899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |