JPH05143737A

JPH05143737A - 動きベクトルによる識別方法及び装置

Info

Publication number: JPH05143737A
Application number: JP3306445A
Authority: JP
Inventors: Takuya Murakami; 卓也村上; Kazuo Ota; 一雄太田; Susumu Kikuchi; 進菊地
Original assignee: Tokyo Electric Power Co Inc; Ohkura Electric Co Ltd
Current assignee: Ohkura Electric Co Ltd; Tokyo Electric Power Company Holdings Inc
Priority date: 1991-11-22
Filing date: 1991-11-22
Publication date: 1993-06-11
Anticipated expiration: 2015-04-17
Also published as: JP3034101B2

Abstract

(57)【要約】【目的】画像上の監視対象物をその動きによって識別
し、立入禁止区域画像と識別された監視対象物画像との
重なりの有無を検出して当該区域を監視する。【構成】連続して入力する画像中の現画像I_tと前画像I
_(t-1)とをブロックごとに比較して動きベクトル画像を
作成し、これを二値化する。二値画像に対して、収縮・
拡散画像処理を施して雑音及び微小・狭隘部分を除き、
残余の連結部分の形状特徴及び動き特徴を所与の監視対
象物の対応特徴と比較して監視対象物を識別する。静止
物の画像に動きベクトルが検出されればブレとみなし、
ブレに対する補償を行う。また、動き特徴により監視対
象物のその後の位置を予測する。監視対象物の現在の検
出位置及び予測位置によって所定区域の監視を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動きベクトルによる識
別方法及び装置に関し、とくに立入り禁止区域への無断
進入の監視に適する動きベクトルによる識別方法及び装
置に関する。

【０００２】

【従来の技術】立入り禁止区域への無断進入の監視等に
用いられる従来の画像による監視対象物識別方法を図15
に示す。TVカメラ等の画像入力部50から監視区域の画像
Ｉが順次取込まれる。差分画像抽出部51において、監視
対象物がないときの監視区域を予め記憶した参照画像52
と上記画像Ｉとの差分を減算により抽出する。この差分
画像は参照画像52に対する各入力画像Ｉの変化を輝度変
化として表わす。輝度変化二値化部53は、雑音抑制及び
後段の対象物識別部54におけるラベリングの準備のた
め、差分画像を所定の閾値に基づいて二値化する。対象
物識別部54では、二値化画像の各連結成分ごとにラベル
付けを行なった後、各連結成分についてその形状特徴に
より監視対象物であるか否かを識別する。この識別結果
は異常判定部55に与えられ、直ちに異常と判定するか、
又は予め禁止区域画像記憶部56に記憶された立入り禁止
区域画像Iz内に当該監視対象物があることを確認の上異
常と判定する。

【０００３】

【発明が解決しようとする課題】しかしながら，上記従
来装置には照度変化による誤差と形状誤差の二つの問題
がある。形状誤差は、日射の変化や人工照明の変化等に
より監視区域の照度が変わると画像の輝度が微妙に変化
して上記差分画像に誤差が生ずることであり、著しい場
合には照度変化が原因で現実に存在しないのに監視対象
物が存在するとの誤判定を招くこともある。形状誤差
は、上記差分画像における物の形状が環境の照度変化、
その物と背景との輝度差の不足、その物自体のコントラ
スト不足等のため、その物の実際の形状を明確に表わさ
ないための誤差であり、現実に差分画像では物の一部分
が複数の領域に分断されて抽出される場合が多い。この
形状誤差は、現実に存在するのに監視対象物無しの誤判
定を招く傾向を持つ。

【０００４】上記二つの問題はいずれも差分画像に示さ
れる輝度変化自体を直接に二値化するために生ずるもの
である。

【０００５】本発明者は，監視対象物の動きに着目しこ
れを識別の基準とすれば、輝度変化自体の二値化に起因
する上記問題を解決できることに注目した。従って、本
発明の目的は監視対象物をその動きにより識別する方法
及び装置を提供するにある。

【０００６】

【課題を解決するための手段】図１の実施例及び図２、
３の説明図を参照するに、本発明の動きベクトルによる
識別方法は、例えばTVカメラ等により連続的に生成され
る観察区域画像のフレームＦを一定画素数(mxn)のブロ
ックＢに分割し；現画像I_t中の各ブロック内画像を、動
きベクトルＶ即ち前画像I_(t-1)における当該ブロック内
画像に対応する部分から現画像I_t内の当該ブロック位置
までの動きベクトルＶに置換することにより動きベクト
ル画像Iv（図６参照）を出力し；その動きベクトルＶを
二値化することにより動きベクトル画像Ivを二値画像Ib
i（図７参照）に変換し；二値画像Ibiに収縮画像処理及
び拡散画像処理を施すことにより同画像中の微小連結成
分を除去し；上記画像処理後の二値画像Ibi中の各連結
成分について、その形状特徴及び当該連結成分の変換前
動きベクトルの動き特徴を、所定監視対象物の形状特徴
及び動き特徴と比較することにより、前記観察区域にお
ける監視対象物を識別してなる構成を用いる。

【０００７】本発明による上記方法を実施する装置は、
連続的に生成する観察区域画像のフレームＦを一定画素
数のブロックＢに分割し、現画像I_t中の各ブロックBt内
画像を、前画像I_(t-1)における当該ブロック内画像に対
応する部分の現画像I_t内当該ブロック位置までの動きベ
クトルＶに置換して動きベクトル画像Ivを出力する動き
ベクトル画像形成手段１；前記動きベクトルＶを二値化
することにより前記動きベクトル画像Ivを二値画像Ibi
に変換する二値化手段２；並びに収縮画像処理及び拡散
画像処理により微小連結成分を除去し、二値画像Ibi中
の各連結成分の形状特徴及び当該連結成分の変換前動き
ベクトルの動き特徴を所定監視対象物の形状特徴及び動
き特徴と比較することにより前記観察区域における監視
対象物を識別する識別手段３を備えてなる構成を用い
る。

【０００８】好ましくは上記動きベクトルＶの二値化を
所定の閾値に基づいて行なう。本発明はさらに、上記方
法によって識別した監視対象物が立入り禁止区域にある
ことを検出する監視装置、監視対象物の予測位置が立入
り禁止区域にあることを検出する上記監視装置、及び監
視対象物の識別を画像ブレについて修正する方式の上記
監視装置を提供する。

【０００９】

【作用】本発明の重要な一構成要素である動きベクトル
Ｖは、いわゆるブロックマッチング手法により求められ
る。この手法によれば、図２に示す様に画像のフレーム
Ｆを所定画素数、例えば水平方向ｍ画素で垂直方向ｎ画
素の大きさのブロックＢに分割し、図３に示す様に現画
像I_tのフレームFtの各ブロックBtが前画像I_(t-1)のフレ
ームF_(t-1)のどの位置から来たかを、現画像I_tの各ブロ
ックBtごとに前画像I_(t-1)の一定の対応領域とのパター
ンマッチングにより探索する。この探索により、現画像
I_tの各ブロックBtごとに前画像I_(t-1)に対する動きベク
トルＶ（図６参照）を求める。

【００１０】フレームＦが水平方向にｘ画素、垂直方向
にｙ画素を有する場合には、このフレームＦを水平方向
に(x/m)ブロック、垂直方向に(y/n)ブロックからなるも
のとして表わすことができる。以下の説明において、画
素座標系の座標をｘ、ｙで表わしたときのブロック座標
系の座標Ｘ、Ｙを次のように定義する。Ｘ＝（ｘ／ｍ）、Ｙ＝（ｙ／ｍ）・・・(1)

【００１１】図１の動きベクトル画像形成手段１におい
て動きベクトルＶを抽出するには、動きベクトルＶを求
めようとする現画像I_tの特定ブロックBtに対し前画像I
_(t-1)を図３(b)の矢印の様に順次１画素づつ水平方向及
び垂直方向に移動させる。１画素移動するごとに、その
特定画像ブロックBtと、前画像I_(t-1)中の特定画像ブロ
ックBtに重なった部分との間の画像差分を検出し、当該
特定画像ブロックBt内の全ての画素に対する前記画像差
分の絶対値の総和、即ち絶対差分総和Ｅをその時の前画
像I_(t-1)の移動量(i、j)と共に記憶する。図３(b)は、
前画像I_(t-1)を水平方向に−μからμまで(-μ≦i<μ）
１画素づつ移動させ、垂直方向に−νからνまで(-ν≦
j<ν）１画素づつ移動させたことを示す。この場合の絶
対差分総和Ｅは次式で表わせる。

【００１２】

【数１】・・・(2)こうして各ブロックBtに対して１画素移動ご
とに算出した2μx2ν個の絶対差分総和Ｅを記憶し、そ
れらの絶対差分総和Ｅ中の最小値に対応する移動量(i,
j)を動きベクトルＶとする。ここに移動量(i,j)は水平
方向にｉ画素で垂直方向にｊ画素の移動を示す。要する
に、動きベクトルＶは絶対差分総和Ｅの最小値を与える
前画像の移動量に相当する。

【００１３】本発明によれば、例えば図５の観察区域画
像を画像構成要素の輝度ではなく、画像を構成する各ブ
ロックの動きベクトルＶとして捕える。但しブロックの
大きさは、図示例のものに限定されず、任意に選定でき
る。図５では、監視対象物である人間が足元に影を伴い
ながら小動物を連れて右方向に進んでおり、その左に木
立があって右向きの風によって揺れているものとする。

【００１４】図１の二値化手段２は、動きベクトル画像
Ivを二値画像Ibiに変換するが、これは画像処理を施す
ためである。図示例の識別手段３は、二値画像Ibiに対
し収縮拡散手段20によってまず収縮画像処理を施してこ
れを例えば図８の画像Ibcに変換し、さらに拡散画像処
理を施して例えば図９の画像Ibeに変換する。これらの
収縮・拡散画像処理は、図６と図９との比較から明らか
なように、二値画像Ibi中の小さな部分や幅の狭い部分
を取り除く。たとえば、雑音による画像中の小部分、観
察区域における監視対象外の微小物体に対する画像中の
小部分や狭隘部分を除去することができる。収縮・拡散
画像処理後の連結成分を図10のようにラベリングするこ
とにより相互に区別する。図１のラベリング手段22はこ
のためのものである。

【００１５】画像処理及びラベリングに続く識別処理の
一例の構成を図１に、その流れ図を図13に示す。ステッ
プ101でまず形状特徴抽出手段24の形状特徴出力に対す
る識別を比較手段28によって行う。図示例では、ラベリ
ングで区別した各連結成分ごとに縦幅Ｈと横幅Ｗを形状
特徴として抽出し、比較手段28がその何れも一定範囲内
であるとの条件、即ちＨmin＜Ｈ＜Ｈmaxで且つＷmin＜
Ｗ＜Ｗmaxとの条件を満たさないものは監視対象物では
ないと識別する。但し、本発明で使われる形状特徴は縦
幅・横幅に限定されず、例えば連結成分の面積等を形状
特徴に含めてもよい。要するに、監視対象物を人間とし
た場合には、代表的な人体形状特徴の範囲を予め記憶し
ておき、各連結成分から形状特徴抽出手段24によって抽
出した形状特徴がその人体形状特徴の範囲内にあるか否
かを判断することにより、非常に大きな連結成分や非常
に小さな連結成分、例えば小動物に相当する図10の記号
Ａのラベル成分や残存雑音成分（図示せず）を監視対象
ではないと識別することができる。

【００１６】次に、図13のステップ102、103で動き特徴
抽出手段26の動き特徴出力に対する識別処理を比較手段
28によって行う。図示例では、ラベリングで区別した各
連結成分毎に速度Ｖと速度ばらつきΔＶを動き特徴とし
て抽出し、比較手段28が速度Ｖと速度ばらつきΔＶの何
れも一定範囲内にあるとの条件、即ちＶ＜Ｖmaxにして
ΔＶ＜Ｖmaxであるとの条件を満たさないものは監視対
象物ではないと判断する。図13の場合、速度Ｖの水平成
分及び垂直成分として連結成分内の動きベクトルＶの水
平成分Vi及び垂直成分Vjの最大頻度のものの絶対値｜Vi
c｜及び｜Vjc｜を用い、速度ばらつきΔＶとして連結成
分内の動きベクトルＶの水平成分Vi及び垂直成分Vjの各
々につき最大値と最小値との差の絶対値｜ΔVi｜及び｜
ΔVj｜を速度を用いている。即ち、速度Ｖと速度ばらつ
きΔＶの両者について水平成分及び垂直成分の識別を行
っている。但し、本発明で使われる動き特徴は速度と速
度ばらつきとの組合せに限定されず，例えば加速度を動
き特徴に含めてもよい。さらに速度と速度ばらつきの抽
出方法も上記例に限定されず、例えば中央値、平均値、
標準偏差、ベクトル表現等を利用してもよい。速度によ
る識別は、例えば自動車や鳥等の高速移動体をこの場合
人間である低速の監視対象物から識別することを可能に
する。速度ばらつきによる識別は、例えば木立の枝葉等
の異方向に動く部分が含まれる複雑移動体をこの場合人
間である一体的運動の監視対象物から識別することを可
能にし、図10で木立に相当する記号Ｃのラベル成分を監
視対象から除外することができる。

【００１７】上記識別の結果、図11の二値検出画像Igの
ようにラベルＢを付けた人間の連結成分のみを監視対象
物として識別することができる。しかも図11の画像Igに
至る識別過程は監視対象物の動きに基づく識別であって
輝度差によるものではない。従って、本発明の識別方法
は理論的に照度変化、監視対象物と背景との輝度差の高
低、監視対象物自体のコントラストの高低等の影響を殆
ど受けず，従来技術の問題点を解決する。

【００１８】こうして本発明の目的である「監視対象物
をその動きにより識別する方法及び装置の提供」が達成
される。

【００１９】

【実施例】図４に動きベクトル画像形成手段１の構成の
一例を示す。時間的に連続して入力するデ_イジタル入力
画像Ｉは、第１切換手段10aにより第１現画像記憶手段1
2a又は第２現画像記憶手段12bに交互に記憶される。同
時に、第２切換手段10bによって第１現画像記憶手段12
ｂ又は第２現画像記憶手段12aから交互に既記憶画像が
現画像I_tとしてブロック単位で読出される。この際、現
在読出しが行われていない第１現画像記憶手段12a又は
第２現画像記憶手段12bに入力画像が書込まれ、現在書
込みが行われていない第２現画像記憶手段12b又は第１
現画像記憶手段12aから読出される。読出された現画像I
_tは、第３切換手段10cと以下に説明するブロックマッチ
ング手段14の一方の入力に並列に加えられる。

【００２０】上記第３切換手段10cが第１前画像記憶手
段16a又は第２前画像記憶手段16bへ交互に接続され、第
４切換手段10dが第２前画像記憶手段16b又は第1前画像
記憶手段16aへ交互に接続されて前画像I_(t-1)を読出
す。この場合も、現在読出しが行われていない第１前画
像記憶手段16a又は第２現画像記憶手段16に書込まれ、
現在書込みが行われていない第２前画像記憶手段16b又
は第１前画像記憶手段16aから読出される。ブロック単
位で読出された前画像I_(t-1)は、ブロックマッチング手
段14の他方の入力に加えられる。

【００２１】両現画像記憶手段12a、12b及び両前画像記
憶手段16a、16bの書込み時間と読み出し時間は全て等し
い。さらに、ブロックマッチング手段14の処理、即ち上
記ブロックごとの動きベクトルＶ算出処理はこの書込み
時間又は読み出し時間内に行われる。この様な構成の下
で、第１ないし第４切換手段10a、10b、10c及び10dを上
記の様に交互に動作させることにより、時間的に連続し
て入力されるデ_イジタル画像を実時間で逐次処理するこ
とが可能になる。

【００２２】この実施例ではブロックマッチング手段14
からの動きベクトルＶをフィルタ手段17を通した後、画
像形成手段18により動きベクトル画像Ivに用いる。これ
は、実際には画像変化がなく動きベクトルＶがない時
に、画像信号の雑音等により誤って有限値の動きベクト
ルＶが生ずるのを防ぐためである。例えば、上記動きベ
クトルＶに対し閾値Ｖ_t（i_t、j_t）を設定し、Ｖi＜Ｖi_t
且つＶj＜Ｖj_tの時は、強制的に動きベクトルＶ＝０と
する。ここに、Ｖi及びＶi_tは動きベクトルＶ及び動き
ベクトル閾値Ｖtの水平方向成分をそれぞれ示し、Ｖj及
びＶj_tは動きベクトルＶ及び動きベクトル閾値Ｖtの垂
直方向成分をそれぞれ示す。本発明において、動きベク
トル画像Ivを二値化した後に収縮画像処理及び拡散画像
処理を施して雑音除去を図る実施例では、この閾値を
零、即ちＶi_t=0、Ｖj_t=0としフィルタ手段17を省略する
ことも可能である。

【００２３】図14は、上記識別方法を利用した監視装置
の構成を示す。立入り禁止区域が含まれる監視区域をTV
カメラ等の画像入力手段５によって常時監視する。画像
入力手段５からの画像Ｉを、図１を参照してすでに説明
した動きベクトル画像形成手段１、二値化手段２、及び
識別手段３により処理し、監視対象物を識別した場合に
は二値検出画像Ig（図11）がその監視対象物に対応した
連結成分を明示する。この実施例では、禁止区域記憶手
段７が、例えば図12の様な立入り禁止区域位置Ｚの含ま
れる画像Izを記憶する。異常判定手段８が、上記二値検
出画像Ig(図11)中の監視対象物と上記禁止区域画像Iz中
の立入禁止区域位置Ｚとの重なりの有無を識別する。そ
の重なりがある時は監視対象物が立入り禁止区域内に在
り、異常であると判断する。好ましくは、上記重なり部
分における画像ブロックの数が、予め設置した数を超え
た時をもって異常とする。以上の説明では、人間を監視
対象物としたが、監視対象物は人間のみに限定去れるも
のではなく、例えば工事現場の安全管理等の場合には、
自動車，トラック、クレーン等の大型移動物体を個別に
又は網羅的に監視対象物とすることができる。

【００２４】図14の実施例は監視対象物が立入禁止区域
に侵入してから検出するが、例えば工事現場等では侵入
後の検出では既に手遅れとなることがある。トラックや
クレーン等の大型車両が地盤の弱い地域に入れば人身事
故を伴う重大事故を招く恐れがある。従って、立入禁止
区域に監視対象物が侵入する前に、侵入が予測される事
態を検出する装置の開発が要望されている。

【００２５】この要望に答えるため図16に示す本発明の
一実施例は、まず図14と同様な画像入力手段５、動きベ
クトル画像形成手段１、二値化手段２、及び識別手段３
によって監視対象物に対応する連結成分を含む例えば図
11に示す様な二値画像Igを生成させる．その後、その監
視対象物として識別された連結成分(図26の斜線陰影部)
に対応する前記動きベクトル画像中の動きベクトルＶに
基き所定時間(τ)後の前記連結成分の見込位置を予測状
態記憶手段32中の第一予測手段34a（図19参照）によっ
て予測する。前記所定時間(τ)経過後に当該経過後に得
られる二値画像Ig中の前記連結成分の位置と前記見込位
置との差を予測一致判定手段38(図19参照)によって検出
して、所定値以下の前記差を予測的中とすると共に、前
記所定時間(τ)のＮ回以上の連続中に予測された前記見
込位置のうち連続的な予測的中の数Ｎを前記予測状態記
憶手段32内に記憶する。前記所定時間(τ)を前記連続的
な的中回数Ｎ以下の整数(α)倍した時間(ατ)後の前記
連結成分の位置(図26の破線陰影部)を前記動きベクトル
に基づき異常判定手段40中の第二予測手段34b(図19参
照)によって予測し、前記第二予測手段34bにより予測さ
れた前記連結成分の位置(図26の破線陰影部)と禁止区域
記憶手段７内の禁止区域画像Izにおける禁止区域位置Ｚ
(図26参照)との重なりを異常判定手段40によって検出す
る。

【００２６】上記予測位置判定の実施例をさらに説明す
るに、図17に示すような観察区域の現画像I_tから、動き
ベクトル画像形成手段１、二値化手段２、及び識別手段
３によって監視対象物に対応する連結成分を含む二値画
像Ig(図11参照)を得、動きベクトル変換手段30によって
その二値画像Igを図18の検出ベクトル画像Igvに変換す
る。この変換は二値画像Igと図６の動きベクトル画像Iv
との間でブロックに突き合わせをして行うことができ
る。

【００２７】図19は予測状態記憶手段32の構成の一例を
示す。第１予測処理手段34aは、前画像I_(t-1)が予測状
態記憶手段32へ入力した時に、図18の検出ベクトル画像
Igvにおける動きベクトルＶが次の現画像I_tの時点まで
持続すると仮定して予測ベクトル画像Igveを算出してこ
れを記憶手段36に記憶する。図25(a)に第１予測処理手
段34aによる予測を図式的に示す。基本的には、点線の
前画像I_(t-1)から実線の現画像I_tに至った動きは、実線
の現画像I_tから一点鎖線の次画像I_(t+1)への動きにも継
続されると仮定し、次画像I_(t+1)は現画像I_tの各ブロッ
ク位置の座標を当該ブロックの動きベクトルＶの大きさ
だけ移動すれば得られるものとして予測する。ここで注
意すべきことに、動きベクトルＶ(i、j)の水平成分Ｖi及
び垂直成分Ｖjは画素単位(画素座標系の座標軸上の単
位)で表わされるが、ブロック移動は上記(1)式のブロッ
ク座標系の座標（Ｘ、Ｙ）に従いブロックの整数倍の座
標変化のみを行う。従って、上記予測に先立ち現画像I_t
の動きベクトルＶの画素座標系の座標（ｘ、ｙ）をブロ
ック座標系の座標（Ｘ、Ｙ）に変換する。この変換は、
図22の流れ図におけるステップ121及び122に示す様に、
特定ブロックの現時点動きベクトルV_tの水平方向成分V
_ti及び垂直方向成分V _tjを当該ブロックの水平方向幅の
半分(m/2)及び垂直方向幅の半分(n/2)で除して商Ｓx及
びＳyを得、それらの商に小数点以下四捨五入を施し
て、ブロック座標系の動きベクトルＶ（Ｓxr、Ｓyr）を
得る。第１予測処理手段34aは、原時点ｔで座標(Ｘ、
Ｙ)にあるブロックが次時点(ｔ＋１)では次式の座標
（Ｘ ₊₁、Ｙ ₊₁）へ移動すると予測する。

【００２８】Ｘ ₊₁＝Ｘ＋Ｓxr ・・・(3) Ｙ ₊₁＝Ｙ＋Ｓyr ・・・(4) 図22のステップ123は上式の演算過程を示す。現画像I_t
の各ブロックに対して上式の予測を行えば予測ベクトル
画像Igveを算出することができる。なお、移動後の座標
(Ｘ ₊₁、Ｙ ₊₁)における動きベクトルは、前画像I_(t-1)を
移動させる際に使った動きベクトルＶ_tであるとする。
図25(a)において、前画像I_(t-1)から現画像I_tに至る動
きベクトルＶを両画像の中心点間の線分として表わすこ
とが可能であるが、この場合動きベクトルＶが次画像I
_(t+1)まで継続するとの仮定の下に現画像I_tの中心点か
ら上記動きベクトルＶを画素座標で書いてもその先端は
一点鎖線で示す次画像I_(t+1)中心にはない。これは、次
画像I_(t+1)の位置の予測が上記の様に画素座標系で行わ
れず、ブロック座標系で行われるためである。

【００２９】図19の予測状態記億手段32内の予測一致判
定手段38は、検出ベクトル画像Igvが予測状態記憶手段3
2へ入力した時に、その検出ベクトル画像Igvとさきに第
１予測処理手段34aが予測した予測ベクトル画像Igveと
を比較する。この比較は、ブロックごとに動きベクトル
の比較によって行う。図21は予測一致判定手段38におけ
る判定の流れを示し、図のVit及びVjtは検出ベクトル画
像Igv中のブロックにおける動きベクトルＶの水平成分
及び垂直成分を示し、Vi_t-1及びVj_t-1は検出ベクトル画
像Igv中の当該ブロックと同一位置における予測ベクト
ル画像Igveのブロックにおける動きベクトルＶの水平成
分及び垂直成分を示す。ステップ111及び112では、検出
ベクトル画像Igv中の任意のブロック位置の動きベクト
ルＶの水平方向成分及び垂直方向成分と、同じ位置の予
測ベクトル画像Igveの動きベクトルＶとの間でそれぞれ
差の絶対値を算出し、それら絶対値が予め設定された一
致にたいする許容値（Δｉ、Δｊ）より小さいか否か判
断する。各成分とも許容値内にある場合は、一致若しく
は予測的中と判断してステップ113に示す様にカウンタ3
9内の連続的中回数Ｎに１を加算する。水平成分又は垂
直成分いずれか一方の成分が許容値以上である場合に
は、ステップ114に示す様に連続的中回数Ｎを強制的に
Ｎ＝１とする。

【００３０】以上説明した予測状態記億手段32内の第１
予測処理手段34aは、現時点ｔから所定時間(τ)後の監
視対象物の見込位置を予測するのであるが、図16の実施
例はその所定時間(τ)の整数(α)倍の時間(ατ)後の監
視対象物位置を予測しながら監視するものである。この
ための異常判定手段40の詳細を図20に示す。異常判定手
段40中の第２予測処理手段34bは、整数(α)が予測状態
記億手段32で検出された連続的中回数Ｎに等しい(α＝
Ｎ)の場合について、時間(Ｎτ)後の監視対象物位置を
予測する。その原理は、過去Ｎ回に亘り連続して予測が
的中したので、爾後Ｎ回も同様に推移する、即ち現画像
I_tの各ブロックBtは当該ブロックの現時点の動きベクト
ルＶ_tのＮ倍だけ移動するものとして予測演算をする。
図25bは、時間(Ｎτ)後のブロック位置予測演算の原理
を図式的に示すが、その要旨は図25aを参照して所定時
間(τ)後の予測演算について説明した処理を動きベクト
ルがＮ倍になった場合について行っているに過ぎない。
図23は第２予測処理手段34bの処理の流れ図であるが、
その原理は図22における第１予測処理手段34aの流れを
動きベクトルがＮ倍になった場合について行うもので、
原時点ｔで座標(Ｘ、Ｙ)にあるブロックが時間(Ｎτ)後
の時点(ｔ＋Ｎ)ではステップ134に示される次式の座標
（Ｘ _+N、Ｙ _+N）へ移動すると予測する。

【００３１】Ｘ _+N＝Ｘ＋Ｓxr ・・・(5) Ｙ _+N＝Ｙ＋Ｓyr ・・・(6) ただし、(5)式のＳxr及び(6)のＳyrはそれぞれ(3)式の
Ｓxr及び(4)のＳyrのＮ倍である。検出ベクトル画像Igv
のすべてのブロックに対して(5)式及び(6)の予測演算を
施して時間(Ｎτ)後の監視対象物の予測位置が含まれる
予測ベクトル画像を得、これに二値化処理を加えること
により時間(Ｎτ)後の予測二値画像Igeを得ることがで
きる。時間τに対する倍数αがＮである(α＝Ｎ)場合に
ついて説明したが、演算自体は任意の整数αに対して実
施可能である。

【００３２】図24は、異常判定手段40中の第２予測処理
手段34bにおけ処理の流れを示す。ステップ141におい
て、図26に示される禁止区域記憶手段７の区域画像Iz
と、現時点の検出二値画像Ig及び時間(Ｎτ)後の予測二
値画像Igeを比較し、立入り禁止区域Ｚ内に入る画像Ig
及び／又はIge中の非零ブロックの数Nbが予め設定され
た許容値Neを上回るか否か判断し、上回らない場合は異
常なしとして演算を終了し、上回る場合は次のステップ
142へ進む。ステップ142において、立入り禁止区域Ｚ内
に入った前記非零ブロックに予測二値画像Igeのものの
みであるか否か判断し、画像Igeのもののみである場合
は「異常が予想される」と判定して演算を終了し、画像Ig
eのもののみではない場合は「異常」と判定して演算を終
了する。

【００３３】以上説明した実施例は、現画像I_tと、前画
像I_(t-1)、所定の標準画像、又は禁止区域画像Iz等の参
照画像との比較による変化検出を基本原理とする。従っ
て、現画像I_tの任意画素座標(x、y)が示す観察区域内位
置と参照画像内の対応画素座標(x、y)が示す観察区域内
位置との一致を前提条件とする。しかし、TVカメラ等の
撮像装置を画像入力装置とする場合には、撮像方向の偶
発的または意図的変化による画像ブレの生ずる場合があ
る。偶発的画像ブレの原因としては風その他に起因する
振動や取付け治具の経時変化等がある。画像ブレがある
ときは、動きベクトルによる識別が不正確になり、これ
を監視装置に利用した場合には現実に存在する監視対象
物を検出でいきない又は現実に存在しない監視対象物を
誤検出する等の重大な誤りを招く恐れがある。従って、
画像ブレに対する修正を施す装置の開発が要望されてい
る。

【００３４】この要望に答えるため図27に示す本発明の
一実施例は、まず図14の画像入力手段５と同様な画像入
力部60からの現画像I_tに対し、動きベクトル抽出部67の
処理を施して動きベクトル画像Ivを作成する。動きベク
トル抽出部67の構成は図14の動きベクトル画像形成手段
１と同様である。基準区域記憶手段74(図28参照)に、観
察区域内の不動域である基準区域Ｒが含まれる基準区域
画像I_Rを記憶する。画像ブレ抽出部62により前記動きベ
クトル画像Iv中の前記基準区域Ｒの位置における前記動
きベクトルＶを画像ブレベクトルＤとして出力する。

【００３５】参照画像記憶手段80(図29参照)に、観察区
域の所定画像を参照画像I_rfとして記憶し、修正手段に
よりその参照画像I_rfから前記画像ブレベクトルＤを差
引き修正参照画像I_rfmを出力する。参照画像I_rfとして
は、現画像I_tと比較すべき標準的画像であって相当期間
変化しないものである場合と、現画像I_tの直前に先行す
る前画像I_(t-1)である場合等がある。画像変化抽出部61
により現画像I_tと修正参照画像I_rfmとの差をブロック毎
に算出して、差分画像Idを出力する。好ましくは、当該
差を二値化して二値差分画像Ibiを出力し、さらに好ま
しくは、画像変化識別部63により前記二値化に対する閾
値を設けるが、これらの二値化処理及び閾値設定は必須
ではない。

【００３６】前記差分画像Idを所定監視対象物の画像情
報と比較することにより前記観察区域における監視対象
物を識別し、識別した監視対象物を含む検出画像Igdを
出力する。差分画像Idが輝度差画像である場合における
所定監視対象物の画像情報の一例は、検出用マスクであ
る。前記二値差分画像Ibiを用いる場合には、その二値
差分画像Ibiに収縮画像処理及び拡散画像処理を施した
のち、当該二値差分画像Ibi中の各連結成分の形状特徴
及び当該連結成分の変換前動きベクトルの動き特徴を所
定監視対象物の形状特徴及び動き特徴と比較することに
より前記観察区域における監視対象物を識別し、識別し
た連結成分を含む二値検出画像Igを出力する。

【００３７】禁止区域記憶部66が、観察区域内の禁止区
域Ｚの位置が含まれる禁止区域画像Izを記憶し且つ前記
禁止区域画像Izから前記画像ブレベクトルＤを差引いた
修正禁止区域画像Izmを読出す。

【００３８】異常判定部65が、検出画像Igdと修正禁止
区域画像Izmとの重なりを検出し、異常検出の目的を達
する。前記二値差分画像Ibiを使う場合の前記検出画像I
gdは、前記二値検出画像Igとなる。

【００３９】画像ブレベクトルの精度向上のため、試験
ベクトルＴを動きベクトル画像形成手段67中の前画像I
_(t-1)に加算し、この加算に応じて画像ブレ抽出部62か
ら出力される基準区域Ｒの位置における画像ブレベクト
ルＤと前記試験ベクトルＴとが一致しない画像ブロック
を前記基準区域Ｒから除外することができる。画像入力
部60をTVカメラとする場合には、画像ブレベクトルＤに
応じてTVカメラの向きを修正する制御・駆動手段を設け
ることができる。

【００４０】図28に画像ブレ抽出部62の構成の一例を示
し、図32にその処理過程の流れ図を示す。図28中の基準
区域記憶手段74には、以下に説明する基準区域Ｒの画像
をブロック単位で基準区域画像I_Rとして記憶する。画像
ブレ抽出手段75において、動きベクトル抽出部67から出
力される動きベクトル画像Ivを基準区域記憶手段74から
の基準区域画像I_Rと比較し、基準区域Ｒ内の動きベクト
ルＶのみを抽出する。図32のステップ151で、上記のよ
うに抽出された基準区域Ｒ内の動きベクトルＶのヒスト
グラムを作成し、次のステップ152で、最大頻度を与え
る動きベクトルＶを前画像I_(t-1)と現画像I_tとの間の画
像ブレベクトルＤとして抽出する。この段階では画素座
標系であるので、ステップ153及び154で、これをブロッ
ク座標系のシフトベクトルＨ(Ｘ、Ｙ)に変換する。この
変換するのは、次画像I_(t+1)に対する画像ブレ抽出の際
に基準区域Ｒの位置の画像をこのシフトベクトルＨだけ
修正した後に画像ブレ抽出手段75の比較処理に与らせる
ため、即ち次画像I_(t+1)が現画像I_tに対して画像ブレを
もつ可能性があるので次画像I_(t+1)と比較すべき基準区
域位置の画像の誤差を現在までの画像ブレに関する補償
によって少なくしようとするものである。ところで、シ
フトベクトルＨ(Ｘ、Ｙ)への変換は画像ブレベクトルＤ
の水平方向成分及び垂直方向成分をそれぞれブロックの
水平方向の大きさの半分(m/2)及び水平方向の大きさの
半分(n/2)で除した商の少数点以下四捨五入処理してお
こなう。基準区域が更新された時にはステップ150に示
すように区域設定値の更新を行った後に上記の演算処理
をする。

【００４１】基準区域Ｒの設定を図27の区域設定部68に
よって行う処理の例を図35に示す。操作部69で選択する
基準区域Ｒを表示部70で確認しながら設定する。例え
ば、立入り禁止区域Ｚを識別用の特設基準ポールや周囲
建物等を基準区域Ｒとして選択して設定するが、その選
択基準は立入り禁止区域Ｚを認識する指標となること、
風等による振動が少ないこと、高い画像コントラストが
得られること等である。これらの基準に留意して設定し
た基準区域Ｒに画像ブレが生じても、基準区域画像内の
各ブロックにおける画像ブレベクトルＤは図35(b)に示
す様に同一方向で同一大きさになる。なお、図35(b)は
基準区域Ｒのみの画像ブレベクトルＤを示す。

【００４２】こうして抽出した画像ブレベクトルＤは、
図27の画像変化抽出部61及び禁止区域記憶部66で使われ
る。図29及び図30は画像変化抽出部61の構成の２例を示
し、図31は禁止区域記憶部66の構成を示す。

【００４３】図29は、差分画像Idを現画像I_tと参照画像
I_refとの間の輝度変化として抽出する方式の画像変化抽
出部61の実施例を示す。現画像I_tは、動きベクトル抽出
部67及び画像ブレ抽出部62による画像ブレベクトルＤの
抽出に要する時間だけ遅延手段77で遅延された後、現画
像記憶手段78に取り込まれる。画像間差分手段79は、現
画像記憶手段78からの現画像I_tと参照画像記憶手段80か
らの参照画像I_refとの差分を減算により抽出する。この
減算の前に参照画像I_refは、第１画像ブレ加算手段81か
らの画素単位系の修正ベクトルＭに基づき座標を修正さ
れてから差分算出に供される。なお、現画像I_tの時点に
至るまでの観察区域の照度変動の影響を避けるため、参
照画像I_refを定期的に更新する。

【００４４】図33は、第１画像ブレ加算手段81における
修正ベクトルＭの算出過程の流れ図を示す。ステップ16
0及びステップ161における基準区域Ｒ及び立入り禁止区
域Ｚの更新及び参照画像更新の後、ステップ162で更新
直後か否かの判断をし、更新直後の場合にはステップ16
3で画像ブレベクトルＤ累計値のリセットを行った上で
次のステップ164へ進む。更新直後でない場合には、直
接にステップ164へ進み画像ブレベクトルＤの加算によ
って修正ベクトルＭを求める。この加算は、水平方向成
分ｉ及び垂直方向成分ｊに分けて行われる。これによ
り、参照画像I_refの更新時から現画像I_tの時までに生じ
た画像ブレの積算値について修正することができる。ス
テップ165は、基準区域Ｒ及び立入り禁止区域Ｚの更新
時に修正ベクトルＭをリセットするためのものである。

【００４５】図30は、差分を現画像I_tと前画像I_(t-1)と
の間のブロックマッチングによりブロックごとに動きベ
クトルＶとして抽出する方式の画像変化抽出部61の実施
例を示す。現画像I_tは、上記画像ブレベクトルＤ抽出に
要する時間だけ遅延手段77で遅延された後、第１切換手
段10aを介して第１及び第２現画像記憶手段12a、12bに
交互に取り込まれる。第２切換手段10bを介して第１及
び第２現画像記憶手段12a、12bから交互に読出された現
画像I_tは第３切換手段10cとブロックマッチング手段14
とに並列に加えられる。第３切換手段10cからの画像
は、第１及び第２現前像記憶手段16a、16b内へ前画像I
_(t-1)として交互に読込まれる。上記第１及び第２現前
像記憶手段16a、16bの前画像I_(t-1)は画像ブレ抽出手段6
2からの画像ブレベクトルＤによって修正される。上記
第４切換手段10dを介して第１及び第２前画像記憶手段1
6a、16bから交互に読出された修正済み前画像I
_(t-1)は、ブロックマッチング手段14においてブロック
ごとに現画像I_tと比較され画像ブレ修正後の動きベクト
ルＶが抽出される。図４を参照して先に詳細に説明した
第１ないし第４切換手段10a、10b、 10c、10dの選択的な
切換動作により時間的に連続的に入力される画像間でブ
ロックマッチング処理を逐次行うことができる。図30の
実施例では、図29の第１画像ブレ加算手段81を必要とし
ないが、これは画像ブレ修正後の動きベクトルＶが現画
像I_tと前画像I_(t-1)との間で抽出されるためである。

【００４６】なお、画像変化抽出部61に図29の実施例を
用いた場合には、画像変化識別部63において差分画像を
二値化し、対象物識別部64において変化部分が監視対象
物であるか否かを識別した後、監視対象物のみの検出二
値画像を出力することができる。他方、画像変化抽出部
61に図30の実施例を用いた場合には、画像変化識別部63
において動きの有無の識別を行い、対象物識別部64にお
いて変化部分が監視対象物であるか否かを識別した後、
監視対象物のみの動き有無画像を出力することができ
る。

【００４７】図31に禁止区域記憶部66の構成の一例を示
し、図34に第２画像ブレ加算手段82の流れ図を示す。判
定部65へ送られる禁止区域画像Izを現画像I_t取得までに
生じた画像ブレについて補償するため、禁止区域画像Iz
を第２画像ブレ加算手段82からのシフトベクトルＨによ
って座標をシフトしてから出力する。この際、画像変化
抽出部61が図29に示すものであって画像差分手段79での
処理を画素単位で行う場合には、第２画像ブレ加算手段
82によるシフトは画素単位で行われるが、画像変化抽出
部61が図29に示すものであって画像差分手段79での処理
をブロック単位で行う場合、又は図30に示すものであっ
て画像差分手段79での処理をブロックマッチングとする
場合には、第２画像ブレ加算手段82によるシフトはブロ
ック単位で行われる。図34の流れ図は、図30の画像変化
抽出部61と共に用いる第２画像ブレ加算手段82の例であ
る。ステップ170および171に示す区域更新時のリセット
の後、画像ブレベクトルＤをステップ172で加算して積
算値を求める。ステップ173及び174でその積算値をブロ
ック座標系の座標（Ｘ、Ｙ）のシフトベクトルＨに変換
する。この変換は図32を参照して説明した変換と同様で
ある。第２画像ブレ加算手段82が画素単位のシフトをす
る場合にはステップ172の画像ブレベクトルＤの積算値
をそのまま修正ベクトルＭとして用いる。

【００４８】図36は、図27の監視装置に基準区域画像Iz
の修正機能を付加した監視装置の全体構成を示す。付加
したのは、区域設定部68の出力を動きベクトル抽出部67
へ接続すると共に、動きベクトル抽出部67の出力を区域
設定部68に接続した点のみである。図37にこの場合の区
域設定部68の構成を示す。操作部69で指示される立入り
禁止区域Ｚ及び基準区域Ｒに基づき、区域画像生成手段
86が禁止区域画像Iz及び基準区域画像I_Rを生成する。画
像合成手段88は、現画像I_tと上記両区域画像Iz及びI_Rと
を合成し、表示部70へその合成結果を表示する。この実
施例では、立入り禁止区域Ｚ及び基準区域Ｒの設定を表
示部70における合成画像を観察しながら行うことができ
る。禁止区域画像Izはそのまま禁止区域記憶部66に設定
される。他方、基準区域画像I_Rは基準区域修正手段87に
取込まれ、ここで所要の修正を受けた後、画像ブレ抽出
部62に加えられる。

【００４９】図38に基準区域修正手段87の処理の流れ図
を示す。ステップ180の初期化の後ステップ181で基準区
域修正手段87は、試験ベクトルＴ(i_s、j_s)を動きベクト
ル抽出部67へ送出すると共にその水平成分i_s及び垂直成
分j_sを記憶する。動きベクトル抽出部67では、前画像I
_(t-1)を故意に試験ベクトルＴだけ移動させた上で基準
区域Ｒのブロックごとに動きベクトルＶ、即ち画像ブレ
ベクトルＤを抽出し、これを基準区域修正手段87へ送出
する。この動きベクトルＶの水平方向成分を仮想ブレ水
平成分Diとし、この動きベクトルＶの垂直方向成分を仮
想ブレ垂直成分Djとする。ステップ182、183で基準区域
修正手段87は、動きベクトルＶ受信ののち後、仮想ブレ
水平成分Diが試験ベクトルの水平成分i_sと一致するか否
か、及び仮想ブレ垂直成分Djが試験ベクトルの垂直成分
j_sと一致するか否かをブロックごとに判定する。この一
致は、基準区域Ｒが動揺のない安定な区域であることを
示す。基準区域修正手段87は、さらにステップ184及び1
85によって以上の試験ベクトルＴ送出、動きベクトルＶ
受信、及びステップ182、183の判定を所定の回数Nsだけ
繰り返す。

【００５０】ステップ186、187で基準区域修正手段87
は、上記Ns回の全部にわたり上記判定の結果がすべて一
致であったブロックのみを基準区域Ｒに留め、それ以外
のブロックは基準区域Ｒから除外する修正を基準区域Ｒ
に施す。この修正後の基準区域画像I_Rは、不安定なブロ
ックを全て除去しているので、画像ブレ抽出部62におけ
る画像ブレベクトルＤの抽出を高度に安定化する。

【００５１】図39(a)は、基準区域修正手段87による上
記修正前の基準区域Ｒの構成ブロックから得られた画像
ブレベクトルの模式図であり、図39(b)は上記修正後の
基準区域Ｒの構成ブロックから得た画像ブレベクトルＤ
の模式図である。図39(b)では、不安定なブロックが除
去されており、各ブロックの画像ブレベクトルがすべて
一致している。

【００５２】図40は、図27の監視装置に画像ブレベクト
ルＤに応じたTVカメラ（図示せず）の撮像方向修正機能
を付加した監視装置の全体構成を示す。付加したのは、
抽出した画像ブレベクトルＤに基づいて制御信号を出力
するカメラ制御部90と、この制御信号に応答して画像入
力部60内のTVカメラの向きを変化させるカメラ駆動部91
のみである。

【００５３】図41にカメラ制御部90の構成を示し、その
中の画像ブレ加算手段92の処理の流れ図を図42に示す。
画像ブレ加算手段92は、図42のステップ190および191に
示す区域更新時のリセットの後、画像ブレベクトルＤを
ステップ192で加算してその水平分積算値Di及び垂直分
積算値Djを求める。画像ブレ加算手段92の符号反転手段
93が上記水平分積算値Di及び垂直分積算値Djから反転信
号-Di及び-Djを発生させ、これをカメラ駆動部91へ制御
信号として加える。この制御信号に応答して、カメラ駆
動部91はカメラ雲台（図示せず）などのカメラ向き制御
手段を駆動してカメラの撮像方向を変更する。この一連
の操作を常時行うことにより、カメラの撮像方向を絶え
ず自動的に調整することができる。即ち、画像ブレベク
トルＤを負帰還して、画像ブレベクトルＤの積算値が常
に零となるようにカメラ撮像方向を制御することができ
る。

【００５４】上記のカメラ撮像方向の制御は必ずしも常
時行う必要はなく、画像ブレベクトルの積算値が予め設
定した値を超える時にのみ作動するようにしてもよい。

【００５５】

【発明の効果】以上詳細に説明したように、本発明の動
きベクトルによる識別方法及び装置は画像の動きにより
監視対象物を識別するので、次の顕著な効果を奏する。

【００５６】（イ）観察区域における日射の変化、照明
の変化等による照度変化に起因する監視対象物識別の誤
差を避けることができる。

【００５７】（ロ）監視対象物と背景との輝度差不足、
監視対象物自体コントラスト不足等に起因する監視対象
物の形状識別の困難性を克服することができる。

【００５８】（ハ）時間的に連続して入力するデ_イジタ
ル画像を実時間ベースで逐次処理して連続的な高信頼度
監視を行うことができる。

【００５９】（ニ）画像の形状特徴だけでなく動き特徴
との組合せによって識別するので、識別精度を向上させ
ることができる。

【００６０】（ホ）TVカメラ等を画像入力手段とするの
で、目立たない監視装置を作ることができる。

【００６１】（へ）画像の動きに関するデータを利用す
るので予測が可能でとなり、危険を予知して警報発信そ
の他の対策をとり設備保守等における安全性向上を図る
ことができる。

【００６２】（ト）TVカメラ等を画像入力手段における
風等に起因する撮像方向ブレに対する正確な修正が可能
である。

【００６３】（チ）画像の比較に当たって観察区域内に
不動の基準区域を設定するだけでなく、その不動性・安
定性を測定し高安定性のもののみを選択的に基準とし識
別精度を著しく改善することができる。

【００６４】（リ）TVカメラ等の撮像方向の微小なブレ
を負帰還制御して画像ブレの積算値を零とし識別精度を
改善することができる。

【００６５】（ヌ）TVカメラ等の画像入力装置を撮像方
向修正のため制御装置により修正駆動している間にもブ
レ検出と画像修正とを継続し、画像入力装置の機械的な
自動修正駆動中にも正確な識別を確保することができ
る。

【図面の簡単な説明】

【図１】本発明の識別装置の実施例の説明図である。

【図２】画像フレーム及びブロックの説明図である。

【図３】ブロックマッチングの原理的説明図である。

【図４】動きベクトル画像形成手段の説明図である。

【図５】観察区域の説明図である。

【図６】動きベクトル画像Ivの説明図である。

【図７】動きベクトル画像Ivに対する二値化処理の説明
図である。

【図８】画像に対する収縮画像処理の結果の説明図であ
る。

【図９】画像に対する拡散画像処理の結果の説明図であ
る。

【図１０】ラベリング処理の説明図である。

【図１１】二値検出画像の説明図である。

【図１２】禁止区域画像の説明図である。

【図１３】対象識別手段の処理の流れ図である。

【図１４】本発明の監視装置の一実施例の説明図であ
る。

【図１５】従来技術の説明図である。

【図１６】予測付監視装置の実施例の説明図である。

【図１７】予測付監視装置における観察区域の説明図で
ある。

【図１８】検出ベクトル画像の説明図である。

【図１９】予測状態記憶手段の説明図である。

【図２０】異常判定手段の説明図である。

【図２１】予測一致判定手段の処理の流れ図である。

【図２２】第１予測処理手段の流れ図である。

【図２３】第２予測処理手段の流れ図である。

【図２４】予測付異常判定手段の流れ図である。

【図２５】予測処理説明用の模式図である。

【図２６】異常判定の対象となる処理画像の説明図であ
る。

【図２７】画像ブレ修正を含む監視装置の説明図であ
る。

【図２８】画像ブレ検出部の説明図である。

【図２９】画像変化抽出部の一実施例の説明図である。

【図３０】画像変化抽出部の他の実施例の説明図であ
る。

【図３１】禁止区域記憶部の説明図である。

【図３２】画像ブレ抽出手段の処理の流れ図である。

【図３３】第１画像ブレ加算手段の処理の流れ図であ
る。

【図３４】第２画像ブレ加算手段の処理の流れ図であ
る。

【図３５】基準区域の説明図である。

【図３６】監視区域修正付監視装置の実施例の説明図で
ある。

【図３７】区域設定部の説明図である。

【図３８】基準区域修正手段の処理の流れ図である。

【図３９】基準区域修正手段の処理効果の説明図であ
る。

【図４０】カメラ撮像方向制御付監視装置の実施例の説
明図である。

【図４１】カメラ制御部の説明図である。

【図４２】カメラ制御部の処理の流れ図である。

【符号の説明】

１動きベクトル画像形成手段２二値化手段３識別手段５画像入力手段６動き識別手段７禁止区域記憶手段８異常判定手段 10a、10b、10c、10d 第１、第２、第３、第４切変手段 12a、12b 第１、第２現画像記憶手段 14 ブロックマッチング手段 16a、16b 第１、第２前画像記憶手段 17 フィルタ手段 18 画像形成手段 20 収縮拡散手段 22 ラベリング手段 24 形状特徴抽出手段 26 動き特徴抽出手段 28 比較手段 30 動きベクトル変換手段 32 予測状態記憶手段 34a、34b 第１、第２予測処理手段 36 記憶手段 38 予測一致判定手段 39 カウンタ 40 異常判定手段 42 重複検出手段 50、60 画像入力部 51 差分画像抽出部 52 参照画像 61 画像変化抽出部 62 画像ブレ抽出部 63 画像変化識別部 64 対象物識別部 65 異常判定部 66 禁止区域記憶部 67 動きベクトル抽出部 68 区域設定部 69 操作部 70 表示部 74 基準区域記憶手段 75 画像ブレ抽出手段 77 遅延手段 78 現画像記憶手段 79 画像間差分手段 80 参照画像記憶手段 81 第１画像ブレ加算手段 82 第２画像ブレ加算手段 83 禁止区域記憶手段 86 区域画像生成手段 87 基準区域修正手段 88 画像合成手段 90 カメラ制御部 91 カメラ駆動部 92 画像ブレ加算手段 93 符号反転手段 105−193 ステップ

───────────────────────────────────────────────────── フロントページの続き (72)発明者菊地進東京都千代田区内幸町１丁目１番３号東京電力株式会社内

Claims

【特許請求の範囲】

【請求項１】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し；現画像I_t中の各ブロ
ック内画像を、前画像I_(t-1)における当該ブロック内画
像に対応する部分の現画像I_t内当該ブロック位置までの
動きベクトルＶに置換して動きベクトル画像Ivを出力
し；前記動きベクトルＶを二値化することにより動きベ
クトル画像Ivを二値画像Ibiに変換し；収縮画像処理及
び拡散画像処理により微小連結成分を除去し；二値画像
Ibi中の各連結成分の形状特徴及び当該連結成分の変換
前動きベクトルの動き特徴を所定監視対象物の形状特徴
及び動き特徴と比較することにより前記観察区域におけ
る監視対象物を識別してなる動きベクトルによる識別方
法。
【請求項２】請求項１記載の方法において、前記動きベ
クトル画像Ivから二値画像Ibiへの変換を所定の閾値に
基づく前記動きベクトルＶの二値化により行なってなる
動きベクトルによる識別方法。
【請求項３】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し；現画像I_t中の各ブロ
ック内画像を、前画像I_(t-1)における当該ブロック内画
像に対応する部分の現画像I_t内当該ブロック位置までの
動きベクトルＶに置換して動きベクトル画像Ivを出力
し；前記動きベクトルＶを二値化することにより動きベ
クトル画像Ivを二値画像Ibiに変換し；収縮画像処理及
び拡散画像処理により微小連結成分を除去し；二値画像
Ibi中の各連結成分の形状特徴及び当該連結成分の変換
前動きベクトルの動き特徴を所定監視対象物の形状特徴
及び動き特徴と比較することにより前記観察区域におけ
る監視対象物を識別し；前記動きベクトルＶにより前記
監視対象物の位置を予測してなる動きベクトルによる予
測方法。
【請求項４】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像I_t中の各ブロ
ック内画像を、前画像I_(t-1)における当該ブロック内画
像に対応する部分の現画像I_t内当該ブロック位置までの
動きベクトルＶに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段；前記動きベクトルＶを二
値化することにより前記動きベクトル画像Ivを二値画像
Ibiに変換する二値化手段；並びに収縮画像処理及び拡
散画像処理により微小連結成分を除去し、二値画像Ibi
中の各連結成分の形状特徴及び当該連結成分の変換前動
きベクトルの動き特徴を所定監視対象物の形状特徴及び
動き特徴と比較することにより前記観察区域における監
視対象物を識別する識別手段を備えてなる動きベクトル
による識別装置。
【請求項５】請求項４記載の装置において、前記二値化
手段をして所定閾値に基づく前記動きベクトルＶの二値
化により前記動きベクトル画像Ivを二値画像Ibiに変換
せしめてなる動きベクトルによる識別装置。
【請求項６】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像I_t中の各ブロ
ック内画像を、前画像I_(t-1)における当該ブロック内画
像に対応する部分の現画像I_t内当該ブロック位置までの
動きベクトルＶに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段；前記動きベクトルＶを二
値化することにより前記動きベクトル画像Ivを二値画像
Ibiに変換する二値化手段；収縮画像処理及び拡散画像
処理により微小連結成分を除去し、二値画像Ibi中の各
連結成分の形状特徴及び当該連結成分の変換前動きベク
トルの動き特徴を所定監視対象物の形状特徴及び動き特
徴と比較することにより前記観察区域における監視対象
物を識別し、識別した連結成分を含む二値検出画像Igを
出力する識別手段；前記観察区域内の禁止区域位置Ｚが
含まれる禁止区域画像Izを記憶する禁止区域記憶手段；
並びに前記二値検出画像Igにおける監視対象物と前記禁
止区域画像Izにおける禁止区域位置Ｚとの重なりを検出
する異常判定手段を備えてなる動きベクトルによる監視
装置。
【請求項７】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像I_t中の各ブロ
ック内画像を、前画像I_(t-1)における当該ブロック内画
像に対応する部分の現画像I_t内当該ブロック位置までの
動きベクトルＶに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段；前記動きベクトルＶを二
値化することにより前記動きベクトル画像Ivを二値画像
Ibiに変換する二値化手段；収縮画像処理及び拡散画像
処理により微小連結成分を除去し、二値画像Ibi中の各
連結成分の形状特徴及び当該連結成分の変換前動きベク
トルの動き特徴を所定監視対象物の形状特徴及び動き特
徴と比較することにより前記観察区域における監視対象
物を識別し、識別した連結成分を含む二値検出画像Igを
出力する識別手段；前記監視対象物として識別された連
結成分に対応する前記動きベクトル画像中の動きベクト
ルＶに基づいて所定時間(τ)後の前記連結成分の見込位
置を予測する第１予測手段；前記観察区域内の禁止区域
位置Ｚが含まれる禁止区域画像Izを記憶する禁止区域記
憶手段；並びに前記第１予測手段により予測された前記
連結成分の見込位置と前記禁止区域画像Izにおける禁止
区域位置Ｚとの重なりを検出する異常判定手段を備えて
なる動きベクトルによる監視装置。
【請求項８】請求項７記載の装置において、前記所定時
間(τ)経過後に前記連結成分の位置と前記見込位置との
差を検出し、所定値以下の前記差を予測的中とし、前記
所定時間(τ)のＮ回以上の連続中に予測された前記見込
位置のうち連続的な予測的中の数Ｎを記憶する予測一致
判定手段；前記予測の所定時間(τ)を前記連続的な的中
回数Ｎ以下の整数(α)倍した時間(ατ)後の前記連結成
分の推定位置を前記動きベクトルに基づいて予測する第
２予測手段；並びに前記第２予測手段により予測された
前記連結成分の推定位置と前記禁止区域画像Izにおける
禁止区域位置Ｚとの重なりを検出する異常判定手段を備
えてなる動きベクトルによる監視装置。
【請求項９】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像I_t中の各ブロ
ック内画像を、前画像I_(t-1)における当該ブロック内画
像に対応する部分の現画像I_t内当該ブロック位置までの
動きベクトルＶに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段；前記観察区域内の不動基
準区域Ｒが含まれる基準区域画像I_Rを記憶する基準区域
記憶手段；前記動きベクトル画像Iv中の前記基準区域Ｒ
の位置における前記動きベクトルＶを画像ブレベクトル
Ｄとして出力する画像ブレ検出手段；前記観察区域の所
定画像を参照画像I_rfとして記憶する参照画像記憶手
段；前記参照画像I_rfから前記画像ブレベクトルＤを差
引き修正参照画像I_rfmを出力する修正手段；前記現画像
I_tと前記修正参照画像との差をブロック毎に算出し、差
分画像Idを出力する画像変化識別手段；前記差分画像Id
を所定監視対象物の画像情報と比較することにより前記
観察区域における監視対象物を識別し、識別した監視対
象物を含む検出画像Igdを出力する識別手段；前記観察
区域内の禁止区域位置Ｚが含まれる禁止区域画像Izを記
憶し、且つ前記禁止区域画像Izから前記画像ブレベクト
ルＤを差引いた修正禁止区域画像Izmを読出す禁止区域
記憶手段；並びに前記検出画像Igdと前記修正禁止区域
画像Izmとの重なりを検出する異常判定手段を備えてな
る動きベクトルによる監視装置。
【請求項１０】請求項９記載の監視装置において、前記
画像変化識別手段の出力差分画像Idを、ブロック毎に算
出した前記現画像I_tと前記修正参照画像との差を二値化
した二値差分画像Ibiとし；前記二値差分画像Ibiに収縮
画像処理及び拡散画像処理を施した後、当該二値画像Ib
i中の各連結成分の形状特徴及び当該連結成分の変換前
動きベクトルの動き特徴を所定監視対象物の形状特徴及
び動き特徴と比較することにより前記観察区域における
監視対象物を識別し、識別した連結成分を含む二値検出
画像Igを、前記識別手段が出力する検出画像Igdとして
なる動きベクトルによる監視装置。
【請求項１１】請求項９または１０記載の監視装置にお
いて、前記参照画像I_rfを前記前画像I_(t-1)とし、前記
修正手段により前記前画像I_(t-1)から前記画像ブレベク
トルＤを差引き修正参照画像I_rfmとしてなる動きベクト
ルによる監視装置。
【請求項１２】請求項９、１０又は１１記載の監視装置
において、試験ベクトルＴを前記動きベクトル画像形成
手段中の前記前画像I_(t-1)に加算し、この加算に応じて
前記画像ブレ検出手段から出力される前記画像ブレベク
トルＤと前記試験ベクトルＴとが一致しない画像ブロッ
クを前記基準区域Ｒから除外する基準区域修正手段を設
けてなる動きベクトルによる監視装置。
【請求項１３】請求項９、１０又は１１記載の監視装置
において、前記観察区域の画像を連続的に出力するTVカ
メラ、及び前記画像ブレベクトルＤに応じて前記TVカメ
ラの向きを修正する制御・駆動手段を設けてなる動きベ
クトルによる監視装置。