JP3237048B2

JP3237048B2 - 侵入者監視システム

Info

Publication number: JP3237048B2
Application number: JP18919795A
Authority: JP
Inventors: 春樹井上; 兼一中村; 良幸佐藤; 光好矢之目; 忠明北村; 一成井戸
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-07-25
Filing date: 1995-07-25
Publication date: 2001-12-10
Anticipated expiration: 2015-07-25
Also published as: JPH0944757A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、定められた地域へ人
間、あるいは他の動物、自転車等の物が侵入すると予想
されることを警告、あるいは侵入したことを検出する侵
入者監視システムに関するものである。

【０００２】

【従来の技術】物体の動きを画像処理技術を応用して認
識することは有効であり、多くの応用が考えられ、実用
化されている。例えば、道路上を走行する車輌を認識し
て、通過台数や速度あるいは停止しているか否か等の情
報を計測することのできるシステムが実用化されてい
る。侵入者等、車輌に比べ、速度が低く、かつ面積も小
さい認識対象については、例えば特開平２−１２２４
００号「空間密度検出方式」や「ＤＴＴ法を用いた車輌
認識」情報処理学会研究会コンピュータビジョン：７２
−５；１９９２．５；に記載されている方法などがあ
る。

【０００３】

【発明が解決しようとする課題】上記「空間密度検出方
式」は、入力画像を微分処理し、この処理画像を２値化
して、特徴を計測するものである。この方法によると、
移動の方向についての情報が得られず、かつ環境変化に
大きな影響を受ける為、侵入物の検出に適用した場合に
十分な効果を得難いという問題があった。

【０００４】また「ＤＴＴ法を用いた車輌認識」は、入
力画像を微分処理し、この処理画像を２値化してこの２
値画像のＸ軸方向（水平方向）に２値の投影分布を求
め、更にこの投影分布を所定のしきい値以上の座標を記
憶することにより、車輌の軌跡を求めている。本方法
を、侵入物の検出に応用した場合、２値化のしきい値の
設定が困難で、かつ認識対象物が他の物体と重なった時
には検出が困難である、という問題があった。

【０００５】本発明はこのような事情に鑑みてなされた
ものであり、明るさの変化や他の動体や静体との重なり
や混在が生じている場合でも、高い精度で侵入物（者）
を検出し得る侵入者監視システムを提供することを目的
とする。

【０００６】

【課題を解決するための手段】上記目的は、（１）複数
のサンプリング周期にて、画像情報を取り込み、各々の
画像に対し、予め定められたテンプレート画像（ひな
型）とのマッチングを行なうことにより、所望の移動速
度範囲、面積軌跡の物体のみを取り出す画像処理手段
と、（２）上記画像処理手段の出力である移動範囲デー
タの侵入対象地域と対象外地域の面積を計測し、複数の
サンプリング周期毎のこれらのデータを学習済のニュー
ラルネットワークに入力し、侵入発生、及び侵入予想の
判断を行ない、警告を発する手段とを有し、画像処理手
段は、予め定められた映像内の侵入区域内の移動面積
と、侵入区域外の移動面積を演算して出力する構成の侵
入者監視システムによって達成される。

【０００７】

【作用】ここでは、かなり大きな物体の移動を人間が観
察する場合を考えてみると、必ずしもその移動物体全体
をテンプレートとして追跡するものでなく、ある特定の
注目点の移動を追跡し、それらの動きが同じ速度、同じ
移動方向の箇所を最終的に統合化して大きな物体を認識
しているものと考えられる。即ち、大型バスなどの場
合、屋根の上の換気口や窓のような特徴のある部分につ
いて移動を追跡し、複数の特徴的な箇所が同じ速度、同
じ方向に移動していることを認識して、最終的に「大型
バス」であると認識していると考えられる。

【０００８】ところが、これまでの画像処理手法は、対
象物全体の認識を行っていることがほとんどであるた
め、対象のコントラストが低い場合（例えば、影の中に
存在する黒い車など）に対象物体の一部が欠けたりして
しまうために、認識が困難であった。

【０００９】しかしながら、低コントラストの物体で
も、コントラストが高い領域が必ず存在する（全てが見
えないような対象の場合は人間の目でも認識困難であ
る）ので、この部分に着目して人間と同じように後処理
で統合すれば、どのような対象物でも容易に認識可能と
なる。

【００１０】次に、侵入者は様々な速度、方向から予想
できない軌跡で侵入して来る。例えば、道路用トンネル
抗口では、車輌は一定方向に、通常は一定速度以上で走
行しており、同一画像内に異なる移動速度、方向の、い
くつかのグループが同時に存在する。ここで、抽出すべ
きは侵入者（物）のみであるので、結局一定速度範囲内
で、所定のゾーンに存在する物体の検出が必要となる。

【００１１】これに対し、上記（１）の通り、サンプリ
ング周期を複数考え、テンプレートマッチングの範囲を
限定することにより、任意に抽出可となる。例えば、同
一物体のテンプレートが重なっている場合についてのみ
有効と考えると、サンプリング周期により、定まる速度
以下で移動した物体のみが検出される。

【００１２】次に的確で柔軟な判断を上記（２）で行な
う。予め侵入対象地域と対象外に分け、上記移動体の面
積を計算する。これらは例えば、１００（ｍ秒）、２０
０（ｍ秒）、…等異なるサンプリング周期毎に異なる値
となっており、ラメルハート型ニューラルネットワーク
の学習機能により、所望の侵入物のみを的確に判断でき
る。

【００１３】また、侵入対象と、対象外と分離している
為、侵入予想、と侵入発生の多段階判断が可能となる
為、予防アクションを可能としている。

【００１４】以上により、本発明によれば任意の形状、
大きさ、速度、方向の物体を的確に把握でき、侵入の検
知、予測を高い精度で行なうことができる。

【００１５】

【実施例】以下、本発明の実施例を図面を参照して説明
する。以下、道路用トンネルの抗口（入口／出口）にお
ける歩行者、自転車等の侵入監視を例として説明する
が、その他の例として、下水排水口付近での侵入監視、
秘密／危険区域での侵入監視等、広範囲へ適用可能であ
る。

【００１６】図１には、本発明に係る侵入者監視システ
ムの構成が示されている。同図においてテレビカメラ１
で撮像された映像は、画像処理部１０に入力され、画像
処理された情報を侵入物判定部２６は入力として、侵入
者有無を判断し、必要ならばアラームを出力するととも
に、図示してないモニターテレビ上に該当カメラの映像
を表示する。

【００１７】次に図２に図１に示した侵入者監視システ
ムにおける画像処理部１０の構成を示す。同図において
画像処理部１０は、テレビカメラ１よりの映像のアナロ
グデータをディジタルデータに変換するＡ／Ｄ変換器１
１と、画像メモリ１２と、画像メモリ１２内のデータに
対し、微分を行なう微分回路１３と、２種以上の画像情
報間の差分等を計算する画像間演算回路１４と、２値化
をおこなう２値化回路１５と、面積を計算する面積計測
回路１６と、移動体を抽出する移動体抽出回路１７と、
全体の動作を制御する制御回路（ＣＰＵ）１８とを有し
ている。

【００１８】また画像メモリ１２は、Ａ／Ｄ変換器１１
より出力される濃淡画像情報を記憶する濃淡画像メモリ
と、濃淡テンプレートメモリとを有している。

【００１９】本画像処理部１０では、様々な特性を持つ
移動体をそれらの速度範囲毎に抽出してゆく。

【００２０】図３及び図４は、画像処理部１０の処理内
容を示したものである。本処理は、８種の処理によって
成っており、各処理の詳細は、以下に説明する。

【００２１】［ステップＡ］以下の［ステップＢ］か
ら［ステップＨ］をサンプリングピッチ数くり返す様制
御する。本例では、くり返し回数をｉとし、ｉ＝１〜６
繰り返している。ここではｉ＝１の場合１００(ms)、２
の場合２００(ms)、３の場合４００(ms)、４の場合８０
０(ms)、５の場合１，６００(ms)、６の場合３，２００
(ms)のそれぞれサンプリングピッチを想定している。従
って前述の画像メモリ１２は少なく共、１００(ms)毎の
離散的な画像情報を記憶している。

【００２２】［ステップＢ］［ステップＣ］以下のく
り返し処理にて参照する画像メモリ１２の参照ピッチを
定める。すなわち、現在画像時刻をｔｃとすると、例え
ばｉ＝１すなわち１００(ms)ピッチの場合の前回画像の
時刻は検索ピッチｋ＝１であるので、ｔｃ−ｋ＝ｔｃ−
１となる。ｉ＝６すなわち３，２００(ms)ピッチの場合
は検索ピッチはｋ＝３２となり前回画像の時刻はｔｃ−
ｋ＝ｔｃ−３２となる。この検索ピッチは画像メモリの
参照ピッチとなる。

【００２３】［ステップＣ］過去１（分間）について
のくり返し数ｊをセットし、以下の［ステップＤ］〜
［ステップＦ］をくり返す。

【００２４】［ステップＤ］現在時刻ｔｃ＝ｔ（０）
に対して、（−ｊ・ｋ）（１００(ms)）タイミングの画
像と（−（ｊ＋１）ｋ）（１００(ms)）タイミングの画
像の差分画像を生成する。

【００２５】［ステップＥ］上記２種の差分画像を２
値化し、移動体のみを抽出する。

【００２６】［ステップＦ］２種の２値化画像情報に
対し、予め定めたテンプレートによるパターンマッチン
グを行ない存在位置を定め、各々の重なりがある場合
は、同一物体の所定速度内の移動と判定し、該２種のテ
ンプレート範囲を移動体範囲として記憶する。

【００２７】［ステップＧ］上記にて、計測された移
動体範囲を、侵入対象領域Ａに含まれる部分の面積ＥＯ
ＲＡ（ｉ）と、対象外領域Ｂに含まれる部分の面積ＥＯ
ＲＢ（ｉ）をそれぞれ計算する。

【００２８】［ステップＨ］上記テンプレートの一
点、例えば中心座標をサンプリング時間毎の配列として
計算し、記憶する。この配列を軌跡と称す。

【００２９】図５は、以上の処理状況を具体的な画像例
にて示している。ここではｉ＝４、すなわち８００(ms)
毎に移動体を抽出している状況であり、ゾーンＡでは、
時速５０．０（ｋｍ／ｈ）で車両が通行しており、ゾー
ンＢでは、人間が４．０（ｋｍ／ｈ）でゾーンＡ、すな
わち車両レーンに侵入しようとしているところである。
テンプレートを人間をカバーする程度の大きさ、例えば
１（ｍ）平方の正方形とすると、このテンプレートは、
この人間を把え、８００(ms)内でテンプレートが重なる
場合は連続的に同一物体が移動したものとする。８００
(ms)で１（ｍ）以内の移動ということは、すなわち時速
４．５（ｋｍ／ｈ）以下の移動を指すので、本例の人間
については、１０秒間移動で図５の通り、ＥＯＲＡ
（４）とＥＯＲＢ（４）がゼロでない値、すなわち有効
面積として計測される。

【００３０】一方、車輌をカバーする例えば２（ｍ）×
２（ｍ）平方のテンプレートで車輌を抽出しても８００
(ms)ピッチの画像間での重なりは発生しないため、本例
の車輌に関する情報は抽出されない。

【００３１】図４にｉ＝１〜６のそれぞれの移動体抽出
結果を示す。ここでは、Ｘの人間は４．０（ｋｍ／
ｈ）、Ｙの車輌は３０（ｋｍ／ｈ）、Ｚの自転車は８．
０（ｋｍ／ｈ）で移動している。ｉ＝１では人間Ｘ、車
輌Ｙ、自転車Ｚ共、全て検出されているが、ｉ＝３では
人間Ｘと自転車Ｚのみ検出されている。更にｉ＝４では
人間Ｘのみとなり、ｉ＝６では、何も検出されない。

【００３２】図６は更に、上記を詳細に説明したもので
ある。ここでは、４００(ms)でサンプリングした場合を
示しており、移動体としては（ａ）が４．５（ｋｍ／
ｈ）、（ｂ）が９．０（ｋｍ／ｈ）、（ｃ）が３６．０
（ｋｍ／ｈ）、（ｄ）が７２．０（ｋｍ／ｈ）としてい
る。（ａ）、（ｂ）は、テンプレートが必ず重なりあう
為、検出されるが、（ｃ）、（ｄ）は重ならぬ為、検出
対象とならないことがわかる。

【００３３】この様に、本発明の画像処理部は任意の大
きさ、移動速度の物体を自在に正確に抽出することがで
きる。

【００３４】図７は、図３の［ステップＨ］の動作を説
明したものである。図３における［ステップＢ］〜［ス
テップＦ］で求めた移動体抽出結果の各テンプレートの
例えば中心座標を要素とするベクトル集合ＧＲＡＤ
（ｉ）をＧＲＡＤ（ｉ）＝｛ｌ（ｘ₀，ｙ₀），ｌ
（ｘ₁，ｙ₁），ｌ（ｘ₂，ｙ₂）…………，ｌ（ｘ₁₀，ｙ
₁₀）｝として生成する。これは、移動体の動作軌跡を示
している。走行車線に沿って車輌は走行する為、車輌の
軌跡は直線に近く、かつ通常は方向転換が発生しない。

【００３５】一方、人間等の侵入物は走行車線に対し、
様々な角度で不規則な軌跡を残す。図６の例では、位置
Ｐ１と位置Ｐ２にて２回、方向転換を行ないながら、ゾ
ーンＡに侵入している（図７（Ａ）、（Ｂ）、
（Ｃ））。

【００３６】この様に、時間の経過に対する移動軌跡
や、方向転換等の情報は、本来侵入者（物）を確実に検
出する為の、極めて有効な情報となる。

【００３７】図８は、図１に示した侵入者監視システム
における侵入物判定部２６の具体的構成を示す。同図に
おいて侵入物判定部２６は実時間で侵入物を監視／検出
する、侵入物判定回路２８と、入力切り替え部２９と、
予め判定情報を与える為の学習機構３１とを有してい
る。

【００３８】また学習機構３１は、学習制御機構３２
と、パラメータ変換機構３３と、入力信号発生機構３４
と、教師信号発生機構３５と、突き合せ部４０とを有し
ている。

【００３９】図９に侵入物判定回路２８の処理内容を示
す。侵入物判定回路２８は、図１における画像処理部１
０で出力された複数種のサンプリングピッチにおける、
ゾーンＡとゾーンＢの移動量面積、軌跡、方向転換情報
を入力とし、以下の処理ステップにて侵入者（物）を検
出し、警報を出力する。

【００４０】［ステップＩ］画像処理部１０の出力情
報である、ピッチｉにおけるゾーンＡの移動抽出量ＥＯ
ＲＡ（ｉ）、ゾーンＢの移動抽出量ＥＯＲＢ（ｉ）、軌
跡ＧＲＡＤ（ｉ）を、下記ニューラルネットワークの入
力情報として設定する。

【００４１】［ステップＪ］図１０、または図１１に
示すラメルハート型の前向きニューラルネットワークが
判定想起を行なう。図１０はゾーン毎の移動抽出面積情
報ＥＯＲＡ（ｉ）とＥＯＲＢ（ｉ）を、それぞれに対す
る入力ニューロンの電位として与え、中間ニューロン群
(中間層)を経て、３個の出力ニューロン値を出力とす
る。３個の出力ニューロンは、それぞれ「侵入者発生
（レベル１アラーム）」、「侵入恐れあり（レベル２ア
ラーム）」、「正常」に割当てられている。このニュー
ラルネットは予め、入力画像に対し、人間により、判断
結果が与えられ、前記学習機構３１により全てのシナッ
プス（ニューロンを結合する信号伝達線）に最適な重み
が与えられている。例えば、既に侵入者がゾーンＡに存
在している場合は、侵入発生に割当てられた出力ニュー
ロンの値が１．０に近くなり、他の２種の出力ニューロ
ンの値は０．０に近くなる。また、ゾーンＡには侵入者
が存在しないが、ゾーンＢ内では侵入の恐れがある動き
をしている場合には、侵入者恐れの出力ニューロンが
１．０に近くなり、他は０．０に近くなる。侵入者及び
侵入者恐れが共にない場合は、正常に割当てられた出力
ニューロンのみが１．０に近くなり、他は０．０に近く
なる。

【００４２】［ステップＫ］侵入者発生に割当てられ
た出力ニューロン値が例えば、０．９という予め定めら
れているしきい値を超えた場合に有として［ステップ
Ｌ］に進む。

【００４３】［ステップＬ］（侵入者発生）のアラー
ム（警告）を出力し、監視員に知らせる。

【００４４】［ステップＭ］侵入恐れありに割当てら
れた出力ニューロン値が例えば０．９という予め定めら
れているしきい値を超えた場合に有として［ステップ
Ｎ］に進む。

【００４５】［ステップＮ］（侵入者発生）のアラーム
（警告）を出力し、監視員に知らせることにより、侵入
を未然に防ぐことを行なう。

【００４６】図１１は、更に高精度な侵入物判定回路に
おける、ニューラルネットワークの構成例である。図１
０の構成に、前記サンプリングピッチ毎の軌跡情報を入
力として加えている。例えば軌跡情報のうち、方向転換
回数を抽出した場合、図１０の侵入物判定回路に比べ、
侵入恐れありをより早く確実に把握できる様になる。

【００４７】また、逆に、車輌進行方向に向かっていな
い移動体の場合は、侵入の可能性が小さいことが明確に
わかる為、誤検出の確立が極めて小さくなる。

【００４８】以上の説明では、主に、移動体の速度毎の
移動量の計測、軌跡の計測について述べたが、本発明の
主たる特徴は、時間次元を加えることにより任意の移動
体のみを抽出できることにある。従って、従来、ある時
間的断面の瞬間的な画像について処理を行った場合に生
ずる様々な問題を解決できるようになる。

【００４９】本発明の具体的な実施例として、上記以外
に、下記の例をあげることができる。

【００５０】（１）鉄道線路・踏切内の侵入者監視、
（２）下水排水口付近での侵入者監視、（３）道路上・
トンネル内での蛇行運転の検出等である。

【００５１】

【発明の効果】以上に説明したように本発明によれば、
画像品質の変動に影響されることなく、所望の形状、速
度の物体を、連続して検出することができる。

【００５２】また、検出した情報により、侵入監視地域
への侵入有無、侵入確率を過不足なく判定できるため、
高精度の監視を自動的に行なうことができる。

【００５３】更に、判断基準を自動学習できる為、監視
目的、監視レベル、監視範囲が異なる場合であっても同
一の構成で容易に実現でき、高い保守性を得ることがで
きる。

【図面の簡単な説明】

【図１】本発明に係る侵入者監視システムの一実施例の
構成を示すブロック図である。

【図２】図１における画像処理部の具体的構成を示すブ
ロック図である。

【図３】画像処理部の処理内容を示すフローチャートで
ある。

【図４】画像処理部の処理内容を示す説明図である。

【図５】図２における移動体抽出回路の動作例を示す説
明図である。

【図６】複数の移動速度毎の移動体抽出状況を詳細に示
す説明図である。

【図７】移動体の軌跡及び方向転換ポイントと方向転換
回数の検出例を示す説明図である。

【図８】図１における侵入物判定部の具体的構成を示す
ブロック図である。

【図９】図８における侵入物判定回路の処理内容を示す
フローチャートである。

【図１０】図８における侵入物判定回路の具体的構成の
一例を示す説明図である。

【図１１】図８における侵入物判定回路の具体的構成の
他の例を示す説明図である。

【符号の説明】

１テレビカメラ１１ A/D変換器１２画像メモリ１３微分回路１４画像間演算回路１５２値化回路１６面積計測回路１７移動体抽出回路１８制御機構２８侵入物判定回路２９入力切り替え部３２学習制御機構３３パラメータ変更機構３４入力信号発生機構３５教師信号発生機構

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐藤良幸茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (72)発明者矢之目光好茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (72)発明者北村忠明茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者井戸一成茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (56)参考文献特開平２−64898（ＪＰ，Ａ) 特開平７−37064（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08B 13/196

Claims

(57)【特許請求の範囲】

【請求項１】物体をテレビカメラで撮影し、該映像を
画像処理することにより物体の動きを監視する侵入者監
視システムにおいて、前記テレビカメラより複数のサンプリング周期で画像情
報を取り込み、対象画像からテンプレート画像を複数の
サンプリング周期で切り出し、複数同期時間前の画像内
で該テンプレート画像の相関演算により、同一物体が移
動したか否かを判断することにより定められた移動速度
と形状の物体を抽出する画像処理手段と、該画像処理手段により抽出された移動体抽出情報を入力
とし、侵入有無を判定し、警告情報を出力する侵入者判
定手段とを有し、前記画像処理手段は、予め定められた
映像内の侵入区域内の移動面積と、侵入区域外の移動面
積を演算して出力することを特徴とする侵入者監視シス
テム。
【請求項２】前記画像処理手段は、前記テンプレート
の所定の位置の時間推移に対する座標の集合からなる軌
跡情報を演算して出力することを特徴とする請求項１に
記載の侵入者監視システム。
【請求項３】前記侵入者判定手段は、ラメルハート型
ニューラルネットワークであり、前記移動体の面積と軌
跡を入力ニューロン値とし、侵入者有無を出力ニューロ
ン値に対応させることを特徴とする請求項１または２に
記載の侵入者監視システム。