JPH0591513A

JPH0591513A - 画像監視装置

Info

Publication number: JPH0591513A
Application number: JP3249476A
Authority: JP
Inventors: Mutsumi Watanabe; 睦渡辺; Kazuhiro Henmi; 和弘逸見
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1991-09-27
Filing date: 1991-09-27
Publication date: 1993-04-09

Abstract

(57)【要約】【目的】本発明は、時間差および位置差の小さな時系列
画像が得ることで信頼性の高い動きベクトル場を得て、
精度の高い画像監視を実現している。【構成】レンズ系を介して与えられる光学像を撮像する
撮像素子を有する撮像部１において光学系または撮像素
子を光学系の光軸方向に所定周期で振動させることによ
り撮像素子より撮像画像を出力し、この画像を画像入力
回路２で時系列に蓄積し、この蓄積された複数の時系列
画像から動きベクトル場検出回路３で動きベクトル場を
検出するとともに、動きベクトル場のうち対応する動き
ベクトルを繋げて動きベクトル列の沸き出す点をＦＯＥ
測定回路４で測定し、動きベクトル場の中に動きベクト
ル列の沸き出し点から沸き出さない部分があるかどうか
を侵入判定回路５で判定し侵入物の検知を行うようにし
ている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば銀行、百貨店、
オフィスなどにおける侵入者検知や、移動作業用ロボッ
トの障害物検知に利用される画像監視装置に関するもの
である。

【０００２】

【従来の技術】近年、情報化社会の発展にともない、各
種のセキュリティの重要性が高まっており、その一例と
して、オフィスなどでは、侵入者を検知するものとして
画像監視装置が用いられている。

【０００３】しかして、従来の画像監視装置では、オフ
ィスの各区分に設けられた監視カメラからの映像をモニ
タに表示し、これらモニタの画面を人間が常時注目する
ことにより侵入者に対する監視を行うようにしている。

【０００４】しかし、このような画像監視装置では、監
視範囲が広まり、監視区分が増大すると、人間によるモ
ニタ監視に大きな負担がかかるようになり、信頼性の低
下を招くおそれがあった。そこで、最近、ＴＶカメラを
用いて自動監視を行うシステムが考えらている。この技
術は、例えば作業ロボットを構築する場合、移動する撮
像系より得られる時々刻々変化するシーンから移動体を
検知するものにも応用されている。

【０００５】かかるシステムに用いられる画像監視装置
は、最初に静止環境の画像を背景として撮り、この画像
に対し時系列的に得られる画像との間の直接差分を順次
作成するとともに、予め設定された領域内部の変化量の
総和を求め、この総和量をしきい値と比較することによ
り侵入物の検出を行うようになっている。

【０００６】しかし、このような画像監視装置では、例
えば屋外や蛍光灯照明のように照度が変動する環境にお
いては、照明変動による背景領域の明るさの変化が混在
するため、侵入物による変化を分離、検出することが困
難であり、信頼性の低下を招く欠点があった。また、侵
入物の有無の検知ができるのみであり、侵入物がどちら
に動いているかという情報は得ることができない、さら
に、移動ロボットのように視点が移動する場合は、背景
領域も同時に動いてしまうために直接差分では侵入判定
を行うことができない欠点もあった。

【０００７】以上の問題を解決するため画像の直接差分
でなく、時系列画像から対応領域の動きベクトル場を求
め、背景領域のものと侵入物のものを分離することによ
り信頼性の高い検知を行う方式が新たに考えられてい
る。この方式で用いられる基礎技術は、コンピータビジ
ョンの分野におけるMotion Analysis の問題として１９
７０年代末から盛んに研究が行われている。

【０００８】従来、研究されている技術は、画像濃度の
空間的、時間的変化を用いる手法（Gradient based)
と、画像からエッジなどの特徴を抽出し、時間差のある
画像中のこれら特徴の対応付け結果から移動量を推定す
る手法（Feature based)の２つに大別される。ここで前
者は、画像全体に対して移動量が得られるという利点を
有するが、微分操作を用いるため画像にノイズが付加さ
れると精度が大幅に低下し、また、濃度テクスチュアが
少ない領域や物体の境界部分で、推定値が不正確になり
易くなる。一方、後者は、特徴を用いるためノイズによ
る精度低下は軽減できるが、移動量が求まる部分が粗く
なってしまう。

【０００９】そして、これらの手法を上述したＴＶカメ
ラから直接得られる時系列画像に適用すると、時間差が
大きくなり、特に移動ロボットへの適用の場合は位置の
差も大きくなるため、微分、特徴対応付けの範囲決定が
困難となり、信頼性の高い動きベクトル場を得ることが
できない問題点があった。このため、このような手法の
実際場面での使用は、ほとんど例を見ないのが現状であ
る。

【００１０】

【発明が解決しようとする課題】このように従来の画像
監視装置にあっては、ＴＶカメラにより撮像される時系
列画像を用いる場合、時間差、位置差が大きいことか
ら、信頼性の高い動きベクトル場を得ることができず、
高精度の画像監視ができなくなる問題点があった。

【００１１】本発明は、上記事情に鑑みてなされたもの
で、時間差、位置の差の小さな時系列画像が得られ、信
頼性の高い動きベクトル場を得ることができ、高精度の
画像監視を実現可能にした画像監視装置を提供すること
を目的とする。

【００１２】

【課題を解決するための手段】本発明の画像監視装置
は、光学系を介して与えられる光学像を撮像する撮像素
子を有する撮像手段、光学系または撮像素子を光学系の
光軸方向に所定周期で振動させる振動手段、振動手段の
振動動作とともに撮像素子より出力される撮像画像を時
系列に蓄積する画像蓄積手段、画像蓄積手段に蓄積され
た複数の時系列画像から動きベクトル場を検出する動き
ベクトル場検出手段、動きベクトル場検出手段より検出
される動きベクトル場のうち対応する動きベクトルを繋
げて動きベクトル列の沸き出す点を測定する沸き出し点
測定手段、動きベクトル場の中に前記動きベクトル列の
沸き出し点から沸き出さない部分があるかどうかを判定
し侵入物の検知を行う侵入判定手段により構成してい
る。

【００１３】

【作用】この結果、本発明によれば光学系または撮像素
子を光学系の光軸方向に所定周期で振動させることで撮
像素子より時間差および位相差の小さい時系列画像が得
られ、信頼性の高い動きベクトル場を得られる。また、
光学系または撮像素子の振動を直線性よく実現できるの
で、FOE の測定も高精度にでき、この測定結果を用いる
ことにより高精度の画像監視を実現することができる。

【００１４】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。

【００１５】図１は同実施例の装置全体の概略構成を示
している。図において、１はＴＶカメラなどの撮像部
で、この撮像部１は後述する図２に示すようにレンズ系
１１、撮像素子１４、この撮像素子１４をレンズ系１１
の光軸方向に所定周期で振動させる振動手段として圧電
アクチュエータ１５を有している。そして、撮像素子１
４により撮像された画像出力を振動の半周期毎に画像入
力回路２に転送するようにしている。

【００１６】画像入力回路２は、図４に示すようにＡ／
Ｄ変換器２１、ＩＴＶインターフェース２２、画像バス
２３、画像メモリ群２４および制御バス２５により構成
され、撮像部１より与えられる画像出力をディジタル化
し時系列の画像信号として画像メモリ群２４に蓄積する
ようにしている。画像入力回路２の画像メモリ群２４に
蓄積された時系列画像は、動きベクトル場検出回路３お
よびFOE 検出回路４に送られる。

【００１７】動きベクトル場検出回路３は、図５に示す
ように上述した画像バス２３、画像メモリ群２４、制御
バス２５に加えて、特徴領域抽出回路３１、特徴領域パ
ラメータメモリ３２、類似度計算回路３３、類似度計算
パラメータメモリ３４、動きベクトル場メモリ３５によ
り構成され、画像入力回路２から与えられる画像信号の
時系列から対応領域の動きを求め、動きベクトル場を検
出するようにしている。また、FOE 検出回路４は、図６
に示すように上述した制御バス２５、動きベクトル場メ
モリ３５に加えて、直線検出回路４１、FOE 計算回路４
２、FOE メモリ４３により構成され、あらかじめ背景物
体の動きを解析し、撮像面の光軸方向の移動により得ら
れる静止物体の動きベクトル場が沸き出す点（Focus of
Expantion) を測定するようにしている。そして、これ
ら動きベクトル場検出回路３およびFOE 検出回路４の出
力は、侵入判定回路５に送られる。

【００１８】侵入判定回路５は、図８に示すように上述
の制御バス２５、動きベクトル場メモリ３５、FOE メモ
リ４３、直線検出回路４１に加えて判定回路５１、判定
パラメータメモリ５２により構成され、動きベクトル場
の内部にFOE から沸き出さない部分があるかどうかを判
定し、侵入物の検知を行うようにしている。

【００１９】次に、図２は、撮像部１の詳細な構成を示
すものである。この場合、１１はレンズ系で、このレン
ズ系１１は、その光軸に沿って被撮像体側（紙面左側）
前端からフォーカスレンズ１１１、ズームレンズ１１
２、焦点位置補正レンズ１１３、リレーレンズ１１４を
順に配置した４群レンズ構成となっている。この場合、
ズームレンズ１１２はギア機構１２を介してズーム操作
で駆動されるモータ１３により光軸方向に移動可能にし
ている。また、レンズ系１１の後端にはローパスフィル
タ１１５を配置している。そして、これらレンズ系１１
の光軸の延長線上に上記ローパスフィルタ１１５を介し
てＣＣＤなどの撮像素子１４を配置している。

【００２０】撮像素子１４は、その撮像面１４１にレン
ズ系１１およびローパスフィルタ１１５を介して光学像
を結像するようになっている。また、撮像素子１４は、
撮像面１４１と反対側の面に、撮像素子１４をレンズ系
１１の光軸方向に所定周期で振動させるための振動手段
として圧電アクチュエータ１５を取り付けている。

【００２１】この圧電アクチュエータ１５は、２組の圧
電アクチュエータ部１５１、１５１から構成している。
この場合、各圧電アクチュエータ部１５１は、長手方向
の中心を境に変位方向が逆位相となるよう駆動する、い
わゆるＳ字駆動のバイモルフ素子を３枚重ねて構成した
バイモルフ素子群１５１ａを２組用い、これらバイモル
フ素子群１５１ａの一方端を結合するとともに、他方の
自由端を撮像素子１４および固定部１６にそれぞれ固定
している。これにより各圧電アクチュエータ部１５１、
１５１ａは、片持ちの圧電アクチュエータと同じ形態で
動作し、変位の拡大と機械的性質の向上が得られるよう
にしている。

【００２２】このような圧電アクチュエータ１５は、ア
クチュエータ制御回路１７により制御されるようになっ
ている。この場合、アクチュエータ制御回路１７は、圧
電アクチュエータ１５に対して±Ｖの信号を印加するよ
うにしており、撮像素子１４をレンズ系１１の光軸方向
に振動させるようになっている。ここでは、アクチュエ
ータ制御回路１７より図３（ａ）に示すように＋Ｖの信
号を印加すると、圧電アクチュエータ１５は撮像素子１
４を図示矢印方向に移動させるように変形し、一方、図
３（ｂ）に示すように−Ｖの信号を印加すると、圧電ア
クチュエータ１５は撮像素子１４を図示矢印方向に移動
させるように変形するようになっている。この場合、撮
像素子１４の振動のストロークは、例えば１／２インチ
光学系の６倍ズームにおいて無限遠から至近１ｍまでの
被写体に対して３ｍｍ程度に設定されている。これによ
り、撮像素子１４は、圧電アクチュエータ１５より与え
られる振動のストローク間の位置に対応する被写体の画
像信号を出力するようになる。次に、以上のように構成
した実施例の動作を説明する。

【００２３】まず、図１に示す撮像部１では、振動源の
圧電アクチュエータ１５に対してアクチュエータ制御回
路１７より±Ｖの信号を印加する。すると、圧電アクチ
ュエータ１５の図３（ａ）（ｂ）に示すような各圧電ア
クチュエータ部１５１、１５１の機械的な変形により撮
像素子１４は、レンズ系１１の光軸方向に振動され、こ
の撮像素子１４より撮像される画像出力は、振動の半周
期毎に画像入力回路２に与えられる。

【００２４】画像入力回路２では、図４に示すように、
撮像素子１４より与えられた画像信号をＡ／Ｄ変換器２
１によりデジタル化し、ＩＴＶインターフェース２２、
画像バス２３を介して画像メモリ群２４に送り込む。こ
の場合、画像メモリ群２４には制御バス２５が接続さ
れ、随時画像の読み出し、読み込み制御を実行可能にし
ている。このようにして振動の半周期毎（撮像面位置を
レンズに向かって後方から前方に動かすものとする）の
画像信号が時系列に画像メモリ群２４に蓄積される。そ
して、画像入力回路２に蓄積された画像信号は、動きベ
クトル場検出回路３およびFOE 検出回路４に送られる。

【００２５】動きベクトル場検出回路３では、図５に示
すように、画像入力回路２の画像メモリ群２４に時系列
で蓄積された画像信号から連続２時点のものを順に選択
し、これを特徴領域抽出回路３１に与える。特徴領域抽
出回路３１では、連続２時点の画像信号の内、前時点
（撮像面位置後方）の画像から動きベクトルを計算する
特徴領域を抽出する。ここで、領域の大きさ、最大個数
などのパラメータは、予め特徴領域パラメータメモリ３
２に与えておく。また、ここでの特徴領域の判定は、例
えば領域内部の分散値を計算し、特徴領域パラメータメ
モリ３２に与えられたしきい値より大きなものを選択す
ることにより実現される。

【００２６】次に、類似度計算回路３３により次時点
（撮像面位置手前）の画像を探索することにより各特徴
領域に対して最も類似した濃度特性を持つ領域を選択す
る。ここでの探索の範囲は、類似度計算パラメータメモ
リ３４に予め設定しておく。この場合、画像の位置の差
は非常に小さいので、検索範囲は小さくてよく、これに
より信頼性向上のみならず処理時間の高速化が実現でき
る。そして、これら領域の中心位置の差ベクトルを動き
ベクトルとして動きベクトル場メモリ３５に順次格納し
ていく。なお、類似度は、例えば下式で計算される。 Σ（Ｉ（ｔ）_ij−Ｉ（ｔ−１）_ij）² ／ΣＩ（ｔ）_ij・ΣＩ（ｔ−１）_ij）ここで、Ｉ（ｔ−１）_ij：前時点画像の位置（ｉ、ｊ）
の画素の明るさＩ（ｔ）_ij：次時点画像の位置（ｉ、ｊ）の画素の明る
さ Σ：特徴領域内総和

【００２７】一方、FOE 検出回路４では、背景物体の動
きを解析し、撮像面の光軸方向の移動により得られる静
止物体の動きベクトル場が沸き出す点FOE を測定する。
この場合、図７の模式図に示すように、撮像面の光軸方
向の移動により得られる静止物体の動きベクトル場は１
点から沸き出すフローとなり、この点がFOE である。そ
して、この知見を用いて予め静止環境の動きベクトル場
を求め、対応する領域を繋げて得られる動きベクトル列
から、図６に示す直線検出回路４１により直線式をそれ
ぞれ求める。この直線式の導出は、例えば最小３乗法を
用いて実現できる。次いで、FOE 計算回路４２で、各直
線の交点を求め、FOE の座標を計算する。ここで、直線
が３本以上得られた場合は、これらの交点の重心をFOE
とする。そして、このようにして得られたFOE の座標を
FOE メモリ４３に格納していく。そして、これら動きベ
クトル場検出回路３およびFOE 検出回路４の出力は、侵
入判定回路５に送られる。

【００２８】侵入判定回路５では、図８に示すように対
応する領域をつなげて得られる動きベクトル列から、上
述した直線検出回路４１を用いて直線式を当てはめる。
そして、判定回路５１によりこの直線が上述したFOE メ
モリ４３に格納されたFOE を通るかどうか判断し通らな
いものの量を計算し、この結果から侵入物の検知を行
う。ここでの判定は、予め判定パラメータメモリ５２に
設定されたしきい値と比較することにより実現される。

【００２９】しかして、例えば、図９に示すように、床
（背景）６の上を侵入物７が移動している状態で、同図
（ａ）に示す撮像面位置後方の画像と同図（ｂ）に示す
撮像面位置前方の画像がそれぞれ得られたとすると、こ
れら画像から抽出される動きベクトル場から対応する領
域を繋げて得られる動きベクトル列として、同図（ｃ）
に示すような侵入判定結果が得られるようになる。

【００３０】これにより、環境に対して静止している床
６の動きベクトル列は１点（FOE ）から放射状に沸き出
す直線となるのに対して、移動物体７の動きベクトル列
は、実線Ａで囲むように、床６の動きベクトル列による
FOEとは異なる始点を持つようになるため、侵入判定回
路５により、これを容易に検知できることになる。

【００３１】従って、このようにすれば撮像素子１４を
圧電アクチュエータ１５により光学系の光軸方向に所定
周期で振動させることで、撮像素子１４より時間差およ
び位相差の小さい時系列画像を得るようにしたので、従
来の時間差、位置差の大きな撮像画像を用いるものに比
べ、信頼性の高い動きベクトル場を得ることができる。
また、撮像素子１４の振動に圧電アクチュエータ１５の
変形動作を利用することで、直線性のよい振動を実現で
きるので、FOE の測定を精度よく行うことができ、この
測定結果を用いて背景と移動物体の動きを分離すること
で高精度の画像監視を実現することができる。

【００３２】なお、本発明は上述した実施例に限定され
ず、要旨を変更しない範囲で適宜変形して実施できる。
例えば、上述の実施例では、撮像素子を振動させる例に
ついて述べたが、レンズ系側を振動させても上述したと
同様な効果が得られる。また、視点が静止し撮像面が振
動する状況のみならず移動ロボットのように視点が移動
しているシステムについても、移動方向が直線とみなせ
る場合には本発明を適用することができる。この場合、
背景領域の動きベクトル列の沸き出す点は、撮像面の振
動によるFOE ではなく、移動ロボットの移動方向と撮像
面の振動を合成して得られる方向に撮像面を振動させた
時のFOE となる。移動ロボットの速度に対して振動速度
が十分に早ければ、これは撮像面の振動のみによるFOEf
とほぼ一致する。さらに、分離された侵入物の動きベク
トル列を解析することにより、この移動方向の検出も実
現できる。

【００３３】

【発明の効果】本発明の画像監視装置によれば、光学系
または撮像素子を光学系の光軸方向に所定周期で振動さ
せることで、時間差、位置の差の小さな時系列画像が得
られることから、信頼性の高い動きベクトル場を得ら
れ、高精度の自動画像監視を実現できる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示すブロック
図。

【図２】図１に示す実施例に用いられる撮像部の詳細を
示す構成図。

【図３】図２に示す撮像部に用いられる圧電アクチュエ
ータを説明するための図。

【図４】図１に示す実施例に用いられる画像入力回路を
示すブロック図。

【図５】図１に示す実施例に用いられる動きベクトル場
検出回路を示すブロック図。

【図６】図１に示す実施例に用いられるFOE 測定回路を
示すブロック図。

【図７】静止物体の動きベクトル場とFOE の関係を説明
するための図。

【図８】図１に示す実施例に用いられる侵入判定回路を
示すブロック図。

【図９】侵入物の検出例を説明するための図。

【符号の説明】

１…撮像部、１１…レンズ系、１４…撮像素子、１５…
圧電アクチュエータ、１７…アクチュエータ制御回路、
２…画像入力回路、２４…画像メモリ群、３…動きベク
トル場検出回路、３１…特徴領域抽出回路、３２…特徴
領域パラメータメモリ、３３…類似度計算回路、３４…
類似度計算パラメータメモリ、３５…動きベクトル場メ
モリ、４…FOE 検出回路、４１…直線検出回路、４２…
FOE 計算回路、４３…FOE メモリ、５…侵入判定回路、
５１…判定回路、５２…判定パラメータメモリ。

Claims

【特許請求の範囲】

【請求項１】光学系を介して与えられる光学像を撮像
する撮像素子を有する撮像手段と、前記光学系または前記撮像素子を前記光学系の光軸方向
に所定周期で振動させる振動手段と、前記振動手段の振動動作に従って前記撮像素子より出力
される撮像画像を時系列に蓄積する画像蓄積手段と、この画像蓄積手段に蓄積された複数の時系列画像から動
きベクトル場を検出する動きベクトル場検出手段と、この動きベクトル場検出手段より検出される動きベクト
ル場のうち対応する動きベクトルを繋げて動きベクトル
列の沸き出す点を測定する沸き出し点測定手段と、前記動きベクトル場の中に前記動きベクトル列の沸き出
し点から沸き出さない部分があるかどうかを判定し侵入
物の検知を行う侵入判定手段とを具備したことを特徴と
する画像監視装置。