JPS61116490A - 画像監視方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［技術分野１ 本発明はＴＶカメラによる監視画像の変化検知により、
警報を発し、かつ画像情報を狭帯域伝送により電話回線
を介して伝送する画像監視方式に関するものである。

［背景技術］ 本発明者らは画像が変化したときに画像のなかで変化し
た部分のデータを狭帯域伝送する静止画伝送方式を既に
提案しているが、変化検知は画像の明暗の差に基づいて
行う簡単な手法を用いたに過ぎず、異常の確認は伝送デ
ータによって人間が行うため、日射による変化や、異常
以外による原因の変化があれば、その都度人間による確
認が必要で、しかも−人の人間によってかしできる範囲
も限られているという問題があった。

一方画像の特徴抽出、線画作成、認識技術はパターン認
識、コンピュータビジョン等の分野で、人間の眼に置き
換わるロボットのため開発されて八おり、これをセキュ
リティシステムに応用することはこれからの課題で、技
術進歩によるローコスト化によって実用化が可能になり
つつあるといえる。

セキュリティ用の画像監視装置として既に実用化されて
いるものは監視区域内の明暗の差で変化物体を検知し、
この変化物体の大汚さが一定値以上の場合に異常と検知
するものや、他のセンサの動作により画像を撮るものが
あるが、上述のようなロボット（生産設備）の用途に研
究されている高度なものを画像監視装置に応用するため
には、生産設備とは異なった異常の検出、認識、判断機
能が必要である。

またこのような画像監視装置では電話回線が利用できる
ように生の画像データを情報圧縮して狭帯域伝送を行う
方法がよく用いられるが、しかしながら伝送速度が遅く
受信機側では状況の把握が遅くなるという問題があった
。

［発明の目的］ 本発明は」―述の点に鑑みて為されたものでその目的と
するところは監視状況の変化を速やかに伝送すうことが
でき、概略の状況が受信機側で把握することが可能な画
像監視方式を提供するにある。

［発明の開示］ 本発明は基準画面と監視画像とを比較して監視画像に変
化があった場合に警報を発するとともに、変化のあった
画像を情報圧縮して狭帯域伝送するものであり、以下実
施例図によって説明する。

複数のＩＴＶのような監視用ＴＶカメラ１．〜１１はカ
メラ切り替えスイッチ２により切り替えられてそれぞれ
の映像信号を同期分離回路３へ送る。同期分離回路３は
送られできた映像信号より水平・垂直の同期信号と画像
信号とに分離し、画像信号をＡ／Ｄ変換器４でＡ／Ｄ変
換してフレームメモリ５に例えば２５６　Ｘ　２５６画
素で８ビン）（２５６階調）にデジタル化して書き込む
のである。書き込みアドレスは同期分離回路３からの同
期信号に基づいて書き込みアドレスデータを出力するア
ドレスカウンタ６により設定される。

−大変化検知回路部７はフレーム間の差信号の絶対値の
累加算に゛よる各座標軸Ｘ、Ｙへの射影によって変化の
程度と変化領域の座標を求めるためのものであり、−次
判定用データ抽出回路８はフレームメモリ５に書き込ま
れた２　５６Ｘ２５６画素の画像データより１６画素ご
との格子点の画像Ｈ６’ｘ１６画素）データを一次抜き
取りデータとして抽出する。この場合原画の１　ｅｘ１
６画素より小さな変化を検知する必要の無い場合に相当
する。尚８画素ごとの抜き取りで３２Ｘ３２画素を１／
−次抜き取りデータとすると８Ｘ８画素より大きな細か
を検知することができる。さて監視領域設定回路９は後
述の条件設定コントローラ１０によって設定された監視
領域の背景画面に対応する一次抜き取りデータを一次抜
き取り基準データとして記憶回路１１に登録させるとと
もに変化の有無を検出するための判定基準値を作成する
ためのものである。基準画面データたる一次抜き取り基
準データは時刻と監視場所の照度とによる正常な変化を
示した複数のデータＤ１．〜Ｄｌｎから構成されでいる
。記憶回路１１に登録された一次抜き取り基準データＤ
、〜Ｄ＋ｎは照度計１２の現在の検知照度及び時計１３
の現在時刻に基づいた一次基準データ選択回路１４の指
示により選択され絶対値化回路１５に読み出されるので
ある。つまり現在時刻に対応する一次抜き取り基準デー
タの内現在照度に対応した一次抜き取り基準データが選
択抽出されるのである。絶対値化回路１５は一次判定用
データ抽出回路８にでフレームメモリ５から抽出した現
在画面の一次抜き取りデータＤａと、参照となる前画面
の一次抜き取りデータＤＩ）及び選択された一次抜き基
準データＤ１１との各差から符号を除去するか、或いは
二乗することにより差を夫々絶対値化するものである。

該絶対値化回路１５からの各絶対値データは射影計算回
路１６にて射影計算されるわけで、射影計算回路１６は
各座標軸と平行な各ライン毎に各画素の差の絶対値を累
加算するものであり、第２図に示すようにＸ軸にはＹ軸
と平行な各ライン上の差の絶対値データの合計（或いは
それを１ラインの画素数で割ったもの）が射影されＹ軸
にはＹ軸と平行な各ライン上のデータの合計が射影され
る。−大変化判定回路１７は前画面と現在画面とに対応
する射影計算回路１６で計算された累加算値と基準値と
を比較して累加算値が基準値を越えでいると変化が有り
と判定し、更に一次抜き取り基準データＤｌｉによる基
準画面と現在画面とに対応する射影計算回路１６で計算
された累加算値と判定基準値とを比較して累加算値が判
定基準値を越えると前述の前画面と現在画面との変化は
正常でないと判定し、逆に累加算値が判定基準値を越え
ないと前述の前画面と現在画面との変化は正常な変化と
判定する。次に正常でない変化と判定されると一次変化
領域判定回路１８でその変化領域を判定する。つまり判
定基準値を越えたラインに対応するＸ及びＹの各最小値
及び最大値Ｘ、、Ｘ２とＹ、、Ｙ２を検出して、Ｘ１≦
Ｘ≦Ｘ２且っＹ、≦Ｙ≦Ｙ２ で定まる変化領域を決定する。この変化領域内の画像デ
ータは第３図に示すデータ圧縮回路２ｏを介して符号化
回路２１へ送られる。データ圧縮回路２０及び符号化回
路２１は上記画像データを圧縮符号化して第４図に示す
送信コントーラ２２の制御の下でモデム２３、Ｎ　ｅ　
ｔ、＋　２４を介して電話回線Ｉ、により狭帯域伝送さ
れる。データ圧縮回路２０と符号化回路２１は一次変化
検知が無い場合はフレームメモリ５からの全画面の画像
データを圧縮符号化し、上述のように一次変化検知があ
れば変化領域内の画像データを圧縮符号化するようにな
っており、実際例としでは例えば第５図に示す可変標本
密度圧縮回路２５と可変標本密度伸張回路２６と前値予
測回路２７とを組み合わせて構成した可変標本密度予測
符号化回路で構成され、前値予測回路２７の外側に帰還
ループ内に可変標本密度圧縮回路２５及び可変標本密度
伸張回路２６を挿入し、前値予測回路２７の内側の帰還
ループ内に１ライン分のラインバッファ２８を設けて、
このラインバッフ７２８と次ぎのラインからの標本値を
用いて前値予測を行うようにしたものである。

、−７− さて−大変化が検知されると第３図に示す二次変化検知
回路部１９ではフレームメモリ５からの画像データを微
分回路２９で微分し線画作成回路３０によりエツジ・輪
郭に基づく線画データに変換される。この際線画データ
作成用の参照データＤＣとしては空間フィルタの演算子
を用いて設定する。つまり空間フィルタの演算子は格子
の大きさが３×３や５×５のウィンドウを持っており、
例えば３×３の場合は第６図のように表され、この演算
子により座標（ｉ＝ｊ）の画素は第７図に示したような
周辺の画素も含めた第６図のウィンドウに重み付けをさ
れた値とする。そして（ｉ、ｊ）の画素の濃度値をＶ（
ｉ＋、＋）とすると空間フィルタの繰作後のＶ（Ｌｊ）
は元の画素とウィンドウを画素ごとに掛は合わせた和と
なる。

例えば、ＡＸＶ（ｉ−１，ｊ　　１）＋ＢＸＶ（Ｌｊ−
１）十ＥＸＶ（Ｌｊ）＋・・・−Ｉ　ＸＶ（ｉ＋１　、
ｊ＋１　）と表せる。このＡ−Ｉのウィンドウの値が線
画の作成に応じた種々の値になり、この値が線画作成用
参照データＤｃに含まれることになる。

尚ｔｊＳ８図は微分用演算子の例を示し、同図（ａ）は
４方向ラプラシアンで、同図（１））は８方向ラプラシ
アンである。また第９図はＲｏｂｉｎｓｏｎ演算子を示
し、８個のテンプレートの演算子を作用させて最大出力
値によってエツジ強度や方向を求めることができる。

ところで線画作成の段階で線の検出を確実にするために
微分されたエツジ、輪郭の強調画像を明暗の２値化画像
を作ると線がとぎれとぎれになるため上記線画作成回路
３０で整形する。

さてエツジや輪郭はものの形状を知るための重要な情報
源であり、しかも単なる明暗の差だけでは天候、自動車
のヘッドライト、ネオンサインなどの外光の影響を受け
やすいが、輪郭、エツジはその影響が受けにくいという
特徴があり、この特徴を生かして本発明では線画の中で
重要な線を指定して、この線が何がで隠された場合にこ
れを検出することにより一層的確な監視を行えるように
している。つまり予め記憶回路３１に監視領域設定回路
３２にて設定された監視領域の背景の線画データを時刻
、照度に応じて二次基準データとして複数Ｄ２１〜Ｄ２
ｎを登録するとともに、変化判定の判定基準値を登録し
、−大変化検知と同様に現在画面の線画データＤ２ａと
前画面の線画データＤ２１］との差を差抽出回路３４で
その差を求めるとともに、上記二次基準データＤ２１〜
Ｄ２１１から一次変化検知と同様に照度計１２、時計１
３からの照度、時刻データに基づいて二次基準データ選
択回路３３にて選択された二次基準データＤ２１と現在
画面の線画データとの差を求め、更に現在画面の線画デ
ータＤａと前画面の線画データＤｂとの差が異常である
かどうかを二次基準データＤ２ｉと現在画面の線画デー
タとの差と、判定基準値との比較を二次変化判定回路３
５で行って、判定基準値を求めた差の値が越えていれば
異常とし、その変化した紛両データの部位の切り出しを
線画切り出し回路３６で行うのである。面差の抽出、判
定、切り出しの手法は一次変化検知に用いた差の絶対値
化、射影計算、領域判定と同様な手法を用いるとよいか
ら、その具体的動作は省略する。さて上述の一次変化検
知で圧縮、符号化されて送出される画像データは圧縮さ
れていても線画データのように速く送れないから画像デ
ータの送信途中で線画データに変化が検知されば、切り
出した線画データを線画データ圧縮回路３７で圧縮し更
に符号化回路２１において画像データの符号化とは異な
る公知のＦｒｅｅ　Ｉｎ　ａ　ｎのチェーン符号により
端点の座標とこれにつながる点列の方向を１リンク当た
り１〜３ビツトで符号化して画像データと同様にモデム
２３、ＮＣＵ２４を介して電話回線Ｉ、に乗せるのであ
る。

この場合変化領域の画像データの伝送中でも変化があれ
ば刻々と線画データで変化の様子（位置の変化）を知ら
せることができ、受（ｉＩｔｆｆｉ側では移動の仕方で
異常状況がより的確に判断できるのである。このとき警
報処理を行えば外光の影響を除去した確実な警報を発す
ることができる。

尚参考として一般の加入電話回線で２５６Ｘ２５６画素
、２５６階調の画像データを、可変標本密度予測符号化
により圧縮率を情報量で１／８〜１／１０とし、符号量
で１ビツト／１画素程度として送る場合、１．２００ｂ
ｐｓの伝送速度で、約１分、４８００ｂｐｓの伝送速度
で約１５秒かがる。

この時得られる画質は４ピツ）ＤＰＣＭ方式より劣るが
監視画像としでは十分に実用レベルにある。

また伝送時間は一次変化検知で判定された変化領域の画
像のみを送るようにすれば全画像データの伝送時間より
当然短縮できるのは言うまでもなく、例えば変化領域が
２０％の場合伝送時間は１１５となる。

また上記二次基準テ゛−タＤ２．〜Ｄ２ｎと現在画面の
線画データとの判定基準値は単なる変化のレベルに対応
して設けであるが、画面の中で重要な監視領域や線画、
それほど重要でない監視領域や線画、そして無視しても
よい監視領域や線画というように判定基準を区分してお
き、重要な監視領域または線画に変化があれば警報レベ
ルを高く、またそれほど重要でない監視領域や線画に変
化があれば中間的な警報レベルとし、さらに無視できる
監視領域や線画−に変化があればこれを無視して二次変
化検知の処理は行わないようにしてもよい。

ところで上記第１図回路、第４図回路に示した一次変化
、二次変化の検知で異常発生の判定がおこなえるわけで
あるが、判定の確実性を高めるために設けであるのが、
第４図に示したパターン照合回路部３８である。つまり
このパターン照合回路部３８は予め条件設定コントロー
ラ１０の制御の下で監視パターン設定回路３９により異
常状態の各種のパターンを基準画面のデータとして登録
して、登録パターンと現在画面の画像データとを比較し
て異常状態を判定するようになっている。

ここで特徴抽出回路４０は線画データを取り込んで線画
の端点、屈曲点、交点などの特徴点や、線で囲まれた閉
領域を抽出するためのもので、構造解析回路４１とパタ
ーン作成回路４２では抽出された特徴にラベル付けを行
い階層的なリストとしてパターン化するのである。この
際階層的なリストは特徴の包含関係によって順序付けら
れ細部の特徴が下位になるように関係付けを構造解析回
路４１で行うのである。勿論上記の記号処理に対して数
値演算的に照合する場合の構造解析は切り出された線画
データを正規化して位置合わせをしたのちに、距離計算
により、輪郭と骨格線とを抽出すようにしてもよい。こ
こで人や、火災発生時に生じる炎や煙り、また動物と言
った変化物体の特徴データを持つ異常状態のパターンデ
ータＤ３１〜Ｄ３ｎをパターン作成回路４２で予め作成
して監視パターン設定回路３つにより記憶回路４３に登
録する。この際各パターンデータＤ３１〜Ｄ３ｎには夫
々変化物体の、形、大きさ、位置、移動方向などの判定
基準を持たせており、この判定基準で異常状態か正常状
態かを判定できるようにしである。

またこれらの形、大きさ、位置、移動方向の要素につい
て監視画像のなかの変化物体の変化がどのカテゴリーに
あるか否かを識別で外るようにパターンを分割しており
、例えば人が監視領域内に侵入する場合など何処から侵
入するかということでカテゴリー分け（どのような人が
入るかは同じカテゴリーとして扱うようにし）で侵入時
の異常状態の移行に沿うようにしてパターンを分割して
登録し侵入経路の判定が可能なようにしである。しかし
て二次変化検知があって切り出された線画データがパタ
ーン照合回路部３８に取り込まれると、構造解析の後パ
ターンデータが作成され、モデル固定化回路４４で前画
面のパターンデータＤ３１）と現在画面のパターンデー
タＤ３１１１はその差を比較するとともに登録パターン
データＤ３ｉと現在画面のパターンデータＤ３ａとの比
較において変化物体を照合し、更に移動判定回路４５で
登録パターンデータＤ３１ごとに変化物体の大きさ、位
置、移動方向を判定して変化物体の移動を検知するので
ある。

威嚇処理回路部４６は物体の移動や異常な変化が起きた
領域に応じて警報のレベルを判定してそのレベルに応じ
た警報を発するようにした回路であり、例えば物体の移
動や異常な変化が所定の警戒領域に起これば警戒領域毎
にレベル分けして予め記憶している警戒レベル判定デー
タＬ　Ｄと当該変化領域とを警戒レベル判定回路４７で
比較して当該変化領域が所定の警戒レベルの警戒領域に
該当すると、サイレン、ベル、スピーカなどの音声によ
る威嚇手段５０を駆動して威嚇し、その威嚇に１５一 対して反応して変化物体が消滅したり、或いは変化領域
の位置に変化がなかったり、或いは更に警戒レベルが高
い警戒領域に移動した場合などに応じて、最低、中間、
最高というように警報レベルを選択しそれに対応した警
戒データを作成するのである。勿論最初の威嚇で侵入者
を追っ払りする効果も期待できるのである。警報データ
作成回路４８は警戒レベル判定回路４７の判定情報に応
じた警報データを作成し、該警報データをモデム２３、
ＮＣＵ２４を介して画像データ、線画データとともに電
話回線りに乗せるためのものである。

また警報報知表示部４９は上記警報データに応じて現在
の警戒レベルを発光表示手段などで表示するとともに、
コントロール盤５８に設けであるモニタＣＲＴ５６に警
報データの内容を文字表示させるためのメツセージ表示
設定回路５２をその警戒レベルに応じてセットするよう
になっている。

さてコントロール盤５８には線画データ、画像データ、
及びメツセージ表示の文字データのためのビデオＲＡＭ
５１を設けており、ビデオＲＡＭ５１上のデータをＤ／
Ａ変換器５５でＤ／Ａ変換してモニタＣＲＴ５６に表示
させることができ１、また監視領域の設定、警戒レベル
に対応する警戒領域の設定、更には線画の重要度の重み
付け、或いは異常状態のパターン設定等をライトペン５
７（又はマウス）によりモニタＣＲＴ５６に映された画
面」二で指示させることができるようになっており、こ
れらのデータは条件設定コントローラ１０をの制御の下
で監視領域設定回路９．３２、監視パターン設定回路３
９等に送られて登録されるのである。線画表示回路５３
は上記の線画の重要度の重み付けなどの線画に関する条
件設定時にモニタＣＲＴ５６に線画表示を行わさせるた
めの回路である。

さて電話回線りを介して送られた画像データ、線画デー
タ、警報データは第１０図に示すような所定の受信機の
ＮＣＵ６２とモデム６３とを介して受信コントローラ６
４の制御の下で受信され、受信機ではこれらのデータを
復号化回路６１で復号した後に信号処理を行いモニタテ
レビ５９で画像を、線画を再生し、またスピーカ６０よ
り警報音を発するのである。

さらしこ受信機の構成、動作を詳説すると第１０図中の
警報報知回路６７は復号された警報データに基づいて動
作し警報音の音声信号を作成し、ス　　。

ビー力６０を駆動するものである。警報文字表示回路６
７は警報データに基づいて警報のメッセージ表示のため
の文字データを作成するためのもので、後述の画像、線
画信号にインポーズされてモニタテレビ５９にメツセー
ジを映し出させるためのものである。変化領域設定回路
６６は復号化回路６１を経て抽出された画像データ、線
画データから変化領域（Ｘ　、、Ｙ　、）（Ｘ　２．Ｙ
　２）を検出するためのものであり、圧縮データ伸張回
路６８は画像データ、線画データを伸張復号化するため
のものであり、伸張復号化されたデータはフレームメモ
リ６つに書き込まれる。フレームメモリ６９の内容はア
ドレスカウンタ７０により読み出されで、Ｄ／Ａ変換器
７３へ入力されて画像信号となり、この画像信号は同期
信号発生回路７１からの同期信号と」―記文字データと
ともに同期信号合成回路７２で合成されて、モニタテレ
ビ５９で表示されることになるのである。

第１１図は圧縮データ伸張回路６８の一例を示しており
、この例は可変密度復号化回路と前値予測復号化回路と
を組み合わせて構成した可変標本密度予測復号化回路で
あり、可変標本密度方式による伸張回路７４で伸張され
たデータから標本を復元するための予測回路７５のルー
プ内にラインバッファ７６を設けである。

ところで上述の実施例では変化領域の画像データ若しく
は切り出された線画データを伝送するようになっている
が、線画データに於いてもある程度の情報量を必要とす
るから受信機側での表示を速やかに行うには限界がある
。そこで記憶回路４３に登録パターンデータＤ３１〜Ｄ
：ｌＩ＋とともに登録パターンデータＤ　３１〜Ｄ３ｎ
に対応させた記号を登録しでおき、変化パターンの種類
、位置、大外さが予め登録されたパターンにおいて類似
していて、しかも同じカテゴリーに属する場合には変化
領域の画像データ、線画データを伝送する前に当該登録
パターンデータＤｌｉに対応した記号データを移動判定
回路４５よりモデム２３、ＮＣＵ２４を介して電話回線
り上に伝送するようにするとともに、受信機側では第１
０図の破線枠で囲まれた内部に示すところの記憶回路７
８を設け、この記憶回路７８には登録パターンデータＤ
３１〜Ｄ３ｎと同じ内容にモデルパターンデータを予め
登録しておき、上述の記号データが伝送されてきたら対
応するモデルパターンデータを読み出してモデルパター
ンデータ表示設定回路７７を介してフレームメモリ６９
に書き込み、フレームメモリ６９の内容をモニタテレビ
５９で表示させると、記号データという少ない情報量の
伝送で速やかに受信機側に概報を伝えることができるの
である。

尚また上記−大変化検知の際の一次抜き取り基準データ
の選択手法として、例えば１分ごとの画像の変化がある
設定値より少ない場合に、背景となる一次抜き取り基準
データを更新して、日射などの緩慢な変化では異常であ
ると検知しないようにしてもよい。この場合更新される
基準画面データたる一次抜き取り基準データはそれ以前
のデータも一定の割合で影響するように移動平均をとっ
て更新するようにしてもよく、また画素ごとにこのデー
タから時系列的にローパスフィルタを通したような平均
化を施しで微細な変化を除くようにしてもよい。

更に輪郭、線画の作成や、構造解析は上述の手［発明の
効果］ 本発明は監視画像に変化が生じると変化領域の画像デー
タを情報圧縮して狭帯域伝送する画像監視方式において
、変化領域の画像情報の内輪郭、エツジ等からなる線画
データを、画像データの伝送前に伝送するので、情報量
が少なく伝送速度を速くできる線画データで受信機側に
速やかに刻々変化する状況の概略を伝えることができ、
その結果受信機側で刻々の変化も見ることができ且つ対
応を早くすることができるという効果を奏する。

【図面の簡単な説明】

第１図は本発明の実施例の一次変化検知に対応する回路
構成図、第２図は同」二の変化検知の動作説明図、第３
図は同上の二次変化検知に対応する回路構成図、第４図
は同上のパターン照合に対応する回路構成図、第５図は
同上のデータ圧縮回路と符号化回路の具体的回路構成図
、第６図乃至第９図は線画作成の手法説明図、第１０図
は同上の受信機側の回路構成図、第１１図は同」二の圧
縮データ伸張回路の具体的回路構成図であり、７は一次
変化検知回路部、１１は記憶回路、１２は照度計、１３
は時計、１４は一次基準データ選択回路、１９は二次変
化検知回路部、３０は線画作成回路、３１は記憶回路、
３６は線画切り出し回路、３７は線画データ圧縮回路、
Ｄ１１〜］’）、ｎは一次抜き取り基準データ、Ｄ２１
〜Ｄ２ｎは２次暴準データである。 代理人　弁理士　石　１）艮　七 手続補正書（自発） 昭和６０年２　月１２　日 昭和５９年特許願！２３７２１３号 ２、発　明　の名称 画像監視方式 ３、補正をする者 事件との関係　　　　　特許出願人 件　　所　　大阪府門真市大字門真１０４８番地名　称
　（５８３）松下電工株式会社 代表者小　林　　郁 ４、代理人 郵便番号　５３０ ５、補正命令の日付 自　　発 ６、補正により増加する発明の数 な　　し ７、補正の対象 明細書及び図面 ８、補正の内容 別紙の通り 訂正書 願書番号　特願昭５９−２３７２１３号１、本願明細書
第５頁第１３行のｒｍか」を［変化−１と訂正する。 ２、同上第１９頁第９行の「インポーズ」を［スーパイ
ンポーズ］と訂正する。 ３、図面中第５図を別紙のように訂正する。

Claims (2)

【特許請求の範囲】
1. （１）監視画像に変化が生じると変化領域の画像データ
   を情報圧縮して狭帯域伝送する画像監視方式において、
   変化領域の画像情報の内輪郭、エッジ等からなる線画デ
   ータを、画像データの伝送前に伝送することを特徴とす
   る画像監視方式。
2. （２）画像データの伝送中に変化が新たに生じると先の
   画像データ伝送に変わり新たな変化に対する線画データ
   を伝送することを特徴とする特許請求の範囲第１項記載
   の画像監視方式。