JP3506934B2 - Monitoring device and monitoring system - Google Patents
Monitoring device and monitoring systemInfo
- Publication number
- JP3506934B2 JP3506934B2 JP35293298A JP35293298A JP3506934B2 JP 3506934 B2 JP3506934 B2 JP 3506934B2 JP 35293298 A JP35293298 A JP 35293298A JP 35293298 A JP35293298 A JP 35293298A JP 3506934 B2 JP3506934 B2 JP 3506934B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- predetermined
- block
- image
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、屋内または屋外
における監視対象の監視を行う監視装置及び監視システ
ムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a monitoring device and a monitoring system for monitoring a monitoring target indoors or outdoors.
【０００２】[0002]
【従来の技術】例えば深夜のオフィスビル内等のよう
に、本来、人間が行き来しないような時間帯では、人体
センサ等を使用した監視装置によって、侵入者の侵入等
の異常事態を検出することが可能である。2. Description of the Related Art During a time zone where people are not supposed to come and go, such as in an office building at midnight, an abnormal situation such as an intruder's intrusion is detected by a monitoring device using a human body sensor or the like. Is possible.
【０００３】従来の監視装置は、図２３の如く、屋内ま
たは屋外の監視対象となる空間に対向する位置に撮像カ
メラ２を設置し、撮像カメラ２で撮像された監視映像
が、一般的なＮＴＳＣ信号により内のモニタ６に送信さ
れて表示されるようになっており、かかる表示により警
備員が異常事態を発見するようにされていた。また、場
合によっては、外部の委託会社等の警備センターに監視
映像が送信されることがあった。In a conventional monitoring apparatus, as shown in FIG. 23, an imaging camera 2 is installed at a position facing an indoor or outdoor space to be monitored, and the monitoring video imaged by the imaging camera 2 is a general NTSC. The signal is transmitted to the internal monitor 6 and displayed, and the guard is made to detect an abnormal situation by the display. Further, in some cases, the surveillance video may be transmitted to a security center of an external contractor or the like.
【０００４】[0004]
【発明が解決しようとする課題】従来例においては、撮
像カメラ２からの監視映像がビル監視室３へ常時配信さ
れ、監視者は、配信されてきた映像を肉眼にて常時見続
けなければならなかったため、監視者にとって、精神的
及び肉体的に非常な労力を必要としていた。しかしなが
ら、実際には、各監視対象に異常事態が発生することは
少ないと考えられ、労力の割には異常事態の発見頻度が
少ないものとなっていた。そこで、かかる労力負担を軽
減できる監視装置の提案が待たれていた。In the conventional example, the surveillance image from the image pickup camera 2 is constantly delivered to the building surveillance room 3, and the observer must always keep watching the delivered image with the naked eye. Since it was not, it required a great deal of mental and physical effort for the observer. However, in reality, it is considered that an abnormal situation rarely occurs in each monitoring target, and the frequency of discovery of the abnormal situation is low for the effort. Therefore, there has been a long-awaited proposal for a monitoring device that can reduce the labor load.
【０００５】そこで、この発明の課題は、撮像カメラで
撮像した監視映像に基づいて異常事態の発生時にのみ警
備センター側に注意を促すことのできる監視装置及び監
視システムを提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to provide a monitoring device and a monitoring system capable of alerting the security center side only when an abnormal situation occurs based on the monitoring video imaged by the imaging camera.
【０００６】[0006]
【課題を解決するための手段】上記課題を解決すべく、
請求項１に記載の発明は、監視対象の付近に設置されて
当該監視対象を撮像する撮像カメラと、前記撮像カメラ
で撮像された映像フレームを所定の複数の映像ブロック
に分割し、各映像ブロック毎の映像についての所定の特
徴を定量的に抽出する特徴量抽出器と、前記特徴量抽出
器で定量的に抽出された前記所定の特徴を、異なる映像
フレーム間で互いに対応する映像ブロック同士で比較
し、その比較結果に基づいて、映像に変化があったか否
かを判定する判定部とを備え、前記特徴量抽出器は、前
記映像ブロック毎に、当該各映像ブロック内の画素の輝
度階調に対する出現頻度を意味するヒストグラム値を生
成し、当該ヒストグラム値をもって前記各映像ブロック
の前記所定の特徴とし、前記特徴量抽出器で前記所定の
特徴が抽出される映像ブロックが含まれる１つの映像フ
レームの全体の明るさを定量的に求め、前記特徴量抽出
器で生成されたヒストグラム値を前記映像フレームの全
体の明るさで除算してヒストグラム値の分布の正規化を
行い、映像全体の明るさの変化に影響を受けないヒスト
グラム値に補正するヒストグラム正規化器をさらに備え
るものである。[Means for Solving the Problems] In order to solve the above problems,
According to the first aspect of the present invention, an imaging camera installed near the monitoring target to capture an image of the monitoring target, a video frame captured by the imaging camera is divided into a plurality of predetermined video blocks, and each video block is divided. A feature quantity extractor that quantitatively extracts a predetermined feature of each video, and the predetermined feature quantitatively extracted by the feature extractor between video blocks that correspond to each other between different video frames. And a determination unit that determines whether or not there is a change in an image based on the comparison result, wherein the feature amount extractor is, for each of the image blocks, a luminance gradation of a pixel in each of the image blocks. A histogram value that indicates the appearance frequency of the image block is generated, the histogram value is set as the predetermined feature of each video block, and the predetermined amount is extracted by the feature amount extractor.
One video frame that contains the video block from which features are extracted.
The brightness of the entire frame is quantitatively calculated, and the feature amount is extracted.
The histogram value generated by
Normalize distribution of histogram values by dividing by body brightness
A hist that is not affected by changes in the brightness of the entire image
Further equipped with a histogram normalizer that corrects to gram values
It is those that.
【０００７】[0007]
【０００８】 請求項２に記載の発明は、監視対象の付
近に設置されて当該監視対象を撮像する撮像カメラと、
前記撮像カメラで撮像された映像フレームを所定の複数
の映像ブロックに分割し、各映像ブロック毎の映像につ
いての所定の特徴を定量的に抽出する特徴量抽出器と、
前記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて、映像に変化
があったか否かを判定する判定部とを備え、前記特徴量
抽出器は、前記映像ブロック毎に、当該各映像ブロック
内の画素の輝度階調に対する出現頻度を意味するヒスト
グラム値を生成し、当該ヒストグラム値をもって前記各
映像ブロックの前記所定の特徴とし、前記特徴量抽出器
で生成されたヒストグラム値の上限から一定割合と下限
から一定割合のみを除去し、除去後の有意値の現れた輝
度階調値の最大値と最小値の間のスケールを、それぞれ
輝度階調値の最大限度値と最小限度値に変換してフルス
ケールに伸長してヒストグラム値の分布の正規化を行
い、ヒストグラム値の局在を緩和補正するヒストグラム
正規化器をさらに備えるものである。The invention according to claim 2 is to attach a monitoring target.
An image pickup camera installed near the image pickup device for picking up the monitoring target;
Predetermine multiple video frames captured by the imaging camera
The video block is divided into
A feature quantity extractor for quantitatively extracting a predetermined feature of
The predetermined feature quantitatively extracted by the feature extractor
Video blocks that correspond to each other between different video frames.
Compare each other and change to a video based on the comparison result
And a determination unit that determines whether or not there is
The extractor, for each video block,
Hist that means the appearance frequency of the pixel in
Gram value is generated and the histogram value
As the predetermined feature of the video block, only a certain percentage is removed from the upper limit and the certain percentage from the lower limit of the histogram value generated by the feature amount extractor, and the maximum value of the luminance gradation value in which the significant value appears after the removal. The scale between the minimum value and the minimum value is converted into the maximum value and the minimum value of the luminance gradation value respectively, and expanded to the full scale to normalize the distribution of the histogram value and relax the localization of the histogram value. The present invention further comprises a histogram normalizer.
【０００９】 請求項３に記載の発明は、前記ヒストグ
ラム正規化器は、前記特徴量抽出器で生成されたヒスト
グラム値の上限から一定割合と下限から一定割合のみを
除去し、除去後の有意な値が出現する輝度階調値の最大
値と最小値との間のスケールを、それぞれ輝度階調値の
最大限度値と最小限度値に変換してフルスケールに伸長
してヒストグラム値の分布の正規化を行い、ヒストグラ
ム値の局在を緩和補正する機能を併せ有せしめられたも
のである。According to a third aspect of the present invention, the histogram normalizer removes only a certain percentage from the upper limit and the certain percentage from the lower limit of the histogram value generated by the feature amount extractor, and makes a significant difference after the removal. The scale between the maximum value and the minimum value of the brightness gradation value at which the value appears is converted to the maximum and minimum values of the brightness gradation value and expanded to full scale to normalize the histogram value distribution. It is also provided with a function to reduce the localization of the histogram value and correct it.
【００１０】 請求項４に記載の発明は、監視対象の付
近に設置されて当該監視対象を撮像する撮像カメラと、
前記撮像カメラで撮像された映像フレームを所定の複数
の小ブロックに分割し、各小ブロック毎の映像について
の所定の特徴を定量的に抽出する特徴量抽出器と、所定
個数の前記小ブロックをまとめて上位ブロックとし、前
記特徴量抽出器において前記各小ブロックについて定量
的に求められた前記所定の特徴を前記上位ブロックの単
位で統合する統合器と、前記統合器で統合された前記上
位ブロックの単位での前記所定の特徴と前記小ブロック
の単位での前記所定の特徴のそれぞれについて、異なる
映像フレーム間で比較し、その比較結果のうち、前記上
位ブロックと前記小ブロックのうちいずれか信頼性の高
い方の比較結果を用いて映像に変化があったか否かを判
定する判定部とを備えるものである。According to a fourth aspect of the present invention, an imaging camera installed near the monitoring target for capturing an image of the monitoring target,
A feature amount extractor that divides a video frame imaged by the imaging camera into a plurality of predetermined small blocks and quantitatively extracts a predetermined feature of the video of each small block, and a predetermined number of the small blocks. A high-level block as a whole, an integrator that integrates the predetermined features quantitatively obtained for each of the small blocks in the feature extractor in units of the high-level block, and the high-level block integrated by the integrator For each of the predetermined feature in the unit of and the predetermined feature in the unit of the small block, different video frames are compared, and among the comparison results, one of the upper block and the small block is trusted. And a determination unit that determines whether or not there is a change in the image using the comparison result of the one having a higher property.
【００１１】[0011]
【００１２】 請求項５に記載の発明は、前記特徴量抽
出器は、前記所定の特徴の値を、複数の映像フレームに
亘る移動合計または移動平均の値として抽出するもので
ある。According to a fifth aspect of the present invention, the feature amount extractor extracts the value of the predetermined feature as a moving total or moving average value over a plurality of video frames.
【００１３】 請求項６に記載の発明は、監視対象の付
近に設置されて当該監視対象を撮像する撮像カメラと、
前記撮像カメラで撮像された映像フレームを所定の複数
の小ブロックに分割し、各小ブロック毎の映像について
の所定の特徴を定量的に抽出する特徴量抽出器と、所定
個数の前記小ブロックをまとめて上位ブロックとし、前
記特徴量抽出器において前記各小ブロックについて定量
的に求められた前記所定の特徴を前記上位ブロックの単
位で統合する統合器と、前記統合器で統合された前記上
位ブロックの単位での前記所定の特徴を異なる映像フレ
ーム間で比較し、その比較結果に基づいて当該上位ブロ
ックの映像の変化の有無を判定し、その判定結果に従っ
て、映像の変化のあった上位ブロックに含まれる前記小
ブロックについての所定の比較パラメータを変更し、変
更された前記比較パラメータに応じて、当該小ブロック
の単位での前記所定の特徴を異なる映像フレーム間で比
較し、その比較結果に基づいて当該小ブロックの映像の
変化の有無を判定する判定部とを備えるものである。According to a sixth aspect of the present invention, an imaging camera installed near the monitoring target to capture an image of the monitoring target,
A feature amount extractor that divides a video frame imaged by the imaging camera into a plurality of predetermined small blocks and quantitatively extracts a predetermined feature of the video of each small block, and a predetermined number of the small blocks. A high-level block as a whole, an integrator that integrates the predetermined features quantitatively obtained for each of the small blocks in the feature extractor in units of the high-level block, and the high-level block integrated by the integrator The predetermined characteristics in units of are compared between different video frames, it is determined whether there is a change in the video of the upper block based on the comparison result, and according to the result of the determination, the upper block in which the video has changed A predetermined comparison parameter for the included small blocks is changed, and the unit in the unit of the small block is changed according to the changed comparison parameter. Characterized compare between different video frames of, in which and a determination unit for determining presence or absence of a change in the image of the small block based on the comparison result.
【００１４】[0014]
【００１５】 請求項７に記載の発明は、監視対象の付
近に設置されて当該監視対象を撮像する撮像カメラと、
前記撮像カメラで撮像された動画映像を圧縮する動画圧
縮器と、前記動画圧縮器で圧縮された複数の映像フレー
ム分の圧縮データを格納する圧縮データメモリと、前記
圧縮データメモリに格納された圧縮データを復号する復
号器と、当該復号器で復号された復号データに基づいて
得られた映像フレームを所定の複数の映像ブロックに分
割し、各映像ブロック毎の映像についての所定の特徴を
定量的に抽出し、抽出された前記所定の特徴について異
なる映像フレーム間で比較し、その比較結果に基づいて
当該映像ブロックの映像の変化の有無を判定する進入物
検出装置と、前記進入物検出装置においての比較に用い
られるパラメータを変更するパラメータ調整制御器と前
記所定の通報先に設置されて前記動画圧縮器で圧縮され
た圧縮データを蓄積するデータベースと、を備え、前記
パラメータ調整制御器において前記パラメータを新たな
パラメータ値として変更した後、前記データベース内に
蓄積された過去の圧縮データを前記復号器に送信するよ
うにし、前記進入物検出装置において、前記過去の圧縮
データに基づいて、その各映像ブロック毎の映像につい
ての所定の特徴を定量的に抽出し、抽出された前記所定
の特徴について異なる映像フレーム間で比較し、前記新
たなパラメータをもって映像の変化を判定して、前記新
たなパラメータの検証を行うようにしたものである。According to a seventh aspect of the present invention, a monitoring target is attached.
An image pickup camera installed near the image pickup device for picking up the monitoring target;
Video pressure that compresses the video image captured by the imaging camera
And a plurality of video frames compressed by the video compressor.
A compressed data memory for storing compressed data for
Decompress the compressed data stored in the compressed data memory.
No. and the decoded data decoded by the decoder
Divide the obtained video frame into multiple predetermined video blocks.
Divide the specified characteristics of the video for each video block
Quantitatively extract the difference in the extracted predetermined features.
Based on the comparison result
Entering object that determines whether or not the video of the video block has changed
Used for comparison between the detection device and the intruder detection device
And a database for storing the compressed data compressed by the video compressor is installed in the parameter adjustment control unit and the front <br/> SL predetermined report destination to change are parameter, it said in the parameter adjustment controller After changing the parameter as a new parameter value, the past compressed data accumulated in the database is transmitted to the decoder, and in the intruding object detection device, based on the past compressed data, Quantitatively extracting a predetermined feature of a video for each video block, comparing the extracted predetermined features between different video frames, determining a change in the video with the new parameter, and determining the new parameter. The verification is done.
【００１６】[0016]
【発明の実施の形態】｛第１の実施の形態｝図１はこの
発明の第１の実施の形態に係る監視装置が適用された監
視システムのブロック図である。この監視システムは、
例えば深夜のオフィスビル内等のように、本来、人間が
行き来しないような時間帯において、侵入者の侵入等の
異常事態を検出するものであって、図１の如く、ビル内
の監視対象となる各フロアの天井等にテレビカメラ１１
を設置し、このテレビカメラ１１で各フロア内の情景を
撮像し、その撮像結果の情景映像（監視映像）を、所定
の特徴量抽出器１３によって、フレーム毎に且つ所定の
ブロック毎にヒストグラム化し、かかるヒストグラム値
の時間的な差分を所定の映像変化判定部１６で求めて、
その差分値が一定のしきい値より大きい場合に、フロア
内の被写体に何らかの変化があったものとしてその旨を
判定するようにしたものである。BEST MODE FOR CARRYING OUT THE INVENTION {First Embodiment} FIG. 1 is a block diagram of a monitoring system to which a monitoring device according to a first embodiment of the present invention is applied. This surveillance system
For example, in an office building in the middle of the night, an abnormal situation such as an intruder's intrusion is detected in a time zone where people are not supposed to come and go, and as shown in FIG. TV camera 11 on the ceiling of each floor
Is installed, the scene in each floor is imaged by the TV camera 11, and a scene image (surveillance image) of the imaged result is converted into a histogram for each frame and for each predetermined block by the predetermined feature amount extractor 13. , A predetermined video change determination unit 16 obtains a temporal difference between the histogram values,
When the difference value is larger than a certain threshold, it is determined that the subject on the floor has changed.
【００１７】テレビカメラ１１はＣＣＤ等の撮像素子等
を備えた一般的なものが使用され、ここで撮像された監
視映像をＮＴＳＣ信号としてアナログ・ディジタル変換
器（ＡＤＣ）１２に出力し、このアナログ・ディジタル
変換器１２でディジタル信号に変換した後、特徴量抽出
器１３に伝送する。As the TV camera 11, a general one equipped with an image pickup device such as a CCD is used, and the monitor image picked up here is output to an analog-digital converter (ADC) 12 as an NTSC signal, and this analog signal is output. After being converted into a digital signal by the digital converter 12, it is transmitted to the feature quantity extractor 13.
【００１８】アナログ・ディジタル変換器１２から出力
されるディジタル信号としては、各画素毎の毎に８ビッ
ト（「０」〜「２５５」の２５６階調）長に形成された
輝度データが適用される。As the digital signal output from the analog-to-digital converter 12, luminance data formed in a length of 8 bits (256 gradations of "0" to "255") for each pixel is applied. .
【００１９】特徴量抽出器１３は、与えられた監視映像
の映像フレームを所定のブロックに分割した後に当該各
ブロック毎のヒストグラムを生成するヒストグラム生成
機１４と、このヒストグラム生成機１４で生成されたヒ
ストグラム値を格納するヒストグラムメモリ１５とを備
えたものである。The feature amount extractor 13 is generated by the histogram generator 14 which divides the video frame of the given surveillance video into predetermined blocks and then generates a histogram for each block, and the histogram generator 14. A histogram memory 15 for storing histogram values is provided.
【００２０】ヒストグラム生成機１４で分割されるブロ
ックは、例えば図２の如く、縦横それぞれ１６ｐｉｘｅ
ｌずつの長さの正方形状に形成された映像ブロックであ
る。そして、ヒストグラム生成機１４で生成されるヒス
トグラム値ｆ1（ｘ）〜ｆ3（ｘ）（ただし「ｘ」は階調
値を意味している）は次のように生成される。まず、各
映像ブロック内において、その全ての画素を対象に各色
成分（Ｒ（赤色）・Ｇ（緑色）・Ｂ（青色）の３成分）
の輝度の平均値（成分平均輝度値）を算出する。そし
て、各映像ブロック毎に、図３のように、成分平均輝度
値（階調）を横軸に取り、それぞれの階調の出現頻度を
縦軸にとって分布化し、各ブロック毎及び各階調毎のヒ
ストグラム値ｆ1（ｘ）〜ｆ3（ｘ）が生成される。ここ
で、図３中の縦軸（出現頻度）は、全ての階調について
のヒストグラム値を合計したときにその合計値が「１」
になるように正規化されている。かかる各フレームの各
映像ブロックにおける各階調毎のヒストグラム値ｆ
1（ｘ）〜ｆ3（ｘ）は、前述のヒストグラムメモリ１５
に順次格納される。The blocks divided by the histogram generator 14 are, for example, as shown in FIG.
It is a video block formed in a square shape having lengths of l. Then, the histogram values f 1 (x) to f 3 (x) (where “x” means a gradation value) generated by the histogram generator 14 are generated as follows. First, in each video block, each color component (3 components of R (red), G (green), and B (blue)) is targeted for all the pixels.
Then, the average value of the luminance of (the component average luminance value) is calculated. Then, for each video block, as shown in FIG. 3, the component average luminance value (gradation) is plotted on the abscissa, and the appearance frequency of each gradation is distributed on the ordinate, and distribution is performed for each block and each gradation. Histogram values f 1 (x) to f 3 (x) are generated. Here, the vertical axis (appearance frequency) in FIG. 3 indicates that the total value is “1” when the histogram values for all the gradations are summed up.
Is normalized so that Histogram value f for each gradation in each video block of each frame
1 (x) to f 3 (x) are the above-mentioned histogram memory 15
Are sequentially stored in.
【００２１】映像変化判定部１６は、経時的に得られる
各フレーム毎の各ヒストグラム値について、異なるフレ
ーム間でのヒストグラム値の差分の各映像ブロック内で
の合計値（この明細書では、かかる差分の合計値を単に
「距離」と略称することにする）を求める距離算出器１
７と、当該距離が所定のしきい値より大きいときに、監
視映像中に何らかの物体の移動動作があった旨を判定す
る判定器１８とを備えるものである。The image change determination unit 16 calculates the total value of the histogram value differences between different frames for each histogram value obtained for each frame over time (in this specification, such a difference). Distance calculator 1 for obtaining the total value of
7 and a determiner 18 for determining that there is some movement of an object in the surveillance video when the distance is larger than a predetermined threshold value.
【００２２】距離算出器１７において、前述の差分を求
める際の「異なるフレーム間」の照合は、最新の注目フ
レームに対して例えば１秒前の過去のフレームを照合す
るものとする。図４のように、ブロック番号をｉ（＝
１，２，…）とし、輝度階調をｘ（＝０，１，…２５
５）とし、注目フレームの各映像ブロックの各階調毎の
ヒストグラム値をｆi（ｘ）、この注目フレームの１秒
前の過去のフレームにおける各映像ブロックの各階調毎
のヒストグラム値をｇi（ｘ）とすると、ブロック番号
ｉの映像ブロックの距離ｄiは次の（１）式により求め
られる。The distance calculator 17 collates "between different frames" when obtaining the above-mentioned difference by collating a past frame, for example, one second before the latest target frame. As shown in FIG. 4, the block number is i (=
1, 2, ...) and the brightness gradation is x (= 0, 1, ... 25)
5), and the histogram values f i of each gradation of each image block of the frame of interest (x), the histogram value of each gradation of each image block in the past frame of 1 second before the frame of interest g i ( x), the distance d i of the video block with block number i can be calculated by the following equation (1).
【００２３】[0023]
【数１】 [Equation 1]
【００２４】この（１）式によって求められた距離ｄi
は、１秒間に各ヒストグラム値の変化がどの程度あった
かを表しており、各映像ブロック毎に求められるもの
で、この距離ｄiを映像座標中にプロットすると図５の
ようになる。The distance d i obtained by the equation (1)
Represents how much each histogram value changes in one second, and is obtained for each video block. When this distance d i is plotted in the video coordinates, it becomes as shown in FIG.
【００２５】判定器１８は、距離算出器１７で算出され
た距離ｄiと予めＲＯＭ等に設定されたしきい値ｃとを
比較し、距離ｄiがしきい値ｃより大きい場合には、そ
の距離ｄiに係る映像ブロックに輝度変化があったもの
と判断し、１フレーム中において輝度変化のあったブロ
ックの合計が事前に決められた値Ｃallより大きいとき
には、侵入者があったと判断して、警備センター等の所
定の部局に警報を報知する。The determiner 18 compares the distance d i calculated by the distance calculator 17 with a threshold value c preset in the ROM or the like. If the distance d i is larger than the threshold value c, It is determined that the video block associated with the distance d i has a luminance change, and when the total of the blocks having a luminance change in one frame is larger than a predetermined value C all, it is determined that there is an intruder. Then, the alarm is notified to a predetermined department such as a security center.
【００２６】尚、これらの各制御機能は、具体的には、
ＲＯＭおよびＲＡＭ等が接続された所定のＣＰＵを使用
し、ＲＯＭ等に予め格納された所定のソフトウェアプロ
グラムに従って動作する機能である。Incidentally, each of these control functions, specifically,
This is a function of using a predetermined CPU to which a ROM and a RAM are connected and operating according to a predetermined software program stored in advance in the ROM and the like.
【００２７】このように、撮像カメラで撮像した監視映
像に基づいて、輝度が大幅に変化したような異常事態の
発生時にのみ警備センター側に警報を送信できるので、
監視者は、配信されてきた映像を肉眼にて常時見続けな
くてもよくなり、監視者の精神的及び肉体的な労力負担
を大幅に軽減できる。As described above, the alarm can be transmitted to the security center side only when an abnormal situation such as a significant change in the brightness occurs based on the surveillance video imaged by the imaging camera.
The observer does not have to keep watching the delivered image with the naked eye at all times, and the mental and physical labor burden of the observer can be significantly reduced.
【００２８】そして、上記のように、各フレームの輝度
の変化を判定する際に、まず所定の映像ブロック毎に分
割し、その映像ブロック毎にヒストグラム値を求めてか
ら、そのヒストグラム値の差分を求めるようにしている
ので、例えば各画素毎に輝度の差分を求めたり、映像圧
縮の分野で使用される「動き検出」等の差分データを使
用して映像変化を判断する場合に比べて、ＣＰＵの負荷
を大幅に軽減することが可能となり、一般的に普及して
いるパーソナルコンピュータ等を使用しても十分に上記
機能を発揮させることができることから、装置コストを
低減でき、安価な監視装置を提供できる。As described above, when determining the change in the brightness of each frame, first, the image data is divided into predetermined video blocks, the histogram value is obtained for each video block, and the difference between the histogram values is calculated. As compared with a case where a difference in brightness is obtained for each pixel or a difference in data such as “motion detection” used in the field of image compression is used to determine a change in image, the CPU is determined. It is possible to significantly reduce the load on the device, and it is possible to sufficiently exhibit the above-mentioned functions even when using a general-purpose personal computer or the like. Therefore, it is possible to reduce the device cost and to provide an inexpensive monitoring device. Can be provided.
【００２９】尚、この実施の形態では、ヒストグラム値
を各輝度階調値ごとに生成するようにしていたが、例え
ば２階調ごと、４階調毎、または８階調毎に生成するよ
うにしてもよい。In this embodiment, the histogram value is generated for each luminance gradation value, but it may be generated for example every 2 gradations, every 4 gradations, or every 8 gradations. May be.
【００３０】｛第２の実施の形態｝蛍光灯のフリッカや
天候の変化による全体的な明るさの変化があったとき
に、単にヒストグラム間の距離を計算して判定すると侵
入があったかどうかに対して誤認識しやすい。かかる誤
認識を低減するため、第２の実施の形態に係る監視装置
では、得られたヒストグラムの正規化を行い、これによ
り誤判定を防止するようにしたものである。[Second Embodiment] When there is a change in the overall brightness due to a flicker of a fluorescent lamp or a change in the weather, simply calculating the distance between the histograms to determine whether or not there is an intrusion. It is easy to misunderstand. In order to reduce such erroneous recognition, the monitoring device according to the second embodiment normalizes the obtained histogram to prevent erroneous determination.
【００３１】この実施の形態に係る監視装置を図６に示
す。尚、図６では、図１に示した第１の実施の形態と同
様の機能を有する要素については同一符号を付してい
る。FIG. 6 shows a monitoring device according to this embodiment. In FIG. 6, elements having the same functions as those of the first embodiment shown in FIG. 1 are designated by the same reference numerals.
【００３２】この監視装置は、図１に示した第１の実施
の形態に係る監視装置の特徴量抽出器１３に対して、さ
らにヒストグラム正規化器２１を内蔵したものである。This monitoring apparatus has a histogram normalizer 21 built in in addition to the feature quantity extractor 13 of the monitoring apparatus according to the first embodiment shown in FIG.
【００３３】ヒストグラム正規化器２１は、ヒストグラ
ムメモリ１５において、１フレーム分のヒストグラム値
の生成が完了した時点で、かかるヒストグラム値を受信
し、次に説明する第一正規化処理及び第二正規化処理を
実行し、これらの正規化処理後のデータをヒストグラム
メモリ１５に上書きする。The histogram normalizer 21 receives the histogram value at the time when the generation of the histogram value for one frame is completed in the histogram memory 15, and the first normalization processing and the second normalization described below are performed. The process is executed, and the data after the normalization process is overwritten on the histogram memory 15.
【００３４】第一正規化処理は、昼夜の光量差や蛍光灯
のフリッカ等によってフレーム全体の明るさが変化する
場合に、かかる変化を補正して同等のヒストグラム値の
レンジを得るためのものであって、次のように行われ
る。まず、次の（２）式に基づいて、各画素の階調値ｘ
（ただし、ｘ＝０，１，…２５５）に対するヒストグラ
ム値ｆi（ｘ）（ただし、ｉ＝１，２，…）の積分値Ａ
を求め、この積分値Ａをもって１フレーム全体の明るさ
度合いの値とする。The first normalization processing is for correcting the change in the brightness of the entire frame due to the difference in the amount of light at night and the flicker of the fluorescent lamp or the like to obtain an equivalent range of histogram values. It is done as follows. First, the gradation value x of each pixel is calculated based on the following equation (2).
(Where x = 0, 1, ... 255), the integrated value A of the histogram value f i (x) (where i = 1, 2, ...)
And the integrated value A is used as the value of the brightness degree of the entire one frame.
【００３５】[0035]
【数２】 [Equation 2]
【００３６】そして、次の（３）式に基づいて、各ヒス
トグラム値ｆi（ｘ）を上記積分値（明るさ度合いの
値）Ａで除算し、新たなヒストグラムを計算する。Then, based on the following equation (3), each histogram value f i (x) is divided by the above integrated value (value of brightness degree) A to calculate a new histogram.
【００３７】[0037]
【数３】 [Equation 3]
【００３８】また特に夜間の監視においては、昼間に比
べて画像の鮮明度が大幅に低下する。このような場合に
は、図７の如く、各ヒストグラム値（頻度）ｆi（ｘ）
が輝度値ｘの小さい部分（暗い部分）Ｘｌｏｗに局在す
ることになる。また、テレビカメラ１１の撮像素子とし
てＣＣＤカメラを使用する場合には、輝度値ｘの大小に
拘わらずノイズが増加する。したがって、このまま距離
ｄi（上記（１）式及び図５参照）を計算すると、特に
ヒストグラム値ｆi（ｘ）として小さな値が出現する高
輝度値部分Ｘｈｉｇｈおいて誤差が大きくなり、誤判定
の原因となる。そこで、第二正規化処理において、図８
の如く、ヒストグラムの有意な値を示す領域をフルスケ
ールに伸長する。具体的には、図９の如く、元のヒスト
グラム分布のうち、低輝度領域及び高輝度領域について
全体のそれぞれ１％の頻度を示すデータを割り出し、最
小データから順に見て全体の１％のヒストグラム値（頻
度）を示す輝度値を有意な輝度データとしての最小値ｘ
minとするとともに、最大データから順に見て全体の１
％のヒストグラム値（頻度）を示す輝度値を有意な輝度
データとしての最大値ｘmaxとし、所定のマッピング関
数を用いて有意な値を示す領域をフルスケールに伸長す
る。この際のマッピング関数は、最小値ｘminを輝度値
ｘとしての「０」値（最小限度値）に、最大値ｘmaxを
輝度値ｘとしての「２５５」値（最大限度値）に線形的
にスケール変換するように予めプログラミングされたも
のである。ただし、使用するＣＰＵの負荷などに余裕の
ある場合には、非線形なスケール変換を行うことも可能
である。このようなマッピング関数を使って、ある領域
（例えば輝度値ｘの小さい部分（暗い部分）Ｘｌｏｗ）
に局在したヒストグラム分布を「０」から「２５５」の
フルスケールに伸長することができ、有意なヒストグラ
ム値の少ない領域についての誤判定を軽減することがで
きる。Further, particularly in the nighttime monitoring, the sharpness of the image is significantly lower than that in the daytime. In such a case, as shown in FIG. 7, each histogram value (frequency) f i (x)
Will be localized in the Xlow portion where the luminance value x is small (dark portion). Further, when a CCD camera is used as the image pickup element of the television camera 11, noise increases regardless of the magnitude of the brightness value x. Therefore, if the distance d i (see the above equation (1) and FIG. 5) is calculated as it is, the error becomes large especially in the high-brightness value portion Xhigh where a small value appears as the histogram value f i (x). Cause. Therefore, in the second normalization process, as shown in FIG.
As described above, the region showing a significant value in the histogram is expanded to full scale. Specifically, as shown in FIG. 9, in the original histogram distribution, data showing a frequency of 1% of the whole in each of the low-luminance region and the high-luminance region is calculated, and the histogram of 1% of the whole is viewed in order from the smallest data. The minimum value x of the brightness value indicating the value (frequency) as significant brightness data
It is set to min and the whole data is 1 in order from the maximum data.
The luminance value indicating the histogram value (frequency) of% is set as the maximum value x max as the significant luminance data, and the region indicating the significant value is expanded to full scale using a predetermined mapping function. The mapping function at this time is linearly defined by setting the minimum value x min to a “0” value (minimum value) as the brightness value x and the maximum value x max to a “255” value (maximum value) as the brightness value x. Is pre-programmed to scale. However, when there is a margin in the load of the CPU to be used, non-linear scale conversion can be performed. By using such a mapping function, a certain area (for example, a portion (dark portion) Xlow where the luminance value x is small)
It is possible to extend the histogram distribution localized in the area from “0” to the full scale of “255”, and reduce the misjudgment for the region having a small number of significant histogram values.
【００３９】｛第３の実施の形態｝監視装置において進
入物を検知する際、その進入物の大きさ、あるいはカメ
ラからの進入物までの距離によって、映像フレーム中に
現れる進入物の大きさが大幅に変化する。{Third Embodiment} When an intruding object is detected by the monitoring device, the size of the intruding object appearing in the video frame depends on the size of the entering object or the distance from the camera to the entering object. It changes drastically.
【００４０】このような場合に、既に上記した実施の形
態のように、映像ブロックのサイズが縦横それぞれ１６
ｐｉｘｅｌずつの長さ程度に固定されていると、ひとつ
の映像ブロックは非常に小さな局所領域に対応するのみ
で、大きな侵入物が多少動いた程度ではこのような局所
領域のヒストグラムの変化には適切に現われてこない場
合がある。In such a case, as in the above-described embodiment, the size of the video block is 16 in each of the vertical and horizontal directions.
If the length of each pixel is fixed, one video block corresponds to a very small local area, and if a large intruder moves a little, it is appropriate for such a change in the histogram of the local area. May not appear in.
【００４１】例えば、図１０のように、１フレームを縦
方向に１０区切り、横方向に１２区切りして１０×１２
＝１２０個の映像ブロックをもって進入物２５の動きを
判定する場合、進入物２５の輪郭が移動して輝度変化し
た映像ブロック（図１０中の白丸部分）については、そ
のときの輝度変化をもって映像ブロックの変化を判定で
きるものの、例えば侵入者がモノトーンの服を着衣して
いる場合など、進入物２５の中腹部（図１０中のｘ印部
分）の色の変化がない場合には、その部分が移動したと
しても輝度の変化があまり見られないため、かかる部分
に相当した映像ブロックの変化を小さなブロックで判定
することはできない。例えば、図１０の場合、１２０個
の映像ブロック中、２２個のの映像ブロック（白丸部
分）しか輝度の変化を判定できなくなる。そして、この
ような場合は、むしろ、図１１のようにひとまわり大き
な映像ブロックで輝度変化の判定を行った方が、全体と
して進入物２５の動きの変化を検出しやすい場合が多
い。具体的には、図１１の例では、５×６＝３０個の映
像ブロック中８個の映像ブロックが変化したことにな
り、この８／３０が、図１０の例における２２／１２０
より大きな値となる。For example, as shown in FIG. 10, one frame is divided into 10 parts in the vertical direction and 12 parts in the horizontal direction to form 10 × 12.
= 120 video blocks are used to determine the movement of the entering object 25, the video block (the white circle in FIG. 10) whose brightness has changed due to the contour of the entering object 25 has changed its brightness. However, if there is no change in the color of the middle abdomen (the portion marked with x in FIG. 10) of the intruder 25, for example, when the intruder is wearing monotone clothes, that portion is Even if it moves, the change in the luminance is not so much seen, and therefore the change in the video block corresponding to such a portion cannot be determined with a small block. For example, in the case of FIG. 10, out of 120 video blocks, only 22 video blocks (white circles) can determine the change in luminance. In such a case, rather, it is often easier to detect the change in the movement of the entering object 25 as a whole by determining the change in the brightness with a slightly larger image block as shown in FIG. Specifically, in the example of FIG. 11, 8 video blocks have changed in 5 × 6 = 30 video blocks, and this 8/30 is 22/120 in the example of FIG.
It will be a larger value.
【００４２】このことを考慮し、第３の実施の形態に係
る監視装置では、図１２の如く、小ブロック（ヒストグ
ラム値Ｆ1 1（ｘ）〜Ｆ4 1（ｘ）を生成するブロック）、
中ブロック（Ｆ1 2（ｘ）〜Ｆ4 2（ｘ）を生成するブロッ
ク）及び大ブロック（Ｆ1 3（ｘ）を生成するブロック）
というように映像ブロックを階層的にまとめ、各階層の
映像ブロックのそれぞれについて上記ヒストグラム間の
距離ｄiを算出し、その結果最も大きな変化が見られた
階層の映像ブロックの距離ｄiを採用することで、適切
な階層の大きさのブロックサイズにおいて全体的な動き
があるかどうかを適切に判断することができる。In consideration of this, in the monitoring apparatus according to the third embodiment, as shown in FIG. 12, small blocks (blocks for generating histogram values F 1 1 (x) to F 4 1 (x)),
Medium block (block generating F 1 2 (x) to F 4 2 (x)) and large block (block generating F 1 3 (x))
Hierarchically summarizes the video block and so, for each of the image blocks in each hierarchy calculates the distance d i between the histograms, employing a distance d i video block resulting greatest changes were seen hierarchical Thus, it is possible to appropriately determine whether or not there is overall movement in a block size having an appropriate hierarchy size.
【００４３】具体的には、次の（４）式のように、１層
目の４つの小ブロックのヒストグラム値を統合して、新
たな２層目の各中ブロックのヒストグラム値とし、ま
た、（５）式のように、２層目の４つの中ブロックのヒ
ストグラム値を統合して、新たな３層目の大ブロックの
ヒストグラム値とする。計算方法は、（４）式及び
（５）式のように、単純に４つのヒストグラム値を加え
る。尚、図１２、（４）式及び（５）式において、Ｆ1 1
（ｘ）〜Ｆ4 1（ｘ），Ｆ1 2（ｘ）〜Ｆ4 2（ｘ），Ｆ
1 3（ｘ）中の右上の添え字は階層番号を表し、右下の添
え字は映像ブロックの番号を表している。Specifically, as shown in the following equation (4), the histogram values of the four small blocks in the first layer are integrated into a new histogram value of each medium block in the second layer, and As shown in the equation (5), the histogram values of the four medium blocks of the second layer are integrated into a new histogram value of the large block of the third layer. As the calculation method, four histogram values are simply added, as in Expressions (4) and (5). In addition, in FIG. 12, Formula (4) and Formula (5), F 1 1
(X) ~F 4 1 (x ), F 1 2 (x) ~F 4 2 (x), F
1 3 upper right subscript in (x) represents the hierarchy number, subscript lower right represents the number of video blocks.
【００４４】[0044]
【数４】 [Equation 4]
【００４５】[0045]
【数５】 [Equation 5]
【００４６】かかる映像ブロックのヒストグラム値の統
合は、図１３の如く、ヒストグラムメモリ１５と距離算
出器１７との間に介装されたヒストグラム統合器２６に
おいて行われる。尚、図１３では、図６に示した第２の
実施の形態と同様の機能を有する要素については同一符
号を付している。As shown in FIG. 13, the integration of the histogram values of the video blocks is performed by the histogram integrator 26 interposed between the histogram memory 15 and the distance calculator 17. Note that, in FIG. 13, elements having the same functions as those in the second embodiment shown in FIG. 6 are designated by the same reference numerals.
【００４７】また、映像変化判定部１６の距離算出器１
７は、第１の実施の形態及び第２の実施の形態と同様の
機能を有し、各ブロックにおける距離ｄiを上記（１）
式により求める。Further, the distance calculator 1 of the image change determination unit 16
7 has the same function as in the first and second embodiments, and the distance d i in each block is set to the above (1).
Calculate by formula.
【００４８】そして、映像変化判定部１６の判定器１８
においては、最も大きな変化が見られた階層の映像ブロ
ックの距離ｄiを選択して採用し、これに基づいて進入
物２５の有無を判定する。この時の映像ブロックの選択
方法について説明する。Then, the judging unit 18 of the image change judging unit 16
In (1), the distance d i of the video block of the layer in which the largest change is seen is selected and adopted, and the presence or absence of the entering matter 25 is determined based on this. A method of selecting a video block at this time will be described.
【００４９】図１４は第１層目（最下層、即ち小ブロッ
ク）での判定動作を示す図であり、黒丸はヒストグラム
間距離の判断において輝度の変化があったと判定された
映像ブロックを示している。また、図１５はその一つ上
の第２層目（中ブロック）での判定動作を示す図であ
る。まず、これらの各階層でクラス（クラス１〜３）を
求める。FIG. 14 is a diagram showing the determination operation in the first layer (the bottom layer, that is, a small block), and the black circles indicate the video blocks determined to have a change in luminance in the determination of the distance between histograms. There is. In addition, FIG. 15 is a diagram showing the determination operation in the second layer (middle block) immediately above that. First, the classes (classes 1 to 3) are obtained in each of these layers.
【００５０】クラスの作り方は、図１４及び図１５での
各黒丸に対して、図１６の如く、縦方向、横方向または
斜め方向（８近傍）のいずれかに黒丸があれば、これら
の黒丸同士が互いに一つのクラスと判定する。As shown in FIG. 16, if there are black circles in the vertical direction, the horizontal direction, or the diagonal direction (near 8) with respect to the black circles in FIGS. 14 and 15, these black circles are created. Judge that they are one class.
【００５１】そして、これらの各クラス１〜３におい
て、クラス内分散とクラス外分散を計算する。Then, in each of these classes 1 to 3, the within-class variance and the out-of-class variance are calculated.
【００５２】（６）式はクラス内分散σ2 wを求める式で
あり、（６）式中のχiはクラスｉの距離データの集
合、ｎiはχiに含まれるデータ数、ｍiはクラスｉの距
離データの平均値、ｎは全データ数、ｍは全データの平
均値をそれぞれ示している。この（６）式により求まる
クラス内分散σ2 wは、各クラスの中で距離のばらつきが
どの程度かを表すことになる。Equation (6) is an equation for obtaining the within-class variance σ 2 w . In Equation (6), χ i is a set of distance data of class i, n i is the number of data contained in χ i , and m i Indicates the average value of the distance data of class i, n indicates the total number of data, and m indicates the average value of all data. The in-class variance σ 2 w obtained by the equation (6) represents how much the variation in distance is within each class.
【００５３】[0053]
【数６】 [Equation 6]
【００５４】また、（７）式はクラス外分散σ2 Bを求め
る式であり、（７）式中の各変数は（６）式と同様であ
る。この（６）式により求まるクラス外分散σ2 Bは、各
クラスでの距離の平均値がクラスによってどのようにば
らついているかを表している。Equation (7) is an equation for obtaining the out-of-class variance σ 2 B , and each variable in equation (7) is the same as in equation (6). The out-of-class variance σ 2 B obtained by the equation (6) represents how the average value of the distances in each class varies depending on the class.
【００５５】[0055]
【数７】 [Equation 7]
【００５６】 図１４及び図１５において、３つの侵入
物があると仮定すると、各々のクラス１〜３の黒丸は同
じような動きを示し、また各クラス１〜３内での距離の
ばらつきは小さいと考えられる。３つのクラス１〜３の
動きは別々のため、クラス間の距離のばらつき程度が大
きいと考えられる。Assuming that there are three intruders in FIGS. 14 and 15, the black circles of each of the classes 1 to 3 show similar movements, and the variation in the distance within each of the classes 1 to 3 is small. it is conceivable that. Since the movements of the three classes 1 to 3 are different, it is considered that there is a large degree of variation in the distance between the classes.
【００５７】そこで、次の（８）式に従って、クラス内
分散σ2 wに対するクラス外分散σ2 Bの比Ｊを求め、かか
る比Ｊが大きいほど正確な特徴量を示すと判断できる。Therefore, the ratio J of the out-of-class variance σ 2 B to the in-class variance σ 2 w is obtained according to the following equation (8), and it can be determined that the larger the ratio J, the more accurate the feature amount is.
【００５８】[0058]
【数８】 [Equation 8]
【００５９】例えば、（８）式では、小さな映像ブロッ
ク（図１４）で比Ｊを求めると、１つの物体が複数のク
ラスに分割されてしまいその結果小さい値となる。一
方、大きい映像ブロック（図１５）で比Ｊを求めると、
適切な大きさの映像ブロックによりクラスが表現され、
その結果大きな値となる。したがって、このような場合
は、比Ｊの大きな方として、図１５のような中ブロック
を採用して判定を行うべきと判断できる。For example, in the equation (8), if the ratio J is calculated with a small image block (FIG. 14), one object is divided into a plurality of classes, and as a result, the value becomes a small value. On the other hand, when the ratio J is calculated for a large video block (FIG. 15),
Classes are represented by appropriately sized video blocks,
As a result, it becomes a large value. Therefore, in such a case, it can be determined that the determination should be made using the medium block as shown in FIG.
【００６０】このようなブロックのサイズを選択して採
用した後は、上記各実施の形態と同様にして進入物２５
の判定を行えばよい。After selecting and adopting such a block size, the entering object 25 is processed in the same manner as in the above-mentioned respective embodiments.
Should be determined.
【００６１】このように、階層的に映像ブロックを統合
すると、進入物２５を検知するのに適切なブロックサイ
ズを選択することで、感度のよい判定を行うことができ
る。As described above, when the image blocks are hierarchically integrated, it is possible to make a highly sensitive determination by selecting an appropriate block size for detecting the entering object 25.
【００６２】｛第４の実施の形態｝鉢植えの植物等があ
るフロアの監視においては、進入物２５に対しては警備
センターに警報を報知する必要があるものの、植物の葉
が風などで揺れた場合の動きについては反応せずに報知
したくないという事情がある。また、カーテンなどが風
のために揺れたような場合も同様に、警備センターに報
知することは望ましくない。{Fourth Embodiment} In monitoring a floor with potted plants or the like, although it is necessary to notify the security center of the intruding object 25, the leaves of the plant sway due to wind or the like. There is a circumstance that I do not want to inform about the movement in case of I do not react. Similarly, it is not desirable to notify the security center when the curtain or the like sways due to the wind.
【００６３】そこで、第４の実施の形態に係る監視装置
は、第３の実施の形態のようにして図１４〜図１６に示
したクラスを検出した後、その各クラスの重心を求め、
図１７のようにフレーム間隔おきに重心の動きを刻々と
記憶し、その重心がフレーム間隔に比べて十分長い所定
の区切り時間（例えば１０秒間）にどの程度移動したか
を検出し、その移動量が一定のしきい値より大きけれ
ば、進入物２５である蓋然性が高いものとして警備セン
ターに報知するようになっている。かかる処理は、図１
８の如く、距離算出器１７と判定器１８との間に介装さ
れた重心座標メモリ２９を使用して実行される。尚、図
１８では、図１に示した第１の実施の形態と同様の機能
を有する要素については同一符号を付している。Therefore, the monitoring apparatus according to the fourth embodiment detects the classes shown in FIGS. 14 to 16 as in the third embodiment, and then finds the center of gravity of each class.
As shown in FIG. 17, the movement of the center of gravity is memorized every frame interval, and it is detected how much the center of gravity has moved at a predetermined break time (for example, 10 seconds) sufficiently longer than the frame interval, and the movement amount thereof is detected. If is larger than a certain threshold value, the security center is notified as a highly probable entry object 25. Such processing is shown in FIG.
8 is performed using the barycentric coordinate memory 29 interposed between the distance calculator 17 and the determiner 18. In FIG. 18, elements having the same functions as those of the first embodiment shown in FIG. 1 are designated by the same reference numerals.
【００６４】重心座標メモリ２９では、０．５秒おきに
各クラスの重心座標を記億しておく。図１７は０．５秒
おきの重心座標の変化を示している。進入物２５の場合
には、目的地に向かって進行するため、一定の区切り時
間にある一定以上の移動量がみられる。一方、植物の葉
等２８の揺れ等の重心座標の動きは、一定の基準ポイン
トを中心に上下左右等に往復動作または回転動作をする
だけで、基準ポイントから大きく移動することはない。
この点で、進入物２５と植物の葉等２８とはその動きに
大きな違いがある。The barycentric coordinate memory 29 stores the barycentric coordinates of each class every 0.5 seconds. FIG. 17 shows changes in the barycentric coordinates every 0.5 seconds. In the case of the intruding object 25, since it advances toward the destination, the amount of movement over a certain amount at a certain break time is observed. On the other hand, the movement of the center of gravity such as shaking of the leaves 28 of a plant only reciprocates vertically or horizontally around a certain reference point or rotates, and does not move largely from the reference point.
In this respect, there is a big difference in the movement between the intruding object 25 and the plant leaves 28.
【００６５】判定器１８は、この重心の動きに基づい
て、進入物２５か植物の葉等２８の揺れかを判定する。
即ち、例えば１０秒間に重心座標が大きく変化したとき
には、フロア内に何らかの進入物２５が進入した可能性
が強いと判断し、警備センターに報知する一方、例えば
１０秒間における物体の移動量が一定のしきい値以内で
ある場合には、植物の葉等２８の揺れ等である可能性が
強いと判断し、警備センターへの報知を行わないように
する。The determiner 18 determines whether the entering matter 25 or the leaves 28 of the plant is shaking based on the movement of the center of gravity.
That is, for example, when the barycentric coordinate greatly changes in 10 seconds, it is determined that there is a strong possibility that some intruding object 25 has entered the floor and the security center is notified, while the movement amount of the object in 10 seconds is constant. If it is within the threshold value, it is determined that there is a strong possibility that the leaf 28 or the like of the plant is swaying, and no notification is given to the security center.
【００６６】これにより、警備センターへの誤報を防止
できるという利点がある。This has the advantage that false alarms to the security center can be prevented.
【００６７】｛第５の実施の形態｝夜間の部屋の監視で
は、明るさが不十分で撮像素子のノイズによって進入物
を正確に検知できなくなる。{Fifth Embodiment} In the room monitoring at night, the brightness is insufficient and the entering object cannot be accurately detected due to the noise of the image pickup device.
【００６８】そこで、第５の実施の形態に係る監視装置
では、図１９の如く、累積機能付きヒストグラムメモリ
３１により１０フレーム分のヒストグラム値の移動合計
または移動平均を記憶し、この移動合計または移動平均
に基づいて距離算出器１７での距離ｄiの算出及び判定
器１８での判定を行う。このように累積加算することに
よって、ノイズが多い画像の場合にも、係るノイズの影
響を緩和でき、正確なヒストグラムを生成することがで
きる。Therefore, in the monitoring apparatus according to the fifth embodiment, as shown in FIG. 19, the histogram memory 31 with the accumulating function stores the moving total or moving average of the histogram values for 10 frames, and the moving total or movement is stored. Based on the average, the distance calculator 17 calculates the distance d i and the determiner 18 determines. By performing cumulative addition in this way, even in the case of an image with a lot of noise, the influence of the noise can be mitigated and an accurate histogram can be generated.
【００６９】｛第６の実施の形態｝ここで、再び図１０
のように、第１階層で楕円の物体が左から右に動いた場
合を考える。丸印のブロックはヒストグラム間の距離ｄ
iに基づいて何らかの動きがあったものと判定される。
物体において全体的な明るさがあまり変化がないような
場合、例えば侵入者がモノトーンな服を着ているような
場合には、上述のように、ｘ印の部分が正しく判定でき
ない場合がある。{Sixth Embodiment} Here, again referring to FIG.
Consider the case where an elliptical object moves from left to right in the first hierarchy. The circled blocks indicate the distance d between the histograms.
It is determined that some movement has occurred based on i .
When the overall brightness of the object does not change so much, for example, when the intruder wears monotone clothes, the x-marked portion may not be correctly determined as described above.
【００７０】どの階層が適切かを判定するには、第３の
実施の形態（（６）式〜（８）式）で述べたように、ク
ラス内分散σ2 wとクラス外分散σ2 Bをとり、その比Ｊを
計算する方法が考えられるが、もっと簡単な方法とし
て、第６の実施の形態に係る監視装置では、上位階層の
判定結果を基に下位階層の判定時に使用するしきい値を
制御するようにしている。To determine which hierarchy is appropriate, as described in the third embodiment (Equations (6) to (8)), the in-class variance σ 2 w and the out-class variance σ 2 B A method of calculating the ratio J can be considered, but as a simpler method, in the monitoring device according to the sixth embodiment, the threshold to be used for the determination of the lower layer based on the determination result of the upper layer. I try to control the value.
【００７１】この実施の形態に係る監視装置を図２０に
示す。この監視装置は、図１３に示した第３の実施の形
態に係る監視装置に比べて、その判定器（１８）に代え
て、上位階層で動きがあると判定された場合に、下位階
層での判断におけるしきい値を変化させて判定する機能
を持ったしきい値制御機能付き判定器３２を備えてい
る。FIG. 20 shows a monitoring device according to this embodiment. Compared with the monitoring device according to the third embodiment shown in FIG. 13, this monitoring device replaces the determiner (18) thereof, and when it is determined that there is a motion in the upper layer, the monitoring device in the lower layer. The judgment device 32 with a threshold control function is provided which has a function of changing the threshold value in the above judgment.
【００７２】このしきい値制御機能付き判定器３２で
は、図２１の如く、ステップＳ１において、例えば第２
階層のｉブロック目のヒストグラム間の距離ｄi 2が所定
のしきい値ｃ2より大きいと判定された場合に、そのブ
ロックについて、ステップＳ２においてこれより下位の
第１階層のしきい値ｃ1のみを、事前に与えられている
値ｃ1に対して８０％に減少させ、減少されたしきい値
に対して、ステップＳ３においてデータ比較を行い、こ
の第１階層の変化があったブロック数の合計が、所定の
数より大きい場合には、進入物があるものとして総合判
定する。As shown in FIG. 21, the decision unit 32 with the threshold control function is operated in step S1 such that, for example, the second
When it is determined that the distance d i 2 between the histograms of the i-th block of the hierarchy is larger than the predetermined threshold value c 2 , the threshold value c 1 of the first hierarchy lower than the threshold value c 1 for this block in step S2. Is reduced to 80% with respect to the value c 1 given in advance, and the data is compared in step S3 with respect to the reduced threshold value, and the number of blocks in which the change in the first layer is caused. If the total of the above is larger than a predetermined number, it is comprehensively determined that there is an intruder.
【００７３】このようにしきい値を制御することによっ
て、高感度な距離判定を行うように変化させて検出精度
を向上させ得、結果として第１階層の各ブロックに正し
い判定結果が表れることとなる。By controlling the threshold value in this way, it is possible to improve the detection accuracy by changing the distance judgment so as to have a high sensitivity, and as a result, a correct judgment result appears in each block of the first hierarchy. .
【００７４】｛第７の実施の形態｝図２２はこの発明の
第７の実施の形態に係る監視装置が適用された監視シス
テムのブロック図である。尚、図２２中の符号３５は進
入物検出装置を示しており、この進入物検出装置３５
は、上記各実施の形態における特徴量抽出器１３及び映
像変化判定部１６を併せて総称したものである。{Seventh Embodiment} FIG. 22 is a block diagram of a monitoring system to which a monitoring device according to a seventh embodiment of the present invention is applied. Reference numeral 35 in FIG. 22 indicates an entering matter detection device, and this entering matter detection device 35
Is a collective term for the feature quantity extractor 13 and the image change determination unit 16 in each of the above embodiments.
【００７５】そして、この監視システムは、テレビカメ
ラ１１で撮像された監視映像が動画圧縮器３６でＭＰＥ
Ｇ等の所定の圧縮形式に圧縮された後、かかる圧縮映像
が圧縮データメモリ３７に格納されるとともに、公衆電
話網等の広域ネットワークを通じて警備センター３８に
送信され、この警備センター３８内のデータベース３９
に逐一格納されるようになっている。また、圧縮データ
メモリ３７に格納された圧縮映像は、復号器４０によっ
て復号され、進入物検出装置３５において、上記各実施
の形態で説明したように各ブロック毎にヒストグラム値
が求められ、これに基づいて距離ｄiが算出され、所定
のしきい値と比較することにより進入物の有無の判定が
行われる。In this surveillance system, the surveillance video imaged by the television camera 11 is MPE-processed by the moving picture compressor 36.
After being compressed in a predetermined compression format such as G, the compressed video is stored in the compressed data memory 37 and transmitted to the security center 38 through a wide area network such as a public telephone network, and the database 39 in the security center 38 is stored.
It is supposed to be stored in every one. Further, the compressed video stored in the compressed data memory 37 is decoded by the decoder 40, and the entering object detection device 35 obtains a histogram value for each block as described in each of the above-described embodiments. Based on the calculated distance d i , the presence or absence of an entering object is determined by comparing the distance d i with a predetermined threshold value.
【００７６】また、圧縮データメモリ３７は、過去１分
間の圧縮データを記憶するようになっており、進入物検
出装置３５から警備センター３８に警報があったときに
は、警備センター３８側から過去の圧縮データメモリ３
７内のデータ画像を確認することができるようになって
いる。Further, the compressed data memory 37 is adapted to store the compressed data for the past one minute, and when an alarm is given to the security center 38 from the intruding object detection device 35, the security center 38 side compresses the past data. Data memory 3
The data image in 7 can be confirmed.
【００７７】また、進入物検出装置３５において、誤報
によって警備センター３８に警報が発せられることがあ
る。このような場合には、警備センター３８側から所定
のパラメータ調整制御器４１に対して広域ネットワーク
を通じてパラメータ制御信号を送出し、または操作者が
直接にパラメータ調整制御器４１の所定の入力パネルを
操作することで、このパラメータ調整制御器４１によっ
て、進入物検出装置３５の映像変化判定部１６（上述の
各実施の形態参照）での判定パラメータとしてのしきい
値を変更して検出精度を上げることができるようになっ
ている。そして、かかるしきい値の変更後、進入物検出
装置３５では、圧縮データメモリ３７内の圧縮映像を使
って、どのように進入物検出装置３５が反応するかを確
認することができるようになっている。Further, in the intruding object detection device 35, an alarm may be issued to the security center 38 due to a false alarm. In such a case, the security center 38 sends a parameter control signal to a predetermined parameter adjustment controller 41 through a wide area network, or the operator directly operates a predetermined input panel of the parameter adjustment controller 41. By doing so, the parameter adjustment controller 41 changes the threshold value as the determination parameter in the image change determination unit 16 (see each of the above-described embodiments) of the entering object detection device 35 to improve the detection accuracy. You can do it. Then, after the threshold value is changed, the intruding object detection device 35 can confirm how the intruding object detection device 35 reacts by using the compressed image in the compressed data memory 37. ing.
【００７８】また、圧縮データメモリ３７内の圧縮映像
は、当該圧縮データメモリ３７側での送信操作または警
備センター３８からの受信命令等を契機に、いつでも警
備センター３８側に転送できるようになっている。Further, the compressed image in the compressed data memory 37 can be transferred to the security center 38 side at any time, triggered by a transmission operation on the compressed data memory 37 side or a reception command from the security center 38. There is.
【００７９】さらに、過去に進入物検出装置３５から警
備センター３８側に転送されてデータベース３９内に蓄
積された圧縮映像は、警備センター３８側からパラメー
タ調整制御器４１を通じて圧縮データメモリ３７に転送
できるようになっており、かかる過去の圧縮映像を使っ
て、上述の変更されたパラメータを進入物検出装置３５
側で確認することができるようになっている。かかる処
理は、パラメータ調整制御器４１側での所定の操作パネ
ルでの操作による指示、または警備センター３８からの
送信命令等を契機にして行われる。Further, the compressed image transferred from the entering object detection device 35 to the security center 38 side and accumulated in the database 39 in the past can be transferred from the security center 38 side to the compressed data memory 37 through the parameter adjustment controller 41. The past compressed image is used to set the above-mentioned changed parameters to the entering object detection device 35.
It can be confirmed on the side. Such processing is performed in response to an instruction by an operation on a predetermined operation panel on the parameter adjustment controller 41 side, a transmission command from the security center 38, or the like.
【００８０】これにより、過去の多数の圧縮映像を活用
して、パラメータ調整制御器４１によりしきい値の変更
調整を試行錯誤しながら適切に実行することができるの
で、現場の実情に即したしきい値を設定でき、進入物検
出装置３５における判定精度を実情に応じて向上させる
ことが可能となる。As a result, the parameter adjustment controller 41 can appropriately perform threshold value change adjustment by trial and error by utilizing a large number of past compressed images. The threshold value can be set, and the determination accuracy of the entering object detection device 35 can be improved according to the actual situation.
【００８１】尚、この第７の実施の形態においては、圧
縮データメモリ３７と復号器４０を使用して随時進入物
検出装置３５に映像を与えることができるため、上記し
た各実施の形態中のヒストグラムメモリ１５を削除して
も差し支えない。In the seventh embodiment, the compressed data memory 37 and the decoder 40 can be used to provide an image to the intruding object detection device 35 at any time, and therefore, in each of the above-described embodiments. There is no problem even if the histogram memory 15 is deleted.
【００８２】また、上記各実施の形態において、各色成
分（Ｒ（赤色）・Ｇ（緑色）・Ｂ（青色）の３成分）の
輝度の平均値（成分平均輝度値）を算出し、その平均値
に基づいてヒストグラム値を求めてしたが、色度調整を
行ったような場合を考慮し、各色成分の重み付け平均を
算出してヒストグラム値を求めても良い。あるいは、例
えばテレビカメラ１１として赤外線に完納するものを使
用する場合、かかる赤外線のみの輝度に基づいてヒスト
グラム値を求めても良い。Further, in each of the above-described embodiments, the average value of luminance (component average luminance value) of each color component (three components of R (red), G (green), and B (blue)) is calculated, and the average thereof is calculated. Although the histogram value is obtained based on the value, the histogram value may be obtained by calculating the weighted average of each color component in consideration of the case where the chromaticity adjustment is performed. Alternatively, for example, when the TV camera 11 that completely receives infrared rays is used, the histogram value may be obtained based on the brightness of only the infrared rays.
【００８３】さらに、第３の実施の形態乃至第７の実施
の形態においては、上記したヒストグラム値の分布に基
づいて差分を求めることに代えて、例えばＭＰＥＧ等で
一般的な「動き検出」の方法で各映像ブロックの映像の
変化を認識するようにしても良い。Furthermore, in the third to seventh embodiments, instead of obtaining the difference based on the distribution of the histogram values described above, for example, "motion detection" which is general in MPEG is used. The method may be used to recognize the change in the image of each image block.
【００８４】[0084]
【発明の効果】請求項１に記載の発明によると、撮像カ
メラで撮像された映像フレームを所定の複数の映像ブロ
ックに分割し、各映像ブロック毎の映像についての所定
の特徴を特徴量抽出器で定量的に抽出し、抽出された所
定の特徴を、異なる映像フレーム間で互いに対応する映
像ブロック同士で比較し、その比較結果に基づいて映像
の変化を判定するようにし、特に、特徴量抽出器が、映
像ブロック毎に、当該各映像ブロック内の画素の各輝度
階調値に対する出現頻度を意味するヒストグラム値を生
成し、当該ヒストグラム値をもって各映像ブロックの所
定の特徴とするようにしているので、映像フレーム内で
輝度が大幅に変化したような異常事態の発生時にのみ警
備センター側に警報を送信できるので、監視者は、配信
されてきた映像を肉眼にて常時見続けなくてもよくな
り、監視者の精神的及び肉体的な労力負担を大幅に軽減
できる。According to the first aspect of the present invention, the video frame captured by the imaging camera is divided into a plurality of predetermined video blocks, and the predetermined feature of the video of each video block is extracted as a feature quantity extractor. Quantitatively extract the extracted predetermined features, compare the video blocks corresponding to each other in different video frames, and determine the change of the video based on the comparison result. The device generates, for each video block, a histogram value that means the appearance frequency of the pixel in each video block with respect to each luminance gradation value, and uses the histogram value as a predetermined feature of each video block. Therefore, the alarm can be sent to the security center side only when an abnormal situation such as a significant change in the brightness in the video frame occurs, so the monitor can monitor the delivered video. You may not continue to look constantly at the eye, can greatly reduce the mental and physical effort burden of the observer.
【００８５】そして、各映像フレームの輝度の変化を判
定する際に、まず所定の映像ブロック毎に分割し、当該
映像ブロック毎に画像の変化を見ているので、進入物の
動きを映像ブロック単位で検出することで検出精度を向
上させることができる。そして、その映像ブロック毎に
ヒストグラム値を求めてから、そのヒストグラム値の差
分を求めるようにしているので、例えば各画素毎に輝度
の差分を求めたり、映像圧縮の分野で使用される「動き
検出」等の差分データを使用して映像変化を判断する場
合に比べて、ＣＰＵの負荷を大幅に軽減することが可能
となり、一般的に普及しているパーソナルコンピュータ
等を使用しても十分に上記機能を発揮させることができ
ることから、装置コストを低減でき、安価な監視装置を
提供できる。さらに、上記のように映像ブロック単位で
の処理もヒストグラムを使用することで容易になるとい
う利点がある。When determining the change in the brightness of each video frame, first, the image is divided into predetermined video blocks and the change in the image is observed for each video block. The detection accuracy can be improved by detecting with. The histogram value is calculated for each video block, and then the difference between the histogram values is calculated. Therefore, for example, the brightness difference is calculated for each pixel, and "motion detection" used in the field of video compression is used. It is possible to significantly reduce the load on the CPU as compared with the case where the difference data such as "is used to judge the image change, and it is sufficiently possible to use the generally popular personal computer etc. Since the function can be exerted, the device cost can be reduced and an inexpensive monitoring device can be provided. Further, as described above, there is an advantage that the processing for each video block can be facilitated by using the histogram.
【００８６】 このとき、ヒストグラム正規化器によっ
て、特徴量抽出器で所定の特徴が抽出される映像ブロッ
クが含まれる１つの映像フレームの全体の明るさを定量
的に求め、特徴量抽出器で生成されたヒストグラム値を
映像フレームの全体の明るさで除算してヒストグラム値
の分布の正規化を行い、映像全体の明るさの変化に影響
を受けないヒストグラム値に補正するようにしているの
で、昼夜の輝度差や蛍光灯等のフリッカ等、映像フレー
ム全体の輝度変化が起こったときにこの変化の影響をな
くすることができ、進入物の判定精度を向上できる。At this time, the histogram normalizer quantitatively obtains the overall brightness of one video frame including the video block in which the predetermined feature is extracted by the feature extractor, and the brightness is generated by the feature extractor. The calculated histogram value is divided by the overall brightness of the video frame to normalize the distribution of the histogram value, and the histogram value that is not affected by the change in the brightness of the entire video is corrected. When there is a change in the brightness of the entire video frame, such as a difference in brightness of the image, a flicker of a fluorescent lamp, or the like, it is possible to eliminate the influence of this change and improve the accuracy of determining an entering object.
【００８７】 請求項２及び請求項３に記載の発明によ
ると、ヒストグラムの分布をフルスケールに伸長して分
布の正規化を行い、ヒストグラム値の局在を緩和補正す
るようにしているので、暗所等での撮像等、局所的なヒ
ストグラム値の偏りを緩和でき、ヒストグラム値の少な
い部分でのノイズによる影響を緩和でき、検知精度を向
上できる。According to the second and third aspects of the present invention, the histogram distribution is expanded to full scale to normalize the distribution, and the localization of the histogram values is relaxed and corrected. It is possible to mitigate the local bias of the histogram value such as imaging at a place and the like, mitigate the influence of noise in a portion having a small histogram value, and improve the detection accuracy.
【００８８】 請求項４に記載の発明によると、小ブロ
ックと上位ブロックのそれぞれについて、当該それぞれ
のブロックについての映像フレーム間の比較を行い、い
ずれか信頼性の高い方の比較を採用するようにしている
ので、信頼性の高いデータを基に精度良い判定を行うこ
とができる。According to the invention described in claim 4 , for each of the small block and the upper block, the video frames of the respective blocks are compared with each other, and the comparison with the higher reliability is adopted. Therefore, accurate determination can be performed based on highly reliable data.
【００８９】[0089]
【００９０】 請求項５に記載の発明によると、特徴量
抽出器が、所定の特徴の値を、複数の映像フレームに亘
る移動合計または移動平均の値として抽出するようにし
ているので、所定の特徴の値に対するノイズ等の影響を
緩和でき、精度のよう判定を行うことが可能となる。According to the invention of claim 5 , the feature quantity extractor extracts the value of the predetermined feature as the value of the moving total or moving average over a plurality of video frames. The influence of noise or the like on the value of the feature can be mitigated, and the determination can be made like the accuracy.
【００９１】 請求項６に記載の発明によると、上位ブ
ロックで映像の変化があったと判定できたときに、小ブ
ロックでの映像変化のしきい値を減少させるようにして
いるので、小ブロックでの映像変化の判定感度を高める
ことで、判定精度を高めることができる。According to the sixth aspect of the present invention, when it is determined that there is a video change in the upper block, the threshold value of the video change in the small block is decreased. It is possible to improve the determination accuracy by increasing the determination sensitivity of the image change.
【００９２】 請求項７に記載の発明によると、比較判
定において使用されるパラメータをパラメータ調整制御
器で変更できるようにしているので、誤判定・誤警報が
あったような場合にパラメータを試行錯誤で変更するこ
とで、現場に応じた適正なしきい値に修正でき、実情に
応じて判定精度を向上できる。また、動画圧縮器で圧縮
された複数の映像フレーム分の圧縮データを圧縮データ
メモリに格納し、この圧縮データを復号器で復号して、
随時、進入物検出装置に映像を与えるようにしているの
で、進入物検出装置内においてヒストグラムメモリ等の
バッファメモリを設けなくてもよくなり、進入物検出装
置の構成の簡素化を図ることができる。According to the invention of claim 7 , the parameter used in the comparison determination can be changed by the parameter adjustment controller. Therefore, when there is an erroneous determination or an erroneous alarm, the parameter is tried and errored. Can be corrected to a proper threshold value according to the site, and the determination accuracy can be improved according to the actual situation. In addition, the compressed data for a plurality of video frames compressed by the video compressor is stored in the compressed data memory, and the compressed data is decoded by the decoder,
Since an image is given to the intruding object detection device at any time, it is not necessary to provide a buffer memory such as a histogram memory in the intruding object detection device, and the structure of the intruding object detection device can be simplified. .
【００９３】 さらに、パラメータ調整制御器において
パラメータを新たなパラメータとして変更した後、デー
タベース内に蓄積された過去の圧縮データを復号器に送
信するようにし、進入物検出装置において、過去の圧縮
データに基づいて比較判定して、新たなパラメータの検
証を行うようにしているので、過去の多数の実際の圧縮
データを基に、現場に応じた適正なパラメータに修正で
き、実情に応じて判定精度を向上できるという効果があ
る。 Further, after changing the parameter as a new parameter in the parameter adjustment controller, the past compressed data accumulated in the database is transmitted to the decoder, and the past object compressed data is converted into the past compressed data in the entering object detecting device. Based on comparison and judgment based on new parameters, a large number of actual compressed data in the past can be used to correct the parameters according to the site, and the judgment accuracy can be improved according to the actual situation. There is an effect that it can be improved.
【図１】この発明の第１の実施の形態に係る監視装置を
示すブロック図である。FIG. 1 is a block diagram showing a monitoring device according to a first embodiment of the present invention.
【図２】映像フレームを所定のサイズの映像ブロックに
分割する様子を示す図である。FIG. 2 is a diagram showing how a video frame is divided into video blocks of a predetermined size.
【図３】各映像ブロックにおけるヒストグラム値の分布
を示す図である。FIG. 3 is a diagram showing a distribution of histogram values in each video block.
【図４】異なる映像フレーム間で各映像ブロックのヒス
トグラム値を比較している様子を示す図である。FIG. 4 is a diagram showing how histogram values of video blocks are compared between different video frames.
【図５】各映像ブロックにおける距離のデータを示す図
である。FIG. 5 is a diagram showing distance data in each video block.
【図６】この発明の第２の実施の形態に係る監視装置を
示すブロック図である。FIG. 6 is a block diagram showing a monitoring device according to a second embodiment of the present invention.
【図７】輝度の暗い部分にヒストグラム値が局在してい
る状態を示す図である。FIG. 7 is a diagram showing a state in which a histogram value is localized in a dark area.
【図８】輝度座標に対してフルスケールに伸長して正規
化した状態を示す図である。FIG. 8 is a diagram showing a state in which luminance coordinates are expanded to full scale and normalized.
【図９】輝度座標に対してフルスケールに伸長して正規
化する動作の原理を示す図である。FIG. 9 is a diagram showing a principle of an operation of extending a luminance coordinate to a full scale and normalizing it.
【図１０】小ブロックに対して比較的大きな対象物が動
いている状態を示す図である。FIG. 10 is a diagram showing a state in which a relatively large object is moving with respect to a small block.
【図１１】図１０に示した対象物に対して中ブロックに
よる判定を採用して適切な判定を行っている様子を示す
図である。FIG. 11 is a diagram showing a state in which the determination by the medium block is adopted for the object shown in FIG. 10 to perform an appropriate determination.
【図１２】小ブロック、中ブロック及び大ブロックの統
合関係を示す図である。FIG. 12 is a diagram showing an integrated relationship between a small block, a medium block, and a large block.
【図１３】この発明の第３の実施の形態に係る監視装置
を示すブロック図である。FIG. 13 is a block diagram showing a monitoring device according to a third embodiment of the present invention.
【図１４】小ブロック単位でクラス分けを行っている様
子を示す図である。FIG. 14 is a diagram showing how classification is performed in units of small blocks.
【図１５】中ブロック単位でクラス分けを行っている様
子を示す図である。[Fig. 15] Fig. 15 is a diagram showing a state in which classes are divided in units of medium blocks.
【図１６】クラス分けの方法を示す図である。FIG. 16 is a diagram showing a classification method.
【図１７】重心点が一定時間内に移動している様子を示
す図である。FIG. 17 is a diagram showing a state where the center of gravity is moving within a fixed time.
【図１８】この発明の第４の実施の形態に係る監視装置
を示すブロック図である。FIG. 18 is a block diagram showing a monitoring device according to a fourth embodiment of the present invention.
【図１９】この発明の第５の実施の形態に係る監視装置
を示すブロック図である。FIG. 19 is a block diagram showing a monitoring device according to a fifth embodiment of the present invention.
【図２０】この発明の第６の実施の形態に係る監視装置
を示すブロック図である。FIG. 20 is a block diagram showing a monitoring device according to a sixth embodiment of the present invention.
【図２１】この発明の第６の実施の形態におけるしきい
値の減少動作を示す図である。FIG. 21 is a diagram showing a threshold value decreasing operation in the sixth embodiment of the invention.
【図２２】この発明の第７の実施の形態に係る監視装置
を示すブロック図である。FIG. 22 is a block diagram showing a monitoring device according to a seventh embodiment of the present invention.
【図２３】従来例１に係る監視システムを示す映像ブロ
ック図である。FIG. 23 is a video block diagram showing a monitoring system according to Conventional Example 1.
１１ テレビカメラ １２ ディジタル変換器 １３ 特徴量抽出器 １４ ヒストグラム生成機 １５ ヒストグラムメモリ １６ 映像変化判定部 １７ 距離算出器 １８ 判定器 ２１ ヒストグラム正規化器 ２５ 進入物 ２６ ヒストグラム統合器 ２９ 重心座標メモリ ３１ ヒストグラムメモリ ３２ 判定器 ３５ 進入物検出装置 ３６ 動画圧縮器 ３７ 圧縮データメモリ ３８ 警備センター ３９ データベース ４０ 復号器 ４１ パラメータ調整制御器 11 TV camera 12 Digital converter 13 Feature Extractor 14 Histogram generator 15 Histogram memory 16 Video change determination unit 17 Distance calculator 18 Judge 21 Histogram normalizer 25 Ingress 26 Histogram integrator 29 barycentric coordinate memory 31 Histogram memory 32 Judgment device 35 Intruder detection device 36 Video Compressor 37 Compressed data memory 38 Security Center 39 Database 40 decoder 41 Parameter adjustment controller
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/18 G08B 13/196 ─────────────────────────────────────────────────── ─── Continuation of the front page (58) Fields surveyed (Int.Cl. 7 , DB name) H04N 7/18 G08B 13/196
Claims (7)
を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の映像ブロックに分割し、各映像ブロック毎の映像につ
いての所定の特徴を定量的に抽出する特徴量抽出器と、 前記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて、映像に変化
があったか否かを判定する判定部とを備え、 前記特徴量抽出器は、前記映像ブロック毎に、当該各映
像ブロック内の画素の輝度階調に対する出現頻度を意味
するヒストグラム値を生成し、当該ヒストグラム値をも
って前記各映像ブロックの前記所定の特徴とし、 前記特徴量抽出器で前記所定の特徴が抽出される映像ブ
ロックが含まれる１つの映像フレームの全体の明るさを
定量的に求め、前記特徴量抽出器で生成されたヒストグ
ラム値を前記映像フレームの全体の明るさで除算してヒ
ストグラム値の分布の正規化を行い、映像全体の明るさ
の変化に影響を受けないヒストグラム値に補正するヒス
トグラム正規化器をさらに備える ことを特徴とする監視
装置。1. An imaging camera installed near a monitoring target for imaging the monitoring target, a video frame captured by the imaging camera is divided into a plurality of predetermined video blocks, and a video for each video block is obtained. The feature amount extractor that quantitatively extracts the predetermined feature of, and the predetermined feature quantitatively extracted by the feature amount extractor, the video blocks corresponding to each other between different video frames are compared, Based on the comparison result, a determining unit for determining whether or not there is a change in the image, the feature amount extractor, for each of the video block, the appearance frequency with respect to the luminance gradation of the pixel in each video block generates meaning histogram value, with a corresponding histogram values and the predetermined characteristic of each image block, video blanking of the predetermined characteristic by the characteristic amount extraction unit is extracted
The overall brightness of one video frame including lock
Histogram obtained quantitatively and generated by the feature extractor
Lamb value divided by the overall brightness of the video frame
The brightness of the entire image is normalized by normalizing the distribution of
Hist that corrects to a histogram value that is not affected by changes in
A monitoring device further comprising a togram normalizer .
を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の映像ブロックに分割し、各映像ブロック毎の映像につ
いての所定の特徴を定量的に抽出する特徴量抽出器と、 前記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて、映像に変化
があったか否かを判定する判定部とを備え、 前記特徴量抽出器は、前記映像ブロック毎に、当該各映
像ブロック内の画素の輝度階調に対する出現頻度を意味
するヒストグラム値を生成し、当該ヒストグラム値をも
って前記各映像ブロックの前記所定の特徴とし、 前記特徴量抽出器で生成されたヒストグラム値の上限か
ら一定割合と下限から一定割合のみを除去し、除去後の
有意値の現れた輝度階調値の最大値と最小値の間のスケ
ールを、それぞれ輝度階調値の最大限度値と最小限度値
に変換してフルスケールに伸長してヒストグラム値の分
布の正規化を行い、ヒストグラム値の局在を緩和補正す
るヒストグラム正規化器をさらに備えることを特徴とす
る監視装置。 2. The monitoring target installed near the monitoring target
A plurality of image frames captured by the image capturing camera and a predetermined plurality of image frames captured by the image capturing camera.
The video block is divided into
A feature quantity extractor for quantitatively extracting predetermined features of have the predetermined characteristics extracted quantitatively by the feature quantity extractor
Video blocks that correspond to each other between different video frames.
Compare each other and change to a video based on the comparison result
The feature amount extractor is configured to determine whether or not there is an image
Meaning the frequency of appearance of the pixels in the image block with respect to the brightness gradation
Generate a histogram value that
Is the upper limit of the histogram value generated by the feature quantity extractor as the predetermined feature of each video block .
Remove a certain percentage from the
Scale between the maximum and minimum luminance gradation values where significant values appear
The maximum and minimum brightness gradation values.
To the full scale to convert the histogram value
Normalize the cloth and relax the localization of histogram values.
Is further provided with a histogram normalizer
Monitoring device.
ヒストグラム正規化器は、前記特徴量抽出器で生成され
たヒストグラム値の上限から一定割合と下限から一定割
合のみを除去し、除去後の有意な値が出現する輝度階調
値の最大値と最小値との間のスケールを、それぞれ輝度
階調値の最大限度値と最小限度値に変換してフルスケー
ルに伸長してヒストグラム値の分布の正規化を行い、ヒ
ストグラム値の局在を緩和補正する機能を併せ有せしめ
られたことを特徴とする監視装置。 3. The monitoring device according to claim 1, wherein:
The histogram normalizer is generated by the feature quantity extractor.
A certain percentage from the upper limit of the histogram value and a certain percentage from the lower limit
Luminance gradation where only significant values are removed and significant values appear after removal
The scale between the maximum and minimum values is the brightness
Full scale by converting the maximum and minimum gradation values
To normalize the distribution of histogram values,
It also has the function of relaxing and correcting the localization of the stogram value.
A monitoring device characterized by the above.
を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の小ブロックに分割し、各小ブロック毎の映像について
の所定の特徴を定量的に抽出する特徴量抽出器と、 所定個数の前記小ブロックをまとめて上位ブロックと
し、前記特徴量抽出器において前記各小ブロックについ
て定量的に求められた前記所定の特徴を前記上位ブロッ
クの単位で統合する統合器と、 前記統合器で統合された前記上位ブロックの単位での前
記所定の特徴と前記小ブロックの単位での前記所定の特
徴のそれぞれについて、異なる映像フレーム間で比較
し、その比較結果のうち、前記上位ブロックと前記小ブ
ロックのうちいずれか信頼性の高い方の比較結果を用い
て映像に変化があったか否かを判定する判定部とを備え
ることを特徴とする監視装置。 4. The monitoring target installed near the monitoring target
A plurality of image frames captured by the image capturing camera and a predetermined plurality of image frames captured by the image capturing camera.
Divide into small blocks of
And a feature quantity extractor for quantitatively extracting a predetermined feature, and a predetermined number of the small blocks collectively as an upper block.
Then, in the feature quantity extractor,
The predetermined features obtained quantitatively by
And integrator that integrates a unit of click, before the unit integrated the upper block in the integrated circuit
The predetermined features and the predetermined features in units of the small blocks.
Compare between different video frames for each of the features
However, among the comparison results, the upper block and the small block are
Use the comparison result of the more reliable lock
And a determination unit that determines whether or not the image has changed
A monitoring device characterized by the following.
監視装置であって、前記特徴量抽出器は、前記所定の特
徴の値を、複数の映像フレームに亘る移動合計または移
動平均の値として抽出することを特徴とする監視装置。 5. The method according to any one of claims 1 to 4.
A monitoring device, wherein the feature quantity extractor is the predetermined feature
The value of the signature as a moving sum or shift over multiple video frames.
A monitoring device characterized by extracting as a value of a moving average.
を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の小ブロックに分割し、各小ブロック毎の映像について
の所定の特徴を定量的に抽出する特徴量抽出器と、 所定個数の前記小ブロックをまとめて上位ブロックと
し、前記特徴量抽出器において前記各小ブロックについ
て定量的に求められた前記所定の特徴を前記上位ブロッ
クの単位で統合する統合器と、 前記統合器で統合された前記上位ブロックの単位での前
記所定の特徴を異なる映像フレーム間で比較し、その比
較結果に基づいて当該上位ブロックの映像の変化の有無
を判定し、その判定結果に従って、映像の変化のあった
上位ブロックに含まれる前記小ブロックについての所定
の比較パラメータを変更し、変更された前記比較パラメ
ータに応じて、当該小ブロックの単位での前記所定の特
徴を異なる映像フレーム間で比較し、その比較結果に基
づいて当該小ブロックの映像の変化の有無を判定する判
定部とを備えることを特徴とする監視装置。 6. The monitoring target installed near the monitoring target
A plurality of image frames captured by the image capturing camera and a predetermined plurality of image frames captured by the image capturing camera.
Divide into small blocks of
And a feature quantity extractor for quantitatively extracting a predetermined feature, and a predetermined number of the small blocks collectively as an upper block.
Then, in the feature quantity extractor,
The predetermined features obtained quantitatively by
And integrator that integrates a unit of click, before the unit integrated the upper block in the integrated circuit
The specified characteristics are compared between different video frames and the ratio
Whether there is a change in the video of the upper block based on the comparison result
Was judged, and there was a change in the video according to the judgment result.
Predetermination for the small blocks included in the upper block
Change the comparison parameter of the
According to the data, the predetermined feature in the unit of the small block.
Characteristics between different video frames and based on the comparison results.
Judgment based on the judgment whether there is any change in the image of the small block
A monitoring device comprising: a controller.
を撮像する撮像カメラと、 前記撮像カメラで撮像された動画映像を圧縮する動画圧
縮器と、 前記動画圧縮器で圧縮された複数の映像フレーム分の圧
縮データを格納する圧縮データメモリと、 前記圧縮データメモリに格納された圧縮データを復号す
る復号器と、 当該復号器で復号された復号データに基づいて得られた
映像フレームを所定の複数の映像ブロックに分割し、各
映像ブロック毎の映像についての所定の特徴を定量的に
抽出し、抽出された前記所定の特徴について異なる映像
フレーム間で比較し、その比較結果に基づいて当該映像
ブロックの映像の変化の有無を判定する進入物検出装置
と、 前記進入物検出装置においての比較に用いられるパラメ
ータを変更するパラメータ調整制御器と前記所定の通報
先に設置されて前記動画圧縮器で圧縮された圧縮データ
を蓄積するデータベースと、 を備え、 前記パラメータ調整制御器において前記パラメータを新
たなパラメータ値として変更した後、前記データベース
内に蓄積された過去の圧縮データを前記復号器に送信す
るようにし、 前記進入物検出装置において、前記過去の圧縮データに
基づいて、その各映像ブロック毎の映像についての所定
の特徴を定量的に抽出し、抽出された前記所定の特徴に
ついて異なる映像フレーム間で比較し、前記新たなパラ
メータをもって映像の変化を判定して、前記新たなパラ
メータの検証を行うようにしたことを特徴とする監視シ
ステム。 7. The monitoring target installed near the monitoring target
And a video pressure for compressing a video image captured by the imaging camera.
And condenser, pressure of a plurality of video frames which is compressed by the video compressor
Be decoded and the compressed data memory for storing the reduced data, the compressed data stored in the compressed data memory
A decoder that was obtained based on the decoded data decoded in the decoder
Divide a video frame into multiple predetermined video blocks,
Quantitatively determine the predetermined characteristics of the video for each video block
Extracted and different images for the extracted predetermined features
Compare between frames, and based on the comparison result, the video
Entering object detection device for determining whether or not there is a change in block image
And the parameters used for comparison in the intruder detection device.
Parameter adjustment controller for changing data and the predetermined notification
Compressed data that was previously installed and compressed by the video compressor
And a database for storing the parameters , and updating the parameters in the parameter adjustment controller.
After changing as a new parameter value, the database
Sends past compressed data stored in the decoder to the decoder
The past compressed data in the intruder detection device.
Based on the specified video for each video block based on
Quantitatively extract the features of the
Of different video frames,
Use the meter to judge the change in the image, and
A monitoring system characterized by performing meter verification.
Stem.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35293298A JP3506934B2 (en) | 1998-12-11 | 1998-12-11 | Monitoring device and monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35293298A JP3506934B2 (en) | 1998-12-11 | 1998-12-11 | Monitoring device and monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000184359A JP2000184359A (en) | 2000-06-30 |
| JP3506934B2 true JP3506934B2 (en) | 2004-03-15 |
Family
ID=18427444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35293298A Expired - Fee Related JP3506934B2 (en) | 1998-12-11 | 1998-12-11 | Monitoring device and monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3506934B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006330797A (en) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | Abnormal image detection method, abnormal image detection device and abnormal image detection program |
| US8494267B2 (en) | 2010-12-15 | 2013-07-23 | Sony Corporation | Image processing device, image processing method, and program for normalizing a histogram |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4736171B2 (en) * | 2000-10-20 | 2011-07-27 | 日本ビクター株式会社 | Monitoring signal communication method and monitoring signal communication apparatus |
| JP4065149B2 (en) * | 2002-06-27 | 2008-03-19 | 三洋電機株式会社 | Image signal processing device |
| JP3785456B2 (en) * | 2002-07-25 | 2006-06-14 | 独立行政法人産業技術総合研究所 | Safety monitoring device at station platform |
| JP4084263B2 (en) * | 2002-08-13 | 2008-04-30 | 株式会社日立国際電気 | Parameter setting method |
| CN100393122C (en) | 2002-08-13 | 2008-06-04 | 株式会社日立国际电气 | Object-detection-condition modifiable object detection method and object detection apparatus using the method |
| JP5217106B2 (en) * | 2006-03-31 | 2013-06-19 | 沖電気工業株式会社 | Video surveillance system, surveillance video abnormality detection method, and surveillance video abnormality detection program |
| EP2026561A4 (en) | 2006-06-02 | 2010-06-02 | Rohm Co Ltd | Image processing circuit, semiconductor device, and image processing device |
| JP5665250B2 (en) * | 2007-02-07 | 2015-02-04 | 株式会社東芝 | Power quality evaluation system |
| JP4895041B2 (en) * | 2007-07-20 | 2012-03-14 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and program |
| JP4957850B2 (en) * | 2010-02-04 | 2012-06-20 | カシオ計算機株式会社 | Imaging apparatus, warning method, and program |
| CN104424649B (en) * | 2013-08-21 | 2017-09-26 | 株式会社理光 | Detect the method and system of moving object |
| JP6643230B2 (en) * | 2014-07-11 | 2020-02-12 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, imaging device, image processing method, and program |
| JP6058720B2 (en) * | 2015-03-13 | 2017-01-11 | 株式会社東芝 | Information output device, detection device, program, and information output method |
-
1998
- 1998-12-11 JP JP35293298A patent/JP3506934B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006330797A (en) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | Abnormal image detection method, abnormal image detection device and abnormal image detection program |
| JP4641450B2 (en) * | 2005-05-23 | 2011-03-02 | 日本電信電話株式会社 | Unsteady image detection method, unsteady image detection device, and unsteady image detection program |
| US8494267B2 (en) | 2010-12-15 | 2013-07-23 | Sony Corporation | Image processing device, image processing method, and program for normalizing a histogram |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000184359A (en) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3506934B2 (en) | Monitoring device and monitoring system | |
| JP4629090B2 (en) | Camera tampering detection | |
| US6774905B2 (en) | Image data processing | |
| JP4803376B2 (en) | Camera tampering detection method | |
| KR101200433B1 (en) | System for realtime observing fire using CCTV camera, and method for the same | |
| KR100922784B1 (en) | Image base fire sensing method and system of crime prevention and disaster prevention applying method thereof | |
| CN109981943A (en) | Picture pick-up device, image processing equipment, control method and storage medium | |
| US9293022B2 (en) | Detecting apparatus, detecting system, and detecting method | |
| JP2004021495A (en) | Monitoring system and monitoring method | |
| JP5388829B2 (en) | Intruder detection device | |
| JPS6286990A (en) | Abnormality supervisory equipment | |
| KR101758685B1 (en) | Method, system for detecting camera tampering | |
| KR100623835B1 (en) | Object detecting method and apparatus | |
| JP4865328B2 (en) | Image sensor | |
| JPH0844874A (en) | Image change detector | |
| JP5950628B2 (en) | Object detection apparatus, object detection method, and program | |
| JPH09252467A (en) | Mobile object detector | |
| JP4171310B2 (en) | Intruder detection method and intruder detection apparatus | |
| JP3736836B2 (en) | Object detection method, object detection apparatus, and program | |
| JP2529968B2 (en) | Image sensor | |
| JP2007336431A (en) | Video monitoring apparatus and method | |
| JP2010204404A (en) | Monitoring camera and exposure control method for the same | |
| JP2002150440A (en) | Detector for object of monitoring | |
| JP3567114B2 (en) | Image monitoring apparatus and image monitoring method | |
| JP6124739B2 (en) | Image sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031217 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081226 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081226 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091226 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101226 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151226 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |