JP5891022B2 - Object detection device, surveillance camera, and object detection method - Google Patents
Object detection device, surveillance camera, and object detection method Download PDFInfo
- Publication number
- JP5891022B2 JP5891022B2 JP2011266692A JP2011266692A JP5891022B2 JP 5891022 B2 JP5891022 B2 JP 5891022B2 JP 2011266692 A JP2011266692 A JP 2011266692A JP 2011266692 A JP2011266692 A JP 2011266692A JP 5891022 B2 JP5891022 B2 JP 5891022B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- binarization
- threshold
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 106
- 238000000034 method Methods 0.000 claims description 57
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 32
- 230000004048 modification Effects 0.000 description 28
- 238000012986 modification Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 16
- 238000005286 illumination Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、物体検出装置、監視カメラ、及び物体検出方法に関する。 The present invention relates to an object detection device, a monitoring camera, and an object detection method.
近年、撮像画像から物体を検出する技術(以下、物体検出)に注目が集まっている。この技術は、例えば、監視カメラで撮像された画像から侵入者や不審者などを検出する際に利用される。物体検出を実現する方法としては、例えば、背景差分法、LBP(Local Binary Pattern)法、増分符号相関法、及びRRC(Radial Reach Correlation)法などが知られている。 In recent years, attention has been focused on techniques for detecting an object from a captured image (hereinafter, object detection). This technique is used, for example, when an intruder or a suspicious person is detected from an image captured by a surveillance camera. As a method for realizing object detection, for example, a background difference method, an LBP (Local Binary Pattern) method, an incremental code correlation method, an RRC (Radial Reach Correlation) method, and the like are known.
背景差分法は、背景となる画像を用意し、入力画像と背景画像との差から背景画像にない物体を検出する方法である(例えば、下記の特許文献1を参照)。但し、背景差分法は、輝度(照明)の変化がある場合に正しく物体を検出することが困難になるという弱点がある。照明変動に強い方法としては、増分符号相関法がある。増分符号相関法は、画像を2値化して輝度成分を削除し、2値化した画像の比較により物体を検出する方法である。但し、増分符号相関法は、輝度成分を考慮しないため、低照度の雑音が多い場合に誤判定が生じやすいという弱点がある。
The background difference method is a method of preparing an image as a background and detecting an object that is not in the background image from the difference between the input image and the background image (see, for example,
増分符号相関法の弱点を克服するために、RRC法が考案された。RRC法は、ある着眼点から放射状(8方向)へと、所定の閾値以上の明度差を持つ点(Reach点)を探索し、探索の結果として得られた8組のReach点ペアに基づいて物体を検出する方法である。但し、RRC法においては、明度差の閾値や物体判別用の閾値は経験則で決定される。しかし、撮像環境などに応じて画像にのる雑音の量や性質などが異なるため、経験則で決定された閾値が必ずしも適切でない場合がある。そのため、画像に応じて適切な閾値を決定する方法について検討が行われた。 In order to overcome the weaknesses of the incremental sign correlation method, the RRC method was devised. In the RRC method, a point (Reach point) having a brightness difference equal to or greater than a predetermined threshold value is searched from a certain point in a radial direction (eight directions), and based on eight Reach point pairs obtained as a result of the search. This is a method for detecting an object. However, in the RRC method, the lightness difference threshold and the object discrimination threshold are determined by empirical rules. However, since the amount and nature of noise in an image differ depending on the imaging environment and the like, the threshold value determined based on empirical rules may not always be appropriate. Therefore, a method for determining an appropriate threshold according to the image has been studied.
そのような方法の一つとして、閾値を統計的に決定するSRF法(統計的Reach特徴法)が提案されている。SRF法は、明度の異なる多数の背景画像を用意し、背景画像に対する統計処理の結果に基づいて閾値を決定するというものである。SRF法を適用すると、雑音特性の変化に対して頑健な物体検出が可能になるが、多くの背景画像を用意しなければならないという問題点がある。多くの背景画像を用意するには、背景画像を保持するために大容量のメモリが必要になる上、背景画像の処理に要する演算負荷も非常に大きくなってしまう。 As one of such methods, an SRF method (statistic reach feature method) for statistically determining a threshold value has been proposed. In the SRF method, a large number of background images having different brightness are prepared, and a threshold value is determined based on a result of statistical processing on the background image. Application of the SRF method makes it possible to detect an object that is robust against changes in noise characteristics, but there is a problem that many background images must be prepared. In order to prepare many background images, a large-capacity memory is required to hold the background images, and the calculation load required for processing the background images becomes very large.
上記のような理由から、可能な限り少ない背景画像(できれば1枚程度の背景画像)を用い、少ない演算負荷及び少ないメモリ量で精度良く物体検出する仕組みの実現が求められている。例えば、上記のRRC法のようなReach点ペアの探索を必要とせず、また、ラインメモリを必要とせずに物体検出できる方法が好ましい。ラインメモリを設けずに済めば回路規模を小さくすることが可能になり、装置の小型化やコスト低減に寄与する。また、被写体の輝度変化に対して頑健な物体検出技術の開発が望まれている。 For the reasons described above, there is a need to realize a mechanism for accurately detecting an object with a small calculation load and a small memory amount using as few background images as possible (preferably about one background image). For example, a method that does not require a search for a reach point pair and does not require a line memory as in the above RRC method is preferable. If the line memory is not provided, the circuit scale can be reduced, which contributes to downsizing and cost reduction of the apparatus. In addition, development of an object detection technique that is robust against changes in luminance of a subject is desired.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、照明変動に強く高速動作が可能な、新規かつ改良された物体検出装置、監視カメラ、及び物体検出方法を提供することにある。また、回路規模の低減が可能である。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a new and improved object detection apparatus, surveillance camera, and object that are resistant to illumination fluctuations and capable of high-speed operation. It is to provide a detection method. In addition, the circuit scale can be reduced.
上記課題を解決するために、本発明のある観点によれば、画像を二値化する二値化手段と、前記画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、背景画像を前記閾値算出手段に入力して第1の閾値を算出し、前記背景画像及び前記第1の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化手段と、対象画像を前記閾値算出手段に入力して第2の閾値を算出し、前記対象画像及び前記第2の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化手段と、前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出手段と、を備える、物体検出装置が提供される。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。また、低い演算負荷、少ないメモリ量、小さな回路規模で高速に物体検出が可能になる。 In order to solve the above-described problem, according to an aspect of the present invention, a binarization unit that binarizes an image and a threshold that calculates a threshold used for binarization of the image according to the brightness of the image A calculation means and a background image are input to the threshold value calculation means to calculate a first threshold value, and the background image and the first threshold value are input to the binarization means to binarize the background image. A background binarization unit and a target image are input to the threshold value calculation unit to calculate a second threshold value, and the target image and the second threshold value are input to the binarization unit to input the target image Object binarization means for binarization, a background binarized image obtained by binarizing the background image, and a difference between the target binarized image obtained by binarizing the target image An object detection device comprising: an object detection means for detecting is provided. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes. In addition, it is possible to detect an object at high speed with a low calculation load, a small amount of memory, and a small circuit scale.
また、前記閾値算出手段は、前記画像が明るいほど前記閾値を大きくし、前記画像が暗いほど前記閾値を小さくするように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。 In addition, the threshold value calculation unit may be configured to increase the threshold value as the image is brighter and decrease the threshold value as the image is darker. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes.
また、前記閾値算出手段は、前記画像を構成する画素について輝度値のヒストグラムを生成し、当該ヒストグラムに基づいて前記閾値を算出するように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。 Further, the threshold value calculation means may be configured to generate a luminance value histogram for the pixels constituting the image and calculate the threshold value based on the histogram. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes.
また、前記閾値算出手段は、前記ヒストグラムのピークに対応する輝度値を前記閾値とするように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。 Further, the threshold value calculation means may be configured so that a luminance value corresponding to a peak of the histogram is the threshold value. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes.
また、前記閾値算出手段は、前記画像を構成する画素の輝度値について当該輝度値の分布傾向を示す統計値に基づいて前記閾値を算出するように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。 Further, the threshold value calculation means may be configured to calculate the threshold value based on a statistical value indicating a distribution tendency of the luminance value with respect to the luminance value of the pixels constituting the image. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes.
また、前記閾値算出手段は、前記輝度値の平均値又は中央値を前記閾値とするように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。 Further, the threshold value calculation means may be configured to use an average value or a median value of the luminance values as the threshold value. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes.
また、前記二値化手段は、前記閾値に対応する輝度値が前記画像における輝度分布の中心となるように前記画像をゲインアップするゲイン調整手段と、前記画像を構成する画素のうち、前記ゲイン調整手段によるゲインアップ後に輝度値が所定値を越える画素の輝度値を前記所定値に設定するクリップ手段と、前記ゲイン調整手段及び前記クリップ手段による処理後の前記画像を二値化する二値化処理手段と、を含むものであってもよい。かかる構成により、より精度良く物体を検出することが可能になる。 In addition, the binarization unit includes a gain adjustment unit that increases the gain of the image so that the luminance value corresponding to the threshold is at the center of the luminance distribution in the image, and the gain among the pixels constituting the image. Clipping means for setting the luminance value of a pixel whose luminance value exceeds a predetermined value after gain increase by the adjusting means to the predetermined value, and binarization for binarizing the image after processing by the gain adjusting means and the clipping means And a processing means. With this configuration, it becomes possible to detect an object with higher accuracy.
また、前記画像を構成する各画素は、所定の走査順序に沿って連続して読み出されるように構成されていてもよい。この場合、前記二値化手段は、m=1〜Mについて、判定対象となる前記画素Xの輝度値と、当該判定対象となる画素Xよりmステップ前に読み出された前記画素Xmの輝度値との差分が前記閾値より大きいか否かを判定し、当該差分が前記閾値より大きくなる回数を計数する判定手段と、前記第1判定手段により計数された回数が所定値よりも大きい場合に前記判定対象となる画素Xの輝度値を第1の値に設定し、当該回数が前記所定値よりも小さい場合に前記判定対象となる画素Xの輝度値を第2の値に設定する二値設定手段と、を含む。かかる構成により、少ないメモリ量で、より精度良く物体を検出することが可能になる。 Further, each pixel constituting the image may be configured to be continuously read out along a predetermined scanning order. In this case, the binarizing means, for m = 1 to M, the luminance value of the pixel X to be determined and the luminance of the pixel Xm read m steps before the pixel X to be determined. A determination unit that determines whether or not a difference from a value is greater than the threshold, and counts the number of times that the difference is greater than the threshold; and when the number of times counted by the first determination unit is greater than a predetermined value A binary value that sets the luminance value of the pixel X to be determined to a first value and sets the luminance value of the pixel X to be determined to a second value when the number of times is smaller than the predetermined value. Setting means. With such a configuration, it is possible to detect an object more accurately with a small amount of memory.
また、上記課題を解決するために、本発明の別の観点によれば、上記の物体検出装置と、前記背景画像及び前記対象画像を撮像する撮像手段と、前記物体検出手段による検出結果を監視者に通知する通知手段と、を備える、監視カメラが提供される。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。また、低い演算負荷、少ないメモリ量、小さな回路規模で高速に物体検出が可能になる。 In order to solve the above-described problem, according to another aspect of the present invention, the object detection device, an imaging unit that captures the background image and the target image, and a detection result by the object detection unit are monitored. Provided with a notification means for notifying a person. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes. In addition, it is possible to detect an object at high speed with a low calculation load, a small amount of memory, and a small circuit scale.
また、上記課題を解決するために、本発明の別の観点によれば、画像を二値化する二値化手段と、画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、を有する物体検出装置が、背景画像を前記閾値算出手段に入力して第1の閾値を算出し、前記背景画像及び前記第1の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化工程と、対象画像を前記閾値算出手段に入力して第2の閾値を算出し、前記対象画像及び前記第2の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化工程と、前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出工程と、を含む、物体検出方法が提供される。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。また、低い演算負荷、少ないメモリ量、小さな回路規模で高速に物体検出が可能になる。 In order to solve the above problem, according to another aspect of the present invention, binarization means for binarizing an image and a threshold value used for binarization of the image according to the brightness of the image are calculated. An object detection device that inputs a background image to the threshold calculation unit to calculate a first threshold, and inputs the background image and the first threshold to the binarization unit. A background binarization step for binarizing the background image, inputting a target image to the threshold value calculation unit to calculate a second threshold value, and converting the target image and the second threshold value to the binarization unit A target binarization step for binarizing the target image, a background binarized image obtained by binarizing the background image, and a target binar obtained by binarizing the target image There is provided an object detection method including an object detection step of detecting an object from a difference from a digitized image. With this configuration, it is possible to detect an object with high accuracy even when the luminance of the subject changes. In addition, it is possible to detect an object at high speed with a low calculation load, a small amount of memory, and a small circuit scale.
以上説明したように本発明によれば、照明変動に強く、高速動作が可能な物体検出技術が実現される。また、実装時に回路規模の低減が可能である。 As described above, according to the present invention, an object detection technique that is resistant to illumination fluctuation and capable of high-speed operation is realized. In addition, the circuit scale can be reduced during mounting.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
[説明の流れについて]
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図1〜図3を参照しながら、本発明の一実施形態に係る物体検出装置100の構成について説明する。次いで、図4を参照しながら、同実施形態の一変形例(変形例#1)に係る物体検出装置100の構成について説明する。次いで、図5を参照しながら、同実施形態の一変形例(変形例#2)に係る物体検出装置200の構成について説明する。次いで、図6及び図7を参照しながら、同実施形態に係るヒストグラム作成手段101、201の回路構成例について説明する。最後に、図8を参照しながら、同実施形態に係る技術を適用した場合に得られる効果について述べる。
[About the flow of explanation]
Here, the flow of explanation regarding the embodiment of the present invention described below will be briefly described. First, the configuration of the object detection apparatus 100 according to an embodiment of the present invention will be described with reference to FIGS. Next, the configuration of the object detection apparatus 100 according to a modification (modification # 1) of the embodiment will be described with reference to FIG. Next, the configuration of the object detection device 200 according to a modification (modification # 2) of the embodiment will be described with reference to FIG. Next, a circuit configuration example of the histogram creating means 101 and 201 according to the embodiment will be described with reference to FIGS. 6 and 7. Finally, effects obtained when the technology according to the embodiment is applied will be described with reference to FIG.
<1:基本構成>
本発明の一実施形態に係る物体検出技術について説明する。ここでは、当該物体検出技術を実装した物体検出装置100の基本構成について説明する。
<1: Basic configuration>
An object detection technique according to an embodiment of the present invention will be described. Here, a basic configuration of the object detection apparatus 100 that implements the object detection technology will be described.
[1−1:全体構成]
まず、図1を参照しながら、本実施形態に係る物体検出装置100の全体構成について説明する。図1は、本実施形態に係る物体検出装置100の全体構成について説明するための説明図である。
[1-1: Overall configuration]
First, the overall configuration of the object detection apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram for explaining the overall configuration of the object detection apparatus 100 according to the present embodiment.
図1に示すように、物体検出装置100は、主に、ヒストグラム作成手段101と、閾値&ゲイン更新手段102と、2値化手段103と、記憶手段104とを有する。さらに、物体検出装置100は、ヒストグラム作成手段105と、閾値&ゲイン更新手段106と、2値化手段107と、差分算出手段108とを有する。
As shown in FIG. 1, the object detection apparatus 100 mainly includes a
なお、物体検出装置100は、被写体を撮像し、撮像画像から各画素の輝度値を表す輝度信号を生成する撮像手段(非図示)をさらに有していてもよい。また、物体検出装置100は、物体検出用画像から、侵入者や不審者、或いは、自動車や自転車などの物体を検出する解析手段(非図示)をさらに有していてもよい。また、物体検出装置100は、当該撮像手段及び/又は解析手段を有する外部機器と有線又は無線の電気通信回線を介して接続されていてもよいし、ケーブルなどで直接的に接続されていてもよい。但し、ここでは物体検出装置100に対して外部から輝度信号が入力されるものとし、物体検出装置100により生成された物体検出用画像は外部へと出力されるものとして説明を進める。 Note that the object detection apparatus 100 may further include an imaging unit (not shown) that captures an image of a subject and generates a luminance signal representing the luminance value of each pixel from the captured image. The object detection apparatus 100 may further include an analysis unit (not shown) that detects an intruder, a suspicious person, or an object such as an automobile or a bicycle from the object detection image. The object detection apparatus 100 may be connected to an external device having the imaging unit and / or analysis unit via a wired or wireless telecommunication line, or may be directly connected by a cable or the like. Good. However, here, it is assumed that a luminance signal is input to the object detection apparatus 100 from the outside, and the object detection image generated by the object detection apparatus 100 is output to the outside.
(背景画像の処理に関する構成要素について)
まず、物体検出装置100には、背景画像の輝度信号(以下、背景輝度信号P1)が入力される。物体検出装置100に入力された背景輝度信号P1は、ヒストグラム作成手段101及び2値化手段103に入力される。背景輝度信号P1が入力されると、ヒストグラム作成手段101は、背景輝度信号P1から輝度値の度数分布を計算し、背景輝度信号P1のヒストグラムを作成する。なお、ヒストグラム作成手段101の回路構成例については後段において詳述する。
(About components related to background image processing)
First, a luminance signal of a background image (hereinafter, background luminance signal P 1 ) is input to the object detection device 100. The background luminance signal P 1 input to the object detection device 100 is input to the
ヒストグラム作成手段101により作成されたヒストグラムの情報は、閾値&ゲイン更新手段102に入力される。ヒストグラムの情報が入力されると、閾値&ゲイン更新手段102は、当該ヒストグラムに基づいて背景輝度信号P1の2値化に用いる閾値SA及びゲイン調整値GA(GAは自然数)を算出する。閾値&ゲイン更新手段102により算出された閾値SA及びゲイン調整値GAは、2値化手段103に入力される。なお、閾値SAは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。
Information on the histogram created by the histogram creation means 101 is input to the threshold value & gain update means 102. When the information of the histogram is input, the threshold & gain
上記の通り、2値化手段103には、背景輝度信号P1、閾値SA及びゲイン調整値GAが入力される。背景輝度信号P1、閾値SA及びゲイン調整値GAが入力されると、2値化手段103は、図2に示すような処理手順で背景輝度信号P1を2値化し、各画素に対応する出力値A(以下、2値化後背景画素値A)を出力する。なお、2値化手段103による処理の内容については後段において詳述する。2値化手段103から出力された2値化後背景画素値Aは、記憶手段104に格納される。そして、記憶手段104に格納された2値化後背景画素値Aは、必要に応じて差分算出手段108により読み出される。
As described above, the
(入力画像の処理に関する構成要素について)
次に、物体検出装置100には、物体検出の対象となる入力画像の輝度信号(以下、入力輝度信号P2)が入力される。物体検出装置100に入力された入力輝度信号P2は、ヒストグラム作成手段105及び2値化手段107に入力される。入力輝度信号P2が入力されると、ヒストグラム作成手段105は、入力輝度信号P2から輝度値の度数分布を計算し、入力輝度信号P2のヒストグラムを作成する。なお、ヒストグラム作成手段105の回路構成例については後段において詳述する。
(About components related to input image processing)
Next, the object detection apparatus 100 receives a luminance signal (hereinafter, input luminance signal P 2 ) of an input image that is an object detection target. The input luminance signal P 2 input to the object detection apparatus 100 is input to the
ヒストグラム作成手段105により作成されたヒストグラムの情報は、閾値&ゲイン更新手段106に入力される。ヒストグラムの情報が入力されると、閾値&ゲイン更新手段106は、当該ヒストグラムに基づいて入力輝度信号P2の2値化に用いる閾値SB及びゲイン調整値GB(GBは自然数)を算出する。閾値&ゲイン更新手段106により算出された閾値SB及びゲイン調整値GBは、2値化手段107に入力される。なお、閾値SBは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。
Information on the histogram created by the histogram creation means 105 is input to the threshold value & gain update means 106. When the information of the histogram is input, the threshold & gain
上記の通り、2値化手段107には、入力輝度信号P2、閾値SB及びゲイン調整値GBが入力される。入力輝度信号P2、閾値SB及びゲイン調整値GBが入力されると、2値化手段107は、図3に示すような処理手順で入力輝度信号P2を2値化し、各画素に対応する出力値B(以下、2値化後入力画素値B)を出力する。なお、2値化手段107による処理の内容については後段において詳述する。2値化手段107から出力された2値化後入力画素値Bは、差分算出手段108に入力される。
As described above, the
(物体検出用画像の生成に関する構成要素について)
2値化後入力画素値Bが入力されると、差分算出手段108は、記憶手段104から2値化後背景画素値Aを読み出す。そして、差分算出手段108は、2値化後入力画素値Bと2値化後背景画素値Bとの差分を算出し、その差分を物体検出用画像の画素値として出力する。例えば、差分算出手段108は、2値化後背景画像Aを反転させ、反転後の2値化後背景画像Aバーと、2値化後入力画像Bとを合成して物体検出用画像を生成する。例えば、図8の上段に示すような背景画像及び入力画像が与えられた場合、同下段に示すような出力画像が物体検出用画像として出力される。
(Constituent elements related to generation of image for object detection)
When the binarized input pixel value B is input, the
以上、本実施形態に係る物体検出装置100の全体構成について説明した。 The overall configuration of the object detection apparatus 100 according to the present embodiment has been described above.
(監視カメラなどへの応用)
ところで、本実施形態に係る物体検出装置100は、撮像手段などを追加することで監視カメラとして機能しうる。また、撮像手段により撮像された画像が物体検出装置100に入力されるようにし、物体検出装置100から出力された物体検出用画像が侵入者/不審者検出用の画像解析手段に入力されるようにすれば、監視システムが実現される。この場合、撮像手段や画像解析手段と物体検出装置100との間は有線又は無線の電気通信回線を介して接続されてもよいし、ケーブルなどで直接的に接続されてもよい。こうした実装形態の変形についても当然に本実施形態の技術的範囲に属することは言うまでもない。
(Application to surveillance cameras)
By the way, the object detection apparatus 100 according to the present embodiment can function as a monitoring camera by adding an imaging unit or the like. Further, the image picked up by the image pickup means is input to the object detection device 100, and the object detection image output from the object detection device 100 is input to the image analysis means for intruder / suspicious person detection. Then, a monitoring system is realized. In this case, the imaging unit or the image analysis unit and the object detection apparatus 100 may be connected via a wired or wireless telecommunication line, or may be directly connected by a cable or the like. It goes without saying that such modifications of the mounting form naturally belong to the technical scope of the present embodiment.
[1−2:2値化処理の内容について]
ここで、図2及び図3を参照しながら、2値化手段103、107による2値化処理の内容について、より詳細に説明する。なお、背景輝度信号P1及び入力輝度信号P2は、それぞれラスタースキャンで入力されるものとする。また、処理は1行単位で実行されるものとし、異なる行との間で相互作用は考えないものとする。
[1-2: Contents of binarization processing]
Here, the contents of the binarization processing by the binarization means 103 and 107 will be described in more detail with reference to FIGS. Incidentally, the background luminance signal P 1 and the input luminance signal P 2 is assumed to each input in the raster scan. In addition, it is assumed that the process is executed in units of one line and no interaction is considered between different lines.
(背景画像に基づく2値化閾値)
まず、2値化手段103による2値化処理の内容について説明する。図2に示すように、2値化手段103は、ゲイン調整工程、輝度制限工程、遅延工程を順次実行する。さらに、2値化手段103は、遅延工程で得られた輝度信号から2値化後背景画素値Aを算出する。以下、各工程について、より詳細に説明する。
(Binarization threshold based on background image)
First, the contents of the binarization process by the binarization means 103 will be described. As shown in FIG. 2, the
ゲイン調整工程において、2値化手段103は、ゲイン調整機能111により、閾値&ゲイン更新手段102により入力されたゲイン調整値GAに基づいて背景輝度信号P1の各画素値をGA倍にゲインアップする。次いで、2値化手段103は、輝度制限機能112により、ゲインアップ後の各画素値を所定の最大値でクリップする。例えば、背景輝度信号P1が8ビットで表現されている場合、2値化手段103は、ゲインアップ後の画素値が255を越えた場合に、その画素値を255に設定する。
In the gain adjustment step, binarizing means 103, the
次いで、2値化手段103は、遅延機能113により、画素値Xを有する注目画素を基準として時間Tずつ遅延したM個(例えば、Mは基準とする画素と同じ行内の画素数)の画素値X1,…,XMを取得する。つまり、2値化手段103は、注目画素よりも1個前に位置する画素、…、M個前に位置する画素の画素値を順次取得する。次いで、2値化手段103は、閾値&ゲイン更新手段102により入力された閾値SA及び所定の閾値TAに基づいて2値化後背景画素値Aを算出する。
Next, the
まず、2値化手段103は、画素値Xと画素値Xm(m=1,…,M)との差分ΔXm(ΔXm=|X−Xm|)を算出する。次いで、2値化手段103は、ΔXm>SAの場合に中間判定値AmをAm=1とし、ΔXm≦SAの場合に中間判定値AmをAm=0とする。m=1,…,Mについて中間判定値Amを得ると、2値化手段103は、中間判定値Am(m=1,…,M)の総和ΣAmを算出する。そして、2値化手段103は、総和ΣAm>TAである場合に2値化後背景画素値AをA=1とし、総和ΣAm≦TAである場合に2値化後背景画素値AをA=0とする。
First, the
背景輝度信号P1の各画素について上述した処理が実施され、各画素に対応する2値化後背景画素値Aは、記憶手段104に格納される。なお、上記の閾値TAは、例えば、固定値0に設定される。もちろん、この閾値TAを0以外の値に設定したり、外部から値を変更したりできるようにすることも可能である。また、上述した処理の流れから明らかなように、本実施形態に係る2値化処理は、パイプライン構成となっており、ラインメモリを必要とする構成とはなっていない。そのため、小型の回路を用いて本実施形態に係る2値化処理を実施することが可能である。
The above-described processing is performed for each pixel of the background luminance signal P 1, and the binarized background pixel value A corresponding to each pixel is stored in the
(入力画像に基づく2値化閾値)
次に、2値化手段107による2値化処理の内容について説明する。図3に示すように、2値化手段107は、ゲイン調整工程、輝度制限工程、遅延工程を順次実行する。さらに、2値化手段107は、遅延工程で得られた輝度信号から2値化後入力画素値Bを算出する。以下、各工程について、より詳細に説明する。
(Binarization threshold based on input image)
Next, the contents of the binarization process by the binarization means 107 will be described. As shown in FIG. 3, the
ゲイン調整工程において、2値化手段107は、ゲイン調整機能121により、閾値&ゲイン更新手段106により入力されたゲイン調整値GBに基づいて入力輝度信号P2の各画素値をGB倍にゲインアップする。次いで、2値化手段107は、輝度制限機能122により、ゲインアップ後の各画素値を所定の最大値でクリップする。例えば、入力輝度信号P2が8ビットで表現されている場合、2値化手段107は、ゲインアップ後の画素値が255を越えた場合に、その画素値を255に設定する。
In the gain adjustment step, binarizing means 107, the
次いで、2値化手段107は、遅延機能123により、画素値Xを有する注目画素を基準として時間Tずつ遅延したM個(例えば、Mは基準とする画素と同じ行内の画素数)の画素値X1,…,XMを取得する。つまり、2値化手段107は、注目画素よりも1個前に位置する画素、…、M個前に位置する画素の画素値を順次取得する。次いで、2値化手段107は、閾値&ゲイン更新手段106により入力された閾値SB及び所定の閾値TBに基づいて2値化後入力画素値Bを算出する。
Next, the
まず、2値化手段107は、画素値Xと画素値Xm(m=1,…,M)との差分ΔXm(ΔXm=|X−Xm|)を算出する。次いで、2値化手段107は、ΔXm>SBの場合に中間判定値BmをBm=1とし、ΔXm≦SBの場合に中間判定値BmをBm=0とする。m=1,…,Mについて中間判定値Bmを得ると、2値化手段107は、中間判定値Bm(m=1,…,M)の総和ΣBmを算出する。そして、2値化手段107は、総和ΣBm>TBである場合に2値化後入力画素値BをB=1とし、総和ΣBm≦TBである場合に2値化後入力画素値BをB=0とする。
First, the binarizing means 107 calculates a difference ΔX m (ΔX m = | X−X m |) between the pixel value X and the pixel value X m (m = 1,..., M). Next, the
入力輝度信号P2の各画素について上述した処理が実施され、各画素に対応する2値化後入力画素値Bは、差分算出手段108に入力される。なお、上記の閾値TBは、例えば、固定値0に設定される。もちろん、この閾値TBを0以外の値に設定したり、外部から値を変更したりできるようにすることも可能である。また、上述した処理の流れから明らかなように、本実施形態に係る2値化処理は、パイプライン構成となっており、ラインメモリを必要とする構成とはなっていない。そのため、小型の回路を用いて本実施形態に係る2値化処理を実施することが可能である。
Be carried aforementioned processing for each pixel of the input luminance signal P 2 is an input pixel value B after binarization corresponding to each pixel is input into the
以上、本実施形態に係る2値化処理の内容について説明した。なお、上記のSAとSBとは異なる値に設定されることもあるし、同じ値に設定されることもある。同様に、上記のGAとGBとは異なる値に設定されることもあるし、同じ値に設定されることもある。また、1フレーム前の入力輝度信号P2に対する閾値SB及びゲイン調整値GBを利用して、現在の入力輝度信号P2の2値化処理を実施するように構成されていてもよい。このような構成にすると、照度の顕著な変化があると2値化に用いる閾値SB及びゲイン調整値GBは最適な値からずれてしまうが、1フレーム分のずれが物体検出の精度を劣化させる要因とはならないと考えられる。 The content of the binarization process according to the present embodiment has been described above. Incidentally, the also be set to a value different from the above S A and S B, also be set to the same value. There Similarly, to also be set to a value different from that of the G A and G B above, also be set to the same value. Also, 1, utilizing the previous frame of the input luminance signal P threshold S for 2 B and the gain adjustment value G B, may be configured to implement the present binarization processing of the input luminance signal P 2. With this configuration, the threshold S B and the gain adjustment value G B used in binarization when there is significant change in illuminance deviates from the optimum value, the deviation of one frame accuracy of the object detected It is not considered to be a factor that causes deterioration.
以上、本実施形態に係る物体検出装置100の基本構成について説明した。 The basic configuration of the object detection device 100 according to the present embodiment has been described above.
<2:変形例#1(背景画像の更新制御)>
次に、図4を参照しながら、本実施形態の一変形例(変形例#1)に係る物体検出装置100の構成について説明する。図4は、本実施形態の一変形例(変形例#1)に係る物体検出装置100の構成について説明するための説明図である。ここで説明する変形例#1は、外部から入力される更新制御信号に応じて新たな背景輝度信号P1に基づく2値化後背景画素値Aを生成し、記憶手段104に格納されている2値化後背景画素値Aを更新する点で上述した基本構成と相違する。
<2: Modification # 1 (Background Image Update Control)>
Next, the configuration of the object detection apparatus 100 according to a modification (modification # 1) of the present embodiment will be described with reference to FIG. FIG. 4 is an explanatory diagram for describing a configuration of the object detection device 100 according to a modification (modification # 1) of the present embodiment.
図4に示すように、変形例#1に係る物体検出装置100は、主に、ヒストグラム作成手段101と、閾値&ゲイン更新手段102と、2値化手段103と、記憶手段104とを有する。さらに、物体検出装置100は、ヒストグラム作成手段105と、閾値&ゲイン更新手段106と、2値化手段107と、差分算出手段108と、切替手段109とを有する。なお、入力画像の処理に関する構成要素及び物体検出用画像の生成に関する構成要素は上述した基本構成と実質的に同じであるため、ここでは詳細な説明を省略する。
As shown in FIG. 4, the object detection apparatus 100 according to the
(背景画像の処理に関する構成要素について)
まず、物体検出装置100には、背景画像の輝度信号(以下、背景輝度信号P1)が入力される。物体検出装置100に入力された背景輝度信号P1は、ヒストグラム作成手段101及び2値化手段103に入力される。背景輝度信号P1が入力されると、ヒストグラム作成手段101は、背景輝度信号P1から輝度値の度数分布を計算し、背景輝度信号P1のヒストグラムを作成する。なお、ヒストグラム作成手段101の回路構成例については後段において詳述する。
(About components related to background image processing)
First, a luminance signal of a background image (hereinafter, background luminance signal P 1 ) is input to the object detection device 100. The background luminance signal P 1 input to the object detection device 100 is input to the
ヒストグラム作成手段101により作成されたヒストグラムの情報は、閾値&ゲイン更新手段102に入力される。ヒストグラムの情報が入力されると、閾値&ゲイン更新手段102は、当該ヒストグラムに基づいて背景輝度信号P1の2値化に用いる閾値SA及びゲイン調整値GA(GAは自然数)を算出する。閾値&ゲイン更新手段102により算出された閾値SA及びゲイン調整値GAは、2値化手段103に入力される。なお、閾値SAは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。
Information on the histogram created by the histogram creation means 101 is input to the threshold value & gain update means 102. When the information of the histogram is input, the threshold & gain
上記の通り、2値化手段103には、背景輝度信号P1、閾値SA及びゲイン調整値GAが入力される。背景輝度信号P1、閾値SA及びゲイン調整値GAが入力されると、2値化手段103は、図2に示すような処理手順で背景輝度信号P1を2値化し、各画素に対応する出力値A(以下、2値化後背景画素値A)を出力する。2値化手段103から出力された2値化後背景画素値Aは、記憶手段104に格納される。
As described above, the
その後、差分算出手段108は、記憶手段104に格納された2値化後背景画素値Aを利用して物体検出用画像を生成する。しかし、外部から更新制御信号が入力されると、切替手段109は、更新制御信号の入力に合わせて新たに入力された背景輝度信号P1をヒストグラム作成手段101及び2値化手段103に入力する。新たな背景輝度信号P1が入力されると、ヒストグラム作成手段101は新たな背景輝度信号P1に基づいてヒストグラムを作成する。さらに、閾値&ゲイン更新手段102は、新たなヒストグラムに基づいて閾値SA及びゲイン調整値GAを更新する。
Thereafter, the
そして、2値化手段103は、更新後の閾値SA及びゲイン調整値GAに基づいて新たな背景輝度信号P1を2値化して2値化後背景画素値Aを生成する。2値化手段103により新たに生成された2値化後背景画素値Aは、記憶手段104に格納される。その後、差分算出手段108は、記憶手段104に格納された新たな2値化後背景画素値Aを利用して物体検出用画像を生成する。このように、変形例#1に係る物体検出装置100は、外部から入力された更新制御信号に応じて2値化後背景画素値Aを更新することができる。そのため、所定のタイミングで更新制御信号を入力したり、所定の周期で更新制御信号を入力したり、物体検出結果に応じて更新制御信号を入力したりすることで、より輝度変化に強い物体検出が可能になる。
The binarization means 103, by binarizing the new background luminance signal P 1 based on a threshold S A and the gain adjustment value G A after updating to generate a binarized after background pixel value A. The binarized background pixel value A newly generated by the
以上、変形例#1に係る物体検出装置100の全体構成について説明した。
<3:変形例#2(回路共有化)>
次に、図5を参照しながら、本実施形態の一変形例(変形例#2)に係る物体検出装置200の構成について説明する。図5は、本実施形態の一変形例(変形例#2)に係る物体検出装置200の構成について説明するための説明図である。ここで説明する変形例#2は、背景画像用の2値化処理回路と、入力画像用の2値化処理回路とを共有化する構成に関する。
The overall configuration of the object detection device 100 according to
<3: Modification # 2 (circuit sharing)>
Next, the configuration of the object detection apparatus 200 according to a modification (modification # 2) of the present embodiment will be described with reference to FIG. FIG. 5 is an explanatory diagram for describing a configuration of an object detection device 200 according to a modification (modification # 2) of the present embodiment. Modification # 2 described here relates to a configuration in which a binarization processing circuit for a background image and a binarization processing circuit for an input image are shared.
図5に示すように、変形例#2に係る物体検出装置200は、主に、ヒストグラム作成手段201と、閾値&ゲイン更新手段202と、2値化手段203と、記憶手段204と、切替制御手段205と、差分算出手段206とを有する。
As shown in FIG. 5, the object detection apparatus 200 according to the modification # 2 mainly includes a
なお、物体検出装置200は、被写体を撮像し、撮像画像から各画素の輝度値を表す輝度信号を生成する撮像手段(非図示)をさらに有していてもよい。また、物体検出装置200は、物体検出用画像から、侵入者や不審者、或いは、自動車や自転車などの物体を検出する解析手段(非図示)をさらに有していてもよい。また、物体検出装置200は、当該撮像手段及び/又は解析手段を有する外部機器と有線又は無線の電気通信回線を介して接続されていてもよいし、ケーブルなどで直接的に接続されていてもよい。但し、ここでは物体検出装置200に対して外部から輝度信号が入力されるものとし、物体検出装置200により生成された物体検出用画像は外部へと出力されるものとして説明を進める。 The object detection apparatus 200 may further include an imaging unit (not shown) that captures an image of a subject and generates a luminance signal representing the luminance value of each pixel from the captured image. The object detection apparatus 200 may further include an analysis unit (not shown) that detects an intruder, a suspicious person, or an object such as an automobile or a bicycle from the object detection image. Further, the object detection apparatus 200 may be connected to an external device having the imaging unit and / or analysis unit via a wired or wireless telecommunication line, or may be directly connected by a cable or the like. Good. However, here, it is assumed that a luminance signal is input from the outside to the object detection device 200 and the object detection image generated by the object detection device 200 is output to the outside.
(背景画像の処理に関する構成要素について)
まず、物体検出装置200には、背景画像の輝度信号(以下、背景輝度信号P1)が入力される。物体検出装置200に入力された背景輝度信号P1は、ヒストグラム作成手段201及び2値化手段203に入力される。背景輝度信号P1が入力されると、ヒストグラム作成手段201は、背景輝度信号P1から輝度値の度数分布を計算し、背景輝度信号P1のヒストグラムを作成する。なお、ヒストグラム作成手段201の回路構成例については後段において詳述する。
(About components related to background image processing)
First, a luminance signal of a background image (hereinafter, background luminance signal P 1 ) is input to the object detection device 200. The background luminance signal P 1 input to the object detection device 200 is input to the
ヒストグラム作成手段201により作成されたヒストグラムの情報は、閾値&ゲイン更新手段202に入力される。ヒストグラムの情報が入力されると、閾値&ゲイン更新手段202は、当該ヒストグラムに基づいて背景輝度信号P1の2値化に用いる閾値SA及びゲイン調整値GA(GAは自然数)を算出する。閾値&ゲイン更新手段202により算出された閾値SA及びゲイン調整値GAは、2値化手段203に入力される。なお、閾値SAは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。
Information on the histogram created by the histogram creating means 201 is input to the threshold & gain updating means 202. When the information of the histogram is input, the threshold & gain
上記の通り、2値化手段203には、背景輝度信号P1、閾値SA及びゲイン調整値GAが入力される。背景輝度信号P1、閾値SA及びゲイン調整値GAが入力されると、2値化手段203は、上述した基本構成に係る2値化手段103と同様の処理手順で背景輝度信号P1を2値化し、各画素に対応する出力値A(以下、2値化後背景画素値A)を出力する。2値化手段203から出力された2値化後背景画素値Aは、記憶手段204に格納される。そして、記憶手段204に格納された2値化後背景画素値Aは、必要に応じて差分算出手段206により読み出される。
As described above, the
(入力画像の処理に関する構成要素について)
次に、物体検出装置200には、物体検出の対象となる入力画像の輝度信号(以下、入力輝度信号P2)が入力される。このとき、切替制御信号が入力され、切替制御手段205により閾値&ゲイン更新手段202は、入力輝度信号P2の2値化処理に用いる閾値SB及びゲイン調整値GBを算出する動作モードに切り替えられる。物体検出装置200に入力された入力輝度信号P2は、ヒストグラム作成手段201及び2値化手段203に入力される。入力輝度信号P2が入力されると、ヒストグラム作成手段201は、入力輝度信号P2から輝度値の度数分布を計算し、入力輝度信号P2のヒストグラムを作成する。
(About components related to input image processing)
Next, the object detection apparatus 200 receives a luminance signal (hereinafter, input luminance signal P 2 ) of an input image that is an object detection target. At this time, the switching control signal is inputted, the threshold & gain
ヒストグラム作成手段201により作成されたヒストグラムの情報は、閾値&ゲイン更新手段202に入力される。ヒストグラムの情報が入力されると、閾値&ゲイン更新手段202は、当該ヒストグラムに基づいて入力輝度信号P2の2値化に用いる閾値SB及びゲイン調整値GB(GBは自然数)を算出する。閾値&ゲイン更新手段202により算出された閾値SB及びゲイン調整値GBは、2値化手段203に入力される。なお、閾値SBは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。
Information on the histogram created by the histogram creating means 201 is input to the threshold & gain updating means 202. When the information of the histogram is input, the threshold & gain
上記の通り、2値化手段203には、入力輝度信号P2、閾値SB及びゲイン調整値GBが入力される。入力輝度信号P2、閾値SB及びゲイン調整値GBが入力されると、2値化手段203は、上述した基本構成に係る2値化手段107と同様の処理手順で入力輝度信号P2を2値化し、各画素に対応する出力値B(以下、2値化後入力画素値B)を出力する。2値化手段203から出力された2値化後入力画素値Bは、差分算出手段206に入力される。
As described above, the
(物体検出用画像の生成に関する構成要素について)
2値化後入力画素値Bが入力されると、差分算出手段206は、記憶手段204から2値化後背景画素値Aを読み出す。そして、差分算出手段206は、2値化後入力画素値Bと2値化後背景画素値Bとの差分を算出し、その差分を物体検出用画像の画素値として出力する。例えば、差分算出手段206は、2値化後背景画像Aを反転させ、反転後の2値化後背景画像Aバーと、2値化後入力画像Bとを合成して物体検出用画像を生成する。例えば、図8の上段に示すような背景画像及び入力画像が与えられた場合、同下段に示すような出力画像が物体検出用画像として出力される。
(Constituent elements related to generation of image for object detection)
When the binarized input pixel value B is input, the
以上、変形例#2に係る物体検出装置200の構成について説明した。変形例#2の構成を適用することで、さらに回路規模を抑制することが可能になる。 The configuration of the object detection device 200 according to the modification # 2 has been described above. By applying the configuration of modification # 2, it becomes possible to further reduce the circuit scale.
(監視カメラなどへの応用)
ところで、本実施形態に係る物体検出装置200は、撮像手段などを追加することで監視カメラとして機能しうる。また、撮像手段により撮像された画像が物体検出装置200に入力されるようにし、物体検出装置200から出力された物体検出用画像が侵入者/不審者検出用の画像解析手段に入力されるようにすれば、監視システムが実現される。この場合、撮像手段や画像解析手段と物体検出装置200との間は有線又は無線の電気通信回線を介して接続されてもよいし、ケーブルなどで直接的に接続されてもよい。こうした実装形態の変形についても当然に本実施形態の技術的範囲に属することは言うまでもない。
(Application to surveillance cameras)
By the way, the object detection apparatus 200 according to the present embodiment can function as a monitoring camera by adding an imaging unit and the like. Further, the image picked up by the image pickup means is input to the object detection apparatus 200, and the object detection image output from the object detection apparatus 200 is input to the image analysis means for intruder / suspicious person detection. Then, a monitoring system is realized. In this case, the imaging unit or the image analysis unit and the object detection device 200 may be connected via a wired or wireless telecommunication line, or may be directly connected by a cable or the like. It goes without saying that such modifications of the mounting form naturally belong to the technical scope of the present embodiment.
<4:ヒストグラム作成手段の回路構成例>
ここで、図6及び図7を参照しながら、ヒストグラム作成手段101、105、201の機能を実現可能な回路構成例について説明する。図6及び図7は、ヒストグラム作成手段101、201の機能を実現可能な回路構成例について説明するための説明図である。なお、入力される輝度信号が背景輝度信号P1の場合も入力輝度信号P2の場合も処理内容は実質的に同じであるため、ここでは入力輝度信号Pが入力されるものとする。
<4: Circuit Configuration Example of Histogram Creation Unit>
Here, an example of a circuit configuration capable of realizing the functions of the histogram creation means 101, 105, and 201 will be described with reference to FIGS. 6 and 7 are explanatory diagrams for explaining an example of a circuit configuration capable of realizing the functions of the histogram creating means 101 and 201. FIG. Note that the input luminance signal P is input here because the processing contents are substantially the same regardless of whether the input luminance signal is the background luminance signal P 1 or the input luminance signal P 2 .
図6に示すように、ヒストグラム作成手段101、105、201の機能は、例えば、イネーブル生成回路301及びカウンタ302により実現可能である。イネーブル生成回路301は、図7の例に示すような入出力関係(Xは0でも1でもよいことを意味する。)を実現する回路である。図7は、入力輝度信号Pが8ビットで表現されること、及びQVGA程度の解像度であることを想定した例である。この場合、入力輝度信号Pが入力されたイネーブル生成回路301は、入力輝度信号Pの輝度値に応じて8個の信号E0,…,E7を出力する。例えば、入力輝度信号Pの輝度値が2進数表記で00011101の場合、イネーブル生成回路301は、上位3ビットが0であるから、図7の表に従って、(E0,E1,E2,E3,E4,E5,E6,E7)=(0,0,0,0,1,0,0,0)を出力する。他の場合も同様である。
As shown in FIG. 6, the functions of the histogram creation means 101, 105, and 201 can be realized by an
イネーブル生成回路301から出力された信号E0,…,E7は、それぞれ対応するカウンタ302に入力される。各カウンタ302は、入力された信号が1の場合に自身のカウント値をカウントアップし、0の場合にはカウントアップしない。例えば、イネーブル生成回路301から(E0,E1,E2,E3,E4,E5,E6,E7)=(0,0,0,0,1,0,0,0)が出力された場合、信号E4に対応するカウンタ302は自身のカウント値をカウントアップし、他の信号に対応するカウンタ302はカウントアップしない。画像を構成する各画素の入力輝度信号Pに対してイネーブル生成回路301及びカウンタ302による処理が実行されると、各カウンタ302は、それぞれ自身のカウント値を出力する。
The signals E 0 ,..., E 7 output from the
上記の構成から明らかなように、各カウンタ302から出力されるカウント値は、ヒストグラムを構成する各輝度範囲の度数になっている。例えば、信号E5に対応する輝度範囲は、32〜64である。同様に、信号E6に対応する輝度範囲は64〜128であり、信号E7に対応する輝度範囲は128〜255である。信号E0,…,E4についても同様である。なお、輝度範囲の設定方法はこの例に限定されないが、この例のように輝度値が比較的低い領域で輝度範囲の幅を狭く、輝度値が比較的高い領域で輝度範囲の幅を広くとることにより、低照度時における画像の輝度変化に敏感な特性が得られる。
As is clear from the above configuration, the count value output from each
閾値&ゲイン更新手段102、106、202は、カウンタ302の出力に基づき、例えば、最も度数の多い輝度範囲(ピーク)を検出して、その輝度範囲が画像の中心となるように、輝度に乗算するゲイン調整値GA及び閾値SA(又はゲイン調整値GB及び閾値SB)を決定する。なお、輝度範囲の決定方法としては、上記のようにピークを基準に決定する方法もあるが、平均値、中央値、或いは、分散値などの統計値に基づいて画像の中心にする輝度範囲を決定する方法も考えられる。また、要求される検出精度、処理負荷、或いは、撮像条件などによっては、背景画像に基づくゲイン調整値GA及び閾値SAを入力画像に基づくゲイン調整値GB及び閾値SBに設定する方法も考えられる。
Based on the output of the
以上、ヒストグラム作成手段101、105、201の機能を実現可能な回路構成例について説明した。 The circuit configuration example that can realize the functions of the histogram creation means 101, 105, and 201 has been described above.
<5:効果>
本実施形態に係る技術を適用すると、図8に模式的に示したように、撮像対象の照度が低下した状態でも、物体を十分に高い精度で認識できる程度にはっきりと物体の輪郭が得られる。そのため、突然に輝度が変化したり、比較対象の背景画像が異なる時間帯に撮像されたものであったりしても、精度良く物体を検出することが可能になる。また、実際に撮像した画像を用いてシミュレーションの結果において、照明が暗い状況や雑音を挿入した状況においても、被写体の輪郭を判別可能な物体検出用画像が得られている。
<5: Effect>
When the technology according to the present embodiment is applied, the outline of the object can be clearly obtained to such an extent that the object can be recognized with sufficiently high accuracy even when the illuminance of the imaging target is lowered, as schematically shown in FIG. . Therefore, even if the luminance suddenly changes or the background image to be compared is captured in a different time zone, the object can be detected with high accuracy. In addition, as a result of the simulation using an actually captured image, an object detection image is obtained in which the contour of the subject can be determined even in a situation where illumination is dark or noise is inserted.
上述したように、本実施形態は、照明変動に対して頑健にするために画像信号を2値符号化し、さらに、雑音に対して頑健にするために2値化に利用する判定用閾値を変更する構成を採用している。RRC法などでは、放射状の点に対して統計的な処理を実施し、さらに探索処理を必要としていた。一方、本実施形態の構成は、ラインメモリなしのパイプライン構成で画像輝度のヒストグラムを作成できるようにし、ヒストグラムから輝度信号の乗算係数(ゲイン調整値)及び閾値を得るようにした。結果として、回路の小型化、及び高速動作が可能となった。 As described above, in this embodiment, the image signal is binary-encoded to be robust against illumination fluctuations, and the determination threshold used for binarization is changed to be robust against noise. The structure to be adopted is adopted. In the RRC method or the like, statistical processing is performed on radial points, and further search processing is required. On the other hand, in the configuration of the present embodiment, a histogram of image luminance can be created with a pipeline configuration without a line memory, and the multiplication coefficient (gain adjustment value) and threshold value of the luminance signal are obtained from the histogram. As a result, the circuit can be downsized and operated at high speed.
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to the example which concerns. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.
100 物体検出装置
101、105 ヒストグラム作成手段
102、106 閾値&ゲイン更新手段
103、107 2値化手段
104 記憶手段
108 差分算出手段
109 切替手段
111、121 ゲイン調整機能
112、122 輝度制限機能
113、123 遅延機能
200 物体検出装置
201 ヒストグラム作成手段
202 閾値&ゲイン更新手段
203 2値化手段
204 記憶手段
205 切替制御手段
206 差分算出手段
301 イネーブル生成回路
302 カウンタ
DESCRIPTION OF SYMBOLS 100
Claims (3)
前記画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、
背景画像を前記閾値算出手段に入力して第1の閾値を算出し、前記背景画像及び前記第1の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化手段と、
対象画像を前記閾値算出手段に入力して第2の閾値を算出し、前記対象画像及び前記第2の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化手段と、
前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出手段と、
を備え、
前記画像を構成する各画素は、所定の走査順序に沿って連続して読み出され、
前記二値化手段は、
m=1〜Mについて、判定対象となる前記画素Xの輝度値と、当該判定対象となる画素Xよりmステップ前に読み出された前記画素Xmの輝度値との差分が前記閾値より大きいか否かを判定し、当該差分が前記閾値より大きくなる回数を計数する判定手段と、
前記判定手段により計数された回数が所定値よりも大きい場合に前記判定対象となる画素Xの輝度値を第1の値に設定し、当該回数が前記所定値よりも小さい場合に前記判定対象となる画素Xの輝度値を第2の値に設定する二値設定手段と、
を含む
ことを特徴とする、物体検出装置。 Binarization means for binarizing the image;
Threshold calculation means for calculating a threshold used for binarization of the image according to the brightness of the image;
A background binarization that inputs a background image to the threshold value calculation means to calculate a first threshold value, and inputs the background image and the first threshold value to the binarization means to binarize the background image. Means,
Target binarization in which a target image is input to the threshold calculation means to calculate a second threshold, and the target image and the second threshold are input to the binarization means to binarize the target image. Means,
An object detection means for detecting an object from a difference between a background binarized image obtained by binarizing the background image and a target binarized image obtained by binarizing the target image;
Equipped with a,
Each pixel constituting the image is continuously read out along a predetermined scanning order,
The binarization means includes
For m = 1 to M, is the difference between the luminance value of the pixel X to be determined and the luminance value of the pixel Xm read m steps before the pixel X to be determined larger than the threshold value? Determining means for determining whether or not the difference is larger than the threshold value;
When the number of times counted by the determination unit is larger than a predetermined value, the luminance value of the pixel X to be determined is set to a first value, and when the number of times is smaller than the predetermined value, Binary setting means for setting the luminance value of the pixel X to be the second value;
An object detection device comprising:
前記背景画像及び前記対象画像を撮像する撮像手段と、
前記物体検出手段による検出結果を監視者に通知する通知手段と、
を備える
ことを特徴とする、監視カメラ。 An object detection device according to claim 1 ;
Imaging means for imaging the background image and the target image;
A notification means for notifying a monitoring result of the detection result by the object detection means;
A surveillance camera comprising:
背景画像を前記閾値算出手段に入力して第1の閾値を算出し、前記背景画像及び前記第1の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化工程と、
対象画像を前記閾値算出手段に入力して第2の閾値を算出し、前記対象画像及び前記第2の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化工程と、
前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出工程と、
を含み、
前記画像を構成する各画素は、所定の走査順序に沿って連続して読み出され、
前記背景二値化工程、及び前記対象二値化工程は、
m=1〜Mについて、判定対象となる前記画素Xの輝度値と、当該判定対象となる画素Xよりmステップ前に読み出された前記画素Xmの輝度値との差分が前記閾値より大きいか否かを判定し、当該差分が前記閾値より大きくなる回数を計数する判定工程と、
前記判定工程により計数された回数が所定値よりも大きい場合に前記判定対象となる画素Xの輝度値を第1の値に設定し、当該回数が前記所定値よりも小さい場合に前記判定対象となる画素Xの輝度値を第2の値に設定する二値設定工程と、
を含む、
ことを特徴とする、物体検出方法。 An object detection apparatus having binarization means for binarizing an image and threshold calculation means for calculating a threshold used for binarization of the image according to the brightness of the image,
A background binarization that inputs a background image to the threshold value calculation means to calculate a first threshold value, and inputs the background image and the first threshold value to the binarization means to binarize the background image. Process,
Target binarization in which a target image is input to the threshold calculation means to calculate a second threshold, and the target image and the second threshold are input to the binarization means to binarize the target image. Process,
An object detection step of detecting an object from a difference between a background binarized image obtained by binarizing the background image and a target binarized image obtained by binarizing the target image;
Only including,
Each pixel constituting the image is continuously read out along a predetermined scanning order,
The background binarization step and the target binarization step are:
For m = 1 to M, is the difference between the luminance value of the pixel X to be determined and the luminance value of the pixel Xm read m steps before the pixel X to be determined larger than the threshold value? Determining whether or not, and counting the number of times the difference is greater than the threshold;
When the number of times counted in the determination step is larger than a predetermined value, the luminance value of the pixel X to be determined is set to a first value, and when the number of times is smaller than the predetermined value, A binary setting step of setting the luminance value of the pixel X to be a second value;
including,
An object detection method characterized by the above.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011266692A JP5891022B2 (en) | 2011-12-06 | 2011-12-06 | Object detection device, surveillance camera, and object detection method |
KR1020120105944A KR101733668B1 (en) | 2011-12-06 | 2012-09-24 | Object detection apparatus, surveillance camera, and object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011266692A JP5891022B2 (en) | 2011-12-06 | 2011-12-06 | Object detection device, surveillance camera, and object detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013120412A JP2013120412A (en) | 2013-06-17 |
JP5891022B2 true JP5891022B2 (en) | 2016-03-22 |
Family
ID=48773045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011266692A Active JP5891022B2 (en) | 2011-12-06 | 2011-12-06 | Object detection device, surveillance camera, and object detection method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5891022B2 (en) |
KR (1) | KR101733668B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467256B1 (en) * | 2013-08-30 | 2014-12-02 | 성균관대학교산학협력단 | Method and apparatus for fast image binarization for industrial robots |
CN107907109B (en) * | 2017-11-03 | 2020-06-16 | 福建工程学院 | Angle identification method based on improved image processing and small unmanned aerial vehicle |
CN109120895B (en) * | 2018-08-24 | 2020-12-04 | 浙江大丰实业股份有限公司 | Device for verifying running state of safety channel indicator lamp |
EP4138031B1 (en) * | 2020-04-17 | 2024-06-05 | NEC Corporation | Image processing method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08106534A (en) * | 1994-10-06 | 1996-04-23 | Hitachi Ltd | Movable object detector |
JP3550874B2 (en) * | 1996-04-12 | 2004-08-04 | オムロン株式会社 | Monitoring device |
JP2000339863A (en) * | 1999-06-02 | 2000-12-08 | Ricoh Co Ltd | Reproducing device |
JP3924171B2 (en) * | 2002-01-21 | 2007-06-06 | 株式会社トーエネック | Monitoring device for identifying monitoring objects |
JP4811653B2 (en) * | 2006-05-02 | 2011-11-09 | 株式会社メガチップス | Object detection device |
JP5388827B2 (en) * | 2009-12-11 | 2014-01-15 | 三菱電機株式会社 | Image processing device for monitoring |
-
2011
- 2011-12-06 JP JP2011266692A patent/JP5891022B2/en active Active
-
2012
- 2012-09-24 KR KR1020120105944A patent/KR101733668B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101733668B1 (en) | 2017-05-11 |
JP2013120412A (en) | 2013-06-17 |
KR20130063451A (en) | 2013-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9330446B2 (en) | Method and apparatus for processing image | |
JP4915655B2 (en) | Automatic tracking device | |
US9635237B2 (en) | Method and camera for determining an image adjustment parameter | |
EP2608529B1 (en) | Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene | |
JPH07302328A (en) | Method for extracting area of moving object based upon background difference | |
EP2413586A1 (en) | Method and device for adaptive noise measurement of a video signal | |
JP5891022B2 (en) | Object detection device, surveillance camera, and object detection method | |
JP2009026223A (en) | Object detector and program | |
JP2011229080A (en) | Image matching point detection device, image matching point detection method, and recording medium | |
JPWO2013047088A1 (en) | Biological recognition device | |
JP2020504383A (en) | Image foreground detection device, detection method, and electronic apparatus | |
JP5264457B2 (en) | Object detection device | |
JP4740755B2 (en) | Monitoring device using images | |
JP3625442B2 (en) | Object detection method, object detection apparatus, and object detection program | |
JP2020109595A (en) | Attachment detection device and attachment detection method | |
JP5754931B2 (en) | Image analysis apparatus, image analysis method, and program | |
JP2019215661A (en) | Image quality adjustment system and image quality adjustment method | |
KR20190028016A (en) | Apparatus for monitoring home, method and computer program | |
JP3736836B2 (en) | Object detection method, object detection apparatus, and program | |
JP3947070B2 (en) | Moving object detection device | |
JP2008040724A (en) | Image processing device and image processing method | |
KR100744158B1 (en) | Probabilistic visual surveillance system and method | |
JP2015076676A (en) | Image processing apparatus, image processing method, and program | |
JP4071650B2 (en) | Image target detection method and apparatus, and image target detection program | |
JP3091356B2 (en) | Moving object detection method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5891022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |