JP5405365B2 - Image monitoring apparatus and monitoring system - Google Patents
Image monitoring apparatus and monitoring system Download PDFInfo
- Publication number
- JP5405365B2 JP5405365B2 JP2010063073A JP2010063073A JP5405365B2 JP 5405365 B2 JP5405365 B2 JP 5405365B2 JP 2010063073 A JP2010063073 A JP 2010063073A JP 2010063073 A JP2010063073 A JP 2010063073A JP 5405365 B2 JP5405365 B2 JP 5405365B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line segment
- monitoring
- input image
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 153
- 238000001514 detection method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 21
- 238000012806 monitoring device Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 5
- YGSDEFSMJLZEOE-UHFFFAOYSA-M salicylate Chemical compound OC1=CC=CC=C1C([O-])=O YGSDEFSMJLZEOE-UHFFFAOYSA-M 0.000 claims 1
- 229960001860 salicylate Drugs 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
Description
本発明は、監視領域の画像に基づいて物品の置き去りまたは持ち去りを検出する機能を備えた画像監視装置に関し、特に、物品の置き去りと持ち去りのどちらが発生したのかを判別する技術に関する。 The present invention relates to an image monitoring apparatus having a function of detecting whether an article has been left or removed based on an image in a monitoring area, and more particularly to a technique for determining whether an article has been left or removed.
従来、監視カメラから入力される現在の画像（入力画像）と過去の画像（基準画像）との変化態様から、入力画像中の異常の有無を判定する画像監視システムが知られている。このような画像監視システムの監視目的のひとつには、不特定多数の人々が利用する空間（例えば、銀行の店舗内や駅の構内など）における不審物の置き去りの監視がある。 2. Description of the Related Art Conventionally, there is known an image monitoring system that determines the presence or absence of an abnormality in an input image based on a change mode between a current image (input image) input from a monitoring camera and a past image (reference image). One of the monitoring purposes of such an image monitoring system is to monitor the leaving of suspicious objects in a space used by an unspecified number of people (for example, in a bank store or a station premises).
例えば、このような不審物の置き去りを監視する監視装置として、「人」の存在が検知される前後の画像において、基準画像との差分となる変化領域が相互に対応付けられるか否かの判定を行って、対応付けられない変化領域が存在すると不審物として検出する不審物監視装置が提案されている（特許文献１参照）。このような監視装置によれば、「人」の存在が検知される前後の画像から、当該「人」によって生じたと予想される「画像変動」を「置き去られた不審物」として抽出することができる。 For example, as a monitoring device that monitors the leaving of such suspicious objects, it is determined whether or not change areas that are different from the reference image are associated with each other in the images before and after the presence of “person” is detected. A suspicious object monitoring device has been proposed that detects a suspicious object when there is a change area that cannot be matched (see Patent Document 1). According to such a monitoring apparatus, “image fluctuation” that is expected to be caused by the “person” is extracted as “a suspicious object left behind” from the images before and after the presence of the “person” is detected. Can do.
しかしながら、従来の監視装置において「画像変動」が生じるのは、監視領域の画像中に物品（不審物など）が新規に出現した場合だけに限られない。すなわち、監視領域の画像中から物品（既設物など）が消失した場合にも「画像変動」が生じ得る。ところが、従来の監視装置では、このような画像変動が、物品の置き去りによって生じたのか、それとも物品の持ち去りにより生じたのかを判別することができなかった。したがって、従来の監視装置で提供できる監視機能も、物品の置き去り／持ち去りの判別を要しない限定的な監視機能に留まっていた。すなわち、物品の置き去りと持ち去りの一方だけを監視したい場合や、物品の置き去りと持ち去りの何れであるかに応じて適切な報知出力を行いたいといった監視目的には対応することができず、そのような監視サービスを提供するためには、監視員などが画像を見て個別に判断する必要があった。 However, the “image fluctuation” occurs in the conventional monitoring apparatus not only when an article (such as a suspicious object) newly appears in the image of the monitoring area. That is, even when an article (such as an existing object) disappears from an image in the monitoring area, “image fluctuation” may occur. However, in the conventional monitoring device, it has not been possible to determine whether such an image variation has occurred due to the leaving of the article or the removal of the article. Accordingly, the monitoring function that can be provided by the conventional monitoring device has also been limited to a limited monitoring function that does not require the determination of whether the article is left or removed. In other words, it is not possible to respond to monitoring purposes such as monitoring only one of the article leaving or taking away, or if it is desired to output an appropriate notification depending on whether the article is left or removed, In order to provide such a monitoring service, it has been necessary for an observer or the like to make an individual decision by looking at an image.
例えば、物品の置き去りと持ち去りの一方だけを効率的に監視したい場合などには、監視領域の画像から抽出された画像変動が、物品の置き去りによって生じたのか、物品の持ち去りにより生じたのかを判別する機能が求められる。 For example, if you want to efficiently monitor only one of the article leaving and taking away, whether the image fluctuation extracted from the image of the monitoring area was caused by the leaving of the article or the removing of the article A function for discriminating is required.
本発明は、上記の課題に鑑みてなされたもので、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することのできる画像監視装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image monitoring apparatus that can determine whether an article has been left behind or taken away in a monitoring area.
本発明の画像監視装置は、監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りまたは持ち去りを検出する画像監視装置であって、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、を備えている。 An image monitoring apparatus according to the present invention is an image monitoring apparatus that detects the leaving or removal of an article in the monitoring area based on an image obtained by photographing the monitoring area, and is used for detecting the leaving or removal of the article. An image acquisition unit that acquires an image obtained by photographing the monitoring area as an input image, and a storage unit that stores an image obtained by photographing the monitoring area in advance as a reference image for detection of leaving or removal of the article, From the difference between the reference image and the input image, a variable region extraction unit that extracts a variable region included in the input image; and from each of the input image and the reference image, a predetermined length or more included in each image A line segment detection processing unit that detects a line segment, a line segment that continues in and out of the variation area in the input image, and the variation area in the reference image. Based on a detection result of the specific line segment in the input image and the reference image, and a specific line segment extraction unit that extracts a continuous line segment inside and outside the region as a specific line segment included in the input image and the reference image And a determination unit that determines whether the article has been left behind or taken away.
これにより、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては「変動領域に対応する領域」、単に「対応領域」ともいう）の内側まで延びる線分（構造線）の有無に注目して、物品の置き去り／持ち去りの判別を行う。すなわち、変動領域は両画像間で変化のあった領域であるので、入力画像の変動領域や基準画像の対応領域の内外で連続する線分（特定線分）を抽出し、そして、特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（変動領域や対応領域の内側まで延びる線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。 As a result, the fluctuation region included in the input image is extracted from the difference between the image (input image) obtained by photographing the monitoring region and the image (reference image) obtained in advance. In the present invention, focusing on the presence / absence of a line segment (structural line) extending to the inside of this variable region (in the reference image, “region corresponding to the variable region” or simply “corresponding region”), Perform take-away discrimination. That is, since the change area is an area that has changed between both images, a line segment (specific line segment) that is continuous inside and outside the change area of the input image and the corresponding area of the reference image is extracted, and the specific line segment is extracted. It is possible to determine whether the article has been left or removed in the monitoring area based on whether the input image or the reference image has been detected. In this way, based on the detection result of the specific line segment (the line segment extending to the inside of the fluctuation area or the corresponding area) in the input image or the reference image, it is determined whether the article is left or taken away in the monitoring area. Can be determined.
また、本発明の画像監視装置では、前記判定部は、前記基準画像において特定線分が検出され、当該特定線分に対応する特定線分が前記入力画像において検出されなかった場合に、物品の置き去りが発生したと判定してもよい。 In the image monitoring apparatus of the present invention, the determination unit detects a specific line segment in the reference image, and a specific line segment corresponding to the specific line segment is not detected in the input image. It may be determined that leaving has occurred.
これにより、基準画像で特定線分（対応領域の内側まで延びる線分）が検出されたのに対して、入力画像でこれに対応する特定線分（変動領域の内側まで延びる線分）が検出されなかったということは、基準画像では途切れていなかった特定線分が入力画像では変動領域の発生（物品の出現）によって途切れたことを意味する。したがって、この場合には、物品の置き去りが発生したと判定することができる。 As a result, a specific line segment (a line segment extending to the inside of the corresponding area) is detected in the reference image, whereas a specific line segment (a line segment extending to the inside of the fluctuation area) corresponding to this is detected in the input image. The fact that it was not done means that the specific line segment that was not interrupted in the reference image was interrupted in the input image due to the occurrence of a variable region (appearance of an article). Therefore, in this case, it can be determined that the article has been left behind.
また、本発明の画像監視装置では、前記判定部は、前記入力画像において特定線分が検出され、当該特定線分に対応する特定線分が前記基準画像において検出されなかった場合に、物品の持ち去りが発生したと判定してもよい。 In the image monitoring apparatus of the present invention, the determination unit detects a specific line segment in the input image, and a specific line segment corresponding to the specific line segment is not detected in the reference image. It may be determined that carry-out has occurred.
これにより、入力画像で特定線分（変動領域の内側まで延びる線分）が検出されたのに対して、基準画像ではこれに対応する特定線分（対応領域の内側まで延びる線分）が検出されていなかったといことは、基準画像では途切れていた特定線分が入力画像では変動領域の発生（物品の消失）によって途切れなくなったことを意味する。したがって、この場合には、物品の持ち去りが発生したと判定することができる。 As a result, a specific line segment (a line segment extending to the inside of the fluctuation region) is detected in the input image, whereas a specific line segment corresponding to the specific line segment (a line segment extending to the inside of the corresponding region) is detected in the reference image. The fact that it was not done means that the specific line segment that was interrupted in the reference image is not interrupted in the input image due to the occurrence of a variable region (disappearance of the article). Therefore, in this case, it can be determined that the removal of the article has occurred.
また、本発明の画像監視装置では、前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りまたは持ち去りのいずれが発生したのかを判定する処理を実行してもよい。 The image monitoring apparatus of the present invention further includes a frame difference extraction unit that extracts an inter-frame variation area in the input image from a difference between frames of the input image sequentially acquired by the image acquisition unit, and the determination The unit may execute a process of determining whether the article has been left or removed when the inter-frame variation area is equal to or less than a predetermined area continuously for a predetermined frame.
これにより、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。 Thereby, the inter-frame variation area in the input image is extracted from the difference between the frames of the input image. The leaving (or taking away) of an article is an action in which a person who has entered the monitoring area places the article in the monitoring area (or holds the article in the monitoring area) and leaves. Accordingly, the determination of whether the article has been left / taken off is performed at an appropriate timing by using a trigger when the inter-frame variation area has become a predetermined area or less continuously for a predetermined frame (a person has left the monitoring area). Can be done with.
本発明の監視システムは、監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りまたは持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、前記画像監視装置は、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記入力画像を前記監視用端末装置に送信する出力部と、を備え、前記監視用端末装置は、前記入力画像を受信する通信部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、前記判定部の判定結果を報知する報知部と、を備えている。 The monitoring system of the present invention includes an image monitoring apparatus that acquires an image of a monitoring area, and a network installed in the remote monitoring center for monitoring the leaving or removal of articles in the monitoring area. A monitoring terminal device connected via the image monitoring device, wherein the image monitoring device captures an image obtained by photographing the monitoring region as an input image for detecting whether the article is left behind or taken away. An image acquisition unit for acquiring, and an output unit for transmitting the input image to the monitoring terminal device, wherein the monitoring terminal device is a communication unit for receiving the input image, and the article is left or taken away. As a reference image for detection of an image, a storage unit for storing an image obtained by photographing the monitoring area in advance, and a difference between the reference image and the input image, the input image A variable region extraction unit that extracts a variable region included; a line segment detection processing unit that detects a line segment of a predetermined length or more included in each image from each of the input image and the reference image; and the input image Are extracted as specific line segments included in the input image and the reference image, and a line segment continuous in and out of the region corresponding to the variation region in the reference image. A specific line segment extraction unit; a determination unit that determines whether an article has been left or removed based on the detection result of the specific line segment in the input image and the reference image; and the determination by the determination unit An informing unit for informing the result.
このシステムによっても、上記の装置と同様にして、入力画像や基準画像における特定線分（変動領域や対応領域の内側まで延びる線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。 Also in this system, in the same manner as in the above-described apparatus, based on the detection result of the specific line segment (line segment extending to the inside of the fluctuation area or the corresponding area) in the input image or the reference image, the article is left behind in the monitoring area. It is possible to determine which take-away occurred.
本発明によれば、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。 According to the present invention, it is possible to determine whether an article has been left or taken away in the monitoring area.
以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。本実施の形態では、不特定多数の人々が利用する空間（ロッカー室など）の画像監視に用いられる監視システムの場合を例示するが、本発明の範囲はこれに限定されるものではない。 Hereinafter, a monitoring system according to an embodiment of the present invention will be described with reference to the drawings. In this embodiment, the case of a monitoring system used for image monitoring of a space (such as a locker room) used by an unspecified number of people is exemplified, but the scope of the present invention is not limited to this.
図１は、本実施の形態の監視システムの概略図である。図１に示すように、監視システム１は、監視領域であるロッカー室の画像監視を行うための画像監視装置２を備えている。この画像監視装置２は、監視領域（ロッカー室）の画像を撮影する監視カメラ３に接続されている。また、画像監視装置２は、遠隔の監視センタ４に設置された監視用端末５にも接続されており、監視センタ４の監視員は、監視用端末５のモニタでロッカー室内の異常を監視することができる。 FIG. 1 is a schematic diagram of a monitoring system according to the present embodiment. As shown in FIG. 1, the monitoring system 1 includes an image monitoring device 2 for monitoring an image of a locker room that is a monitoring area. The image monitoring device 2 is connected to a monitoring camera 3 that captures an image of a monitoring area (locker room). The image monitoring apparatus 2 is also connected to a monitoring terminal 5 installed in a remote monitoring center 4, and a monitor of the monitoring center 4 monitors an abnormality in the locker room with the monitor of the monitoring terminal 5. be able to.
図２は、画像監視装置２の構成を示すブロック図である。図２に示すように、画像監視装置２は、監視カメラ３で撮影した監視領域の画像（入力画像）を取得する画像取得部６と、監視カメラ３で予め撮影しておいた監視領域の画像（基準画像）を記憶する記憶部７と、入力画像や基準画像に種々の画像処理を施す画像処理部８を備えている。また、この画像監視装置２は、監視センタ４の監視用端末５とネットワークを介して通信を行うための通信インターフェースとしての出力部９を備えている。 FIG. 2 is a block diagram illustrating a configuration of the image monitoring apparatus 2. As illustrated in FIG. 2, the image monitoring apparatus 2 includes an image acquisition unit 6 that acquires an image (input image) of a monitoring area captured by the monitoring camera 3, and an image of the monitoring area previously captured by the monitoring camera 3. A storage unit 7 that stores (reference image) and an image processing unit 8 that performs various image processes on the input image and the reference image are provided. The image monitoring apparatus 2 includes an output unit 9 as a communication interface for communicating with the monitoring terminal 5 of the monitoring center 4 via the network.
画像取得部６は、物品の置き去り／持ち去りの検出のための入力画像として、監視カメラ３で撮影した監視領域の現在の画像を取得する機能を備えている。したがって、入力画像は、現画像と呼ぶこともできる。監視カメラ３から取得した入力画像の画像データは、物品の置き去り／持ち去りの判別処理のために画像処理部８へ出力される。なお、本実施の形態では、監視カメラ３と画像監視装置２が別装置である場合を例示したが、本発明の範囲はこれに限定されるものではなく、画像監視装置２は、監視カメラ３を内蔵していてもよい。 The image acquisition unit 6 has a function of acquiring a current image of a monitoring area captured by the monitoring camera 3 as an input image for detecting whether an article is left behind or taken away. Therefore, the input image can also be called the current image. The image data of the input image acquired from the monitoring camera 3 is output to the image processing unit 8 for the discrimination process of the article leaving / taking away. In the present embodiment, the case where the monitoring camera 3 and the image monitoring device 2 are separate devices is illustrated. However, the scope of the present invention is not limited to this, and the image monitoring device 2 includes the monitoring camera 3. May be built in.
記憶部７には、物品の置き去り／持ち去りの検出のための基準画像として、監視カメラ３で予め撮影しておいた監視領域の過去の画像が記憶されている。この基準画像は、監視領域（ロッカー室）の初期状態の画像であり、例えば、人物の存在していない状態の画像（背景画像）である。なお、記憶部７には、基準画像のほかに、フレーム間変動情報や線分情報などの情報（後述する）も記憶される。この記憶部７は、例えば、ＨＤＤやメモリなどで構成されている。 The storage unit 7 stores a past image of a monitoring area previously captured by the monitoring camera 3 as a reference image for detecting whether an article is left behind or taken away. This reference image is an image in the initial state of the monitoring area (locker room), and is, for example, an image (background image) in a state where no person exists. In addition to the reference image, the storage unit 7 also stores information such as inter-frame variation information and line segment information (described later). The storage unit 7 is composed of, for example, an HDD or a memory.
画像処理部８は、ＭＰＵやマイコンなどで構成されており、機能モジュールとして、入力画像に含まれる変動領域を抽出する変動領域抽出部１０と、入力画像や基準画像から線分を抽出する線分検出処理部１１を備えている。また、画像処理部８は、物品の置き去り／持ち去りの検出用の特定線分を抽出する特定線分抽出部１２と、入力画像と基準画像における特定線分の検出結果に基づいて物品の置き去り／持ち去りの判定処理を行う判定部１３を備えている。さらに、この画像処理部８は、入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部１４を備えている。 The image processing unit 8 is configured by an MPU, a microcomputer, or the like, and as a functional module, a fluctuation region extraction unit 10 that extracts a fluctuation region included in the input image, and a line segment that extracts a line segment from the input image or the reference image. A detection processing unit 11 is provided. The image processing unit 8 also includes a specific line segment extraction unit 12 that extracts a specific line segment for detecting whether an article has been left behind or removed, and an article left based on the detection result of the specific line segment in the input image and the reference image. / It has the determination part 13 which performs the determination process of taking away. Further, the image processing unit 8 includes a frame difference extraction unit 14 that extracts an inter-frame variation area in the input image.
変動領域抽出部１０は、基準画像と入力画像との差分から、入力画像に含まれる変動領域を抽出する。例えば、基準画像に対する入力画像の輝度の差分値（背景差分値）が、所定の閾値以上の画素が変動領域として抽出される。図３は、変動領域の抽出の一例を示す図である。例えば、図３（ａ）のような入力画像（ロッカー室の現画像）が画像取得部６によって得られ、図３（ｂ）のような基準画像（無人だったときのロッカー室の画像）が記憶部７に記憶されている場合には、図３（ｃ）で斜線で示された領域が、変動領域として抽出される。なお、ここで、「変動領域」とは入力画像に含まれる領域を指し、基準画像に含まれる「変動領域に対応する領域」については「対応領域」と呼ぶことにする。 The fluctuation area extraction unit 10 extracts a fluctuation area included in the input image from the difference between the reference image and the input image. For example, pixels whose luminance difference value (background difference value) of the input image with respect to the reference image is greater than or equal to a predetermined threshold are extracted as the fluctuation region. FIG. 3 is a diagram illustrating an example of extraction of the fluctuation region. For example, an input image (the current image of the locker room) as shown in FIG. 3A is obtained by the image acquisition unit 6, and a reference image (an image of the locker room when unattended) as shown in FIG. 3B is obtained. In the case where it is stored in the storage unit 7, the area indicated by the oblique lines in FIG. 3C is extracted as the fluctuation area. Here, the “variable region” refers to a region included in the input image, and the “region corresponding to the variable region” included in the reference image is referred to as a “corresponding region”.
線分検出処理部１１は、入力画像と基準画像の各々から、それぞれの画像に含まれる所定長さ以上の線分（構造線）を抽出する。例えば、入力画像や基準画像にエッジ検出処理や二値化処理、細線化処理を施し、ハフ変換することによって、画像中の線分が検出される（図７参照）。そして、検出された線分のうち、所定以上（例えば、１００ピクセル以上、あるいは、画像の縦または横の長さの１／５以上など）の長さの線分の情報が、線分情報として記憶部７に記憶される（図２参照）。なお、ここでは、入力画像から抽出された線分を「入力線分」ともいい、基準画像（背景画像）から抽出された線分を「背景線分」ともいう。 The line segment detection processing unit 11 extracts a line segment (structural line) having a predetermined length or more included in each image from each of the input image and the reference image. For example, a line segment in the image is detected by subjecting the input image or the reference image to edge detection processing, binarization processing, and thinning processing, and performing Hough transform (see FIG. 7). Of the detected line segments, information of a line segment having a length greater than a predetermined length (for example, 100 pixels or greater, or 1/5 or greater of the vertical or horizontal length of the image) is used as the line segment information. It is stored in the storage unit 7 (see FIG. 2). Here, the line segment extracted from the input image is also referred to as “input line segment”, and the line segment extracted from the reference image (background image) is also referred to as “background line segment”.
特定線分抽出部１２は、入力画像から検出された線分（入力線分）のうち、変動領域の内外で連続する線分（変動領域で途切れていない線分）を、入力画像に含まれる特定線分として抽出する。また、特定線分抽出部１２は、基準画像から検出された線分（背景線分）のうち、対応領域の内外で連続する線分（対応領域で途切れていない線分）を、基準画像に含まれる特定線分として抽出する。例えば、図４の例では、基準画像（背景画像）から対応領域を通る線分Ｘ（対応領域で途切れていない線分Ｘ）が、基準画像の特定線分として抽出される。また、図５の例では、入力画像から変動領域を通る線分Ｘ’（変動領域で途切れていない線分Ｘ’）が、入力画像の特定線分として抽出される。 The specific line segment extraction unit 12 includes, in the input image, continuous line segments (line segments not interrupted in the variable region) inside and outside the variable region among the line segments (input line segments) detected from the input image. Extract as a specific line segment. Further, the specific line segment extraction unit 12 uses, as a reference image, line segments that are continuous in and out of the corresponding area (line segments that are not interrupted in the corresponding area) among the line segments (background line segments) detected from the reference image. Extract as a specific line included. For example, in the example of FIG. 4, a line segment X passing through the corresponding area from the reference image (background image) (a line segment X not interrupted in the corresponding area) is extracted as a specific line segment of the reference image. In the example of FIG. 5, a line segment X ′ that passes through the fluctuation region (a line segment X ′ that is not interrupted in the fluctuation region) is extracted from the input image as a specific line segment of the input image.
判定部１３は、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する機能を備えている。この判定部１３の判定結果は、出力部９から監視用端末５へ送信される。本実施の形態では、判定部１３は、機能モジュールとして、物品の置き去りの判定を行う置き去り判定部１５と、物品の持ち去りの判定を行う持ち去り判定部１６を備えている（図２参照）。 The determination unit 13 has a function of determining whether the article has been left or removed based on the detection result of the specific line segment of the input image and the specific line segment of the reference image. The determination result of the determination unit 13 is transmitted from the output unit 9 to the monitoring terminal 5. In the present embodiment, the determination unit 13 includes, as functional modules, a leaving determination unit 15 that determines whether an article has been left, and a removal determination unit 16 that determines whether an article has been removed (see FIG. 2). .
置き去り判定部１５は、基準画像において特定線分が検出され、入力画像においてこの特定線分（基準画像の特定線分）に対応する特定線分が検出されなかった場合に、物品の置き去りが発生したと判定する。図４は、物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図４（ａ）のように基準画像（背景画像）からは対応領域を通る特定線分Ｘ（対応領域で途切れない特定線分Ｘ）が検出されるのに対して、図４（ｂ）のように入力画像からは変動領域を通る特定線分が検出されない（変動領域で途切れる線分Ｙ、線分Ｚしか検出されない）場合には、物品の置き去りが発生したと判定される。なお、説明の便宜上、図４（ａ）では、対応領域が破線で示されており、特定線分Ｘが太線で表示されている。また、図４（ｂ）では、変動領域が破線で示されており、線分Ｙと線分Ｚが太線で表示されている。 The leaving determination unit 15 detects that a specific line segment is detected in the reference image, and when the specific line segment corresponding to the specific line segment (specific line segment of the reference image) is not detected in the input image, the article is left behind. It is determined that FIG. 4 is a diagram illustrating an example of a detection result of a specific line segment that is determined to have left behind an article. For example, as shown in FIG. 4A, a specific line segment X passing through the corresponding area (specific line segment X not interrupted in the corresponding area) is detected from the reference image (background image), whereas FIG. ), If a specific line segment passing through the fluctuation region is not detected from the input image (only the line segment Y and line segment Z interrupted in the fluctuation region are detected), it is determined that the article has been left behind. For convenience of explanation, in FIG. 4A, the corresponding area is indicated by a broken line, and the specific line segment X is indicated by a bold line. Further, in FIG. 4B, the fluctuation region is indicated by a broken line, and the line segment Y and the line segment Z are displayed by bold lines.
より具体的には、基準画像から対応領域を通るような特定線分Ｘを抽出した後、入力画像から変動領域の外側で、この特定線分Ｘとの重複度（重なり度合い）が所定の閾値（下限値）より大きい線分（線分Ｙと線分Ｚ）を選択する。そして、変動領域の内側において、その線分（線分Ｙと線分Ｚ）と特定線分Ｘとの重複度が所定の閾値（上限値）より小さければ、物品の置き去りが発生したと判定する。なお、変動領域の外側での重複度の閾値（下限値）は、監視目的などに応じて適切に設定され、例えば７０％に設定される。この閾値（下限値）が低すぎると誤判定による誤報をまねくことがあり、高すぎると置き去りとの判定が行われず失報をまねくことがある。また、変動領域の内側での重複度の閾値（上限値）は、監視目的などに応じて適切に設定され、例えば３０％に設定される。この閾値（上限値）が高すぎると誤判定による誤報をまねくことがあり、低すぎると置き去り判定が行われず失報をまねくことがある。 More specifically, after extracting a specific line segment X that passes through the corresponding area from the reference image, the degree of overlap (overlapping degree) with the specific line segment X is a predetermined threshold value outside the variable area from the input image. A line segment (line segment Y and line segment Z) larger than (lower limit value) is selected. If the overlap between the line segment (line segment Y and line segment Z) and the specific line segment X is smaller than a predetermined threshold (upper limit value) inside the fluctuation region, it is determined that the article has been left behind. . In addition, the threshold value (lower limit value) of the degree of overlap outside the fluctuation region is appropriately set according to the monitoring purpose or the like, for example, 70%. If this threshold value (lower limit value) is too low, it may lead to misreporting due to misjudgment, and if it is too high, it may not be judged to be left behind, resulting in misreporting. Further, the threshold value (upper limit value) of the degree of overlap inside the fluctuation region is appropriately set according to the monitoring purpose and is set to 30%, for example. If this threshold value (upper limit value) is too high, misreporting may occur, and if it is too low, leaving determination may not be performed and misreporting may occur.
持ち去り判定部１６は、入力画像において特定線分が検出され、基準画像においてこの特定線分（入力画像の特定線分）に対応する特定線分が検出されなかった場合に、物品の持ち去りが発生したと判定する。図５は、物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図５（ｂ）のように入力画像からは変動領域を通る特定線分Ｘ’（変動領域で途切れない特定線分Ｘ’）が検出されるのに対して、図５（ａ）のように基準画像からは対応領域を通る特定線分が検出されない（対応領域で途切れる線分Ｙ’、線分Ｚ’しか検出されない）場合には、物品の持ち去りが発生したと判定される。なお、説明の便宜上、図５（ａ）では、対応領域が破線で示されており、線分Ｙ’と線分Ｚ’が太線で表示されている。また、図５（ｂ）では、変動領域が破線で示されており、特定線分Ｘ’が太線で表示されている。 When the specific line segment is detected in the input image and the specific line segment corresponding to the specific line segment (specific line segment of the input image) is not detected in the reference image, the carry-away determination unit 16 takes away the article. Is determined to have occurred. FIG. 5 is a diagram illustrating an example of a detection result of a specific line segment that is determined to have been taken away. For example, as shown in FIG. 5B, a specific line segment X ′ passing through the fluctuation region (specific line segment X ′ not interrupted in the fluctuation region) is detected from the input image, whereas FIG. As described above, when the specific line segment passing through the corresponding area is not detected from the reference image (only the line segment Y ′ and the line segment Z ′ interrupted in the corresponding area are detected), it is determined that the article has been taken away. For convenience of explanation, in FIG. 5A, the corresponding region is indicated by a broken line, and the line segment Y ′ and the line segment Z ′ are displayed by bold lines. In FIG. 5B, the fluctuation region is indicated by a broken line, and the specific line segment X ′ is indicated by a thick line.
より具体的には、入力画像から変動領域を通るような特定線分Ｘ’を抽出した後、基準画像から対応領域の外側で、この特定線分Ｘ’との重複度（重なり度合い）が所定の閾値（下限値）より大きい線分（線分Ｙ’と線分Ｚ’）を選択する。そして、対応領域の内側において、その線分（線分Ｙ’と線分Ｚ’）と特定線分Ｘ’との重複度が所定の閾値（上限値）より小さければ、物品の持ち去りが発生したと判定する。なお、対応領域の外側での重複度の閾値（下限値）は、監視目的などに応じて適切に設定され、例えば７０％に設定される。この閾値（下限値）が低すぎると誤判定による誤報をまねくことがあり、高すぎると持ち去り判定が行われず失報をまねくことがある。また、対応領域の内側での重複度の閾値（上限値）は、監視目的などに応じて適切に設定され、例えば３０％に設定される。この閾値（上限値）が高すぎると誤判定による誤報をまねくことがあり、低すぎると持ち去り判定が行われず失報をまねくことがある。 More specifically, after extracting a specific line segment X ′ that passes through the fluctuation region from the input image, the degree of overlap (overlap degree) with the specific line segment X ′ is predetermined outside the corresponding region from the reference image. A line segment (line segment Y ′ and line segment Z ′) larger than the threshold value (lower limit value) is selected. If the degree of overlap between the line segment (line segment Y ′ and line segment Z ′) and the specific line segment X ′ is smaller than a predetermined threshold (upper limit value) inside the corresponding area, the carry-out of the article occurs. It is determined that In addition, the threshold value (lower limit value) of the degree of overlap outside the corresponding area is appropriately set according to the monitoring purpose and is set to 70%, for example. If this threshold value (lower limit) is too low, it may lead to misreporting due to misjudgment, and if it is too high, it may not be taken away and misreporting may occur. Further, the threshold value (upper limit value) of the degree of overlap inside the corresponding region is appropriately set according to the monitoring purpose and is set to 30%, for example. If this threshold value (upper limit) is too high, misreporting may occur, and if it is too low, it may not be carried out and misreporting may occur.
フレーム差分抽出部１４は、画像取得部６によって順次取得した入力画像（現画像）のフレーム間の差分から、入力画像におけるフレーム間変動領域を抽出する。例えば、ロッカー室内で「人」が動いるときには、その「人」に対応する領域がフレーム間変動領域として抽出される。そして、その「人」がロッカー室から退出し、そのロッカー室内に他に動くものが何もないときには、フレーム間変動領域が検出されなくなる。このように、順次フレームごとに抽出されたフレーム間変動領域の情報（例えば、各フレームごとのフレーム間変動領域の面積）が、フレーム間変動情報として記憶部７に記憶される。そして、判定部１３は、フレーム間変動領域が所定フレーム（例えば、１０フレーム）連続して所定面積（例えば、１０００ピクセル、あるいは、画像面積の１％）以下であったことをトリガーとして、物品の置き去り／持ち去りの判定処理を実行する。 The frame difference extraction unit 14 extracts an inter-frame variation region in the input image from the difference between frames of the input image (current image) sequentially acquired by the image acquisition unit 6. For example, when a “person” moves in the locker room, an area corresponding to the “person” is extracted as an inter-frame variation area. When the “person” leaves the locker room and there is nothing else moving in the locker room, the inter-frame variation area is not detected. As described above, the information on the inter-frame variation area (for example, the area of the inter-frame variation area for each frame) extracted sequentially for each frame is stored in the storage unit 7 as inter-frame variation information. Then, the determination unit 13 triggers that the inter-frame variation area is equal to or less than a predetermined area (for example, 1000 pixels or 1% of the image area) continuously for a predetermined frame (for example, 10 frames). A process for determining whether to leave or take away is executed.
以上のように構成された画像監視装置２について、図面を参照してその動作を説明する。 The operation of the image monitoring apparatus 2 configured as described above will be described with reference to the drawings.
まず、画像監視装置２で実行される全体の処理について説明する。図６は、画像監視装置２の全体の処理の流れを説明するフロー図である。図６に示すように、画像監視装置２は、監視カメラ３から監視領域の現在の画像（入力画像）の画像データを取得すると（Ｓ１）、入力画像におけるフレーム間変動領域を抽出する。そして、フレーム間変動領域の面積が所定フレーム連続して所定の閾値以下であった場合には（Ｓ２）、記憶部７に記憶されている基準画像（背景画像）の画像データを取得して（Ｓ３）、基準画像と入力画像の差分から変動領域を抽出する（Ｓ４）。 First, the entire process executed by the image monitoring apparatus 2 will be described. FIG. 6 is a flowchart for explaining the overall processing flow of the image monitoring apparatus 2. As illustrated in FIG. 6, when the image monitoring apparatus 2 acquires image data of the current image (input image) in the monitoring area from the monitoring camera 3 (S1), the image monitoring apparatus 2 extracts an inter-frame variation area in the input image. If the area of the inter-frame variation area is equal to or less than a predetermined threshold value for a predetermined frame (S2), image data of a reference image (background image) stored in the storage unit 7 is acquired ( S3), a fluctuation region is extracted from the difference between the reference image and the input image (S4).
その後、基準画像（背景画像）に含まれる所定長さ以上の線分（背景線分）を抽出し（Ｓ５）、同様に、入力画像に含まれる所定長さ以上の線分（入力線分）を抽出する（Ｓ６）。そして、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りが発生したかの判定（置き去り判定）を行い（Ｓ７）、さらに、物品の持ち去りが発生したかの判定（持ち去り判定）を行う（Ｓ８）。 Thereafter, a line segment (background line segment) having a predetermined length or more included in the reference image (background image) is extracted (S5), and similarly, a line segment (input line segment) having a predetermined length or more included in the input image is extracted. Is extracted (S6). Then, based on the detection result of the specific line segment of the input image and the specific line segment of the reference image, a determination is made as to whether the article has been left behind (S7), and the removal of the article has occurred. Is determined (take-away determination) (S8).
つぎに、画像監視装置２で実行される各処理について説明する。図７は、線分検出処理の流れを示すフロー図である。図７に示すように、入力画像や基準画像から線分を抽出する場合には、まず、入力画像や基準画像にエッジ検出処理を施して、エッジ画像を作成する（Ｓ１０）。そのエッジ画像に二値化処理と細線化処理を施して、細線化画像を作成する（Ｓ１１）。そして、その細線化画像をハフ変換して（Ｓ１２）、画像中に含まれる線分（構造線）が検出される（Ｓ１３）。 Next, each process executed by the image monitoring apparatus 2 will be described. FIG. 7 is a flowchart showing the flow of line segment detection processing. As shown in FIG. 7, when a line segment is extracted from an input image or a reference image, first, an edge detection process is performed on the input image or the reference image to create an edge image (S10). The edge image is subjected to binarization processing and thinning processing to create a thinning image (S11). Then, the thinned image is subjected to Hough transform (S12), and a line segment (structural line) included in the image is detected (S13).
例えば、細線化処理では、エッジ画像中に５画素の太さの線が存在する場合に、その線の外側から１画素ずつ削っていって（線を細くしていって）、１画素の太さの線（画素の並び）が生成される。そして、ハフ変換では、細線化画像中の線（画素の並び）に段差（１画素分の段差）が存在する場合に、その線（段差のある画素の並び）が、直線または正円の円弧に近似される。したがって、この線分検出処理で検出される「線分」には、直線状の線分だけでなく、円弧状の線分も含まれる。 For example, in the thinning process, when a line having a thickness of 5 pixels is present in the edge image, each pixel is trimmed one by one from the outside of the line (the line is thinned). A line (pixel arrangement) is generated. In the Hough transform, when there is a step (step for one pixel) in a line (pixel arrangement) in the thinned image, the line (pixel arrangement with a step) is a straight line or a circular arc. Is approximated by Therefore, the “line segment” detected by this line segment detection process includes not only a straight line segment but also an arc-shaped line segment.
図８は、物品の置き去り判定処理の流れを示すフロー図である。物品の置き去り判定を行う場合には、まず、基準画像（背景画像）に含まれる線分（背景線分）の一つを選択する（Ｓ２０）。選択した背景線分が対応領域を通る場合には（Ｓ２１）、入力画像の変動領域外でその背景線分との重複度が高い線分（入力線分）を選択する（Ｓ２２）。そして、入力画像の変動領域内で、その入力線分と背景線分との重複度を算出し（Ｓ２３）、その重複度が閾値より小さければ（Ｓ２４）、基準画像で見えていた構造線が入力画像で隠されたことになるので、物品の置き去りが発生したと判定する（Ｓ２５）。この処理を、基準画像（背景画像）に含まれる線分（背景線分）の数だけ繰り返す（Ｓ２６）。 FIG. 8 is a flowchart showing the flow of the article leaving determination process. When performing the leaving determination of the article, first, one of the line segments (background line segments) included in the reference image (background image) is selected (S20). When the selected background line segment passes through the corresponding region (S21), a line segment (input line segment) having a high degree of overlap with the background line segment is selected outside the variable region of the input image (S22). Then, the degree of overlap between the input line segment and the background line segment is calculated within the fluctuation region of the input image (S23). If the degree of overlap is smaller than the threshold (S24), the structure line that was visible in the reference image is found. Since it is hidden by the input image, it is determined that the article has been left behind (S25). This process is repeated for the number of line segments (background line segments) included in the reference image (background image) (S26).
ここで、重複度とは、線分と線分の重なり度合いをいう。例えば、線分が重なる割合（＝線分の重なっている部分の長さ／線分の全体の長さ）が高い線分が、重複度の高い線分として選択される。また、線分が直線状である場合には、線分の傾きが近い線分が、重複度の高い線分として選択されてもよい。 Here, the degree of overlap refers to the degree of overlap between line segments. For example, a line segment having a high ratio of overlapping line segments (= the length of the overlapping portion of the line segments / the total length of the line segments) is selected as a line segment having a high degree of overlap. In addition, when the line segment is a straight line, a line segment with a close inclination of the line segment may be selected as a line segment with a high degree of overlap.
図９は、物品の持ち去り判定処理の流れを示すフロー図である。物品の持ち去り判定を行う場合には、まず、入力画像に含まれる線分（入力線分）の一つを選択する（Ｓ３０）。選択した入力線分が変動領域を通る場合には（Ｓ３１）、基準画像（背景画像）の対応領域外でその入力線分との重複度が高い線分（背景線分）を選択する（Ｓ３２）。そして、背景画像の対応領域内で、その背景線分と入力線分との重複度を算出し（Ｓ３３）、その重複度が閾値より小さければ（Ｓ３４）、入力画像で見えている構造線が背景画像で隠されていたことになるので、物品の持ち去りが発生したと判定する（Ｓ３５）。この処理を、入力画像に含まれる線分（入力線分）の数だけ繰り返す（Ｓ３６）。 FIG. 9 is a flowchart showing the flow of the article removal determination process. When determining whether to take away an article, first, one of the line segments (input line segments) included in the input image is selected (S30). When the selected input line segment passes through the fluctuation region (S31), a line segment (background line segment) having a high degree of overlap with the input line segment outside the corresponding region of the reference image (background image) is selected (S32). ). Then, the degree of overlap between the background line segment and the input line segment is calculated within the corresponding region of the background image (S33). If the degree of overlap is smaller than the threshold (S34), the structure line visible in the input image is found. Since it is hidden by the background image, it is determined that the removal of the article has occurred (S35). This process is repeated for the number of line segments (input line segments) included in the input image (S36).
このような本発明の実施の形態の画像監視装置２によれば、監視領域の画像に変動領域が発生したことだけでなく、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。 According to the image monitoring apparatus 2 of the embodiment of the present invention as described above, it is determined not only that the fluctuating region has occurred in the image of the monitoring region, but also whether the article has been left behind or taken away in the monitoring region. be able to.
すなわち、本実施の形態では、図３に示すように、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては対応領域）の内側まで延びる特定線分（構造線）の有無に注目して、物品の置き去り／持ち去りの判別を行う。この場合、特定線分を見つけるために、入力画像の変動領域や基準画像の対応領域の「内側」に注目していると言うこともできる。すなわち、変動領域や対応領域の内側まで延びている線分があれば、その線分を特定線分として抽出するのである。このように、入力画像の変動領域や基準画像の対応領域の内外で連続する線分（特定線分）を抽出し、特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（変動領域や対応領域の内側まで延びる線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。 That is, in the present embodiment, as shown in FIG. 3, the fluctuation region included in the input image is extracted from the difference between the image obtained by capturing the monitoring region (input image) and the image previously captured (reference image). Is done. In the present invention, focusing on the presence or absence of a specific line segment (structural line) extending to the inside of the fluctuation region (corresponding region in the reference image), whether the article is left or taken is determined. In this case, it can be said that in order to find the specific line segment, attention is paid to the “inside” of the fluctuation region of the input image and the corresponding region of the reference image. That is, if there is a line segment extending to the inside of the fluctuation region or the corresponding region, the line segment is extracted as a specific line segment. In this way, a continuous line segment (specific line segment) is extracted inside and outside the fluctuation area of the input image and the corresponding area of the reference image, and whether the specific line segment can be detected in the input image or the reference image. Based on this, it can be determined whether the article has been left behind or taken away in the monitoring area. In this way, based on the detection result of the specific line segment (the line segment extending to the inside of the fluctuation area or the corresponding area) in the input image or the reference image, it is determined whether the article is left or taken away in the monitoring area. Can be determined.
例えば、図４に示すように、基準画像で特定線分Ｘ（対応領域の内側まで延びる線分）が検出されたのに対して、入力画像でこれに対応する特定線分（変動領域の内側まで延びる線分）が検出されなかったということは、基準画像では途切れていなかった特定線分Ｘが入力画像では変動領域の発生（物品の出現）によって途切れたことを意味する。したがって、この場合には、物品の置き去りが発生したと判定することができる。 For example, as shown in FIG. 4, a specific line segment X (a line segment extending to the inside of the corresponding region) is detected in the reference image, whereas a specific line segment corresponding to this is detected in the input image (inside the fluctuation region). The fact that the line segment extending up to) has not been detected means that the specific line segment X, which has not been interrupted in the reference image, has been interrupted in the input image due to the occurrence of a fluctuation region (appearance of an article). Therefore, in this case, it can be determined that the article has been left behind.
また、図５に示すように、入力画像で特定線分Ｘ’（変動領域の内側まで延びる線分）が検出されたのに対して、基準画像ではこれに対応する特定線分（対応領域の内側まで延びる線分）が検出されていなかったといことは、基準画像では途切れていた特定線分が入力画像では変動領域の発生（物品の消失）によって途切れなくなったことを意味する。したがって、この場合には、物品の持ち去りが発生したと判定することができる。 Further, as shown in FIG. 5, a specific line segment X ′ (line segment extending to the inside of the fluctuation region) is detected in the input image, whereas in the reference image, a specific line segment (corresponding to the corresponding region) is detected. The fact that the line segment extending inward) has not been detected means that the specific line segment that has been interrupted in the reference image is not interrupted in the input image due to the occurrence of a variable region (disappearance of the article). Therefore, in this case, it can be determined that the removal of the article has occurred.
また、本実施の形態では、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。 In the present embodiment, the inter-frame variation area in the input image is extracted from the difference between the frames of the input image. The leaving (or taking away) of an article is an action in which a person who has entered the monitoring area places the article in the monitoring area (or holds the article in the monitoring area) and leaves. Accordingly, the determination of whether the article has been left / taken off is performed at an appropriate timing by using a trigger when the inter-frame variation area has become a predetermined area or less continuously for a predetermined frame (a person has left the monitoring area). Can be done with.
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 The embodiments of the present invention have been described above by way of example, but the scope of the present invention is not limited to these embodiments, and can be changed or modified according to the purpose within the scope of the claims. is there.
例えば、上述の実施の形態では、画像監視装置２で置き去りまたは持ち去りを判定して判定結果を監視センタ４の監視用端末５に送信する例について説明したが、本発明の範囲はこれに限定されず、監視センタ４にて置き去りまたは持ち去りを判定するようにしてもよい。 For example, in the above-described embodiment, the example in which the image monitoring apparatus 2 determines whether the image is left or removed and transmits the determination result to the monitoring terminal 5 of the monitoring center 4 has been described. However, the scope of the present invention is limited to this. Instead, the monitoring center 4 may determine whether to leave or take away.
この場合、画像監視装置２の各部構成（記憶部７や画像処理部８など）が、監視センタ４の監視用端末５に設けられる。画像監視装置２は、監視カメラ３にて取得された監視領域の画像（入力画像）を、出力部から監視用端末５に送信する。そして、監視用端末５は、通信部を介して受信した入力画像（画像監視装置２から送信された入力画像）を予め記憶した基準画像と比較して変動領域を抽出し、上述の実施の形態と同様に置き去りまたは持ち去りの発生有無を判定し、その判定結果をモニタ等に出力して、監視員に報知する。 In this case, each component configuration of the image monitoring apparatus 2 (such as the storage unit 7 and the image processing unit 8) is provided in the monitoring terminal 5 of the monitoring center 4. The image monitoring apparatus 2 transmits the image (input image) of the monitoring area acquired by the monitoring camera 3 from the output unit to the monitoring terminal 5. Then, the monitoring terminal 5 compares the input image received via the communication unit (the input image transmitted from the image monitoring apparatus 2) with the reference image stored in advance, and extracts the fluctuation region, and the above-described embodiment. In the same manner as described above, the presence or absence of leaving or taking away is determined, and the determination result is output to a monitor or the like to notify the monitoring staff.
以上のように、本発明にかかる画像監視装置は、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができるという効果を有し、不特定多数の人々が利用する空間の画像監視に用いられる監視システム等に適用され、有用である。 As described above, the image monitoring apparatus according to the present invention has an effect of being able to determine whether an article has been left behind or taken away in a monitoring area, and can be used for an unspecified number of people. The present invention is useful when applied to a monitoring system used for image monitoring.
１ 監視システム
２ 画像監視装置
３ 監視カメラ
４ 監視センタ
５ 監視用端末
６ 画像取得部
７ 記憶部
８ 画像処理部
９ 出力部
１０ 変動領域抽出部
１１ 線分検出処理部
１２ 特定線分抽出部
１３ 判定部
１４ フレーム差分抽出部
１５ 置き去り判定部
１６ 持ち去り判定部
DESCRIPTION OF SYMBOLS 1 Monitoring system 2 Image monitoring apparatus 3 Monitoring camera 4 Monitoring center 5 Monitoring terminal 6 Image acquisition part 7 Memory | storage part 8 Image processing part 9 Output part 10 Fluctuation area extraction part 11 Line segment detection process part 12 Specific line segment extraction part 13 Determination Section 14 Frame difference extraction section 15 Abandonment determination section 16 Removal determination section
Claims (6)
前記物品の置き去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記物品の置き去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記基準画像において特定線分が検出され、当該特定線分に対応する特定線分が前記入力画像において検出されなかった場合に、物品の置き去りが発生したと判定する判定部と、
を備えたことを特徴とする画像監視装置。 Based on the photographed surveillance area image, an image monitoring apparatus for Rio detected placement of the article in the monitoring region,
As the input image for every removed by Rino detection of said article, an image acquisition unit that acquires an image taken the monitoring area,
As a reference image for every removed by Rino detection of said article, a storage unit for storing an image captured in advance the monitoring area,
A fluctuation area extraction unit that extracts a fluctuation area included in the input image from a difference between the reference image and the input image;
A line segment detection processing unit for detecting a line segment of a predetermined length or more included in each image from each of the input image and the reference image;
Specific line segments included in the input image and the reference image are line segments that are continuous inside and outside the variable region in the input image, and line segments that are continuous inside and outside the region corresponding to the variable region in the reference image. A specific line segment extraction unit to extract as
A determination unit that determines that an article has been left behind when a specific line segment is detected in the reference image and a specific line segment corresponding to the specific line segment is not detected in the input image ;
An image monitoring apparatus comprising:
前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りが発生したかを判定する処理を実行する、請求項１に記載の画像監視装置。 A frame difference extraction unit that extracts an inter-frame variation region in the input image from a difference between frames of the input image sequentially acquired by the image acquisition unit;
The determination unit, when the inter-frame variation region is equal to or less than the predetermined area continuously the predetermined frame, executes the process of determining placed removed by Riga occurred Taka of the article, image monitoring according to claim 1 apparatus.
前記物品の持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記物品の持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像において特定線分が検出され、当該特定線分に対応する特定線分が前記基準画像において検出されなかった場合に、物品の持ち去りが発生したと判定する判定部と、
を備えたことを特徴とする画像監視装置。 Based on the photographed surveillance area image, an image monitoring apparatus for detecting a salicylate lifting of an article in the monitoring region,
As an input image for the lifting Chi left of detection of the article, an image acquisition unit that acquires an image taken the monitoring area,
As a reference image for lifting Chi left of detection of the article, a storage unit for storing an image captured in advance the monitoring area,
A fluctuation area extraction unit that extracts a fluctuation area included in the input image from a difference between the reference image and the input image;
A line segment detection processing unit for detecting a line segment of a predetermined length or more included in each image from each of the input image and the reference image;
Specific line segments included in the input image and the reference image are line segments that are continuous inside and outside the variable region in the input image, and line segments that are continuous inside and outside the region corresponding to the variable region in the reference image. A specific line segment extraction unit to extract as
A determination unit that determines that an article has been taken away when a specific line segment is detected in the input image and a specific line segment corresponding to the specific line segment is not detected in the reference image ;
An image monitoring apparatus comprising:
前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の持ち去りが発生したかを判定する処理を実行する、請求項３に記載の画像監視装置。 A frame difference extraction unit that extracts an inter-frame variation region in the input image from a difference between frames of the input image sequentially acquired by the image acquisition unit;
The determination unit, wherein when the inter-frame variation region is equal to or less than the predetermined area continuously the predetermined frame, executes the process of determining lifting Chi removed by Riga occurred Taka of the article, an image according to claim 3 Monitoring device.
前記画像監視装置は、
前記物品の置き去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記入力画像を前記監視用端末装置に送信する出力部と、
を備え、
前記監視用端末装置は、
前記入力画像を受信する通信部と、
前記物品の置き去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記基準画像において特定線分が検出され、当該特定線分に対応する特定線分が前記入力画像において検出されなかった場合に、物品の置き去りが発生したと判定する判定部と、
前記判定部の判定結果を報知する報知部と、
を備えたことを特徴とする監視システム。 And an image monitoring apparatus for acquiring an image obtained by photographing a monitoring area, the monitoring terminal, wherein the installed in a remote monitoring center for every removed by Rio monitoring of articles in a surveillance region are connected via a network to the image monitoring device A monitoring system comprising a device,
The image monitoring device includes:
As the input image for every removed by Rino detection of said article, an image acquisition unit that acquires an image taken the monitoring area,
An output unit for transmitting the input image to the monitoring terminal device;
With
The monitoring terminal device is:
A communication unit for receiving the input image;
As a reference image for every removed by Rino detection of said article, a storage unit for storing an image captured in advance the monitoring area,
A fluctuation area extraction unit that extracts a fluctuation area included in the input image from a difference between the reference image and the input image;
A line segment detection processing unit for detecting a line segment of a predetermined length or more included in each image from each of the input image and the reference image;
Specific line segments included in the input image and the reference image are line segments that are continuous inside and outside the variable region in the input image, and line segments that are continuous inside and outside the region corresponding to the variable region in the reference image. A specific line segment extraction unit to extract as
A determination unit that determines that an article has been left behind when a specific line segment is detected in the reference image and a specific line segment corresponding to the specific line segment is not detected in the input image ;
A notification unit for reporting the determination result of the determination unit;
A monitoring system characterized by comprising:
前記画像監視装置は、
前記物品の持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記入力画像を前記監視用端末装置に送信する出力部と、
を備え、
前記監視用端末装置は、
前記入力画像を受信する通信部と、
前記物品の持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像において特定線分が検出され、当該特定線分に対応する特定線分が前記基準画像において検出されなかった場合に、物品の持ち去りが発生したと判定する判定部と、
前記判定部の判定結果を報知する報知部と、
を備えたことを特徴とする監視システム。 And an image monitoring apparatus for acquiring an image obtained by photographing a monitoring area, the monitoring terminal, wherein the installed the left lifting of the article Chi in the monitoring area to a remote monitoring center for monitoring is connected via a network to the image monitoring device A monitoring system comprising a device,
The image monitoring device includes:
As an input image for the lifting Chi left of detection of the article, an image acquisition unit that acquires an image taken the monitoring area,
An output unit for transmitting the input image to the monitoring terminal device;
With
The monitoring terminal device is:
A communication unit for receiving the input image;
As a reference image for lifting Chi left of detection of the article, a storage unit for storing an image captured in advance the monitoring area,
A fluctuation area extraction unit that extracts a fluctuation area included in the input image from a difference between the reference image and the input image;
A line segment detection processing unit for detecting a line segment of a predetermined length or more included in each image from each of the input image and the reference image;
Specific line segments included in the input image and the reference image are line segments that are continuous inside and outside the variable region in the input image, and line segments that are continuous inside and outside the region corresponding to the variable region in the reference image. A specific line segment extraction unit to extract as
A determination unit that determines that an article has been taken away when a specific line segment is detected in the input image and a specific line segment corresponding to the specific line segment is not detected in the reference image ;
A notification unit for reporting the determination result of the determination unit;
A monitoring system characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010063073A JP5405365B2 (en) | 2010-03-18 | 2010-03-18 | Image monitoring apparatus and monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010063073A JP5405365B2 (en) | 2010-03-18 | 2010-03-18 | Image monitoring apparatus and monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011197936A JP2011197936A (en) | 2011-10-06 |
| JP5405365B2 true JP5405365B2 (en) | 2014-02-05 |
Family
ID=44876072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010063073A Active JP5405365B2 (en) | 2010-03-18 | 2010-03-18 | Image monitoring apparatus and monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5405365B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015173869A1 (en) | 2014-05-12 | 2015-11-19 | 富士通株式会社 | Product-information output method, product-information output program, and control device |
| JP6317490B2 (en) * | 2017-02-16 | 2018-04-25 | ホーチキ株式会社 | Fire detection device and fire detection method |
| JP7154045B2 (en) * | 2018-06-14 | 2022-10-17 | キヤノン株式会社 | Image processing device, imaging device, image processing method |
| CN110399792B (en) * | 2019-06-19 | 2023-07-25 | 河南北斗卫星导航平台有限公司 | Monitoring method, monitoring device and computer readable storage medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001224011A (en) * | 2000-02-04 | 2001-08-17 | Hitachi Eng Co Ltd | Abnormality supervisory method and system |
| JP4936952B2 (en) * | 2007-03-28 | 2012-05-23 | セコム株式会社 | Suspicious object monitoring device |
| JP2009075834A (en) * | 2007-09-20 | 2009-04-09 | Denso Corp | Invasion monitoring device |
-
2010
- 2010-03-18 JP JP2010063073A patent/JP5405365B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011197936A (en) | 2011-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7229662B2 (en) | How to issue alerts in a video surveillance system | |
| JP6241796B2 (en) | Left item monitoring device, left item monitoring system including the same, and left item monitoring method | |
| CN108476304B (en) | Discarded object monitoring device, discarded object monitoring system provided with same, and discarded object monitoring method | |
| JP5405366B2 (en) | Image monitoring apparatus and monitoring system | |
| US9639937B2 (en) | Apparatus and method for detecting event from plurality of photographed images | |
| US8792681B2 (en) | Imaging system and imaging method | |
| JP4811653B2 (en) | Object detection device | |
| US9230166B2 (en) | Apparatus and method for detecting camera tampering using edge image | |
| JP6693509B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP2016110578A (en) | Image recognition system, server device, and image recognition method | |
| JP2018042270A (en) | Left object monitoring device, left object monitoring system with the same, and left object monitoring method | |
| JP5405365B2 (en) | Image monitoring apparatus and monitoring system | |
| KR101084914B1 (en) | Indexing management system of vehicle-number and man-image | |
| US9607210B2 (en) | Video surveillance system and method for fraud detection | |
| US10798366B2 (en) | Motion detection device and motion detection method | |
| JP2015158796A (en) | Object detection device | |
| US10311690B2 (en) | Systems and methods for detecting motion based on a video pattern | |
| JP5142416B2 (en) | Object detection device | |
| JP5074067B2 (en) | Suspicious object monitoring device | |
| JP5769468B2 (en) | Object detection system and object detection method | |
| Ahmed et al. | Automated intruder detection from image sequences using minimum volume sets | |
| KR101223606B1 (en) | System for intelligently monitoring image for monitoring elevator | |
| EP3444750A1 (en) | Cloud based systems and methods for locating a peace breaker | |
| KR20110102321A (en) | Image motion detection method and apparatus | |
| JP2009071517A (en) | Camera system and recording system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131030 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5405365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |