JP5752976B2 - Image monitoring device - Google Patents

Image monitoring device Download PDF

Info

Publication number
JP5752976B2
JP5752976B2 JP2011076332A JP2011076332A JP5752976B2 JP 5752976 B2 JP5752976 B2 JP 5752976B2 JP 2011076332 A JP2011076332 A JP 2011076332A JP 2011076332 A JP2011076332 A JP 2011076332A JP 5752976 B2 JP5752976 B2 JP 5752976B2
Authority
JP
Japan
Prior art keywords
face
image
area
region
head candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011076332A
Other languages
Japanese (ja)
Other versions
JP2012212216A (en
Inventor
秀行 青木
秀行 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2011076332A priority Critical patent/JP5752976B2/en
Publication of JP2012212216A publication Critical patent/JP2012212216A/en
Application granted granted Critical
Publication of JP5752976B2 publication Critical patent/JP5752976B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、重要監視物等が設置された空間において、監視空間を撮影した画像情報の解析結果から、監視空間内に存在する人物が不審者と判定されると遠隔の監視センタに通報する画像監視装置に関する。より具体的には、人物の後頭部などを覆面を被った不審者と誤認することを防止できる画像監視装置の提供を目的とする。 The present invention provides an image to be notified to a remote monitoring center when a person existing in a monitoring space is determined to be a suspicious person based on an analysis result of image information obtained by photographing the monitoring space in a space in which important monitoring objects are installed. It relates to a monitoring device. More specifically, an object of the present invention is to provide an image monitoring apparatus that can prevent a person's occipital head from being mistaken for a suspicious person with a mask.

従来、店舗、事務室等の監視領域に侵入する人物を検出して、遠隔の監視センタに通報する監視システムにおいて、カメラで撮像された画像から人物領域の特徴情報を抽出して不審人物等の特徴に合致した場合、自動的に遠隔の監視センタに通報出力し、監視センタのオペレータにより遠隔から画像監視を可能とする画像監視装置が知られている。 Conventionally, in a monitoring system that detects a person who enters a monitoring area such as a store or an office and notifies a remote monitoring center, the characteristic information of the person area is extracted from an image captured by a camera, There is known an image monitoring apparatus that automatically outputs a report to a remote monitoring center when the feature is met, and enables the monitoring center operator to remotely monitor the image.

このような画像を用いた監視システムにおいては、監視領域に設置された画像監視装置から不審者を検出したとする警報信号が通報されると、監視センタのオペレータが画像を確認して判断を行う。そして実際には不審者ではなく、誤検出であると判定された場合には、オペレータはリセット操作を行い、通常の監視状態に復帰させる。   In such a monitoring system using an image, when an alarm signal indicating that a suspicious person has been detected is notified from an image monitoring device installed in the monitoring area, the operator of the monitoring center checks the image and makes a determination. . When it is determined that the detection is not actually a suspicious person but an erroneous detection, the operator performs a reset operation to return to the normal monitoring state.

ここで不審者とは、例えば顔を隠蔽した人物や、挙動が不審な人物等が想定される。例えば、特許文献1には、不特定多数の人が利用する施設において、来訪者の顔の画像から、目、耳、鼻、口などの顔の特徴部分が、サングラスやマスクのために抽出できない場合に不審者人物候補として管理人等に通報する警報装置が記載されている。   Here, for example, a suspicious person may be a person whose face is hidden or a person whose behavior is suspicious. For example, in Patent Document 1, facial features such as eyes, ears, nose and mouth cannot be extracted because of sunglasses or a mask from an image of a visitor's face in a facility used by an unspecified number of people. In this case, an alarm device that reports to a manager or the like as a suspicious person candidate is described.

特開平5−35992号公報Japanese Patent Laid-Open No. 5-35992

特許文献1の警報装置の例では、現金自動支払いコーナーの操作者を正面で撮影可能な位置にカメラが設置されているが、より広い撮像範囲を監視する画像監視装置の場合、画像に写りこんだ人物が正面を向いているとは限られない。例えば、画像に写りこんだ人物が後ろを向いており、その後頭部から顔の各パーツが検出されないと不審者として誤認してしまい、遠隔の監視センタに通報してしまう可能性がある。 In the example of the alarm device of Patent Document 1, the camera is installed at a position where the operator of the automatic cash payment corner can be photographed in front. However, in the case of an image monitoring device that monitors a wider imaging range, the image is not captured. The person is not always facing the front. For example, if a person reflected in the image is facing backwards, and then each part of the face is not detected from the head, the person may be mistaken as a suspicious person and report to a remote monitoring center.

このように、画像に写りこんだ悪意のない第三者を不審人物として誤検出することにより、監視オペレータの処理負荷、通信コストの増大を招くという問題がある。 As described above, there is a problem in that the processing load of the monitoring operator and the communication cost are increased by erroneously detecting a non-malicious third person reflected in the image as a suspicious person.

本発明は、上記課題に鑑みてなされたものであり、監視領域に設置された画像監視装置が正常な人物を顔隠蔽者として誤検出することを極力防止するとともに、実際の顔隠蔽者として特に覆面顔の人物が俯いたような場合でも確実に失報することなく検出可能とする画像監視装置の提供を目的とする。 The present invention has been made in view of the above problems, and prevents image monitoring devices installed in a monitoring area from erroneously detecting a normal person as a face concealer as much as possible, and particularly as an actual face concealer. An object of the present invention is to provide an image monitoring apparatus that can detect a person with a masked face without failing even if he / she crawls.

上記目的を達成するために本発明による画像監視装置は、監視領域を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理部は、前記入力画像より人体の頭部候補領域を抽出する頭部候補領域抽出手段と、前記抽出された頭部候補領域の輝度情報に基づいて顔隠蔽しているか否かを判定する顔隠蔽判定手段と、前記顔隠蔽判定結果に基づいて不審者の検出を判定する不審者判定手段とを有し、前記顔隠蔽判定手段は、前記頭部候補領域内の肌領域を抽出する肌領域抽出手段をさらに含み、前記輝度情報に基づいた顔隠蔽判定結果と、前記肌領域抽出手段により抽出された肌領域の位置に基づいて顔隠蔽の有無を判定する。
かかる構成によれば、例えば人の後頭部等と覆面顔の人物が俯いた場合を確実に識別し、誤判定を防止して、不審者を検出したことを精度良く判定することが可能となる。
In order to achieve the above object, the image monitoring apparatus according to the present invention provides an imaging unit that acquires an image obtained by imaging a monitoring area, and an alarm when determining that a suspicious person has been detected by processing the input images sequentially acquired by the imaging unit. An image monitoring apparatus including an image signal processing unit that generates a signal and an output unit that outputs the warning signal, wherein the image signal processing unit extracts a head candidate region of a human body from the input image. Part candidate area extracting means, face concealment determining means for determining whether or not a face is concealed based on luminance information of the extracted head candidate area, and detecting a suspicious person based on the face concealment determination result Suspicious person determination means for determining, the face concealment determination means further includes a skin region extraction means for extracting a skin region in the head candidate region, and a face concealment determination result based on the luminance information; By the skin area extracting means Determining the presence or absence of a face hiding based on the position of the extracted skin regions.
According to such a configuration, for example, it is possible to reliably identify a case where a person with a masked face and a person's occipital head crawl, to prevent erroneous determination, and to accurately determine that a suspicious person has been detected.

また、本発明の好適な態様において、前記顔隠蔽判定手段は、前記肌領域が前記頭部候補領域の中心を含む所定領域内に存在する場合に、顔を隠蔽したと判定する。かかる構成によれば、覆面の目部分の肌領域の位置に基づいて顔を隠蔽した不審者と精度良く判定できる。 Also, in a preferred aspect of the present invention, the face concealment determining means determines that a face has been concealed when the skin region exists within a predetermined region including the center of the head candidate region. According to such a configuration, it is possible to accurately determine a suspicious person whose face is hidden based on the position of the skin region of the eye part of the covering surface.

また、本発明の好適な態様において、前記顔隠蔽判定手段は、前記肌領域が前記頭部候補領域の中心を含む所定領域より外側の領域に存在する場合に、顔を隠蔽しないと判定する。
かかる構成によれば、人の後頭部の襟首や耳等の肌領域の位置に基づいて、人の後頭部を覆面により顔を隠蔽した不審者と誤判定することを防止する。
In a preferred aspect of the present invention, the face concealment determining means determines that the face is not concealed when the skin region is present in a region outside a predetermined region including the center of the head candidate region.
According to this configuration, it is possible to prevent the person's occipital region from being erroneously determined as a suspicious person whose face is hidden by the covering surface based on the position of the skin region such as the neck and ears of the occipital region.

さらに、本発明の好適な態様において、前記顔隠蔽判定手段は、黒画素割合算出手段を有し、前記頭部候補領域内に占める黒画素の占める割合が所定未満の場合には、前記肌領域の位置に関わらず顔を隠蔽したと判定する。かかる構成によれば、頭部候補領域内の輝度が黒画素が少ない場合には、人の後頭部の頭髪ではない可能性が高い判定することで、覆面による顔隠蔽者と人の後頭部とを確実に識別できる。 Furthermore, in a preferred aspect of the present invention, the face concealment determining means includes a black pixel ratio calculating means, and when the ratio of black pixels in the head candidate area is less than a predetermined value, the skin area It is determined that the face is hidden regardless of the position. According to this configuration, when the luminance in the head candidate region is low in black pixels, it is highly likely that the hair is not the head hair of the person's occipital region. Can be identified.

本発明にかかる画像監視装置が店舗の事務室に設置された例である。It is an example in which the image monitoring apparatus according to the present invention is installed in an office of a store. 本実施の形態にかかる画像監視装置の概略構成図である。It is a schematic block diagram of the image monitoring apparatus concerning this Embodiment. 本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。It is a whole flowchart showing operation | movement of the image monitoring apparatus concerning this Embodiment. 本実施の形態にかかる画像監視装置の顔隠蔽判定処理の動作フロー図である。It is an operation | movement flowchart of the face concealment determination process of the image monitoring apparatus concerning this Embodiment. 本実施の形態にかかる画像監視装置の顔隠蔽検出例を表す図である。It is a figure showing the example of face concealment detection of the image monitoring apparatus concerning this Embodiment.

以下、図を参照しつつ、本発明にかかる画像監視装置の一実施形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置し、事務室内の金庫等の重要監視物周辺に存在する不審人物を検出するための監視装置として実現した例について説明する。また本画像監視装置は、警備装置を構成する機能の一部としても実現可能であり、夜間等の人の不在の警備中だけでなく、開店中などの警備解除中も監視を実施することを想定している。事務室においては開店時間中は、店長など金庫の開錠可能な人物だけでなく、従業員やアルバイトも事務室に入室可能である。また、従業員やアルバイトの隙をみて、不審者が金庫に近づいたり、従業員やアルバイトを拘束して不審者が金庫に近づく可能性もあることが想定される。こうした店舗や事務室には監視カメラが設置されているため、窃盗や強盗を企てる不審者は、ほとんどの場合、覆面やサングラス、マスク等で顔を隠蔽している。 Hereinafter, referring to the drawings, as an embodiment of the image monitoring apparatus according to the present invention, the image monitoring apparatus is installed in an office room of a store such as a supermarket and is present in the vicinity of an important monitoring object such as a safe in the office room. An example realized as a monitoring device for detecting a suspicious person will be described. In addition, this image monitoring device can be realized as a part of the function that constitutes the security device, and it is possible to monitor not only during the absence of people such as at night, but also during the opening of security such as opening a store. Assumed. In the office, during opening hours, employees and part-time workers can enter the office as well as persons who can unlock safes such as store managers. It is also assumed that there is a possibility that a suspicious person approaches the safe by looking at the gap between the employee and the part-time job, or the suspicious person approaches the safe by restraining the employee or the part-time job. Since surveillance cameras are installed in these stores and offices, suspicious individuals who attempt to steal or robbery often hide their faces with masks, sunglasses, masks, and the like.

本実施の形態における画像監視装置は、金庫等の重要物付近に人物がいる場合に、重要物付近に設置されたカメラから当該人物の顔部分を抽出し、顔部分を隠蔽している場合に不審者として遠隔の監視センタに非常通報を行うとともに、監視領域内の撮像画像を送信する。 The image monitoring apparatus according to the present embodiment, when a person is in the vicinity of an important object such as a safe, extracts a face part of the person from a camera installed in the vicinity of the important object and conceals the face part. As a suspicious person, an emergency call is made to a remote monitoring center, and a captured image in the monitoring area is transmitted.

図1(a)は、本発明にかかる画像監視装置1が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。図1(a)において、事務室の床の隅に金庫6が設置されている。 Fig.1 (a) is a schematic diagram showing a mode that the image monitoring apparatus 1 concerning this invention was installed in the office. Examples of the installation location include an office room and a backyard with a storage where products before being displayed at a store are arranged on a shelf. In FIG. 1 (a), a safe 6 is installed in the corner of the floor of the office.

画像監視装置1の撮像部2は、金庫6の上方に概略水平方向に向けて設置され、撮像部2の視野は事務室全体を含むものとする。この視野内が監視領域である。画像監視装置は、撮像部2で取得された画像を処理し、その画像中に含まれる人物の顔隠蔽の有無を判定する。顔隠蔽の有無の判定とは、不審者が、サングラスとマスク、覆面、フルフェースのヘルメット等で顔を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。 The imaging unit 2 of the image monitoring apparatus 1 is installed above the safe 6 in a substantially horizontal direction, and the field of view of the imaging unit 2 includes the entire office. Within this field of view is the monitoring area. The image monitoring apparatus processes the image acquired by the imaging unit 2, and determines whether or not a person included in the image is concealed. The determination of the presence / absence of face concealment is to determine whether or not the suspicious person conceals his / her face with sunglasses and a mask, a mask, a full-face helmet, etc. to make it difficult to identify a person.

撮像部2から取得された画像を本実施の形態では入力画像と称する。入力画像の例を図1(b)に示す。図1(b)からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を撮像部2に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。 An image acquired from the imaging unit 2 is referred to as an input image in the present embodiment. An example of the input image is shown in FIG. As can be seen from FIG. 1B, the human phase can be grasped if the person in the image has the face facing the imaging unit 2 by making use of the image of the camera oriented in a substantially horizontal direction. By using the face concealment determination technique, it is possible to determine whether there is face concealment. In addition, since the input image can acquire not only the human phase but also the information on clothes and the appearance of the person in the image, it can also be used for recording as an image for the purpose of ensuring trailability.

図2は、一つの実施形態としての本発明にかかる画像監視装置1の概略構成図である。画像監視装置1は、撮像部2と、記憶部3と、画像信号処理部4と、出力部5とを有する。 FIG. 2 is a schematic configuration diagram of an image monitoring apparatus 1 according to the present invention as one embodiment. The image monitoring apparatus 1 includes an imaging unit 2, a storage unit 3, an image signal processing unit 4, and an output unit 5.

撮像部2は、少なくともひとつのカメラで構成されCCDまたはC−MOSなど、可視光に感度を有する光電変換器で構成された2次元検出器と、その2次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部2は、例えば、NTSC規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部2は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。 The imaging unit 2 is composed of at least one camera, a CCD or C-MOS, or the like, a two-dimensional detector composed of a photoelectric converter having sensitivity to visible light, and an image of a monitoring area on the two-dimensional detector. An image forming optical system for forming an image is included. The imaging unit 2 can be, for example, a camera that continuously shoots according to the NTSC standard. Alternatively, the imaging unit 2 may generate a higher resolution image such as so-called high vision.

撮像部2は、本実施の形態では事務室を撮影した画像を、例えば、各画素の輝度が256階調で表される濃淡画像あるいはカラー画像として所定のフレーム間隔(例えば0.5秒間隔)毎に生成する。また撮像部2は、画像信号処理部4の図示しないインターフェース部と接続されており、撮像部2が画像を生成する度に、その生成した画像を入力画像として画像信号処理部4へ出力する。 In the present embodiment, the imaging unit 2 uses an image taken in the office as a grayscale image or a color image in which the luminance of each pixel is expressed in 256 gradations, for example, at a predetermined frame interval (for example, an interval of 0.5 seconds). Generate every time. The imaging unit 2 is connected to an interface unit (not shown) of the image signal processing unit 4 and outputs the generated image as an input image to the image signal processing unit 4 every time the imaging unit 2 generates an image.

記憶部3は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク(HDD)などの記憶装置を有する。記憶部3は、画像監視装置1で使用される各種のプログラム及び設定データ等を記憶する。また記憶部3は、画像監視装置1が起動したとき、あるいは定期的に撮像部2から取得した、人物が写っていない入力画像を背景画像として記憶する。 The storage unit 3 includes a storage device such as a nonvolatile semiconductor memory such as a flash memory, a volatile semiconductor memory, or a magnetic disk (HDD). The storage unit 3 stores various programs and setting data used in the image monitoring apparatus 1. In addition, the storage unit 3 stores, as a background image, an input image in which a person is not captured, which is acquired from the imaging unit 2 when the image monitoring apparatus 1 is activated or periodically.

また記憶部3は入力画像中から抽出された人物領域の情報を人物領域情報として記憶しておく。さらに、記憶部3は、入力画像中から頭部候補領域、顔隠蔽判定を行うため、各種条件におけるテンプレート画像、設定データ等を記憶している。 In addition, the storage unit 3 stores information on the person area extracted from the input image as person area information. Further, the storage unit 3 stores a template image, setting data, and the like under various conditions in order to make a head candidate region and face concealment determination from the input image.

画像信号処理部4は、撮像部2から入力された入力画像中の人物が顔隠蔽しているか否かに応じて不審者の判定を行い、その判定結果に応じて警報信号の送出処理を行う。画像信号処理部4は、人物領域抽出手段41、頭部候補領域抽出手段42、顔隠蔽判定手段43、不審者判定手段44、制御手段45から構成される。これらの各構成手段は、記憶部3に記憶されるプログラムモジュールにて実現可能である。次に画像信号処理部4の各手段について説明する。 The image signal processing unit 4 determines a suspicious person according to whether or not a person in the input image input from the imaging unit 2 is hiding the face, and performs a warning signal transmission process according to the determination result. . The image signal processing unit 4 includes a person area extraction unit 41, a head candidate area extraction unit 42, a face concealment determination unit 43, a suspicious person determination unit 44, and a control unit 45. Each of these constituent means can be realized by a program module stored in the storage unit 3. Next, each means of the image signal processing unit 4 will be described.

人物領域抽出手段41は、撮像部2から取得された入力画像と記憶部3に記憶されている背景画像の画素毎の差分を求め、所定以上の輝度変化があり、人物を元に設定された所定範囲の大きさの変化領域を人物領域として抽出する。背景画像は、室内が無人時の入力画像で所定時間ごとに更新される画像である。人物領域抽出手段41は抽出された人物領域が前フレームで抽出された人物領域と同一の移動体によるものか否かの判定を行い、新規に出現した人物領域の場合は、新たな管理番号を付与(ラベリング)し、その大きさ、位置等の情報とともに人物領域情報として記憶部3に記憶する。 The person area extraction unit 41 obtains a difference for each pixel between the input image acquired from the imaging unit 2 and the background image stored in the storage unit 3, has a predetermined luminance change, and is set based on the person A change area having a size within a predetermined range is extracted as a person area. The background image is an image that is updated every predetermined time with an input image when the room is unattended. The person area extracting means 41 determines whether or not the extracted person area is the same moving body as the person area extracted in the previous frame. If the person area newly appears, a new management number is assigned. It is given (labeled) and stored in the storage unit 3 as person area information together with information such as its size and position.

現在のフレームで抽出されたが、前フレームで抽出された人物領域と同一の移動体によるものと推定される場合は、当該管理番号の人物領域情報に位置、大きさ等の情報を追加記憶する。この背景差分処理、ラベリング処理については、画像処理技術の分野では周知の技術であるので、これ以上の詳細な説明は省略する。 If extracted from the current frame but presumed to be from the same moving object as the person area extracted in the previous frame, information such as position and size is additionally stored in the person area information of the management number. . Since the background difference process and the labeling process are well-known techniques in the field of image processing technology, further detailed description thereof is omitted.

頭部候補領域抽出手段42は、人物領域上で人体の頭部らしさが高い領域を頭部候補領域として抽出する。この頭部候補領域の抽出方法としては、楕円パターン等の頭部輪郭パターンをテンプレートとして記憶部3に記憶しておき、人物領域内でテンプレートとの類似度が高い領域を頭部候補領域として抽出する等の手法が採用できる。この手法については、本出願人による特開2005-25568に記載されている手法を採用することができる。 The head candidate region extraction unit 42 extracts a region that is highly likely to be a human head on the person region as a head candidate region. As a method for extracting the head candidate area, a head contour pattern such as an elliptical pattern is stored in the storage unit 3 as a template, and an area having a high similarity to the template is extracted as a head candidate area in the person area. It is possible to adopt a technique such as For this technique, the technique described in Japanese Patent Application Laid-Open No. 2005-25568 by the present applicant can be adopted.

用意する頭部輪郭パターンとしては、楕円パターンに限られず、顔形状の輪郭を模擬したパターンでもよい。 The prepared head contour pattern is not limited to the elliptical pattern, and may be a pattern that simulates the contour of the face shape.

また、人物領域から頭部候補領域を抽出する方法としては、HOG(Histogram of Oriented Gradients)特徴量ベースの検出方法を利用することもできる。HOG特徴量は、画像から任意のサイズで切り出した局所領域内のエッジ(輝度勾配)方向に着目した特徴量である。事前に多数の顔画像データと顔画像とは無関係の画像を学習用データとして用意し、様々のサイズの局所領域を学習用画像全体で探索を実行し、頭部候補領域の識別に有効な特徴量を選択する。HOG特徴量は、非常に次元数の大きな特徴量であるため、特徴量の選択には統計的学習手法の一つであるAdaboostを用い、頭部候補領域の識別に有効なHOG特徴量のセットを選別する。 Further, as a method for extracting the head candidate region from the person region, a detection method based on a HOG (Histogram of Oriented Gradients) feature amount can be used. The HOG feature value is a feature value focused on the edge (luminance gradient) direction in the local region cut out from the image with an arbitrary size. A feature that is useful for identifying head candidate regions by preparing a large number of face image data and images unrelated to face images as learning data in advance, searching for local regions of various sizes in the entire learning image Select the amount. Since HOG features are features with a very large number of dimensions, Adaboost, which is one of the statistical learning methods, is used for feature selection, and a set of HOG features that are effective for identifying head candidate regions Sort out.

この選別された特徴量のセットを用いて、入力画像から抽出された人物領域上で、頭部候補のエッジ特徴を持つ領域を頭部候補領域として抽出することができる。HOG特徴量ベースの顔検出方法については、例えば、Dalal N., Triggs B.: “Histograms
of Oriented Gradients for Human Detection.” IEEE Conf.CVPR, vol.1, pp.886-893, 2005.等に記載されている。
Using this selected set of feature amounts, a region having edge features of head candidates can be extracted as a head candidate region on the person region extracted from the input image. For HOG feature-based face detection methods, see, for example, Dalal N., Triggs B .: “Histograms
of Oriented Gradients for Human Detection. ”IEEE Conf. CVPR, vol.1, pp.886-893, 2005.

顔隠蔽判定手段43は、抽出された頭部候補領域候補内の輝度情報に基づいて、顔隠蔽の有無を判定する。具体的には抽出された頭部候補領域内の画像特徴を分析して、素顔らしさである非顔隠蔽らしさ及び、サングラス及びマスクらしさ、覆面(目出し帽)らしさ、フルフェースヘルメットらしさ等の顔隠蔽らしさを数値化して求める。予め用意した、老若男女の素顔の顔画像データ及び上記各種別の顔隠蔽画像データに対し、複数のテンプレート画像を用意し、抽出した頭部候補領域の輝度情報と各々のテンプレート画像との類似度を算出して、最も類似するテンプレート画像について予め設定した閾値を超えていた場合に、当該頭部候補領域を素顔或いは、何らかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。 The face concealment determination unit 43 determines the presence or absence of face concealment based on the luminance information in the extracted head candidate area candidate. Specifically, by analyzing the image features in the extracted head candidate region, the face such as non-face concealment, which is like a natural face, sunglasses and mask, cover (balancing cap), full face helmet, etc. Calculate the concealment numerically. A plurality of template images are prepared for the face image data of the faces of young and old men and women and the various types of face concealment image data prepared in advance, and the brightness information of the extracted head candidate area and the similarity between each template image When the threshold value set in advance for the most similar template image is exceeded, the head candidate region is determined to be a face concealer or a face concealer whose face is concealed by some shielding object.

また、顔隠蔽の判定には、Haar-Like特徴量をベースとする判定方法を利用することもできる。Haar-Like特徴量は、隣り合う2つの矩形領域の平均輝度差に着目した特徴量であり、HOG特徴量同様、事前に用意した学習用画像データに対して、Adaboostを用いて、顔画像の識別に有効なHaar-Like特徴量を選別する。学習用の顔画像データとしては、素顔の顔画像データ、顔隠蔽種別ごとの顔画像データ、が及び顔画像とは無関係なデータを各々種々の条件で用意する。事前学習により、素顔の識別に有効な特徴量、各顔隠蔽の識別に有効な特徴量のセットを選別し、各々の顔隠蔽種別の識別に用いる探索器として用意しておく。頭部候補領域に対してこの各々の探索器を用いて素顔らしさ、及び各種別の顔隠蔽らしさの輝度特徴の類似度を数値化して求める。そして類似度が最も高い探索器についての類似度が予め設定した類似度を肥えていた場合に、当該頭部候補領域を素顔、或いはなんらかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。 In addition, a determination method based on the Haar-Like feature amount can be used for determining the face concealment. The Haar-Like feature value is a feature value that focuses on the average luminance difference between two adjacent rectangular areas. Like the HOG feature value, the face image of the face image can be obtained using Adaboost for learning image data prepared in advance. Select Haar-Like features that are effective for identification. As face image data for learning, face image data of a face, face image data for each face concealment type, and data unrelated to the face image are prepared under various conditions. By pre-learning, a feature amount effective for identifying a face and a set of feature amounts effective for identifying each face concealment are selected and prepared as a searcher used for identifying each face concealment type. Using each of these searchers, the head face candidate area is obtained by quantifying the degree of similarity between the luminance features of the face-likeness and the various face concealment. If the similarity for the searcher with the highest degree of similarity increases the preset similarity, the head candidate area is determined to be a face concealer who is hiding the face with a natural face or some kind of shielding object. .

このHaar-Like特徴量ベースの顔検出方法については、例えば、P.Viola and M.Jones:Rapid
Object Detection using a Boosted Cascade of Simple(CVPR2001)等に記載されている。
For this Haar-Like feature-based face detection method, for example, P. Viola and M. Jones: Rapid
Object Detection using a Boosted Cascade of Simple (CVPR2001).

顔隠蔽判定手段43は、肌領域抽出手段431、黒画素割合算出手段432を含む。 The face concealment determination unit 43 includes a skin region extraction unit 431 and a black pixel ratio calculation unit 432.

肌領域抽出手段431は、検出された頭部候補領域内における素肌部分の領域を抽出する。 The skin area extracting means 431 extracts the area of the bare skin portion in the detected head candidate area.

素肌部分の抽出は、色情報を利用して肌色部分を抽出する方法が採用できる。この肌色領域を抽出する方法は、公知の手法であり、例えば本出願人による特開2005-049979に記載されている手法が採用できる。肌領域を抽出するのは、人間の後頭部と覆面による顔隠蔽者を識別するためであり、覆面による顔隠蔽度合いが高いとしても、頭部候補領域における肌領域の位置が中心付近にない場合は、抽出された肌領域は例えば後頭部の襟首部分の可能性が高く、この場合は顔隠蔽者ではないとの判定に用いることができる。一方、肌領域の位置が中心付近にある場合は、覆面の目出し部分である可能性が高く、この場合は顔隠蔽者であるという判定に用いることができる。 For the extraction of the bare skin portion, a method of extracting the skin color portion using color information can be adopted. This method of extracting the skin color region is a known method, and for example, the method described in Japanese Patent Application Laid-Open No. 2005-049979 by the present applicant can be adopted. The skin area is extracted in order to identify the face concealer by the human occipital area and the mask, and even if the face mask by the mask is high, the position of the skin area in the head candidate area is not near the center. The extracted skin region is likely to be, for example, the neck portion of the back of the head, and in this case, it can be used to determine that it is not a face concealer. On the other hand, when the position of the skin region is near the center, there is a high possibility that the skin area is an eye-opening portion.

黒画素割合算出手段432は、抽出された頭部領域内における黒画素の割合を求める。黒画素の割合を求めるのは、人間の後頭部と覆面による顔隠蔽者を識別するためであり、覆面による顔隠蔽度合いが高く、頭部候補領域における黒画素が含まれる割合が少ない場合は、上述の肌領域の位置に関わらず色つき覆面である可能性が高い。一方黒画素の割合が多い場合は、覆面による顔隠蔽者の場合と人間の後頭部の頭髪部分である場合の識別が困難であるため、肌領域の位置の判定を必要とする。 The black pixel ratio calculation means 432 obtains the ratio of black pixels in the extracted head region. The ratio of black pixels is obtained in order to identify the face concealer by the human occipital region and the mask, and the degree of face masking by the mask is high and the ratio of black pixels in the head candidate region is small. Regardless of the position of the skin area, there is a high possibility that the surface is colored. On the other hand, when the proportion of black pixels is large, it is difficult to distinguish between the case of a face concealer by a mask and the case of a head portion of a human head, so that the position of the skin region needs to be determined.

不審者判定手段44は、顔隠蔽判定手段43で監視領域中に顔隠蔽者が存在し、不審者判定条件を満たす場合に当該顔隠蔽者を不審者と判定する。不審者判定条件の例としては、顔隠蔽者が検出された回数が、連続する所定フレーム内(例えば5フレーム)で、予め設定された回数(例えば3回)カウントされた場合に不審者と判定するなどである。 The suspicious person determination unit 44 determines that the face concealer is a suspicious person when the face concealment determination unit 43 includes a face concealer in the monitoring area and satisfies the suspicious person determination condition. As an example of a suspicious person determination condition, a suspicious person is determined when the number of times a face concealer is detected is counted within a predetermined number of consecutive frames (for example, 5 frames) for a preset number of times (for example, 3 times). And so on.

制御手段45は、画像監視装置1の各部を統合的に制御する。また、不審者判定手段44による不審者判定結果から、出力部5を制御して、警報信号を出力させるか否かを決定する手段である。 The control means 45 controls each part of the image monitoring apparatus 1 in an integrated manner. Moreover, it is a means to control the output part 5 from the suspicious person determination result by the suspicious person determination means 44, and to determine whether an alarm signal is output.

出力部5は、制御手段45からの指示を受け、予め登録された出力先に警報信号を出力する機能を有する。ここでは警報信号を警備会社等の監視センタに通信回線を経由して通報するようにしてある。また警報信号の出力先としては上記に限られない。例えば、監視対象内に設けたスピーカ等より警告音を鳴らしたり、警告メッセージを発するようにしてもよい。さらに、予め登録した利用者等の携帯電話に通信回線を介して通報するようにしてもよい。 The output unit 5 has a function of receiving an instruction from the control unit 45 and outputting an alarm signal to a previously registered output destination. Here, the alarm signal is reported to a monitoring center such as a security company via a communication line. The output destination of the alarm signal is not limited to the above. For example, a warning sound or a warning message may be issued from a speaker or the like provided in the monitoring target. Further, it may be notified to a mobile phone such as a user registered in advance via a communication line.

以上本実施形態の画像監視装置の構成について説明した。 The configuration of the image monitoring apparatus according to the present embodiment has been described above.

次に図3および図4に示したフローチャートを参照して、本実施の形態にかかる画像監視装置1の動作の一例を説明する。図3は、本実施の形態にかかる画像信号処理部3のメインフロー図である。図3においてステップS11〜ステップS20の処理は、画像信号処理部3が撮像部2から所定のフレーム周期(例えば0.5sごと)で入力画像を取得する度に実行される。 Next, an example of the operation of the image monitoring apparatus 1 according to the present embodiment will be described with reference to the flowcharts shown in FIGS. FIG. 3 is a main flow diagram of the image signal processing unit 3 according to the present embodiment. In FIG. 3, the processing of step S11 to step S20 is executed every time the image signal processing unit 3 acquires an input image from the imaging unit 2 at a predetermined frame period (for example, every 0.5 s).

画像監視装置1は、電源投入され、初期設定が完了すると稼動開始する。初期設定としては、撮像部2から入力した入力画像を背景画像として記憶部3に記憶される等の処理が行われる。この背景画像は所定の時間間隔で適宜更新される。 The image monitoring apparatus 1 starts operation when the power is turned on and the initial setting is completed. As an initial setting, processing such as storing an input image input from the imaging unit 2 as a background image in the storage unit 3 is performed. This background image is appropriately updated at predetermined time intervals.

図3のフローチャートにおいて、まずステップS11では撮像部2から入力画像を取得する。取得した入力画像は記憶部3に一時記憶される。記憶部3には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な記憶領域が用意されており、当該記憶領域がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。 In the flowchart of FIG. 3, first, in step S <b> 11, an input image is acquired from the imaging unit 2. The acquired input image is temporarily stored in the storage unit 3. The storage unit 3 is provided with a storage area capable of storing a predetermined number of input images from the current time to a predetermined time ago. When the storage area becomes full, the oldest stored image is deleted. A new input image is stored. The stored image may be backed up regularly to an external hard disk or the like.

次にS12にて、人物領域抽出手段41は、ステップS11にて取得された入力画像を処理し、人物領域の抽出を行う。人物領域の抽出は記憶部3に記憶されている背景画像と入力画像の差分が所定以上の領域を人物領域として抽出する背景差分法などの一般的な方法を採用すれば良い。 In step S12, the person area extraction unit 41 processes the input image acquired in step S11 and extracts a person area. The person area may be extracted by using a general method such as a background difference method in which an area where the difference between the background image stored in the storage unit 3 and the input image is equal to or larger than a predetermined value is extracted as a person area.

なお、所定の条件を満たす人物領域を抽出しない場合(ステップS13−No)には、監視領域内は無人であるとして、ステップS11へ戻る。人物領域が抽出された場合(ステップS13−Yes)はステップS14へすすむ。 If a person area that satisfies the predetermined condition is not extracted (No at Step S13), the monitoring area is assumed to be unattended and the process returns to Step S11. When the person area is extracted (step S13—Yes), the process proceeds to step S14.

ステップS14では、人物領域抽出手段41は記憶部3に記憶されている前フレームの入力画像から取得された人物領域情報を参照し、現フレームで抽出された人物領域と前フレームで抽出された人物領域の対応づけ処理を行う。前フレームで人物領域が抽出されていなければ、現フレームで抽出された人物領域に新たな管理番号を付与して、その大きさ、位置等の情報を人物領域情報として記憶部3に記憶する。 In step S14, the person area extraction unit 41 refers to the person area information acquired from the input image of the previous frame stored in the storage unit 3, and extracts the person area extracted in the current frame and the person extracted in the previous frame. Perform area mapping processing. If no person area is extracted in the previous frame, a new management number is assigned to the person area extracted in the current frame, and information such as the size and position is stored in the storage unit 3 as person area information.

ステップS15では頭部候補領域抽出手段42により人物領域内で、テンプレートマッチングなどにより探索を行い、人物の頭部候補領域を抽出する。そしてステップS16にて顔隠蔽検出処理を行い、ステップS17にて顔隠蔽判定手段43により、抽出された頭部候補領域がサングラス及びマスク、覆面、フルフェースヘルメット等により顔の大部分を隠蔽しているか否かを判定する。ステップS16の処理はサブルーチン化されており、詳細については後述する。 In step S15, the head candidate area extraction means 42 searches the person area by template matching or the like to extract the person head candidate area. In step S16, face concealment detection processing is performed. In step S17, the face concealment determination unit 43 conceals the majority of the face with the extracted head candidate region using sunglasses, a mask, a mask, a full face helmet, and the like. It is determined whether or not. The process of step S16 is made into a subroutine, and details will be described later.

ステップS17で顔隠蔽されていると判定すると(ステップS17−Yes)、次にステップS18で当該ラベルに対する不審者度合い(不審者スコア)を加算して、ステップS19へ進む。またステップS17で顔隠蔽されていないと判定するとステップS11へ戻る。ここで不審者スコアは、顔隠蔽の種別、及び素顔の場合についての所定フレーム数内における検知回数等により求められる。 If it is determined in step S17 that the face is concealed (step S17-Yes), the suspicious person degree (suspicious person score) for the label is added in step S18, and the process proceeds to step S19. If it is determined in step S17 that the face is not concealed, the process returns to step S11. Here, the suspicious person score is obtained from the type of face concealment, the number of detections within a predetermined number of frames in the case of a natural face, and the like.

次にステップS19で顔隠蔽した人物領域(ラベル)の不審者度合いが不審者判定条件を満たすか否かが判定される。上述のように不審者判定条件としては、例えば連続する所定フレーム(例えば5フレーム)内である特定の種別の顔隠蔽者が所定回数以上(例えば3フレーム)検出されるなどで判定される。不審者判定条件を満たす場合(ステップS19−Yes)、ステップS20で不審者を検出したと判定し、所定の通報先へ通報を行う。 Next, in step S19, it is determined whether or not the suspicious person degree of the person area (label) whose face is concealed satisfies the suspicious person determination condition. As described above, the suspicious person determination condition is determined by, for example, detecting a specific type of face concealer within a predetermined predetermined frame (for example, 5 frames) a predetermined number of times (for example, 3 frames). When the suspicious person determination condition is satisfied (step S19-Yes), it is determined that a suspicious person is detected in step S20, and a notification is made to a predetermined report destination.

不審者判定条件を満たさない場合(ステップS19−No)はステップS11へ戻り、次のフレームの処理を行う。 If the suspicious person determination condition is not satisfied (step S19-No), the process returns to step S11 to process the next frame.

以上、画像信号処理部3の不審者判定処理について説明した。次にステップS16の顔隠蔽判定処理について図4のフローチャートを用いて説明する。尚、図4のフローチャートにおける処理は頭部候補領域が入力画像中で複数抽出される場合は、各々について個別に実効される。また図4のフローチャートにより処理対象の頭部候補領域が顔隠蔽と判定された場合には、顔隠蔽フラグがオンになるものとする。この顔隠蔽フラグは頭部候補領域が複数ある場合は各々について設定される。 The suspicious person determination process of the image signal processing unit 3 has been described above. Next, the face concealment determination process in step S16 will be described with reference to the flowchart of FIG. Note that the processing in the flowchart of FIG. 4 is performed individually for each of the head candidate regions when a plurality of candidate head regions are extracted from the input image. In addition, when the head candidate area to be processed is determined to be face concealment according to the flowchart of FIG. 4, the face concealment flag is turned on. This face concealment flag is set for each of a plurality of head candidate areas.

まず、ステップS151において顔隠蔽度の算出が行われる。ここでの顔隠蔽度の算出は、頭部候補領域内の輝度情報に基づいて、素顔らしさ、顔隠蔽種別としての予め設定された「サングラス+メガネ」「覆面( 目出し帽)」、「フルフェースヘルメット」「手の平による隠蔽」等について各々の最もらしさが各々算出される。尚、顔隠蔽種別としては適宜他の種別を追加設定可能である。 First, in step S151, the face concealment degree is calculated. The calculation of the degree of face concealment is based on the luminance information in the head candidate area, and the preset “Sunglasses + glasses”, “cover (bald cap)”, “ The most probable values for the face helmet, the concealment by the palm, etc. are calculated. Note that other types can be appropriately set as the face concealment type.

ステップS152では、いずれの種別かの顔隠蔽度が設定した閾値を超えているか否かが判定される。 In step S152, it is determined whether any type of face concealment degree exceeds a set threshold value.

なお、ここで不審顔の分類は、そのほかにも複数設定可能であるため、複数の分類について閾値を超える可能性はあることに留意する。この場合は、いずれかの顔隠蔽度を超える場合に顔隠蔽がされていると判定してもよいし、最も数値が高いものをその頭部候補領域に対してなされた隠蔽手段として判定してもよい。また、素顔らしさが所定の数値を超える場合は、顔隠蔽度のいずれかが設定した閾値を超えていたとしても素顔と判定するようにしてもよい。 It should be noted that a plurality of suspicious face classifications can be set here, and the threshold value may be exceeded for a plurality of classifications. In this case, it may be determined that the face is concealed if any of the face concealment degrees is exceeded, or the highest numerical value is determined as the concealment means made for the head candidate area. Also good. Further, if the likelihood of a face exceeds a predetermined numerical value, it may be determined that the face is a face even if any of the face hiding levels exceeds a set threshold.

いずれの顔隠蔽条件も満たさない場合(ステップS152−No)はこのルーチンを抜けて図3のフローチャートへ戻る。 When none of the face concealment conditions is satisfied (step S152-No), this routine is exited and the process returns to the flowchart of FIG.

次に、ステップS152でいずれか又は複数の顔隠蔽条件を満たす場合、ステップS153で覆面(目だし帽)による顔隠蔽条件を満たすか否かを判定する。覆面以外の顔隠蔽条件のみ満たす場合、或いは他の隠蔽手段によるもっともらしさが覆面による顔隠蔽よりも高い場合は、ステップS156へ進み、顔隠蔽フラグをオンにして図3のフローチャートに戻る。 Next, when one or a plurality of face concealment conditions are satisfied in step S152, it is determined in step S153 whether or not the face concealment condition by the cover (eye cap) is satisfied. When only the face concealment condition other than the mask is satisfied, or when the plausibility by the other mask is higher than the mask by the mask, the process proceeds to step S156, the face mask flag is turned on, and the process returns to the flowchart of FIG.

ステップS153で覆面による顔隠蔽と判定された場合は、ステップS154にて黒画素割合算出手段432により頭部候補領域における各画素の輝度値が求められ、黒画素の全体に占める割合が算出される。これは、主に処理対象の頭部候補領域が覆面による隠蔽か、人間の後頭部によるものかの識別を行うための処理である。具体的には黒以外の色である場合には覆面顔である可能性が高いため、頭部候補領域における黒画素の占める割合が所定以下の場合(ステップS154−No)は、覆面顔である可能性が高いとしてステップS156へ進み、顔隠蔽フラグをオンにして図3のフローチャートに戻る。一方、頭部候補領域中における黒画素の割合が所定値を超える場合は、黒画素の割合が多いということであるから、黒色の覆面か人間の後頭部かの識別が困難であるため、ステップS155へ進む。 If it is determined in step S153 that the face is masked, the black pixel ratio calculation means 432 obtains the luminance value of each pixel in the head candidate area in step S154, and the ratio of the black pixels to the whole is calculated. . This is a process for identifying mainly whether the candidate head region to be processed is concealed by a masked surface or a human back head. Specifically, since it is highly likely that the face is a masked face when the color is other than black, if the ratio of black pixels in the head candidate region is equal to or less than a predetermined value (step S154-No), it is a masked face. If the possibility is high, the process proceeds to step S156, the face concealment flag is turned on, and the process returns to the flowchart of FIG. On the other hand, if the ratio of black pixels in the head candidate region exceeds a predetermined value, it means that the ratio of black pixels is large, and therefore it is difficult to identify whether it is a black covering surface or a human back of the head. Proceed to

ステップS155では、肌領域抽出手段431により、頭部候補領域中における肌領域が抽出され、その重心位置が頭部候補領域中の中心を含む所定領域内にあるか否かが判定される。そして、肌領域の重心位置が所定領域外の場合は、後頭部による可能性が高いとしてこのルーチンを抜け、図3のフローチャートへ戻る。一方、肌領域の重心位置が所定領域の中にある場合は、これは覆面による顔隠蔽の可能性が高いとして顔隠蔽フラグをオンにして、このルーチンを抜け図3のフローチャートへ戻る。ステップS155の処理について図5を用いて具体的に説明する。 In step S155, the skin region extraction unit 431 extracts a skin region in the head candidate region, and determines whether or not the center of gravity position is within a predetermined region including the center in the head candidate region. If the center of gravity position of the skin region is outside the predetermined region, it is determined that there is a high possibility of the occipital region, and this routine is exited and the process returns to the flowchart of FIG. On the other hand, when the barycentric position of the skin area is within the predetermined area, the face concealment flag is turned on because it is highly possible that the face is concealed by the mask, and this routine is exited and the process returns to the flowchart of FIG. The process of step S155 will be specifically described with reference to FIG.

図5(a)は覆面による顔隠蔽者が入力画像中に撮像された例である。図5(a)において頭部候補領域501が抽出されているとする。この場合において覆面による顔隠蔽者の肌領域は目出し部分である503であり、この重心位置は、顔隠蔽者が正面を向いても、俯いたとしても頭部候補領域501内の中心を含む所定領域502内に存在する。一方、図5(b)は人間の後頭部が入力画像中に撮像された例である。この場合は、人の後頭部の襟首付近が肌領域506として抽出される。この肌領域506は頭部候補領域504において中心から離れた位置に存在する。そのため、肌領域506の重心位置は、所定領域505内には含まれない。従って、頭部候補領域内に存在する肌領域の重心位置により、覆面による顔隠蔽者であるのか、人間の後頭部であるのかが識別可能となる。重心位置の判定に用いる頭部候補領域内の所定領域は、頭部候補領域の中心を含み、頭部候補領域の上下左右の所定割合(例えば10%)を除く矩形領域として設定することができる。あるいは頭部候補領域に対する面積比を設定し、頭部候補領域と中心が一致する領域として設定してもよい。また、矩形領域に限定されず楕円形の領域として設定してもよい。この場合は、長径、短径の長さを頭部候補領域のサイズに応じて設定したり、面積比で設定するようにしてもよい。 FIG. 5A is an example in which a face concealer with a mask is captured in an input image. Assume that the head candidate region 501 is extracted in FIG. In this case, the skin area of the face concealer by the masking surface is 503 that is an eye-opening portion, and the center of gravity includes the center in the head candidate area 501 even if the face concealer faces the front or crawls. It exists in the predetermined area 502. On the other hand, FIG. 5B is an example in which the human occipital region is captured in the input image. In this case, the vicinity of the neck at the back of the person is extracted as the skin region 506. This skin region 506 exists at a position away from the center in the head candidate region 504. Therefore, the center of gravity position of the skin region 506 is not included in the predetermined region 505. Therefore, it is possible to identify whether the face is a face concealer or a human back of the head by the position of the center of gravity of the skin area existing in the head candidate area. The predetermined area in the head candidate area used for determination of the center of gravity position can be set as a rectangular area that includes the center of the head candidate area and excludes a predetermined ratio (for example, 10%) of the top, bottom, left, and right of the head candidate area. . Or you may set the area ratio with respect to a head candidate area | region, and set as an area | region where a center corresponds with a head candidate area | region. Moreover, it is not limited to a rectangular area, and may be set as an elliptical area. In this case, the lengths of the major axis and the minor axis may be set according to the size of the head candidate region, or may be set by an area ratio.

尚、抽出された頭部候補領域内において肌領域は必ずしも抽出されるとは限らない。特に覆面を被った不審者が俯く場合は、肌領域が抽出されない場合もある。従って、図4のステップS155の処理において頭部候補領域内の中心を含む所定領域内で肌領域(重心)が抽出された場合に顔隠蔽していると判定せず、頭部候補領域の中心を含む所定領域より外側の領域に肌領域(重心)が抽出された場合に顔隠蔽していないと判定するようにしてもよい。後者の場合は、抽出された肌領域は人間の後頭部の襟首や耳等の肌部分である可能性がある。この場合は、顔隠蔽者ではないとして判定することができる。 Note that the skin region is not necessarily extracted in the extracted head candidate region. In particular, when a suspicious person who covers the covering surface crawls, the skin region may not be extracted. Therefore, when the skin region (centroid) is extracted in the predetermined region including the center in the head candidate region in the process of step S155 in FIG. 4, it is not determined that the face is concealed, and the center of the head candidate region It may be determined that the face is not concealed when the skin region (center of gravity) is extracted in a region outside the predetermined region including. In the latter case, the extracted skin region may be a skin portion such as a neck or ear on the human back of the head. In this case, it can be determined that the person is not a face concealer.

以上、本発明の画像監視装置について説明を行った。尚、本画像監視装置における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。本実施の形態では、覆面による顔隠蔽時について例外処理を行っているが、他の顔隠蔽条件についても各々の特徴に応じた処理を追加することは可能である。 The image monitoring apparatus of the present invention has been described above. Each process in the image monitoring apparatus does not necessarily have to be processed in time series in the order described in the flowchart, and may include parallel or subroutine processing. In the present embodiment, exception processing is performed at the time of face concealment by a mask, but processing according to each feature can be added to other face concealment conditions.

1・・・画像監視装置
2・・・撮像部
3・・・記憶部
4・・・画像信号処理部
5・・・出力部
6・・・重要監視物
DESCRIPTION OF SYMBOLS 1 ... Image monitoring apparatus 2 ... Imaging part 3 ... Memory | storage part 4 ... Image signal processing part 5 ... Output part 6 ... Important monitoring thing

Claims (4)

監視領域を撮像した画像を取得する撮像部と、
前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、
前記警報信号を出力する出力部とを備えた画像監視装置であって、
前記画像信号処理部は、
前記入力画像より人体の頭部候補領域を抽出する頭部候補領域抽出手段と、
前記抽出された頭部候補領域の輝度情報に基づいて顔隠蔽種別として少なくとも覆面により顔隠蔽しているか否かを判定する顔隠蔽判定手段と、
前記顔隠蔽判定結果に基づいて不審者の検出を判定する不審者判定手段とを有し、
前記顔隠蔽判定手段は、
前記頭部候補領域内の肌領域を抽出する肌領域抽出手段をさらに含み、
前記顔隠蔽判定手段により、覆面により顔隠蔽していると判定された場合、前記肌領域抽出手段により抽出された肌領域の位置に基づいて顔隠蔽の有無を判定する画像監視装置。
An imaging unit for acquiring an image obtained by imaging the monitoring area;
An image signal processing unit that processes an input image sequentially acquired by the imaging unit and generates an alarm signal when it is determined that a suspicious person is detected;
An image monitoring apparatus comprising an output unit that outputs the alarm signal,
The image signal processor is
Head candidate region extraction means for extracting a human head candidate region from the input image;
Face concealment determining means for determining whether or not the face concealment type is at least concealed as a face concealment type based on the luminance information of the extracted head candidate area;
Suspicious person determination means for determining detection of a suspicious person based on the face concealment determination result,
The face concealment determining means includes
A skin region extracting means for extracting a skin region in the head candidate region;
An image monitoring apparatus that determines whether or not there is face concealment based on the position of the skin region extracted by the skin region extracting unit when the face concealment determining unit determines that the face is concealed by a covering surface .
前記顔隠蔽判定手段は、
前記肌領域が前記頭部候補領域の中心を含む所定領域内に存在する場合に、顔を隠蔽したと判定することを特徴とする請求項1に記載の画像監視装置。
The face concealment determining means includes
The image monitoring apparatus according to claim 1, wherein when the skin area exists in a predetermined area including a center of the head candidate area, it is determined that the face is concealed.
前記顔隠蔽判定手段は、
前記肌領域が前記頭部候補領域の中心を含む所定領域より外側の領域に存在する場合に、顔を隠蔽したと判定しないことを特徴とする請求項1に記載の画像監視装置。
The face concealment determining means includes
The image monitoring apparatus according to claim 1, wherein when the skin area exists in an area outside a predetermined area including a center of the head candidate area, it is not determined that the face is concealed.
前記顔隠蔽判定手段は、
さらに黒画素割合算出手段を有し、
前記頭部候補領域内に占める黒画素の占める割合が所定未満の場合には、前記肌領域の位置に関わらず顔を隠蔽したと判定することを特徴とする請求項2又は3に記載の画像監視装置。
The face concealment determining means includes
Furthermore, it has a black pixel ratio calculation means,
The image according to claim 2 or 3, wherein when the proportion of black pixels in the head candidate region is less than a predetermined value, it is determined that the face is concealed regardless of the position of the skin region. Monitoring device.
JP2011076332A 2011-03-30 2011-03-30 Image monitoring device Active JP5752976B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011076332A JP5752976B2 (en) 2011-03-30 2011-03-30 Image monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011076332A JP5752976B2 (en) 2011-03-30 2011-03-30 Image monitoring device

Publications (2)

Publication Number Publication Date
JP2012212216A JP2012212216A (en) 2012-11-01
JP5752976B2 true JP5752976B2 (en) 2015-07-22

Family

ID=47266133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011076332A Active JP5752976B2 (en) 2011-03-30 2011-03-30 Image monitoring device

Country Status (1)

Country Link
JP (1) JP5752976B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235607B2 (en) 2016-05-30 2019-03-19 Kabushiki Kaisha Toshiba Control device, control method, and computer program product

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017037754A1 (en) 2015-08-28 2017-03-09 Nec Corporation Analysis apparatus, analysis method, and storage medium
JP6558387B2 (en) * 2017-03-14 2019-08-14 オムロン株式会社 Image analysis apparatus, image analysis method, and image analysis program
CN111896145A (en) * 2020-07-07 2020-11-06 胡飞青 Temperature measurement control system applying hair body identification
CN113743195B (en) * 2021-07-23 2024-05-17 北京眼神智能科技有限公司 Face shielding quantitative analysis method and device, electronic equipment and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2648054B2 (en) * 1991-07-26 1997-08-27 シャープ株式会社 Alarm device
JP4448304B2 (en) * 2003-09-11 2010-04-07 セコム株式会社 Face detection device
JP2010079750A (en) * 2008-09-26 2010-04-08 Secom Co Ltd Monitoring device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235607B2 (en) 2016-05-30 2019-03-19 Kabushiki Kaisha Toshiba Control device, control method, and computer program product

Also Published As

Publication number Publication date
JP2012212216A (en) 2012-11-01

Similar Documents

Publication Publication Date Title
KR101390591B1 (en) Facial image search system and facial image search method
JP6013241B2 (en) Person recognition apparatus and method
US20180115749A1 (en) Surveillance system and surveillance method
JP5740210B2 (en) Face image search system and face image search method
US20150086076A1 (en) Face Recognition Performance Using Additional Image Features
CN110648352B (en) Abnormal event detection method and device and electronic equipment
JP5726596B2 (en) Image monitoring device
JP5106356B2 (en) Image monitoring device
JP5645646B2 (en) Grasping object recognition device, grabbing object recognition method, and grabbing object recognition program
CN101556717A (en) ATM intelligent security system and monitoring method
TW201137767A (en) Image processing apparatus and image processing method
JP5752976B2 (en) Image monitoring device
CN104063709B (en) Sight line detector and method, image capture apparatus and its control method
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
JP4862518B2 (en) Face registration device, face authentication device, and face registration method
JP5752977B2 (en) Image monitoring device
JP5726595B2 (en) Image monitoring device
KR20180001356A (en) Intelligent video surveillance system
JP5752975B2 (en) Image monitoring device
JP5851108B2 (en) Image monitoring device
JP5758165B2 (en) Article detection device and stationary person detection device
KR101288248B1 (en) Human tracking system and method for privacy masking
JP5649862B2 (en) Image monitoring device
CN115396591A (en) Intelligent double-light camera image processing method and device, camera and medium
JP5586383B2 (en) Image monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150521

R150 Certificate of patent or registration of utility model

Ref document number: 5752976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250