JP5127531B2 - Image monitoring device - Google Patents

Image monitoring device Download PDF

Info

Publication number
JP5127531B2
JP5127531B2 JP2008084350A JP2008084350A JP5127531B2 JP 5127531 B2 JP5127531 B2 JP 5127531B2 JP 2008084350 A JP2008084350 A JP 2008084350A JP 2008084350 A JP2008084350 A JP 2008084350A JP 5127531 B2 JP5127531 B2 JP 5127531B2
Authority
JP
Japan
Prior art keywords
person
monitoring
image
suspicious
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008084350A
Other languages
Japanese (ja)
Other versions
JP2009237993A (en
Inventor
直幸 高田
Original Assignee
セコム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セコム株式会社 filed Critical セコム株式会社
Priority to JP2008084350A priority Critical patent/JP5127531B2/en
Publication of JP2009237993A publication Critical patent/JP2009237993A/en
Application granted granted Critical
Publication of JP5127531B2 publication Critical patent/JP5127531B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像監視装置に関し、特に、来店者や通行人の顔を撮影した画像に基づいて不審人物を検知する画像監視装置に関する。   The present invention relates to an image monitoring apparatus, and more particularly, to an image monitoring apparatus that detects a suspicious person based on an image obtained by photographing a face of a store visitor or a passerby.

近年、監視領域を撮影した監視画像に基づいて不審人物を検知する監視装置が開発されており、監視画像から人物に相当する領域を抽出し、抽出領域内の画像情報を調べて、当該領域に写っている人物が不審人物か否かを判定する技術の提案がある。例えば、その抽出領域から顔の向きを調べた結果に基づいて、不審人物と判定する不審者判定装置が提案されている(特許文献1を参照)。係る不審者判定装置は、不審人物は出入口または窓がある方向などの特定方向を注視する傾向があることに着目し、撮影画像に写った人物の顔の向きを特定して、予め設定された方向を向いている時間などが長い場合にその人物を不審人物と判定する。   In recent years, a monitoring device that detects a suspicious person based on a monitoring image obtained by capturing a monitoring area has been developed. An area corresponding to a person is extracted from the monitoring image, image information in the extraction area is examined, and the area is extracted. There is a proposal of a technique for determining whether or not a photographed person is a suspicious person. For example, a suspicious person determination device that determines a suspicious person based on the result of examining the orientation of the face from the extracted region has been proposed (see Patent Document 1). The suspicious person determination device focuses on the fact that a suspicious person tends to gaze at a specific direction such as a doorway or a window, and is set in advance by specifying the direction of the person's face in the photographed image. The person is determined to be a suspicious person when the time of facing the direction is long.

特開2006−109014号公報JP 2006-109014 A

特許文献1に記載された不審者判定装置では、不審人物が注視するであろう出入口や窓などの方向が監視領域ごとに異なる。そのため、監視領域を撮影する監視カメラを設置する度に、出入口や窓と監視カメラとの位置関係を調べて、監視カメラにより取得された画像上でその出入口などの方向を設定するという煩雑な作業が必要となる。   In the suspicious person determination device described in Patent Document 1, the direction of an entrance / exit, a window, or the like that a suspicious person will gaze at is different for each monitoring area. Therefore, every time a surveillance camera that captures the surveillance area is installed, the positional relationship between the entrance and exit windows and the surveillance camera is examined, and the direction of the entrance and exit is set on the image acquired by the surveillance camera. Is required.

そこで、本発明の目的は、そのような煩雑な作業を要することなく、監視領域を撮影した画像から、不審人物を検知可能な画像監視装置を提供することにある。   Accordingly, an object of the present invention is to provide an image monitoring apparatus capable of detecting a suspicious person from an image obtained by photographing a monitoring area without requiring such complicated work.

かかる課題を解決するための本発明は、監視領域の人物を撮影した監視画像から不審人物を検出する画像監視装置を提供する。係る画像監視装置は、監視画像を順次取得する撮像部と、監視画像から人物領域を検出する人物領域検出手段と、予め正面を向いた顔の特徴点配置を記憶する配置情報記憶手段と、人物領域から顔の特徴点を抽出し、配置情報記憶手段に記憶された正面を向いた顔の特徴点配置と比較して、正面向きの顔に対する特徴点位置のずれ量を検出する顔向き検出手段と、特徴点位置のずれ量が顔を背けた状態に対応する所定量以上であれば人物領域について不審行動と判定する不審行動判定手段と、順次取得される複数の監視画像において対応する人物領域を追跡する追跡手段と、追跡手段が追跡した人物領域が不審行動と判定された回数に基づき不審人物と判定する不審人物判定手段とを有する。
不審人物に特有の心理傾向として、監視カメラ等の撮像手段を避け、顔を記録されないようにする傾向が見られる。そこで本発明では、この不審人物特有の心理傾向を利用して、監視領域において、監視カメラ等の撮像手段から意識的に、または無意識のうちに顔を背けている人物を不審人物として検出する。これにより、監視領域ごとに予め特定の注視対象を設定するといった煩雑な作業を要することなく、監視領域の撮像画像から不審人物を検出することが可能となる。
The present invention for solving this problem provides an image monitoring apparatus for detecting a suspicious person from a monitoring image obtained by photographing a person in a monitoring area. The image monitoring apparatus includes an imaging unit that sequentially acquires monitoring images, a person area detecting unit that detects a person area from the monitoring image, an arrangement information storage unit that stores a feature point arrangement of a face facing the front in advance, and a person Face orientation detection means for extracting facial feature points from a region and detecting the amount of feature point position deviation with respect to a face facing forward as compared with the face feature point arrangement stored in the arrangement information storage means And a suspicious behavior determination means for determining a suspicious behavior for a person region if the amount of deviation of the feature point position is equal to or greater than a predetermined amount corresponding to the state of turning away from the face, and a corresponding human region in a plurality of sequentially acquired monitoring images And a suspicious person determination means for determining a suspicious person based on the number of times the person area tracked by the tracking means is determined to be suspicious behavior.
As a psychological tendency peculiar to the suspicious person, there is a tendency to avoid image recording means such as a surveillance camera so that the face is not recorded. Therefore, in the present invention, by using the psychological tendency peculiar to the suspicious person, a person who is consciously or unconsciously turning away from the imaging means such as a monitoring camera is detected as a suspicious person in the monitoring area. Thereby, it becomes possible to detect a suspicious person from the captured image of the monitoring area without requiring a complicated operation of setting a specific gaze target in advance for each monitoring area.

また本発明に係る画像監視装置において、顔向き検出手段は、さらに監視画像上での顔の向きを検出し、追跡手段は、複数の監視画像のそれぞれについて検出した人物領域から、監視画像上での人物領域に対応する人物の進行方向を検出し、不審行動判定手段は、複数の監視画像のうちの何れかの監視画像の人物領域において、顔の向きが進行方向と略一致する場合、その人物領域について不審行動と判定しないことが好ましい。   Further, in the image monitoring apparatus according to the present invention, the face orientation detecting unit further detects the orientation of the face on the monitoring image, and the tracking unit detects on the monitoring image from the person area detected for each of the plurality of monitoring images. The suspicious behavior determination means detects the person's direction of travel corresponding to the person area, and the face direction of the person area of any one of the monitoring images substantially matches the direction of travel. It is preferable not to determine that the person area is suspicious.

また本発明に係る画像監視装置において、顔向き検出手段は、さらに監視画像上での顔の向きを検出し、不審行動判定手段は、複数の監視画像のうちの何れかの監視画像の人物領域において、人物の顔の向きの延長上に、他の人物領域がある場合、その人物領域について不審行動と判定しないことが好ましい。   Further, in the image monitoring apparatus according to the present invention, the face direction detecting means further detects the face direction on the monitoring image, and the suspicious behavior determining means is the person area of any one of the plurality of monitoring images. In this case, if there is another person area on the extension of the face direction of the person, it is preferable that the person area is not determined to be suspicious.

さらに本発明に係る画像監視装置において、配置情報記憶手段は、正面を向いた顔の特徴点配置として人の顔の3次元形状モデルを予め記憶し、顔向き検出手段は、人物領域から抽出された顔の特徴点の位置と3次元形状モデルにおける対応する特徴点の位置とが最も一致するときの3次元形状モデルの顔の向きを、正面向きの顔に対する特徴点位置のずれ量として検出することが好ましい。   Further, in the image monitoring apparatus according to the present invention, the arrangement information storage means stores in advance a three-dimensional shape model of a human face as the feature point arrangement of the face facing forward, and the face orientation detection means is extracted from the person area. The direction of the face of the three-dimensional shape model when the position of the feature point of the detected face and the position of the corresponding feature point in the three-dimensional shape model most closely match is detected as a deviation amount of the feature point position with respect to the face facing forward. It is preferable.

本発明に係る画像監視装置は、監視カメラの設置時に煩雑な作業を必要とすることなく、監視領域を撮影した画像から、不審人物を検知できるという効果を奏する。   The image monitoring apparatus according to the present invention has an effect that a suspicious person can be detected from an image obtained by photographing a monitoring area without requiring a complicated operation when the monitoring camera is installed.

以下、本発明に係る画像監視装置の実施の形態について図を参照しつつ説明する。
本発明を適用した画像監視装置では、不審人物は監視カメラを発見すると、証跡性の高い顔を撮影されることを忌避するために、監視カメラから顔を背けようとする傾向にあることを利用する。そのために、係る画像監視装置は、監視カメラにより監視領域を撮影した監視画像から人物の顔に相当する領域を抽出して顔の向きを判定する。そして画像監視装置は、その顔の向きが監視カメラの方を向いていない状態が継続している場合に、その顔に対応する人物を不審人物と判定するものである。
Hereinafter, embodiments of an image monitoring apparatus according to the present invention will be described with reference to the drawings.
In the image monitoring apparatus to which the present invention is applied, when a suspicious person finds a surveillance camera, it uses a tendency to turn away from the surveillance camera in order to avoid taking a face with a high trail property. To do. For this purpose, the image monitoring apparatus extracts a region corresponding to a person's face from a monitoring image obtained by capturing the monitoring region with a monitoring camera, and determines the face orientation. Then, the image monitoring apparatus determines that the person corresponding to the face is a suspicious person when the state in which the direction of the face does not face the monitoring camera continues.

図1は、本発明を適用した画像監視装置10の概略構成を示す。図1に示すように、画像監視装置10は、撮像部100、画像処理部200及び出力部300を有する。以下、画像監視装置10の各部について詳細に説明する。   FIG. 1 shows a schematic configuration of an image monitoring apparatus 10 to which the present invention is applied. As illustrated in FIG. 1, the image monitoring apparatus 10 includes an imaging unit 100, an image processing unit 200, and an output unit 300. Hereinafter, each part of the image monitoring apparatus 10 will be described in detail.

撮像部100は、所定の監視領域を撮影する監視カメラであり、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子(例えば、CCDセンサ、C−MOSなど)と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。   The imaging unit 100 is a monitoring camera that captures a predetermined monitoring area, and is, for example, a photoelectric conversion element (for example, a CCD sensor, a C-MOS, or the like) that is arranged two-dimensionally and outputs an electrical signal corresponding to the amount of received light. And an imaging optical system for forming an image of the monitoring region on the photoelectric conversion element.

撮像部100は、監視領域内を通行または滞留する人物の顔を撮影できるように、この監視領域の動線に沿った位置に、その動線方向を撮影するよう設置される。
例えば、画像監視装置10がコンビニエンスストアまたはスーパーマーケット等の店舗の来訪者を監視する場合、撮像部100は、出入口を撮影範囲に含むよう、出入口正面の壁の上方または天井に、撮影方向をその出入口側へ向けた状態で取り付けられる。また、画像監視装置10がオフィスビルの屋内の通行人を監視する場合、撮像部100は、例えば廊下の天井あるいは壁の上方に、撮影方向をやや下方へ向けた状態で取り付けられる。
The imaging unit 100 is installed so as to capture the direction of the flow line at a position along the flow line of the monitoring area so that the face of a person passing through or staying in the monitoring area can be captured.
For example, when the image monitoring apparatus 10 monitors a visitor of a store such as a convenience store or a supermarket, the imaging unit 100 sets the shooting direction to the upper or ceiling of the wall in front of the entrance so that the entrance is included in the shooting range. It is attached with the side facing. When the image monitoring apparatus 10 monitors a passerby indoors in an office building, the imaging unit 100 is attached, for example, above the ceiling or wall of the hallway with the shooting direction slightly downward.

撮像部100は、監視領域を撮影した監視画像を、所定の時間間隔(例えば、100msec)ごとに1フレーム取得する。撮像部100は、画像処理部200と接続され、取得した監視画像を画像処理部200へ渡す。   The imaging unit 100 acquires one frame of a monitoring image obtained by capturing a monitoring area at a predetermined time interval (for example, 100 msec). The imaging unit 100 is connected to the image processing unit 200 and passes the acquired monitoring image to the image processing unit 200.

画像処理部200は、例えば、いわゆるコンピュータにより構成される。そして画像処理部200は、撮像部100から受け取った監視画像に基づいて、不審人物を検知する。そのために、画像処理部200は、不審人物検知部210と記憶部220とを有する。さらに、不審人物検知部210は、人物領域検出手段211、顔向き検出手段212、追跡手段213、不審行動判定手段214及び不審人物判定手段215を有する。
このうち、不審人物検知部210の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、不審人物検知部210の各手段について詳細に説明する。
The image processing unit 200 is configured by a so-called computer, for example. Then, the image processing unit 200 detects a suspicious person based on the monitoring image received from the imaging unit 100. For this purpose, the image processing unit 200 includes a suspicious person detection unit 210 and a storage unit 220. Furthermore, the suspicious person detection unit 210 includes a person area detection unit 211, a face direction detection unit 212, a tracking unit 213, a suspicious behavior determination unit 214, and a suspicious person determination unit 215.
Among these, each means of the suspicious person detection unit 210 is a functional module implemented by a microprocessor, a memory, a peripheral circuit thereof, and software operating on the microprocessor. Alternatively, these means may be integrated by firmware. Moreover, you may comprise some or all of these means with an independent electronic circuit, firmware, a microprocessor, etc. Hereinafter, each unit of the suspicious person detection unit 210 will be described in detail.

人物領域検出手段211は、撮像部100から受け取った各監視画像から、人物が写っている領域である人物領域を抽出する。そのために、人物領域検出手段211は、例えば、監視画像上の部分領域から1以上の特徴量を算出し、その特徴量が、人物に対応すると考えられる所定の条件を満たす場合に、その部分領域を人物領域として抽出する。具体的には、人物領域検出手段211は、例えば、Sobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして特徴量は、例えば、その部分領域内における得られたエッジ画素の方向分布、またはそのエッジ近傍の画素の輝度分布などとすることができる。また予め、人物を撮影した複数の画像から、人物に対応するエッジ画素の方向分布やエッジ近傍の輝度分布などの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
あるいは、人物領域検出手段211は、予め定めたテンプレートを用いて監視画像とのテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、人物領域として抽出するようにしてもよい。また、人物領域検出手段211は、監視画像と、監視領域内に人物等の移動物体が存在しない状態で撮影された基準画像との差分を行い、その差分値が所定値以上となる画素が連結した差分領域を抽出する。そして人物領域検出手段211は、差分領域が人物に相当すると考えれるサイズ及び形状を有している場合、その差分領域を人物領域として抽出してもよい。人物領域の抽出処理としては、既に種々の方法が知られるところであり、ここでの説明は省略する。
The person area detection unit 211 extracts a person area, which is an area in which a person is shown, from each monitoring image received from the imaging unit 100. For this purpose, the person area detection unit 211 calculates, for example, one or more feature amounts from a partial area on the monitoring image, and the partial area when the feature amount satisfies a predetermined condition that is considered to correspond to a person. Are extracted as a person area. Specifically, the person area detection unit 211 performs edge pixel extraction using a Sobel filter or the like so that the inclination direction of the luminance change can be known. The feature amount can be, for example, the direction distribution of the edge pixels obtained in the partial region, or the luminance distribution of pixels near the edge. In addition, the predetermined condition described above is satisfied by determining the range of the feature value such as the direction distribution of the edge pixel corresponding to the person and the luminance distribution near the edge from a plurality of images obtained by photographing the person. It can be determined in advance.
Alternatively, the person area detection unit 211 performs template matching with a monitoring image using a predetermined template, and extracts an area where the degree of matching obtained as a result of the template matching is equal to or greater than a predetermined value as a person area. You may make it do. In addition, the person area detection unit 211 performs a difference between the monitoring image and a reference image captured in a state where there is no moving object such as a person in the monitoring area, and connects pixels whose difference value is equal to or greater than a predetermined value. Extracted difference area. Then, when the difference area has a size and shape considered to correspond to a person, the person area detection unit 211 may extract the difference area as a person area. Various methods are already known as the person region extraction processing, and the description thereof is omitted here.

人物領域検出手段211は、人物領域を抽出すると、監視画像からその領域を切り出した人物画像を作成する。また、人物領域検出手段211は、元監視画像上での人物領域の重心位置及び大きさを示す人物領域情報を作成する。そして人物領域検出手段211は、人物画像及び関連する人物領域情報に、他の人物領域との識別に用いるための人物識別子を割り当て、それらを一つの人物情報とする。人物領域検出手段211は、得られた人物情報を、不審人物検知部210の他の手段で利用できるように記憶部220に記憶する。なお、人物領域検出手段211は、一つの監視画像中に複数の人物領域が存在する場合、全ての人物領域を抽出し、それぞれについて人物情報を作成し、記憶部220に記憶する。その際、人物識別子は、人物情報ごとに異なる値が設定される。   When the person area detecting unit 211 extracts the person area, the person area detecting unit 211 creates a person image by cutting out the area from the monitoring image. In addition, the person area detecting unit 211 creates person area information indicating the position and size of the center of gravity of the person area on the original monitoring image. The person area detection unit 211 assigns a person identifier to be used for identification from other person areas to the person image and related person area information, and sets them as one person information. The person area detection unit 211 stores the obtained person information in the storage unit 220 so that it can be used by other units of the suspicious person detection unit 210. In addition, when there are a plurality of person areas in one monitoring image, the person area detection unit 211 extracts all the person areas, creates person information for each, and stores the person information in the storage unit 220. At this time, the person identifier is set to a different value for each person information.

顔向き検出手段212は、人物画像に写っている人物の正面向きを基準とした顔向きを検出する。
図2に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系(X,Y,Z)では、原点Oは顔向きの推定対象となる人物2の頭部の略中心に設定される。またZ軸を、その人物2の頭部と撮像部100とを結ぶ直線とする。そしてX軸は、原点Oを通り、Z軸と直交する垂直方向の直線に設定される。同様にY軸は、原点Oを通り、Z軸と直交する水平方向の直線に設定される。
この座標系において、人物2の顔向きは、人物2が撮像部100を直視した状態(すなわち、人物2が顔の正面を撮像部100に対向させている状態)を正対状態とした場合のヨー角ψとピッチ角θの組(ψ,θ)で表される。ヨー角ψは、正対状態における人物2の顔向きに対する、左右方向の回転角(すなわち、Z軸を基準とした、YZ平面内での回転角)を表す。またピッチ角θは、正対状態における人物2の顔向きに対する、上下方向の回転角(すなわち、Z軸を基準とした、XZ平面内での回転角)を表す。以下では、ヨー角ψ、ピッチ角θを、ラジアン単位で表し、それぞれ、右向き方向または下向き方向を正とする。
The face orientation detection means 212 detects the face orientation based on the front orientation of the person shown in the person image.
FIG. 2 shows an orthonormal coordinate system for defining the face orientation of a person. In this orthonormal coordinate system (X, Y, Z), the origin O is set to the approximate center of the head of the person 2 whose face orientation is to be estimated. The Z axis is a straight line connecting the head of the person 2 and the imaging unit 100. The X axis passes through the origin O and is set to a vertical straight line orthogonal to the Z axis. Similarly, the Y axis passes through the origin O and is set to a horizontal straight line orthogonal to the Z axis.
In this coordinate system, the face direction of the person 2 is a state in which the person 2 is directly facing the imaging unit 100 (that is, the person 2 is facing the front of the face to the imaging unit 100). It is represented by a set (ψ, θ) of a yaw angle ψ and a pitch angle θ. The yaw angle ψ represents the rotation angle in the left-right direction with respect to the face direction of the person 2 in the directly-facing state (that is, the rotation angle in the YZ plane with respect to the Z axis). The pitch angle θ represents a vertical rotation angle (that is, a rotation angle in the XZ plane with respect to the Z axis) with respect to the face direction of the person 2 in the face-to-face state. In the following, the yaw angle ψ and the pitch angle θ are expressed in radians, and the rightward direction or the downward direction is positive, respectively.

顔向き検出手段212は、記憶部220から人物情報を読み出し、その人物情報に含まれる人物画像から、頭部に相当する領域を抽出する。顔向き検出手段212は、例えば、人物画像からエッジを抽出したエッジ画像を作成する。そして顔向き検出手段212は、そのエッジ画像から、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、頭部領域として抽出することができる。この場合において、顔向き検出手段212は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは、顔向き検出手段212は、人物画像あるいは人物画像のエッジ画像に対して、予め準備した頭部のテンプレートを用いてテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、頭部領域として抽出することができる。さらにまた、顔向き検出手段212は、人物領域検出手段211により抽出された人物領域の頭部に相当すると考えられる領域を頭部領域としてもよい(例えば、人物領域の上端部から、平均的な頭部のサイズ及び形状に相当する領域を切り出して、頭部領域とする)。   The face orientation detection unit 212 reads out person information from the storage unit 220 and extracts a region corresponding to the head from a person image included in the person information. The face orientation detection unit 212 creates an edge image obtained by extracting an edge from a person image, for example. Then, the face direction detection unit 212 can detect an elliptical edge distribution that approximates the contour shape of the head from the edge image, and extract a region surrounded by the edge distribution as a head region. In this case, the face direction detection unit 212 can detect an elliptical edge distribution using, for example, a generalized Hough transform. Alternatively, the face orientation detection unit 212 performs template matching on a person image or an edge image of the person image using a head template prepared in advance, and the degree of matching obtained as a result of the template matching is a predetermined value. The above region can be extracted as a head region. Furthermore, the face direction detection unit 212 may set a region considered to correspond to the head of the person area extracted by the person region detection unit 211 as a head region (for example, an average value from the upper end of the person region). A region corresponding to the size and shape of the head is cut out to be a head region).

頭部領域が抽出されると、顔向き検出手段212は、その頭部領域から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段212は、抽出した顔特徴点の種別と頭部領域上の位置情報(例えば、頭部領域の左上端部を原点とする2次元座標値)を、算出する。例えば、顔向き検出手段212は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段212は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段212は、頭部領域に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。なお、上記の人物画像のエッジ画像から、頭部領域内のそのようなエッジ画素を抽出してもよい。そして顔向き検出手段212は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出手段212は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段212は、顔の各部位に相当するテンプレートと頭部領域とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。   When the head region is extracted, the face direction detection unit 212 extracts face feature points that are characteristic portions of the face from the head region. Then, the face orientation detection unit 212 calculates the type of the extracted face feature point and position information on the head region (for example, a two-dimensional coordinate value having the origin at the upper left corner of the head region). For example, the face orientation detection unit 212 extracts facial feature points such as both eye corners, both eye region centers, nose tips, mouth points, and mouth corner points. The face direction detecting means 212 can use various known methods for extracting face feature points. For example, the face direction detection unit 212 performs edge extraction processing on the head region and extracts edge pixels having a large luminance difference from surrounding pixels. Note that such edge pixels in the head region may be extracted from the edge image of the person image. Then, the face orientation detection unit 212 checks whether or not the feature amount obtained based on the position and pattern of the edge pixel satisfies a predetermined condition for a characteristic part of the face such as eyes, nose, and mouth. By specifying the position of each part, each facial feature point can be extracted. In addition, instead of performing edge extraction processing to extract edge pixels, the face direction detection means 212 performs Gabor conversion processing or wavelet conversion processing to extract pixels having large local changes in different spatial frequency bands. May be. Further, the face direction detection unit 212 may extract face feature points by performing template matching between a template corresponding to each part of the face and a head region to specify the position of each part of the face.

顔特徴点が抽出されると、顔向き検出手段212は、各顔特徴点の2次元的な分布を調べて、顔向きを検出する。つまり、本実施形態において、顔向きとは、正面を向いた(正対状態)顔からの特徴点のずれ量ということができる。
図3を参照しつつ、顔の向きと顔特徴点の関係について説明する。図3(a)は、対象人物が撮像部100の方を向いている場合(すなわち、正対状態である場合)の対象人物の顔画像310を示す。一方、図3(b)は、対象人物が撮像部100に対して顔を背けている場合の対象人物の顔画像330を示す。図3(a)に示すように、対象人物が撮像部100に対して顔の正面を向けている場合、鼻の頂点である鼻尖点311は、顔の正中線320上に存在する。また、左右の目尻312、313、左右の口角点314、315なども観察することができる。
一方、図3(b)に示すように、対象人物が撮像部100に対して顔を背けている場合、鼻尖点331は、眼や口に対して突出しているので、ヨー角ψが大きくなるほど、正中線340から離れていく。さらに、左右の目尻332、333、左右の口角点334、335については、対象人物が顔を回転させていくと、そのうち隠れて見えなくなる。例えば図3(b)に示すよりも、対象人物がもう少し顔を右側へ回転させると、右の目尻333あるいは右の口角点335は顔画像330上に写らず、それらの顔特徴点を検出不可能となる。このように、顔の正中線に対する鼻尖点の位置や、検出できない顔特徴点の種別から、撮像部100に対する対象人物の顔の向きを調べることができる。
When the face feature points are extracted, the face direction detection unit 212 checks the two-dimensional distribution of each face feature point and detects the face direction. That is, in the present embodiment, the face direction can be said to be the amount of deviation of the feature points from the face facing front (facing state).
The relationship between the face orientation and the face feature points will be described with reference to FIG. FIG. 3A shows a face image 310 of the target person when the target person is facing the imaging unit 100 (that is, when the target person is in a directly-facing state). On the other hand, FIG. 3B shows a face image 330 of the target person when the target person is facing away from the imaging unit 100. As illustrated in FIG. 3A, when the target person faces the front of the face with respect to the imaging unit 100, the nose tip 311 that is the apex of the nose exists on the midline 320 of the face. In addition, left and right eye corners 312 and 313, left and right mouth corner points 314 and 315, and the like can be observed.
On the other hand, as shown in FIG. 3B, when the target person faces away from the imaging unit 100, the nose tip 331 protrudes from the eyes and mouth, so that the yaw angle ψ increases. , Away from the midline 340. Further, the left and right eye corners 332 and 333 and the left and right mouth corner points 334 and 335 are hidden and become invisible as the target person rotates the face. For example, when the target person rotates his face a little more to the right than shown in FIG. 3B, the right eye corner 333 or the right mouth corner point 335 is not reflected on the face image 330, and the face feature points cannot be detected. It becomes possible. As described above, the orientation of the face of the target person with respect to the imaging unit 100 can be examined from the position of the nose tip with respect to the midline of the face and the type of face feature points that cannot be detected.

そこで、顔向き検出手段212は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き検出手段212は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。また顔向き検出手段212は、顔の特徴点配置の情報として正中線の方向及び正中線から鼻尖点までの距離と、少なくとも正面向きの顔を含む顔の向きとの関係を予め調べ、その関係を表すルックアップテーブルを予め記憶部220に記憶しておく。記憶部220は、顔の特徴点配置の情報を記憶することで配置情報記憶手段として機能する。そして顔向き検出手段212は、ルックアップテーブルを参照して、求めた正中線の方向及び正中線から鼻尖点までの距離に対応する顔の向きを求める。   Therefore, the face direction detection unit 212 obtains, for example, a straight line connecting the midpoint and the mouth point of both eyes as the midline of the face. Then, the face direction detection unit 212 determines whether the nose tip that is the apex of the nose is on the left or right side of the midline and the distance from the midline. Further, the face orientation detection means 212 preliminarily checks the relationship between the direction of the median line and the distance from the median line to the nose apex as the information on the facial feature point arrangement, and the orientation of the face including at least the front face. Is stored in the storage unit 220 in advance. The storage unit 220 functions as an arrangement information storage unit by storing facial feature point arrangement information. Then, the face direction detection unit 212 refers to the look-up table and determines the direction of the calculated midline and the face direction corresponding to the distance from the midline to the nose tip.

また顔向き検出手段212は、抽出された顔特徴点と、人物の顔の3次元形状を表す3次元形状モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出してもよい。この場合、人の頭部を模した標準的な3次元形状モデル(例えば、ワイヤーフレームモデルあるいはサーフェイスモデル)を予め準備し、記憶部220に記憶しておく。またその3次元形状モデルの顔特徴点の配置の情報として両目尻、鼻尖点、口点といった3D顔特徴点の位置も記憶部220に記憶しておく。
顔向き検出手段212は、人物画像の頭部領域から顔特徴点が抽出されると、3次元形状モデルについて、所定の回転量、並進量または拡大/縮小率にしたがってその顔向きを調整し、撮像部100の結像光学系の像面と平行な面に仮想的に投影して、その面上における3D顔特徴点の位置を求める。そして顔向き検出手段212は、人物画像の頭部領域から抽出された各顔特徴点と、投影された3D顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段212は、回転量、並進量または拡大/縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの3次元形状モデルの顔の向きを求める。そして顔向き検出手段212は、その3次元形状モデルの顔の向きから、上記のヨー角ψとピッチ角θの組(ψ,θ)を求めることができる。この場合においても、顔向きは正面向きを基準として特徴点の位置関係から算出されるのであって、すなわち正面を向いた顔からの特徴点のずれ量といえる。また、記憶部220は、3次元形状モデルと3D顔特徴点を記憶することで、特徴点の配置情報記憶手段として機能する。
なお、顔向き検出手段212は、人物画像の頭部領域から抽出された各顔特徴点を3次元空間内へ投影した後、3次元形状モデル上の3D顔特徴点との位置ずれ量が最小となるよう、3次元形状モデルに回転、拡大/縮小などの処理を行って、その3次元形状モデルの顔の向きを決定してもよい。
The face orientation detection unit 212 may detect the face orientation based on the positional relationship between the extracted face feature points and the corresponding face feature points in the three-dimensional shape model representing the three-dimensional shape of the human face. . In this case, a standard three-dimensional shape model imitating a human head (for example, a wire frame model or a surface model) is prepared in advance and stored in the storage unit 220. Further, the storage unit 220 also stores the positions of 3D face feature points such as both eye corners, nose tips, and mouth points as information on the arrangement of the face feature points of the three-dimensional shape model.
When the face feature point is extracted from the head region of the person image, the face direction detecting unit 212 adjusts the face direction according to a predetermined rotation amount, translation amount, or enlargement / reduction ratio for the three-dimensional shape model, Virtually projecting onto a plane parallel to the image plane of the imaging optical system of the imaging unit 100, the position of the 3D face feature point on that plane is obtained. Then, the face orientation detection unit 212 obtains the total sum of positional deviation amounts between each face feature point extracted from the head region of the person image and the corresponding feature point among the projected 3D face feature points. The face orientation detection unit 212 changes the rotation amount, the translation amount, or the enlargement / reduction ratio, repeats the above procedure, and obtains the face orientation of the three-dimensional shape model when the sum of the positional deviation amounts is minimized. Then, the face direction detecting means 212 can obtain the set (ψ, θ) of the yaw angle ψ and the pitch angle θ from the face direction of the three-dimensional shape model. In this case as well, the face orientation is calculated from the positional relationship of the feature points with reference to the front orientation, that is, it can be said that the amount of deviation of the feature points from the face facing the front. The storage unit 220 functions as a feature point arrangement information storage unit by storing a three-dimensional shape model and a 3D face feature point.
The face direction detection unit 212 projects each face feature point extracted from the head region of the person image into the three-dimensional space, and then the amount of positional deviation from the 3D face feature point on the three-dimensional shape model is minimized. The three-dimensional shape model may be subjected to processing such as rotation and enlargement / reduction to determine the face orientation of the three-dimensional shape model.

また、人物画像の頭部領域から抽出できない顔特徴点がある場合、顔向き検出手段212は、その抽出できなかった顔特徴点の種別に基づいて顔の向きを検出してもよい。例えば、右目尻に相当する顔特徴点が抽出できなかった場合、顔向き検出手段212は、その人物は右方向へ大きく顔を背けていると判断し、ヨー角ψの値を、これ以上顔を背けると顔特徴点が抽出できなくなると考えられる角度、例えばπ/4よりも大きな値に設定する。同様に、左目尻に相当する顔特徴点が抽出できなかった場合、顔向き検出手段212は、その人物は左方向へ大きく顔を背けていると判断し、ヨー角ψの値を、例えば絶対値がπ/4よりも大きい負の値に設定する。   When there are face feature points that cannot be extracted from the head region of the person image, the face direction detection unit 212 may detect the face direction based on the type of the face feature points that could not be extracted. For example, when the face feature point corresponding to the right eye corner cannot be extracted, the face direction detection means 212 determines that the person is greatly turning away from the right direction, and the value of the yaw angle ψ Is set to a value larger than an angle, for example, π / 4, at which it is considered that face feature points cannot be extracted. Similarly, when the face feature point corresponding to the left eye corner cannot be extracted, the face direction detection unit 212 determines that the person is greatly facing away from the left and determines the value of the yaw angle ψ as, for example, an absolute value. The value is set to a negative value larger than π / 4.

さらに、人物画像に写った人物がサングラスやマスクをしているなどの理由により、眼や口が隠されてしまい、顔特徴点を抽出できないことがある。また、その人物が顔を伏せているときも、眼や口が画像上に写らなくなり、顔特徴点を抽出できなくなる。しかし、顔を伏せている場合、頭部領域に占める頭頂部の比率が大きくなる。そこで、頭部領域から顔特徴点が全く抽出できない場合、あるいは、鼻よりも下部の特徴点が抽出できない場合、顔向き検出手段212は、頭部領域内に占める肌色画素の比率を算出する。そして顔向き検出手段212は、その比率が小さくなるほど、ピッチ角θ及びヨー角ψに大きな値を設定する。例えば、その比率が、人物領域に写った人物が顔を伏せていると考えられる場合に相当する値(例えば、20%)となったとき、顔向き検出手段212は、ピッチ角θをπ/4とする。そして頭部領域内に占める肌色画素の比率がその値よりも小さければ、顔向き検出手段212は、ピッチ角θの値をπ/4よりも大きくする。逆にその比率がその値よりも大きければ、顔向き検出手段212は、ピッチ角θの値をπ/4よりも小さくする。なお、ヨー角ψ、ピッチ角θの正負は、頭部領域内の肌色画素全ての重心位置に基づいて決定される。肌色画素は、顔表面領域に相当すると考えられるので、例えば、頭部領域全体の重心位置よりも、肌色画素の重心が下側にあれば、ピッチ角θを正の値とする。また、頭部領域全体の重心位置よりも、肌色画素の重心が右側にあれば、ヨー角ψを正の値とする。
顔向き検出手段212は、顔の向きを表すヨー角ψ、ピッチ角θの値を求めると、それらを顔向き情報として対応する人物情報に関連付けて、記憶部220に記憶する。
Furthermore, because the person in the person image is wearing sunglasses or a mask, the eyes and mouth are hidden and face feature points may not be extracted. Further, even when the person is face down, the eyes and mouth are not shown on the image, and face feature points cannot be extracted. However, when the face is turned down, the ratio of the top of the head to the head region increases. Therefore, when face feature points cannot be extracted from the head region at all, or when feature points below the nose cannot be extracted, the face direction detection means 212 calculates the ratio of skin color pixels in the head region. The face orientation detection unit 212 sets larger values for the pitch angle θ and the yaw angle ψ as the ratio decreases. For example, when the ratio becomes a value (for example, 20%) corresponding to a case where a person in the person area is considered to be face down, the face direction detection unit 212 sets the pitch angle θ to π / 4. If the ratio of the skin color pixels in the head region is smaller than the value, the face direction detection means 212 makes the value of the pitch angle θ larger than π / 4. On the contrary, if the ratio is larger than the value, the face direction detecting means 212 makes the value of the pitch angle θ smaller than π / 4. The signs of the yaw angle ψ and the pitch angle θ are determined based on the barycentric positions of all skin color pixels in the head region. Since the skin color pixel is considered to correspond to the face surface region, for example, if the center of gravity of the skin color pixel is below the center of gravity of the entire head region, the pitch angle θ is set to a positive value. If the center of the flesh color pixel is on the right side of the center of gravity of the entire head region, the yaw angle ψ is set to a positive value.
When the face orientation detection means 212 obtains the values of the yaw angle ψ and the pitch angle θ representing the face orientation, the face orientation detection means 212 associates them with the corresponding person information as face orientation information and stores them in the storage unit 220.

追跡手段213は、各人物情報ごとに、その人物情報に含まれる人物画像に写っている人物の進行方向を検出する。後述するように、撮像部に対して顔を背けていても、この顔の向きが進行方向を向いていれば、その人物の行動は不審なものではない。そこで、その人物が進行方向を向いているか否かを判断するために、追跡手段213は、その人物の進行方向を求めるものである。そのために、追跡手段213は、同一人物によると考えられる人物領域の監視画像上の位置変化を、所定の時間間隔で連続して取得される複数の監視画像にわたって調べる。   The tracking unit 213 detects, for each person information, the traveling direction of the person shown in the person image included in the person information. As will be described later, even if the face is turned away from the imaging unit, the behavior of the person is not suspicious as long as the orientation of the face is in the traveling direction. Therefore, in order to determine whether or not the person is facing the traveling direction, the tracking unit 213 obtains the traveling direction of the person. For this purpose, the tracking unit 213 examines the position change on the monitoring image of the person area considered to be due to the same person over a plurality of monitoring images continuously acquired at predetermined time intervals.

図4を参照しつつ、人物の進行方向の検出について説明する。追跡手段213は、最新の監視画像から抽出された人物領域400の重心位置401と、その人物領域に写っている人物と同一人物のものであると考えられる、1フレーム前の監視画像から抽出された人物領域410の重心位置411の差を進行方向ベクトル420として求めて、対応する人物領域の時間的な移動を追跡する。そして追跡手段213は、進行方向ベクトル420の方向を、その人物の進行方向とする。また、追跡手段213は、進行方向ベクトル420の長さ(すなわち、重心位置間の距離)を、その2枚の監視画像の取得時期の差で割った値を、その人物の移動速度とする。   With reference to FIG. 4, detection of a person's traveling direction will be described. The tracking means 213 is extracted from the center of gravity position 401 of the person area 400 extracted from the latest monitoring image and the monitoring image one frame before which is considered to be the same person as the person shown in the person area. The difference in the center of gravity position 411 of the person area 410 is obtained as the traveling direction vector 420, and the temporal movement of the corresponding person area is tracked. Then, the tracking unit 213 sets the direction of the traveling direction vector 420 as the traveling direction of the person. Further, the tracking unit 213 sets a value obtained by dividing the length of the traveling direction vector 420 (that is, the distance between the center of gravity positions) by the difference between the acquisition timings of the two monitoring images as the moving speed of the person.

最新の監視画像あるいはその1フレーム前若しくは数フレーム前の監視画像から抽出された人物領域が複数存在する場合、追跡手段213は、様々な公知のトラッキング処理を用いて、それら順次取得された複数の監視画像における、同一人物に対応する人物領域を追跡して特定することができる。例えば、追跡手段213は、最新の監視画像から抽出された人物領域のうち、着目する人物領域について、その着目人物領域の重心位置と、1フレーム前に取得された監視画像から抽出された全ての人物領域の重心位置との距離を求める。そして追跡手段213は、最も重心間の距離の短い人物領域を、着目人物領域に写っている人物と同一人物の人物領域とすることができる。あるいは、追跡手段213は、1フレーム前に取得された監視画像から抽出された着目人物領域について進行方向及び移動速度が求められている場合、その進行方向及び移動速度から、最新の監視画像におけるその人物の位置を推定してもよい。この場合、追跡手段213は、最新の監視画像から抽出した人物領域のうち、その推定位置に最も近い人物領域を、1フレーム前の監視画像の着目人物領域に写っている人物と同一人物の人物領域とすることができる。   When there are a plurality of person regions extracted from the latest monitoring image or the monitoring image one frame before or several frames before, the tracking unit 213 uses a variety of known tracking processes, A person area corresponding to the same person in the monitoring image can be tracked and specified. For example, the tracking unit 213 extracts, from among the person regions extracted from the latest monitoring image, the position of the center of gravity of the person region of interest and all the extracted from the monitoring image acquired one frame before. The distance from the center of gravity of the person area is obtained. The tracking unit 213 can set the person area having the shortest distance between the centers of gravity as the person area of the same person as the person shown in the person-of-interest area. Alternatively, when the traveling direction and the moving speed are obtained for the person area of interest extracted from the monitoring image acquired one frame before, the tracking unit 213 determines that in the latest monitoring image from the traveling direction and the moving speed. The position of the person may be estimated. In this case, the tracking unit 213 selects the person area that is the closest to the estimated position from the person areas extracted from the latest monitoring image, and is the person who is the same person as the person shown in the person area of interest in the monitoring image one frame before. Can be an area.

追跡手段213は、着目する人物領域について、1フレーム前に取得された監視画像において同一人物によるものと考えられる人物領域がある場合、その人物領域同士が同一人物のものであることを表すために、その着目する人物領域に割り当てられた人物識別子を、1フレーム前に取得された監視画像における対応人物領域に割り当てられた人物識別子と同じ値に設定する。
また追跡手段213は、求めた進行方向ベクトルの長さを1に正規化した正規化進行方向ベクトル及び移動速度を、進行方向情報として、対応する人物情報に関連付けて記憶部220に記憶する。
When there is a person area that is considered to be the same person in the monitoring image acquired one frame before, the tracking means 213 indicates that the person areas belong to the same person. The person identifier assigned to the target person area is set to the same value as the person identifier assigned to the corresponding person area in the monitoring image acquired one frame before.
In addition, the tracking unit 213 stores, in the storage unit 220, the normalized traveling direction vector obtained by normalizing the obtained traveling direction vector length to 1 and the moving speed as traveling direction information in association with the corresponding person information.

不審行動判定手段214は、最新の監視画像から抽出された人物領域のうち、着目する人物領域に写っている人物(以下着目者という)について、不審行動をとっているか否かを判断する。そして不審行動をとっていると判断した場合、その着目者の不審行動回数Nを1加算する。不審行動回数Nは、初期値が0に設定され、順次撮影された複数の監視画像にわたって所定の人物が不審行動を行っていることを示す度合いであり、複数の監視画像にわたって同一人物に対応する人物情報ごとに計算される。   The suspicious behavior determination unit 214 determines whether or not a person who is captured in a focused person area (hereinafter referred to as a focused person) is taking suspicious behavior among the person areas extracted from the latest monitoring image. If it is determined that suspicious behavior is taken, the number of suspicious behaviors N of the person of interest is incremented by one. The number of suspicious behaviors N is a degree indicating that a predetermined person is performing suspicious behaviors over a plurality of monitoring images sequentially set with an initial value of 0, and corresponds to the same person over a plurality of monitoring images. Calculated for each person information.

そこでまず、不審行動判定手段214は、着目者が不審行動をとっていることの指標として、着目者が撮像部100に対して顔を背けている程度を表すカメラ敬遠度Cavoidを算出する。カメラ敬遠度Cavoidは、例えば以下の式により算出される。
avoid=α|ψ|+β|θ| (1)
ここで、α及びβは、それぞれヨー角ψ、ピッチ角θに対する重み係数である。この重み係数α、βは、撮像部100の設置状況に応じて最適化することができる。例えば、撮像部100を通路の天井に設置して、上方からその通路方向を撮影する場合、通路の奥側から撮像部100の方へ向かってくる通行人の顔の向きについて求めたヨー角ψ(顔の左右方向の向きを表す)は、通行人と撮像部100との距離には依存しない。一方、通行人の顔の向きについて求めたピッチ角θ(顔の上下方向の向きを表す)は、通行人がずっと同じ方向を向いていたとしても、通行人と撮像部100との距離が小さくなるにつれて大きくなると考えられる。そこで、このような場合には、ヨー角ψの方が、通行人が撮像部100に対して顔を背けているか否かを正確に表していると考えられる。そのため、カメラ敬遠度に占めるヨー角ψの比重が、ピッチ角θの比重よりも大きくなるように、重み係数αを重み係数βよりも大きくする(例えば、α=1、β=0.7)。なお、重み係数αとβを同じ値(例えば、α=β=1)に設定してもよい。
さらに、カメラ敬遠度Cavoidを、上記の(1)式を用いる代わりに、他の式を用いて算出してもよい。例えば、カメラ敬遠度Cavoidを、ヨー角ψの2乗値とピッチ角θの2乗値の和としてもよい。
Accordingly, first, the suspicious behavior determination unit 214 calculates a camera distance C avoid that represents the degree to which the viewer is facing away from the imaging unit 100 as an index indicating that the viewer is taking suspicious behavior. The camera distance C avoid is calculated by the following equation, for example.
C avoid = α | ψ | + β | θ | (1)
Here, α and β are weighting factors for the yaw angle ψ and the pitch angle θ, respectively. The weighting factors α and β can be optimized according to the installation state of the imaging unit 100. For example, when the imaging unit 100 is installed on the ceiling of the passage and the direction of the passage is photographed from above, the yaw angle ψ obtained with respect to the direction of the face of the passerby coming from the back side of the passage toward the imaging unit 100 (Represents the orientation of the face in the left-right direction) does not depend on the distance between the passerby and the imaging unit 100. On the other hand, the pitch angle θ (representing the vertical direction of the face) obtained for the face direction of the passer-by is small even if the passer-by is always in the same direction. It is thought that it grows as it becomes. Therefore, in such a case, it is considered that the yaw angle ψ accurately represents whether or not the passerby is facing away from the imaging unit 100. Therefore, the weighting factor α is set larger than the weighting factor β (for example, α = 1, β = 0.7) so that the specific gravity of the yaw angle ψ occupying the camera telephotometry is larger than the specific gravity of the pitch angle θ. . Note that the weighting factors α and β may be set to the same value (for example, α = β = 1).
Further, the camera telemetry C avoid may be calculated using another formula instead of using the above formula (1). For example, the camera distance C avoid may be the sum of the square value of the yaw angle ψ and the square value of the pitch angle θ.

次に、不審行動判定手段214は、着目者の行動が不審行動と判定することが禁止される、すなわち、着目者の行動は正常行動であることを示す正常行動指標Eの値を設定する。この正常行動指標Eは、原則として'0'の値を有し、着目者が撮像部100から顔を背けていても、不審行動ではないと判断される場合、すなわち、その行動が正常行動であると判断される場合'1'となる。一例として、不審行動判定手段214は、着目者が進行方向を向いているか否か判断する。着目者が進行方向を向いている場合、着目者は撮像部100に対して故意に顔を背けているとは考えられないので、着目者の行動は不審行動に該当しない、すなわち不審行動と判定することを禁止する。そこで、不審行動判定手段214は、着目者に対応する顔向き情報のヨー角ψ及びピッチ角θから、監視画像上において着目者の顔向きを表す単位方向ベクトルを算出する。そして不審行動判定手段214は、その単位方向ベクトルと、着目者の人物情報に関連付けて記憶部220に記憶されている正規化進行方向ベクトルの内積を計算する。そして内積値が1に近い所定値以上(例えば、0.98、両方向ベクトルのなす角が約10度未満)である場合、不審行動判定手段214は、着目者は進行方向を向いていると判断し、正常行動指標Eを1に設定する。なお、不審行動判定手段214は、着目者の顔向きと進行方向が一致しているか否かを調べるために、撮像部100の撮影方向、焦点距離などの撮影条件が分かっている場合、それらの撮影条件を用いて、撮像部100から着目者までの距離を推定することにより、正規化進行方向ベクトルを図2の正規直交座標系(X,Y,Z)上に投影した3次元単位方向ベクトルを求めてもよい。同様に、不審行動判定手段214は、顔向き情報から、正規直交座標系(X,Y,Z)上における単位方向ベクトルを求める。そして不審行動判定手段214は、進行方向ベクトルから求めた3次元単位方向ベクトルと、顔向き情報から求めた3次元単位方向ベクトルとの内積値を計算してもよい。   Next, the suspicious behavior determination unit 214 is prohibited from determining that the behavior of the subject is suspicious behavior, that is, sets the value of the normal behavior index E indicating that the behavior of the subject is normal behavior. This normal behavior index E has a value of “0” in principle, and even if the viewer is facing away from the imaging unit 100, it is determined that the behavior is not suspicious, that is, the behavior is normal behavior. It is “1” when it is determined that there is. As an example, the suspicious behavior determination unit 214 determines whether or not the person of interest is facing the traveling direction. If the viewer is facing the direction of travel, the viewer is not considered to be intentionally turning away from the imaging unit 100, and thus the behavior of the viewer does not correspond to the suspicious behavior, that is, the suspicious behavior is determined. Is prohibited. Therefore, the suspicious behavior determination unit 214 calculates a unit direction vector representing the face orientation of the viewer on the monitoring image from the yaw angle ψ and the pitch angle θ of the face orientation information corresponding to the viewer. Then, the suspicious behavior determination unit 214 calculates the inner product of the unit direction vector and the normalized progress direction vector stored in the storage unit 220 in association with the personal information of the viewer. If the inner product value is equal to or greater than a predetermined value close to 1 (for example, 0.98, the angle formed by the bi-directional vectors is less than about 10 degrees), the suspicious behavior determination unit 214 determines that the person of interest is facing the traveling direction. The normal action index E is set to 1. The suspicious behavior determination unit 214 determines whether or not the shooting direction of the imaging unit 100 and the shooting distance such as the focal length are known in order to check whether the face direction and the traveling direction of the person of interest match. A three-dimensional unit direction vector obtained by projecting the normalized traveling direction vector onto the orthonormal coordinate system (X, Y, Z) of FIG. 2 by estimating the distance from the imaging unit 100 to the subject of interest using the imaging conditions. You may ask for. Similarly, the suspicious behavior determination unit 214 obtains a unit direction vector on the orthonormal coordinate system (X, Y, Z) from the face orientation information. Then, the suspicious behavior determination unit 214 may calculate an inner product value of the three-dimensional unit direction vector obtained from the traveling direction vector and the three-dimensional unit direction vector obtained from the face direction information.

また、不審行動判定手段214は、着目者の行動が不審行動と判定することを禁止する条件として、着目者が他の人物の方を向いているか否かを判断基準としてもよい。着目者が他の人物と会話している場合には、着目者は撮像部100に対して故意に顔を背けているとは考えられないので、着目者の行動は不審行動に該当しない、すなわち、着目者の行動は正常行動であるとする。この場合、不審行動判定手段214は、例えば、着目者の顔向き情報から求めた上記の単位方向ベクトルの延長先が、他の人物領域と重なる場合、着目者は他の人物の方を向いていると判断して、正常行動指標Eを1に設定する。なお、不審行動判定手段214は、着目者の顔向き情報から求めた単位方向ベクトルの延長先が、他の人物領域のうち、頭部領域と重なる場合にのみ、着目者は他の人物の方を向いていると判断して、正常行動指標Eを1に設定するようにしてもよい。さらに、不審行動判定手段214は、着目者の顔向き情報から求めた単位方向ベクトルの延長先と何れかの頭部領域が重なる場合、その頭部領域に該当する他人の顔向きと着目者の顔向きが略対向している場合に、正常行動指標Eを1に設定するようにしてもよい。具体的には、不審行動判定手段214は、上記の他人の顔向きの単位方向ベクトルを求め、着目者の顔向きの単位方向ベクトルとの内積値を求める。そしてその内積値が−1に近い場合(例えば−0.98以下)に、不審行動判定手段214は正常行動指標Eを1に設定する。   Further, the suspicious behavior determination unit 214 may use, as a condition for prohibiting determination of the behavior of the viewer as suspicious behavior, whether or not the viewer is facing another person. When the person of interest is talking to another person, the person of interest is not considered to be intentionally turning away from the imaging unit 100, and thus the action of the person of interest does not correspond to the suspicious behavior. Suppose that the behavior of the viewer is normal behavior. In this case, for example, when the extension destination of the unit direction vector obtained from the face orientation information of the viewer overlaps with another person area, the suspicious behavior determination unit 214 faces the other person. Therefore, the normal action index E is set to 1. Note that the suspicious behavior determination unit 214 determines that the target person is the other person only when the extension of the unit direction vector obtained from the face direction information of the target overlaps the head area of the other person areas. The normal action index E may be set to 1. Furthermore, when any head region overlaps with the extension destination of the unit direction vector obtained from the face orientation information of the viewer, the suspicious behavior determination means 214 determines the face orientation of the other person corresponding to the head region and the viewer's face. The normal action index E may be set to 1 when the face direction is substantially opposed. Specifically, the suspicious behavior determination unit 214 obtains a unit direction vector of the face direction of the other person and obtains an inner product value with the unit direction vector of the face direction of the viewer. When the inner product value is close to −1 (for example, −0.98 or less), the suspicious behavior determination unit 214 sets the normal behavior index E to 1.

不審行動判定手段214は、着目者について、正常行動指標Eが0の場合、カメラ敬遠度Cavoidが所定の閾値Th1以上か否か判定する。カメラ敬遠度Cavoidがその閾値Th1以上である場合、不審行動判定手段214は、着目者の前回判定時の不審行動回数Nを、人物識別子に基づいて特定して記憶部220から読み出し、不審行動回数Nを1加算する。そして不審行動判定手段214は、着目者の不審行動回数Nを、その着目者の人物情報に関連付けて記憶部220に記憶する。なお閾値Th1は、撮像部100に対して顔向きが正対している状態から所定量以上この顔向きが外れていることを判定する値であって、撮像部100に対して顔を背けていることを判断するための判断基準である。この閾値Th1は、例えば、着目者の両目尻、または両口角点の何れかが監視画像上に写らなくなったときの顔向きに相当する値とすることができる。あるいは、事前に、カメラに対して故意に顔を背けた状態とそうでない状態の人を撮影して、それぞれの状態におけるカメラ敬遠度Cavoidを求め、判別分析などを用いて求めたその境界値を、閾値Th1としてもよい。
一方、正常行動指標Eが1の場合、あるいはカメラ敬遠度Cavoidが所定の閾値Th1未満の場合、不審行動判定手段214は、記憶部220から読み出した不審行動回数Nを加算せず、そのまま着目者の人物情報に関連付けて、記憶部220に記憶する。
When the normal action index E is 0, the suspicious behavior determination unit 214 determines whether or not the camera distance C avoid is equal to or greater than a predetermined threshold Th1. When the camera distance C avoid is equal to or greater than the threshold value Th1, the suspicious behavior determination unit 214 identifies the number of suspicious behaviors N at the time of the previous determination of the viewer based on the person identifier, reads out the suspicious behavior from the storage unit 220, Add 1 to the number of times N. Then, the suspicious behavior determination unit 214 stores the suspicious behavior count N of the viewer in the storage unit 220 in association with the personal information of the viewer. Note that the threshold value Th1 is a value for determining that the face orientation deviates a predetermined amount or more from a state in which the face orientation is facing the imaging unit 100, and is facing away from the imaging unit 100. It is a criterion for judging this. This threshold value Th1 can be set to a value corresponding to the face orientation when, for example, either the corner of the eyes of the subject or the corner points of the mouth are no longer displayed on the monitoring image. Alternatively, the boundary value obtained using a discriminant analysis or the like by photographing a person with the camera deliberately facing away from the camera in advance and obtaining a camera distance C avoid in each state. May be the threshold Th1.
On the other hand, when the normal action index E is 1 or when the camera distance C avoid is less than the predetermined threshold Th1, the suspicious action determination unit 214 does not add the number of suspicious actions N read from the storage unit 220, and pays attention as it is. The information is stored in the storage unit 220 in association with the person information of the person.

不審人物判定手段215は、着目者に関連付けられている不審行動回数Nに基づいて、その着目者が不審人物か否か判断する。例えば、不審人物判定手段215は、時間的に連続する複数の監視画像において着目者に対応する人物領域が最初に検出されてから(以下、フレームインという)、その着目者に対応する人物領域が検出されなくなるまで(以下、フレームアウトという)、あるいは最新の監視画像取得時までの時間のうち、9割以上に相当する時間の間、着目者が不審行動をとり続けていれば、着目者を不審人物とする。具体的には、不審行動回数Nが、フレームインからフレームアウトあるいは最新の監視画像取得時までの間に取得された全監視画像数の9割以上に達する場合、不審人物判定手段215は、その着目者を不審人物として特定する。ただし、不審人物判定手段215は、フレームインから最新の監視画像取得時までの期間に基づいて不審人物か否か特定する場合、その期間が所定時間を超えてから、不審人物か否かの判断を行うことが好ましい。この所定時間は、監視領域内を通行したり滞留する人物について、不審人物と判定するのに必要最小限の時間であり、撮像される監視領域の広さに応じて設定されてよい。本実施の形態では、例えば、1分間に設定される。
不審人物判定手段215は、不審人物として特定された着目者に関する人物情報を、出力部300へ出力する。
The suspicious person determination means 215 determines whether or not the person of interest is a suspicious person based on the number of suspicious actions N associated with the person of interest. For example, the suspicious person determination unit 215 first detects a person area corresponding to the person of interest in a plurality of temporally continuous monitoring images (hereinafter referred to as frame-in), and then determines the person area corresponding to the person of interest. If the viewer continues to take suspicious behavior until no longer being detected (hereinafter referred to as “frame out”) or during the time corresponding to 90% or more of the time until the latest monitoring image acquisition, A suspicious person. Specifically, when the number of suspicious actions N reaches 90% or more of the total number of monitoring images acquired from frame-in to frame-out or the latest monitoring image acquisition time, the suspicious person determination means 215 Identify the person of interest as a suspicious person. However, when the suspicious person determination unit 215 determines whether or not the person is a suspicious person based on the period from the frame-in to the acquisition of the latest monitoring image, the suspicious person determination unit 215 determines whether or not the person is a suspicious person after the period exceeds a predetermined time. It is preferable to carry out. This predetermined time is the minimum time required to determine that a person who passes or stays in the monitoring area is a suspicious person, and may be set according to the size of the monitoring area to be imaged. In the present embodiment, for example, it is set to 1 minute.
The suspicious person determination unit 215 outputs the person information regarding the person of interest identified as the suspicious person to the output unit 300.

記憶部220は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部220には、画像監視装置10を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部220は、画像監視装置10の動作中、各フレーム毎に上記の人物情報(すなわち、人物識別子、人物画像、顔向き情報、進行方向情報及び不審行動回数など)を記憶する。さらに記憶部220は、人物画像から切り出した当該人物の顔画像(すなわち、頭部領域及びその周囲を含む画像)を、人物識別子と関連付けて記憶してもよい。特に、記憶部220は、不審人物判定手段215により不審人物と判定された人物に対応する一連の人物画像のうち、最も正面向きの顔画像(例えば、カメラ敬遠度Cavoidが最小となる顔画像)を、人物識別子と関連付けて記憶してもよい。あるいは、記憶部220は、全ての顔特徴点が検出できた顔画像を、人物識別子と関連付けて記憶してもよい。なお、顔画像の切り出し、人物識別子との関連付けなどの処理は、画像処理部200を構成するマイクロプロセッサ上で動作し、画像監視装置10全体を制御する制御部(図示せず)により行われる。
さらに、記憶部220は、人物の進行方向を正確に求めるために、撮像部100に関する諸条件(例えば、設置高、焦点距離、撮影方向)を記憶していてもよい。
The storage unit 220 includes a semiconductor memory such as a ROM and a RAM, or a magnetic recording medium and its access device or an optical recording medium and its access device. The storage unit 220 stores in advance a computer program and various parameters for controlling the image monitoring apparatus 10. The storage unit 220 stores the person information (that is, the person identifier, the person image, the face direction information, the traveling direction information, the number of suspicious actions, etc.) for each frame during the operation of the image monitoring apparatus 10. Furthermore, the storage unit 220 may store a face image of the person cut out from the person image (that is, an image including the head region and its surroundings) in association with the person identifier. In particular, the storage unit 220 is the face image facing the most front of the series of person images corresponding to the person determined to be a suspicious person by the suspicious person determination unit 215 (for example, the face image with the smallest camera distance C avoid ). ) May be stored in association with the person identifier. Alternatively, the storage unit 220 may store a face image in which all face feature points have been detected in association with the person identifier. It should be noted that processing such as face image segmentation and association with a person identifier is performed by a control unit (not shown) that operates on the microprocessor constituting the image processing unit 200 and controls the entire image monitoring apparatus 10.
Furthermore, the storage unit 220 may store various conditions regarding the imaging unit 100 (for example, installation height, focal length, and shooting direction) in order to accurately determine the traveling direction of the person.

出力部300は、画像処理部200と接続され、液晶ディスプレイ、有機ELディスプレイなどの表示装置、スピーカまたは振動装置などを有する。そして出力部300は、画像処理部200の不審人物検知部210が不審人物を検知したとき、その旨を示すメッセージを表示したり、警報を発することにより、監視者に報知する。さらに出力部300は、不審人物に関する人物情報、またはその人物情報に関連付けられた上記の顔画像を表示するようにしてもよい。
なお出力部300は、公衆通信回線または構内ローカルエリアネットワークなどを介して画像処理部200と接続され、画像処理部200と別個に配置された監視装置でもよい。
The output unit 300 is connected to the image processing unit 200 and includes a display device such as a liquid crystal display or an organic EL display, a speaker, or a vibration device. When the suspicious person detection unit 210 of the image processing unit 200 detects a suspicious person, the output unit 300 notifies the monitoring person by displaying a message to that effect or issuing an alarm. Further, the output unit 300 may display the person information related to the suspicious person or the face image associated with the person information.
Note that the output unit 300 may be a monitoring device that is connected to the image processing unit 200 via a public communication line or a local area network and is arranged separately from the image processing unit 200.

以下、図5に示したフローチャートを参照しつつ、本発明を適用した画像監視装置10の不審人物検出処理の動作を説明する。なお、以下に説明する動作のフローは、上記の制御部(図示せず)により制御される。
最初に、画像監視装置10は、撮像部100により、監視領域を撮影した監視画像を取得し、画像処理部200の不審人物検知部210へ送る(ステップS100)。次に、不審人物検知部210の人物領域検出手段211は、取得された監視画像から人物領域を検出する(ステップS110)。そして人物領域検出手段211は、抽出した人物領域から人物情報(人物画像、人物領域情報及び人物識別子を含む)を作成する。次に、画像処理部200は、一つ以上の人物領域が検出されたか否か判定する(ステップS120)。人物領域が全く検出されなかった場合、画像監視装置10は不審人物検出処理を終了する。
The operation of the suspicious person detection process of the image monitoring apparatus 10 to which the present invention is applied will be described below with reference to the flowchart shown in FIG. The operation flow described below is controlled by the control unit (not shown).
First, the image monitoring apparatus 10 acquires a monitoring image obtained by capturing a monitoring area using the imaging unit 100, and sends the monitoring image to the suspicious person detection unit 210 of the image processing unit 200 (step S100). Next, the person area detection unit 211 of the suspicious person detection unit 210 detects a person area from the acquired monitoring image (step S110). Then, the person area detection unit 211 creates person information (including a person image, person area information, and a person identifier) from the extracted person area. Next, the image processing unit 200 determines whether one or more person areas have been detected (step S120). If no person area is detected, the image monitoring apparatus 10 ends the suspicious person detection process.

一方、ステップS120において、一つ以上の人物領域が検出され、人物情報が作成された場合、不審人物検知部210は、作成された人物情報の中から、着目する人物情報を設定する(ステップS130)。そして不審人物検知部210の顔向き検出手段212は、その着目人物情報に含まれる人物画像から抽出した顔特徴量の分布に基づいて、その着目人物情報に対応する着目者の顔の向きを検出する。顔向き検出手段212は、検出した着目者の顔の向きを、顔向き情報として着目人物情報に関連付けて記憶部220に記憶する(ステップS140)。また、不審人物検知部210の追跡手段213は、1フレーム前に取得された監視画像から検出された人物領域のうち、着目者と同一人物によると考えられるものを特定して、その1フレーム前の監視画像について求められた人物情報と着目人物情報を関連付ける。そして追跡手段213は、最新の監視画像における着目者の人物領域の位置と、1フレーム前の着目者と同一人物の人物領域の位置の差などに基づいて、着目者の進行方向を検出する(ステップS150)。そして追跡手段213は、その進行方向を表す進行方向情報を、着目人物情報に関連付けて記憶部220に記憶する。   On the other hand, when one or more person areas are detected and person information is created in step S120, the suspicious person detection unit 210 sets the person information to be noticed from the created person information (step S130). ). Then, the face orientation detection unit 212 of the suspicious person detection unit 210 detects the orientation of the face of the viewer corresponding to the target person information based on the distribution of the facial feature amount extracted from the person image included in the target person information. To do. The face orientation detection unit 212 stores the detected orientation of the face of the subject in the storage unit 220 in association with the subject person information as face orientation information (step S140). In addition, the tracking unit 213 of the suspicious person detection unit 210 identifies a person area detected from the monitoring image acquired one frame before and that is considered to be the same person as the person of interest, and that one frame before The person information obtained for the monitoring image is associated with the person information of interest. Then, the tracking unit 213 detects the traveling direction of the viewer based on the difference between the position of the person area of the person in the latest monitoring image and the position of the person area of the same person as the person of interest one frame before ( Step S150). The tracking unit 213 stores the traveling direction information indicating the traveling direction in the storage unit 220 in association with the person-of-interest information.

次に、不審人物検知部210の不審行動判定手段214は、着目者について、その顔向き情報に基づいてカメラ敬遠度Cavoidを算出する(ステップS160)。また、不審行動判定手段214は、着目者の顔向き情報、進行方向情報などから算出した着目者の顔の向きと進行方向の一致度合いなどに基づいて、正常行動指標Eの値を設定する(ステップS170)。
その後、不審行動判定手段214は、着目者が不審行動をとっているか否かを判定する(ステップS180)。具体的には、正常行動指標Eが着目者の行動が正常行動であることを示さず(すなわち、本実施形態ではE=0)、かつカメラ敬遠度Cavoidが顔を背けていることに相当する閾値Th1以上である場合、不審行動判定手段214は、着目者が不審行動をとっていると判断する。そして不審行動判定手段214は、着目者に対応する人物識別子と関連付けられた不審行動回数Nを記憶部220から読み出し、1加算して更新する(ステップS190)。一方、ステップS180において、正常行動指標Eが正常行動であることを示すか(すなわち、本実施形態ではE=1)、カメラ敬遠度Cavoidが閾値Th1未満である場合、不審行動判定手段214は、不審行動回数Nを加算せずに更新し、ステップS200へ進む。
Next, the suspicious behavior determination unit 214 of the suspicious person detection unit 210 calculates the camera distance C avoid for the person of interest based on the face orientation information (step S160). Further, the suspicious behavior determination unit 214 sets the value of the normal behavior index E based on the degree of coincidence between the orientation of the face of the viewer and the travel direction calculated from the face orientation information of the viewer, the traveling direction information, and the like ( Step S170).
Thereafter, the suspicious behavior determination unit 214 determines whether or not the person of interest is taking suspicious behavior (step S180). Specifically, the normal action index E does not indicate that the action of the viewer is normal action (that is, E = 0 in the present embodiment), and the camera distance C avoid corresponds to turning away. If it is equal to or greater than the threshold value Th1, the suspicious behavior determination unit 214 determines that the person of interest is taking suspicious behavior. Then, the suspicious behavior determination unit 214 reads the suspicious behavior count N associated with the person identifier corresponding to the subject of interest from the storage unit 220 and updates it by adding one (step S190). On the other hand, in step S180, if the normal action index E indicates normal action (that is, E = 1 in the present embodiment), or if the camera distance C avoidance is less than the threshold value Th1, the suspicious action determination unit 214 The suspicious action count N is updated without being added, and the process proceeds to step S200.

次に、不審人物検知部210の不審人物判定手段215は、着目者の不審行動回数Nを、所定回数と比較する(ステップS200)。なお、所定回数は、例えば、着目者がフレームインしてから現在までの総フレーム数の9割である。そして不審人物判定手段215は、着目者の不審行動回数Nがその所定回数以上であれば、着目者を不審人物と特定し、出力部300を介して不審人物を検知したことを報知する(ステップS210)。一方、ステップS200において、着目者の不審行動回数Nがその所定回数未満の場合、不審人物判定手段215は、現時点において着目者は不審人物でないと判断し、ステップS220へ進む。   Next, the suspicious person determination unit 215 of the suspicious person detection unit 210 compares the number of suspicious actions N of the person of interest with a predetermined number (step S200). The predetermined number of times is, for example, 90% of the total number of frames from when the subject framed in until the present time. If the number of suspicious behaviors N of the viewer is equal to or greater than the predetermined number of times, the suspicious person determination unit 215 identifies the viewer as the suspicious person and notifies the suspicious person that the suspicious person has been detected via the output unit 300 (step S21). S210). On the other hand, if the number of suspicious actions N of the viewer is less than the predetermined number in step S200, the suspicious person determination unit 215 determines that the viewer is not a suspicious person at the present time, and proceeds to step S220.

その後、不審人物検知部210は、最新の監視画像から作成された人物情報のうち、着目されていない人物情報が残っているか否か判定する(ステップS220)。そして着目されていない人物情報が残っている場合、不審人物検知部210は、制御をステップS130へ戻し、未だ着目されていない人物情報の中から、着目する人物情報を設定し、ステップS140〜S220の処理を繰り返す。
一方、ステップS220において、着目されていない人物情報が残っていない場合、画像監視装置10は、不審人物検出処理を終了する。
画像監視装置10は、上記の不審人物検出処理を、一定の時間間隔で、例えば監視画像が取得される度に繰り返す。
Thereafter, the suspicious person detection unit 210 determines whether or not personal information that has not been noticed remains among the personal information created from the latest monitoring image (step S220). If the person information that has not been noticed remains, the suspicious person detection unit 210 returns the control to step S130, sets the person information to be noticed from the person information that has not yet been noticed, and steps S140 to S220. Repeat the process.
On the other hand, in step S220, when there is no person information that is not focused on, the image monitoring apparatus 10 ends the suspicious person detection process.
The image monitoring apparatus 10 repeats the above suspicious person detection process at regular time intervals, for example, every time a monitoring image is acquired.

以上説明してきたように、本発明を適用した画像監視装置10は、監視領域を撮像部100で撮影した監視画像から、その監視画像に写っている対象者の顔の向きを検出し、撮像部100に対して長時間顔を背けている場合に、対象者を不審人物と特定する。このように、係る画像監視装置10は、予め不審者と判定するための特定の注視対象の方向を設定しなくても、不審人物を特定することができるので、画像監視装置10の設置時に、設置環境に依存する煩雑な設定を行わなくてもよい。さらに、画像監視装置10は、対象者の顔の向きと進行方向の一致度合いなどに基づいて、対象者の行動が正常行動か否かを調べ、その行動が正常行動である場合には、対象者が顔を撮像部100から背けていても、不審行動との判定を禁止することにより、正常な行動をとっている人物を不審人物と誤判定することを防止できる。そのため、画像監視装置10は、高い精度で不審人物を特定することができる。   As described above, the image monitoring apparatus 10 to which the present invention is applied detects the orientation of the face of the subject appearing in the monitoring image from the monitoring image obtained by capturing the monitoring area with the imaging unit 100, and the imaging unit When the face is turned away from 100 for a long time, the target person is identified as a suspicious person. Thus, since the image monitoring apparatus 10 can identify a suspicious person without setting a specific direction of a gaze target for determining a suspicious person in advance, when the image monitoring apparatus 10 is installed, It is not necessary to perform complicated settings depending on the installation environment. Furthermore, the image monitoring apparatus 10 checks whether the behavior of the subject person is a normal behavior based on the degree of coincidence between the direction of the subject's face and the traveling direction, and if the behavior is a normal behavior, Even if a person turns his face away from the imaging unit 100, by prohibiting the determination of suspicious behavior, it is possible to prevent a person who is performing normal behavior from being erroneously determined as a suspicious person. Therefore, the image monitoring apparatus 10 can specify a suspicious person with high accuracy.

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、撮像部100として、ステレオカメラを用いてもよく、あるいは、同一の監視領域を異なる角度で撮影する複数のカメラで構成してもよい。この場合、ステレオカメラまたは複数のカメラにより同時に撮影された複数の監視画像から、公知の技術を用いて監視領域の3次元情報を再構成することができる。そのため、追跡手段213も、公知の技術を用いて監視領域内で検出された人物の進行方向を3次元的に決定できるので、より正確にその進行方向を調べることができる。また不審行動判定手段214も、正常行動指標Eを算出する際、その人物の顔の向きと進行方向の一致度合いを、より正確に算出することができる。さらに不審行動判定手段214は、着目する人物が他人の方を向いているか否かも正確に判定することが可能となる。   The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. For example, a stereo camera may be used as the imaging unit 100, or a plurality of cameras that capture the same monitoring area at different angles may be used. In this case, the three-dimensional information of the monitoring area can be reconstructed from a plurality of monitoring images simultaneously captured by the stereo camera or the plurality of cameras using a known technique. For this reason, the tracking unit 213 can also determine the traveling direction of the person detected in the monitoring area three-dimensionally using a known technique, so that the traveling direction can be examined more accurately. The suspicious behavior determination unit 214 can also calculate the degree of coincidence between the direction of the person's face and the traveling direction more accurately when calculating the normal behavior index E. Furthermore, the suspicious behavior determination means 214 can accurately determine whether or not the person of interest is facing another person.

さらに、上記の実施形態では、不審行動判定手段214は、不審行動の指標として、カメラ敬遠度Cavoidが所定の閾値Th1以上のときに、不審行動回数を1ずつ加算するように構成した。しかしその代わりに、不審行動判定手段214は、正常行動指標Eが0のとき(正常行動とは認められないとき)のカメラ敬遠度Cavoidそのものを累算するようにしてもよい。そして不審人物判定手段215は、その累算値が所定の閾値を超えたときに、対応する人物を不審人物と判定する。あるいは、不審行動判定手段214は、着目者について、正常行動指標Eの値を先に設定し、着目者の行動が正常行動と認められないときに限り、カメラ敬遠度Cavoidを算出し、その他の場合にはカメラ敬遠度Cavoidを0とするようにしてもよい。
さらに、不審行動判定手段214は、各人物情報について、不審行動回数を記憶する代わりに、不審行動の継続時間を記憶するようにしてもよい。この場合、不審人物判定手段215は、着目者について、不審行動の継続時間が所定時間(例えば、1分間)を超えた場合、その着目者を不審人物と判定する。
Further, in the above-described embodiment, the suspicious behavior determination unit 214 is configured to increment the number of suspicious behaviors by one when the camera distance C avoid is equal to or greater than the predetermined threshold Th1 as an index of suspicious behavior. However, instead, the suspicious behavior determination unit 214 may accumulate the camera distance C avoid itself when the normal behavior index E is 0 (when normal behavior is not recognized). The suspicious person determination unit 215 determines that the corresponding person is a suspicious person when the accumulated value exceeds a predetermined threshold. Alternatively, the suspicious behavior determination unit 214 sets the value of the normal behavior index E for the viewer first, calculates the camera distance C avoid only when the behavior of the viewer is not recognized as normal behavior, In this case, the camera distance C avoid may be set to zero.
Further, the suspicious behavior determination unit 214 may store the duration of the suspicious behavior instead of storing the number of suspicious behaviors for each person information. In this case, the suspicious person determination unit 215 determines that the target person is a suspicious person when the duration of the suspicious action exceeds a predetermined time (for example, one minute).

さらに、不審行動判定手段214が、着目者が不審行動をとったと判定したときの人物に対応する人物画像からその人物の顔画像を抽出して、カメラ敬遠度Cavoidと共にその人物に関連付けて記憶部220に記憶し、不審人物判定手段215が、その人物を不審人物と判定したとき、その人物に関連付けて記憶部220に記憶されている顔画像のうち、最も小さいカメラ敬遠度Cavoidと関連付けられている顔画像を検出する検出手段をさらに備えていてもよい。カメラ敬遠度Cavoidが小さいということは、当該人物が撮像部100の方に顔を向けていることを意味し、その最小値を示したフレームでは撮像部100に最も正対した状態に近い顔画像になっていることが期待できるからである。その検出手段が検出した顔画像は、不審人物の追跡、以降撮像部100から入力される監視画像との比較により不審人物の自動検出、該当者の再来訪時の検知などに用いてもよい。 Further, the suspicious behavior determination unit 214 extracts a face image of the person from the person image corresponding to the person when it is determined that the person of interest has taken the suspicious action, and stores it in association with the person together with the camera distance C avoidance. When the suspicious person determination unit 215 determines that the person is a suspicious person, the face image stored in the storage unit 220 in association with the person is associated with the smallest camera distance C avoidance. Detection means for detecting the detected face image may be further provided. When the camera distance C avoid is small, it means that the person is facing the image capturing unit 100, and the face closest to the image capturing unit 100 in the frame indicating the minimum value. This is because it can be expected to be an image. The face image detected by the detection means may be used for tracking a suspicious person, automatically detecting a suspicious person by comparison with a monitoring image input from the image capturing unit 100, and detecting a person coming again.

さらに、不審人物判定手段215は、不審人物と判定した着目者に対応する人物情報から、顔画像または人物画像と、顔画像中の色ヒストグラム、顔特徴点の位置など、それらの画像から抽出した特徴量とを、照合処理用の不審人物特徴情報として登録し、記憶部220に記憶してもよい。そしてその不審人物特徴情報を、不審人物の追跡、以降撮像部10から入力される監視画像との比較により不審人物の自動検出、該当者の再来訪時の検知などに用いてもよい。
また、本発明を適用した画像監視装置を、ATMの操作者など、一定地点に留まっている一人の人物を不審人物か否かを判定する場合、上記の追跡手段を省略してもよい。この場合、対象者が撮像部から顔を背けていると、不審行動であると判断できるように、撮像部を、ATMの操作画面など、対象者が作業のために着目すべき場所の近傍に設置することが好ましい。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
Further, the suspicious person determining means 215 extracts the face image or the person image, the color histogram in the face image, the position of the face feature point, and the like from the person information corresponding to the target person determined to be the suspicious person. The feature amount may be registered as suspicious person feature information for collation processing and stored in the storage unit 220. The suspicious person characteristic information may be used for tracking a suspicious person, automatically detecting a suspicious person by comparison with a monitoring image input from the imaging unit 10, detecting a revisiting person concerned, and the like.
Further, when the image monitoring apparatus to which the present invention is applied determines whether or not one person who stays at a certain point such as an ATM operator is a suspicious person, the above tracking means may be omitted. In this case, if the subject turns away from the imaging unit, the imaging unit is placed in the vicinity of a place where the subject should pay attention for work, such as an ATM operation screen, so that it can be determined that the behavior is suspicious. It is preferable to install.
As described above, various modifications can be made within the scope of the present invention according to the embodiment to be implemented.

本発明を適用した画像監視装置の概略構成図である。It is a schematic block diagram of the image monitoring apparatus to which this invention is applied. 対象人物の顔の向きを規定する座標系を示す図である。It is a figure which shows the coordinate system which prescribes | regulates the direction of a target person's face. (a)は、対象人物が撮像部の方を向いている場合の対象人物の顔画像の概略図であり、(b)は、対象人物が撮像部に対して顔を背けている場合の対象人物の顔画像の概略図である。(A) is a schematic diagram of a face image of the target person when the target person is facing the imaging unit, and (b) is a target when the target person is facing away from the imaging unit It is the schematic of a person's face image. 対象人物の進行方向を模式的に表す図である。It is a figure which represents typically the advancing direction of a subject person. 本発明を適用した画像監視装置の不審人物検出処理に関する動作を示すフローチャートである。It is a flowchart which shows the operation | movement regarding a suspicious person detection process of the image monitoring apparatus to which this invention is applied.

符号の説明Explanation of symbols

10 画像監視装置
100 撮像部
200 画像処理部
210 不審人物検知部
211 人物領域検出手段
212 顔向き検出手段
213 追跡手段
214 不審行動判定手段
215 不審人物判定手段
220 記憶部
300 出力部
DESCRIPTION OF SYMBOLS 10 Image monitoring apparatus 100 Image pick-up part 200 Image processing part 210 Suspicious person detection part 211 Person area detection means 212 Face direction detection means 213 Tracking means 214 Suspicious action determination means 215 Suspicious person determination means 220 Storage part 300 Output part

Claims (4)

  1. 監視領域の人物を撮影した監視画像から不審人物を検出する画像監視装置であって、
    前記監視画像を順次取得する撮像部と、
    前記監視画像から人物領域を検出する人物領域検出手段と、
    予め正面を向いた顔の特徴点配置を記憶する配置情報記憶手段と、
    前記人物領域から顔の特徴点を抽出し、前記配置情報記憶手段に記憶された前記正面を向いた顔の特徴点配置と比較して、正面向きの顔に対する特徴点位置のずれ量を検出する顔向き検出手段と、
    前記特徴点位置のずれ量が顔を背けた状態に対応する所定量以上であれば前記人物領域について不審行動と判定する不審行動判定手段と、
    前記順次取得される複数の監視画像において対応する人物領域を追跡する追跡手段と、
    前記追跡手段が追跡した人物領域が前記不審行動と判定された回数に基づき不審人物と判定する不審人物判定手段と、
    を有することを特徴とする画像監視装置。
    An image monitoring apparatus for detecting a suspicious person from a monitoring image obtained by photographing a person in a monitoring area,
    An imaging unit for sequentially acquiring the monitoring images;
    Person area detecting means for detecting a person area from the monitoring image;
    Arrangement information storage means for storing the feature point arrangement of the face facing the front in advance;
    A feature point of a face is extracted from the person area, and a feature point position shift amount with respect to a front-facing face is detected by comparison with the front-facing feature point arrangement stored in the arrangement information storage unit. Face orientation detection means;
    Suspicious behavior determination means for determining the person area as suspicious behavior if the amount of shift of the feature point position is equal to or greater than a predetermined amount corresponding to a state of facing away from the face
    Tracking means for tracking a corresponding person area in the plurality of sequentially acquired monitoring images;
    A suspicious person determination means for determining a suspicious person based on the number of times the person area tracked by the tracking means is determined to be the suspicious behavior;
    An image monitoring apparatus comprising:
  2. 前記顔向き検出手段は、さらに前記監視画像上での顔の向きを検出し、
    前記追跡手段は、前記複数の監視画像のそれぞれについて検出した前記人物領域から、前記監視画像上での前記人物領域に対応する人物の進行方向を検出し、
    前記不審行動判定手段は、前記複数の監視画像のうちの何れかの監視画像の人物領域において、前記顔の向きが前記進行方向と略一致する場合、当該人物領域について不審行動と判定しない、請求項1に記載の画像監視装置。
    The face orientation detection means further detects the face orientation on the monitoring image,
    The tracking means detects a traveling direction of a person corresponding to the person area on the monitoring image from the person area detected for each of the plurality of monitoring images;
    The suspicious behavior determination means does not determine that the person area is suspicious when the face direction substantially matches the traveling direction in the person area of any one of the plurality of monitoring images. Item 8. The image monitoring apparatus according to Item 1.
  3. 前記顔向き検出手段は、さらに前記監視画像上での顔の向きを検出し、
    前記不審行動判定手段は、前記複数の監視画像のうちの何れかの監視画像の人物領域において、前記人物の顔の向きの延長上に、他の人物領域がある場合、当該人物領域について不審行動と判定しない、請求項1に記載の画像監視装置。
    The face orientation detection means further detects the face orientation on the monitoring image,
    The suspicious behavior determination means may be configured to perform suspicious behavior for a person area in the person area of any one of the plurality of monitoring images when there is another person area on the extension of the face direction of the person. The image monitoring apparatus according to claim 1, wherein the image monitoring apparatus is not determined to be
  4. 前記配置情報記憶手段は、前記正面を向いた顔の特徴点配置として人の顔の3次元形状モデルを予め記憶し、
    前記顔向き検出手段は、前記人物領域から抽出された前記顔の特徴点の位置と前記3次元形状モデルにおける対応する特徴点の位置とが最も一致するときの前記3次元形状モデルの顔の向きを、前記正面向きの顔に対する特徴点位置のずれ量として検出する、
    請求項1〜3の何れか一項に記載の画像監視装置。
    The arrangement information storage means stores in advance a three-dimensional shape model of a human face as the feature point arrangement of the face facing the front,
    The face orientation detection means is configured to detect the orientation of the face of the three-dimensional shape model when the position of the feature point of the face extracted from the person region and the position of the corresponding feature point in the three-dimensional shape model most closely match each other. Is detected as a shift amount of the feature point position with respect to the face facing forward.
    The image monitoring apparatus according to claim 1.
JP2008084350A 2008-03-27 2008-03-27 Image monitoring device Active JP5127531B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008084350A JP5127531B2 (en) 2008-03-27 2008-03-27 Image monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008084350A JP5127531B2 (en) 2008-03-27 2008-03-27 Image monitoring device

Publications (2)

Publication Number Publication Date
JP2009237993A JP2009237993A (en) 2009-10-15
JP5127531B2 true JP5127531B2 (en) 2013-01-23

Family

ID=41251844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008084350A Active JP5127531B2 (en) 2008-03-27 2008-03-27 Image monitoring device

Country Status (1)

Country Link
JP (1) JP5127531B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6003367B2 (en) * 2012-08-06 2016-10-05 日本電気株式会社 Image recognition apparatus, image recognition method, and image recognition program
CN103714670A (en) * 2013-12-31 2014-04-09 深圳先进技术研究院 Intelligent alarming system and method
JP6467994B2 (en) * 2015-02-27 2019-02-13 富士通株式会社 Image processing program, image processing apparatus, and image processing method
JP6364371B2 (en) * 2015-03-24 2018-07-25 トヨタホーム株式会社 Entrance / exit management system
US10062100B2 (en) * 2015-09-24 2018-08-28 Adobe Systems Incorporated Methods and systems for identifying visitors to real-world shopping venues as belonging to a group
JP6668942B2 (en) 2016-05-23 2020-03-18 富士通株式会社 Imaging control device, program and method
CN110537207A (en) * 2017-03-10 2019-12-03 三菱电机株式会社 Face estimates method towards estimating device and face's direction
KR102002287B1 (en) * 2018-07-24 2019-07-23 신지원 Management system of entrance and exit

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04281578A (en) * 1991-03-11 1992-10-07 Nippon Telegr & Teleph Corp <Ntt> Direction detection processing system for material body
JP4238542B2 (en) * 2002-08-30 2009-03-18 日本電気株式会社 Face orientation estimation apparatus, face orientation estimation method, and face orientation estimation program
JP4506381B2 (en) * 2004-09-27 2010-07-21 沖電気工業株式会社 Single actor and group actor detection device
JP4687058B2 (en) * 2004-10-04 2011-05-25 オムロン株式会社 Suspicious person judgment device
JP4899552B2 (en) * 2006-03-15 2012-03-21 オムロン株式会社 Authentication device, authentication method, authentication program, and computer-readable recording medium recording the same
JP4874735B2 (en) * 2006-08-04 2012-02-15 綜合警備保障株式会社 Security device, monitoring system, abnormality determination method and abnormality determination program
JP5008118B2 (en) * 2006-08-28 2012-08-22 公立大学法人首都大学東京 Suspicious person discrimination system and profile distribution system

Also Published As

Publication number Publication date
JP2009237993A (en) 2009-10-15

Similar Documents

Publication Publication Date Title
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US9183432B2 (en) People counting device and people trajectory analysis device
US9269012B2 (en) Multi-tracker object tracking
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
CN102375974B (en) Information processing apparatus and information processing method
US8559722B2 (en) Image recognition apparatus and method
EP0984386B1 (en) Method of detecting a human face
US7590262B2 (en) Visual tracking using depth data
JP6428144B2 (en) Area information estimation device, area information estimation method, and air conditioner
US6690814B1 (en) Image processing apparatus and method
JP4546956B2 (en) Target orientation estimation using depth detection
JP4830650B2 (en) Tracking device
US9235751B2 (en) Method and apparatus for image detection and correction
US8345921B1 (en) Object detection with false positive filtering
JP4469476B2 (en) Eye position detection method and eye position detection apparatus
JP5642410B2 (en) Face recognition device and face recognition method
JP4085959B2 (en) Object detection device, object detection method, and recording medium
US9274204B2 (en) Camera tracing and surveillance system and method for security using thermal image coordinate
US20170098117A1 (en) Method and apparatus for robustly collecting facial, ocular, and iris images
US20190392198A1 (en) System and Method for Detecting and Removing Occlusions in a Three-Dimensional Image
KR101127493B1 (en) Image processing apparatus, image processing method and air conditioning control apparatus
JP2018501586A (en) Image identification system and method
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
US8599266B2 (en) Digital processing of video images
KR101064573B1 (en) System for tracking a moving object, by using particle filtering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121030

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5127531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250